Mer än bara Open AI – här är AI-modellerna som lockar företagen just nu

Ända sedan Open AI:s Chat GPT satte rekord i antalet användare i vintras har företag i alla storlekar försökt ta reda på hur de ska kunna använda sig av generativ AI.

Enligt Lucidworks globala benchmarkstudie om generativ AI, som publicerades den 10 augusti, prioriterar 96 procent av de chefer och ledare som är involverade i AI-beslutsprocesser aktivt investeringar i generativ AI, och 93 procent av företagen planerar att öka sina AI-utgifter under det kommande året.

Många, om inte de flesta, företag som använder generativ AI börjar med Open AI, vanligtvis via ett privat moln på Microsoft Azure. Azure-distributionen ger företagen en privat instans av chattbotten, vilket innebär att de inte behöver oroa sig för att företagsdata läcker ut i AI:ns träningsdataset. Många organisationer har redan en relation med Microsoft och är nöjda med den säkerhet, hanterbarhet och företagssupport de får från företaget.

Programvaruleverantören Nerdio använder till exempel generativ AI för att skapa Powershell-skript åt sina kunder, konvertera installationskod från ett språk till ett annat och skapa en anpassad supportchattbott.

Chat GPT kan utföra många av dessa uppgifter, men den anpassade supportchattbotten använder en modell som heter text-embedding-ada-002, en annan generativ AI-modell från Open AI, som är särskilt utformad för att arbeta med inbäddningar – en typ av databas som är specialutvecklad för att mata in data i stora språkmodeller, LLM. Vanliga lösningar är vektordatabaser och grafdatabaser.

– Vi bygger en vektordatabas med alla våra skript och eskaleringsärenden och levererar den till vår AI-instans, säger Stefan Georgiev, teknisk produktchef på Nerdio.

Med hjälp av inbäddningar kan ett företag skapa vad som i praktiken är en anpassad AI utan att behöva träna en LLM från grunden.

– Det skulle vara mycket svårt för oss att få tag på den mängd data som behövs för att träna en generativ AI-modell själva", säger Georgiev.

– Vi skulle behöva bygga datapipelines för att samla in och aggregera alla våra data och användningsmönster innan vi kunde bygga vår egen modell, anpassad för vårt område. Men det gjorde vi inte och vi planerar inte att göra det eftersom det redan finns ganska bra generativa AI-modeller där ute. Allt vi behöver göra är att anpassa dem efter våra behov.

Men även om Open AI var det första företaget ur startgroparna, är det inte längre den enda spelaren på banan. Företagen tittar i dag på Googles Bard, Anthropics Claude, Databricks Dolly, Amazons Titan eller IBM:s Watson X, men även på AI-modeller med öppen källkod som Llama 2 från Meta.

Modeller med öppen källkod blir också allt enklare att distribuera. Faktum är att Microsoft redan har meddelat att de kommer att stödja Llama 2 i sitt Azure-moln, och AWS har stöd för ett antal LLM genom sin Amazon Bedrock-tjänst, däribland modeller från Anthropic, Stability AI, AI21 Labs och Metas Llama 2.

S&P Global Market Intelligence tittar på dem alla.

– Vi använder Microsoft, Google, Amazon och även open source-modeller från Hugging Face, säger Alain Biem, chef för data science på det globala finansinformationsföretaget.

S&P Global använder till exempel Open AI:s API via Azure, men det är bara ett av många olika API:er som företaget har tillgång till.

– Vi är extremt agnostiska när det gäller de stora språkmodellerna, säger Biem.

– Vi väljer LLM baserat på användningsområde. Vår filosofi är att inte vara bundna till en modell, och sättet vi utvecklar våra produkter på är så att vi kan uppdatera modellerna eller byta från en leverantör till en annan.

Företaget håller också ett öga på Hugging Face-ledartavlan, säger han, som för närvarande domineras av Llama 2 och dess varianter.

Meta släppte Llama 2 i juli och det sticker ut bland andra generativa AI-projekt med öppen källkod på grund av dess storlek och kapacitet, och också på grund av dess licens: företag kan använda det gratis, även kommersiellt. Den enda begränsningen är att företag med över 700 miljoner aktiva dagliga användare måste skaffa en särskild licens från Meta.

S&P Global testar Llama 2, säger Biem, liksom andra open source-modeller på Hugging Face-plattformen.

Många företag börjar med Open AI, säger Sreekar Krishna, chef för data och analys på KPMG. Men de stannar inte nödvändigtvis där.

– De flesta av de organisationer jag arbetar med har inte valt en strategi med en enda leverantör, säger han.

– De är alla mycket medvetna om att även om man bara börjar med Open AI så är det bara ett startskott.

Oftast ser han att företag tittar på Googles Bard i nästa steg, särskilt om de redan använder Google Cloud eller andra Google-plattformar.

Ett annat populärt alternativ är Databricks, som är en uppskattad datapipeline-plattform för företags data science-team. I april lanserade företaget Dolly, sin open source-LLM, som är licensierad för både forskning och kommersiell användning, och i juli lade man även till stöd för Llama 2.

– Databricks-plattformen kan hantera stora datamängder och är redan en av de mest använda open source-plattformarna i företag, säger Krishna.

Dolly-modellen, liksom Llama 2 och open source-modellerna från Hugging Face, kommer också att bli tillgängliga hos Microsoft, säger Krishna.

– Det är ett landskap som utvecklas så snabbt, säger han.

– Vi tror att varje hyperscaler snabbt kommer att ha generativa AI-modeller med öppen källkod.

Men med tanke på hur snabbt utvecklingen går menar han att företag bör fokusera mindre på vilken modell som är bäst och lägga mer tid på att bygga flexibla arkitekturer.

– Om du bygger en bra arkitektur är din LLM-modell bara plug-and-play; du kan snabbt koppla in fler av dem. Det är det vi gör.

KPMG experimenterar också med att bygga system som kan använda Open AI, Dolly, Claude och Bard.

Men Databricks är inte den enda dataplattformen med en egen LLM.

John Carey, chef för tekniklösningsgruppen på det globala konsultföretaget Aarete, använder Document AI, en ny modell från Snowflake som nu finns i en tidig version och som gör det möjligt att ställa frågor om ostrukturerade dokument. Men viktigast av allt är att det gör det möjligt för Aarete att erbjuda säkerhet för sina företagskunder.

– De anförtror oss sina data som kan innehålla kundinformation, säger Carey.

– Du är skyldig att skydda deras integritet.

Snowflakes Document AI är en LLM som körs i en säker, privat miljö, säger han, utan någon risk för att privata data skulle skickas till en extern tjänst eller användas för att träna leverantörens modell.

– Vi måste säkra dessa data och se till att det finns åtkomstkontroller och all standard för datastyrning, säger Carey.

Bortom stora grundmodeller

Att använda stora grundmodeller och sedan anpassa dem för affärsbruk genom finjustering eller inbäddning är ett sätt för företag att använda generativ AI. Men en annan väg som vissa företag tar är att leta efter smala, specialiserade modeller.

– Vi har sett domänspecifika modeller växa fram på marknaden, säger Arun Chandrasekaran, analytiker på Gartner.

– De tenderar också att vara mindre komplexa och billigare.

Databricks, IBM och AWS har alla erbjudanden i denna kategori, säger han.

Det finns modeller som är särskilt utformade för att generera datorkod, modeller som kan beskriva bilder och de som utför specialiserade vetenskapliga uppgifter. Det finns förmodligen ett hundratal andra modeller, säger Chandrasekaran, och flera olika sätt för företag att använda dem.

Företag kan använda publika versioner av generativa AI-modeller, som Chat GPT, Bard eller Claude, när det inte finns några integritets- eller säkerhetsproblem, eller köra modellerna i privata moln, som Azure. De kan komma åt modellerna via API:er, komplettera dem med inbäddningar eller utveckla en ny anpassad modell genom att finjustera en befintlig modell via träning på nya data, vilket är den mest komplexa metoden, enligt Chandrasekaran.

– Du måste ta fram dina data och annotera dem. Sedan äger du modellen och måste betala både för inferens och hostingkostnader. Därför ser vi inte så mycket finjustering just nu.

Men det kommer förmodligen att förändras, säger han, med nya modeller som är mindre och därför enklare och billigare för företagen att genomföra den extra träningen och implementera dem.

Det finns ytterligare ett alternativ för företagen, tillägger han.

– Det är när man bygger sin egen modell från grunden. Det är inte något som många företag kommer att göra, om man inte är ett Fortune 50-företag, och även då bara för mycket specifika användningsfall.

För många företag kommer det att vara bättre att använda standardmodeller och lägga till inbäddningar. Att använda inbäddning har dessutom en extra fördel, säger han.

– Om man använder rätt arkitektur, som en vektordatabas, kan AI inkludera referenser i sina svar. Och man kan faktiskt ställa in dessa modeller så att de inte ger något svar om de inte har referensdata."

Det är vanligtvis inte fallet med offentliga chattbottar som ChatGPT.

– Ödmjukhet är inte en dygd för chattbottar på nätet", säger Chandrasekaran.

– Men chattbottar för företag kan säga: ”Jag vet inte svaret”.

Gå ner i storlek

Mindre modeller är inte bara enklare att finjustera, de kan också köras i ett bredare utbud av driftsalternativ, exempelvis på stationära datorer eller till och med i mobiltelefoner.

– Dagarna med sex månader eller mer av träning och miljarder parametrar är förbi, säger Bradley Shimmin, chefsanalytiker för AI-plattformar, analys och datahantering på Omdia, en rådgivnings- och forskningsorganisation inom teknik.

– Nu tar det bara några timmar att träna en modell. Du kan snabbt iterera och förbättra modellen, finjustera den och optimera den så att den körs på mindre hårdvara eller mer effektivt.

Ett företag kan ta öppen källkod för en modell som Llama 2 – som finns i tre olika storlekar – och anpassa den så att den gör exakt vad de vill.

– Det kommer att kosta mig betydligt mindre än att använda GPT 4:s API, säger Shimmin.

De mindre modellerna gör det också möjligt för företag att experimentera, även om de inte vet så mycket om AI när de börjar.

– Man kan snubbla runt utan att ha en massa pengar, och snubbla in i framgång mycket snabbt.

Ta Gorilla, till exempel. Det är en LLM baserad på Llama, finjusterad på 1 600 API:er.

– Den är byggd för att lära sig hur man navigerar i API:er. Till användningsområdena hör dataintegration i företag. Du behöver inte längre underhålla en pipeline, och den kan göra grundorsaksanalys, självläka, bygga nya integrationer snabbt – du kommer att tappa hakan, säger Shimmin.

Utmaningen är att ta reda på vilken modell som ska användas var, och att navigera bland alla olika licensvillkor och efterlevnadskrav. Dessutom återstår det fortfarande mycket arbete när det gäller att operationalisera LLM.

Inte bara språk

Språkmodeller får mest uppmärksamhet i företagsvärlden eftersom de kan skriva kod, svara på frågor, sammanfatta dokument och generera marknadsföringsmejl. Men generativ AI handlar om mer än bara text.

Flera månader innan Chat GPT hamnade i rampljuset fanns det ett annat generativt AI-verktyg som skapade rubriker – Midjourney. Bildgeneratorer utvecklades snabbt, till en punkt där de producerade bilderna inte gick att skilja från mänskligt arbete och till och med vann konst- och fotopriser.

Dead Lizard, en kreativ byrå som har Disney bland sina kunder, använder inte bara Midjourney utan även flera andra bildverktyg, däribland Stable Diffusion och ClipDrop för bildredigering, och Runway för att lägga till rörelse.

Bilderna används i företagets egna sociala medier, men också som en del av idéskapandet och den kreativa processen.

– Att lägga till en öppen verktygslåda för generativ AI är detsamma som att öppna ett helt internet med hjärnor och perspektiv", säger Todd Reinhart, medgrundare av Dead Lizard.

– Det bidrar till att snabba upp idéutvecklingen.

Även konstiga eller ologiska förslag kan vara till hjälp i det här skedet, säger han, eftersom de kan inspirera till lösningar utanför de vanliga trygghetszonerna. Dessutom kan nya generativa AI-verktyg dramatiskt förbättra fotoredigeringen. Tidigare var företaget tvunget att göra specialfotograferingar, vilket vanligtvis är oöverkomligt dyrt för alla projekt utom de allra största, eller använda arkivbilder och Photoshop.

– Vi upptäcker helt nya arbetsflöden och verktygsuppsättningar nästan varje vecka, säger Todd Reinhart.