För ett och ett halvt år sedan introducerade det amerikanska bolåneföretaget Mr Cooper ett rekommendationssystem i sin kundservice. Systemet skulle komma med förslag på hur kundernas problem kunde lösas.

När nio månader gått insåg man att ingen använde systemet. Och det tog ytterligare sex månader att lista ut varför. Det berättar cio:n Shridar Sharma för vår amerikanska systersajt CIO.com.

Orsaken var helt enkelt att systemets rekommendationer inte var relevanta. Det berodde dock inte på algoritmerna utan på att man tränat dem på data som baserades på de tekniska beskrivningarna av kundernas problem och inte på hur kunderna själva beskrev problemen med egna ord.

Tyvärr är det här inget ovanligt. I en undersökning från IDC som kom nyligen var det bara runt 30 procent av företagen som uppgav att de hade lyckats i 90 procent av fallen med sina AI-projekt.

De flesta uppgav att de misslyckats med mellan 10 och 49 procent av sina AI-projekt och för tre procent av företagen hade över hälften kraschat.

Innovation, organisation och ledarskap – vad behöver du göra idag för att vara relevant imorgon? Det får du veta på CIO Governance den 12 september – boka plats här

En fjärdedel av de tillfrågade pekade ut brist på personal och orealistiska förväntningar som huvudorsak till att projekten misslyckades. 23 procent uppgav att det berodde på att man saknade de data som krävdes.

– Så fort det finns tecken på att misslyckas så brukar de flesta stoppa projektet. Men gör du det är du körd, säger Shridar Sharma.

Mr Cooper har heller inte gett upp sitt AI-projekt utan det återkommer som del i en översyn av företagets crm-system nästa år. Företagets senaste maskininlärningsprojekt där man bland annat analyserar ostrukturerad data gör redan affärsnytta och skapar bättre data för framtida projekt.

– Det är inga billiga lärdomar, säger han och framhåller att man måste ha med sig både vd och finanschef om saker och ting går snett.

Brist på data

Precis som för Mr Cooper så har många företag problem med att ta fram korrekt data för att träna sina maskininlärningsalgoritmer Om data inte har kategoriserats på rätt sätt så måste människor ta sig tid att ordna det och det kan fördröja projekt eller få dem att misslyckas.

Ett annat problem är att man helt enkelt inte har de data som krävs för projektet.

Organisationen National Audubon Society använder sig av AI för att skydda fåglar. Exempelvis gjordes en analys tidigare i sommar om hur klimatförändringen påverkar 38 olika fågelarter som lever på grässlätter.

Resultatet visade att om vi inte lyckas bromsa förändringen så är 42 procent av de fågelarterna mycket sårbara. Men om vi vidtar åtgärder kan det dras ner till åtta procent.

Men det är inte den första gången som organisationen använder sig av AI – och det har inte alltid gått så bra. Exempelvis har man använt det för att räkna beståndet av två fågelarter – bruna pelikaner och amerikanska saxnäbbar – på stränder. För att göra det använde man bilder som tagits av en drönare som flugit över en ö utanför Texas.

Det krävdes att 2 000 bilder av bruna pelikaner kategoriserades innan det gick att använda – och när det gällde amerikanska saxnäbbar räckte bilderna helt enkelt inte till.

Bias i träningsdata

Brist på data kan också ta sig i uttryck på andra sätt. Teknikföretaget Fritz Labs försökte skapa en modell för att identifiera hår i foton. Man byggde AI-modeller som skulle kunna köras direkt på mobilen utan att skicka data till en central server. Tanken var att man skulle kunna identifiera håret i en video och ändra färgen på det i realtid.

Och i början såg det bra ut men efter ett tag insåg man att det fanns en stor brist i algoritmen – den hade svårt att urskilja hår för vissa etniska grupper. Orsaken var att de grupperna helt enkelt inte fanns med i de data som använts för att träna modellen.

Så även om det finns stora dataset med bilder som kan användas för träning så gäller det att kolla att de också innehåller tillräckligt av de data som du behöver.

– Till att börja med behöver man ta sig tid och lägga kraft på att bygga sitt eget set med testfall som är representativ för den egna användarbasen, säger teknikchefen Jameson Toole.

Det slutade med att Fritz Labs samlade in de bilder som behövdes och kategoriserade dem manuellt.

– Det satte ljuset på hur lätt det är att få in bias i ett system som det här om du bara har tillgång till en begränsad mängd med data.

Problem med dataintegration

Data kan finnas i för stora mängder också – och på för många olika ställen. En person som ansvarar för AI på en bank, men som vill vara anonym, berättar om att det var det som hände för dem.

– Vi hade data i silos och konsekvensen var att vi inte hade kundernas 360-graders vy, säger han.

Problemet med dataintegrationen skadade bankens förmåga att skapa effektiv marknadsföring vilket i sin tur ledde till lägre intäkter. Men nu arbetar banken med att få en översikt över kunddata genom flera kanaler inklusive online, mobilt och personliga möten. Hittills har man bara kommit en bit på väg och inte förrän om närmare två år tror han att datakällorna är ihopkopplade.

– Vi är inte framme än. Data i silos är en av de största utmaningar vi haft och har.

Och utmaningen är inte bara teknisk utan det är också ett affärsproblem i och med att det finns data som det inte är tillåtet att blanda.

Prioriteringar är ett annat hinder för att lyckas med dataintegrationen. Det projektet i sig tillför inte värde för banken så vem ska betala för det?

Historiska data

Ett annat hinder för AI-projekt är när företag litar till historiska data i stället för aktuella data i sina träningsset. Ofta fungerar inte system som tränats på statiska historiska data för realtidsdata enligt Andreas Braun, analytiker på Accenture.

Det kan vara stor skillnad i urvalet av historiska data och de data som ett system spottar ur sig i realtid – exempelvis när det gäller sådant som att upptäcka bedrägerier eller penningtvätt eftersom modellerna inte tränats på att märka små förändringar i beteende.

– Om du kopierar data vid en speciell tidpunkt, kanske mitt i natten, eller på en lördag eller söndag, så har du en frusen situation. Det gör analysen i labbet väldigt enkel. Men när maskininlärningsmodellerna integreras i det verkliga systemet så går det mycket sämre, säger Andreas Braun.

Hans lösning är att inte sätta dataanalytikerna i en separat silo utan i stället låta dem bygga modeller med de data som strömmar in. Då integreras modellerna i produktionsmiljön mycket snabbare.

Orörd, ostrukturerad data

Fortfarande litar 62 procent av alla företag till kalkylark och bara 18 procent av dem drar nytta av ostrukturerade data som produktbilder, ljudfiler från kunder och kommentarer från sociala medier i sina analyser, enligt en undersökning från Deloitte.

Men 24 procent av de företag som använder sig av ostrukturerade data har större möjligheter att överträffa sina affärsmål.

– Det kräver att du förändrar ditt sätt att tänka kring data i grunden, säger Ben Stiller, som är analytiker på Deloitte.

Exempelvis har Mr Cooper mängder av ostrukturerade data i form av 1,5 miljarder kunddokument. Det gör att kundtjänsten måste ägna allt för mycket tid åt att hitta dokumenten så att de kan hjälpa kunderna. Därför skannade företaget alla dokumenten och med maskininlärningsteknik analyserades de första 150 miljoner som tillhörde någon av de 200 mest använda typerna av dokument.

– Nu har vi ett maskininlärningsprojekt som ger oss värde och som är i produktion i dag, säger Shridar Sharma.

Kulturella utmaningar

Förutom data så är det organisationsfrågor som kan stå i vägen för att lyckas med AI.

– Du behöver ha affärsfolk som sitter med i de tekniska teamen så att kontexten alltid är prioriterad, säger Shridar Sharma.

Såvida du inte kan lära dig av misstag som dessa så är dina chanser att lyckas med AI små. Misslyckade AI-projekt kan oroa investeringsteam som gör finansieringsval och kan också ha en negativ inverkan på anställdas och kundtillfredsställelse.

Ledningens intresse är avgörande. Enligt Deloittes undersökning så ökar chansen att du lyckas med 77 procent om du har din vd med dig.

Läs också:
Det här är AI och så funkar det
Det bedöms som nyckeln för att driva på AI-utvecklingen