IBM har satsat hårt på sitt AI-system Watson. Av goda skäl. Det är en teknik som har potential att hjälpa patienter inom flera medicinska fält och sammanställa information på ett sätt som aldrig varit möjligt tidigare. Men med ny teknik följer inte sällan en hajp. Och på den kritik.

Den amerikanska nyhetssajten Stat News har undersökt användningen av Watson på cancerkliniker runt om i världen och intervjuat ett dussintal läkare och experter. De har tittat på användningen, marknadsföringen och hur systemet faktiskt har levererat. Och svenska läkare och forskare håller delvis med om den bild tidningen målar upp.

– Jag tror att AI-system behöver komma närmare den kliniska vården, det är långt att gå från algoritmer att få något som ger värde i vardagen. Där jobbas det för lite, säger Claes Lundström, universitetslektor på Linköpings universitet och forskningschef på Sectra.

Läs också: Artificiell intelligens ska ge kortare telefonkö hos Försäkringskassan

Den kritik som lyfts fram i granskningen är framför allt att Watson fortfarande befinner sig på ett väldigt tidigt stadie i utvecklingen. Systemet ska fortfarande hålla på att lära sig skilja på olika typer av cancertyper och att det bara är ett fåtal sjukhus runt om i världen som faktiskt börjat använda tekniken. Vilket ska vara långt ifrån IBM:s målsättning.

Watson har hittills inte tagit det stora klivet in i den svenska sjukhus- och forskningsvärlden. Men artificiell intelligens och maskinlärning lockar desto mer och det pågår ett antal projekt på landets universitetssjukhus. Claes Lundström och hans kollegor på det nationella bild-AI-centret Aida är några av de som håller att vakande öga på utvecklingen, men han tillägger att de inte jobbar specifikt med Watson och saknar detaljkunskaper kring hur det specifika ai-systemets funktioner.

AI-systemen är bland annat tänkta att samla kunskap om olika delar av medicinområdet, bland annat cancervården och röntgenbilder. Med datorer och big data ska läkare få hjälp att snabbt diagnostisera sina patienter, hitta förslag på behandlingar och förser vården med de senaste rönen.

Systemet som är under lupp i den amerikanska granskningen är just cancerverktyget. Där har Watson tränats av specialister på ett av världens främsta centrum för cancerforskning, Memorial Sloan Kettering i New York. De matar in allt från forskningsresultat, journalanteckningar, labbrapporter och röntgenbilder. Analyser av den informationen ska sedan leda fram till råd och förslag på behandlingar. Det slutgiltiga beslutet ligger alltid hos den behandlande läkaren. Processen inleds alltså av en människa, och avslutas med en människa.

Enligt IBM:s egna siffror från studierna på cancercentrat i New York stämmer Watsons bedömningar i en majoritet av fallen överens med läkarnas. När det kommer till bröstcancer, steg ett till tre, gör AI-doktorn samma bedömning som läkarna i 90 procent av fallen. Gällde de lungcancer stämde rekommendationerna överens i hälften av fallen.

Samtidigt ska ett sjukhus i Danmark hoppat av projektet helt och hållet, då Watsons förslag bara stämde överens med läkarnas bedömning i en tredjedel av fallen. Granskningen visade att i de länder som arbetar med samma metoder som läkarna i New York, eller läkarna var utbildade i USA, där stämde bedömningarna överens i större utsträckning.

Claes Lundström säger att man inte bara kan se på siffrorna rakt upp och ner.

– AI-systemens rekommendationer måste framför allt sättas i ett sammanhang. Frågan är, om det blir fel i ett fall av tio, hur samarbetar människa och maskin för att kvarlitetssäkra resultatet? Går det att kontrollera de fall som är fel? Hur kontrollerar man falska positivt fynd? Hur ser man till att man inte tappar mer tid på de kontrollerna, än man vinner på automatiseringen? säger Claes Lundström.

Läs också: Framtidens midsommarprognoser kan komma från IBM:s superdator

Att uppståndelsen blir stor när ny teknik lanseras är inget nytt. Särskilt inte när det rör sjukdomar som drabbar så stora delar av befolkningen. Enligt Cancerfonden kommer en av tre personer som lever i Sverige få ett cancerbesked under sin livstid. Men Claes Lundström tycker inte att IBM hade behövt gå ut så hårt. Vad Watson kan göra redan i dag räcker.

– Det är marknadsförarna som byggt upp hajpen, de har lovat magi och lagt upp för besvikelse. Det är synd, för även med en jordnära hållning finns oerhörda möjligheter med AI inom vården att prata om. Det gäller säkerligen Watson också, att det är bra teknik och ett kraftfullt system som de hade kunnat sälja in för vad det är, säger han.

Annan kritik som riktats mot Watson är att underlaget är alltför fokuserat på amerikanska förutsättningar. Systemet har tränats av amerikanska forskare och matats med amerikansk forskning. Samtidigt är den stora fördelen med AI-systemet att det ska tränas med mer material, det blir smartare allt eftersom det lär sig.

– Det är en av de stora utmaningarna ai-systemen i vården står inför. Hur gör man för att få något som fungerar på ett ställe att fungera på ett annat, säger Claes Lundström.

Han är inte ensam om sin tveksamhet inför globala datasystem som ska fungera för samtliga sjukhus, oavsett vilket land. En av fördelarna som IBM lyfter fram med Watson är förmågan att sammanställa information från hela världen. Även om den just nu framför allt är matad med data från New York-forskarna.

Ingemar Petersson, professor i ortopedi och forskningschef vid Skåne universitetssjukhus, är tveksam till om det är den bästa lösningen.

– Watson måste kunna anpassas till varje land, den exakta användningen som stämmer med deras riktlinjer. I dag är det i grunden ett USA-baserat system. Ur ett globalt perspektiv, så fort man kommer till andra länder – som Indien, afrikanska länder eller många europeiska länder – så är kontexten en helt annan. Skulle bli förvånad om samma resultat fungerar som i USA, det är inte samma förutsättningar, säger han.

Tekniken har, även om forskningen levt med den länge, inte många år på nacken. Särskilt av att användas i den faktiska vårdkedjan. Watson och andra AI-system lider precis som annan ny teknik av barnsjukdomar, även om framsteg görs och utvecklingen går åt rätt håll. Men Ingemar Petersson och andra forskare som Computer Sweden pratat med är dock skeptiska till att de globala AI-systemen är rätt väg att gå, även när det mognat.

Läs också: Stora ord från IBM – nu ska Watson lösa världsproblemen

– Teoretiskt kan de vara en möjlighet. Jämför med sökmotorn Google, vi kunde nog inte föreställa oss att det skulle vara ett sådant stöd för oss som det är i dag. Men då måste AI-systemen bli mer kontextbaserade, säger Ingemar Petersson.

Ett begrepp som samtliga av de läkare och forskare som CS varit i kontakt med upprepar är vikten av evidensbaserad medicin baserad på forskning. Enkelt sammanfattat ska beslut fattas baserat på det som kan bevisas och har slagits fast i vetenskapliga studier, men också utifrån patientens individuella förutsättningar. Något de saknar i Watson-systemet. Och IBM har fått kritik för att de inte publicerat sina resultat i vetenskapliga artiklar, så som är praxis inom akademin.

– Vi har krav på oss att, inom medicinområdet, jobba med evidensbaserade och beprövade metoder. Grunden för att bestämma vad som är rätt behandling måste utgå från det. Min uppfattning är att Watson inte tar in den typen av information, säger Ingemar Petersson.

Patrik Eklund, professor i datalogi vid Umeå universitet jämför med ett
annat verktyg för statistisk analys, som hängt med betydligt längre än
Watson – SPSS. Han tycker att IBM lanserar Watson tekniken lite som när sagans kejsare gick genom staden i sina nya kläder. Inget nytt under solen, eller motorhuven.

Men så tror han inte heller att det är just han och hans kollegor inom den akademiska världen som är målgruppen för Watson. Snarare är det företag, som inte har tidigare erfarenheter av intelligenta beräkningar. Han saknar den transparens och kontroll forskarna har i SPSS, där är det fortfarande människan som är expert och den som arrangerar och strukturerar datat, innan det behandlas inom analytikens statistiska och logiska maskineri.

– Misstaget man gjort inom analytik är att man brandat 'big data', och där problemet egentligen är att det är komplicerade strukturer. Vi har tittat på fallskador, där kan man potentiellt lägga in alla medicinska fakta, läkemedel, och så vidare, men det krävs också social data för att förstå sammanhanget och för att förstå varför patienter ramlar, säger Patrik Eklund.

Computer Sweden har ställt frågor till IBM i Sverige om den kritik som lyfts i i den Stat News undersökning och även bett om svar på de tveksamheter och frågetecken de svenska forskarna har. Företaget hänvisar dock till svaren i den amerikanska artikeln samt  tidigare uttalanden. Att Watson är under ständig inlärning och såväl AI-system som sjukvården kommer mogna och lära sig använda tekniken på sätt som fungerar för verksamheten.

Läs också: Så har IBM tagit Watson från Jeopardy till big business

I ett mejl skriver pressansvarige Lennart Malm att det är olyckligt att nyhetssajten valt att attackera en teknik som tydligt visat på stora fördelar och vars utveckling bara startat. Nyhetssajten ska enligt IBM också valt att bortse från de positiva kommentarer som kommit fram i granskningen, som ska ha varit fler än de negativa.

”Vad gäller synen på datan man jobbar med som grund så trycker IBM på vikten och värdet av transparens i våra lösningar, dels att visa när AI används samt vilken data, eller evidens, som ligger till grund för de rekommendationer som ges. Den som använder en IBM-lösning ska alltså kunna se vad som ligger bakom ett visst svar för att själva kunna dra bättre slutsatser”, skriver Lennart Malm.