Algoritmen Compas säger sig kunna förutspå huruvida brottsdömda personer återfaller i kriminalitet efter ett avtjänat straff eller inte. Men det är ett anspråk som inte tycks stämma, i alla fall om man får tro en ny forskningsrapport som visar att människor helt utan expertis gissar sig till fler rätt än algoritmen. Det skriver The Verge.

Läs också: Efter big data-hajpen: nu kokar det i datasjöarna

I forskningsrapporten, som publiceras i tidskriften Science Advance, slår forskarna förvisso fast att Compas ganska ofta lyckas pricka rätt - hela 65 procent av gångerna. Men det är en föga tröst då 462 slumpvist utvalda individer gissade rätt 67 procent av gångerna.

”Förespråkarna av sådana här system argumenterar för att big data och avancerad maskininlärning gör de här analyserna mer korrekta och mindre partiska än om människor utför dem. Men vi kan visa att den kommersiella mjukvaran Compas inte är mer korrekt eller rättvis i sina förutsägelser än de som görs av människor med lite, eller ingen, kunskap om brott och straff”, skriver forskarna i sammanfattningen av sin rapport.

Hos Equiant, företaget som ligger bakom Compas, köper man dock inte rapporten. I stället tycker de att forskarna haft ett för litet urval för att faktiskt kunna säga något konkret.

”Equivant kommer att begära ut alla data som använts i den refererade studien såväl som resultaten från referentgrasnkningen genom externa källor. Vår forskardivision kommer se över alla data när de levereras. Det är kritiskt för att försäkra att lämpliga metoder, rättvisa jämförelser, och slutsatser gjordes då artikeln fick bred spridning på nätet”, skriver Equiant i ett uttalande.

Läs också: Boom för blockkedjan – redan en miljardindustri i Sverige

Att urvalet är för litet för att kunna ge en exakt bild av Compas förmågor håller Megan Stevenson, professor i juridik vid George Mason University, med om. Trots detta tycker hon att rapporten är anmärkningsvärd.

"Rapporten fick mig att tänka på hur taket för prediktiva krafter faktiskt är lägre än vad jag trott. Och då har jag aldrig trott att det varit speciellt högt", säger hon till The Verge.