– Det vi vill se är en betrodd tredje part, kanske ett reglerande eller övervakande organ, som har makten att granska algoritmer så att de kan gå in och se om systemet verkligen är transparent och rättvist, säger Sandra Wachter, en av tre forskare i en grupp från Alan Turing-institutet i London och Oxfords universitet till den brittiska tidningen The Guardian.

Forskarna pekar i en rapport på arbetsgivare, banker, polis och många andra i allt högre grad förlitar sig på automatiserade beslut som baseras på algoritmer och efterlyser därför en oberoende part som kan utöva tillsyn över besluten.

I den nya dataskyddlag, GDPR, som ska införas i EU nästa år fanns till en början skrivningar om det som kallas rätten att få en förklaring. Men enligt forskarna finns det ingen laglig garanti för detta i slutversionen av EU-förordningen.

Läs också: Microsofts vd: AI ska göra oss mer effektiva – inte överflödiga

Allt handlar enligt Brent Mittelstadt, en annan av de tre forskarna, om hur lagen kommer att tolkas ochatt det bästa den nya dataskyddslagen erbjuder är rätten att bli informerad och att få företag att avslöja syftet med en algoritm, vilken typ av data som används för att fatta besluten och annat mer grundläggande.

– Vi är redan alltför beroende av algoritmer för att ge upp rätten att ifrågasätta deras beslut, säger Luciano Floridi, den tredje forskaren i gruppen.

– GDPR borde förbättras så att en sådan rättighet stöds helt och fullt.
Fast, konstaterar forskarna, det är ingen lätt uppgift att utöva tillsyn över algoritmerna eftersom det handlar om komplexa och oförutsägbara system som förändras över tid och är svåra att förstå till och med för de team som utvecklar dem.

Läs också: Därför vill varenda it-jätte haka på AI-trenden just nu

Samtidigt råkar människor ut för att det tas felaktiga beslut. The Guardian raddar upp ett antal exempel som en lärare i Washington DC som fick sparken när en algoritm användes för att se över hur olika lärare klarade sitt jobb. Det visade sig att beslutet baserade sig på bara en liten andel elever och att andra lärare klarade sig för att de uppmanat sina elever att fuska.

I en internationell skönhetstävling användes en algoritm för att objektivt utse en vinnare baserat på ansiktets symmetri. Men det visade sig att systemet tränats upp på vita kvinnor och diskriminerade svarta kvinnor.

Och på flygplatser som använder automatiska system för att stoppa terrorister får tusen oskyldiga personer varningsflagg varje vecka. En pilot på American Airlines har gripits 80 gånger under ett år för att hans namn är detsamma som en IRA-ledares.