Open AI har nu skapat en ny forskningsavdelning kring värdeoriering vars fokus ska vara att utveckla träningstekniker som ska förhindra en superintelligent AI, alltså en AI som kan överlista människor och inte nödvändigtvis följer mänsklig etik, från att orsaka allvarlig skada.
"För stunden har vi inte en lösning för att styra eller kontrollera en potentiell superintelligent AI och hindra den från att göra som den vill", skriver Jan Leike och Ilya Sutskever vid Open AI i ett blogginlägg. De skriver att även om superintelligent AI förväntas vara långt borta tror vissa experter att den skulle kunna dyka upp redan det här årtioendet.
Dagens tekniker för att ge AI värdeorientering inkluderar förstärkningsinlärning genom mänsklig feedback, men om ett AI-system blir smartare än människor går det inte att förlita sig på att människor kan övervaka tekniken.
"Dagens värdeorienteringstekniker kan inte skalas upp för superintelligens. Vi behöver nya vetenskapliga och tekniska genombrott", skriver Jan Leike och Ilya Sutskever som kommer att leda Open AI:s nya avdelning för "superinriktning" (superalignment).
Under de kommande fyra åren kommer avdelningen ha tillgång till 20 procent av Open AI:s processorkapacitet för att bygga en "automatiserad värdeorienteringsforskning på mänskliga nivå" som kan skalas upp för att övervaka superintelligens.
"Vi förväntar oss att vår forskningsprioritet kommer utvecklas märkbart medan vi lär oss mer om problemen och vi kommer förmodligen lägga till helt nya forskningsområden," skriver Jan Leike och Ilya Sutskever. Längre fram planerar avdelningen av presentera en färdplan för framtiden.
