Open AI, AI-företaget som kanske mest är känt för chattroboten Chat GPT, har nu publicerat ny forskning där de låtit den mer avancerade språkmodellen GPT-4 förklara hur neuronerna i den mindre avancerade språkmodellen GPT-2 beter sig.
I ett neuralt nätverk så matar du in indata, exempelvis en fråga, varpå den processeras och du får utdata, exempelvis ett svar. Exakt hur den processen går till är däremot än så länge okänt. Något som gäller både för Open AI såväl som andra AI-organisationer.
Mer specifikt har Open AI velat förstå vilka textmönster som får en neuron att aktiveras.
”Språkmodeller har blivit mer kapabla och mer använda men vi förstår inte hur de fungerar”, skriver Open AI:s forskare i början av rapporten.
Metoden att använda GPT-4 för att förstå det hela ska inte ha givit några framstående resultat. Något som Open AI tror dels kan bero på att neuroner kan vara polysemantiska och ha flera betydelser eller associeras med flera koncept. Likväl anses forskningen vara ett steg närmare att bättre tolka varför neurala nätverk ger den utdata som de ger. Något som kan leda till att tolkningen på sikt kan automatiseras vilket kan göra det enklare och säkrare att bygga och utvärdera modeller
Läs också: Kostnadsjakt och AI i fokus när AWS möter 6000 nordiska utvecklare
