Tillsammans har Microsoft och Nvidia träna upp en ny AI-genererad språkmodell som de uppger är den största och mest kraftfulla hittills, rapporterar Venture Beat. 

”Kvaliteten och resultaten som vi har uppnått idag är ett stort steg framåt i resan mot att löftet med AI i naturligt språk ska infrias. Innovationerna i DeepSpeed och Megatron-LM kommer att gynna befintlig och framtida AI-modellutveckling och göra stora AI-modeller billigare och snabbare att utbilda” skriver de två personer som drivit projektet i ett blogginlägg.

Den enorma modellen, med namnet Megatron-Turing Natural Language Generation, som innehåller 530 miljarder parametra. För att träna upp den har Microsoft och Nvidia använt sig av 270 miljarder så kallade tokens – textbitar som kan vara ord, tecken eller delar av ord – från webbplatser där språket är engelska.

Genom att träna på ett antal exempel har AI-modellen kunnat lära sig mönster för grammatik och syntax.