Maia 100 är Microsofts nya AI-chipp – utmanar Nvidia

Efter månader av spekulationer om att Microsoft håller på att utveckla sina egna halvledare, presenterade företaget på sin årliga Ignite-konferens på onsdagen två nya chip, kallade Maia AI Accelerator och Azure Cobalt CPU, som är inriktade på generativ AI respektive cloud computing-arbetsbelastningar.

Enligt Microsoft kommer Maia 100 AI Accelerator att driva några av företagets tyngsta interna AI-arbetsbelastningar som körs på Azure, däribland Open AI:s modellträning och inferenser.

Sam Altman, vd för Microsoft-stödda Open AI, säger i ett pressmeddelande att det anpassade Maia-chippet har banat väg för AI-företaget att träna mer kapabla modeller på ett sätt som kommer att resultera i lägre kostnader för slutkunderna.

Analytikerna håller med om den bedömningen.

– Microsoft skapar sina egna AI-processorer för att förbättra prestanda per watt och prestanda per dollar jämfört med Nvidias erbjudanden, säger Dylan Patel, chefsanalytiker på Semianalysis, ett forsknings- och konsultföretag inom halvledarområdet. Den minskade kostnaden kommer i slutändan att överföras till kunder som prenumererar på Azures AI- och generativa AI-erbjudanden, säger han.

Azure Cobalt 100 CPU, som bygger på Arm-arkitektur, är också ett försök av Microsoft att göra sin infrastruktur mer energieffektiv jämfört med kommersiella AMD- och Intel-processorer, enligt Patel.

Arm-arkitekturen i Cobalt 100 CPU gör att Microsoft kan generera mer datorkraft för varje förbrukad energienhet, säger företaget och tillägger att dessa chipp kommer att användas i alla deras datacenter.

”Vi utnyttjar transistorerna på kislet på det mest effektiva sättet. Multiplicera dessa effektivitetsvinster i servrar över alla våra datacenter, det blir en ganska stor summa”, säger Wes McCullough, corporate vice president of hardware product development på Microsoft, i ett pressmeddelande.

Nytt sätt att kyla de nya chippen

Microsoft var tvungna att skapa en ny design för sina datacenterrack för att rymma Maia 100 Accelerator-chippen i sina datacenter. Rackarna, som är bredare än de befintliga, har utökats för att ge gott om utrymme för både ström- och nätverkskablar, säger företaget och tillägger att en separat vätskekylningslösning, som skiljer sig från de befintliga luftkylningsmetoderna, måste utformas för att hantera chippens temperatur på grund av intensiva AI- och generativa AI-arbetsbelastningar.

För att implementera vätskekylning har Microsoft utvecklat en ”sidekick” som sitter bredvid Maia 100-chippens rack. Enligt Microsoft fungerar dessa sidekicks ungefär som en kylare i en bil.

– Kall vätska flödar från sidekicken till kalla plattor som är fästa på ytan av Maia 100-chippen. Varje platta har kanaler genom vilka vätska cirkulerar för att absorbera och transportera värme. Värmen flödar till sidekicken, som avlägsnar värme från vätskan och skickar tillbaka den till racket för att absorbera mer värme, och så vidare, säger en talesperson för företaget.

Ekonomi och hållbarhet viktiga drivkrafter

Ekonomi, och inte brist på chipp, är den viktigaste drivkraften för anpassade chipp för stora molntjänstleverantörer, som Microsoft, AWS och Google, enligt analytiker.

– Microsofts beslut att utveckla specialanpassade kretsar, ur ekonomisk synvinkel, gör det möjligt för företaget att integrera sina erbjudanden och fortsätta att optimera kretsar för sina tjänster samtidigt som man ökar marginalen och får bättre kontroll över kostnader och tillgänglighet, säger Daniel Newman, vd för The Futurum Group.

Enligt Newman var det samma skäl som ledde till att AWS utvecklade sina egna chipp. Medan AWS har sina Inferentia-chipp i kombination med Trainium-maskininlärningsacceleratorn, har Google utvecklat iterationer av sina Tensor-chipp.

– Cobalt-processorn handlar om att Microsoft ska kunna erbjuda molnoptimerad kisel och Arm-baserade instanser till Azure-kunder på samma sätt som AWS gör med EC2, säger Newman.

Dessutom anser analytiker att de nya chippen ger Microsoft en möjlighet att bygga sina egna AI-acceleratorer i takt med att efterfrågan på AI eller generativ AI växer ytterligare.

– Att bygga acceleratorer för AI-arbetsbelastningar kommer att vara ett sätt att förbättra prestandan samtidigt som man använder mindre ström än andra chipp, till exempel grafikprocessorer (GPU:er). Att öka prestandan och samtidigt vara energieffektiv kommer att bli allt viktigare för leverantörer och företag som försöker uppfylla hållbarhetsmål och dra nytta av AI:s potential, säger Newman.

Utmanar Nvidia, AMD och Intel

Microsofts nya specialtillverkade chipp är inte tillräckligt kraftfulla för att ersätta GPU:er från Nvidia när det gäller att utveckla stora språkmodeller. Men de är väl lämpade för inferens – som används i operativa AI-arbetsbelastningar – och när de lanseras kommer de att minska behovet för företaget att använda chipp från Nvidia, AMD och Intel, säger analytiker och tillägger att anpassade chipp från AWS och Google också kommer att utmana chipptillverkare i framtiden.

– Intel, NVIDIA och AMD ser alla ökningen av Arm-baserade instanser och bör se dem som ett konkurrenshot i vissa fall, säger Newman.

Migreringen av arbetsbelastningar från chipp med x86-arkitektur till Arm är ännu inte plug and play – eftersom programvara ofta skrivs för specifika chipparkitekturer – men har blivit mindre av en stötesten eftersom utvecklare fortsätter att göra framsteg med att köra fler och fler arbetsbelastningar på Arm, säger Daniel Newman.

Analytiker menar att eftersom molntjänstleverantörer använder specialanpassade kretsar i varierande grad, kommer datacentermarknaden att se en ”mer meningsfull övergång” till Arm under de kommande åren trots att x86-chipp för närvarande dominerar marknadsandelen med en betydande marginal.

Bland alla chipptillverkare tror Newman att Nvidia kommer att påverkas minst, åtminstone på kort sikt, eftersom efterfrågan på deras GPU:er kommer att förbli hög.

I vissa fall eller användningsområden kan dock de anpassade chippen från molntjänstleverantörer se ett symbiotiskt förhållande med Nvidia, särskilt Grace Hopper-chippen, som är inriktade på att utveckla och träna stora språkmodeller.

Microsofts nya skräddarsydda chipp förväntas börja rullas ut i början av nästa år till dess datacenter. Eftersom Microsoft inte planerar att sälja chippen till tredje part kommer man inte att behöva hantera de restriktioner som den amerikanske presidenten Joe Bidens administration har infört för teknikexport till Kina.