Microsoft tränar ny AI-modell stor nog att konkurrera med större LLM:er

Microsoft håller på att utveckla en ny stor språkmodell (LLM) med kodnamnet MAI-1, som har potential att konkurrera med AI-LLM:er utvecklade av Google och OpenAI. Det är första gången Microsoft utvecklar en så stor LLM sedan de investerade flera tiotals miljarder kronor i OpenAI för att få rättigheterna till att använda den deras teknik i sitt produktivitetspaket.

Utvecklingen av MAI-1 ses över av Mustafa Suleyman, grundare av Google DeepMind och medgrundare av Inflections, enligt en rapport från The Information. I mars 2024 förvärvade Microsoft flera av Inflections anställda i en affär som värderas till 650 miljoner dollar.

Enligt rapporten som släpptes den 6 maj kommer MAI-1 att ha cirka 500 miljarder parametrar, vilket placerar den någonstans mellan de rapporterade en biljon parametrarna i OpenAIs GPT-4 och de 70 miljarder parametrarna i Meta Llama 3 AI-modellen. Den förväntas även vara ”betydligt större” och dyrare än någon av Microsofts tidigare, mindre AI-lösningar med öppen källkod (Phi-3 och WizardLM-2), eftersom den kommer att kräva mer beräkningskraft och träningsdata.

MAI-1 kan utnyttja tekniker och träningsdata från Inflection, men skiljer sig fortfarande från någon modell eller teknik som producerats av OpenAI eller Inflection. Enligt Microsoft-anställda med insyn i projektet är MAI-1 en helt ny LLM utvecklad internt av Microsoft.

Microsoft har ännu inte avslöjat det exakta syftet med MAI-1, och vad den ska användas till beror på dess prestanda. Under tiden har företaget tilldelat den en stor servergrupp med GPU:er från Nvidia, och använder stora mängder data från olika källor för att förbättra modellen.

Beroende på hur stora framsteg den gör kan företaget komma att presentera MAI-1 på Build-utvecklarkonferensen senare denna månad, enligt rapporten, men det är inte bekräftat.