Microsoft obučava novi AI model – dovoljno velik da se natječe s glavnim LLM-ovima

Microsoft razvija novi veliki jezični model (LLM) s kodnim imenom MAI-1, koji ima potencijal da stane bok uz bok AI LLM-ovima koje su razvili Google i OpenAI.

Ovo je prvi put da Microsoft razvija tako veliki LLM od kako je uložio milijarde dolara u OpenAI radi dobivanja prava korištenja tehnologije OpenAI u svojem paketu softvera za produktivnost.

Razvoj MAI-1 nadgleda Google DeepMind i suosnivač Inflectiona Mustafa Suleyman, kako je otkriveno u izvješću The Information. U ožujku 2024. Microsoft je preuzeo nekoliko zaposlenika Inflectiona u ugovoru vrijednom 650 milijuna dolara.

Prema izvješću objavljenom 6. svibnja, MAI-1 će imati otprilike 500 milijardi parametara, što ga smješta negdje između prijavljenih trilijun parametara GPT-4 OpenAI-a i 70 milijardi parametara Meta Llama 3 AI modela. Očekuje se da će također biti “daleko veći” i skuplji od bilo kojeg prethodnog Microsoftovog manjeg open-source AI-a (Phi-3 i WizardLM-2) jer njegova obuka zahtijevati više računalne snage i podataka.

Dok MAI-1 može koristiti tehnike i podatke za obuku iz Inflectiona, svejedno se razlikuje od bilo kojeg modela ili tehnologije koje su proizveli OpenAI ili Inflection. Prema zaposlenicima Microsofta koji su upoznati s projektom, MAI-1 je potpuno nov LLM razvijen interno od strane Microsofta.

Microsoft još nije otkrio točnu svrhu MAI-1, a točna uporaba ovog jezičnog modela ovisit će o njegovoj izvedbi. U međuvremenu, tvrtka je dodijelila veliki broj poslužitelja s Nvidia GPU-ovima i koristi velike količine podataka iz različitih izvora kako bi poboljšala model.

Ovisno o daljnjem razvoju događaja, ali kako se navodi u izvješćima, tvrtka bi mogla predstaviti MAI-1 kasnije ovog mjeseca na konferenciji za developere Build, ali to nije potvrđeno.