Fin du pré-entraînement du modèle

Microsoft a achevé le pré-entraînement de son grand modèle d'intelligence artificielle, MAI-Base-2, en utilisant 16 000 GPU NVIDIA GB200 pendant 38 jours. Le modèle compte 2,8 billions de paramètres et repose sur une architecture à experts mixtes (MoE), qui active environ 80 milliards de paramètres lors de l'inférence.

Gains d'efficacité revendiqués

Selon des tests internes, MAI-Base-2 nécessiterait entre 4,2 et 12,3 fois moins de calcul que le modèle DeepSeek-V4-Pro-Base pour atteindre des performances comparables. Toutefois, ces résultats n'ont pas encore été confirmés par des évaluations indépendantes.

Meilleure utilisation des GPU

Microsoft affirme avoir amélioré l'utilisation des GPU pour ce modèle, faisant passer le taux de 24 % à 35 % dans la partie concernée du modèle. Cette amélioration pourrait rendre les processus d'entraînement et d'inférence plus efficaces.

Données et optimisation renforcées

Pour améliorer MAI-Base-2, Microsoft a augmenté de 36 % le volume de données propriétaires utilisées par rapport à son modèle précédent, MAI-Base-1. L'entreprise a privilégié la collecte de données internes plutôt que les méthodes de distillation, et a utilisé l'algorithme d'optimisation Muon ainsi que des techniques d'ajustement du gradient afin d'améliorer la stabilité de l'entraînement et de réduire les besoins en ressources.

Capacités multimodales

MAI-Base-2 est un modèle multimodal capable de traiter du texte et des images. Il est conçu pour analyser des documents, interpréter des graphiques, comprendre les relations spatiales et effectuer certaines tâches sur un ordinateur, ce qui le rend polyvalent pour diverses applications.

Développements futurs et disponibilité

Microsoft poursuit l'affinement de MAI-Base-2 et prévoit de publier davantage de résultats d'évaluation. L'entreprise travaille également sur MAI-Base-3, dont l'objectif est d'améliorer encore les performances tout en optimisant l'infrastructure. Microsoft entend rendre les poids du modèle accessibles aux clients professionnels via Microsoft Foundry, mais la date exacte de disponibilité n'a pas été annoncée.