Mistral publie les poids ouverts de son modèle d'IA

Mistral, start-up française, a rendu disponibles le 29 octobre les poids ouverts de son modèle d'intelligence artificielle Mistral Large 4, surnommé Le Chonk, comme annoncé précédemment. Ces poids, c'est-à-dire les ajustements appris pendant l'entraînement, sont désormais accessibles sur le site Hugging Face, une plateforme de partage de modèles d'apprentissage automatique.

Le modèle repose sur une architecture à mélange d'experts

Le modèle Mistral Large 4 utilise une architecture à mélange d'experts (MoE, pour Mixture of Experts), qui comprend 128 « experts ». Pour chaque token, seuls quatre de ces experts (ainsi qu'un expert commun) sont sollicités. Le modèle compte au total 1 000 milliards de paramètres, mais seuls 49 milliards sont utilisés par token, soit 52 milliards si l'on inclut les couches d'entrée et de sortie. Il s'agit d'une amélioration par rapport à son prédécesseur, Mistral Large 3, qui comptait 675 milliards de paramètres.

Mistral a affiné le modèle grâce à l'apprentissage par renforcement

Entre l'annonce de Mistral Large 4 et la publication de ses poids, Mistral a poursuivi l'amélioration du modèle par apprentissage par renforcement, en se concentrant sur des domaines comme la cybersécurité et le code. L'entreprise fait état de « progrès considérables » et affirme que les avancées « continuent de s'accélérer, sans aucun signe de saturation ».

Le modèle affiche de meilleures performances dans les tests de référence

Selon les chiffres de Mistral, le score du modèle au test Terminal-Bench 4.0, un test de programmation en ligne de commande, est passé de 28 % à 41 %, soit un point seulement devant le modèle chinois GLM-5.3 (40 %). Sur l'indice de code d'Artificial Analysis, il atteint 48 %, à égalité avec le GLM-5.3, tout en utilisant 47 % de tokens en moins par tâche. Il devance plusieurs autres modèles sur Terminal-Bench, mais reste derrière les meilleurs modèles ouverts chinois sur l'indice global de la même société.

Ecosia remplace les modèles de Mistral par des modèles chinois

Ecosia, moteur de recherche, a commencé début octobre à remplacer les modèles de Mistral par des alternatives chinoises telles que Qwen, Kimi et GLM. Christian Kroll, à la tête d'Ecosia, a critiqué Mistral pour la qualité de ses modèles et pour un retard d'environ un an par rapport à ses concurrents.

Mistral baisse ses tarifs d'API mais durcit sa licence

Mistral a réduit le prix de l'API de son modèle : le coût en entrée s'élève désormais à 0,70 dollar (environ 0,63 euro) par million de tokens, et le coût en sortie à 2,10 dollars (environ 1,89 euro). Il s'agit d'une baisse par rapport aux anciens tarifs standard de 1,36 dollar (environ 1,22 euro) et de 4,18 dollars (environ 3,75 euros), respectivement.

Une nouvelle licence impose des accords supplémentaires pour un usage commercial

La licence de Mistral Large 4, appelée Mistral Ecosystem Open-Weight License, est moins permissive que la licence Apache 2.0 utilisée pour Mistral Large 3, qui autorisait tous les usages, y compris commerciaux. La nouvelle licence autorise l'usage commercial, mais oblige les entreprises qui revendent l'accès au modèle sous forme de service à signer une licence distincte avec Mistral. Même la version compressée de Le Chonk nécessite quatre cartes graphiques de centre de données Nvidia B200 ou B300, et la version complète en requiert huit.