Mistral Large 4 Preview obtient 38 à l'indice d'intelligence

Artificial Analysis a indiqué le 19 octobre que Mistral Large 4 Preview avait obtenu 38 à son indice d'intelligence (version 4.3.2), tandis que Muse Spark Open de Meta a obtenu 39. Ces résultats proviennent d'une comparaison de plusieurs grands modèles de langage, dont DeepSeek V4.1 Flash, qui a également obtenu 39.

Mistral Large 4 est une version préliminaire

Mistral Large 4 est une version préliminaire, et son apprentissage par renforcement est encore en cours de développement, selon l'annonce de Mistral. Le modèle n'a pas encore été entièrement publié, et ses poids ne sont pas accessibles au public. Artificial Analysis le classe donc toujours parmi les modèles propriétaires, même s'il est évalué dans le cadre de comparaisons de modèles ouverts.

Mistral Large 4 devance Muse Spark Open dans les tests d'agents

Dans les tests fondés sur des agents, comme Terminal-Bench et AutomationBench, Mistral Large 4 a surpassé Muse Spark Open. Sur Terminal-Bench 4.0, Mistral Large 4 a atteint un taux de réussite de 27 %, contre 8 % pour Muse Spark Open. Sur AutomationBench-AA, Mistral Large 4 a réussi dans 60 % des cas, contre 50 % pour Muse Spark Open.

Muse Spark Open domine les tests de connaissances et de sciences

Muse Spark Open a devancé Mistral Large 4 dans les tests de connaissances et de sciences. Il a obtenu de meilleurs scores à Humanity's Last Exam (44 % contre 35 %), à SciCode (58 % contre 54 %) et à AA-Omniscience (25 contre −5). Le test AA-Omniscience pénalise les réponses incorrectes, et un score négatif indique qu'il y a plus de réponses fausses que de réponses justes.

Mistral Large 4 est plus bavard et plus coûteux

Mistral Large 4 produit nettement plus de jetons de sortie que Muse Spark Open, avec 200 millions de jetons contre 110 millions. Cette plus grande verbosité augmente de 36 % le coût de l'exécution de l'indice d'intelligence, passant de 1 183 dollars pour Muse à 1 607 dollars pour Mistral Large 4. Le temps d'exécution de Mistral Large 4 est également plus long, soit 734 secondes contre 288 secondes pour Muse.

Mistral Large 4 pourrait bientôt être publié en open source

Mistral AI prévoit de publier les poids de Mistral Large 4 d'ici la fin octobre. L'entreprise a indiqué que ces poids seront disponibles sur Hugging Face, avec une date de publication estimée au 31 octobre 2026. Toutefois, la licence du modèle n'a pas encore été publiée, et les détails concernant les restrictions d'utilisation restent flous.

Muse Spark Open dispose d'une licence d'utilisation commerciale

Meta a publié la licence de Muse Spark Open, qui autorise l'utilisation commerciale sous certaines restrictions. La licence exige que les utilisateurs informent Meta et signent un accord distinct s'ils envisagent de proposer le modèle comme service au-delà de 20 millions de dollars de chiffre d'affaires. Elle impose également que tout produit ou service utilisant Muse Spark Open affiche de manière visible la mention « Built with Muse Spark Open ».

DeepSeek V4.1 Flash est un concurrent sérieux

DeepSeek V4.1 Flash, qui a obtenu 39 à l'indice d'intelligence, a devancé Mistral Large 4 sur AutomationBench (69 % contre 60 %) et a fait jeu égal avec lui sur Terminal-Bench (27 %). Cependant, il a produit 253 millions de jetons dans l'indice, ce qui le rend plus coûteux que Mistral Large 4 au tarif réduit. Ce modèle est disponible sous licence MIT, qui offre une utilisation plus souple que les licences de Mistral et de Muse.