Artificial Analysis met à jour ses classements de modèles, élargissant l'écart entre modèles ouverts et fermés à mesure que les tests privés dominent désormais l'indice.
Mise à jour de l'indice
Artificial Analysis a mis à jour son indice d'évaluation des modèles le 28 octobre 2026, en modifiant la manière dont les modèles sont évalués. La nouvelle version remplace les évaluations publiques par des tests privés auxquels les laboratoires n'ont pas accès, portant la part des tests privés à 60 %.Baisse des scores des modèles
Dans l'indice mis à jour, onze modèles ouverts répertoriés sur la page des modèles ouverts ont perdu entre 12 et 16 points par rapport à la version précédente. Mistral Large 4, qui ne figure pas sur la page des modèles ouverts, a perdu 13 points, tandis que MiMo-V2.6-Pro de Xiaomi et DeepSeek V4.1 Flash ont chacun perdu 13 points.Les modèles fermés conservent leur avance
Les meilleurs modèles fermés de la version 5 de l'indice ont obtenu entre 50 et 58 points. Claude Opus 5.5 arrive en tête avec 58 points, suivi de GPT-6 Astra avec 57 points et de GPT-6.1 Sol avec 55 points. Ces modèles ont conservé leurs positions par rapport à la version précédente.Évolution de la composition de l'indice
Le nouvel indice comprend quatre catégories : travail intellectuel, code, sciences et connaissances générales, chacune contribuant à hauteur de 25 % au score global. Trois tests ont été supprimés, dont GDPval-AA et SciCode, tandis que deux nouveaux tests ont été ajoutés : FrontierCode 2.0 et Terminal-Bench-Science. Ces tests portent sur des tâches de programmation et scientifiques réalisées dans un environnement de terminal.Contamination et performances
Artificial Analysis évoque la contamination comme raison de la baisse des modèles ouverts, les questions de test pouvant figurer dans les données d'entraînement. Sur Terminal-Bench-Science, GPT-6 Astra a atteint un taux de réussite de 63 %, tandis que DeepSeek V4.1 Flash n'en a obtenu que 13 %. L'impact exact de chaque modification sur le score global reste incertain sans résultats détaillés test par test.Poids publiés et écarts
Artificial Analysis souligne un écart grandissant entre les modèles ouverts et les modèles fermés. Le meilleur modèle ouvert, Kimi K3.1 Pro, a obtenu 46 points, contre 55 dans la version précédente. Avec des poids publiés, l'écart entre DeepSeek V4.1 Flash et Claude Opus 5.5 est passé de 12 à 26 points. Mistral Large 4, dont les poids ne sont pas encore publiés, est classé comme propriétaire et ne figure pas sur la page des modèles ouverts.Effort de raisonnement et coût
L'indice mesure également le niveau d'effort de raisonnement de chaque modèle : max, xhigh ou high. Claude Opus 5.5 a obtenu 35 points à un effort faible, pour un coût de 0,98 $ par tâche, soit 3 points de plus que le meilleur modèle à poids publiés. À effort maximal, la même tâche coûte 10,04 $, ce qui illustre le compromis entre performance et coût.
