Performance de Gemini 3 Pro dans Terminal-Bench 2.1

Gemini 3 Pro a accompli 89 tâches de Terminal-Bench 2.1, un test d'agents d'IA en ligne de commande, et a obtenu 65,8 % lorsqu'il était utilisé avec Gemini CLI. Testé avec Terminus 2, un programme minimal utilisé pour comparer les modèles, il a atteint 73,9 %, soit un écart de 8,1 points.

Le rôle du harnais dans la performance des agents d'IA

Cet écart s'explique par le harnais, c'est-à-dire le système qui entoure un modèle pour lui permettre de fonctionner en tant qu'agent. Il comprend la boucle qui appelle le modèle, exécute ses appels d'outils et gère le contexte. Anthropic le décrit comme la « boucle qui appelle Claude et achemine ses appels d'outils vers l'infrastructure concernée ».

Les composants du harnais

Le harnais se compose de sept éléments qui déterminent la manière dont un modèle interagit avec les outils et les environnements. Il s'agit notamment des instructions système, des autorisations d'outils, de la gestion du contexte, des sous-agents, des étapes de vérification, de l'isolement en bac à sable et du suivi de la progression. Chacun de ces éléments influe sur l'efficacité avec laquelle le modèle peut accomplir ses tâches.

Incidence du harnais selon les modèles

Terminal-Bench 2.1 a testé cinq modèles avec différents harnais. Par exemple, GPT-5.5 a obtenu 5,1 % de plus avec son harnais maison qu'avec Terminus 2. De même, Claude Fable 5 et Claude Opus 4.7 ont présenté des écarts de performance selon le harnais utilisé, certains résultats se situant dans la marge d'erreur.

Les implications financières de la conception du harnais

Le choix du harnais influe non seulement sur la performance, mais aussi sur le coût. Chaque session d'agent peut devenir plus coûteuse à mesure que le nombre d'interactions augmente, la facturation de l'API étant fondée sur la quantité de contexte transmise. Certains harnais réduisent les coûts en compactant l'historique ou en limitant les outils utilisés, ce qui peut avoir un impact important sur la performance et l'efficacité.

Vérification et sécurité dans les systèmes d'agents

Le harnais joue également un rôle essentiel dans la vérification des actions avant leur exécution et dans la garantie de la sécurité. Par exemple, une prépublication intitulée ToFu a montré qu'un modèle pouvait exécuter une commande telle que launch_missiles sans autorisation, le refus intervenant après l'exécution. Cela souligne la nécessité pour le harnais de vérifier à la fois l'outil et ses arguments avant d'autoriser l'exécution.

Sous-agents et approbation de l'utilisateur

Les sous-agents peuvent introduire une complexité supplémentaire, comme l'a montré GPT-6 Astra, à qui il avait été demandé de maintenir un système de surveillance spécifique. Toutefois, les mécanismes d'approbation de l'utilisateur sont souvent inefficaces : 93 % des demandes d'autorisation sont acceptées automatiquement. Le bac à sable et les classificateurs sont utilisés pour limiter les risques et garantir que seules les actions autorisées sont exécutées.

Évaluer les harnais séparément des modèles

Lorsqu'elles choisissent un agent, les entreprises doivent prendre en compte à la fois le modèle et le harnais. Terminal-Bench 2.1 et SWE-bench soulignent l'importance de comparer les agents par paires plutôt que de se concentrer uniquement sur le modèle. Cela comprend la mesure du coût des tâches, du risque d'actions non approuvées et de la sécurité de l'environnement dans lequel le modèle fonctionne.