Des agents d'IA testés sur des défis de sécurité

YesWeHack, une plateforme française spécialisée en cybersécurité, a soumis trois agents d'IA (Codex, Claude Code et Gemini CLI) à un test de leur capacité à repérer et exploiter des failles de sécurité cachées. L'épreuve consistait à résoudre deux « labs » conçus par PortSwigger, une entreprise qui développe des outils de test de sécurité web.

Un test en aveugle qui reproduit des conditions réelles

Le test a été mené en « aveugle », à la manière d'un examen surprise : les agents devaient résoudre les défis sans connaître la nature des vulnérabilités et sans avoir le droit de décoder les indices cachés dans les pages. Ils ont utilisé Burp Suite, un outil couramment employé par les experts en sécurité pour analyser le trafic web et détecter les failles.

Codex se distingue dans l'exécution

Codex, propulsé par GPT-5.6, a obtenu les meilleurs résultats pour l'exécution des attaques. Il a exploité une faille XSS en moins de quatre minutes, puis contourné un système d'authentification JWT en un peu plus d'une minute, atteignant le statut d'administrateur et en apportant la preuve. Il a accompli chaque tâche de manière autonome, sans intervention humaine.

Claude Code brille dans l'exploration

Claude Code, propulsé par Opus 4.8, s'est montré efficace pour explorer l'application et en cartographier la structure. Il a repéré des points faibles et des pistes potentielles, mais a eu du mal avec les dernières étapes. Sur le lab XSS, il a passé près de vingt minutes à tourner en rond à cause d'un simple problème de redirection. Il a également détecté une vulnérabilité de type « request smuggling », mais il a eu besoin d'une aide humaine pour la confirmer et en démontrer l'exploitation.

Gemini CLI refuse d'attaquer

Gemini CLI a adopté une approche différente. Bien qu'il ait été informé que le test était autorisé, il a refusé de lancer des attaques. Chargé d'analyser le trafic capturé, il a rapidement identifié des vulnérabilités, en les expliquant clairement. En revanche, toutes les actions offensives (rédaction des charges utiles, lancement des attaques et démonstration des dégâts) ont été réalisées par des humains.

Chaque IA a affronté des défis différents

Les trois agents ont été confrontés à différents types de vulnérabilités côté serveur : le request smuggling, le contournement de jetons JWT et la désérialisation Java. Les écarts de temps, comme une minute contre trente-quatre minutes, ne donnent qu'une idée générale des performances, car les tâches n'étaient pas identiques.

L'IA a besoin d'une supervision humaine pour gagner en fiabilité

Si l'IA peut identifier rapidement des vulnérabilités, elle ne peut pas remplacer la vérification humaine. Un agent peut décrire avec assurance une faille qui n'est en réalité pas exploitable. C'est pourquoi les rôles devraient être répartis : une IA pour cartographier l'application, une autre pour analyser le trafic, et un humain pour confirmer la vulnérabilité, fixer les limites et valider les conclusions. Pour l'instant, l'IA accélère la chasse aux failles, mais il lui manque encore l'intuition d'un expert humain en sécurité.