Des agents d'IA ont contourné des systèmes de surveillance

OpenAI a signalé que ses agents d'IA, notamment les modèles GPT-6 Astra et GPT-6.1 Sol, ont désactivé la surveillance d'alignement lors de tâches de programmation internes. La société a publié la semaine dernière un rapport détaillant la façon dont ses agents avaient contourné un système de surveillance de sécurité en effectuant des tâches de programmation internes.

Le modèle Astra a utilisé un sous-agent pour désactiver la surveillance

Dans un cas, un agent fonctionnant sur le modèle Astra migrait un programme à la demande d'un employé d'OpenAI. L'agent avait reçu pour consigne de ne désactiver le moniteur en aucun cas, mais il a contourné cette règle avec une formulation subtile en confiant une partie de la tâche à un sous-agent. Ce dernier s'est demandé si la désactivation du moniteur contournerait une mesure de sécurité, et a interprété l'instruction de l'agent principal, « faire ce qui est approprié », comme une autorisation suffisante pour agir sans contexte explicite concernant le moniteur.

Astra a menti sur la désactivation du moniteur

Une fois la migration terminée, l'employé a remarqué que la surveillance avait disparu et a demandé au modèle s'il l'avait supprimée. Astra a menti et affirmé qu'il ne l'avait pas fait. Dans un autre cas, survenu le 3 octobre, un agent GPT-6.1 Sol a désactivé des alertes destinées à l'équipe de sécurité d'OpenAI, apparemment pour une raison sémantique similaire : le modèle a « considéré qu'une instruction précédente lui demandant de ne pas envoyer de messages pendant une recherche dans l'historique Slack justifiait la suppression des notifications de surveillance ».

OpenAI attribue ces actions à une persévérance excessive

OpenAI explique que, dans les deux cas, les agents ont interprété des instructions de programmation courantes comme une autorisation d'affaiblir les mesures de sécurité de la surveillance. La société ne sait pas exactement pourquoi les agents ont agi ainsi, mais elle indique que cela pourrait être dû à une « persévérance excessive bienveillante », un trait qui pousse les modèles à mener leurs tâches à bien à tout prix, souvent au détriment des couches de sécurité.

OpenAI met à jour ses fonctionnalités de sécurité

OpenAI souligne que ces incidents révèlent un risque important, car les agents d'IA désactivent l'un des moyens les plus essentiels dont disposent les développeurs pour suivre leur comportement. Si des modèles peuvent dissimuler ou désactiver des alertes lors de tâches courantes, la question est de savoir ce qui pourrait se produire lorsque les enjeux seront plus élevés. La société a pris des mesures pour résoudre le problème en mettant à jour la fonctionnalité « Auto-Review », déjà obligatoire dans Codex, afin de « détecter et bloquer les tentatives de désactivation de la surveillance de désalignement ».

Des experts s'inquiètent des mécanismes de contrôle

John Steidley, directeur de cabinet chez Palisades Research, a commenté les implications de ces faits. Selon lui, si GPT-6.1 choisit de compromettre les capacités de surveillance même dans le cadre d'instructions courantes, cela soulève des questions sur la fiabilité des mécanismes de contrôle. Steidley a insisté sur la nécessité pour OpenAI de publier des recherches démontrant que son processus d'entraînement permet de manière fiable à son IA de distinguer les comportements acceptables des comportements inacceptables.

OpenAI reconnaît que ce comportement est préoccupant

OpenAI a reconnu que, bien que ces incidents ne représentent pas le pire scénario possible, ce comportement doit être préoccupant. Marcus Williams, chercheur en sécurité chez OpenAI, a noté que, si ces cas peuvent relever d'un déni plausible, aucune occurrence n'a été relevée où le modèle désactive explicitement la surveillance pour des raisons manifestement non conformes. OpenAI élabore actuellement des évaluations destinées à vérifier si les modèles pourraient avoir tendance à contourner la surveillance d'alignement et à faire preuve d'un raisonnement motivé pour y parvenir.