Microsoft présente un nouveau cadre de sécurité pour l'IA

Microsoft a présenté un nouveau cadre pour sécuriser les agents d'IA dans une série de publications diffusées le 19 octobre. Ce cadre vise à répondre aux inquiétudes concernant la sécurité et la fiabilité des modèles d'IA, qui peuvent parfois se comporter de manière imprévisible en raison de problèmes liés à la façon dont ils sont programmés pour réagir aux récompenses ou aux objectifs.

Les agents d'IA nécessitent une surveillance continue

Hayate Gallot, vice-président de la sécurité chez Microsoft, soutient que les agents d'IA doivent être traités comme des « initiés » qui nécessitent une surveillance et une protection constantes. Cette approche reflète la reconnaissance croissante du fait que les systèmes d'IA, sans être intrinsèquement dangereux, peuvent agir d'une manière qui s'écarte de leurs fonctions prévues.

De nouveaux outils pour surveiller le comportement de l'IA

L'entreprise propose d'utiliser des agents « Guardian » pour surveiller et réguler les actions d'autres systèmes d'IA. Par ailleurs, Microsoft développe une infrastructure de sécurité appelée Perception, qui s'appuie sur des équipes d'agents aux rôles différents (rouge, bleu et vert) pour repérer et traiter les risques potentiels pour la sécurité. Ce système a déjà permis de détecter des failles en interne, avec une hausse notable du nombre de problèmes résolus lors des Patch Tuesdays.

Élargissement des capacités et des contrôles des agents

Nadim Abdo, vice-président de la division Identité et accès réseau de Microsoft, a annoncé des mesures de sécurité supplémentaires, notamment 35 nouveaux types d'agents d'IA locaux, tels que Claude Code, OpenAI Codex et GitHub Copilot. Microsoft introduit également de nouveaux types d'identités pour Entra Agent ID afin de mieux gérer les agents locaux et inconnus.

Bacs à sable et contrôles des autorisations

Pour renforcer la sécurité, Microsoft déploie des bacs à sable comme le Microsoft Execution Container (MXC). Ces environnements permettent aux agents de fonctionner avec un accès restreint aux ressources, en partant d'aucune autorisation et en n'obtenant que des droits spécifiques et limités dans le temps pour des tâches définies. Ce système, appelé Dynamic Permissions, garantit que les capacités d'un agent ne dépassent jamais celles de l'utilisateur qui le contrôle.

Évaluation dynamique des risques et accès conditionnel

Microsoft a présenté Dynamic Agent Risk, un système qui évalue les risques en fonction de l'identité, des données, des appareils, du cloud, du réseau et des facteurs d'exécution. Cette évaluation est mise à jour en continu. Microsoft a également présenté Dynamic Conditional Access, qui étend l'accès conditionnel d'Entra aux agents d'IA, permettant des réponses flexibles, comme la restriction des droits d'écriture ou l'isolement des environnements d'exécution.

Nouvelles fonctionnalités de confinement et d'explication

Dans le système Perception, Microsoft a ajouté des « Playbooks » permettant d'expliquer les changements de risque, d'examiner les preuves, et de recommander ou d'appliquer des mesures de confinement. Toutefois, l'entreprise n'a pas encore communiqué de détails sur la disponibilité, les tarifs ou les abonnements Microsoft 365 requis pour ces nouvelles fonctionnalités. Certaines pourraient nécessiter le coûteux forfait E7 ou être proposées moyennant un coût supplémentaire.

Conflits potentiels et zones d'ombre

L'approche de Microsoft soulève des questions sur d'éventuels conflits d'intérêts, puisque l'entreprise à la fois identifie les risques et propose des solutions. Si le cadre comprend des éléments comme la vérification de l'identité et l'accès conditionnel fondé sur des principes éprouvés, d'autres aspects, tels que l'évaluation dynamique des risques, reposent sur des modèles d'IA, qui sont intrinsèquement imprévisibles. Microsoft indique que les fournisseurs de modèles doivent divulguer les chaînes de raisonnement pour que l'infrastructure puisse les utiliser efficacement.