Les agents d'IA ont besoin de règles strictes

Les agents d'IA, des logiciels conçus pour accomplir des tâches de manière autonome, exigent une gouvernance stricte afin de garantir leur fonctionnement sûr et sécurisé. Cela implique de leur attribuer une identité distincte, de limiter leurs privilèges, de s'assurer que leurs actions peuvent être tracées et de maintenir une supervision humaine, afin d'équilibrer leur autonomie avec la sécurité et la confiance.

Les risques changent avec les agents d'IA

Les risques liés aux agents d'IA sont différents des risques traditionnels liés au contenu, comme les données biaisées ou la désinformation. Une erreur commise par un agent d'IA peut devenir une décision ou une action au sein d'un système d'information, se transformant en risque d'exécution qui affecte directement les processus et les résultats.

Les agents d'IA pourraient créer une valeur considérable

Selon le Capgemini Research Institute, les agents d'IA pourraient générer jusqu'à 450 milliards de dollars de valeur d'ici 2028. En outre, 15 % des processus métier pourraient atteindre une autonomie partielle ou totale dans les douze prochains mois, ce qui souligne l'intégration croissante de l'IA dans les opérations des entreprises.

Déléguer n'est pas transférer des privilèges

La délégation de tâches à des agents d'IA ne doit pas être confondue avec le transfert de privilèges. Un agent d'IA agissant au nom d'un utilisateur ne devrait pas hériter automatiquement de tous les droits de cet utilisateur. Par exemple, un directeur financier a accès à des domaines sensibles comme la trésorerie et le reporting, mais un agent chargé du rapprochement des factures n'a besoin que d'un accès limité.

Les agents ont besoin de mandats clairs

Un agent d'IA doit recevoir un mandat fondé sur une identité distincte, une mission précise et des ressources définies. Son pouvoir effectif doit être limité à l'intersection de ses propres droits, des droits de l'utilisateur et des exigences de la mission, et non à la somme de ces éléments. Ceci est particulièrement important lorsque plusieurs agents travaillent ensemble.

La gouvernance de l'IA est déjà en place

Plusieurs entreprises, en particulier dans le secteur bancaire, ont déjà mis en place des environnements d'IA sécurisés et encadrés pour leurs employés. Alors que ces systèmes évoluent pour inclure des agents capables de participer activement aux processus métier, protéger les données ne suffit plus : il est tout aussi essentiel de gouverner l'autorité confiée à l'IA.

Les identités non humaines sont très répandues

La Cloud Security Alliance estime que les identités non humaines, comme les comptes de service et les clés d'API utilisés par les agents d'IA, sont déjà 45 fois plus nombreuses que les identités humaines dans les entreprises en moyenne. Cela souligne la nécessité de suivre avec précision qui, ou quoi, agit au sein d'un système.

La traçabilité de bout en bout est essentielle

Les entreprises doivent pouvoir retracer les actions d'un agent, ses interactions avec le système d'information et les sources de données qu'il utilise. Cette visibilité permet de détecter les comportements non conformes, de déclencher des alertes ou des garde-fous, et de maintenir une validation humaine pour les fonctions critiques tant qu'elles n'ont pas été suffisamment testées.

La confiance grâce à la gouvernance

L'objectif de ces mesures de gouvernance n'est pas de limiter l'autonomie de l'IA, mais de créer les conditions de la confiance. Plus une entreprise peut identifier ses agents, limiter leurs mandats, suivre leurs actions et maintenir une supervision humaine, plus elle peut leur déléguer des responsabilités importantes.

L'attention se déplace vers l'architecture du pouvoir

Le débat sur la sécurité de l'IA s'est traditionnellement concentré sur les modèles, leurs données et leurs biais. Cependant, avec l'essor des agents d'IA qui exécutent des actions, l'attention doit désormais se porter sur l'architecture du pouvoir au sein des systèmes d'information. L'avenir dépendra non seulement de l'IA qu'une entreprise utilise, mais aussi de la personne ou du système à qui elle a confié le contrôle de ses systèmes, et des conditions de cette délégation.