L'armée américaine dévoile une plateforme d'IA pour les opérations cyber

L'Cyber Command de l'armée américaine, connu sous le nom d'ARCYBER, développe une plateforme logicielle appelée ECHOTRIBBLE, conçue pour permettre à des agents d'IA de naviguer et de sécuriser les réseaux informatiques de manière autonome. Cette plateforme s'inscrit dans un projet visant à alléger la charge de travail des opérateurs humains en confiant certaines tâches à des systèmes autonomes.

Un logiciel qui s'adapte à différents appareils

ECHOTRIBBLE est capable de détecter les appareils présents sur un même réseau et de créer des copies adaptées à divers systèmes, notamment les iPad, les ordinateurs Apple et les PC sous Windows 11. Ces copies permettraient à l'IA de passer d'un appareil à l'autre et d'accomplir des tâches, comme identifier et neutraliser des menaces, à la manière d'un ver informatique.

La « neutralisation » peut impliquer la désactivation ou la suppression des menaces

Selon des documents obtenus par The Intercept, la « neutralisation » des menaces par ECHOTRIBBLE pourrait consister à les désactiver temporairement, à les supprimer complètement, ou même à s'effacer après avoir accompli sa mission. L'objectif est que le logiciel fonctionne avec une supervision humaine minimale, en utilisant des déclencheurs prédéfinis pour déterminer les cibles et les actions à mener.

Les risques de dommages involontaires suscitent des inquiétudes

Des experts ont exprimé des craintes quant aux dommages collatéraux potentiels si l'IA identifie mal ses cibles. Par exemple, l'infrastructure d'un service des eaux américain pourrait être utilisée comme relais par un adversaire, ce qui accroît le risque que l'IA neutralise par erreur des systèmes civils. Cela met en lumière la difficulté de distinguer les infrastructures ennemies des équipements civils.

Les inquiétudes des experts en matière de sécurité de l'IA

David Krueger, professeur en apprentissage automatique, met en garde contre le fait que des systèmes autonomes conçus pour neutraliser des menaces pourraient être extrêmement dangereux, en raison des limites actuelles de l'IA. Il fait partie d'Evitable, une organisation qui milite pour une suspension du développement de l'IA afin de traiter ces risques.

Le projet entre dans une phase de développement industriel

Le projet ECHOTRIBBLE est entré dans une phase de développement industriel : le Cyber Fusion Innovation Center (CFIC) a reçu 65 propositions et retenu cinq entreprises pour des présentations. Si une entreprise a été choisie le 8 octobre, le programme n'a pas encore atteint une pleine capacité opérationnelle ni défini de mécanismes de contrôle détaillés. Les questions relatives à la manière de valider les actions, d'arrêter l'IA et de s'assurer qu'elle reste dans les limites fixées restent sans réponse.