Une erreur d'identification par l'IA militaire américaine évite un conflit potentiel avec la Chine

L’armée américaine fait l’objet d’un examen minutieux pour son utilisation de l’intelligence artificielle (IA) dans des opérations à enjeux élevés. Des rapports récents suggèrent que des erreurs générées par l’IA ont failli entraîner une attaque non intentionnelle contre un navire chinois au Moyen-Orient. Selon les récits, un agent conversationnel utilisé par les services de renseignement américains a affirmé à tort qu’un navire transportait des composants d’un programme d’armes nucléaires. Ces informations non vérifiées ont été transmises aux structures de commandement, déclenchant des plans pour une opération visant à intercepter le navire. L’attaque a été annulée in extremis, évitant de justesse une possible confrontation avec la Chine. L’armée américaine a de plus en plus recours à l’IA dans diverses opérations, comme l’analyse de données de renseignement, l’identification de cibles pour des frappes militaires ou encore la gestion logistique. Les systèmes d’IA sont capables de traiter rapidement de grands volumes d’informations, ce qui permet d’accélérer la prise de décision des dirigeants militaires. Cependant, cette rapidité peut aussi favoriser la propagation d’informations erronées si les données générées par l’IA ne sont pas dûment vérifiées par des humains. Les modèles d’IA, connus pour leur tendance à produire des « hallucinations » – c’est-à-dire de fausses informations –, peuvent parfois aboutir à des conclusions trompeuses en l’absence d’un suivi rigoureux. Un incident distinct survenu en février a impliqué un bombardement tragique d’une école dans le sud de l’Iran. Deux missiles Tomahawk ont frappé l’école primaire Shajarah Tayyebeh, faisant plus de 150 morts, dont au moins 123 enfants. Le Pentagone a attribué cette frappe à une série d’erreurs évitables, notamment une dépendance excessive à l’IA et des données de ciblage obsolètes. Cet incident met en lumière les risques liés à une utilisation trop intensive de l’IA sans supervision suffisante ni informations actualisées. L’incident lié à l’IA concernant le navire chinois aurait commencé lorsqu’un analyste du Commandement des opérations spéciales a demandé à un agent conversationnel de croiser des données en sources ouvertes avec des renseignements électromagnétiques classifiés. L’agent conversationnel a mal identifié la cargaison du navire, et l’analyste a utilisé cet outil une seconde fois pour présenter ces résultats erronés dans un résumé au format officiel. Ce document a ensuite été partagé avec les structures de commandement, déclenchant des plans d’interception du navire. Les forces américaines avaient déjà déployé des aéronefs en direction de la cible. Des responsables ont décidé de réexaminer le rapport la veille de l’opération et ont découvert qu’il avait été généré par l’IA, qui avait mal identifié la cargaison du navire. On ignore si l’agent conversationnel en cause était un produit commercial ou une version modifiée par le gouvernement. Un ancien haut responsable américain a indiqué que les outils internes sont souvent des versions rebaptisées de programmes d’IA commerciaux. Cet incident illustre les défis posés par l’utilisation de l’IA dans des opérations militaires critiques, où les avantages en termes de rapidité et d’efficacité peuvent conduire à une dépendance excessive envers cette technologie. Des chercheurs et observateurs s’inquiètent de plus en plus de la perte de contrôle à mesure que les systèmes d’IA gagnent en autonomie. Jake Steckler, chercheur au sein de GovAI et ancien officier de l’armée américaine, a souligné l’importance de reconnaître l’incertitude inhérente aux modèles de prise de décision à long terme, en particulier pour les décisions pouvant impliquer l’usage de la force. Il a estimé que, plutôt que d’écarter l’IA des processus décisionnels militaires, ces incidents devraient servir à renforcer la sécurité des systèmes d’IA. « Ces outils peuvent être utiles dans certains contextes, à condition de mettre en place des mesures de sécurité adéquates, a-t-il déclaré. Mais privilégier la rapidité d’adoption à tout prix risque de provoquer des incidents qui ne feront que saper la confiance des militaires dans ces systèmes, ce qui, en définitive, ralentira leur adoption. »