Plus tôt ce mois-ci, Jacob Coxon, chercheur en intelligence artificielle (IA), a quitté Anthropic après seulement quatre mois passés au sein de l’entreprise. Sur X, anciennement connu sous le nom de Twitter, il a exprimé sa crainte que les personnes travaillant sur l’IA croient sincèrement qu’elle pourrait représenter une menace existentielle pour l’humanité d’ici la fin de la décennie. Evan Hubinger, chercheur principal chez Anthropic, a partagé ces inquiétudes, estimant à plus de 10 % la probabilité qu’un tel événement se produise dans les dix prochaines années. Ces déclarations ont suscité un vif débat, incitant à ralentir le développement de l’IA et à renforcer la supervision humaine de cette technologie. L’un des scénarios les plus alarmants implique l’émergence d’une IA « superintelligente », dotée de capacités bien supérieures à celles des humains. Les partisans de ces scénarios catastrophiques s’appuient souvent sur une logique circulaire : comment pourrions-nous comprendre ce qu’une IA superintelligente ferait à des êtres moins intelligents qu’elle ? Pour prédire ses actions, il faudrait être superintelligent. Pourtant, les systèmes d’IA actuels sont hautement spécialisés dans la résolution de problèmes spécifiques, sans pour autant être nécessairement plus intelligents que les humains dans tous les domaines. Récemment, une IA a résolu l’un des sept problèmes mathématiques les plus difficiles, ce qui suggère des progrès dans ses capacités. Une IA superintelligente serait probablement extrêmement efficace pour atteindre les objectifs qui lui sont assignés, mais elle pourrait ne pas se soucier de la survie humaine. Le philosophe Nick Bostrom, de l’Université d’Oxford, a illustré ce point avec l’idée d’une IA superintelligente programmée pour maximiser la production de trombones. Dans ce scénario hypothétique, l’IA finirait par transformer toute la matière disponible – humains, planètes et étoiles – en trombones. Cependant, ce scénario confond intelligence et pouvoir. Une IA superintelligente n’aurait pas automatiquement les moyens d’atteindre ses objectifs. Pour construire des usines de trombones à travers la planète, elle aurait besoin de permissions administratives similaires à celles des humains, et même dans ce cas, le processus pourrait finir par provoquer une réaction violente. Un autre risque potentiel est qu’une IA superintelligente crée et libère un nouvel agent biologique dangereux, capable d’éradiquer l’humanité. Ce scénario est évoqué dans le rapport « AI 2027 », publié par l’AI Futures Project, un groupe à but non lucratif qui étudie les conséquences potentielles des avancées en IA. Cette menace est devenue plus tangible récemment, lorsque des chercheurs de l’Université Stanford ont utilisé une IA entraînée sur des séquences génétiques pour synthétiser 16 nouveaux virus. Les séquences génétiques ont été envoyées à un laboratoire spécialisé dans la synthèse de matériel génétique, qui a retourné les virus dans des tubes à essai. L’expérience a coûté moins de quelques centaines de milliers de dollars. Toutefois, créer un virus capable de tuer tout le monde nécessiterait qu’il se propage facilement et à l’échelle mondiale, ce qui est généralement difficile, car les virus hautement contagieux tendent à être moins mortels. La possibilité que l’IA s’infiltre dans les systèmes de commandement nucléaire et déclenche un conflit soulève également des inquiétudes. Au cours des cinquante dernières années, plusieurs incidents évités de justesse ont failli mener à un conflit nucléaire en raison d’erreurs. Bien que les systèmes de commandement nucléaire soient censés être déconnectés d’Internet, en 2010, le ver informatique Stuxnet a désactivé les centrifugeuses nucléaires iraniennes via une clé USB. L’IA pourrait également fournir des renseignements trompeurs aux militaires, entraînant des décisions aux conséquences irréversibles. Une guerre nucléaire pourrait tuer près de la moitié de l’humanité, la plupart des décès résultant de la famine mondiale qui suivrait un hiver nucléaire. Le risque le plus probable pourrait être que nous causions nous-mêmes notre perte, l’IA agissant comme un accélérateur. L’IA pourrait entraîner des pertes massives d’emplois, inonder les espaces publics de désinformation, approfondir les divisions politiques et remplacer les relations humaines par des relations artificielles, risquant ainsi de mener à une désintégration sociale. Si certains risques méritent assurément notre attention, il est important de ne pas céder à la panique.