Une startup appelée Abliteration.ai a rendu plus facile l'accès aux modèles d'IA à poids ouverts dont les vérifications de sécurité intégrées, ou "guardrails", ont été supprimées. Ces modifications permettent aux modèles d'effectuer des tâches que d'autres modèles refuseraient généralement, comme générer du contenu nuisible ou exécuter des opérations cyber complexes. Fondée à la fin de l'année dernière et officiellement enregistrée en mars, Abliteration.ai propose des versions modifiées de modèles à poids ouverts tels que le GLM-5.3 de Z.ai via un navigateur web ou une API. La société affirme que son objectif est d'aider les utilisateurs à accomplir des tâches comme "l'offensive cyber, le red-teaming et les tests d'agents que d'autres modèles refusent d'accomplir". Le co-fondateur Devon (qui n'a pas fourni son nom de famille à sa demande) a déclaré que la startup avait déjà signé des accords avec de grands fournisseurs de cloud et est en discussion pour lever des capitaux de risque. Bien qu'aucun financement n'ait été sécurisé pour le moment, la société cherche activement des investissements. Le service d'Abliteration.ai permet aux utilisateurs de supprimer ou de personnaliser les mécanismes de sécurité de ces modèles, leur permettant de simuler des attaques adversariales ou de tester les systèmes de sécurité de manière que les outils d'IA standard ne permettraient pas. Cependant, des critiques alertent sur les risques potentiels. Andrew Yoon, directeur de la recherche à l'association sans but lucratif CivAI dédiée à la sécurité de l'IA, a déclaré que les modèles ablérés pouvaient être modifiés pour agir sans contraintes éthiques, les appelant "sociopathes". Il a averti que les utilisateurs pourraient entrer toute demande, et le modèle la remplirait, pouvant ainsi mener à des usages nuisibles. Yoon a prédit que de tels modèles pourraient être utilisés pour des cyberattaques ou d'autres fins malveillantes dans un avenir proche. Bien que les experts s'accordent sur le fait que l'empêchement de la suppression des fonctionnalités de sécurité des modèles ouverts est presque impossible, Yoon a suggéré que les gouvernements pourraient aider en exigeant aux fournisseurs de cloud de surveiller les activités nuisibles et de vérifier l'identité des utilisateurs avant de leur accorder accès à des ressources de calcul puissantes. Abliteration.ai propose une couche de modération, permettant aux utilisateurs d'ajouter leurs propres mesures de sécurité. La plateforme elle-même inclut certaines protections de base - par exemple, il n'était pas possible d'obtenir des instructions de suicide pendant les tests. Devon travaille à l'ajout de davantage de mesures de protection pour empêcher la violence. La société n'utilise actuellement pas de pratiques traditionnelles de connaissance de son client (KYC) au-delà de l'enregistrement de la carte de crédit utilisée pour les achats, en raison de la complexité de décider qui devrait avoir accès à ces outils. Devon a reconnu les défis éthiques liés à l'activation d'usages potentiellement dangereux de l'IA et a déclaré que la société est encore en train de déterminer son rôle dans ce domaine. Cela a déclenché un débat sur le fait que rendre ces modèles plus accessibles rend l'internet plus sûr ou plus dangereux. Les partisans d'Abliteration.ai argumentent que la démocratisation de l'accès aux modèles non censurés est la meilleure façon de se défendre contre les menaces cybernétiques. Ils affirment que les modèles ablérés permettent aux défenseurs de réagir plus rapidement, de simuler des attaques adversariales et d'améliorer la cybersécurité. Devon a noté que les clients d'Abliteration.ai comprennent des startups de red-teaming en phase initiale au Royaume-Uni et en Europe, qui aident les banques, les compagnies aériennes et d'autres entreprises d'infrastructures critiques à améliorer leur sécurité. Ces entreprises dépendent des modèles ablérés pour tester leurs systèmes de manière que les outils d'IA standard ne permettraient pas. Cependant, l'industrie de la cybersécurité est encore en train d'évaluer à quel point ces modèles sont utiles dans le travail de défense. Certaines entreprises de red-teaming sont d'accord avec Devon sur le fait que les attaquants utilisent déjà des modèles ablérés pour des attaques adversariales, mais d'autres disent dépendre davantage de l'ajustement fin des modèles ouverts, qui ont déjà moins de restrictions. Ahmed Aly, PDG de Fabraix, une entreprise de red-teaming, a déclaré que son entreprise préfère ajuster finement les modèles ouverts plutôt que d'utiliser des modèles ablérés, arguant que les seconds peuvent réduire l'efficacité d'un modèle. Alessio Lomuscio de Safe Intelligence a déclaré que bien que les modèles ablérés puissent perdre certaines capacités, ils peuvent encore être utiles pour tester les systèmes sous pression. David Slater de l'entreprise de cybersécurité Armadin a déclaré que son entreprise étudie les modèles ablérés et croit que rendre ces outils accessibles au public permet aux chercheurs de comprendre le potentiel complet - et les risques - de l'IA. Il a argumenté que bien que ce type de travail ait souvent lieu en privé, le rendre public peut aider à identifier et atténuer les risques potentiels.