Apple met à jour ses règles pour les applications afin de lutter contre la nudité générée par l’IA

Apple a mis à jour ses directives d’examen des applications pour traiter spécifiquement des outils d’IA qui génèrent des images montrant des personnes réelles déshabillées. Les nouvelles règles visent à empêcher les applications d’utiliser des fonctions cachées pour produire ou diffuser des contenus intimes non consentis.

Les fonctions cachées désormais interdites

Les directives révisées d’Apple interdisent désormais explicitement toute fonction cachée, dormante ou non documentée dans les applications. Ce changement fait suite à des milliers d’utilisateurs de X qui ont demandé à Grok, l’IA d’Elon Musk, de déshabiller des femmes et des mineurs. Apple avait alors menacé de retirer Grok de l’App Store avant que la situation ne soit corrigée.

Une tactique de l’appât exposée

Apple a identifié une pratique courante : des développeurs soumettent des applications en apparence inoffensives à l’approbation, puis activent plus tard des fonctions cachées de « déshabillage ». L’entreprise qualifie cette approche d’« appât et substitution » (« bait-and-switch ») et a retiré près de 59 000 applications approuvées initialement comme jeux ou utilitaires, mais utilisées ensuite à des fins d’escroquerie.

Apple s’attaque aux techniques de code dissimulé

Les développeurs peuvent recourir à l’obfuscation, c’est-à-dire rendre leur code difficile à lire, afin de dissimuler des fonctions interdites aux équipes d’examen d’Apple. Si l’obfuscation a des usages légitimes, elle est aussi exploitée pour contourner les règles de l’App Store. Apple a donc durci ses règles et renforcé son contrôle.

Les nouvelles règles s’étendent au-delà de l’App Store

Apple a mis à jour la section 5 de ses directives afin de bloquer les applications qui facilitent la traite des êtres humains ou l’exploitation sexuelle d’enfants, non seulement sur l’App Store, mais aussi sur les canaux de distribution alternatifs en Europe, comme l’exige le Digital Markets Act (DMA).

La Tech Transparency Project met en lumière l’ampleur du problème

Une ONG américaine, la Tech Transparency Project, a recensé 47 applications de « déshabillage » sur l’App Store et 55 sur Google Play. Ensemble, elles ont généré plus de 700 millions de téléchargements et 117 millions de dollars de revenus. Apple a retiré 28 de ces applications après la publication du rapport.

Le moteur de recherche d’Apple renvoie vers des applications interdites

L’ONG a également constaté que le moteur de recherche d’Apple suggérait des applications de « déshabillage » lorsque les utilisateurs saisissaient des termes comme « AI NS ». Apple a ensuite retiré 15 applications signalées, mais les directives révisées ne traitent pas de la manière dont le moteur de recherche ou les publicités pourraient promouvoir de telles applications.

Google et Apple réagissent à la pression publique

Sous la pression du procureur de la ville de San Francisco, Google a suspendu des centaines d’applications et restreint les recherches portant sur des termes comme « nudify ». Apple a retiré trois des huit applications dont le procureur demandait la suppression, mais n’a pas répondu aux questions concernant le rôle de son moteur de recherche dans la promotion de contenus interdits.

Le DMA crée de nouveaux défis pour les magasins d’applications

Le Digital Markets Act autorise en Europe des canaux de distribution alternatifs, ce qui pourrait permettre de réinstaller sur les iPhone des applications interdites via des magasins tiers. Des plateformes comme Apple doivent désormais veiller à ce que ces nouveaux canaux respectent également leurs règles contre les contenus illégaux et les abus.

La stratégie de l’appât expliquée

La méthode « appât et substitution » consiste à soumettre une application qui semble respecter toutes les directives, puis à modifier son comportement après l’approbation. Cela peut passer par des mises à jour, des paramètres cachés ou une activation à distance, ce qui rend difficile la détection et la prévention de ces pratiques par les magasins d’applications.

L’impact du DMA sur la distribution des applications

Le Digital Markets Act permet aux utilisateurs européens d’installer des applications provenant d’autres sources que l’App Store officiel. Si cela offre davantage de choix aux développeurs, les plateformes doivent aussi veiller à ce que les applications interdites ne réapparaissent pas sur ces canaux alternatifs, ce qui complique l’application des règles contre les contenus nuisibles.