SlopTotal est un projet qui se présente comme le « VirusTotal de l'IA textuelle », offrant un service intégrant 23 détecteurs de texte généré par IA pour analyser les textes localement sur un appareil. Cependant, la commande docker run dans son README échoue sur les appareils Mac équipés de puces Apple Silicon, obligeant à utiliser docker compose à la place. L'efficacité du projet a été testée en soumettant 36 textes variés au service, dont 24 générés par des modèles d'IA comme Claude, ChatGPT et Gemini, ainsi que 12 textes rédigés par des humains. Parmi les 12 textes humains, 4 ont été incorrectement identifiés comme générés par IA, ce qui représente un taux d'erreur de 33 %. À l'inverse, 9 des 24 textes générés par IA ont été incorrectement identifiés comme écrits par des humains, soit un taux d'erreur de 38 %. Le README affirme obtenir de meilleurs résultats, mais l'utilisateur souligne que l'échantillon testé était restreint et pourrait ne pas être représentatif de tous les types de textes, notamment les articles de presse ou les livres en anglais. L'utilisateur fait également référence à des cas antérieurs où des systèmes de détection d'IA se sont révélés peu fiables. Par exemple, OpenAI a retiré son propre classificateur en juillet 2023 en raison de sa faible précision, et Vanderbilt a désactivé le détecteur d'IA de Turnitin le mois suivant. Des chercheurs de Stanford ont testé 7 détecteurs en 2023 sur 91 rédactions TOEFL rédigées par des non-anglophones, avec en moyenne 61 % d'entre elles incorrectement identifiées comme générées par IA. Des études récentes sur les détecteurs commerciaux, comme celles menées par le NBER et Jonathan Karr et ses collègues, ont abouti à des résultats variables. L'étude du NBER a révélé des taux de faux positifs quasi nuls avec Pangram, de 0,1 à 0,3 % avec OriginalityAI, et d'environ 0,7 % avec GPTZero sur 1 992 textes humains datant d'avant 2020. L'étude de Karr n'a révélé aucun résultat positif pour l'IA lors de tests avec Pangram et GPTZero sur des résumés datant de 2013 à 2015. Cependant, les études divergent sur la question de l'humanisation : le NBER a constaté que Pangram résiste à l'outil d'humanisation StealthGPT, tandis que moins de 4 % des textes générés par IA traités par Undetectable AI restent détectés par Karr. Ce dernier note également qu'un texte rédigé par un humain et modifié par une IA peut être signalé comme généré par IA dans 38 à 80 % des cas. L'utilisateur conclut que, bien que SlopTotal puisse servir à se forger une opinion, il ne doit pas être la seule preuve dans des accusations. Il souligne que les textes humains modifiés ou réorganisés par un grand modèle de langage peuvent être signalés comme générés par IA, même s'ils ont été initialement écrits ou dictés par des humains.