Passer d’une langue à l’autre dans les systèmes d’IA générative peut entraîner une réduction du nombre de tokens utilisés, selon des recherches menées par des entreprises comme Anthropic, OpenAI et Google. Les tokens sont les unités fondamentales que les modèles d’IA emploient pour traiter et générer du texte, et leur nombre varie selon le modèle et la langue. Utiliser moins de tokens permet de diminuer les coûts, la charge de calcul et l’empreinte environnementale des opérations d’IA. Chaque token exige du modèle des milliards de calculs. Ces unités sont ensuite traitées par le modèle et restituées sous une forme similaire. Le tokenizer, un outil qui convertit le texte en tokens, joue un rôle clé dans ce processus. L’opération inverse, qui transforme ces tokens en texte final, complète le cycle. Toutefois, tous les tokens ne se valent pas : ils constituent aussi l’unité de base pour la facturation et l’allocation des ressources. Plus le nombre de tokens utilisés en entrée et en sortie est élevé, plus les coûts et l’impact environnemental augmentent. L’influence de la langue sur le nombre de tokens est particulièrement marquée, car la façon dont les tokens sont générés dépend à la fois de la famille de modèles et de la langue concernée. Pour illustrer ce phénomène, le Règlement général sur la protection des données (RGPD), un texte réglementaire européen de grande ampleur, a servi de référence. Ce règlement, traduit dans les 24 langues officielles de l’Union européenne, offre un bon exemple de l’impact de la langue sur l’usage des tokens. Le texte du RGPD compte entre 320 000 et 415 000 caractères, avec une moyenne d’environ 371 000 caractères. Ces données permettent de calculer le nombre moyen de caractères par token selon les langues. Il est important de souligner que les économies réalisées grâce à une réduction du nombre de tokens restent modestes comparées à d’autres stratégies plus efficaces. Par exemple, éviter des tâches comme la reconnaissance d’images ou la traduction avec des modèles polyvalents comme ChatGPT peut générer des économies bien plus importantes, car des systèmes d’IA spécialisés sont plus performants dans ces domaines. De même, demander aux modèles de produire des réponses plus concises peut réduire significativement l’usage des tokens, entraînant ainsi des économies de coûts et de ressources plus substantielles.