Le modèle de coûts « par jeton » de l'IA générative transforme le secteur du logiciel et révèle les défis liés à l'équilibre entre gains de productivité et dépenses en forte hausse.
Le token, indicateur clé des coûts
La notion de « token », unité de mesure des coûts liés aux grands modèles de langage (LLM), prend de l'importance dans le secteur logiciel. Les tokens reflètent le coût de traitement des tâches d'IA, ce qui en fait un facteur critique pour l'infrastructure et les opérations financières (FinOps), alors que les coûts augmentent rapidement.Consommation du budget IA chez Uber
Uber a épuisé son budget annuel dédié à l'IA en seulement quatre mois. Des outils comme Claude Code ou Cursor sont utilisés chaque mois par 95 % de ses 5 000 ingénieurs. Cette consommation rapide a conduit à proposer des mesures de maîtrise des coûts, notamment un plafond envisagé de 1 500 dollars par outil, par mois et par employé.Productivité contre coût
Andrew Macdonald, directeur des opérations chez Uber, a reconnu la difficulté de distinguer les statistiques d'usage de l'IA des gains de productivité réels. Il a fait remarquer que si l'IA peut augmenter le coût des ingénieurs, elle peut aussi accroître leur productivité, ce qui complique les décisions de recrutement et la gestion des coûts de l'IA.Le token, un angle mort budgétaire
Le cloud avait déjà posé des problèmes similaires, le coût exact de l'usage de l'IA n'étant connu qu'après coup. GreenSI décrit les tokens comme un angle mort budgétaire, un problème auquel de nombreux directeurs des systèmes d'information (DSI) sont aujourd'hui confrontés. Les tokens devraient constituer un repère clair, visible sur les factures et dans les consoles de gestion, mais une mauvaise lecture peut conduire à des réactions extrêmes, de la panique à la surconsommation.Le « tokenmaxxing » et les indicateurs de performance
Amazon a introduit des compteurs pour les agents d'IA développés par ses salariés, dans le but d'accroître la productivité en déléguant de petites tâches. Mais cela a conduit certains employés à créer des agents uniquement pour grimper dans les classements internes, même lorsque ces agents n'étaient pas utiles. Ce comportement a donné naissance au « tokenmaxxing », où l'usage de l'IA est devenu un indicateur de performance.Passage à la facturation au token
Les fournisseurs de modèles de langage ont annoncé la fin des forfaits à tarif fixe d'ici l'été 2025, avec un passage à une facturation au token une fois les limites dépassées. Ce changement a entraîné une forte hausse des coûts. Meta a supprimé les classements et mis en place des budgets par division. Anthropic a dépensé des centaines de millions de dollars par mois, et le responsable d'Instagram a souligné la difficulté de créer de la valeur à partir de la consommation de tokens.Se concentrer sur les résultats pour les clients
Jay Parikh, vice-président exécutif de Microsoft, a insisté sur le fait que maximiser les tokens n'était pas le but recherché. Il faut plutôt se concentrer sur les résultats obtenus pour les clients et pour l'entreprise. Cela marque le début d'une approche plus rationnelle de l'usage de l'IA, qui passe d'indicateurs dictés par les coûts à des objectifs fondés sur les résultats.Évolution des unités de facturation
Les éditeurs modifient leurs unités de facturation, ce qui a des conséquences importantes pour les DSI. GitHub comptabilise désormais l'usage de Copilot en « AI Credits » par token, ces crédits étant inclus dans les licences et les budgets gérés par les centres de coûts ou par les utilisateurs. Salesforce et Intercom ont également revu leurs modèles tarifaires, en abandonnant les forfaits à tarif fixe au profit de facturations à l'action ou à la requête.Les difficultés de lecture du compteur de tokens
La difficulté à lire le compteur de tokens tient à trois problèmes principaux : le prix des tokens a baissé, mais les factures ont augmenté ; la mesure de l'usage peut devenir un objectif en soi, ce qui relève de la loi de Goodhart ; et la mesure des coûts peut passer à côté de la qualité et de la valeur. En un an, les budgets d'innovation consacrés aux modèles de langage sont passés de 25 % à 7 %.Hausse des coûts d'inférence
Gartner prévoit qu'à l'horizon 2026, l'inférence, c'est-à-dire l'utilisation des modèles, représentera 55 % des coûts d'infrastructure cloud dédiés à l'IA. La stratégie de Nvidia, centrée sur les cartes dédiées à l'inférence, va dans le sens de cette prévision. Pourtant, la gestion des coûts récurrents de l'usage de l'IA ne suscite pas la même urgence que pendant la phase de preuve de concept.Équilibrer coût et qualité
Le cas de Klarna montre les limites des agents d'IA lorsque le coût devient le facteur dominant. Le PDG a reconnu que le coût avait été « trop prédominant », ce qui souligne la nécessité d'une approche équilibrée, prenant en compte à la fois le coût et la qualité dans la mise en œuvre de l'IA.Les facteurs de gouvernance des tokens
La gouvernance des tokens repose sur trois facteurs : le volume, l'intensité et le prix. Le volume dépend des besoins métiers, l'intensité relève du DSI et le prix relève des achats. Le coût par résultat métier est un indicateur partagé qui permet de mieux comprendre les coûts de l'IA et leur impact.Piloter le flux de tokens
La gouvernance des tokens exige d'identifier trois « pompes » par lesquelles les tokens circulent : les appels directs aux modèles, les agents dotés de leur propre identité et les crédits intégrés aux SaaS. Chaque pompe dispose de son propre compteur et nécessite une gouvernance spécifique. Le défi consiste à mesurer les bons indicateurs, notamment le coût par cas d'usage et le résultat métier.La nécessité d'un registre des cas d'usage
Un registre des cas d'usage est essentiel : chaque cas d'usage doit avoir un propriétaire métier, un responsable d'application au sein de la DSI et un acheteur. Des niveaux de référence doivent être mesurés avant les tests, et des critères d'arrêt écrits doivent être définis dès le départ. Gartner prévoit que plus de 40 % des projets d'IA agentique seront abandonnés d'ici 2027, ce qui souligne le besoin d'une gouvernance rationnelle.La gouvernance de l'IA à la croisée des chemins
La gouvernance de l'usage de l'IA est désormais un enjeu majeur, les tokens passant d'un indicateur caché à une préoccupation centrale. Le défi consiste à gérer une équation complexe impliquant trois parties prenantes, ce qui n'est jamais simple. Le secteur se trouve à la croisée des chemins et doit trouver l'équilibre entre les bénéfices de l'IA, ses coûts et la complexité de sa gouvernance.
