Paramètres et capacités des IA

Un modèle d'intelligence artificielle peut avoir dix fois plus de paramètres qu'un autre sans produire de meilleures réponses. Ces petits coefficients influencent ses calculs, mobilisent parfois une mémoire considérable et, au final, en disent moins sur ses capacités qu'on ne pourrait le penser.

Qu'est-ce qu'un paramètre

Un paramètre est avant tout un nombre. Plus précisément, il s'agit d'un coefficient interne et persistant du modèle, qui influence la manière dont celui-ci traite les données et calcule ses prédictions. Qu'il soit fixé à 0,018, à -0,42 ou à 1,27 importe peu en soi : extraire un paramètre du modèle ne permet pas de déduire grand-chose.

Comment les paramètres influencent les prédictions

Dans un modèle de langage qui génère du texte token par token, cette succession de calculs attribue finalement un score à chaque token de son vocabulaire. Ces scores sont convertis en probabilités, puis l'un des tokens est sélectionné. Après « Paris est la capitale de la », par exemple, l'action conjointe de milliards de paramètres donnera une probabilité élevée au token susceptible de commencer une séquence comme « France », et bien plus faible à ceux qui s'accordent mal avec le contexte.

Les limites des paramètres pris isolément

Il est donc impossible d'isoler le paramètre qui contient « Paris », la conjugaison d'un verbe ou la date d'un événement : aucun ne renferme une information qu'on pourrait lire ou extraire telle quelle. Ce que le modèle a appris dépend des effets combinés d'un très grand nombre de ces coefficients. Une même connaissance peut ainsi mobiliser un grand nombre de paramètres, et un seul paramètre peut participer à des calculs utiles dans des contextes très différents.

La structure des paramètres dans les modèles d'IA

Techniquement, ces milliards de paramètres sont regroupés en tableaux de nombres appelés tenseurs. De tailles variées, ils sont répartis dans le modèle selon les opérations auxquelles ils participent. Une grande partie de ces tableaux contient des poids, utilisés dans les calculs du modèle. Selon l'architecture, on trouve également des biais, qui, contrairement aux poids, ajoutent une valeur au résultat d'un calcul plutôt que de multiplier les valeurs reçues.

Comment un modèle apprend

L'apprentissage du modèle consiste à ajuster des milliards de paramètres. Lorsqu'on utilise un modèle, les valeurs de ses paramètres sont déjà fixées : elles ne changent pas à chaque nouvelle requête. Mais avant d'obtenir ces milliards de coefficients qui lui permettront de produire de bonnes prédictions, il a fallu en trouver les valeurs. C'est le rôle de l'entraînement. Pour éviter de plonger trop vite dans des considérations trop techniques, on peut imaginer ce processus comme une gigantesque table de mixage dotée de milliards de curseurs.

Apprendre par ajustements

Pendant l'entraînement, leurs positions sont affinées par une multitude de micro-ajustements, calculés à partir de l'écart entre ce que produit le modèle et ce qu'il aurait dû produire, afin de corriger progressivement ses erreurs. Ces ajustements ne se font pas un par un. Chaque prédiction dépend d'un très grand nombre de paramètres, et l'erreur mesurée permet de calculer comment ajuster simultanément leurs valeurs. Une fois l'entraînement terminé, les réglages obtenus sont figés et constituent une sorte de « préréglage » numérique immense que le modèle utilisera ensuite pour générer ses réponses.

Comment les modèles stockent les connaissances

C'est ainsi qu'un modèle apprend. Il ne remplit pas progressivement une base de données dans laquelle il stockerait les informations rencontrées pendant son entraînement. Grâce aux ajustements, il apprend des régularités de la langue, des associations et des relations entre concepts, qu'il peut ensuite exploiter face à des textes qu'il n'a jamais rencontrés. Cela ne l'empêche pas de mémoriser parfois certaines séquences de son corpus d'entraînement.

Plus de paramètres, plus de performance ?

Plus de paramètres, forcément une IA plus performante ? À architecture et entraînement comparables, un modèle de 70 milliards de paramètres dispose évidemment d'une plus grande marge de manœuvre qu'un modèle qui n'en compte que 7 milliards. Ces coefficients supplémentaires lui offrent en effet davantage de possibilités pour prendre en compte les liens entre les mots et les idées, distinguer les différents sens d'un terme selon son contexte, ou combiner plusieurs informations dans une même réponse.

Les limites de la quantité de paramètres

Mais dix fois plus de paramètres ne signifient pas dix fois plus de connaissances, et encore moins dix fois de meilleures réponses. Car disposer de plus de paramètres ne garantit pas qu'ils soient mieux exploités. La quantité et la qualité des données, les ressources de calcul mobilisées, l'architecture du réseau ou encore la durée et les méthodes d'entraînement peuvent faire une différence considérable. C'est ainsi qu'en 2022, les chercheurs de DeepMind sont parvenus à faire mieux avec quatre fois moins de paramètres.

Paramètres totaux et paramètres actifs

Paramètres totaux et paramètres actifs, pas tous à la fois. Selon l'architecture utilisée, tous les paramètres annoncés ne participent pas forcément à chaque prédiction. Dans un modèle dit « dense », presque tous les paramètres interviennent dans les calculs nécessaires à la génération de chaque nouveau token. Mais d'autres modèles adoptent une architecture appelée Mixture of Experts (MoE), ou « mélange d'experts ».

Une utilisation efficace des paramètres

Une partie du réseau est organisée en plusieurs groupes de paramètres, les fameux experts, parmi lesquels un système d'aiguillage sélectionne ceux qu'il va solliciter. On distingue alors les paramètres totaux, qui correspondent à l'ensemble des coefficients du modèle, et les paramètres actifs, effectivement mobilisés pour traiter un token. Malgré leur nom, ces experts ne sont pas de petites IA spécialisées chacune dans un domaine, comme les mathématiques, la traduction ou la programmation.

Mémoire et précision

Des milliards de paramètres à garder en mémoire. Car tous ces paramètres, actifs ou non, occupent de l'espace. Et qu'un coefficient soit fixé à 0,018 ou à 1,27 ne change rien à l'affaire. Ce n'est pas sa valeur qui détermine son occupation en mémoire, mais le nombre de bits utilisés pour la représenter. Ces bits, des zéros et des uns, servent à coder le nombre en mémoire : plus on en utilise, moins il faut arrondir sa valeur.

La quantification pour gagner en efficacité

Ce degré d'exactitude s'appelle la précision numérique. Avec 16 bits, soit deux octets par paramètre, un modèle de 7 milliards de paramètres occupe ainsi environ 14 Go rien que pour ses coefficients. Passez à 70 milliards, et vous atteignez déjà 140 Go, sans compter la mémoire supplémentaire nécessaire aux calculs du modèle. Vous voyez le problème. Pourtant, de tels modèles volumineux tournent aujourd'hui en local sur des ordinateurs personnels. Comment ? Parce que tous ces paramètres n'ont pas besoin d'être codés avec autant de précision. C'est tout l'intérêt de la quantification, une technique qui permet d'utiliser moins de bits pour représenter leurs valeurs, même si elle introduit quelques approximations.