Amazon présente un outil open source pour puces d'IA

Amazon a dévoilé lundi un outil open source baptisé TorchNeuron, qui permet aux développeurs d'exécuter du code PyTorch sur ses puces d'IA appelées Trainium sans réécrire leur code. L'outil a été présenté lors de la PyTorch Conference North America, le 19 octobre, et doit être publié sous licence Apache 2.0 le 20 octobre.

TorchNeuron cible un atout clé de NVIDIA

TorchNeuron vise à défier la domination de NVIDIA sur le marché des puces d'IA en rendant les puces Trainium d'Amazon plus accessibles. Selon Amazon, PyTorch est le langage utilisé par environ 85 % des chercheurs et développeurs en IA, mais l'adaptation du code PyTorch à différentes puces exige souvent une réécriture et des tests importants, un processus qui a historiquement profité à NVIDIA.

TorchNeuron utilise les interfaces standard de PyTorch

TorchNeuron s'appuie sur un point d'entrée standard que PyTorch réserve aux nouveaux matériels, ce qui permet de reconnaître les puces Trainium comme n'importe quelle autre puce. Les développeurs peuvent ainsi utiliser leurs outils existants pour vérifier le code, suivre les erreurs et répartir le travail sur plusieurs machines sans modification. Amazon l'a démontré en exécutant le même programme d'entraînement sur une puce conventionnelle puis sur Trainium, en modifiant uniquement un paramètre indiquant la puce utilisée.

Des tests pour garantir la fiabilité pour les utilisateurs

Avant de publier de nouvelles versions de TorchNeuron, Amazon les teste sur des centaines de milliers de modèles afin d'éviter les problèmes inattendus. Cette approche répond au coût réel du développement de l'IA, qui, pour de nombreuses entreprises, en particulier les start-ups, ne se limite pas au prix du matériel, mais inclut aussi le temps consacré à l'adaptation des logiciels à de nouvelles puces.

Un gain d'efficacité pour les grandes entreprises

Les grandes entreprises tirent profit de l'utilisation des mêmes puces pour l'entraînement des modèles d'IA et pour l'inférence, la phase au cours de laquelle l'IA répond aux utilisateurs. Pendant les heures creuses, ces puces peuvent entraîner de nouveaux modèles au lieu de rester inactives, et passer d'une puce à l'autre sans pénalité pourrait réduire les coûts et accélérer les projets.

TorchNeuron gagne du terrain dans plusieurs secteurs

Avant même sa publication officielle, TorchNeuron compte déjà des utilisateurs dans des secteurs comme la vidéo, la robotique, les véhicules autonomes, le traitement de la parole, la finance et les grands modèles de langage tels que ChatGPT. L'entreprise Cartesia, qui développe une IA capable d'interagir avec son environnement comme un humain, a fait tourner sa chaîne logicielle sur Trainium avec des modifications de code minimales.

La recherche en santé profite de TorchNeuron

Dans le domaine de la santé, le Lieber Institute for Brain Development utilise TorchNeuron pour tester sur Trainium une IA qui pourrait accélérer les simulations de dynamique moléculaire. Ces simulations, qui modélisent le mouvement des molécules à l'échelle atomique, demandent une puissance de calcul considérable et pourraient gagner en efficacité grâce aux capacités de Trainium.

Amazon soutient l'écosystème PyTorch dans son ensemble

Amazon ne se concentre pas uniquement sur son propre outil, mais soutient aussi l'écosystème plus large autour de PyTorch. Hugging Face, une plateforme majeure de partage de modèles d'IA, prend désormais en charge Trainium directement, sans nécessiter de code spécifique à Amazon. TorchNeuron fonctionne également avec TorchTitan, un outil PyTorch destiné à l'entraînement distribué sur plusieurs machines.

Amazon contribue aux outils open source d'inférence

Pour l'inférence, Amazon a apporté des contributions importantes à vLLM, un logiciel open source populaire qui accélère les réponses de l'IA. L'entreprise a publié ses « kernels », des programmes très optimisés qui s'exécutent au plus près de la puce, et travaille à supprimer le code propre à chaque puce de PyTorch afin de le rendre plus neutre et accessible à tous les développeurs.

TorchNeuron s'étend à de nouvelles puces

TorchNeuron sera publié sous licence Apache 2.0 le 20 octobre, avec la prise en charge de Trainium2 et Trainium3. Cette annonce s'inscrit dans une décennie d'investissements dans le développement de puces sur mesure, qui a débuté avec le rachat d'Annapurna Labs en 2015. L'activité silicium d'Amazon génère désormais plus de 25 milliards de dollars de chiffre d'affaires par an.