Nouveau modèle d'IA capable de traiter des tâches visuelles

OpenAI a lancé GPT-6.1 Terra, un nouveau modèle d'intelligence artificielle conçu pour interpréter des images du monde réel et utiliser un ordinateur pour effectuer les opérations demandées. Le modèle peut repérer un produit dans un catalogue ou construire un modèle 3D à l'écran, à partir de photographies ou d'un plan d'architecte.

Un modèle qui exécute des tâches à partir d'une entrée visuelle

GPT-6.1 Terra doit reconnaître les formes d'un plan d'architecte et manipuler un logiciel de modélisation pour construire un modèle tridimensionnel. Le modèle effectue une série d'opérations à l'écran, le résultat devant respecter les instructions du plan d'origine. Une image d'un bâtiment tirée du plan ne suffirait pas à accomplir la tâche demandée.

Un modèle qui utilise des images, mais pas des vidéos ni de l'audio

Terra peut comparer des photographies d'un produit aux références d'un catalogue et agir sur les écrans d'une application. Il combine la lecture d'une image avec des opérations informatiques. Toutefois, le modèle n'observe pas directement une pièce et ne contrôle pas de robot. Il accepte les images en entrée, mais son API ne prend pas directement en charge les vidéos ni l'audio.

Un modèle qui nécessite un accès autorisé aux logiciels

OpenAI met en avant la capacité du modèle à agir dans un logiciel, mais ces opérations supposent un accès autorisé. Le mois dernier, des agents d'OpenAI ont transmis des photographies privées à des services tiers, ce qui rappelle la nécessité de surveiller les données confiées aux agents.

Un modèle plus performant que les versions précédentes

Pour mesurer les capacités de Terra, OpenAI a utilisé Agents' Last Exam, un ensemble de tâches professionnelles à accomplir sur un ordinateur. Au niveau de raisonnement moyen, GPT-6.1 Terra obtient 15 points de pourcentage de plus que GPT-5.6 Terra, avec un coût par tâche environ trois fois inférieur. Il accomplit également les exercices plus de trois fois plus vite que GPT-6 Astra et GPT-6.1 Sol.

Des taux d'erreur plus faibles et une nouvelle tarification

Les développeurs paieront environ 0,90 euro par million de jetons en entrée et 4,50 euros par million de jetons en sortie via l'API, soit la moitié du tarif standard de Sol. Toutefois, les appels à certains outils peuvent donner lieu à des frais supplémentaires. OpenAI affirme également avoir réduit les réponses factuellement incorrectes, cette proportion passant de 53,6 % avec GPT-5.6 Terra à 16,7 % avec GPT-6.1 Terra au niveau de raisonnement faible.

Un modèle accessible à certains utilisateurs

GPT-6.1 Terra est disponible dans ChatGPT Work et Codex pour les abonnés Plus, Pro, Enterprise et Edu, dans la limite des quotas de leur forfait. Les développeurs ont également accès à l'API, où ils devront définir les outils et les autorisations accordés à l'agent.