Le brevet de Sony sur la technologie d'image par IA dévoilé

Sony Interactive Entertainment a déposé une demande de brevet pour une technologie d'image générée par IA baptisée « Generation Super Sampling ». Publié le 15 octobre aux États-Unis, ce brevet a été découvert par IGN. Il décrit une méthode permettant à l'IA de prédire et de générer des images en temps réel, ce qui pourrait améliorer les performances des jeux.

Prédire la prochaine image

Cette technologie vise à réduire le décalage d'entrée (input lag) en prédisant la prochaine image d'un jeu avant qu'elle ne soit entièrement calculée. Cette approche diffère des méthodes actuelles utilisées par les cartes graphiques pour PC, comme le DLSS de Nvidia et le FSR d'AMD, qui génèrent des images entre les images calculées.

Le fonctionnement du système

Le système s'appuie sur deux réseaux de neurones : un encodeur, qui résume une image dans un petit paquet de données, et un décodeur, qui utilise ces données pour générer l'image suivante. Le modèle peut également utiliser des vecteurs de mouvement et les actions du joueur afin de faire des prédictions plus précises.

Réduire la latence

La méthode de Sony vise à réduire le délai entre l'action du joueur et la réponse du jeu. Contrairement aux méthodes actuelles, qui attendent que la prochaine image réelle soit calculée, le système de Sony affiche une image prédite pendant que la console travaille encore sur la véritable image.

Une sauvegarde sans IA et un apprentissage

Le brevet prévoit également une méthode de secours sans IA, qui déplace des blocs de pixels en fonction du mouvement. En outre, le modèle s'améliore avec le temps en comparant ses prédictions aux images réellement générées par la console.

La stratégie plus large de Sony en matière d'IA

Ce brevet s'inscrit dans les projets publics de Sony pour les graphismes basés sur l'IA. En mars, Mark Cerny, l'architecte de la PS5, a indiqué qu'une bibliothèque de génération d'images serait disponible sur les plateformes PlayStation « à un moment donné ». Cela fait suite à un partenariat avec AMD sur des outils graphiques d'IA appelés projet Amethyst.

Applications actuelles et futures

Sony utilise déjà le suréchantillonnage par IA avec PSSR 2.0 sur la PS5 Pro et QSSR sur la PS5 standard. Une nouvelle version de PSSR, intégrant la génération d'images par IA, est attendue pour la PS6, bien aucune date de sortie officielle n'ait été annoncée.

Défis et concurrence

Malgré les avantages potentiels, certains craignent que les développeurs ne s'appuient trop fortement sur l'IA pour augmenter artificiellement les taux de rafraîchissement, ce qui pourrait entraîner des problèmes visuels et de latence. Microsoft développe également sa propre génération d'images par IA pour sa future Xbox Project Helix, dont le lancement est prévu en 2027.

Préoccupations liées aux coûts et aux retards

Sony a reporté la sortie de la PS6 en raison d'une pénurie mondiale de composants, ce qui pourrait également faire grimper le prix de la console. La hausse du coût de la mémoire et du stockage pourrait porter le prix de la PS6 au-delà de 1 000 euros.