À l'AI Festa 2026, ThinkForBL, une entreprise spécialisée dans l'évaluation de la fiabilité des systèmes d'IA, a mis en lumière une préoccupation croissante dans le domaine : toutes les données ne se valent pas lorsqu'il s'agit de former des modèles d'intelligence artificielle. Bien que de nombreuses entreprises cherchent à utiliser le volume de données le plus important possible pour entraîner leurs IA, cette approche peut s'avérer trompeuse. ThinkForBL a démontré comment des modèles formés sur des ensembles de données différents – par exemple, l'un avec 50 000 images et un autre avec seulement 2 000 – peuvent produire des résultats variables. L'objectif de cette démonstration n'était pas de suggérer que les ensembles de données plus petits sont toujours meilleurs, mais de souligner que la quantité de données n'est pas le seul facteur déterminant la qualité d'un modèle d'IA. L'entreprise a souligné que des problèmes tels que les données dupliquées, les catégories surreprésentées ou les exemples ne reflétant pas des scénarios réels peuvent influencer les performances d'un modèle. Cela signifie que le problème ne réside pas nécessairement dans le modèle lui-même, mais plutôt dans l'ensemble de données utilisé pour son entraînement. ThinkForBL a notamment introduit le concept de « biais contextuel », qui survient lorsque des points de données individuels sont exacts, mais ne représentent pas collectivement l'environnement dans lequel l'IA sera déployée. Par conséquent, un modèle peut obtenir de bons résultats lors de tests contrôlés, mais se comporter de manière imprévisible face à des situations nouvelles ou moins courantes. Pour relever ces défis, ThinkForBL a développé un outil appelé Reeinn, qui analyse les données utilisées pour former les systèmes d'IA. Reeinn se concentre sur l'identification des redondances et des déséquilibres pouvant entraîner des performances peu fiables dans des applications réelles. Cette approche reflète un changement plus large dans l'industrie de l'IA, où l'accent n'est plus uniquement mis sur le taux de réussite d'un modèle, mais aussi sur sa robustesse – sa capacité à fonctionner de manière constante, même face à des données inconnues. Ce changement est particulièrement crucial dans des environnements à haut risque, tels que les services publics, la sécurité et la défense, où les erreurs d'IA peuvent avoir des conséquences graves. Garantir que les systèmes d'IA restent fiables une fois déployés en dehors des environnements de développement contrôlés représente un défi majeur. Par conséquent, l'évaluation des projets d'IA pourrait devoir évoluer au-delà de la comparaison des modèles en fonction de leurs performances sur des bancs d'essai. À la place, les données utilisées pour l'entraînement, les environnements de test et la capacité des modèles à maintenir des performances constantes dans des conditions changeantes deviendront plus importants. L'adoption de normes internationales de fiabilité pourrait également jouer un rôle clé dans l'établissement de critères communs pour évaluer les systèmes d'IA auprès de différents fournisseurs.