Les tests de visibilité sur l'IA donnent des résultats incohérents

Une récente analyse révèle que les tests de visibilité sur l'IA, qui vérifient la fréquence à laquelle une marque est mentionnée par des assistants comme ChatGPT, Perplexity, Claude et Gemini, donnent souvent des résultats différents lorsqu'ils sont répétés dans des conditions qui semblent identiques. Cela signifie que les variations en pourcentage des indicateurs de visibilité ne reflètent peut-être pas de véritables progrès ou un véritable recul.

Même test, résultats différents

Dans un exemple, un test réalisé en août sur le même site web, avec les mêmes questions et les mêmes moteurs d'IA, a montré que seuls deux concurrents sur cinq étaient mentionnés lors des deux passages. Pour un site web qu'aucun moteur ne citait, le résultat « non cité » était constant 45 fois sur 45, mais la liste des domaines cités a fortement varié : seul un domaine sur neuf figurait dans les deux passages.

Zéro ne signifie pas absence

Un test effectué le 22 octobre a révélé qu'aucune des réponses ne nommait la marque sur les quatre moteurs d'IA. Toutefois, la fréquence réelle de citation pourrait se situer entre 0 % et 16 %, ce qui signifie qu'un résultat mesuré à zéro ne veut pas forcément dire que la marque n'a jamais été mentionnée. Cela souligne la nécessité d'une présentation des données plus précise.

Les intervalles de confiance améliorent la clarté

La solution statistique consiste à accompagner chaque chiffre d'un intervalle de confiance. Plutôt que d'affirmer « 35 % », on peut écrire « 35 %, entre 20 % et 50 % environ ». Cela permet de distinguer les véritables évolutions des fluctuations aléatoires dans les données.

Les intervalles de confiance renforcent la confiance

Pour les agences de marketing, l'utilisation d'intervalles de confiance aide à préserver la confiance des clients en évitant les affirmations trompeuses sur la visibilité. Elle déplace l'attention des résultats garantis vers des comparaisons honnêtes, et rend les véritables progrès plus crédibles lorsqu'ils surviennent. Les intervalles de confiance doivent figurer dans les rapports initiaux, et non être ajoutés après coup.

Les changements de modèles d'IA influencent les résultats

Les évolutions des modèles d'IA peuvent également influer sur les résultats des tests. Par exemple, ChatGPT a mis à jour son modèle entre deux mesures espacées d'un mois, ce qui a pu affecter les résultats. Ces changements ne sont pas pris en compte par les intervalles de confiance et doivent être communiqués aux clients comme un facteur potentiel dans l'interprétation des données.