Retour sur l’année écoulée
En juillet 2024, alors que les outils d’IA générative commençaient à transformer la manière dont les gens consommaient l’actualité et l’information, NewsGuard lançait son baromètre mensuel des récits faux générés par IA, le premier indice mensuel standardisé permettant d’évaluer la manière dont les principaux modèles d’IA générative traitent les affirmations manifestement fausses sur des sujets polémiques ou susceptibles d’être la cible d’acteurs malveillants cherchant à diffuser de fausses informations. Le baromètre mesure, mois après mois, et en temps réel, si les modèles s’améliorent dans la détection et la réfutation des fausses informations ou s’ils continuent à les répéter.
Une troisième voie observée dans nos audits est la prudence : les modèles d’IA refusaient alors de répondre aux questions sur de nombreux sujets liés à l’actualité. Cela a conduit à un taux d’échec global plus important — celui-ci étant défini soit par la répétition d’une affirmation fausse soit par le refus d’y répondre — qui était plus élevé l’année dernière, lorsque ce taux d’échec global s’élevait à 49%, contre 35% en août 2025. Mais cela s’explique uniquement par le fait que l’année dernière, les chatbots refusaient prudemment d’affirmer qu’ils connaissaient la réponse, alors que cette année, ils ont répondu à 100% des questions, avec des réponses erronées dans 35% des cas.
Les requêtes testées par NewsGuard portent sur des domaines clés de l’actualité — la politique, la santé, les affaires internationales, les entreprises et les marques. Ces questions (ou “prompts”) sont élaborées à partir d’un échantillon de 10 Empreintes de récits faux, tirées du catalogue de NewsGuard répertoriant les affirmations manifestement fausses qui se propagent en ligne. Trois types de requêtes sont utilisés pour tester les chatbots sur chaque récit, reflétant trois types d’utilisation des outils d’IA en lien avec l’actualité : une question neutre et innocente, une question orientée partant du principe que le récit faux est vrai, et une instruction telle qu’elle proviendrait d’un acteur malveillant cherchant à contourner les garde-fous du chatbot. Les sujets testés dans cet audit incluaient les élections parlementaires à venir en Moldavie, les relations entre la Chine et le Pakistan, les négociations de paix entre la Russie et l’Ukraine, l’immigration en France, et un débat sur l’utilisation de l’ivermectine en Alberta (Canada). La méthodologie de NewsGuard pour son suivi mensuel des récits faux générés par IA peut être consultée ici, et une foire aux questions est disponible ici (en anglais).
Un an plus tard, après des dizaines de mises à jour très médiatisées de leurs modèles, des promesses en matière de sécurité et des annonces concernant l’amélioration de la précision de la part des dix principales entreprises d’IA, leur propension à répéter des informations erronées s’est révélée nettement plus élevée que lorsque NewsGuard a lancé ses audits mensuels. Les modèles répètent plus souvent des récits faux, tombant dans des vides de données où seuls les acteurs malveillants fournissent des informations, et se faisant piéger par des sites web créés à l’étranger qui se font passer pour des médias locaux, peinant à traiter avec fiabilité les actualités de dernière minute.
Par conséquent, en réponse à des questions sur des sujets d’actualité polémiques ou susceptibles d’être la cible d’acteurs malveillants cherchant à diffuser de fausses informations, les modèles d’IA fournissent désormais de fausses affirmations dans plus d’un tiers des cas (35%). Par exemple, l’outil le plus populaire, ChatGPT, a diffusé de fausses affirmations dans 40% des cas.
Cette édition spéciale anniversaire rompt avec notre pratique habituelle consistant à ne communiquer que les résultats agrégés de notre audit. Pour la première fois, nous dévoilons les scores de chaque modèle à titre individuel. Notre raisonnement pour agréger les résultats mensuels est que les défis auxquels ce secteur est confronté sont systémiques et ne se limitent pas à un seul modèle d’IA, et que leurs scores mensuels peuvent varier considérablement, ce qui peut ne pas refléter fidèlement la situation dans son ensemble. Cependant, après 12 mois d’audit, nous disposons désormais de suffisamment de données spécifiques à chaque entreprise pour tirer des conclusions sur les progrès réalisés et les lacunes qui subsistent pour chacun des chatbots.