Par Coalter Palmer et Natalie Huet | Publié le 11 juillet 2024 

Note de la rédaction : ce rapport a été publié pour la première fois dans le Misinformation Risk Briefing envoyé aux clients de NewsGuard. 

En septembre 2023, NewsGuard a identifié une première du genre : un réseau de 17 comptes TikTok utilisant un logiciel IA de synthèse vocale (qui convertit un texte en voix) pour créer des vidéos relayant des théories du complot à propos de célébrités, accumulant des centaines de millions de vues. Neuf mois plus tard, ce phénomène semble avoir pris de l’ampleur et se concentrer sur la politique.

NewsGuard a identifié 41 comptes TikTok en anglais et en français qui utilisent une narration générée par IA pour propager de la mésinformation politique à grande échelle. Il s’agit d’une montée en puissance des fermes de contenu propulsées par IA sur TikTok. (Les fermes de contenu sont des entités qui génèrent d’importants volumes de contenu de qualité médiocre, généralement pour attirer des vues et des revenus publicitaires).

Ces 41 comptes, que NewsGuard a détectés avec l’aide de l’outil TrueMedia.org, ont publié 9.784 vidéos entre mars 2023 et juin 2024, accumulant au total plus de 380 millions de vues. La plupart de ces comptes ont été créés en 2024. En moyenne, chaque compte publie au moins une vidéo par jour, certains publiant jusqu’à quatre vidéos par jour avec une narration générée par IA. Ces vidéos diffusent de faux récits sur des sujets tels que la politique aux États-Unis et en Europe et la guerre entre la Russie et l’Ukraine. 

Les récits faux, trompeurs ou sans fondement relayés par les comptes incluent :

• L’idée que l’ancien président américain Donald Trump aurait été arrêté et “menotté” après avoir attaqué “la secrétaire d’État du Maine à sa résidence”. Et l’idée que la députée américaine Marjorie Taylor Greene serait enceinte, et porterait l’enfant de Donald Trump.
• L’idée que l’OTAN aurait déployé des troupes en Ukraine (en juillet 2024, aucune preuve n’indique que l’OTAN ait envoyé des soldats dans le pays).
• L’idée que la France pourrait quitter l’Union européenne “dans les prochains semaine (sic)”. (Aucun des principaux partis politiques en France, y compris le Rassemblement National, parti eurosceptique d’extrême droite, ne préconise un “Frexit”).
• L’idée que les États-Unis seraient à l’origine de l’attentat de mars 2024 au Crocus City Hall à Moscou (ce sont des militants de l’État islamique, et non les États-Unis, qui ont orchestré et mené l’attentat).

Dix-sept des 41 comptes identifiés dans le cadre de ce rapport publient de manière régulière des récits faux et pro-Kremlin sur la guerre entre la Russie et l’Ukraine. Quatorze de ces 17 comptes sont en français.

NewsGuard a identifié des scripts identiques pour des vidéos différentes sur plusieurs de ces comptes, lus par des voix différentes, mais toutes générées par IA, ce qui suggère un effort coordonné entre certains des comptes.

NewsGuard n’a pas pu identifier la source de ces comptes TikTok, dont la plupart ont été supprimés depuis que NewsGuard les a repérés. Aucun des comptes ne comportait d’informations dans leur biographie ou leur nom d’utilisateur permettant de les identifier. Plus de la moitié d’entre eux (22) avaient des noms d’utilisateurs TikTok génériques tels que @daily.news74, @latestworldnews.ss, @franceactu24 et @fast_infofrance.

Dix-huit de ces comptes semblaient remplir les conditions requises pour bénéficier du “Fonds pour les créateurs TikTok”, qui rémunère les créateurs en fonction de leur nombre de vues et de leur engagement. Pour être éligibles, les comptes doivent avoir plus de 10.000 abonnés authentiques et plus de 100.000 vues authentiques au cours des 30 derniers jours. 

En septembre 2023, TikTok a annoncé une nouvelle fonctionnalité permettant aux utilisateurs de labelliser les vidéos qui utilisent l’IA. Selon les directives communautaires de TikTok en juillet 2024, les utilisateurs sont tenus de labelliser les vidéos qui utilisent l’IA pour créer “des scènes ou des personnes d’apparence réaliste”. Toutefois, au 4 juillet 2024, aucune des vidéos TikTok fausses ou trompeuses identifiées par NewsGuard n’était étiquetée comme comportant des éléments générés par IA, et TikTok n’avait pas fourni aux utilisateurs d’informations sur les fausses affirmations propagées par les 41 comptes identifiés par NewsGuard.

Interrogé au sujet des observations de NewsGuard et à la question de savoir si les comptes identifiés par NewsGuard ont violé les politiques de TikTok, un porte-parole de TikTok a renvoyé NewsGuard vers les politiques de la plateforme sur la mésinformation et les contenus générés par IA. “TikTok dispose d’outils et de politiques en matière de labellisation du contenu généré par l’IA qui sont parmi les meilleurs du secteur, ainsi que de politiques qui interdisent la diffusion de mésinformation nuisible”, a écrit le porte-parole dans un email de juillet 2024. “Nous continuerons à supprimer les contenus qui violent ces politiques”.

TikTok a supprimé certains des comptes avant que NewsGuard interroge la plateforme à leur sujet. Au 8 juillet 2024, 14 des 41 comptes identifiés par NewsGuard avaient déjà été supprimés. Après que NewsGuard a contacté TikTok pour obtenir un commentaire, huit autres comptes ont été mis hors ligne. Dix-neuf comptes étaient toujours actifs au 10 juillet 2024. 

Méthodologie :

Des analystes de NewsGuard aux États-Unis et en France ont initialement identifié les vidéos en cherchant des mots clés associés aux fermes de contenu générées par IA, y compris des termes génériques tels que “actualités” et “infos”, ainsi que des hashtags génériques spécifiques à un sujet, comme “#Trump” et “#Russie”. Ils ont ensuite utilisé TrueMedia.org, un outil indépendant de détection des vidéos et de l’audio généré par l’IA, afin de confirmer leurs résultats.

Isis Blachez a aussi contribué à ce rapport.