A cura di Coalter Palmer | pubblicato il 28 settembre 2023

Secondo un’analisi di NewsGuard, una rete di 17 account TikTok sembrerebbe aver sfruttato una tecnologia di sintesi vocale iperrealistica per ottenere centinaia di milioni di visualizzazioni con contenuti che promuovono teorie del complotto, raccontate da voci che sembrano umane. Gli account utilizzano probabilmente un software di intelligenza artificiale text-to-speech per generare istantaneamente la voce del narratore e le altre voci presenti nei video. Si tratta di una nuova frontiera dell’utilizzo dell’intelligenza artificiale da parte di soggetti malintenzionati per produrre rapidamente e a basso costo contenuti falsi che raggiungano un vasto pubblico.

Nel settembre 2023, NewsGuard ha scoperto che, da quando il primo di questi account ha iniziato a postare contenuti nel giugno 2023, la rete di account ha prodotto circa 5.000 video, molti dei quali caratterizzati da voci fuori campo apparentemente generate dall’intelligenza artificiale. I video hanno ricevuto 336 milioni di visualizzazioni e 14,5 milioni di “mi piace” al 25 settembre 2023.

Tra le narrazioni prive di fondamento avanzate in questi video vi è l’affermazione secondo cui l’ex presidente degli Stati Uniti Barack Obama sarebbe collegato alla morte del suo chef personale Tafari Campbell; la conduttrice televisiva Oprah Winfrey sarebbe responsabile di “traffico sessuale”; l’attore Jamie Foxx sarebbe rimasto paralizzato e cieco a causa del vaccino contro il COVID-19; e la comica Joan Rivers sarebbe stata uccisa per aver affermato che Barack Obama era omosessuale.

Ad esempio, in un video del luglio 2023 postato dall’account @e.news.tv si sente un ‘notiziario’ di tre minuti raccontato da una voce narrante femminile, in cui si suggerisce che Obama sia in qualche modo collegato alla morte del suo chef personale (collegamento in realtà infondato). Il video inizia con la voce narrante prodotta dall’IA che afferma: “Obama ha reagito al fatto che [la moglie di Tafari Campbell] Sherise Campbell lo abbia incolpato della morte del marito Tafari Campbell. Ecco cosa ha detto al riguardo”. 

A questa introduzione, apparentemente letta da una voce narrante prodotta dall’IA, segue l’audio di un “Obama” robotico, chiaramente generato dall’intelligenza artificiale, che legge una dichiarazione sulla morte di Campbell. “Sebbene non riesca a comprendere la base delle accuse mosse contro di me, invito tutti a ricordare l’importanza dell’unità, della comprensione e di evitare giudizi affrettati”, afferma la voce artefatta di Obama. Al 27 settembre 2023, il video aveva ottenuto più di 50.700 visualizzazioni su TikTok. 

In realtà, un’analisi di Politifact non ha trovato alcuna prova che la moglie di Campbell abbia mai incolpato Obama per la morte del marito, né esiste alcuna prova dell’autenticità della dichiarazione letta dalla voce IA di Obama.

NewsGuard ha ricreato l’introduzione audio del video utilizzando un software IA text-to-speech chiamato ElevenLabs, e ha identificato la voce che è stata probabilmente utilizzata nella clip in quella indicata con il nome “Natasha – Valley Girl” sul sito di ElevenLabs. 

In risposta a un’email di NewsGuard del settembre 2023 in cui si chiedeva se questo video fosse stato effettivamente prodotto con il software di ElevenLabs, un portavoce dell’azienda ha rimandato NewsGuard a un classificatore vocale IA che ElevenLabs offre sul suo sito. Quando un analista di NewsGuard ha inserito l’audio del video precedentemente citato nel classificatore, lo strumento di ElevenLabs ha restituito un messaggio che affermava: “98%. È molto probabile che questo file audio sia stato generato con ElevenLabs”.

Il classificatore vocale IA di ElevenLabs ha determinato che è “molto probabile” che la voce narrante del video TikTok del luglio 2023 che collega Barack Obama alla morte del suo chef personale sia stata generata con il software. (Video di NewsGuard)

In un altro video, pubblicato dall’account @d.news.tv, una voce chiara prodotta dall’IA legge un post del 15 agosto 2023 pubblicato su X (precedentemente noto come Twitter) in cui si afferma che gli incendi di Maui non sono stati “incendi climatici, ma [sono stati causati da] armi a energia diretta” e che Winfrey è in qualche modo coinvolta nell’innesco degli incendi. (Non ci sono prove a sostegno di queste affermazioni).

All’inizio del video, un errore nell’audio svela che la voce narrante è stata probabilmente generata dall’intelligenza artificiale: facendo riferimento alla valutazione di 6,6 milioni di dollari di una proprietà di 870 acri a Maui recentemente acquistata da Winfrey, la voce narrante diventa robotica quando spiega che il valore del terreno era di “ben 6,6 milioni di dollari”. Se non fosse stato per questo inconveniente, gli utenti non avrebbero probabilmente avuto modo di sapere che il video era uno dei tanti, apparentemente generati in massa, accompagnati da una voce fuori campo generata dall’IA. Al 27 settembre 2023, il video aveva ottenuto più di 562.000 visualizzazioni.

Inoltre, in quello che pare un tentativo di ingannare gli utenti facendo credere loro di trovarsi di fronte a una fonte credibile, NewsGuard ha scoperto che 13 dei 17 account che ha identificato come promotori di queste narrazioni erano contrassegnati in modo ingannevole per assomigliare a testate giornalistiche note e ad account TikTok popolari. Ad esempio, un account utilizza l’handle @drphilshowtv, richiamando il nome del popolare talk show americano “Dr. Phil”. Un altro account, @ynewstv2023, utilizza un nome e un logo che imitano quelli di Yahoo News. L’account @e.news.tv utilizza nome e logo che ricordano quelli di E! News, popolare sito di notizie di intrattenimento.

In base ai commenti che i video hanno ricevuto, i contenuti generati dall’intelligenza artificiale stanno avendo un certo impatto. Ad esempio, nei commenti del video già citato sullo chef di Obama, l’utente Shay Lashay ha commentato “Obama lo ha fatto ammazzare”. In un altro video con una voce apparentemente generata dall’intelligenza artificiale che faceva la stessa affermazione, l’utente @ricka189 ha scritto: “TAFARI È STATO PICCHIATO A MORTE, E POI MESSO NELLO STAGNO AD AFFOGARE, OBAMA LO HA UCCISO, E SI È FATTO AIUTARE A FARLO”.

In realtà, secondo il Washington Post, il 22 agosto 2023 il medico legale del Massachusetts ha stabilito che la morte di Campbell è stata accidentale. 

Il 19 settembre 2023 TikTok ha presentato una nuova funzione che consente agli utenti di inserire etichette di avvertenza sui contenuti prodotti con l’aiuto dell’intelligenza artificiale. Al 26 settembre, tuttavia, nessuno dei video cospirazionisti identificati da NewsGuard e citati in questo report riportava tale dicitura.

Alla richiesta di un commento sui risultati di questa analisi, un portavoce di TikTok ha rimandato NewsGuard alle linee guida della piattaforma sulla misinformazione e sui media manipolati. In un’ulteriore email, il portavoce ha comunicato a NewsGuard che TikTok aveva rimosso tre degli account menzionati in questo report per aver violato le politiche della piattaforma che impediscono, tra le altre cose, di spacciarsi per organizzazioni giornalistiche. Il portavoce ha aggiunto che TikTok aveva anche rimosso uno dei video identificati da NewsGuard perché aveva violato la policy della piattaforma sui media manipolati e aveva fatto sì che altri quattro video non venissero raccomandati dall’algoritmo perché avevano violato le linee guida sulla misinformazione della piattaforma. Il portavoce ha chiesto a NewsGuard di non rivelare il suo nome e di parafrasare le sue risposte.

Hafiz Malik, professore di informatica presso l’Università del Michigan-Dearborn che si occupa di deepfake, ha dichiarato a NewsGuard in un’intervista telefonica del settembre 2023 che l’avvento della tecnologia IA text-to-speech ha favorito notevolmente la diffusione di audio falsi su piattaforme come TikTok. “Con l’evoluzione di strumenti come ElevenLabs o simili, penso che abbiano messo il tutto su una scala diversa in termini di velocità di generazione di deepfake”, ha detto Malik. “Prima c’era un certo ritardo nella creazione: era necessario registrare e poi riprodurre l’audio di qualcuno. Ma ora, in casi come questo, basta un clic del mouse”.

Nota della redazione: questo report è stato aggiornato il 3 ottobre 2023, per includere le risposte di TikTok alle domande di NewsGuard.