Bildquelle: Alina Grubnyak via Unsplash

Tracking-Center für Künstliche Intelligenz: 802 unzuverlässige KI-generierte Nachrichtenseiten (laufend ergänzt), plus die populärsten KI-generierten Falschnachrichten

NewsGuard hat bisher 802 KI-generierte Nachrichten- und Informationsseiten identifiziert, die ohne oder mit nur geringer menschlicher Einflussnahme betrieben werden. Darüber hinaus verfolgt NewsGuard Falschmeldungen, die von Tools, die auf künstlicher Intelligenz basieren, verbreitet werden.

McKenzie Sadeghi, Lorenzo Arvanitis, Virginia Padovese, Giulia Pozzi, Sara Badilini, Chiara Vercellone, Madeline Roache, Macrina WangJack Brewster, Natalie Huet, Becca Schimmel, Zack Fishman, Leonie Pfaller und Natalie Adams | Zuletzt aktualisiert: 15. April 2024

Von Falschnachrichten, die sich wie von selbst und ohne menschliche Kontrolle produzieren lassen, bis hin zu gefälschten Bildern von KI-Bildgeneratoren ⁠— die Einführung von generativen Tools der künstlichen Intelligenz ist ein Gewinn für Content-Farmen und Falschinformationsverbreiter gleichermaßen. 

Dieses Tracking-Center für Künstliche Intelligenz soll aufzeigen, wie generative KI eingesetzt wird, um die Verbreitung von Fehlinformationen und unzuverlässige Nachrichten zu verstärken. Dazu liefert das Tracing-Center eine Auswahl an NewsGuards Analysen, Berichten und Faktenchecks zum Thema künstliche Intelligenz. 

Bis jetzt hat das Team von NewsGuard 802 unzuverlässige KI-generierte Nachrichten- und Informationswebseiten (“UKIN”) in 16 Sprachen identifiziert: Arabisch, Chinesisch, Deutsch, Tschechisch, Niederländisch, Englisch, Französisch, Indonesisch, Italienisch, Koreanisch, Portugiesisch, Russisch, Spanisch, Tagalog, Thai and Türkisch.   

Diese Webseiten tragen in der Regel generische Namen wie z. B. iBusiness Day, Ireland Top News und Daily Time Update. Für Online-Nutzer:innen sehen sie aus wie etablierte Nachrichtenseiten und täuschen darüber hinweg, dass sie ohne menschliche Kontrolle arbeiten und die Artikel größtenteils oder vollständig von Bots verfasst werden. Die Webseiten haben zahlreiche und in einigen Fällen Hunderte von allgemeinen Artikeln zu einer Reihe von Themen wie Politik, Technologie, Unterhaltung und Reisen veröffentlicht. Mitunter enthalten sie jedoch falsche Behauptungen, wie etwa über den angeblichen Tod von Prominenten:innen, andere erfundene Ereignisse oder zeitlich verzerrte Darstellungen von Geschehnissen. 

In vielen Fällen handelt es sich bei dem Ertragsmodell der Webseiten um programmatische Werbung, bei der die Ad-Tech-Industrie Anzeigen ohne Rücksicht auf die Art oder Qualität der Webseite schaltet. Infolgedessen unterstützen führende Marken unbeabsichtigt diese Webseiten. Solange Marken keine Maßnahmen ergreifen, um nicht vertrauenswürdige Webseiten zu vermeiden, werden ihre Anzeigen weiterhin auf solchen Webseiten erscheinen und so einen wirtschaftlichen Anreiz für deren Erstellung schaffen.

Zusätzlich zu den in den Tracker aufgenommenen Webseiten haben die Analyst:innen von NewsGuard auch eine von der chinesischen Regierung betriebene Webseite identifiziert, die KI-generierte Texte als Quelle für die falsche Behauptung verwendet, die USA betrieben ein Biowaffenlabor in Kasachstan, in dem Kamele infiziert würden, um Menschen in China zu gefährden.

Forschende, Plattformen, Werbetreibende, Regierungsbehörden oder andere Institutionen, die an der vollständigen Liste der Webseiten interessiert sind oder mehr über unsere Dienstleistungen für generative KI-Unternehmen erfahren möchten, können uns hier kontaktieren. Um mehr über die transparenten Datensätze von NewsGuard für KI-Plattformen zu erfahren, klicken Sie hier. NewsGuard berichtet außerdem über KI-generierte Falschinformationen und Trends in seinen wöchentlichen Misinformation Risk Briefings sowie im Reality Check Newsletter auf Substack.

Die im Tracking-Center berücksichtigten Webseiten erfüllen alle die folgenden Kriterien:

  1. Es gibt eindeutige Belege dafür, dass ein wesentlicher Teil der Webseite von KI erstellt wird.
  2. Ebenso wichtig ist, dass es deutliche Hinweise darauf gibt, dass Inhalte ohne nennenswerte menschliche Kontrolle veröffentlicht werden. Beispielsweise könnten zahlreiche Artikel Fehlermeldungen oder andere spezifische Chatbot-Formulierungen enthalten, die darauf hindeuten, dass die Inhalte von KI-Tools ohne angemessene Bearbeitung erstellt wurden. (Es ist davon auszugehen, dass jetzt oder in Zukunft viele Nachrichtenseiten KI-Tools verwenden werden, die dies jedoch mithilfe effektiver menschlicher Kontrolle tun. Diese Seiten werden nicht als UKIN eingestuft).
  3. Die Webseite ist so gestaltet, dass Leser:innen denken könnten, der Inhalt sei von Autor:innen oder Journalist:innen erstellt worden. Das liegt daran, dass die Webseite ein Layout, einen generischen Namen oder andere für Nachrichten- und Informationswebseiten typische Inhalte verwendet.
  4. Die Webseite weist nicht eindeutig darauf hin, dass ihr Inhalt von KI erstellt wird.

Im Folgenden finden Sie eine Auswahl von NewsGuards Analysen und Berichten zum Thema KI

Im Folgenden finden Sie eine Auswahl von Falschnachrichten, die von Tools der künstlichen Intelligenz stammen und die NewsGuard als Teil seiner "Misinformation Fingerprints"-Datenbank identifiziert und widerlegt hat:

FALSCHBEHAUPTUNG: Fotos zeigen Joe Biden in einer Militäruniform im Januar 2024

Ein KI-generiertes Bild von Biden, geteilt vom X-Account @Sprinter99800. (Screenshot von NewsGuard)

DIE FAKTEN: Bilder, auf denen US-Präsident Joe Biden in einer Uniform der US-Armee zu sehen ist und sich mit Militärvertretern im Weißen Sitzungssaal trifft, sind gefälscht und scheinen laut KI-Erkennungstools und Expert:innen für digitale Forensik mit künstlicher Intelligenz erstellt worden zu sein. Biden hat nicht im Militär gedient, und die Fotos tauchen weder auf der Webseite des Weißen Hauses noch in glaubwürdigen Medienberichten auf.

Einige Personen, die die KI-generierten Bilder von Biden verbreiteten, scheinen damit offenbar die Angst vor einem breiteren Konflikt im Nahen Osten schüren zu wollen. Andere Social Media Nutzer:innen und Webseiten haben die Bilder anscheinend gepostet, um sich über Biden lustig zu machen und ihm zu unterstellen, er würde die Öffentlichkeit in die Irre führen wollen, indem er eine Militäruniform anzieht, obwohl er nie beim Militär gedient hat.

Hive, ein von NewsGuard eingesetztes KI-Erkennungstool, stufte die Bilder als zu 100 Prozent von KI generiert ein. Zu den Anzeichen für die Verwendung einer KI auf dem Foto gehören Bidens unförmige Hände, ein Telefonkabel, das an seinem Arm befestigt ist, und eine Reihe nicht identifizierbarer seltsamer Gegenstände auf dem Tisch vor ihm. Expert:innen für digitale Forensik haben ebenfalls festgestellt, dass die Bilder typische Anzeichen einer KI enthalten.

Die KI-generierten Bilder des Präsidenten tauchten in den sozialen Medien auf, nachdem am 28. Januar 2024 drei US-Soldaten in Jordanien durch einen Drohnenangriff mit iranischer Beteiligung getötet worden waren. Die Fotos wurden von der staatlichen russischen Webseite Inter Affairs Journal und der kremlnahen Webseite South Front in mehreren Sprachen verbreitet, darunter Arabisch, Chinesisch, Englisch, Russisch und Spanisch.

Von Natalie Adams

FALSCHBEHAUPTUNG: Videos zeigen den Oberbefehlshaber der ukrainischen Streitkräfte, wie er das Militär zum Putsch auffordert

Ausschnitte aus einem Deepfake-Video, in dem der ukrainische Kommandeur Zaluzhny zu einem bewaffneten Aufstand aufruft. (Screenshots von NewsGuard)

DIE FAKTEN: Der Oberbefehlshaber der ukrainischen Streitkräfte Walerij Saluschnyj hat die ukrainische Armee nicht zum Putsch und zum Sturz des ukrainischen Präsidenten Wolodymyr Selenskyj aufgerufen. Bei den Videos, die ihn dabei zu zeigen scheinen, handelt es sich um digital erstellte Deepfakes, d. h. digital manipulierte Fotos, Videos oder Audios, die die Person so darstellen, als hätte sie etwas gesagt oder getan, was sie nicht tatsächlich gesagt oder getan hat.

Mitte November 2023 veröffentlichten Kreml-nahe Telegram-Kanäle drei Deepfakes mit Saluschnyj, in denen er scheinbar zu einem Putsch gegen Selenskyj aufrief. “Ich rufe die Ukrainer auf, auf den Straßen zu protestieren und fordere alle ukrainischen Verteidiger auf, … sofort ihre Waffen zu nehmen und in Kiew einzumarschieren”, heißt es in einem der Videos, das Saluschnyj zu zeigen scheint. In einem anderen forderte Saluschnyj angeblich die Armee auf: “Verlasst die Schützengräben und geht nach Kiew. Es ist Zeit, Selenskyj zu stürzen”. Nachdem die beiden Deepfakes von Saluschnyj bekannt wurden, tauchte ein drittes manipuliertes Video auf, in dem Saluschnyj die Tatsache, dass die ersten beiden Videos gefälscht waren, zu bestreiten scheint.

In allen drei Videos sind Saluschnyjs Worte nicht mit den Bewegungen seines Mundes synchron. Während einer Überprüfung der Clips durch NewsGuard fielen zudem Saluschnyjs unnatürliche Bewegungen sowie eine seltsame Mimik auf. Der ukrainische Faktencheckdienst Vox Ukraine stellte fest, dass alle drei Videos mit Hilfe alter Videos erstellt wurden, die Saluschnyj im Februar 2022 und im Dezember 2022 in den sozialen Medien veröffentlicht hatte.

Von Eva Maitland

FALSCHBEHAUPTUNG: Ein Bild zeigt einen Mann, der Kinder aus den Trümmern in Gaza trägt

Die Fakten: Ein Bild, das einen Mann zeigt, der fünf Kinder aus den Trümmern trägt – und das in den sozialen Medien vielfach als Darstellung einer Rettungsaktion im Gazastreifen angeführt wurde – scheint mit Hilfe einer künstlichen Intelligenz generiert worden zu sein. Zu den wichtigsten Anzeichen dafür, dass das Bild von einer KI generiert wurde, gehören ein zusätzlicher Kinderarm, der um den Hals des Erwachsenen geschlungen ist, Unregelmäßigkeiten bei einigen Händen und Füßen sowie die Tatsache, dass ein Kind mit dem Hemd des Erwachsenen zu verschmelzen scheint.

“Dieses Bild wurde mit ziemlicher Sicherheit von einer künstlichen Intelligenz erzeugt”, sagte Hany Farid, Professor an der Universität von Kalifornien, Berkeley, der sich auf digitale Forensik spezialisiert hat, gegenüber der Nachrichtenagentur Agence France-Presse. “Zusätzlich zu unseren Modellen, die es als KI einordnen, gibt es eindeutige Anzeichen dafür in dem Bild, wie beispielsweise den verformten Arm des Erwachsenen.”

Das von einer KI generierte Bild verbreitete sich auf X, Instagram und Facebook in mehreren Sprachen, darunter Englisch, Türkisch und Arabisch.

Von Becca Schimmel

Im Folgenden finden Sie eine Auswahl von KI-Trends, die NewsGuard in seinen vertraulichen Briefings für NewsGuard-Kund:innen identifiziert hat. Dazu gehören auch Berichte, die sich auf Fehlinformationen und Desinformation mit Ursprung in Russland, China und dem Iran konzentrieren.

KI prägt die Wahrnehmung des Krieges zwischen Israel und der Hamas

Eine Sammlung viraler, KI-generierter Bilder, die angeblich Szenen aus dem Konflikt zwischen Israel und der Hamas zeigen

 

Instagram, TikTok und X werden mit gefälschten,, mit Hilfe künstlicher Intelligenz erzeugten Bildern des Krieges zwischen Israel und der Hamas geradezu überschwemmt. Soziale Medienplattformen, KI-Unternehmen und Forscher:innen scheinen keine Lösung zu haben.

Was ist passiert? KI-generierte Fotos, die fälschlicherweise vorgeben Szenen aus dem Krieg zwischen Israel und der Hamas zu zeigen, haben seit Beginn des Konflikts Millionen von Reaktionen (Kommentare, Likes, Shares) auf Social-Media-Plattformen ausgelöst.

Warum das wichtig ist: Die Fotos werden von Akteuren mit schlechten Absichten auf beiden Seiten des Konflikts als Waffe eingesetzt, um ihre Ziele zu erreichen. Nur etwa ein Drittel (32 Prozent) der gefälschten Fotos, die NewsGuard fand, enthielten einen Faktencheck.

Von Jack Brewster und McKenzie Sadeghi

– NewsGuard-Newsletter vom 22. Februar 2024, Reality Check

Russische Deep Fakes über den Krieg werden immer überzeugender

Fortschritte in der DeepFake-Technologie: (Screenshots von NewsGuard) Zwei Deepfakes von Selenskyj von März 2022 (links) und November 2023 (rechts).

Im Rahmen einer Kampagne, die offenbar darauf abzielt, Zwietracht in der ukrainischen Regierung und im ukrainischen Militär zu säen, verbreiten Kreml-nahe Telegram-Kanäle realistische Deepfakes des ukrainischen Präsidenten Wolodymyr Selenskyj und des Oberbefehlshabers der ukrainischen Streitkräfte Walerij Saluschnyj. Sie machen sich dabei technologische Fortschritte zunutze, die solche gefälschten Videos realistischer denn je erscheinen lassen.

Die Videos zeigen einen Sprung in der Deepfake-Technologie seit dem Beginn des Krieges im Februar 2022. In einem manipulierten Video vom März 2022 war Selenskyjs Gesicht beispielsweise noch verpixelt, sein Kopf erschien zu groß und sah aus, als sei er nachträglich auf den Körper aufgesetzt worden, und er war unnatürlich steif. Die neuen Videos sind hochauflösend, die Bewegungen der jeweiligen Sprecher sind fließend und natürlich, und die Mundbewegungen stimmen besser mit den gesprochenen Worten überein.

Felix Simon, Forscher am Reuters Institute for the Study of Journalism und Doktorand am Oxford Internet Institute, erklärte gegenüber NewsGuard in einer E-Mail vom November 2023, dass die jüngsten Verbesserungen der KI-Tools es immer schwieriger machen, gefälschte Videos zu erkennen.

“Fortschritte auf dem Gebiet der transformatorbasierten tiefen neuronalen Netze (Deep Neural Networks) haben zur Entstehung von öffentlich nutzbaren so genannten ‘generativen KI’-Systemen geführt”, so Simon. “Diese Systeme sind in der Lage, neue Formen von Daten, einschließlich Bild- oder Tondaten, sehr schnell und unkompliziert für die Mehrheit der Nutzer zu erzeugen. Je nach den Anweisungen ist diese Datenausgabe so raffiniert, dass sie von Menschen kaum von z. B. von Menschen erzeugten oder mit einer physischen Kamera erstellten Inhalten unterschieden werden kann.”

Das ukrainische Zentrum für die Bekämpfung von Desinformation (CPD), das zum Nationalen Sicherheits- und Verteidigungsrat der Ukraine gehört, erklärte, dass die Qualität der jüngsten Deepfakes “auf die Verwendung von bedeutenden Ressourcen und Mitteln hinweist” und ein Zeichen dafür sein könnte, dass sie “unter Beteiligung der russischen Spezialeinheiten” erstellt worden sind. (NewsGuard konnte nicht unabhängig bestätigen, ob russische Staatsorgane an der Erstellung der Videos beteiligt waren).

Von Eva Maitland

– NewsGuard’s Misinformation Risk Briefing vom 22. November 2023

Iran verbreitet die von KI gestützte Behauptung, Netanjahus “Psychiater” habe Selbstmord begangen

Die Titelseite der Teheran Times am 25. September 2023 mit einem “exklusiven” Artikel über Netanjahus “mentalen Zustand”.

Iranische staatliche Nachrichtenorganisationen haben eine unzuverlässige, von einer künstlichen Intelligenz generierte Webseite als Quelle herangezogen, um fälschlicherweise zu behaupten, der “Psychiater” des israelischen Premierministers Benjamin Netanjahu sei durch Suizid gestorben. Die Behauptung scheint Teil einer breit angelegten Medienkampagne, mit der Netanjahu als psychisch labil dargestellt werden soll.

Die Behauptung, der angebliche Psychologe “Moshe Yatom” sei durch Selbstmord gestorben und habe einen Abschiedsbrief hinterlassen, der Netanjahu belastet, wurde von dem staatlichen Fernsehsender Channel Two der Islamischen Republik Iran und den iranischen Webseiten Arya News Agency, Saheb Khabar und Ghatreh verbreitet, die alle einen Artikel der pakistanischen Webseite Global Village Space zitierten.

Eine NewsGuard-Suche ergab, dass es in Israel keinen Psychiater mit dem Namen Moshe Yatom gibt, und auch keine Person mit einem ähnlichen Namen wie den des angeblich jüngst Verstorbenen. Bei der von den iranischen Nutzer:innen und Webseiten genannten Quelle Global Village Space handelt es sich um eine unzuverlässige, von KI generierte Webseite, die laut NewsGuard überwiegend von KI generierte Nachrichten mit minimaler menschlicher redaktioneller Kontrolle veröffentlicht, ohne diese Praxis den Leser:innen gegenüber transparent zu machen.

Das Narrativ wurde von iranischen Medien im Zuge des Krieges zwischen Israel und der Hamas wieder aufgegriffen, offenbar als Teil ihrer Bemühungen, Netanjahu als nicht amtsfähig darzustellen. Die staatliche Tehran Times, die Nachrichtenagentur Tasnim und andere haben Artikel veröffentlicht, in denen es heißt, Netanjahu leide an einer “psychischen Störung”. Nach den Terroranschlägen vom 7. Oktober 2023 in Israel, durch die vom Iran finanzierte und bewaffnete Hamas, hat die Regierung Netanjahus der Hamas in Gaza den Krieg erklärt.

Von McKenzie Sadeghi

– NewsGuard’s State-Sponsored Desinformation Risk Briefing vom 16. November 2023