Deepfakes – Wenn wir unseren Augen und Ohren nicht mehr trauen können

Wie werden Deepfakes erzeugt

Im Gegensatz zu Cheapfakes, bei denen be­ste­hende Aufnahmen manuell oder digital zusammengeschnitten, verlangsamt oder beschleunigt werden, ermöglicht die Ein­bindung von KI eine automatisierte Neu­schöpfung oder Veränderung von Medien­produkten. So können beispielsweise Ge­sichter oder Sprache lippen­synchron aus­getauscht, Gesten und Mimik verändert oder sogar ganze Reden erfunden und Per­sönlichkeiten in den Mund gelegt werden. Dazu werden in einem GAN (Generative Adversarial Network bzw. generierendes gegnerisches Netzwerk) zwei neuronale Netzwerke kombiniert und anhand vor­handener Bild-, Video- und Sprachaufzeich­nungen trainiert. Insbesondere bei öffent­lichen Personen stehen die dafür notwendigen Daten oft umfangreich zur Verfügung. Das anschließende »deep learning« der neuronalen Netze ist so tiefgehend und die Ergebnisse sind so realistisch, dass der heute umgangssprachliche Begriff Deepfake auf diesen intensiven Prozess zurückgeht. Im GAN findet ein Wechselspiel zwischen zwei Komponenten statt. Während der gestaltende Teil (Generator) fiktive Bilder oder Stimmen erzeugt, übernimmt der andere Teil (Diskriminator) deren Bewertung hin­sichtlich der Echtheit des gegebenen Trai­ningsdatensatzes. Ziel ist es, dass der Gene­rator Medien produziert, die möglichst nicht vom Trainingsdatensatz zu unterscheiden sind. Dieser Prozess kann unter anderem durch Anpassung des Datensatzes und der Gewichtung der Auswahlkriterien oder durch die Ergänzung des Diskrimina­tors um echte Menschen stetig ver­bessert werden. Es ist davon auszugehen, dass die Erkennbarkeit von Deepfakes mit einer stetigen Verbesserung der genannten Para­meter drastisch abnimmt.

Aktuelle Beispiele von Deepfakes

Synthetische Videos von Barack Obama und Angela Merkel zeigen, was mit den ent­sprechenden Trainingsdaten möglich ist. Während die Ersteller des ersten Videos einen Präsidenten Obama zeigen, der Präsi­dent Trump beleidigt, lassen die Macher des zweiten die Bundeskanzlerin eine Rede über das Verhalten der Bundesbürger in Coronazeiten in Versform halten. Beide Videos wurden produziert, um auf die Gefahren von Deepfakes hinzuweisen, und sind als solche gekennzeichnet. Aktuell erscheinen vor allem auf Twitter immer wieder realistisch wirkende Deepfake-Bilder von bekannten Persönlichkeiten, ohne dass diese immer als solche kenntlich gemacht werden. Darunter Papst Franziskus, der einem Rapper gleich in Daunenjacke posiert, Donald Trump, wie er verhaftet wird, wie er Präsident Putin küsst oder die chinesische Flagge umarmt und küsst. Nahezu täglich kommen weitere Beispiele hinzu; manche zur Unterhaltung, manche zur Warnung und manche zur Täuschung. Am 22. Mai 2023 wurde über Twitter die Meldung einer Explosion am Pentagon verbreitet. Der Tweet erweckte den Eindruck einer offiziel­len Meldung der Nachrichtenagentur Bloomberg. Begleitet war er von einem Bild, das schwarzen Rauch über dem Pentagon zeigte – ein Deepfake, der schnell erkannt wurde und dennoch ausreichte, um den US‑Aktienindex S&P 500 kurzzeitig um rund 30 Punkte absacken zu lassen.

Für die Erstellung solcher Bilder braucht es lediglich eine KI-Anwendung wie Mid­journey oder Stable Diffusion und eine möglichst konkrete Beschreibung des zu erstellenden Bildes.

Evolution von Desinformations­kampagnen

Die Nutzung von generativer KI zur Produk­tion von Deepfakes verändert den Einsatz von derlei Fälschungen in Desinformations­kampagnen in drei Hinsichten auf grund­legende Weise:

• Quantität – marktverfügbare Apps er­möglichen eine massenhafte, schnelle und kostengünstige Anfertigung von Deep­fakes. Das erlaubt es neben Staaten auch ressourcenarmen Gruppierungen und In­dividuen, eigene Desinformationskampa­gnen im großen Maßstab durchzuführen.

• Qualität – Deepfakes werden qualitativ immer besser und wirken natürlicher, wodurch sie schwerer zu erkennen sind und an Glaubwürdigkeit und Überzeugungskraft gewinnen.

• Qualifikation – Während die Erstellung von Deepfakes nahezu keinerlei Quali­fikation voraussetzt, wird die zu ihrer Erkennung erforderliche Expertise immer umfangreicher.

Diese Entwicklungen haben das Poten­tial, die Reichweite und Wirksamkeit von Desinformation im 21. Jahrhundert signi­fikant zu erhöhen.

Einsatzmöglichkeiten von Deepfakes in Konflikten

Am 15. März 2022 kam es zum ersten nen­nenswerten Versuch, einen Deepfake in einem bewaffneten Konflikt zu instrumentalisieren. Nachdem die Homepage des TV-Senders Ukraine 24 gehackt wurde, erschien dort ein Video von Präsident Selenskyj, in dem dieser erklärte: »Es gibt kein Morgen mehr. Zumindest nicht für mich. Jetzt treffe ich noch eine schwierige Entscheidung: Mich von euch zu verabschieden. Ich rate [euch] die Waffen niederzulegen und zu euren Familien zurückzukehren. In diesem Krieg lohnt es sich nicht zu sterben.« Die Ukraine war auf einen solchen Deepfake-Angriff vorbereitet. Innerhalb von Minuten wurde ein echtes Antwort-Video des Präsi­denten aufgenommen und über soziale Medien verbreitet. Die schlechte Qualität des Deepfakes, die schnelle Aufklärung und Erstellung einer eigenen Videobotschaft sowie die Möglichkeit, diese über eine weit­gehend stabile Internetverbindung zu ver­teilen, haben erheblich dazu beigetragen, dass der gefälschte Kapitulationsaufruf keine Wirkung entfalten konnte. Diese Rahmenbedingungen wird man jedoch nicht in jedem zukünftigen Konflikt vor­finden. Bei anhaltender Weiterentwicklung der Deepfake-Technologie sind die Schwel­len zur Produktion und zum Einsatz von Deepfakes zudem weniger technischer, sondern allein kreativer Art.

Lähmung – Deepfakes könnten in Form gefälschter Beweismittel zur Lähmung oder Spaltung von Verbündeten eingesetzt wer­den. Ein solcher Ansatz wurde im Vorfeld der Inva­sion der Ukraine debattiert. So äußerten US-Sicherheitsexperten die Ver­mutung, Russland plane zur Begründung des Angriffs auf die Ukraine die Anfertigung gefälschter Videobeweise für ukrainische Kriegsverbrechen an russischen Bevölkerungsgruppen. Derartige Videobeweise wären geeignet gewesen, in europäischen Staaten eine Diskussion über die Zulässigkeit einer russischen Grenzüberschreitung zum Schutz russischer Minderheiten aus­zulösen und eine unmittelbare Reaktion zugunsten der Ukraine zu verhindern. Im konkreten Fall wurde nicht der Einsatz von Deepfakes vermutet, sondern eine traditionelle Fälschung mit Requisiten und Schau­spielern. Deepfakes könnten die Produktion solcher Szenen in Zukunft erleichtern. Die Erstellung oder Veränderung von Augenzeugenberichten oder von vermeintlich stimmauthentischen Mitschnitten von völker­rechtswidrigen Befehlserteilungen ließen sich schon heute generieren.

Mobilisierung – Deepfakes könnten auch dazu eingesetzt werden, um Bevölkerungsgruppen gegen Sicherheitskräfte zu mobili­sieren. Dazu böten sich bereits vorhandene ethnische, kulturelle, soziale oder religiöse Bruchlinien in und zwischen Gesellschaften an. So könnte beispielsweise der Missbrauch religiöser Symbole vorgetäuscht werden, indem Fotos oder Videos von Schän­dungen erstellt oder Augenzeugen­berichte gefälscht werden. Welches Mobi­lisierungspotential dem tatsächlichen oder vermeintlich miss­bräuchlichen Umgang mit religiösen Sym­bo­len innewohnt, haben die Unruhen im Zuge des Karikaturenstreits 2005 oder der Koranverbrennungen durch US-Streitkräfte 2012 in Afghanistan deut­lich gemacht.

Zersetzung – Deepfakes ließen sich ein­setzen, um Angst und Unsicherheit zu schüren. Gefälschte Kapitulationsaufrufe, herablassende Äußerungen über eigene Gefallene oder das Hinterfragen von Sinn und Zweck der militärischen Operation durch politische und militärische Führungs­figuren wären geeignet, die Streitkräfte zu demoralisieren. Desgleichen könnten Fäl­schungen von Grausamkeiten der eige­nen Soldaten gegen die Zivilbevölkerung ver­wendet werden, um die Unterstützung der Bevölkerung für die Streitkräfte zu unter­graben. Überdies ließen sich massenhaft sehr anschauliche Belege für die Schre­cken des Krieges in Bild und Ton kreieren, um die Mobilisierung der Bevölkerung zu verhin­dern und Desertion zu begünstigen.

Handlungsempfehlungen

Deepfakes werden bleiben. Der Anreiz, sich zum eigenen Narrativ passende, überzeugungskräftige Medieninhalte schnell und kostengünstig erschaffen zu können, ist schlichtweg zu groß. Das zeigt sich bereits heute, außerhalb bewaffneter Konflikte, im demokratischen Diskurs. Sowohl in Deutsch­land als auch in den USA greifen Parteien und deren Unterstützer in der innenpoliti­schen Auseinandersetzung bereits auf Deep­fakes zurück, um ihre Botschaften zu ver­stärken. Hinzu kommt, dass die zugrundeliegende KI-Technologie neben den auf­gezählten negativen auch eine ganze Reihe positiver Anwendungsmöglichkeiten bietet.

Eine »silver bullet«, also eine einfache und universell einsetzbare Wunderwaffe gegen Deepfakes, wird es nicht geben. Die heutigen Einschätzungen der Mög­lich­keiten und Grenzen generativer KI basieren natur­gemäß auf einer Momentaufnahme. Die Entwicklungsdynamik in diesem Technologiesektor hat selbst Experten und Expertinnen wiederholt überrascht. Zu­dem ist un­klar, welche Fähigkeiten KI-Modelle haben, an denen derzeit unter privater und staat­licher Regie gearbeitet wird, und welchen Restriktionen sie unterliegen.

Viele Lösungsansätze sind daher ent­weder sehr spezifisch und nur auf Einzel­fälle zugeschnitten oder müssen, um mit der Dynamik Schritt zu halten, holzschnittartig angelegt werden und bedürfen abseh­bar einer kontinuierlichen Anpassung. Not­wendig ist eine Mischung aus präventiven und reaktiven Maßnahmen, um die Wir­kung von Deepfakes einzudämmen.

Präventive Ansätze und ihre Grenzen

Präventive Ansätze zielen darauf ab, die Hürden für den Einsatz von Deepfakes anzuheben und deren Wirkungsmöglich­keiten von vornherein einzuschränken.

Akteure reduzieren / kontrollieren – Die Erstellung von Deepfakes erfordert spezielle Software und Hardware. Der Zugriff auf diese Ressourcen ist ein möglicher Ansatz­punkt für regulatorische Maßnahmen zur Reduktion und Kontrolle derjenigen Ak­teure, die in der Lage sind, einen Deepfake zu kreieren. In diesem Zusammenhang werden Exportrestriktionen für Hard­ware­komponenten und Beschränkungen für den Zugriff auf Rechenleistung, Trainingsdaten oder fertige KI-Modelle diskutiert.

Ein Beispiel dafür ist die seit Oktober 2022 von den USA eingeführte Reglementierung des Exports von Halbleitern und ande­ren für den Bau von Supercomputern benötigten Elementen nach China. Eine solche hardwareseitige Beschränkung kann dazu beitragen, das Wachstum der Rechen­leistung als Grundlage für generative KI-Modelle zu verlangsamen. Allerdings ist ein erheblicher Regelungsbedarf vorhanden, da nicht nur der direkte Export, sondern auch die indirekte Belieferung über Drittstaaten berücksichtigt werden muss, um eine solche Restriktion wirksam umzusetzen.

Verfügt ein Staat nicht über eigene Com­puter, ist der Rückgriff auf Cloud-Comput­ing eine einfache Möglichkeit, Export­beschränkungen auf Hardware-Lieferungen zu umgehen. Daher wird mitunter vor­geschlagen, den Zugang zu Cloud-Rechen­leistung zu begrenzen. Die Umsetzung einer solchen Regulierung ist in der Praxis schwierig. Einerseits müssten ihr nahezu alle weltweiten Cloud-Anbieter unterliegen, andererseits ist es schwer festzustellen, ob angemietete Rechenleistung für eine Klima­simulation oder das Training einer KI ge­nutzt wird.

Ähnlich schwierig ist die Durchsetzung einer Beschränkung des Zugriffs auf Trai­ningsdaten wie Bild- und Videoaufzeichnun­gen. Zwar hat der Umfang der Trainings­daten einen wesentlichen Einfluss auf die Leistungsfähigkeit der KI und seine Limitie­rung ist daher prinzipiell geeignet, die An­zahl der Akteure, die eine potente genera­tive KI-Anwendung trainieren könnten, zu begrenzen. Aber auch hierfür bedürfte es der Einigkeit aller Beteiligten. Zudem ist es fraglich, ob sich eine solche Regelung für im Inter­net frei verfügbare Daten überhaupt wirksam implementieren ließe.

Ist eine KI fertig trainiert, entscheiden die Entwickler, wie das Modell genutzt werden kann und wer Zugang dazu erhält. Hieraus ergeben sich einige Optionen der Zugangskontrolle, die tatsächlich effektiv umgesetzt werden können. Sie greifen allerdings nur, sofern ein Großteil der Anbieter mitmacht und solange es keine Open-Source-Alter­nativen zu diesen KI-Modellen gibt.

Kennzeichnungspflicht – Eine Kennzeich­nungspflicht durch die Endnutzer, wie sie die EU derzeit in Artikel 52 der KI-Verord­nung vorsieht, ist nicht geeignet, die Zahl der Deepfakes zu reduzieren. Besser wäre eine softwareseitige Kennzeichnungspflicht. Diese hätte zur Folge, dass die gängigen, frei verfügbaren KI-Anwendungen in Europa nur noch erkennbare Deepfakes produzieren würden. Zwar ließen sich solche Kenn­zeichnungen entfernen, aber die dafür not­wendige Expertise begrenzt den Kreis der­jenigen, die einen Deepfake ohne Kenn­zeich­nung lancieren könnten.

Sensibilisierung – Das Wissen um Deep­fakes und deren Einsatzmöglichkeiten kann dazu dienen, einen kritischeren Umgang mit audiovisuellen Medien zu erlernen. Mit Blick auf Konflikte und Krisen ist dieses Wissen besonders beim Führungspersonal in der Politik und in den Behörden und Organisationen mit Sicherheitsaufgaben zu fördern. Allerdings dürfen derartige An­sätze nicht davon aus­gehen, dass Deepfakes weiterhin mit bloßem Auge und ohne tech­nische Hilfsmittel erkennbar sind.

Vertrauenswürdige Inhalte stärken – Einige Überlegungen richten sich nicht direkt darauf, Deepfakes zu erkennen, son­dern Transparenz zu schaffen und so die Verbreitung von vertrauenswürdigen Ton- und Bildaufnahmen zu vereinfachen. Zu diesen Ansätzen zählt beispielsweise die Content-Authenticity-Initiative. Die beteilig­ten Unternehmen, darunter die BBC, Nikon, Reuters und Adobe, versuchen plattformübergreifende Industriestandards zu schaf­fen, die eine sichere Aussage über die Her­kunft digitaler Inhalte erlauben. Ziel ist es, den Aufnahmen fälschungssichere Identi­täts- und Verlaufsdaten anzuhängen, damit die Urheberschaft und jeg­liche Verände­rungen an den Dateien dauerhaft nach­voll­ziehbar sind. Auf diese Weise schafft der Standard Transparenz im Ver­breitungs­prozess, aber die Aussagekraft ist ausschließ­lich auf Herkunft und nachträgliche Modifi­kation beschränkt. Denn dass die Aufnahme an sich eine authentische Abbildung der Realität ist, kann nicht garan­tiert werden.

Einsatzmöglichkeiten untersuchen – Um dem Einsatz von Deepfakes in Zeiten von Krisen und Konflikten effektiv begegnen zu können, müssen Sicherheitsbehörden die Anwendungsmöglichkeiten der Technologie auch selbst untersuchen. In den USA wird einerseits vor den Gefahren von Deepfakes für die Demokratie gewarnt, gleichzeitig aber intensiv durch das Special Operations Command sondiert, wie sich die Technik militärisch verwenden lässt. Eine solche kontinuierliche Auseinandersetzung könnte in Deutschland, der EU und der Nato in bereits vorhandenen Strukturen stattfinden:

• Die seit 2019 unter Federführung des BMI arbeitende interministerielle Arbeits­gruppe zu hybriden Bedrohungen mit der dazugehörigen Expertengruppe für Des­information ist ein geeignetes Format, um die Erfahrungen aus unterschied­lichen Ressorts zusammenzubringen.

• Im Geschäftsbereich des BMVg beobachtet das Zentrum Operative Kommunikation den Informationsraum und untersucht bereits heute die Wirkung von Propaganda auf die Streitkräfte.

• Der Austausch mit EU- und Nato-Part­nern könnte über das in Helsinki ansässige Zentrum gegen hybride Bedrohungen (EU) und das in Riga gegründete Zentrum für strategische Kommunika­tion (Nato) erfolgen.

Reaktive Ansätze und ihre Grenzen

Reaktive Ansätze zielen darauf ab, die Wir­kung eines bereits veröffentlichten Deep­fakes zu reduzieren. In einer Zeit, in der die Verbreitung von Informationen nicht mehr in Tagen, sondern in Minuten gemessen wird, bedarf es der Fähigkeit zur raschen Erkennung und schnellen Antwort auf einen Deepfake.

Technische Erkennung – Die Vielzahl an Manipulationsmöglichkeiten macht es un­wahrscheinlich, dass in absehbarer Zeit eine automatisierte Erkennung im Sinne einer »One-fits-all«-Lösung zur Verfügung steht. Überdies ist der wirtschaftliche Anreiz, immer bessere Deepfakes zu erstellen, der­zeit deutlich höher als der Anreiz, an Tech­niken zu ihrer Entlarvung zu arbeiten. Dem ist von staatlicher Seite durch gezielte För­derung medienforensischer Expertise ent­gegenzuwirken. Die Band­breite der Erken­nungsansätze ist enorm und reicht bei­spiels­weise von der individuellen Erfassung der Mimik und des Sprachrhythmus hoch­rangiger Führungspersönlichkeiten bis hin zur Erhebung von Stromnetzschwankun­gen, um Ort und Zeitpunkt einer Aufzeichnung zu verifizieren oder die verwendeten Geräte zu identifizieren. Um einem poten­tiellen Angreifer den Einsatz eines überzeu­genden Deepfakes zu er­schweren, ist es vor allem entscheidend, dass die Aufklärungsansätze variiert und teilweise auch geheim gehalten werden. Andern­falls wird der Diskriminator beständig an die bekannten Erkennungsverfahren an­gepasst, um diese gezielt zu umgehen.

Reaktionsstrategie – Eine wirksame Reak­tionsstrategie umfasst viele der bereits ge­nannten Punkte: eine grundsätzliche Sensi­bilität für das Thema, eine kon­tinuierliche Auseinandersetzung mit Deep­fakes und – damit verbunden – ein Mediamonitoring sowie die Möglichkeit einer schnellen tech­nischen Erkennung und Bewer­tung poten­tieller Fälschungen. An­schließend braucht es eingeübte Abläufe: innerhalb der Regie­rung, zwischen den Ressorts aber auch mit den Partnern in der EU und der Nato.

Dass die Ukraine, den Deepfake der an­geblichen Selenskyj-Rede so schnell auf­klären konnte, lag zum einen daran, dass der Präsi­dent im März 2022 eine der am inten­sivsten beobachteten Personen in den Medien war; zum anderen auch daran, dass die ukrainischen Behörden den Einsatz von Deepfakes antizipiert hatten. Neben der Ukraine kämpfen auch andere Staaten mit anhaltender Desinformation. In Taiwan, immer wieder das Ziel chinesischer Nach­richtenmanipulation, sind die Ministerien angehalten, eigenständig innerhalb von 60 Minuten auf eine Ver­öffentlichung von Falschinforma­tionen zu reagieren – eine Zeitspanne, an der sich auch Deutschland in Anbetracht der Verbreitungsgeschwindig­keit von Des­information orientieren sollte. Das setzt eine bisher unbekannte Anpassungsfähigkeit und Reaktionsgeschwindigkeit staat­licher Institutionen voraus. Von Institutionen also, deren Entwicklungs­zyklen bisher eher in Jahren, wenn nicht gar Jahrzehnten gemessen wurden, nicht in Minuten und Stunden.