In dieser Folge spreche ich mit Maria Pawelec. Sie ist Politikwissenschaftlerin und wissenschaftliche Mitarbeiterin am Internationalen Zentrum für Ethik in den Wissenschaften der Universität Tübingen (IZEW) und forscht seit 2020 zu Deepfakes: zu den politischen, gesellschaftlichen und ethischen Auswirkungen und vor allem zur Frage, wie wir als Gesellschaft besser damit umgehen können.

„Wenn wir denken, wir könnten Deepfakes erkennen, wiegen wir uns in einer falschen Sicherheit und sind dann besonders manipulierbar.” – Maria Pawelec

Was ich aus dem Gespräch mitgenommen habe:

Der Ursprung der Technologie liegt im sexualisierenden Bereich: Die allerersten Deepfakes wurden 2017 von einem anonymen User veröffentlicht, der auch gleich den Code mitgeteilt hat. Sein Nutzername: „deepfakes”. Er hat der ganzen Technologie den Namen gegeben.
Sechs Finger zählen, komische Reflexionen, asymmetrische Ohrringe: Das ist überholt. Einen gut gemachten Deepfake erkennen wir mit blossem Auge nicht mehr, bei Audio noch weniger als bei Video.
Die Lügnerdividende: Wenn alles fake sein könnte, lässt sich auch alles Echte als fake abtun. Von Videobeweisen vor Gericht über Menschenrechtsverletzungen in autoritären Regimen bis zum Video der Tötung von George Floyd, das kurz danach als angeblich gefälscht bezeichnet wurde.
Drei grosse Problemfelder: politische Desinformation, sexualisierte Gewalt und Betrug. Allein in Deutschland schätzt die Zentralstelle Cybercrime Bayern den Schaden durch Deepfake-Betrug auf rund eine Milliarde Euro pro Jahr.
Auch offensichtlich KI-generierte Inhalte wirken. Niemand glaubt, dass Olaf Scholz Bodybuilder ist, aber das Bild bleibt trotzdem im Kopf und macht die Person lächerlich.
Warum Selbstschutz kaum möglich ist: Ein einziges Bild in vernünftiger Auflösung genügt. Der Ratschlag „poste einfach nichts mehr” ist genau das, was die Täter erreichen wollen.
Südkorea als Warnsignal: Zehntausende betroffene Frauen, Telegram-Gruppen teilweise spezialisiert auf einzelne Schulen und einzelne Opfer. Die Folge: Massenhafte Löschung von Social-Media-Profilen.
Was Unternehmen tun können: Mehrfaktor-Authentifizierung, Kanalwechsel zur Verifikation, Schulungen und vor allem eine vorbereitete Krisenkommunikation für den Fall, dass die eigene Geschäftsleitung plötzlich in einem Fake-Video auftaucht.
Was Privatpersonen tun können: Codewörter in der Familie vereinbaren, bei Schockanrufen über einen zweiten Kanal zurückrufen, kritische Rückfragen stellen.
Wo die Regulierung steht: Kennzeichnungspflichten aus der KI-Verordnung, ein geplantes Verbot von „Nudify”-Tools und eine EU-Richtlinie, welche die Verbreitung sexualisierender Deepfakes bis Mitte nächsten Jahres in allen Mitgliedstaaten strafbar machen muss.

Ein paar Auszüge aus dem Gespräch:

„Ich brauche nur ein einziges Bild in vernünftiger Auflösung. Damit kann ich jede Person faken.”
„Der Ursprung der Technologie liegt im Bereich sexualisierende Deepfakes. Das ist wichtig, dass wir das realisieren.”
„Wenn ich merke, ich bin gerade total wütend, total ängstlich, total emotional, dann muss mich das kurz aufhorchen lassen. Vielleicht ist das genau das, was beabsichtigt ist.”

Und ein eigener Praxis-Einblick aus der Folge: Wir haben für ein Unternehmen einen Deepfake-Angriff simuliert. Ich war im Videocall mit dem Gesicht einer HR-Mitarbeiterin unterwegs. Einige haben gemerkt, dass etwas nicht stimmt, aber „sorry, meine Kamera spinnt heute” hat gereicht, damit die Sache erledigt war.

Bis bald! Jill

Hier findet ihr mehr zu Maria:

LinkedIn: https://www.linkedin.com/in/mariapawelec/

Kennst du jemanden, der sich für Cybercrime, Security und Psychologie interessiert? Dann empfiehl den Podcast Cyber & Psych gern weiter, ich freue mich darüber!

Reinhören: Spotify Cyber & Psych Apple Cyber & Psych Youtube Cyber & Psych

Jill Wick Cyber & Psych

Deepfakes: Wenn du nichts mehr glauben…