#17 Die Dunkle Seite der GenAI
Künstliche Intelligenz (KI) ist derzeit das Thema. GenAI wird auch in der Cyberkriminalität immer beliebter.
Künstliche Intelligenz (KI) ist derzeit das Thema. Viele haben sicher schon mit ChatGPT herumexperimentiert, oder ihn sogar schon fest in den Alltag integriert. Auch Cyberkriminelle kommen auf den Geschmack.
Hast du dir auch schon Gedanken über die „dunkle Seite“ der KI gemacht und fragst dich, ob wir den Medienberichten glauben sollen und in Panikmodus verfallen sollten? Lass uns mal anschauen, wie solche Angriffe funktionieren und was das für uns bedeutet.
Dieser Beitrag ist für alle, die:
ein Gefühl dafür bekommen möchten, wie KI-basierte Angriffe ablaufen könnten.
erfahren wollen, welche Bedrohungen es mit Phishing, Voice Cloning, DeepFakes gibt.
sich fragen, wie sie in ihrem Alltag vorsichtiger mit digitalen Inhalten umgehen können.
neugierig sind, wie auch „unsichtbare“ Angriffe auf KI’s selbst stattfinden.
Ein kurzer KI-Crashkurs
Bevor wir in die Beispiele eintauchen, hier eine kurze Übersicht der KI-Begriffe, um den Durchblick zu behalten:
Künstliche Intelligenz (KI): Überbegriff für Systeme, die menschenähnliche Aufgaben erledigen.
Maschinelles Lernen (ML): KI-Methoden, die aus Daten Muster lernen.
Generative KI (GenAI): KI, die selbst neue Inhalte erstellt (generiert) – hier spielen sich die heutigen Gefahren oft ab.
LLM (Large Language Model): KI-Modelle, die mit enormen Textmengen trainiert wurden und menschenähnliche Antworten liefern.
Die dunkle Seite: KI-basierte Angriffe im Überblick
Wir Menschen vertrauen instinktiv auf das, was wir sehen und hören – gerade bei bekannten Gesichtern und Stimmen. Genau hier setzt die DeepFake-Technologie an: Sie spielt geschickt mit unserem natürlichen Vertrauen und macht es schwer, zwischen echt und gefälscht zu unterscheiden.
Keine Panik
Als erstes: Keine Panik – GenAI steckt noch in den Kinderschuhen. Für wirklich überzeugende DeepFakes, wie etwa den folgenden von Elon Musk, braucht es oft 2–3 Tage an Berechnungszeit!
Zwar gibt es bereits schnellere Angebote, aber diese sind meist nicht so hochwertig, dass es sich für Betrügende skaliert.
Und das ist ein wichtiger Punkt: Ein Angriff muss sich für die Betrüger „lohnen“, damit er weiterverbreitet wird.
1. Phishing mit KI: Business Email Compromise (BEC)
Früher waren Phishing-Mails voller Rechtschreibfehler und leicht zu durchschauen. Heute haben Kriminelle mit ihrem eigenen kriminellen LLM wie WormGPT jedoch eine starke Waffe in der Hand, um überzeugende, fehlerfreie E-Mails zu erstellen, die genau auf das Opfer zugeschnitten sind.
Dieses LLM wurde anhand von kriminellen Daten trainiert und kennen einige Tricks und Malwares. Sie kennen auch diese Antwort nicht:
https://www.trendmicro.com/vinfo/us/security/news/cybercrime-and-digital-threats/back-to-the-hype-an-update-on-how-cybercriminals-are-using-genai
Da Fraud-GPT’s nicht limitiert sind auf legale Tätigkeiten, können die Anwendenden alle Fragen stellen, auch danach eine Ransomware entwickeln zu lassen.
Beispiel BEC Szenario: Angenommen, ein Krimineller findet heraus, dass der CEO bald auf Geschäftsreise geht. Er erstellt dann eine E-Mail an den CFO, die aussieht, als käme sie direkt vom CEO und fordert eine „dringende“ Überweisung. Die Nachricht sieht absolut echt aus – inklusive Ton und Schreibstil – und der CFO wird aufgefordert, sofort 2 Millionen zu überweisen, um „ein Problem“ zu lösen.
Tipps: BEC-Verdacht – was tun?
Absenderadresse prüfen: Achte auf kleine Abweichungen in der E-Mail-Adresse, z.B. extra Zeichen oder ungewöhnliche Domainnamen.
Unabhängige Bestätigung: Kontaktiere den Absender über eine dir bekannte Telefonnummer oder einen anderen Kommunikationsweg.
Kein direktes Antworten oder Klicken: Antworte nicht direkt auf die verdächtige E-Mail und klicke keine Links an.
Sprache und Ton überprüfen: Hinterfrage, ob Stil und Dringlichkeit zur üblichen Kommunikation passen.
2. Voice Cloning: Der Anruf, der echt klingt, aber gefälscht ist
Stell dir vor, du bekommst einen Anruf von jemandem, der exakt wie dein Chef klingt und um eine wichtige Aktion bittet. KI kann das heute tatsächlich: Voice Cloning ist der Trick. Kriminelle klonen Stimmen und nutzen diese für täuschend echte Anrufe.
Hier ein solches Audio:
Aktuell nutzen Betrüger auch sogenannte Robocalls – automatisierte Anrufe, bei denen eine künstliche Stimme vorgibt, von einer Bank, der Polizei oder sogar von deinem Kreditkartenanbieter zu stammen, um sensible Informationen oder Zahlungen zu erschleichen.
Beispiel eines Voice Cloning Szenarios: Der CFO bekommt während eines Meetings einen Anruf von jemandem, der genau wie der CEO klingt. Der Anruf fordert eine sofortige Überweisung und liefert überzeugende Details. CFO glaubt, der Anruf sei echt – schliesslich ist das die vertraute Stimme des CEO!
Ein positives Beispiel stammt vom sogenannten Ferrari-Case: Hier enttarnte ein Manager den Voice-Cloning-Betrug, indem er den Anrufer einfach nach einer Buch-Empfehlung fragte, die der CEO ihm erst letzte Woche gegeben hatte – der Beterüger konnte darauf natürlich keine passende Antwort liefern.
https://www.bluewin.ch/en/news/switzerland/ferrari-manager-exposes-fake-call-from-supposed-boss-2306969.html
Tipps: Voice Cloning – was tun?
Bestätigungsanruf machen: Beende das Gespräch und rufe die Person unter einer dir bekannten Nummer zurück, um die Echtheit zu überprüfen.
Codewörter vereinbaren: Verwende im Team vertrauliche Codewörter oder Fragen, die nur echte Mitarbeitende beantworten können.
Auf Ton und Emotion achten: Achte auf ungewöhnliche Tonlagen, monotone Sprechweise oder fehlende Emotionen, die auf eine gefälschte Stimme hinweisen könnten.
Wird Druck aufgebaut: Wenn wir uns gedrängt fühlen, etwas ohne Zeit zum Nachdenken und schnell zu erledigen, kann das ein Warnzeichen sein.
3. DeepFakes: Videos und Audios, die niemals passiert sind
DeepFake-Technologie kann realistisch aussehende Fotos und Videos erstellen, die Menschen Dinge sagen oder tun lassen, die sie nie gemacht haben. Diese Technik ist mächtig und vielseitig einsetzbar – sie kann zur Erpressung, für gezielte Falschinformationen oder sogar zur Täuschung in Geschäftsgesprächen genutzt werden.
Folgend ein Beispiel von einem live FaceSwap vor laufender Kamera mit der Deep-Live-Cam-Software aufgrund einzelner Bildern von bekannten Persönlichkeiten wie Mark Zuckerberg, George Clooney, etc.:
Die Ergebnisse sind zwar nicht perfekt, aber die Software zeigt, wie schnell sich die Technologie entwickelt und wie es mit der Zeit immer einfacher wird, andere aus der Ferne zu täuschen.
Beispiel: Ein DeepFake-Video des CEOs taucht auf, in dem er scheinbar geheime Anweisungen gibt oder vertrauliche Informationen teilt. Dieses Video könnte verwendet werden, um wichtige Informationen zu erschleichen oder das Unternehmen zu erpressen.
Weitere Einsatzmöglichkeiten von DeepFakes, die aus der Praxis bekannt sind:
Gefälschte Online-Identitäten: DeepFakes können Identitäten täuschend echt nachahmen, um KYC (Know Your Customer) Mechanismen zu umgehen und so Betrug im Finanzbereich zu erleichtern.
Täuschung bei Geschäftsgesprächen: Es gab Fälle, in denen DeepFake-Hologramme von Führungskräften in Videocalls aufgetaucht sind. Ein Beispiel dafür ist der bekannte Fall bei Binance und ein Vorfall in Hongkong mit einem Schaden von 25 Millionen Dollar. Kriminelle nutzten diese Technik, um Unternehmen zur Investition in nicht existente Projekte zu überzeugen.
Propaganda und Wahlen: DeepFakes kommen zunehmend in Wahlkämpfen und sozialen Medien vor, um Fake-Unterstützung für bestimmte Kandidaten zu generieren oder politische Aussagen zu manipulieren.
Emotional beeinflusste Fake News: In Krisenzeiten wurden gefälschte Videos eingesetzt, um Verwirrung zu stiften, wie z.B. ein Video einer „Kapitulierung“ von Selensky dem Präsidenten der Ukraine oder grausame Fake-Bilder mit Babies und Horrorbildern, um gezielt Ängste und Emotionen zu schüren.
Fake Baby: https://x.com/i/status/1850244252019912821
Botfarm:
KYC Fraud: https://www.trendmicro.com/vinfo/us/security/news/cybercrime-and-digital-threats/back-to-the-hype-an-update-on-how-cybercriminals-are-using-genai
SRF DeepFake: https://www.watson.ch/schweiz/digital/795363901-deepfakes-mit-srf-moderatoren-betrugsmaschen-werden-perfider
Mr Best DeepFake
Auf der Gallerie oben und den Links danach können einige Beispiele gefunden werden, die den versatilen Einsatz von DeepFakes in Bilder- / Videoform zeigen. DeepFakes sind also weit mehr als nur technische Spielereien. Die Einsatzmöglichkeiten reichen von gezielter Desinformation bis hin zu Identitätsbetrug, und oft werden diese Inhalte so geschickt erstellt, dass sie selbst für geschulte Augen schwer zu entlarven sind.
Tipps: Wie erkennt man DeepFakes?
Unnatürliches Blinzeln: Fehlendes oder übermässig gleichmässiges Blinzeln
Mikroausdrücke: Fehlende oder unangepasste Mimik kann auf Manipulation hindeuten
Tonfall/Tonhöhe: Monotone oder ungewöhnliche Tonlage
Lippensynchronisation: Achten Sie auf Verzögerungen oder Unstimmigkeiten zwischen Lippenbewegung und Ton
Schatten und Beleuchtung: Unnatürliche Schatten oder wechselnde Lichtquellen im Video
Inkonsistente Hauttöne: Unterschiede zwischen den Hauttönen von Gesicht und Körper.
Hintergrunddetails: Plötzliche Veränderungen oder Unstimmigkeiten im Hintergrund.
Ungewöhnliche Bewegungen: Ruckartige oder unrealistische Körperbewegungen.
Zu diesen Tipps muss aber betont werden, dass diese nur für die aktuelle Version von DeepFakes gelten. Mit der Verbesserung der Rechenzeiten und der Technologie werden diese verräterischen Merkmale sehr bald kleiner und weniger wahrnehmbar werden.
Wie können wir uns schützen?
Tipp 1: Kritisches Denken! Misstrauen aktivieren bei jedem Content, wachsam sein gegenüber Details.
Tipp 2: Auf anderen Kanälen verifizieren, wenn möglich mit der gefakten Person selbst, oder zumindest mit anderen Quellen.
Tipp 3: Mit dem Umfeld Codewörter und Sätze abmachen.
Fazit: Bleiben wir wachsam gegenüber KI-gestützten Angriffen
Wie wir in den Beispielen gesehen haben, wird KI schon für unterschiedliche Angriffsszenarios eingesetzt und Cyberkriminelle experimentieren damit. Von einer kriminellen Übernahme der KI-Welt kann aber noch keine Rede sein. Angriffe mit DeepFake-Videos benötigen viel Rechenleistung und -zeit und werden selektiv dort eingesetzt, wo es auch erfolgversprechend erscheint.
Mit der Entwicklung der Technologie und weiteren Verbreitung liegen jedoch spannende Entwicklungen vor uns und es lohnt sich vorbereitet zu sein.
Das wichtigste ist sich online und im Umgang mit Content auf Social Media kritisches Denken anzugewöhnen. Die Bedrohung ist real, aber je besser wir informiert sind, desto besser können wir uns wehren.
Bis Bald
Jill
Referenzen
Devansh. „How to Detect Deepfakes with Part 1: Is Generalizable Deepfake Detection Possible?“ Medium (blog), 19. Juli 2024. https://machine-learning-made-simple.medium.com/how-to-detect-deepfakes-with-part-1-is-generalizable-deepfake-detection-possible-99e023038d73.
„Back to the Hype: An Update on How Cybercriminals Are Using GenAI | Trend Micro (US)“. Zugegriffen 2. Oktober 2024. https://www.trendmicro.com/vinfo/us/security/news/cybercrime-and-digital-threats/back-to-the-hype-an-update-on-how-cybercriminals-are-using-genai.
Pocket. „Deep-Live-Cam goes viral, allowing anyone to become a digital doppelganger“. Zugegriffen 24. Oktober 2024. https://getpocket.com/de/read/338pnT38A337ad297egf4aMb67dcA3eDDPUOe4de81Xx90N60Z047K1aCd9zFR68_5741ce7b690c883ea5eb6bdbbbfe6a4b.