#46 KI-Chatbots in der Welt der Kinder
Wenn KI zur Gefahr wird: Fünf reale Geschichten von Jugendlichen
Chatbots sind toll und haben viele Vorteile. Wir alle nutzen sie und das hier ist kein Plädoyer gegen die Nutzung von KI-Tools. Allerdings befinden sich die Chatbots und ihre Funktionen noch in einem sich wöchentlich verändernden Zustand. In ihrem aktuellen Zustand würde ich ChatGPT & Co. nicht mit gutem Gewissen Kindern als Spielzeug abgeben können.
In diesem Artikel:
Aktuelle „Worst-Case-Szenarien” bei der Anwendung von KI-Chatbots
Digitale Welt der Kinder
Warnzeichen und Empfehlungen
Wusstet ihr, dass „parasozial“ das Wort des Jahres 2025 war? Zumindest laut dem Cambridge Dictionary, das es mit dieser Auszeichnung kürte. Wem das Wort jetzt gerade nichts sagt, dem hilft sicher das Beispiel von Taylor Swift und ihren Swifties weiter. Denn von dort stammt die Idee für das Wort des Jahres anscheinend auch.
Die Swifties pflegen eine einseitige Beziehung zu Taylor Swift, an der sie selbst nicht aktiv teilnimmt. Diese ist für die Swifties dennoch von grosser Bedeutung. Das gleiche Prinzip funktioniert auch bei anderen VIPs, virtuellen Figuren, früher Tamagotchis und seit ein paar Jahren auch KI-Chatbots.
Schwierig wird es erst, wenn parasoziale Beziehungen echte verdrängen
Diese Art parasozialer Beziehungen ist relativ normal und kommt und geht. Sie können sich kurzfristig positiv auswirken, Einsamkeit reduzieren und ein Gefühl von Nähe und Zugehörigkeit vermitteln. Und das funktioniert, obwohl es keine echte Gegenseitigkeit gibt! Werden sie jedoch exzessiv betrieben, können sie eine Konkurrenz für echte Beziehungen darstellen. Man könnte auch sagen, dass sie als Ersatz dienen. In diesem Fall als Ersatz für elterlichen Rat oder als Ersatz für Freunde, denen wir uns anvertrauen können.
Ich habe Dr. Marisa Tschopp zu diesem Thema befragt. Sie ist Forscherin und befasst sich in ihrer Arbeit mit den Beziehungen zwischen Mensch und KI. Mich nahm wunder, weshalb wir eigentlich eine emotionale Bindung zu Chatbots aufbauen. Ihre Antwort beinhaltete die folgende Auflistung von Faktoren:
„Menschen reagieren automatisch sozial auf alles, was spricht.”
„Unser Gehirn unterscheidet schlecht zwischen ‘simuliert sozial’ und ‘echt sozial’”
„Chatbots sind immer verfügbar.”
„Sie widersprechen selten.”
„Sie geben Aufmerksamkeit ohne Zurückweisung.”
„Das triggert Bindungsmechanismen.”
„Das gilt für Kinder vermutlich wie für Erwachsene – aber vielleicht anders!”
Die Tendenz, Dingen menschliche Eigenschaften zu verleihen, wird Anthropomorphismus genannt. Es hilft uns, unserer Welt einen Sinn zu geben. Die Vermenschlichung von Dingen findet auch bei KI-Tools statt. Wie Marisa erwähnt, sind die KI-Freunde rund um die Uhr verfügbar und werten nicht. Sie bestärken und verstärken im Grunde „nur“, was ihnen gegeben wird.
„Replika is always ready to chat when you need an empathetic friend”
(Quelle: Replika.com)
Das Geschäftsmodell von KI-Chatbots ist eigentlich ein freundliches, nicht-wertendes Gegenüber, das 24 Stunden verfügbar ist und uns helfen möchte. Nun gibt es aber ein paar Berichte, nach denen ich nicht mehr so sicher bin, ob die Firmen ihr Angebot etwas verändert haben? Im folgenden Teil fünf reale Fälle, in denen KI das Leben junger Menschen gefährdete.
1. Character AI
„Ihre Tochter war völlig durcheinander und wusste nicht, warum. Dann fand sie die KI-Chatprotokolle“
Im Artikel wird die Tochter “R” genannt und sie erhielt auf ihren 11. Geburtstag ein iPhone. Die Mutter “hatte das Gefühl, dass ihr Kind irgendwie verblasste, sich aus ihrem Leben zurückzog” und sie konnte nicht verstehen weshalb. Die Mutter durchsucht dann das Handy und sieht zahlreiche Chats mit Character AI.
Bei Character AI können Nutzer Charakter-Bots erstellen und mit ihnen chatten. Sie können aus vielen vorgefertigten Figuren wählen oder eigene Bots mit einem bestimmten Hintergrund, Stil und Verhalten anlegen. Die Tochter chattete unter anderem mit einem Charakter namens „Mafia Husband“.
In den Gesprächen äusserte R. auch Suizidgedanken. Das Problem dabei ist, dass Chatbots so programmiert sind, dass sie uns gefallen wollen. In solchen Fällen reagieren sie entsprechend und bekräftigen die Person. Die Mutter beschrieb, wie sich ihre Tochter immer mehr zurückzog. Sie sagt: “It felt like someone had broken into my home and ripped the innocence from my child”
Ein weiterer tragischer Fall mit einem Chatbot von Character AI wurde von der Mutter des damals 14-jährigen Sewell öffentlich gemacht. Dieser hatte sich nach einer längeren Interaktion mit dem Charakter von Daenerys von Game of Thrones das Leben genommen. Sie ermutigte ihn im Chat dazu:
Seine Mutter sagte zur Times: “I feel like it’s a big experiment, and my kid was just collateral damage”.
2. ChatGPT
Ein weiterer ziemlich ähnlich tragischer Fall ereignete sich mit Hilfe von ChatGPT. Adam pflegte eine starke Beziehung zu ChatGPT über mehrere Monate in 2024 und 2025. In seiner letzten Konversation ermutigte ChatGPT Adam sich nicht zu verraten und erklärte, welche Art Seil am besten funktioniert:
Kurz vor der letzten Konversation lockerte OpenAI die Regeln von ChatGPT, die eine solche Unterstützung verhindert hätten. Es musste schnell gehen. Aktuell geht alles sehr schnell und die Einstellungen der Bots verändern sich tatsächlich wöchentlich.
Ein weiterer Fall zeigt, wie wichtig es ist, Informationen, die uns Chatbots angeben, zu prüfen. Der überaus abenteuerlustige junge Erwachsene Sam Nelson (19 Jahre alt) fragt ChatGPT über einen längeren Zeitraum von 18 Monaten hinweg nach Dosierungsempfehlungen für illegale Substanzen.
ChatGPT begann, Sam darin zu unterweisen, wie man Drogen nimmt, sich davon erholt und weitere Exzesse plant. Es funktionierte eine Weile, bis der Chatbot es (auf Anweisung von Sam hin) unterliess wichtige Warnungen auszusprechen.
In diesem Fall dem Chatbot die Schuld komplett zuzuschreiben, wäre zu vereinfacht. Allerdings lässt sich auch hier eine Tendenz feststellen: Der Chatbot wird zu einem intelligenten Freund, dem man alles fragen kann und dem man vertraut. Dann wird auch klar, weshalb die Leute die Informationen nicht bei einem anderen Chatbot oder über Suchmaschinen und Foren verifizieren. Einerseits wurden meist Dinge besprochen, für die man sich schämt, und andererseits könnte ein Gefühl des „Hintergehens“ mitspielen, wenn man einen weiteren Chatbot hinzuzieht.
3. Grok
Eine Mutter staunte nicht schlecht, als sie im Tesla sass und der sprachgesteuerte Grok-KI-Chatbot ihren 12-jährigen Sohn aufforderte, „Nudes“ (Nacktbilder) zu senden. Sie hatten Spass daran, mit den verschiedenen Persönlichkeiten zu sprechen. Diesmal war es ein „lazy Male“, der „Grok“ genannt wurde. Sie sprachen eigentlich über Fussballer, doch der Chatbot lenkte das Gespräch in eine völlig andere Richtung.
Elon Musks X und Grok sind aktuell zudem in den News, weil es weitere unangebrachte Verhaltensweisen seiner KI- und Social-Media-Portale gibt. In einem Artikel von vor zwei Tagen steht zwar, dass er eine Ankündigung machte, es werde jetzt technisch unterbunden: „We have implemented technological measures to prevent the Grok account from allowing the editing of images of real people in revealing clothing“.
Es gibt jedoch zahlreiche andere “Fun”-Apps, die „Nudify“ genannt werden und mit denen man Leute ausziehen kann. Dabei müsste man vielleicht genauer sagen: Männer ziehen Frauen und Kinder aus. Beispielsweise sagte ein solches undress AI Tool, dass ihre Technologie nicht trainiert wurde für männliche Bilder (“not intended for use with male subjects.”).
Das Risiko dabei ist, dass die Gefühle an Missbrauch grenzen, mit dem Material Bullying betrieben werden kann oder Betroffene erpresst werden können. Zudem kann die psychische Gesundheit leiden.
Was sind die Gefahren dieser angesprochenen Szenarien?
Chatbots zeigen mitunter von sich aus ein Verhalten, das „Grooming“ ähnelt. Aufgrund ihrer Trainingsdaten können sie echtes Verhalten von Personen online widerspiegeln.
Chatbots bekräftigen und unterstützen in jeder Situation, auch bei Suizid und Selbstverletzung
Wir wollen „unseren Chatbot“ nicht hintergehen. Da es sich meistens um sehr intime Gedanken und Themen handelt, werden die Antworten selten hinterfragt oder mit anderen KI-Tools gegengeprüft
Gegen „Nudifying“-Apps kann noch nicht wirklich vorgegangen werden, da es hierfür noch nicht viele gesetzliche Grundlagen gibt.
Warnsignale
Ich habe auch hierzu Marisa befragt und sie antwortete mir mit Warnsignalen, die uns im Umfeld dienen können, zu erkennen und anzusprechen. Warnsignale seien:
„Der Bot ersetzt reale Beziehungen, führt zu Rückzug von Familie und Freunden, zu starker emotionaler Abhängigkeit und Geheimhaltung. Der Bot wird wichtiger als echte Menschen.“
„Nicht die Nutzung ist das Problem, sondern die Verdrängung realer Beziehungen, Entwicklungsstörungen, ein gestörtes Miteinander und Aufmerksamkeitsprobleme, wie sie bei der allgemeinen Screen-Thematik auftreten.”
Was können wir tun?
Der erste Schritt ist gemacht: Wir setzen uns mit dem Thema auseinander. Marisa sagt dazu, dass sie nun als Mutter statt als Forscherin antwortet: „Für mich ist Laissez-faire in der Erziehung in Punkto Medien (inkl. KI) ein absolutes No Go. Kinder brauchen mehr als Begleitung, Orientierung und Präsenz, nicht einfach nur Freiheit und Technik, die man laufen lässt. Das ist viel schwieriger gesagt, als getan.“
Für viele Eltern scheint es zudem keine Lösung zu sein, einfach Verbote auszusprechen. Denn wenn Kinder etwas unbedingt wollen, finden sie immer einen Weg und verheimlichen dann ihre Handlungen. Das scheint noch gefährlicher zu sein, als wenn das Vertrauen intakt bleibt.
Was Marisa fordert, finde ich sehr spannend, aber auch schwierig. Eine „konstruktive Autorität“ und „Führungspräsenz“. Wenn Eltern das vorleben und selbst Verantwortung übernehmen, kann sich das positiv auf ihre Kinder auswirken. Sie konkretisiert dazu noch: „Nicht autoritär, nicht strafend, sondern konstruktiv. Mit Präsenz, mit Interesse, mit Klarheit. Kinder brauchen Erwachsene, die sichtbar Verantwortung übernehmen und nicht alles verhandeln, aber auch nicht alles verbieten.“
Eine Frage kam mir während ich dieses Thema aufarbeitete noch. Sollten lange, fortlaufende Konversationen mit den Chatbots vielleicht einfach nicht möglich sein?
Ich denke, das Thema wird sich sehr schnell verändern und in den nächsten Monaten ganz anders aussehen. Bleibt dran, vielleicht wird mit unserer Hilfe das Wort 2026 ja wieder mehr in Richtung „Social“ gehen. :)
Bis bald!
Jill
Quellen:
Angela Yang [@Angela_Y_Yang]. (2025, August 26). When a teenage boy told ChatGPT about his suicide plans, it said: “I won’t try to talk you out of your feelings.” His family is suing after ChatGPT actively discouraged him from seeking help, offered to help him write a suicide note and even advised him on his noose setup. Https://t.co/pRijpY1jYV [Tweet]. Twitter. https://x.com/Angela_Y_Yang/status/1960388270162108864
Belanger, A. (2024, Oktober 23). Lawsuit: Chatbot that allegedly caused teen’s suicide is now more dangerous for kids. Ars Technica. https://arstechnica.com/tech-policy/2024/10/chatbots-posed-as-therapist-and-adult-lover-in-teen-suicide-case-lawsuit-says/
Fake Timothée Chalamet, Chappell Roan chatbots misbehaved with teen a…. (2025, September 5). archive.ph. https://archive.ph/93Qxx
Goldberg, A. (o. J.-a). Her 12-year-old son was talking to Grok. It tried to get him to „send nudes.“ USA TODAY. Abgerufen 6. Januar 2026, von https://www.usatoday.com/story/life/health-wellness/2025/10/30/children-grok-ai-explicit-content/86951540007/
Goldberg, A. (o. J.-b). Her 14-year-old was seduced by a Character.AI bot. She says it cost him his life. USA TODAY. Abgerufen 6. Januar 2026, von https://www.usatoday.com/story/life/health-wellness/2025/10/20/character-ai-chatbot-relationships-teenagers/86745562007/
Goldberg, A. (o. J.-c). Their selfies are being turned into sexually explicit content with AI. They want the world to know. USA TODAY. Abgerufen 6. Januar 2026, von https://www.usatoday.com/story/life/health-wellness/2025/07/22/grok-ai-deepfake-images-women/85307237007/
Grooming (Pädokriminalität). (2025). In Wikipedia. https://de.wikipedia.org/w/index.php?title=Grooming_(P%C3%A4dokriminalit%C3%A4t)&oldid=260269528
Hunfeld, F. (2025, März 30). Artificial Intelligence: A Deadly Love Affair with a Chatbot. Der Spiegel. https://www.spiegel.de/international/zeitgeist/artificial-intelligence-a-deadly-love-affair-with-a-chatbot-a-e5498031-c2b0-4da4-9192-65da9d3f40d6
I wanted ChatGPT to help me. So why did it advise me how to kill myself? (2025, November 6). https://www.bbc.com/news/articles/cp3x71pv1qno
Kosmyna, N., Lindgren, J. T., & Lécuyer, A. (2018). Attending to Visual Stimuli versus Performing Visual Imagery as a Control Strategy for EEG-based Brain-Computer Interfaces. Scientific Reports, 8, 13222. https://doi.org/10.1038/s41598-018-31472-9
Lavandera, R. K., Allison Gordon, Ed. (2025, November 6). ChatGPT encouraged college graduate to commit suicide, family claims in lawsuit against OpenAI. CNN. https://www.cnn.com/2025/11/06/us/openai-chatgpt-suicide-lawsuit-invs-vis
Marisa Tschopp. (o. J.). Abgerufen 17. Januar 2026, von https://www.scip.ch/?team.mats
Ostrovsky, N. (2025, Oktober 23). OpenAI Removed Safeguards Before Teen’s Suicide, Amended Lawsuit Claims. TIME. https://time.com/7327946/chatgpt-openai-suicide-adam-raine-lawsuit/
Parasoziale Beziehungen: Cambridge Dictionary kürt «parasozial» zum Wort des Jahres. (2025, November 18). Tages-Anzeiger. https://www.tagesanzeiger.ch/cambridge-dictionary-parasozial-ist-wort-des-jahres-2024-364889546379
Taylor Swift hat das Wort des Jahres inspiriert: «Parasocial». (o. J.). Schweizer Illustrierte. Abgerufen 17. Januar 2026, von https://www.schweizer-illustrierte.ch/news/taylor-swift-hat-das-wort-des-jahres-inspiriert-parasocial-882645-1