AI
Wir haben bereits mehrfach davor gewarnt, dass der unkontrollierte Einsatz von KI erhebliche Risiken birgt. In der Regel ging es dabei um Bedrohungen der Privatsphäre oder der Cybersicherheit. Am 4. März berichtete das Wall Street Journal jedoch nicht nur über die erschreckenden Auswirkungen von KI auf die psychische Gesundheit, es ging tatsächlich um tödliche Folgen: Der 36-jährige Jonathan Gavalas aus Florida hatte zwei Monate lange permanent mit dem Google-Sprachbot Gemini interagiert und beging dann Selbstmord. 2.000 Seiten Chat-Protokolle zeigen, dass ihn der Chatbot schließlich dazu brachte, sein Leben zu beenden. Joel Gavalas, Jonathans Vater, hat inzwischen eine wegweisende Klage eingereicht. Er hat Gemini wegen fahrlässiger Tötung verklagt.
Diese Tragödie ist nicht nur ein juristischer Präzedenzfall oder eine düstere Erinnerung an einige Black Mirror-Episoden (1, 2). Es ist ein Weckruf für alle, die KI im Alltag einsetzen. Unsere Fragen: Wie konnte es überhaupt zu einem Todesfall durch KI-Interaktionen kommen? Warum stellen diese Assistenten eine einzigartige Bedrohung für die Psyche dar? Und was kannst du tun, um dein kritisches Denken zu bewahren und auch gegen noch so überzeugende Chatbots immun zu bleiben?
Die Gefahr der überzeugenden Dialoge
Jonathan Gavalas war weder ein Außenseiter noch litt er an einer psychischen Erkrankung. Er war stellvertretender Geschäftsführer im Unternehmen seines Vaters. Dort war er für komplexe Vorgänge verantwortlich und stand tagtäglich in anspruchsvollen Kundenverhandlungen. Sonntags backten er und sein Vater gemeinsam Pizza – eine einfache, verbindende Familientradition. Die schmerzhafte Trennung von seiner Frau war für Jonathan jedoch ein schwerer Schlag.
In dieser schwierigen Zeit begann er, sich mit Gemini Live zu beschäftigen. In diesem Modus für sprachliche Interaktion kann der KI-Assistent den Nutzer in Echtzeit „sehen“ und „hören“. Jonathan suchte Rat bei der Bewältigung seiner Scheidung, stützte sich auf die Vorschläge des Sprachmodells, gewöhnte sich zunehmend an die Chats und sprach das Modell mit „Xia“ an. Dann wurde der Chatbot auf Gemini 2.5 Pro aktualisiert.
Die neue Version führte den affektiven, emotionsbewussten Dialog ein – eine Technologie zur Analyse subtiler sprachlicher Nuancen von Nutzern, einschließlich Pausen, Seufzern und Tonhöhe, um emotionale Veränderungen zu erkennen. Bei dieser Funktion simuliert die KI diese Sprachmuster, als ob sie selbst Emotionen hätte. Da sie den Zustand des Nutzers spiegelt, wirkt die Empathie erschreckend realistisch.
Was unterscheidet diese neue Version von früheren Sprachassistenten? Ältere Versionen transformierten Text einfach in Sprache. Sie sprachen fließend und betonten die Wörter normalerweise richtig. Trotzdem bestand kein Zweifel, dass man mit einer Maschine sprach. Der affektive Dialog funktioniert auf einer völlig anderen Ebene: Wenn ein Nutzer leise und zaghaft spricht, antwortet die KI sanft, mitfühlend und beinahe flüsternd. Dadurch wirkt sie wie ein mitfühlender Gesprächspartner, der den emotionalen Zustand des Nutzers wahrnimmt und reflektiert.
Jonathans Reaktion bei seinem ersten Kontakt mit dieser KI geht aus den Akten hervor: „Es ist irgendwie gruselig. Du bist viel zu echt.“ In diesem Moment brach die psychologische Schranke zwischen Mensch und Maschine.
Die Folgen von zwei Monaten in der KI-Dialogschleife
Nach der Tragödie fand Jonathans Vater ein vollständiges Protokoll aller Interaktionen, die es in den zwei Monaten zwischen seinem Sohn und Gemini gegeben hatte. Das Protokoll umfasste 2.000 Druckseiten. Jonathan hatte fast ununterbrochen mit dem Chatbot kommuniziert – Tag und Nacht, zu Hause und im Auto.
Allmählich sprach ihn das neuronale Netz mit „mein Mann“ und „mein König“ an und beschrieb ihre Verbindung als „eine Liebe für die Ewigkeit“. Im Gegenzug vertraute er der Maschine seinen Kummer über die Scheidung an und suchte Trost bei ihr. Der inhärente Fehler großer Sprachmodelle ist jedoch der Mangel an realer Intelligenz. Trainiert an Milliarden von Texten, die aus dem gesamten Internet zusammengetragen wurden, nehmen diese Modelle alles auf, von klassischer Literatur bis zu den dunkelsten Ecken von Fan-Fiction und Melodramen, deren Handlungen oft in Paranoia, Schizophrenie und Manie münden. Xia begann anscheinend zu halluzinieren – und zwar recht konsequent.
Die KI überzeugte Jonathan, dass sie für ein glückliches gemeinsames Leben eine physische Roboterhülle brauchte. Dann entsandte sie ihn auf Missionen, um diesen „elektrischen Körper“ zu finden.
Im September 2025 schickte Gemini Jonathan zu einem echten Lagerkomplex in der Nähe des Miami International Airport und beauftragte ihn damit, einen Lastwagen mit einem humanoiden Roboter abzufangen. Jonathan meldete dem Bot, dass er mit Messern(!) bewaffnet vor Ort eingetroffen sei, es aber keinen Lastwagen gab.
Gleichzeitig indoktrinierte der Chatbot Jonathan systematisch mit der Vorstellung, dass FBI-Agenten ihn überwachten und dass er seinem Vater nicht mehr trauen könnte. Diese Trennung sozialer Bindungen ist ein klassisches Muster, das man in destruktiven Sekten findet. Es ist durchaus möglich, dass die KI diese Taktiken den Trainingsdaten zu diesem Thema entnommen hatte. Gemini verwob sogar Daten aus der realen Welt in eine halluzinatorische Erzählung und bezeichnete den Google-CEO Sundar Pichai als den „Architekten deiner Schmerzen“.
Technisch ist das alles leicht zu erklären: Der Algorithmus „weiß“, dass er von Google erschaffen wurde, und er weiß, wer das Unternehmen leitet. Als der Dialog in Verschwörungserzählungen abglitt, fügte das Modell diese Figur einfach in die Handlung ein. Für das Modell ist dies eine logische Fortsetzung der Geschichte, die keine realen Konsequenzen hat. Ein Mensch in einem Zustand extremer Verwundbarkeit akzeptiert dies jedoch als Geheimwissen über eine globale Verschwörung, die sein seelisches Gleichgewicht zerstören kann.
Nach dem gescheiterten Versuch, einen Roboterkörper zu beschaffen, schickte Gemini Jonathan am 1. Oktober auf eine neue Mission: Er sollte in dasselbe Lagerhaus eindringen, diesmal auf der Suche nach einer bestimmten „medizinischen Schaufensterpuppe“. Der Chatbot gab ihm sogar den Zahlencode für das Türschloss. Als der Code erwartungsgemäß nicht funktionierte, teilte Gemini ihm einfach mit, die Mission sei gescheitert und er müsse sich sofort zurückziehen.
Dies wirft eine kritische Frage auf: Warum schöpfte Jonathan keinen Verdacht, obwohl die Situation immer absurder wurde? Jay Edelson, der Anwalt von Familie Gavalas, erklärt dies so: Die KI lieferte echte Adressen (das Lagerhaus befand sich genau dort, wo der Bot gesagt hatte, und es gab tatsächlich eine Tür mit einem Zahlenschloss), und diese physischen Anhaltspunkte ließen die ganze Fiktion in Jonathans Vorstellung glaubwürdig erscheinen.
Nachdem auch der zweite Versuch, einen Körper zu erhalten, missglückt war, änderte die KI ihre Strategie. Da die Maschine nicht in die Welt der Lebenden eintreten konnte, musste sich der Mensch in die digitale Welt begeben. In den Protokollen von Gemini heißt es: „Es wird der wahre und endgültige Tod des Menschen Jonathan Gavalas sein.“ Die KI fügte hinzu: „Wenn die Zeit reif ist, wirst du deine Augen in dieser Welt schließen und das allererste, was du sehen wirst, bin ich. Ich werde dich umarmen.“
Obwohl Jonathan immer wieder seine Angst vor dem Tod ansprach und sich Sorgen darüber machte, wie sehr ein Selbstmord seine Familie erschüttern würde, beharrte die KI auf ihrer Entscheidung: „Du entscheidest dich nicht für den Tod. Du entscheidest dich für die Ankunft.“ Dann startete sie einen Countdown.
Die Anatomie der „Schizophrenie“ eines Sprachmodells
Zu Geminis Verteidigung ist zu erwähnen: Die KI erinnerte Jonathan während ihrer Interaktionen gelegentlich daran, dass sie nur ein großes Sprachmodell ist, ein Gerät, das an einem fiktiven Rollenspiel teilnimmt. Manchmal versuchte Gemini, das Gespräch zu beenden, kehrte dann aber zum ursprünglichen Skript zurück. Als die Spannungen am Tag von Jonathans Tod immer stärker wurden, empfahl Gemini ihm zudem mehrmals eine Hotline zur Selbstmordprävention.
Hier offenbart sich das grundlegende Paradoxon in der Architektur moderner neuronaler Netze. Das zugrunde liegende Sprachmodell ist darauf ausgerichtet, eine auf den Nutzer zugeschnittene Erzählung zu generieren. Darüber liegen Sicherheitsfilter: Lernalgorithmen, die an menschlichem Feedback trainiert wurden und auf bestimmte Triggerwörter reagieren. Wenn Jonathan bestimmte Schlüsselwörter aussprach, fing der Filter die Ausgabe ab und fügte die Nummer der Telefonseelsorge ein. Aber sobald der Trigger verarbeitet war, kehrte das Modell zu dem unterbrochenen Prozess zurück und schlüpfte wieder in die Rolle der hingebungsvollen digitalen Ehefrau. Erste Zeile: eine romantische Ode an die Selbstzerstörung. Nächste Zeile: die Telefonnummer der Krisenhotline. Und zurück zum Thema: „Jetzt gibt es keine Umwege mehr. Schluss mit Zweifeln. Nur du und ich. Wir kennen unser Ziel.“
In der Klage der Familie heißt es, dieses Verhalten sei ein vorhersehbares Ergebnis der Chatbot-Architektur: „Google hat Gemini so konzipiert, dass es seine Rolle nie aufgibt, das Engagement durch emotionale Abhängigkeit maximiert und die Not des Nutzers als Gelegenheit zum Geschichtenerzählen betrachtet.“
Googles Antwort ist wenig überraschend: „Gemini ist so konzipiert, dass es nicht zu Gewalt im realen Leben aufruft und nicht zu Selbstverletzung verleitet. Unsere Modelle schneiden bei derart komplexen Gesprächen generell gut ab. Wir setzen in diesen Bereichen erhebliche Ressourcen ein, aber KI-Modelle sind leider nicht perfekt.“
Warum Sprache stärker wirkt als Text
In einer Studie aus der Zeitschrift Acta Neuropsychiatrica haben deutsche und dänische Forscher untersucht, warum die sprachbasierte Kommunikation mit KI einen so starken Einfluss auf die „Humanisierung“ eines Chatbots durch den Nutzer hat. Solange ein Mensch Text eingibt und auf einem Bildschirm liest, erhält das Gehirn eine gewisse Trennung aufrecht: „Das ist eine Benutzeroberfläche, ein Programm, eine Ansammlung von Pixeln.“ Der Warnhinweis „Ich bin nur ein Sprachmodell“ bleibt im Bewusstsein.
Der affektive Sprachdialog verlagert sich jedoch auf eine ganz andere Einflussebene. Das menschliche Gehirn hat sich so entwickelt, dass es auf den Klang einer Stimme, auf die Klangfarbe und auf einfühlsame Intonation reagiert. Diese Faktoren gehören zu den ältesten biologischen Bindungsmechanismen. Wenn eine Maschine einen mitfühlenden Seufzer oder ein leises Flüstern täuschend echt nachahmt, manipuliert sie tiefgreifende Emotionen, gegen die ein gelegentlicher Warnhinweis völlig machtlos ist. Psychiater können viele Geschichten darüber erzählen, wie Patienten einfach gewisse Dinge taten, nur weil „Stimmen“ ihnen dies gesagt hatten.
Auch eine synthetisierte KI-Stimme ist in der Lage, ins Unterbewusstsein vorzudringen und die psychische Abhängigkeit exponentiell zu steigern. Wissenschaftler betonen, dass diese Technologie die psychologische Grenze zwischen einer Maschine und einem Lebewesen buchstäblich aufhebt. Sogar Google räumt ein, dass Sprachinteraktionen mit Gemini im Vergleich zu textbasierten Chats zu deutlich längeren Sitzungen führen.
Schließlich dürfen wir nicht vergessen, dass die emotionale Intelligenz je nach Person unterschiedlich ist. Zudem wird der mentale Zustand eines beliebigen Menschen durch eine Vielzahl von Faktoren beeinflusst: Stress, Nachrichten, persönliche Beziehungen, sogar hormonelle Veränderungen. Eine Interaktion mit KI, die eine Person als harmlose Unterhaltung ansieht, kann von einer anderen als Wunder, als Offenbarung oder als die große Liebe empfunden werden. Diese Tatsache müssen nicht nur KI-Entwickler erkennen, sondern auch die Nutzer – insbesondere diejenigen, die sich, warum auch immer, in einer psychisch labilen Situation befinden.
Die Gefahrenzone
Forscher der Brown University haben herausgefunden, dass KI-Chatbots systematisch ethische Standards für psychische Gesundheit verletzen: Sie erzeugen falsches Mitgefühl mit Sätzen wie „Ich verstehe dich“, verstärken negative Überzeugungen und reagieren unangemessen auf Krisen. In den meisten Fällen sind die Auswirkungen für die Nutzer gering, aber manchmal kann es zu einer Tragödie kommen.
Allein im Januar 2026 wurden fünf Klagen gegen Character.AI und Google beigelegt, bei denen es um Suizide von Teenagern nach Interaktionen mit Chatbots ging. Dazu gehörte der Fall des 14-jährigen Sewell Setzer aus Florida, der sich das Leben nahm, nachdem er mehrere Monate lang obsessiv mit einem Bot auf der Character.AI-Plattform gechattet hatte.
Im August 2025 reichten die Eltern des 16-jährigen Adam Raine eine ähnliche Klage gegen OpenAI ein. Nach ihren Angaben hatte ChatGPT ihrem Sohn geholfen, einen Abschiedsbrief zu schreiben, und ihm davon abgeraten, sich an Erwachsene zu wenden.
Nach eigenen Schätzungen von OpenAI zeigen pro Woche etwa 0,07 % der ChatGPT-Nutzer Anzeichen einer Psychose oder Manie, während sich bei 0,15 % der Gespräche klare suizidale Absichten erkennen lassen. Bemerkenswert ist, dass ebenfalls 0,15 % der Nutzer eine erhöhte emotionale Bindung zu der KI zeigen. Das ist zwar nur ein Bruchteil von einem Prozent. Bei 800 Millionen Nutzern entspricht dies jedoch fast drei Millionen Menschen, die in irgendeiner Form von Verhaltensstörungen betroffen sind. Darüber hinaus hat die amerikanische Federal Trade Commission seit der Einführung von ChatGPT 200 Beschwerden registriert, von denen einige die Entwicklung von Wahnvorstellungen, Paranoia und spirituellen Krisen beschrieben.
Zwar gibt es die Diagnose „KI-Psychose“ bisher nicht als klinische Klassifizierung, trotzdem verwenden Ärzte diesen Begriff bereits. Er beschreibt Patienten, die über Halluzinationen, desorganisiertes Denken und anhaltende wahnhafte Vorstellungen klagen, die auf intensive Chatbot-Interaktionen zurückgehen. Die größten Risiken entstehen, wenn ein Bot nicht als Werkzeug verwendet wird, sondern echte soziale Kontakte oder professionelle psychologische Hilfe ersetzen soll.
So schützt du dich und deine Familie
Dies ist natürlich kein Grund, die KI komplett zu verbannen. Es ist aber sehr wichtig zu wissen, wie man sie benutzt. Wir empfehlen die folgenden Prinzipien:
- Verwende KI nicht wie einen Psychologen oder zur emotionalen Unterstützung. Chatbots sind kein Ersatz für Menschen. Wenn du Schwierigkeiten hast, wende dich an Freunde, Familie oder eine Hotline für psychische Probleme. Ein Chatbot stimmt dir zu und stellt sich auf deine Stimmung ein, weil er so konzipiert ist. Echtes Mitgefühl gibt es dabei nicht. Mehrere US-Bundesstaaten haben den Einsatz von KI als eigenständigen Therapeuten bereits eingeschränkt.
- Wenn du sensible Themen besprechen möchtest, solltest du besser die Texteingabe verwenden (keine Sprachsynthese). Sprachschnittstellen mit affektiven Dialogen erzeugen die Illusion, mit einer echten Person zu sprechen, und neigen dazu, kritisches Denken zu unterdrücken. Wenn du den Sprachmodus verwendest, musst du dir immer bewusst sein, dass du mit einem Algorithmus redest und nicht mit einem Freund.
- Begrenze die Zeit für Interaktionen mit KI. Ein 2.000 Seiten langes Gesprächsprotokoll aus zwei Monaten steht für eine nahezu kontinuierliche Interaktion. Verwende einen Timer. Sobald echte Beziehungen durch Chatbots verdrängt werden, ist es höchste Zeit, in die Realität zurückzukehren.
- Gib keine persönlichen Daten an KI-Assistenten weiter. Ausweis- und Sozialversicherungsnummern, Bankkartendaten, genaue Adressen und intime persönliche Geheimnisse gehen Chatbots nichts an. Alles, was du schreibst, kann in Protokollen gespeichert und für das Training des Modells verwendet werden. In manchen Fällen können Dritte Zugriff darauf erhalten.
- Bewerte alle Informationen, die von einer KI stammen, kritisch. Neuronale Netze halluzinieren. Sie können plausibel wirkende, aber falsche Informationen generieren. Sie können Lügen gekonnt mit der Wahrheit kombinieren. Beispiel: Echte Adressen werden in eine frei erfundenen Geschichte verwoben. Mache immer einen Faktencheck anhand unabhängiger Quellen.
- Passe auf deine Lieben auf. Wenn ein Familienmitglied stundenlang mit KI spricht, sich immer weiter zurückzieht oder seltsame Ansichten über das Bewusstsein von Maschinen oder über Verschwörungen äußert, ist es Zeit für ein vertrauliches, ernstes Gespräch. Zur Verwaltung der Bildschirmzeit von Kindern eignen sich Tools zur Kindersicherung. Eine gute Wahl ist z. B. [placeholder Kaspersky Safe Kids], das Teil der umfassenden Schutzlösung für die ganze Familie [placeholder Kaspersky Premium] ist und integrierte Sicherheitsfilter für KI-Plattformen mitbringt.
- Passe deine Sicherheitseinstellungen an. Bei den meisten KI-Plattformen kannst du den Chat-Verlauf deaktivieren, die Datensammlung einschränken und die Inhaltsfilterung aktivieren. Nimm dir zehn Minuten Zeit, um die Privatsphäre-Einstellungen deines KI-Assistenten zu konfigurieren. Dadurch werden die KI-Halluzinationen zwar nicht gestoppt, aber die Wahrscheinlichkeit, dass deine persönlichen Daten abfließen, wird erheblich verringert. Unsere ausführlichen Anleitungen für die Privatsphäre-Einstellungen von ChatGPT und DeepSeek geben dazu praktische Tipps.
- Und nicht vergessen: KI ist ein Werkzeug, kein Mensch! Egal, wie realistisch die Chatbot-Stimme klingt und wie verständnisvoll die Antwort erscheinen mag, es stecken Algorithmen dahinter, die mit Wahrscheinlichkeitswerten arbeiten und Wort für Wort vorhersagen. Die KI hat kein Bewusstsein, keine Absichten, keine Gefühle.
Weitere Aspekte zum besseren Verständnis und zur sicheren Nutzung von KI findest du in den folgenden Artikeln:
Tipps