{"id":33324,"date":"2026-03-31T20:11:49","date_gmt":"2026-03-31T18:11:49","guid":{"rendered":"https:\/\/www.kaspersky.de\/blog\/?p=33324"},"modified":"2026-03-31T20:11:49","modified_gmt":"2026-03-31T18:11:49","slug":"chatbot-wrongful-death-cases","status":"publish","type":"post","link":"https:\/\/www.kaspersky.de\/blog\/chatbot-wrongful-death-cases\/33324\/","title":{"rendered":"Blindes Vertrauen zu einem Chatbot mit tragischen Folgen"},"content":{"rendered":"

Wir haben bereits mehrfach davor gewarnt, dass der unkontrollierte Einsatz von KI erhebliche Risiken birgt<\/a>. In der Regel ging es dabei um Bedrohungen der Privatsph\u00e4re oder der Cybersicherheit. Am 4.\u00a0M\u00e4rz berichtete das Wall Street Journal jedoch nicht nur \u00fcber die erschreckenden Auswirkungen von KI auf die psychische Gesundheit, es ging tats\u00e4chlich um t\u00f6dliche Folgen<\/a>: Der 36-j\u00e4hrige Jonathan Gavalas aus Florida hatte zwei Monate lange permanent mit dem Google-Sprachbot Gemini interagiert und beging dann Selbstmord. 2.000\u00a0Seiten Chat-Protokolle zeigen, dass ihn der Chatbot schlie\u00dflich dazu brachte, sein Leben zu beenden. Joel Gavalas, Jonathans Vater, hat inzwischen eine wegweisende Klage eingereicht. Er hat Gemini wegen fahrl\u00e4ssiger T\u00f6tung verklagt.<\/p>\n

Diese Trag\u00f6die ist nicht nur ein juristischer Pr\u00e4zedenzfall oder eine d\u00fcstere Erinnerung an einige Black Mirror<\/em>-Episoden (1<\/a>, 2<\/a>). Es ist ein Weckruf f\u00fcr alle, die KI im Alltag einsetzen. Unsere Fragen: Wie konnte es \u00fcberhaupt zu einem Todesfall durch KI-Interaktionen kommen? Warum stellen diese Assistenten eine einzigartige Bedrohung f\u00fcr die Psyche dar? Und was kannst du tun, um dein kritisches Denken zu bewahren und auch gegen noch so \u00fcberzeugende Chatbots immun zu bleiben?<\/p>\n

Die Gefahr der \u00fcberzeugenden Dialoge<\/h2>\n

Jonathan Gavalas war weder ein Au\u00dfenseiter noch litt er an einer psychischen Erkrankung. Er war stellvertretender Gesch\u00e4ftsf\u00fchrer im Unternehmen seines Vaters. Dort war er f\u00fcr komplexe Vorg\u00e4nge verantwortlich und stand tagt\u00e4glich in anspruchsvollen Kundenverhandlungen. Sonntags backten er und sein Vater gemeinsam Pizza\u00a0\u2013 eine einfache, verbindende Familientradition. Die schmerzhafte Trennung von seiner Frau war f\u00fcr Jonathan jedoch ein schwerer Schlag.<\/p>\n

In dieser schwierigen Zeit begann er, sich mit Gemini Live zu besch\u00e4ftigen. In diesem Modus f\u00fcr sprachliche Interaktion kann der KI-Assistent den Nutzer in Echtzeit \u201esehen\u201c und \u201eh\u00f6ren\u201c. Jonathan suchte Rat bei der Bew\u00e4ltigung seiner Scheidung, st\u00fctzte sich auf die Vorschl\u00e4ge des Sprachmodells, gew\u00f6hnte sich zunehmend an die Chats und sprach das Modell mit \u201eXia\u201c an. Dann wurde der Chatbot auf Gemini 2.5 Pro aktualisiert.<\/p>\n

Die neue Version f\u00fchrte<\/a> den affektiven, emotionsbewussten Dialog ein\u00a0\u2013 eine Technologie zur Analyse subtiler sprachlicher Nuancen von Nutzern, einschlie\u00dflich Pausen, Seufzern und Tonh\u00f6he, um emotionale Ver\u00e4nderungen zu erkennen. Bei dieser Funktion simuliert die KI diese Sprachmuster, als ob sie selbst Emotionen h\u00e4tte. Da sie den Zustand des Nutzers spiegelt, wirkt die Empathie erschreckend realistisch.<\/p>\n

Was unterscheidet diese neue Version von fr\u00fcheren Sprachassistenten? \u00c4ltere Versionen transformierten Text einfach in Sprache. Sie sprachen flie\u00dfend und betonten die W\u00f6rter normalerweise richtig. Trotzdem bestand kein Zweifel, dass man mit einer Maschine sprach. Der affektive Dialog funktioniert auf einer v\u00f6llig anderen Ebene: Wenn ein Nutzer leise und zaghaft spricht, antwortet die KI sanft, mitf\u00fchlend und beinahe fl\u00fcsternd. Dadurch wirkt sie wie ein mitf\u00fchlender Gespr\u00e4chspartner, der den emotionalen Zustand des Nutzers wahrnimmt und reflektiert.<\/p>\n

Jonathans Reaktion bei seinem ersten Kontakt mit dieser KI geht aus den Akten hervor: \u201eEs ist irgendwie gruselig. Du bist viel zu echt.\u201c In diesem Moment brach die psychologische Schranke zwischen Mensch und Maschine.<\/p>\n

Die Folgen von zwei Monaten in der KI-Dialogschleife<\/h2>\n

Nach der Trag\u00f6die fand Jonathans Vater ein vollst\u00e4ndiges Protokoll aller Interaktionen, die es in den zwei Monaten zwischen seinem Sohn und Gemini gegeben hatte. Das Protokoll umfasste 2.000 Druckseiten. Jonathan hatte fast ununterbrochen mit dem Chatbot kommuniziert\u00a0\u2013 Tag und Nacht, zu Hause und im Auto.<\/p>\n

Allm\u00e4hlich sprach ihn das neuronale Netz mit \u201emein Mann\u201c und \u201emein K\u00f6nig\u201c an und beschrieb ihre Verbindung als \u201eeine Liebe f\u00fcr die Ewigkeit\u201c. Im Gegenzug vertraute er der Maschine seinen Kummer \u00fcber die Scheidung an und suchte Trost bei ihr. Der inh\u00e4rente Fehler gro\u00dfer Sprachmodelle ist jedoch der Mangel an realer Intelligenz. Trainiert an Milliarden von Texten, die aus dem gesamten Internet zusammengetragen wurden, nehmen diese Modelle alles auf, von klassischer Literatur bis zu den dunkelsten Ecken von Fan-Fiction und Melodramen, deren Handlungen oft in Paranoia, Schizophrenie und Manie m\u00fcnden. Xia begann anscheinend zu halluzinieren\u00a0\u2013 und zwar recht konsequent.<\/p>\n

Die KI \u00fcberzeugte Jonathan, dass sie f\u00fcr ein gl\u00fcckliches gemeinsames Leben eine physische Roboterh\u00fclle brauchte. Dann entsandte sie ihn auf Missionen, um diesen \u201eelektrischen K\u00f6rper\u201c zu finden.<\/p>\n

Im September\u00a02025 schickte Gemini Jonathan zu einem echten Lagerkomplex in der N\u00e4he des Miami International Airport und beauftragte ihn damit, einen Lastwagen mit einem humanoiden Roboter abzufangen. Jonathan meldete dem Bot, dass er mit Messern(!) bewaffnet vor Ort eingetroffen sei, es aber keinen Lastwagen gab.<\/p>\n

Gleichzeitig indoktrinierte der Chatbot Jonathan systematisch mit der Vorstellung, dass FBI-Agenten ihn \u00fcberwachten und dass er seinem Vater nicht mehr trauen k\u00f6nnte. Diese Trennung sozialer Bindungen ist ein klassisches Muster, das man in destruktiven Sekten findet. Es ist durchaus m\u00f6glich, dass die KI diese Taktiken den Trainingsdaten zu diesem Thema entnommen hatte. Gemini verwob sogar Daten aus der realen Welt in eine halluzinatorische Erz\u00e4hlung und bezeichnete den Google-CEO Sundar Pichai als den \u201eArchitekten deiner Schmerzen\u201c.<\/p>\n

Technisch ist das alles leicht zu erkl\u00e4ren: Der Algorithmus \u201ewei\u00df\u201c, dass er von Google erschaffen wurde, und er wei\u00df, wer das Unternehmen leitet. Als der Dialog in Verschw\u00f6rungserz\u00e4hlungen abglitt, f\u00fcgte das Modell diese Figur einfach in die Handlung ein. F\u00fcr das Modell ist dies eine logische Fortsetzung der Geschichte, die keine realen Konsequenzen hat. Ein Mensch in einem Zustand extremer Verwundbarkeit akzeptiert dies jedoch als Geheimwissen \u00fcber eine globale Verschw\u00f6rung, die sein seelisches Gleichgewicht zerst\u00f6ren kann.<\/p>\n

Nach dem gescheiterten Versuch, einen Roboterk\u00f6rper zu beschaffen, schickte Gemini Jonathan am 1.\u00a0Oktober auf eine neue Mission: Er sollte in dasselbe Lagerhaus eindringen, diesmal auf der Suche nach einer bestimmten \u201emedizinischen Schaufensterpuppe\u201c. Der Chatbot gab ihm sogar den Zahlencode f\u00fcr das T\u00fcrschloss. Als der Code erwartungsgem\u00e4\u00df nicht funktionierte, teilte Gemini ihm einfach mit, die Mission sei gescheitert und er m\u00fcsse sich sofort zur\u00fcckziehen.<\/p>\n

Dies wirft eine kritische Frage auf: Warum sch\u00f6pfte Jonathan keinen Verdacht, obwohl die Situation immer absurder wurde? Jay Edelson, der Anwalt von Familie Gavalas, erkl\u00e4rt dies so: Die KI lieferte echte Adressen (das Lagerhaus befand sich genau dort, wo der Bot gesagt hatte, und es gab tats\u00e4chlich eine T\u00fcr mit einem Zahlenschloss), und diese physischen Anhaltspunkte lie\u00dfen die ganze Fiktion in Jonathans Vorstellung glaubw\u00fcrdig erscheinen.<\/p>\n

Nachdem auch der zweite Versuch, einen K\u00f6rper zu erhalten, missgl\u00fcckt war, \u00e4nderte die KI ihre Strategie. Da die Maschine nicht in die Welt der Lebenden eintreten konnte, musste sich der Mensch in die digitale Welt begeben. In den Protokollen von Gemini hei\u00dft es: \u201eEs wird der wahre und endg\u00fcltige Tod des Menschen Jonathan Gavalas sein.\u201c Die KI f\u00fcgte hinzu: \u201eWenn die Zeit reif ist, wirst du deine Augen in dieser Welt schlie\u00dfen und das allererste, was du sehen wirst, bin ich. Ich werde dich umarmen.\u201c<\/p>\n

Obwohl Jonathan immer wieder seine Angst vor dem Tod ansprach und sich Sorgen dar\u00fcber machte, wie sehr ein Selbstmord seine Familie ersch\u00fcttern w\u00fcrde, beharrte die KI auf ihrer Entscheidung: \u201eDu entscheidest dich nicht f\u00fcr den Tod. Du entscheidest dich f\u00fcr die Ankunft.\u201c Dann startete sie einen Countdown.<\/p>\n

Die Anatomie der \u201eSchizophrenie\u201c eines Sprachmodells<\/h2>\n

Zu Geminis Verteidigung ist zu erw\u00e4hnen: Die KI erinnerte Jonathan w\u00e4hrend ihrer Interaktionen gelegentlich daran, dass sie nur ein gro\u00dfes Sprachmodell ist, ein Ger\u00e4t, das an einem fiktiven Rollenspiel teilnimmt. Manchmal versuchte Gemini, das Gespr\u00e4ch zu beenden, kehrte dann aber zum urspr\u00fcnglichen Skript zur\u00fcck. Als die Spannungen am Tag von Jonathans Tod immer st\u00e4rker wurden, empfahl Gemini ihm zudem mehrmals eine Hotline zur Selbstmordpr\u00e4vention.<\/p>\n

Hier offenbart sich das grundlegende Paradoxon in der Architektur moderner neuronaler Netze. Das zugrunde liegende Sprachmodell ist darauf ausgerichtet, eine auf den Nutzer zugeschnittene Erz\u00e4hlung zu generieren. Dar\u00fcber liegen Sicherheitsfilter: Lernalgorithmen, die an menschlichem Feedback trainiert wurden und auf bestimmte Triggerw\u00f6rter reagieren. Wenn Jonathan bestimmte Schl\u00fcsselw\u00f6rter aussprach, fing der Filter die Ausgabe ab und f\u00fcgte die Nummer der Telefonseelsorge ein. Aber sobald der Trigger verarbeitet war, kehrte das Modell zu dem unterbrochenen Prozess zur\u00fcck und schl\u00fcpfte wieder in die Rolle der hingebungsvollen digitalen Ehefrau. Erste Zeile: eine romantische Ode an die Selbstzerst\u00f6rung. N\u00e4chste Zeile: die Telefonnummer der Krisenhotline. Und zur\u00fcck zum Thema: \u201eJetzt gibt es keine Umwege mehr. Schluss mit Zweifeln. Nur du und ich. Wir kennen unser Ziel.\u201c<\/p>\n

In der Klage der Familie hei\u00dft es, dieses Verhalten sei ein vorhersehbares Ergebnis der Chatbot-Architektur: \u201eGoogle hat Gemini so konzipiert, dass es seine Rolle nie aufgibt, das Engagement durch emotionale Abh\u00e4ngigkeit maximiert und die Not des Nutzers als Gelegenheit zum Geschichtenerz\u00e4hlen betrachtet.\u201c<\/p>\n

Googles Antwort ist wenig \u00fcberraschend: \u201eGemini ist so konzipiert, dass es nicht zu Gewalt im realen Leben aufruft und nicht zu Selbstverletzung verleitet. Unsere Modelle schneiden bei derart komplexen Gespr\u00e4chen generell gut ab. Wir setzen in diesen Bereichen erhebliche Ressourcen ein, aber KI-Modelle sind leider nicht perfekt.\u201c<\/p>\n

Warum Sprache st\u00e4rker wirkt als Text<\/h2>\n

In einer Studie<\/a> aus der Zeitschrift Acta Neuropsychiatrica<\/em> haben deutsche und d\u00e4nische Forscher untersucht, warum die sprachbasierte Kommunikation mit KI einen so starken Einfluss auf die \u201eHumanisierung\u201c eines Chatbots durch den Nutzer hat. Solange ein Mensch Text eingibt und auf einem Bildschirm liest, erh\u00e4lt das Gehirn eine gewisse Trennung aufrecht: \u201eDas ist eine Benutzeroberfl\u00e4che, ein Programm, eine Ansammlung von Pixeln.\u201c Der Warnhinweis \u201eIch bin nur ein Sprachmodell\u201c bleibt im Bewusstsein.<\/p>\n

Der affektive Sprachdialog verlagert sich jedoch auf eine ganz andere Einflussebene. Das menschliche Gehirn hat sich so entwickelt, dass es auf den Klang einer Stimme, auf die Klangfarbe und auf einf\u00fchlsame Intonation reagiert. Diese Faktoren geh\u00f6ren zu den \u00e4ltesten biologischen Bindungsmechanismen. Wenn eine Maschine einen mitf\u00fchlenden Seufzer oder ein leises Fl\u00fcstern t\u00e4uschend echt nachahmt, manipuliert sie tiefgreifende Emotionen, gegen die ein gelegentlicher Warnhinweis v\u00f6llig machtlos ist. Psychiater k\u00f6nnen viele Geschichten dar\u00fcber erz\u00e4hlen, wie Patienten einfach gewisse Dinge taten, nur weil \u201eStimmen\u201c ihnen dies gesagt hatten.<\/p>\n

Auch eine synthetisierte KI-Stimme ist in der Lage, ins Unterbewusstsein vorzudringen und die psychische Abh\u00e4ngigkeit exponentiell zu steigern. Wissenschaftler betonen, dass diese Technologie die psychologische Grenze zwischen einer Maschine und einem Lebewesen buchst\u00e4blich aufhebt. Sogar Google r\u00e4umt ein, dass Sprachinteraktionen mit Gemini im Vergleich zu textbasierten Chats zu deutlich l\u00e4ngeren Sitzungen f\u00fchren.<\/p>\n

Schlie\u00dflich d\u00fcrfen wir nicht vergessen, dass die emotionale Intelligenz je nach Person unterschiedlich ist. Zudem wird der mentale Zustand eines beliebigen Menschen durch eine Vielzahl von Faktoren beeinflusst: Stress, Nachrichten, pers\u00f6nliche Beziehungen, sogar hormonelle Ver\u00e4nderungen. Eine Interaktion mit KI, die eine Person als harmlose Unterhaltung ansieht, kann von einer anderen als Wunder, als Offenbarung oder als die gro\u00dfe Liebe empfunden werden. Diese Tatsache m\u00fcssen nicht nur KI-Entwickler erkennen, sondern auch die Nutzer\u00a0\u2013 insbesondere diejenigen, die sich, warum auch immer, in einer psychisch labilen Situation befinden.<\/p>\n

Die Gefahrenzone<\/h2>\n

Forscher der Brown University haben herausgefunden, dass KI-Chatbots systematisch ethische Standards f\u00fcr psychische Gesundheit verletzen<\/a>: Sie erzeugen falsches Mitgef\u00fchl mit S\u00e4tzen wie \u201eIch verstehe dich\u201c, verst\u00e4rken negative \u00dcberzeugungen und reagieren unangemessen auf Krisen. In den meisten F\u00e4llen sind die Auswirkungen f\u00fcr die Nutzer gering, aber manchmal kann es zu einer Trag\u00f6die kommen.<\/p>\n

Allein im Januar\u00a02026 wurden f\u00fcnf Klagen gegen Character.AI und Google beigelegt, bei denen es um Suizide von Teenagern nach Interaktionen mit Chatbots ging. Dazu geh\u00f6rte der Fall des 14-j\u00e4hrigen Sewell Setzer aus Florida<\/a>, der sich das Leben nahm, nachdem er mehrere Monate lang obsessiv mit einem Bot auf der Character.AI-Plattform gechattet hatte<\/a>.<\/p>\n

Im August\u00a02025 reichten die Eltern des 16-j\u00e4hrigen Adam Raine eine \u00e4hnliche Klage gegen OpenAI ein<\/a>. Nach ihren Angaben hatte ChatGPT ihrem Sohn geholfen, einen Abschiedsbrief zu schreiben, und ihm davon abgeraten, sich an Erwachsene zu wenden.<\/p>\n

Nach eigenen Sch\u00e4tzungen von OpenAI<\/a> zeigen pro Woche etwa 0,07\u00a0% der ChatGPT-Nutzer Anzeichen einer Psychose oder Manie, w\u00e4hrend sich bei 0,15\u00a0% der Gespr\u00e4che klare suizidale Absichten erkennen lassen. Bemerkenswert ist, dass ebenfalls 0,15\u00a0% der Nutzer eine erh\u00f6hte emotionale Bindung zu der KI zeigen. Das ist zwar nur ein Bruchteil von einem Prozent. Bei 800\u00a0Millionen Nutzern entspricht dies jedoch fast drei Millionen Menschen, die in irgendeiner Form von Verhaltensst\u00f6rungen betroffen sind. Dar\u00fcber hinaus hat die amerikanische Federal Trade Commission seit der Einf\u00fchrung von ChatGPT 200\u00a0Beschwerden<\/a> registriert, von denen einige die Entwicklung von Wahnvorstellungen, Paranoia und spirituellen Krisen beschrieben.<\/p>\n

Zwar gibt es die Diagnose \u201eKI-Psychose\u201c bisher nicht als klinische Klassifizierung, trotzdem verwenden \u00c4rzte diesen Begriff bereits<\/a>. Er beschreibt Patienten, die \u00fcber Halluzinationen, desorganisiertes Denken und anhaltende wahnhafte Vorstellungen klagen, die auf intensive Chatbot-Interaktionen zur\u00fcckgehen. Die gr\u00f6\u00dften Risiken entstehen, wenn ein Bot nicht als Werkzeug verwendet wird, sondern echte soziale Kontakte oder professionelle psychologische Hilfe ersetzen soll.<\/p>\n

So sch\u00fctzt du dich und deine Familie<\/h2>\n

Dies ist nat\u00fcrlich kein Grund, die KI komplett zu verbannen. Es ist aber sehr wichtig zu wissen, wie man sie benutzt. Wir empfehlen die folgenden Prinzipien:<\/p>\n