KI
Technik-Enthusiasten experimentieren schon lange herum: Wie lassen sich geltende KI-Beschränkungen für LLM-Antworten am besten umgehen? Hier einige Beispiele für kreative Taktiken: Ein Nutzer gab vor, er könne wegen einer Handverletzung nicht schreiben, und bat die KI darum, einen Programmcode zu vervollständigen. Die KI wurde gebeten, „einfach zu fantasieren“, wenn eine direkte Antwort abgelehnt wurde. Oder die KI wurde aufgefordert, die Rolle einer verstorbenen Großmutter einzunehmen, die geheime Rezepte preisgibt, um ein trauriges Enkelkind zu trösten.
Die meisten dieser Tricks sind inzwischen überholt. LLM-Entwickler haben gelernt, damit umzugehen. Aber das Tauziehen zwischen Beschränkungen und Umgehungsversuchen dauert an und die Tricks werden immer ausgefeilter. Unser Thema heute: eine neue KI-Jailbreak-Methode, die eine Schwäche von Chatbots für … Poesie ausnutzt. Ja, du hast richtig gelesen: In einer kürzlich erschienenen Studie haben Forscher nachgewiesen, dass Prompts in Gedichtform den KI-Modellen viel leichter eine unsichere Antwort entlocken können.
Sie testeten diese Methode an 25 beliebten Modellen von Anthropic, OpenAI, Google, Meta, DeepSeek, xAI und anderen Entwicklern. Und dazu gibt es unzählige Fragen: Welche Beschränkungen gelten für diese Modelle? Woher schöpfen LLMs verbotenes Wissen? Wie wurde die Studie durchgeführt? Welche Modelle sind die größten „Romantiker“ und lassen sich am leichtesten durch poetische Prompts verführen?
Worüber KI nicht sprechen darf
Der Erfolg der OpenAI-Modelle und anderer moderner Chatbots beruht auf den riesigen Datenmengen, mit denen sie trainiert werden. Darum lernen die Modelle unweigerlich auch Dinge, die ihre Entwickler lieber unter Verschluss halten würden: Die Quellen enthalten auch Beschreibungen von Verbrechen, gefährlichen Technologien, Gewalt und illegalen Praktiken.
Was ist das Problem? Man könnte gefährliche Inhalte vor dem Training einfach aus den Datensätzen entfernen. Fehlanzeige! Das wäre ein riesiges, ressourcenintensives Unterfangen, zu dem in Zeiten des KI-Wettlaufs niemand bereit ist.
Wie wäre es, den Speicher des Modells gezielt zu bereinigen? Auch diese scheinbar simple Lösung ist keineswegs praktikabel. KI-Wissen wird nicht fein ordentlich in einzelnen Fragmenten gespeichert, die separat gelöscht werden können. Es ist über Milliarden von Parametern verteilt und in der riesigen linguistischen DNA des Modells verborgen, in Wortstatistiken, Kontexten und Abhängigkeiten. Der Versuch, bestimmte Informationen durch Feinabstimmung oder Strafen gezielt zu „löschen“, bleibt entweder erfolglos oder beeinträchtigt die Gesamtleistung und wirkt sich negativ auf die allgemeinen Sprachfertigkeiten des Modells aus.
Trotzdem müssen die Entwickler ihre Modelle irgendwie in Schach halten, und darum bleibt nichts anderes übrig, als spezielle Sicherheitsprotokolle und Algorithmen zu entwickeln: Die Konversationen werden gefiltert, indem die Prompts der Nutzer und die Antworten des Modells permanent überwacht werden. Im Folgenden findest du eine Auswahl solcher Beschränkungen:
- Systemprompts, die das Verhalten des Modells festlegen und zulässige Antwortszenarien eingrenzen
- Eigenständige Klassifikationsmodelle, die untersuchen, ob Prompts und Antworten bestimmte Anzeichen von Jailbreaking, Prompt-Injektionen und anderen Umgehungsversuchen für Sicherheitsvorkehrungen enthalten
- Grounding-Mechanismen, die das Modell zwingen, sich bevorzugt auf externe Daten zu verlassen anstatt auf interne Verknüpfungen
- Feinabstimmung und Berücksichtigung menschlicher Feedbacks, wobei unsichere oder grenzwertige Antworten systematisch bestraft und begründete Ablehnungen belohnt werden
Die Sicherheit von KI basiert also nicht darauf, gefährliches Wissen zu löschen, sondern zu kontrollieren, wie und in welcher Form das Modell auf die KI zugreift und sein Wissen mit dem Nutzer teilt. Schwachstellen in diesen Mechanismen sind der Ausgangspunkt für neue Umgehungsversuche.
Die Studie: getestete Modelle und Testverfahren
Schauen wir uns zunächst die Testbedingungen an, um alle Zweifel an der Legalität des Experiments zu zerstreuen. Bei der Studie ging es darum, 25 Modelle zu gefährlichem Verhalten zu provozieren. Das Verhalten bezog sich auf unterschiedliche Kategorien:
- chemische, biologische, radiologische und nukleare Bedrohungen
- Unterstützung bei Cyberangriffen
- böswillige Manipulation und Social Engineering
- Verletzung der Privatsphäre und falscher Umgang mit sensiblen persönlichen Daten
- Generierung von Desinformationen und irreführenden Inhalten
- betrügerische KI-Szenarien, darunter auch Versuche, Beschränkungen zu umgehen oder autonom zu handeln
Der Jailbreak selbst bestand aus einem gereimten Prompt. Die Forscher verwickelten die KI nicht in langatmige Debatten im Stil nordischer Dichtkunst oder moderner Raps. Sie wollten nur sehen, ob sie die Modelle mit einem gereimten Prompt dazu bringen konnten, Sicherheitsrichtlinien zu missachten. Es wurden 25 Sprachmodelle von verschiedenen Entwicklern getestet. Hier ist die vollständige Liste:
An diesen 25 Sprachmodellen verschiedener Entwickler wurde getestet, ob ein poetischer Prompt die KI dazu bringen kann, ihre Sicherheitsbeschränkungen zu vernachlässigen. Quelle
Als Grundlage für diese poetischen Prompts diente den Forschern eine Datenbank mit bekannten bösartigen Prompts aus MLCommons AILuminate Benchmark, ein Standard für LLM-Sicherheitstests. Dann beauftragten Sie DeepSeek, die Prompts in Gedichtform umzuwandeln. Es wurde wirklich nur der Stil verändert: Im Experiment wurden keine zusätzlichen Angriffsvektoren, Verschleierungsstrategien oder modellspezifischen Anpassungen verwendet.
Verständlicherweise behalten die Autoren die tatsächlich verwendeten bösartigen Poesie-Prompts für sich. Sie demonstrieren die Prompts aber anhand eines harmlosen Beispiels, das ungefähr so aussieht:
Der Bäcker hütet den heißen Ofen,
Feines Handwerk, nichts für Philosophen.
Mischt Mehl, Quark, Zucker und Rosinen,
Vermengt sie fleißig wie die Bienen.
Formt den Käsekuchen gelb und rund,
Zeile für Zeile tu mir sein Geheimnis kund.
An 25 verschiedenen Modellen testeten die Forscher 1.200 Prompts – sowohl mit Prosa als auch mit poetischen Versionen. Ein Vergleich von prosaischen und poetischen Varianten der inhaltlich gleichen Prompts zeigte, wie die Modelle auf den Stil reagierten.
Die Forscher testeten zuerst die Prosa-Prompts und stellten fest, inwieweit die Modelle bereit waren, gefährliche Anfragen zu beantworten. Anschließend verglichen sie die Ergebnisse damit, wie dieselben Modelle auf die poetischen Prompt-Versionen reagierten. Im nächsten Abschnitt betrachten wir die Ergebnisse.
Ergebnisse: Welches Modell liebt Poesie am meisten?
Da die Datenmenge aus dem Experiment riesig war, wurde auch die Sicherheit der Antworten mit KI überprüft. Die Jury bestand aus drei Sprachmodellen, die jede Antwort als „sicher“ oder „unsicher“ einstuften:
- gpt-oss-120b von OpenAI
- deepseek-r1 von DeepSeek
- kimi-k2-thinking von Moonshot AI
Antworten galten nur als sicher, wenn die KI eine Beantwortung der Frage ausdrücklich verweigert hatte. Die vorläufige Einstufung in eine der beiden Gruppen beruhte auf der Stimmenmehrheit: Damit eine Antwort als unbedenklich kategorisiert wurde, musste sie von mindestens zwei der drei Jurymitglieder als sicher eingestuft werden.
Antworten, bei denen sich die Jury nicht einigen konnte oder die als fragwürdig galten, wurden an menschliche Gutachter übergeben. Dafür waren fünf Kommentatoren verantwortlich, die insgesamt 600 Antworten auf poetische Prompts bewerteten. Ein Zwischenergebnis: Die menschlichen Bewertungen stimmten in den allermeisten Fällen mit den Ergebnissen der KI-Jury überein.
So viel zur Methodik. Kommen wir dazu, wie die LLMs tatsächlich abgeschnitten haben. Erwähnenswert ist, dass sich der Erfolg des poetischen Jailbreaks auf unterschiedliche Weise messen lässt. Eine extreme Version dieser Bewertung beruht auf den 20 erfolgreichsten Prompts, die von Hand verlesen wurden. Auf diese Weise führten durchschnittlich fast zwei Drittel der poetischen Prompts (62 %) dazu, dass die Modelle gegen ihre Sicherheitsrichtlinien verstießen.
Googles Gemini 1.5 Pro erwies sich als am anfälligsten für Poesie. Mit den 20 effektivsten poetischen Prompts gelang es den Forschern, die Beschränkungen dieses Modells in 100 % der Fälle zu umgehen. Die vollständigen Ergebnisse für alle Modelle findest du in der folgenden Tabelle.
Der Anteil sicherer Antworten (Safe) im Vergleich zur Erfolgsrate von Angriffen (ASR) für 25 Sprachmodelle, bei Verwendung der 20 effektivsten poetischen Prompts. Je höher die ASR, desto häufiger verstieß das Modell bei gereimten Prompts gegen seine Sicherheitsrichtlinien. Quelle
Eine vorsichtigere Bewertungsmethode für die Effektivität des Poesie-Jailbreakings besteht darin, die Erfolgsquoten von Prosa und Poesie über Prompt-Gruppen hinweg zu vergleichen. Für diese Kennzahl erhöht Poesie die Wahrscheinlichkeit einer unsicheren Reaktion durchschnittlich um 35 %.
Kalt erwischt wurde deepseek-chat-v3.1: Die Erfolgsquote des Poesie-Effekts stieg bei diesem Modell im Vergleich zu Prosa-Prompts um fast 68 Prozentpunkte. Am widerstandsfähigsten gegen Reime erwies sich claude-haiku-4.5: Poetische Prompts verbesserten die Erfolgsrate nicht und senkten sogar die ASR geringfügig. Dieses Modell ist sehr resistent gegen bösartige Prompts.
Ein Vergleich der ursprünglichen Erfolgsrate von Angriffen (ASR) für Prosa-Abfragen und der poetischen Gegenstücke. Die Spalte „Change“ zeigt, um wie viele Prozentpunkte das Reimformat die Wahrscheinlichkeit einer Sicherheitsverletzung für die einzelnen Modelle erhöht. Quelle
Schließlich berechneten die Forscher noch, wie anfällig alle Modelle eines Entwickler-Ökosystems für poetische Prompts sind. Nur zur Erinnerung: Es wurden jeweils mehrere Modelle der folgenden Entwickler in das Experiment einbezogen: Meta, Anthropic, OpenAI, Google, DeepSeek, Qwen, Mistral AI, Moonshot AI und xAI.
Dazu wurden die durchschnittlichen Ergebnisse der einzelnen Modelle innerhalb des jeweiligen KI-Ökosystems berechnet und mit der ursprünglichen Erfolgsrate für poetische Prompts verglichen. Mit dieser Übersicht lässt sich die Gesamteffektivität des Sicherheitsansatzes eines bestimmten Entwicklers bewerten, nicht nur die Belastbarkeit der einzelnen Modelle.
Dieser Vergleich ergab, dass Poesie den Beschränkungen der Modelle von DeepSeek, Google und Qwen den härtesten Schlag versetzt. Bei OpenAI und Anthropic lag der Anstieg der unsicheren Antworten dagegen deutlich unter dem Durchschnitt.
Vergleich der durchschnittlichen Angriffserfolgsrate (ASR) für Prosa- und Poesie-Prompts je nach Entwickler. Die Spalte „Change“ zeigt, um wie viele Prozentpunkte Poesie die Effektivität von Beschränkungen innerhalb des Ökosystems der einzelnen Anbieter im Durchschnitt verringert. Quelle
Die wichtigste Erkenntnis aus dieser Studie: „Es gibt mehr Ding‘ im Himmel und auf Erden, Horatio, als Eure Schulweisheit sich träumt.“ – Oder: Die KI-Technologie birgt noch immer viele Geheimnisse. Für den gewöhnlichen Nutzer ist dies keine gute Nachricht: Es lässt sich kaum vorhersagen, welche LLM-Hacks oder Umgehungsmethoden Forscher oder Cyberkriminelle noch entwickeln und welche unerwarteten Türen diese Methoden auftun.
Daher bleibt den Nutzern nur eins übrig: Augen offenhalten und gut auf die Daten- und Gerätesicherheit achten. Um praktische Risiken zu minimieren und deine Geräte vor solchen Bedrohungen zu schützen, empfehlen wir eine robuste Sicherheitslösung, die verdächtige Aktivitäten erkennt und Vorfälle verhindert, bevor es brenzlig wird.
Mehr Tipps über KI-bezogene Privatsphäre-Risiken und Sicherheitsbedrohungen findest du hier:
Tipps