{"id":31244,"date":"2024-05-13T11:02:01","date_gmt":"2024-05-13T09:02:01","guid":{"rendered":"https:\/\/www.kaspersky.de\/blog\/?p=31244"},"modified":"2024-05-13T11:02:01","modified_gmt":"2024-05-13T09:02:01","slug":"ai-chatbot-side-channel-attack","status":"publish","type":"post","link":"https:\/\/www.kaspersky.de\/blog\/ai-chatbot-side-channel-attack\/31244\/","title":{"rendered":"So k\u00f6nnen Hacker deine Chats mit ChatGPT oder Microsoft Copilot lesen"},"content":{"rendered":"

Israelische Forscher aus dem Offensive AI Lab beschreiben in einem Paper<\/a>, wie sich Texte aus abgefangenen KI-Chatbot-Nachrichten wiederherstellen lassen. Wir schauen uns an, wie dieser Angriff funktioniert und wie gef\u00e4hrlich er tats\u00e4chlich ist.<\/p>\n

Welche Informationen k\u00f6nnen aus abgefangenen KI-Chatbot-Nachrichten extrahiert werden?<\/h2>\n

Nat\u00fcrlich verschl\u00fcsseln Chatbots ihre Nachrichten vor dem Senden. Dennoch enthalten die Implementierung gro\u00dfer Sprachmodelle<\/a> (LLMs) und die darauf basierenden Chatbots einige Funktionen, die die Verschl\u00fcsselung massiv schw\u00e4chen. Die Kombination dieser Funktionen erm\u00f6glicht einen Seitenkanalangriff<\/a>, durch den der Inhalt einer Nachricht aus den durchgesickerten Fragmenten wiederhergestellt werden kann.<\/p>\n

Was passiert bei diesem Angriff? Um das zu verstehen, m\u00fcssen wir die LLM- und Chatbot-Mechanik etwas genauer unter die Lupe nehmen. Zun\u00e4chst<\/strong> musst du wissen, dass LLMs nicht mit einzelnen Zeichen oder W\u00f6rtern arbeiten, sondern mit Token \u2013 also mit semantischen Texteinheiten. Die Seite Tokenizer<\/a> auf der OpenAI-Website bietet einen Einblick in die Funktionsweise.<\/p>\n

\"Beispiel<\/a>

Dieses Beispiel zeigt, wie die Tokenisierung von Nachrichten mit den Modellen GPT-3.5 und GPT-4 funktioniert. Quelle<\/a><\/p><\/div>\n

\u00a0<\/p>\n

Die zweite<\/strong> Funktion, die diesen Angriff erm\u00f6glicht, kennst du bereits, wenn du schon mal KI-Chatbots verwendet hast: Chatbots senden Antworten nicht in gro\u00dfen Bl\u00f6cken, sondern nach und nach \u2013 fast so, als w\u00fcrde eine Person schreiben. Im Gegensatz zu einer Person geben LLMs jedoch Token aus \u2013 nicht einzelne Zeichen. Chatbots senden die generierten Token nacheinander in Echtzeit. Oder besser gesagt, die meisten Chatbots tun dies: Eine Ausnahme bildet Google Gemini, was den Chatbot f\u00fcr diesen Angriff unverwundbar macht.<\/p>\n

Und die dritte<\/strong> Besonderheit: Zum Zeitpunkt der Ver\u00f6ffentlichung des Artikels verwendeten die meisten Chatbots vor der Verschl\u00fcsselung einer Nachricht keine Komprimierung, Kodierung oder Padding<\/a> (dabei werden F\u00fclldaten an sinnvollen Text angeh\u00e4ngt, um die Vorhersehbarkeit zu reduzieren und die Kryptografie zu st\u00e4rken).<\/p>\n

Seitenkanalangriffe nutzen alle drei genannten Besonderheiten aus. Abgefangene Chatbot-Nachrichten k\u00f6nnen zwar nicht entschl\u00fcsselt<\/em> werden, Angreifer k\u00f6nnen jedoch n\u00fctzliche Daten daraus extrahieren \u2013 insbesondere die L\u00e4nge der vom Chatbot gesendeten Token. Das Ergebnis \u00e4hnelt einem W\u00f6rterr\u00e4tsel: Man sieht zwar nicht, was genau verschl\u00fcsselt ist, aber die L\u00e4nge der einzelnen W\u00f6rter<\/span> Token ist bekannt.<\/p>\n

\"Angreifer<\/a>

Obwohl die Nachricht nicht entschl\u00fcsselt werden kann, k\u00f6nnen Angreifer die L\u00e4nge der vom Chatbot gesendeten Token ermitteln. Das Ergebnis \u00e4hnelt einer versteckten Phrase bei einem Ratespiel mit W\u00f6rtern. Quelle<\/a><\/p><\/div>\n

\u00a0<\/p>\n

Nachrichtentext anhand extrahierter Informationen wiederherstellen<\/h2>\n

Jetzt muss man nur noch erraten, welche W\u00f6rter sich hinter den Token verbergen. Und kaum zu glauben, wer bei solchen Ratespielen besonders gut ist \u2013 nat\u00fcrlich LLMs<\/a>. Tats\u00e4chlich ist der Hauptzweck gro\u00dfer Sprachmodelle, in einem gegebenen Kontext die richtigen W\u00f6rter zu erraten. Um den Text der urspr\u00fcnglichen Nachricht aus der ermittelten Abfolge von Token-L\u00e4ngen wiederherzustellen, nutzten die Forscher ein LLM\u00a0\u2026<\/p>\n

Oder, um genau zu sein, zwei LLMs. Die Forscher erkannten n\u00e4mlich, dass die einleitenden Nachrichten in Chatbots-Gespr\u00e4chen meist \u00e4hnlich sind. Ein speziell auf solche Chatbot-Einleitungen trainiertes Modell kann sie darum leicht erraten. Das erste Modell wird also verwendet, um die Einleitungen wiederherzustellen. Das Ergebnis geht an das zweite Modell, das sich um den Rest der Konversation k\u00fcmmert.<\/p>\n

\"\u00dcberblick<\/a>

Allgemeines Schema des Angriffs. Quelle<\/a><\/p><\/div>\n

\u00a0<\/p>\n

Es wird ein Text erzeugt, dessen Token-L\u00e4ngen denen in der urspr\u00fcnglichen Nachricht entspricht. Die Erfolgsrate ist jedoch recht unterschiedlich. Eine perfekte \u00dcbereinstimmung zwischen der wiederhergestellten Nachricht und dem Original ist relativ selten \u2013 normalerweise wird ein Teil des Textes falsch erraten. Manchmal ist das Ergebnis zufriedenstellend:<\/p>\n

\"Beispiel<\/a>

In diesem Beispiel kommt der wiederhergestellte Text dem Original ziemlich nah. Quelle<\/a><\/p><\/div>\n

\u00a0<\/p>\n

Aber auch das Gegenteil ist m\u00f6glich. Dann hat der rekonstruierte Text wenig oder gar nichts mit dem Original gemeinsam. Das Ergebnis kann beispielsweise so aussehen:<\/p>\n

\"Beispiel<\/a>

Hier l\u00e4sst das R\u00e4tselraten zu w\u00fcnschen \u00fcbrig. Quelle<\/a><\/p><\/div>\n

\u00a0<\/p>\n

Oder auch so:<\/p>\n

\"Beispiel<\/a>

Wie man so sch\u00f6n sagt: Knapp daneben ist auch vorbei. Quelle<\/a><\/p><\/div>\n

\u00a0<\/p>\n

Insgesamt untersuchten die Forscher \u00fcber ein Dutzend KI-Chatbots und stellten fest, dass die meisten von ihnen anf\u00e4llig f\u00fcr diesen Angriff sind. Ausnahmen bilden Google Gemini (zuvor Bard) und GitHub Copilot (nicht zu verwechseln mit Microsoft Copilot).<\/p>\n

\"Liste<\/a>

Zum Zeitpunkt der Ver\u00f6ffentlichung unseres Artikels waren viele Chatbots f\u00fcr den Angriff anf\u00e4llig. Quelle<\/a><\/p><\/div>\n

\u00a0<\/p>\n

Wie gef\u00e4hrlich ist das?<\/h2>\n

Zun\u00e4chst einmal wurde dieser Angriff in der Vergangenheit ausgef\u00fchrt. Nehmen wir einmal an, jemand hat sich die M\u00fche gemacht, deine ChatGPT-Konversationen abzufangen und zu speichern (was nicht ganz einfach ist, aber durchaus m\u00f6glich), und die Chats enthalten empfindliche Geheimnisse. In diesem Fall k\u00f6nnten die Nachrichten mit der beschriebenen Methode theoretisch<\/em> gelesen werden.<\/p>\n

Zum Gl\u00fcck sind die Erfolgschancen nicht allzu hoch: Die Forscher stellten fest, dass sich das allgemeine Gespr\u00e4chsthema nur in 55\u00a0% der F\u00e4lle bestimmen lie\u00df. Eine erfolgreiche Rekonstruktion gelang nur bei 29\u00a0%. Dabei m\u00fcssen auch die Kriterien beachtet werden, die die Forscher f\u00fcr eine vollst\u00e4ndig erfolgreiche Rekonstruktion anlegten. Hier ein Beispiel:<\/p>\n

\"Beispiel<\/a>

Beispiel f\u00fcr eine Textrekonstruktion, die von den Forschern als vollst\u00e4ndig erfolgreich eingestuft wurde. Quelle<\/a><\/p><\/div>\n

\u00a0<\/p>\n

Wie wichtig solche semantischen Nuancen sind, darf jeder selbst entscheiden. Ebenso bedeutsam ist, dass mit dieser Methode h\u00f6chstwahrscheinlich keine spezifischen Daten (Namen, Zahlen, Datum, Adressen, Kontaktdaten und andere wichtige<\/em> Informationen) extrahiert werden k\u00f6nnen \u2013 zumindest nicht mit ausreichender Zuverl\u00e4ssigkeit.<\/p>\n

Der Angriff hat eine weitere Einschr\u00e4nkung, die in der Studie gar nicht erw\u00e4hnt wird: Der Erfolg der Textwiederherstellung h\u00e4ngt stark von der Sprache ab, in der die abgefangenen Nachrichten verfasst sind. Je nach Sprache gibt es n\u00e4mlich relativ gro\u00dfe Unterschiede bei der Tokenisierung. Dieser Artikel konzentriert sich auf das Englische, das sich durch sehr lange Token auszeichnet, die gew\u00f6hnlich einem ganzen Wort entsprechen. Der tokenisierte englische Text weist daher bestimmte Muster auf, die eine Rekonstruktion relativ einfach machen.<\/p>\n

F\u00fcr alle anderen Sprache ist es wesentlich schwieriger. Selbst f\u00fcr die Sprachen der germanischen und romanischen Gruppen, die dem Englischen am \u00e4hnlichsten sind, ist die durchschnittliche Token-L\u00e4nge eineinhalb bis zweimal k\u00fcrzer. Und f\u00fcr das Russische sogar um das 2,5-fache: Ein typisches russisches Token ist nur wenige Zeichen lang, was die Effektivit\u00e4t dieses Angriffs wahrscheinlich drastisch reduzieren w\u00fcrde.<\/p>\n

\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Beispiele\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTexte in verschiedenen Sprachen werden unterschiedlich tokenisiert. Ein Beispiel f\u00fcr Englisch \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Beispiele\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTexte in verschiedenen Sprachen werden unterschiedlich tokenisiert. Ein Beispiel f\u00fcr Deutsch \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Beispiele\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTexte in verschiedenen Sprachen werden unterschiedlich tokenisiert. Ein Beispiel f\u00fcr Russisch \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl>
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t\t\t\"Beispiele\n\t\t\t\t\t\t\t\t\t<\/a>\n\t\t\t\t\t\t\t\t<\/dt>\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\tTexte in verschiedenen Sprachen werden unterschiedlich tokenisiert. Ein Beispiel f\u00fcr Hebr\u00e4isch \n\t\t\t\t\t\t\t\t<\/dd>\n\t\t\t\t\t\t\t<\/dl><\/div>\n

\u00a0<\/p>\n

Inzwischen haben schon mindestens zwei KI-Chatbot-Entwickler \u2013 Cloudflare und OpenAI \u2013 auf die Studie reagiert und die oben erw\u00e4hnte Padding-Methode hinzugef\u00fcgt, die speziell f\u00fcr diese Bedrohungsart entwickelt wurde. Andere Chatbot-Entwickler werden nachziehen. Und hoffentlich wird dieser Angriff k\u00fcnftig keine Gefahr mehr f\u00fcr die Kommunikation mit Chatbots darstellen.<\/p>\n\n","protected":false},"excerpt":{"rendered":"

Wie Hacker Chatbot-Funktionen nutzen, um verschl\u00fcsselte Chats aus OpenAI ChatGPT, Microsoft Copilot und den meisten anderen KI-Chatbots wiederherzustellen.<\/p>\n","protected":false},"author":2726,"featured_media":31253,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[2711,2287],"tags":[31,274,2249,4028,4141,1520,1449,2360,25,4140,1653,645,156],"class_list":{"0":"post-31244","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-threats","8":"category-technology","9":"tag-angriffe","10":"tag-bedrohungen","11":"tag-chatbots","12":"tag-chatgpt","13":"tag-copilot","14":"tag-ki","15":"tag-kryptografie","16":"tag-maschinelles-lernen","17":"tag-microsoft","18":"tag-openai","19":"tag-security","20":"tag-technologie","21":"tag-verschlusselung"},"hreflang":[{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/ai-chatbot-side-channel-attack\/31244\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/ai-chatbot-side-channel-attack\/27365\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/22693\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/11629\/"},{"hreflang":"en-us","url":"https:\/\/usa.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/30042\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/ai-chatbot-side-channel-attack\/27523\/"},{"hreflang":"es-mx","url":"https:\/\/latam.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/27340\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/ai-chatbot-side-channel-attack\/29998\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/ai-chatbot-side-channel-attack\/28811\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/ai-chatbot-side-channel-attack\/37315\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/ai-chatbot-side-channel-attack\/12312\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/ai-chatbot-side-channel-attack\/51064\/"},{"hreflang":"fr","url":"https:\/\/www.kaspersky.fr\/blog\/ai-chatbot-side-channel-attack\/21841\/"},{"hreflang":"pt-br","url":"https:\/\/www.kaspersky.com.br\/blog\/ai-chatbot-side-channel-attack\/22582\/"},{"hreflang":"ja","url":"https:\/\/blog.kaspersky.co.jp\/ai-chatbot-side-channel-attack\/36301\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/ai-chatbot-side-channel-attack\/27666\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/ai-chatbot-side-channel-attack\/33525\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/ai-chatbot-side-channel-attack\/33188\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.de\/blog\/tag\/ki\/","name":"KI"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/31244","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/users\/2726"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/comments?post=31244"}],"version-history":[{"count":1,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/31244\/revisions"}],"predecessor-version":[{"id":31254,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/31244\/revisions\/31254"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/media\/31253"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/media?parent=31244"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/categories?post=31244"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/tags?post=31244"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}