{"id":33963,"date":"2026-11-06T11:40:28","date_gmt":"2026-11-06T09:40:28","guid":{"rendered":"https:\/\/www.kaspersky.de\/blog\/?p=33963"},"modified":"2026-11-12T11:41:28","modified_gmt":"2026-11-12T09:41:28","slug":"adopting-cyberimmunity-for-ai-agent-design-rollout","status":"publish","type":"post","link":"https:\/\/www.kaspersky.de\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/33963\/","title":{"rendered":"Cyberimmunit\u00e4t f\u00fcr KI-Agenten"},"content":{"rendered":"

Schon der Schutz herk\u00f6mmlicher IT ist eine Wissenschaft f\u00fcr sich. Viel schwieriger ist es jedoch bei KI-Systemen \u2013 egal, ob es um Bedienungsfehler, b\u00f6swillige Eingriffe oder instabiles Verhalten geht. Die zwei Hauptgr\u00fcnde: Erstens h\u00e4ngen die Antworten der KI von Wahrscheinlichkeiten ab<\/a>: Ein- und derselbe Prompt kann bei jedem Durchlauf unterschiedliche Ergebnisse liefern. Zweitens k\u00f6nnen LLMs nach wie vor nicht zuverl\u00e4ssig zwischen Befehlen und Daten unterscheiden<\/a>. Wir haben schon mehrfach \u00fcber offensichtliche Sicherheitsprobleme von KI<\/a>-Systemen berichtet. Trotz aller Schwierigkeiten l\u00e4sst sich jedoch der potenzielle wirtschaftliche Nutzen der KI nicht bestreiten. Deshalb wechseln jetzt viele Unternehmen von einfachen KI-Assistenten zu KI-Agenten. Diese Agenten erledigen Aufgaben selbstst\u00e4ndig, k\u00f6nnen direkt auf dieselben Tools wie menschliche Mitarbeiter zugreifen und dadurch beispielsweise Datenbanken auslesen oder die Einstellungen f\u00fcr Produktionsprozesse \u00e4ndern. Unsere Experten haben in einer neuen Studie<\/a> untersucht, wie sich die damit einhergehenden Risiken klar definieren und minimieren lassen, um potenzielle Probleme aufs \u00c4u\u00dferste zu reduzieren. Dabei wurden die Prinzipien der Cyberimmunit\u00e4t und des Secure-by-Design-Ansatzes verwendet und entsprechend angepasst.<\/p>\n

Die Grundprinzipien von Secure by Design<\/h2>\n

Alle Prinzipien dieses Konzepts lassen sich universell auf die Planung beliebiger Computersysteme anwenden. Auch bei KI-Agenten. Unterschiede bestehen lediglich darin, wie stark die einzelnen Prinzipien f\u00fcr KI-Szenarien angepasst und \u00fcberarbeitet werden m\u00fcssen.<\/p>\n

    \n
  1. Sicherheit ist bereits in der Planungsphase ein separater und wichtiger Faktor. Ziele und Grunds\u00e4tze der Sicherheit werden ganz zu Beginn festgelegt und m\u00fcssen in jeder Entwicklungsphase ber\u00fccksichtigt werden. Bei KI-Agenten sollten diese Voraussetzungen drei zentrale Punkte umfassen: (a) Das Sprachmodell wird als nicht vertrauensw\u00fcrdig betrachtet, (b) beliebige externe Daten gelten als potenziell b\u00f6sartig, und (c) irreversible Aktionen d\u00fcrfen nicht autonom ausgef\u00fchrt werden, sondern setzen eine Genehmigung durch Menschen voraus.<\/li>\n
  2. Beim Entwurf eines Systems gilt die Pr\u00e4misse, dass es unbedingt angegriffen wird.<\/li>\n
  3. Trusted Computing Base und Angriffsfl\u00e4che werden auf ein Minimum beschr\u00e4nkt. Agenten erhalten nur die tats\u00e4chlich ben\u00f6tigten Tools, eingeschr\u00e4nkte Berechtigungen und m\u00f6glichst wenig Kontext. Die Durchsetzung von Sicherheitsrichtlinien wird vollst\u00e4ndig von deterministischen Komponenten \u00fcbernommen: von einem Richtlinienmonitor, der Steuerungsumgebung des Agenten (harness) und Isolationsmechanismen (Sandboxen).<\/li>\n
  4. Es gilt das Prinzip der minimalen Berechtigungen. Jeder Agent verf\u00fcgt \u00fcber eigene Anmeldeinformationen und Zugriffsberechtigungen (identity). Diese beschr\u00e4nken sich auf ein absolutes Minimum. Wenn ein Agent vor\u00fcbergehend erweiterte Berechtigungen ben\u00f6tigt, erh\u00e4lt er diese erst nach externer Genehmigung. Solche Ausnahmen gelten nur f\u00fcr die Dauer der jeweiligen Aufgabe.<\/li>\n
  5. Komponenten werden isoliert. In agentenbasierten Systemen ist dies eines der komplexesten und vielschichtigsten Architekturprobleme. Die Steuerungsumgebung des Agenten sollte in einer isolierten Umgebung (Sandbox oder virtuelle Maschine) ausgef\u00fchrt werden, und die Agenten sollten so weit wie m\u00f6glich voneinander isoliert sein. Ebenso bleibt auch die Datenverarbeitung in vertrauensw\u00fcrdigen und nicht vertrauensw\u00fcrdigen Kontexten getrennt. Beispiel: Ein Agent liest einen Pull-Request und erstellt einen Codeentwurf, w\u00e4hrend ein anderer Agent die Ergebnisse \u00fcberpr\u00fcft, ohne den potenziell sch\u00e4dlichen Anfragetext zu sehen.<\/li>\n
  6. Es gilt das \u201eDefault Deny\u201c-Prinzip. Sicherheitsrichtlinien folgen der Regel: Alles, was nicht ausdr\u00fccklich erlaubt ist, ist verboten. Dies bezieht sich auch auf Tool-Aufrufe, Interaktionen zwischen Agenten und den Netzwerkverkehr.<\/li>\n
  7. Der Schutz besteht aus mehreren Schichten (defense in depth). Verschiedene Ma\u00dfnahmen werden synchron eingesetzt und verst\u00e4rken einander. Schutzma\u00dfnahmen, die von Wahrscheinlichkeiten abh\u00e4ngen \u2013 wie KI-Leitplanken (sozusagen die \u201eFirewall\u201c des Sprachmodells) oder Alignment (das Verst\u00e4ndnis des Modells davon, was akzeptabel ist und was nicht) \u2013 k\u00f6nnen keine formalen Sicherheitsgarantien bieten. Dennoch erh\u00f6hen sie die Sicherheit des Gesamtsystems und liefern wertvolle Telemetriedaten.<\/li>\n
  8. Die Lieferkette wird gesch\u00fctzt. Einige Agenten k\u00f6nnen Skills, Bibliotheken und andere Softwarekomponenten ohne fremde Hilfe installieren. Deshalb sind strenge Regeln unerl\u00e4sslich. Diese F\u00e4higkeiten m\u00fcssen entweder vollst\u00e4ndig gesperrt oder auf eine vorab genehmigte Liste f\u00fcr konkrete Versionen bestimmter Komponenten beschr\u00e4nkt werden. Systeme, die auf cloudgest\u00fctzten LLMs basieren, unterliegen aufgrund von Modellaktualisierungen einem zus\u00e4tzlichen Risiko. Es k\u00f6nnte sein, dass eine API-Anfrage von einem anderen Sprachmodell mit anderen Sicherheitseigenschaften beantwortet wird.<\/li>\n<\/ol>\n

    Fallstricke der KI-Sicherheit<\/h2>\n

    Die Grundprinzipien von Secure by Design sind allgemein bekannt und sind theoretisch ganz einfach. Die Anwendung auf KI-Systeme ist jedoch knifflig, da Agenten unglaublich flexibel sind. Ein Sicherheitsteam k\u00f6nnte beispielsweise annehmen, dass ein Agent auf dem Computer eines Entwicklers in einer Sandbox l\u00e4uft und nicht auf externe Ger\u00e4te zugreifen kann. Aber nicht nur ein Angreifer, sondern sogar der Agent selbst hat Dutzende von M\u00f6glichkeiten, um diesen scheinbar soliden Schutz zu umgehen: von der Befehlsausf\u00fchrung \u00fcber einen lokalen MCP-Server, der nicht den Sandbox-Beschr\u00e4nkungen unterliegt, bis hin zur Neukonfiguration eines anderen KI-Agenten<\/a>, der auf dem System installiert ist. Erschwerend kommt hinzu, dass die Bandbreite der Angriffsvektoren enorm ist: Sie reicht von beliebigen Feldern in der Konfiguration des Agenten<\/a> bis hin zu harmlos wirkenden Textzeichenfolgen in einer Skill-Datei<\/a>.<\/p>\n

    Ein ernstes, von Entwicklern oft untersch\u00e4tztes Problem ist die Erm\u00fcdung von Nutzern. Ein stark ausgelasteter KI-Agent kann jede Minute Dutzende von Anfragen anzeigen, die den Nutzer auffordern, potenziell gef\u00e4hrliche Aktionen zu best\u00e4tigen. Irgendwann klickt der Nutzer nur noch mechanisch auf Zulassen<\/em><\/a> und liest Abfragetexte gar nicht mehr. Deshalb m\u00fcssen H\u00e4ufigkeit und Formulierung solcher Anfragen sorgf\u00e4ltig bedacht werden. Sind die Beschreibungen zu lang, werden sie ignoriert. In einer kurzen Beschreibung k\u00f6nnen dagegen wichtige Details fehlen<\/a>, die der Nutzer zur richtigen Entscheidung ben\u00f6tigt.<\/p>\n

    Schwachstellen in Agenten und den zugeh\u00f6rigen Tools sind ein akutes Problem. Es wird dadurch versch\u00e4rft, dass diese Softwarekategorien rasant weiterentwickelt und laufend aktualisiert werden. In branchen\u00fcblichen Plattformen und Apps wie LangGraph<\/a>, MS Semantic Kernel<\/a> und Claude Code<\/a> mussten bereits mehrfach kritische Schwachstellen behoben werden. Architekten sollten nicht auf ein gro\u00dfes multifunktionales Framework setzen, sondern ein kompaktes, schlankes System in Betracht ziehen, das nur die Funktionen bietet, die ein konkreter Agent tats\u00e4chlich ben\u00f6tigt.<\/p>\n

    Dar\u00fcber hinaus k\u00f6nnen in die eingesetzten Tools bew\u00e4hrte Sicherheitsma\u00dfnahmen implementiert werden, wodurch sich F\u00e4lle, bei denen ein Agent angegriffen wird oder sich unerwartet verh\u00e4lt, erheblich entsch\u00e4rfen lassen. Beispiel: eine strenge Allow-Liste mit Dom\u00e4nen, f\u00fcr die WebFetch das \u00d6ffnen auf Anforderung des Agenten erlaubt. H\u00e4ufig lassen Entwickler diese verborgenen Probleme jedoch unber\u00fccksichtigt und wollen zus\u00e4tzlichen Aufwand vermeiden, der mit der Pflege dieser Liste einhergeht. Eine veraltete Liste bietet Angreifern Schlupfl\u00f6cher. Der EchoLeak<\/a>-Angriff ist ein eindr\u00fcckliches Beispiel daf\u00fcr. Obwohl Microsoft 365 Copilot \u00fcber eine korrekt implementierte und wirksame Allow-Liste f\u00fcr den Zugriff auf externe Websites verf\u00fcgte, gelang es Angreifern, die Liste mithilfe einer Funktion in einem sekund\u00e4ren Tool und der MS Teams-Dom\u00e4ne zu umgehen.<\/p>\n

    Praktische Tipps f\u00fcr Architekten und Sicherheitsteams<\/h2>\n

    KI-Systemarchitekten und Leiter von Entwicklungs- und Sicherheitsteams sollten bereits in der Planungsphase ernsthaft \u00fcber die Sicherheit von Agenten nachdenken. \u00dcberpr\u00fcfbare, auf Eindeutigkeit ausgelegte Mechanismen sollten bevorzugt werden: Isolierung von Komponenten, Kontrolle von Interaktionen und maximale Beschr\u00e4nkung der Trusted Computing Base.<\/p>\n

    Zu den wichtigsten Architekturentscheidungen geh\u00f6ren die Definition des zul\u00e4ssigen Autonomiegrads von Agenten, die Beschr\u00e4nkung des Zugriffs auf vertrauliche Daten und riskante Kombinationen von F\u00e4higkeiten sowie der Einsatz von Sandboxen, getrennten Rollen f\u00fcr verschiedene Modelle und Gateways f\u00fcr die Zugriffskontrolle. Nachtr\u00e4glich eingef\u00fchrte Beschr\u00e4nkungen mindern die Risiken zwar, k\u00f6nnen eine sichere Architektur jedoch nicht ersetzen.<\/p>\n

    Auf organisatorischer und operativer Ebene m\u00fcssen Unternehmen ihre Agenten kontinuierlich inventarisieren, ihre Sicherheits- und Bereitstellungsteams koordinieren, Container-Umgebungen sch\u00fctzen, die Lieferkette verwalten (AIBOM) und eine mehrschichtige Abwehr integrieren.<\/p>\n

    Besonders wichtig ist die Beobachtbarkeit. Bei KI-Systemen sollte dies die Protokollierung von Prompts, Antworten und Schlussfolgerungen des LLM sowie detaillierte Telemetriedaten von den Hosts und Cloud-Umgebungen umfassen, in denen das Agenten-Framework ausgef\u00fchrt wird.<\/p>\n

    Die gr\u00f6\u00dfte Herausforderung beim Entwurf von Agenten besteht darin, Sicherheit, Leistung und Nutzen unter einen Hut zu bringen. Wie sich dieses Gleichgewicht mithilfe von Bedrohungsmodellierung und klar definierten Sicherheitszielen erreichen l\u00e4sst, erf\u00e4hrst du in der vollst\u00e4ndigen Version der Studie<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"

    Bei der Einf\u00fchrung von KI-Agenten sind Secure-by-Design-Prinzipien essenziell.<\/p>\n","protected":false},"author":2706,"featured_media":33964,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[1848,3107,3108],"tags":[1520,4227,2360,1653],"class_list":["post-33963","post","type-post","status-publish","format-standard","has-post-thumbnail","category-business","category-enterprise","category-smb","tag-ki","tag-llm","tag-maschinelles-lernen","tag-security"],"hreflang":[{"hreflang":"de","url":"https:\/\/www.kaspersky.de\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/33963\/"},{"hreflang":"en-in","url":"https:\/\/www.kaspersky.co.in\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/31180\/"},{"hreflang":"en-ae","url":"https:\/\/me-en.kaspersky.com\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/26212\/"},{"hreflang":"ar","url":"https:\/\/me.kaspersky.com\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/13770\/"},{"hreflang":"en-gb","url":"https:\/\/www.kaspersky.co.uk\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/31022\/"},{"hreflang":"es","url":"https:\/\/www.kaspersky.es\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/32564\/"},{"hreflang":"it","url":"https:\/\/www.kaspersky.it\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/31109\/"},{"hreflang":"ru","url":"https:\/\/www.kaspersky.ru\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/42919\/"},{"hreflang":"tr","url":"https:\/\/www.kaspersky.com.tr\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/15021\/"},{"hreflang":"x-default","url":"https:\/\/www.kaspersky.com\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/56619\/"},{"hreflang":"ru-kz","url":"https:\/\/blog.kaspersky.kz\/adopting-cyberimmunity-for-ai-agent-design-rollout\/31176\/"},{"hreflang":"en-au","url":"https:\/\/www.kaspersky.com.au\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/36921\/"},{"hreflang":"en-za","url":"https:\/\/www.kaspersky.co.za\/blog\/adopting-cyberimmunity-for-ai-agent-design-rollout\/36592\/"}],"acf":[],"banners":"","maintag":{"url":"https:\/\/www.kaspersky.de\/blog\/tag\/ki\/","name":"KI"},"_links":{"self":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/33963","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/users\/2706"}],"replies":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/comments?post=33963"}],"version-history":[{"count":3,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/33963\/revisions"}],"predecessor-version":[{"id":33967,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/posts\/33963\/revisions\/33967"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/media\/33964"}],"wp:attachment":[{"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/media?parent=33963"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/categories?post=33963"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.kaspersky.de\/blog\/wp-json\/wp\/v2\/tags?post=33963"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}