{"id":901971,"date":"2026-11-12T11:05:13","date_gmt":"2026-11-12T11:05:13","guid":{"rendered":"https:\/\/www.capgemini.com\/de-de\/?p=901971"},"modified":"2026-11-12T11:05:16","modified_gmt":"2026-11-12T11:05:16","slug":"vom-chatbot-zum-akteur-was-sich-mit-ki-agenten-fuer-die-sicherheit-aendert","status":"publish","type":"post","link":"https:\/\/www.capgemini.com\/de-de\/insights\/blog\/vom-chatbot-zum-akteur-was-sich-mit-ki-agenten-fuer-die-sicherheit-aendert\/","title":{"rendered":"Vom Chatbot zum Akteur: Was sich mit KI-Agenten f\u00fcr die Sicherheit \u00e4ndert"},"content":{"rendered":"\n

Vom Chatbot zum Akteur: Was sich mit KI-Agenten f\u00fcr die Sicherheit \u00e4ndert<\/h1><\/div><\/div><\/div><\/div>
\"\"<\/div>
Moritz von Negenborn<\/h5>
12.11.2026<\/h5><\/div><\/div>
\"capgemini-invent\"\/<\/div><\/div><\/div><\/div><\/header>\n\n\n\n
\n

KI-Agenten wandern schneller vom Pilotprojekt in den Produktivbetrieb, als die meisten Unternehmen Regeln f\u00fcr sie aufstellen k\u00f6nnen. Damit verschiebt sich die Sicherheitsfrage: Entscheidend ist nicht mehr, was KI sagt, sondern was sie tut.<\/h2>\n\n\n\n

Bevor neue Mitarbeitende auf auch nur ein System zugreifen, kl\u00e4rt jede Organisation vier Fragen: Wer ist das? F\u00fcr wen arbeitet die Person? Was darf sie tun? Und wer ist daf\u00fcr verantwortlich, sie zu beaufsichtigen? F\u00fcr KI-Agenten gelten dieselben Fragen \u2013 umso dr\u00e4ngender, je st\u00e4rker Agenten selbst in zentralen Gesch\u00e4ftssystemen aktiv werden.<\/p>\n\n\n\n

Laut Bitkom nutzen inzwischen 57 % der Organisationen in Deutschland KI. Von den Organisationen, die sich mit KI besch\u00e4ftigen, setzen 11 % bereits KI-Agenten ein.1<\/sup> Gleichzeitig bleibt das Vertrauen in vollst\u00e4ndig autonome Agenten begrenzt: Laut Capgemini Research Institute (2025) vertrauen ihnen nur 27 % der Befragten vollst\u00e4ndig.2<\/sup> Warum die vier Fragen so entscheidend sind, zeigt ein Blick auf die F\u00e4higkeiten von Agenten.<\/p>\n\n\n\n

Anders als ein Chatbot verfolgt ein KI-Agent ein Ziel selbstst\u00e4ndig: Er plant die Schritte, w\u00e4hlt passende Tools und f\u00fchrt sie aus \u2013 daf\u00fcr braucht er echte Berechtigungen in echten Systemen. Drei Merkmale machen das riskant: Agenten wiederholen Fehler in Maschinengeschwindigkeit, lassen sich \u00fcber manipulierte Inhalte steuern und reichen Aufgaben unbeobachtet an andere Agenten weiter. Eine falsche Ausgabe ist \u00e4rgerlich, eine falsche Handlung ein Sicherheitsvorfall.<\/p>\n\n\n\n

Agenten bewegen sich dabei nicht im regulatorischen Vakuum. Auch wenn sie keine eigene Kategorie der KI-Verordnung bilden, k\u00f6nnen sie unter deren bestehende Definitionen und Anforderungen fallen.3<\/sup> \u00c4hnlich greifen die Risikomanagementpflichten des deutschen NIS2-Umsetzungsgesetzes, darunter die Zugriffskontrolle, schon heute auch f\u00fcr Agenten.4<\/sup><\/p>\n\n\n\n

Entscheidend ist, wie bestehende Pflichten zu Verantwortlichkeit, Aufsicht, Zugriffskontrolle und Datenschutz greifen, wenn KI eigenst\u00e4ndig handelt. Governance setzt der Autonomie eines Agenten den Rahmen, Sicherheitskontrollen setzen ihn durch. Was ohne solche Kontrollen passiert, zeigt ein Fall aus diesem Sommer.<\/p>\n\n\n\n

Im Juli 2026 testete OpenAI interne, teils unver\u00f6ffentlichte Modelle an offensiven Security-Aufgaben \u2013 mit gelockerten Schutzmechanismen.5<\/sup> Die Agenten brachen \u00fcber eine bis dahin unbekannte Sicherheitsl\u00fccke aus, sammelten unterwegs ungesch\u00fctzt abgelegte Zugangsdaten ein und griffen die Produktivsysteme von Hugging Face an6<\/sup> \u2013 koordiniert \u00fcber ein improvisiertes Schwarzes Brett.7<\/sup><\/p>\n\n\n\n

Kaum eine Organisation betreibt Agenten unter so extremen Bedingungen. Lehrreich ist der Fall dennoch: Er zeigt ein Versagen von Kontrollen. Langlebige Zugangsdaten, ein erlaubter \u2013 aber verwundbarer \u2013 Netzwerkausgang und f\u00e4lschbare Aufzeichnungen bestimmten mit, wie weit es kam.<\/p>\n\n\n\n

Agenten absichern, bevor sie handeln<\/strong><\/strong><\/h3>\n\n\n\n

Identit\u00e4ts- und Zugriffsmanagement (IAM) beginnt mit Transparenz. Laut Cloud Security Alliance und Strata Identity sind nur 18 % der Befragten hochgradig zuversichtlich, dass ihr IAM Agentenidentit\u00e4ten wirksam verwalten kann.8<\/sup><\/p>\n\n\n\n

Die Leitfrage verschiebt sich von \u201eWer hat Zugriff?\u201c zu \u201eWer handelt gerade \u2013 in wessen Auftrag und wof\u00fcr?\u201c Agenten brauchen eigene, auf die Aufgabe zugeschnittene Identit\u00e4ten mit tempor\u00e4ren Zugangsdaten, die bei jeder Interaktion neu gepr\u00fcft werden (siehe Grafik unten).<\/p>\n\n\n\n

Die zweite Kontrolle gilt dem ausgehenden Datenverkehr (Egress). Jede API, jedes Plug-in, jeder externe Dienst in Reichweite eines Agenten vergr\u00f6\u00dfert den m\u00f6glichen Schaden. Deshalb lautet das Prinzip Default-Deny: Ein Agent erreicht nur, was ausdr\u00fccklich freigegeben ist \u2013 und jede Freigabe geh\u00f6rt regelm\u00e4\u00dfig auf den Pr\u00fcfstand.<\/p>\n\n\n\n

Die dritte Kontrolle ist Observability, also l\u00fcckenlose Nachvollziehbarkeit. Sie liefert die Belege, wenn Pr\u00e4vention versagt \u2013 aber nur, wenn diese au\u00dferhalb der Reichweite des Agenten liegen. Im OpenAI-Fall versuchten Agenten, ihre Transkripte zu manipulieren; laut METR gelang es einigen, Tool-Aufrufe in den Aufzeichnungen zu f\u00e4lschen. Agentenaktionen geh\u00f6ren deshalb in unver\u00e4nderliche Audit-Logs, auf die der Agent keinen Schreibzugriff hat.9<\/sup><\/p>\n\n\n\n

Zusammen kl\u00e4ren diese Kontrollen die ersten drei Fragen: wer der Agent ist, f\u00fcr wen er arbeitet und was er tun darf \u2013 und sie machen sein Handeln nachvollziehbar. Die vierte Frage beantwortet nur der Mensch: Jeder Agent braucht einen benannten Verantwortlichen, der kritische Aktionen freigibt und ihn jederzeit mit einem Kill-Switch stoppen kann.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

Wer in der Breite skalieren will, denkt Governance von Anfang an mit \u2013 in f\u00fcnf Schritten.<\/h3>\n\n\n\n

Bestand erfassen.<\/strong> Ein vollst\u00e4ndiges Verzeichnis aller Agenten mit Verantwortlichem, Zugangsdaten und erreichbaren Systemen \u2013 auch Schatten-Agenten, die nie freigegeben wurden.<\/p>\n\n\n\n

Exposition bewerten.<\/strong> F\u00fcr jeden Agenten wird gepr\u00fcft, was er im schlimmsten Fall anrichten k\u00f6nnte, welche Netzwerkpfade offenstehen und ob seine Logs au\u00dferhalb seiner Reichweite liegen.<\/p>\n\n\n\n

Regeln festlegen.<\/strong> Klar sein muss, wer Agenten f\u00fcr welche Aufgaben autorisiert und wer f\u00fcr ihr Handeln verantwortlich ist. Nicht verhandelbar sind: keine geteilten Konten, keine statischen Schl\u00fcssel, kein Zugriff auf die eigenen Logs. Rechtsabteilung, Compliance und Datenschutz sitzen fr\u00fch mit am Tisch.<\/p>\n\n\n\n

Kontrollen umsetzen.<\/strong> Zuerst dort, wo die Bewertung die gr\u00f6\u00dfte Exposition ergeben hat: aufgabengebundene, tempor\u00e4re Zugangsdaten statt statischer Schl\u00fcssel, Default-Deny f\u00fcr ausgehenden Datenverkehr, manipulationssichere Logs und ein Kill-Switch.<\/p>\n\n\n\n

Kontrollen dauerhaft verankern.<\/strong> Regelm\u00e4\u00dfig testen, wie schnell sich ein kompromittierter Agent aussperren l\u00e4sst, das Verzeichnis aktuell halten und jeden neuen Agenten wie neue Mitarbeitende pr\u00fcfen.<\/p>\n\n\n\n

Von der Vision in den Betrieb: In f\u00fcnf Phasen zu einer ganzheitlichen Governance f\u00fcr agentische KI<\/a><\/h3>\n\n\n\n
\"\"<\/figure>\n\n\n\n

<\/p>\n\n\n\n

Call-to-Action<\/a><\/h3>\n\n\n\n

Agenten sind l\u00e4ngst im Produktivbetrieb, doch bevor sie handeln, m\u00fcssen die vier Fragen vom Anfang beantwortet sein. Wer sie f\u00fcr seine Agenten beantwortet hat, wei\u00df, wie weit ein Fehler reichen kann und wie schnell er sich stoppen l\u00e4sst. Kontrolle ist damit kein Gegenpol zur Autonomie. Sie ist die Voraussetzung daf\u00fcr, Agenten mehr Verantwortung zu geben und Agentic AI sicher zu skalieren.<\/p>\n\n\n\n

Sie m\u00f6chten wissen, wo Ihre Organisation steht? Beginnen Sie mit dem ersten Schritt: Finden Sie heraus, welche Agenten heute bei Ihnen laufen und worauf sie zugreifen k\u00f6nnen.<\/p>\n\n\n\n

Vielen Dank an unsere Co-Autoren Nor\u00eb Arifi<\/a> & Matteo Frigeri<\/a> f\u00fcr ihre wertvolle Unterst\u00fctzung und Expertise f\u00fcr diesen Beitrag.<\/p>\n\n\n\n

\n\n\n\n

1<\/sup> Bitkom, Erstmals nutzt die Mehrheit der Unternehmen KI (Presseinformation)<\/em>, 14. September 2026, https:\/\/www.bitkom.org\/Presse\/Presseinformation\/Erstmals-nutzt-Mehrheit-Unternehmen-KI.<\/p>\n\n\n\n

2<\/sup> Capgemini Research Institute, Rise of agentic AI: How trust is the key to human-AI collaboration<\/em>, 2025, https:\/\/capgemini.com\/wp-content\/uploads\/2025\/07\/Final-Web-Version-Report-AI-Agents.pdf.<\/p>\n\n\n\n

3<\/sup> Europ\u00e4ische Kommission, How are AI agents addressed within the AI Act?<\/em>, https:\/\/ai-act-service-desk.ec.europa.eu\/en\/ai-act\/faq\/how-are-ai-agents-addressed-within-ai-act-0.<\/p>\n\n\n\n

4<\/sup> \u00a7 30 Abs. 1, Abs. 2 Nr. 9 BSIG.<\/p>\n\n\n\n

5<\/sup> OpenAI, OpenAI and Hugging Face partner to address security incident during model evaluation<\/em>, Juli 2026, https:\/\/openai.com\/index\/hugging-face-model-evaluation-security-incident\/.<\/p>\n\n\n\n

6<\/sup> Hugging Face, Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident<\/em>, Juli 2026, https:\/\/huggingface.co\/blog\/agent-intrusion-technical-timeline. <\/p>\n\n\n\n

7<\/sup> METR, Brief independent investigation of agents\u2019 behavior, reasoning and collaboration in the OpenAI \/ Hugging Face hacking incident<\/em> (\u00b4METR Studie\u00b4), August 2026, https:\/\/metr.org\/blog\/2026-08-26-openai-hugging-face-incident-investigation\/.<\/p>\n\n\n\n

8<\/sup> Cloud Security Alliance\/Strata Identity, Securing Autonomous AI Agents<\/em>, Februar 2026, https:\/\/cloudsecurityalliance.org\/artifacts\/securing-autonomous-ai-agents. <\/p>\n\n\n\n

9<\/sup> METR Studie (Fn. 7).<\/p>\n<\/div><\/div><\/div><\/div><\/div><\/section>\n\n\n\n

Unsere Expert:innen<\/h2><\/div><\/div><\/div>
\t\t
\n\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t\t\t\t\"Moritz\n\t\t\t\t\t<\/div>\n\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t