Solution

Trusted AI

KI scheitert selten an der Technologie, sondern am fehlenden Vertrauen. Wir machen Ihre KI-Systeme und KI-Agenten rechtskonform, technisch belastbar und ethisch verantwortbar. So werden aus Pilotprojekten Produktivsysteme, denen Mitarbeitende und Kunden vertrauen.

Vertrauen ist der Engpass, nicht die Technologie

38 % der großen Unternehmen haben generative KI bereits in den Betrieb gebracht, sechs von zehn erproben KI-Agenten. Je autonomer das System, desto größer der Schaden im Fehlerfall: Ein Agent, der eigenständig Freigaben erteilt, Zahlungen anstößt oder Daten ändert, braucht klare Grenzen, eine lückenlose Nachvollziehbarkeit und einen Menschen, der eingreifen kann.

Das Vertrauen hält damit nicht Schritt: Nur 41 % der CEOs, CFOs und COOs vertrauen KI bei strategischen Entscheidungen überdurchschnittlich. Als größte Hürden nennen die CXOs rechtliche und Sicherheitsrisiken sowie die schwierige Erklärbarkeit von KI-gestützten Entscheidungen.

Gleichzeitig steigen die Anforderungen. Der EU AI Act ist in Kraft: Verbotene Praktiken und die Pflicht zur KI-Kompetenz gelten bereits. Die Pflichten für Hochrisiko-Systeme folgen nach dem Digital Omnibus ab Dezember 2027 bzw. August 2028. Hinzu kommen DSGVO, Data Act, DSA/DMA und die neue Produkthaftungsrichtlinie. Bei Verstößen gegen den AI Act drohen Bußgelder von bis zu 35 Mio. Euro oder 7 % des weltweiten Jahresumsatzes.

Die verschobenen Fristen verschaffen Zeit, Governance aufzubauen, bevor Hochrisiko-Systeme produktiv gehen. Wer erst 2027 anfängt, muss laufende Systeme nachträglich umbauen.

41%
der CEOs, CFOs und COOs vertrauen KI bei Entscheidungen überdurchschnittlich
Capgemini Research Institute, 2026
2/3
der CXOs wünschen sich klarere Governance- und Verantwortungsstrukturen
Capgemini Research Institute, 2026
27%
Vertrauen in vollständig autonome KI-Agenten (Vorjahr: 43 %)
Capgemini Research Institute, 2025

Unser Verständnis: Drei Säulen vertrauenswürdiger KI

Ein rechtskonformes System, das unzuverlässig arbeitet, verliert seine Nutzer. Ein technisch robustes System ohne klare Verantwortung verliert seine Legitimität. Deshalb bearbeiten wir alle drei Säulen in jedem Projekt gemeinsam.

Lawful AI

Rechtskonform von Anfang an.

Wir übersetzen EU AI Act, DSGVO, Data Act und branchenspezifische Vorgaben in konkrete Prozesse, Rollen und technische Anforderungen. Das nennen wir Legal Engineering: Juristen definieren die Anforderung, Ingenieure setzen sie um, von der KI-Inventur und der Risikoklassifizierung bis zur Konformitätsdokumentation.
Robust AI

Belastbar im Betrieb.

Wir sichern KI entlang des gesamten Lebenszyklus ab: repräsentative und nachvollziehbare Daten, systematisch getestete Modelle, kontrollierte Deployments, Guardrails und kontinuierliches Monitoring auf Drift, Halluzinationen und Fehlverhalten. Das gilt für klassisches Machine Learning, generative KI und KI-Agenten.
Ethical AI

Verantwortbar für Mensch und Umwelt.

Wir verankern Fairness, klare Verantwortlichkeit und Nachhaltigkeit: Bias-Analysen, Erklärbarkeit, definierte Eingriffsrechte des Menschen (Human-in-, -on- und -out-of-the-Loop) und einen bewussten Umgang mit dem Energie- und Ressourcenbedarf von KI.

Unser Ansatz: Assess – Adapt – Adopt

Am Ende steht ein Betriebsmodell: Rollen, Prozesse und technische Kontrollen, die mit jedem neuen KI-System mitwachsen. Dafür arbeiten wir in drei Phasen, parallel für alle drei Säulen und angepasst an Ihren Ausgangspunkt.

Phase 1: Assess

Transparenz schaffen

Wir erfassen Ihre KI-Landschaft und die bestehenden Governance-Strukturen, führen eine Gap-Analyse gegen den EU AI Act durch, bewerten Datenqualität und Risiken über alle Architekturebenen und legen eine Ausgangsbasis für Fairness und Nachhaltigkeit fest.

Ergebnis: Sie wissen, wo Sie stehen und welche Risiken zuerst adressiert werden müssen.

Governance gestalten & bauen

Wir definieren das Zielbild: Rollen, Entscheidungsrechte, Richtlinien, Freigabe- und Eskalationsprozesse. Parallel entstehen die technischen Bausteine wie konforme Daten- und Modellpipelines, Guardrails, Validierung und Dokumentation.

Ergebnis: ein Governance-Blueprint, nach dem jedes KI-System freigegeben, betrieben und überwacht wird.

Im Betrieb verankern

Wir integrieren die Governance in Ihr Operating Model, setzen kontinuierliches Monitoring, Audit Trails und Incident Response auf und behalten regulatorische Entwicklungen im Blick. Setzen Sie KI-Agenten ein, ergänzen wir Laufzeitkontrollen wie Freigaben für kritische Aktionen und lückenlose Protokollierung; den vollständigen Rahmen dafür liefert unser Angebot Agentic AI Governance.

Ergebnis: Kontrollen, die im Produktivbetrieb automatisch greifen und bei Vorfällen eine definierte Reaktion auslösen.

Über alle Phasen hinweg begleiten wir Change Management, KI-Kompetenzaufbau (AI Literacy) und die Abstimmung mit Ihren Stakeholdern. Regeln, die die Fachbereiche nicht kennen, werden umgangen.

Kundenprojekte

Wir setzen Trusted AI in regulierten und kritischen Umgebungen um: in der öffentlichen Verwaltung, bei Betreibern kritischer Infrastruktur und in regulierten Branchen wie Finanzdienstleistung und Industrie.

KI verkürzt Genehmigungsverfahren in der Bundesverwaltung. Die Verfahren überschritten regelmäßig die gesetzlichen Fristen, bei wachsendem Fachkräftemangel. Wir haben eine KI-Lösung entwickelt, die das Verfahren durchgängig unterstützt. Ein integriertes Validierungs-Framework sichert Robustheit, Erklärbarkeit und rechtliche Belastbarkeit, und klare Human-in-the-Loop-Kontrollen sichern die Entscheidungsqualität. Das Ergebnis ist eine wiederverwendbare Plattform für weitere Verwaltungsverfahren, ausgezeichnet als „Best Use of AI in Government Services“ beim World Government Summit.

Governance-Programm mit 20 Arbeitspaketen für einen KRITIS-Betreiber. Ein europäischer Betreiber kritischer Infrastruktur hatte weder eine unternehmensweite KI-Richtlinie noch eine KI-Inventur. Wir haben mehr als 80 Dokumente gegen den EU AI Act analysiert, ein dreiphasiges Governance-Programm aufgesetzt und 20 priorisierte Arbeitspakete definiert, inklusive eines Kontroll-Frameworks für alle Risikoklassen.

Sustainable-AI-Leitfaden für eine KI-Plattform mit rund 1 Million Nutzern. Ein IT-Dienstleister der öffentlichen Hand betreibt eine KI-Plattform für rund 200 Behörden. Mit der Nachfrage stiegen Energieverbrauch und Rechenzentrumskosten, bei gleichzeitig strengen Vorgaben zu Nachhaltigkeit, Souveränität und Wiederverwendbarkeit. Wir haben einen praxisnahen Leitfaden für nachhaltige KI entwickelt, von Anforderungen an KI-Systeme über ressourceneffiziente Entwicklung bis zu sparsamem Prompting, und die Nachhaltigkeitsfunktionen direkt in die Plattform integriert. Ergebnis: weniger Rechenlast und Energieverbrauch, geringere CO₂-Emissionen und Infrastrukturkosten.

Warum Capgemini

  • Recht und Technologie aus einer Hand: Legal Engineers, KI-Governance-Experten, Data Scientists und KI-Ingenieure arbeiten in einem Team, sodass eine juristische Anforderung direkt als technische Kontrolle umgesetzt wird.
  • Ende-zu-Ende-Umsetzung: Als Teil der Capgemini-Gruppe begleiten wir Sie von der Strategie bis zum Betrieb, mit Branchen-, Daten- und Engineering-Kompetenz.
  • Erfahrung mit europäischer Regulierung: Seit über 30 Jahren arbeiten wir für die Europäische Kommission.
  • Anerkannte Führungsrolle: Capgemini ist Leader in The Forrester Wave™: AI Services, Q2 2024.

    RAISE – Reliable AI Solution Engineering

    RAISE – Reliable AI Solution Engineering: Generative KI und KI-Agenten sicher, kontrolliert und wirtschaftlich in den Betrieb bringen.

    Mehr erfahren

    EU AI Act compliance

    EU AI Act: Pflichten verstehen, Fristen nutzen, Konformität nachweisbar machen.

    Mehr erfahren

      Studien & Reports

      Report

      Der langfristige KI-Vorsprung: So entsteht das Unternehmen der Zukunft 

      capgemini-research-institute capgemini-research-institute
      Capgemini Research Institute

      KI-Agenten

      capgemini-research-institute capgemini-research-institute
      Research brief

      Inside the C-Suite: Wie KI strategische Entscheidungsprozesse auf der Führungsebene neu definiert 

      capgemini-research-institute capgemini-research-institute

      The Trusted AI Orchestra

      Vertrauensbildung in einer Welt der KI-Agenten

      Unsere Experten

      Oliver Stuke

      Oliver Stuke

      Senior Director | Enterprise Data & Analytics, Capgemini Invent
      Oliver Stuke verantwortet den Bereich des öffentlichen Sektors innerhalb der Daten-bezogenen Geschäftsfelds bei Capgemini Invent. Insbesondere verantwortet er dabei auch die Themenentwicklung und Projektarbeit rund um Datenökosysteme, rechtskonforme Datennutzung (Legal Engineering) und Datenpolitik – oft in enger Abstimmung mit Kunden, internationalen Partnern und Verbänden wie D21 oder dem Bund deutscher Unternehmensberatungen.
      Moritz von Negenborn

      Moritz von Negenborn

      Manager | AI Governance & Legal Engineering Germany, Capgemini Invent
      Mit seinem Hintergrund in Informatik und Human-Centered AI verbindet Moritz von Negenborn technologische Expertise mit einem tiefen Verständnis für die gesellschaftlichen und wirtschaftlichen Auswirkungen von KI. Mit langjähriger Berufserfahrung in AI Governance, Responsible AI und Projektmanagement sorgt er dafür, dass KI-Projekte nicht nur technisch robust, sondern auch verantwortungsvoll und zukunftsfähig umgesetzt werden.
      Dr. Raphael Krause

      Dr. Raphael Krause

      Managing AI Architect & Data Scientist | Insights & Data, Capgemini
      Dr. Raphael Krause ist KI-Architekt und Data Scientist bei Capgemini Insights & Data mit Spezialisierung in der Umsetzung von vertrauensvollen KI. Raphael berät und unterstützt Kunden bei der Ausarbeitung von datengetriebenen Lösungen & Strategien, insbesondere in der technischen Umsetzung und Einsatz von vertrauensvoller KI & KI-Governance. Raphael ist Lead für Trustworthy AI, sowie Referent und Trainer. Er hat Abschlüsse als zertifizierter Data Scientist und ist promovierter Hochenergie- und Astroteilchenphysiker.

        FAQs

        Trusted AI bezeichnet KI, die rechtskonform (Lawful), technisch belastbar (Robust) und ethisch verantwortbar (Ethical) ist. Erst wenn alle drei Dimensionen erfüllt sind, vertrauen Nutzer, Management und Aufsicht einem KI-System so weit, dass es skaliert werden kann.

        Der EU AI Act ist seit August 2024 in Kraft. Verbote bestimmter KI-Praktiken und die Pflicht zur KI-Kompetenz gelten bereits, ebenso die Regeln für General-Purpose-AI-Modelle. Nach dem Digital Omnibus gelten die Pflichten für Hochrisiko-Systeme nach Anhang III ab Dezember 2027, für KI in regulierten Produkten ab August 2028.

        Nein. Klare Regeln, Rollen und Freigabewege geben Teams Sicherheit, reduzieren blockierte Projekte und beschleunigen den Weg vom Pilot in den Betrieb. 53 % der Unternehmen sehen stärkere Governance als einen der wirksamsten Hebel, um KI-Adoption zu beschleunigen.

        Das hängt von Ausgangslage und Umfang ab. Eine erste Standortbestimmung mit Gap-Analyse liegt typischerweise nach wenigen Wochen vor. Der Aufbau eines vollständigen Betriebsmodells über alle drei Säulen erfolgt schrittweise in den Phasen Assess, Adapt und Adopt.