{"id":862349,"date":"2024-07-03T06:35:59","date_gmt":"2024-07-03T06:35:59","guid":{"rendered":"https:\/\/www.capgemini.com\/de-de\/?p=862349"},"modified":"2026-01-22T07:47:10","modified_gmt":"2026-01-22T07:47:10","slug":"risikomanagement-von-ki-systemen-unter-beruecksichtigung-der-europaeischen-ki-verordnung-ai-act","status":"publish","type":"post","link":"https:\/\/www.capgemini.com\/de-de\/insights\/blog\/risikomanagement-von-ki-systemen-unter-beruecksichtigung-der-europaeischen-ki-verordnung-ai-act\/","title":{"rendered":"Risikomanagement von KI-Systemen unter Ber\u00fccksichtigung der Europ\u00e4ischen KI-Verordnung (AI Act)"},"content":{"rendered":"\n

Risikomanagement von KI-Systemen unter Ber\u00fccksichtigung der Europ\u00e4ischen KI-Verordnung (AI Act)<\/h1><\/div><\/div><\/div><\/div>
\"\"<\/div>
Erden Y\u00fccel<\/h5>
03.07.2024<\/h5><\/div><\/div>
\"capgemini-invent\"\/<\/div><\/div><\/div><\/div><\/header>\n\n\n\n
\n

Risikomanagement bezeichnet den systematischen Prozess der Identifizierung, Bewertung und Kontrolle von Risiken, die mit der Entwicklung, Implementierung und Nutzung von K\u00fcnstlicher Intelligenz (KI) verbunden sind. In der dynamischen Landschaft der KI ist Risikomanagement nicht nur ein gesetzlicher Imperativ, sondern auch eine organisatorische Notwendigkeit. Besonders im Rahmen der neuen europ\u00e4ischen KI-Verordnung (AI Act), speziell Artikel 9, wird die Bedeutung eines robusten Risikomanagementsystems f\u00fcr Hochrisiko-KI-Systeme hervorgehoben. Dieser Blogbeitrag beleuchtet die wesentlichen Aspekte des Risikomanagements, die Unternehmen und Beh\u00f6rden, die KI-Systeme entwickeln, implementieren oder nutzen, kennen und umsetzen sollten.<\/p>\n\n\n\n

K\u00fcnstliche Intelligenz hat unser Leben und unsere Arbeitswelt tiefgreifend ver\u00e4ndert. Von intelligenten Assistenten, die unseren Alltag erleichtern, \u00fcber pr\u00e4diktive Analysen im Gesundheitswesen bis hin zu autonomen Fahrzeugen \u2013 die Anwendungen von KI sind vielseitig und beeinflussen nahezu jeden Aspekt unseres Lebens. Diese weitreichende Nutzung bringt jedoch auch erhebliche Risiken mit sich. Fehlerhafte oder missbr\u00e4uchlich eingesetzte KI-Systeme k\u00f6nnen schwerwiegende Folgen haben, darunter Datenschutzverletzungen, Diskriminierung und sogar physische Sch\u00e4den. Daher ist es von gr\u00f6\u00dfter Bedeutung, ein umfassendes Risikomanagementsystem zu implementieren, um diese Risiken zu identifizieren und zu minimieren.<\/p>\n\n\n\n

Ein effektives Risikomanagement ist essenziell, um die Sicherheit, Gesundheit und Grundrechte der Nutzer sowie der breiteren \u00d6ffentlichkeit zu sch\u00fctzen. Zudem hilft es Organisationen, die mit Hochrisiko-KI-Systemen (f\u00fcr die Aufteilung von KI-Systemen in Risikoklassen siehe unseren Blogbeitrag<\/a> in Zusammenarbeit mit der Kanzlei CMS zum Thema AI Act) arbeiten, ihre rechtlichen Verpflichtungen zu erf\u00fcllen und gleichzeitig das Vertrauen der Nutzer in diese Technologie zu st\u00e4rken. Der AI Act setzt strenge Anforderungen an das Risikomanagement von KI-Systemen, insbesondere f\u00fcr Hochrisiko-KI-Systeme. Artikel 9 des Act verpflichtet Anbieter solcher Systeme, ein kontinuierliches und iteratives Risikomanagementsystem zu etablieren, das den gesamten Lebenszyklus des KI-Systems umfasst.<\/p>\n\n\n\n

Die Notwendigkeit eines solchen Systems ergibt sich allerdings nicht nur aus den gesetzlichen Anforderungen, sondern auch aus der Verantwortung der Organisation, sichere und zuverl\u00e4ssige KI-Systeme bereitzustellen. Dementsprechend bietet sich die Einrichtung eines Risikomanagementsystems auch f\u00fcr KI-Systeme an, die zwar nicht als Hochrisikosysteme im Sinne des KI-Gesetzes eingestuft sind, aber dennoch erhebliche Risiken bergen k\u00f6nnen oder besonders gesch\u00e4ftskritisch sind.<\/p>\n\n\n\n

Der kontinuierliche Prozess des Risikomanagements<\/h2>\n\n\n\n

Es ist schon deutlich geworden, dass nicht nur aufgrund gesetzlicher Vorgaben, sondern auch der potenziellen Risiken und der weit verbreiteten \u00c4ngste in der \u00d6ffentlichkeit ein umfassendes Risikomanagement f\u00fcr alle KI-Systeme sinnvoll und notwendig ist. Das Risikomanagement von KI-Systemen muss als kontinuierlicher Prozess verstanden werden, der vier Hauptschritte umfasst:<\/p>\n\n\n\n

    \n
  1. Risikoidentifizierung<\/li>\n\n\n\n
  2. Risikoanalyse und -bewertung<\/li>\n\n\n\n
  3. Risikominderung<\/li>\n\n\n\n
  4. Kontinuierliche Aktualisierung<\/li>\n<\/ol>\n\n\n\n
    \"\"<\/figure>\n\n\n\n

    Abbildung 1: Vier Schritte des Risikomanagementprozesses <\/em><\/p>\n\n\n\n

    Risikoidentifizierung<\/h2>\n\n\n\n

    Der erste Schritt im Risikomanagement ist die Identifikation von Risiken. Artikel 9 ders Act verlangt, dass alle bekannten und vern\u00fcnftigerweise vorhersehbaren Risiken ermittelt und analysiert werden. Dies umfasst eine breite Palette von Risiken, darunter Sicherheit, Rechte und Freiheiten sowie Gesundheit. Die Identifikation von Risiken kann herausfordernd sein, insbesondere weil KI-Systeme oft komplex und undurchsichtig sind. Zudem sind nicht alle Risiken auf den ersten Blick erkennbar und manche treten erst in spezifischen Nutzungsszenarien auf. Daher ist es entscheidend, ein interdisziplin\u00e4res Team einzusetzen, das die Risikoidentifikation \u00fcbernimmt. Verschiedene Experten k\u00f6nnen unterschiedliche Perspektiven einbringen und so eine umfassendere Risikoerfassung gew\u00e4hrleisten.<\/p>\n\n\n\n

    Um diese Aufgabe effektiv zu erf\u00fcllen, k\u00f6nnen Tools wie Checklisten, Datenschutzfolgenabsch\u00e4tzungen und Grundrechtefolgenabsch\u00e4tzungen verwendet werden. Diese Werkzeuge helfen dabei, systematisch potenzielle Risiken zu identifizieren und zu dokumentieren. Datenschutzfolgenabsch\u00e4tzungen sind ein besonders hilfreiches Instrument, da sie bereits fest im Alltag von Organisationen integriert sind. Die Erfahrungen aus der Auseinandersetzung mit Datenschutzfolgenabsch\u00e4tzungen k\u00f6nnen eine wichtige Grundlage f\u00fcr den weiteren Aufbau eines Risikoidentifizierungsprozesses darstellen. Es ist ebenfalls wichtig, die Risikoidentifikation in die Testverfahren des Systems zu integrieren, um sicherzustellen, dass alle m\u00f6glichen Risiken erfasst werden. Ein praktisches Anwendungsbeispiel verdeutlicht diesen Prozess: Stellen Sie sich ein KI-System vor, das in autonomen Fahrzeugen eingesetzt wird. Die Risikoidentifizierung k\u00f6nnte durch ein interdisziplin\u00e4res Team erfolgen, das Experten f\u00fcr Fahrzeugtechnik, KI-Algorithmen, Ethik und Recht umfasst. Dieses Team w\u00fcrde gemeinsam Checklisten durchgehen, um m\u00f6gliche Risiken wie Unf\u00e4lle aufgrund von Fehlinterpretationen durch die KI, Datenschutzverletzungen durch gesammelte Daten und Diskriminierung durch algorithmische Voreingenommenheit zu identifizieren.<\/p>\n\n\n\n

    Risikoanalyse und -bewertung<\/h2>\n\n\n\n

    Nach der Identifikation m\u00fcssen die Risiken analysiert und bewertet werden. Dies beinhaltet die Absch\u00e4tzung der Wahrscheinlichkeit und der potenziellen Auswirkungen eines Risikos. Diese Phase des Risikomanagements ist besonders wichtig, da sie die Grundlage f\u00fcr die Entscheidung bildet, welche Risiken priorisiert und welche Ma\u00dfnahmen ergriffen werden sollen. Die Bewertung der Risiken kann komplex sein, da sie sowohl technische als auch menschliche Faktoren ber\u00fccksichtigen muss. Es besteht die Herausforderung, eine objektive und konsistente Bewertung sicherzustellen.<\/p>\n\n\n\n

    Um dies zu erreichen, sind klare Prozesse und die Definition von Verantwortlichkeiten essenziell. Werkzeuge wie Risikomatrix und Bewertungschecklisten k\u00f6nnen dabei helfen, die Analyse systematisch und nachvollziehbar zu gestalten. Eine gr\u00fcndliche Risikoanalyse und -bewertung erm\u00f6glicht es, die Risiken zu priorisieren und fundierte Entscheidungen \u00fcber erforderliche Ma\u00dfnahmen zu treffen, was die Robustheit und Sicherheit des KI-Systems gew\u00e4hrleistet.<\/p>\n\n\n\n

    Bei unserem Beispiel des autonomen Fahrzeugs w\u00fcrde das Team die identifizierten Risiken analysieren und bewerten. Hierbei k\u00f6nnte eine Risikomatrix verwendet werden, um die Wahrscheinlichkeit und die Auswirkungen jedes identifizierten Risikos zu bewerten. Ein Unfall aufgrund von Fehlinterpretationen der KI k\u00f6nnte beispielsweise als hohes Risiko eingestuft werden, da er wahrscheinlich zu schweren physischen Sch\u00e4den f\u00fchren kann.<\/p>\n\n\n\n

    Risikominderung<\/h2>\n\n\n\n

    Basierend auf der Bewertung m\u00fcssen Ma\u00dfnahmen zur Risikominderung getroffen werden. Der Act sieht vor, dass Risiken so weit wie technisch m\u00f6glich eliminiert oder reduziert werden und geeignete Kontrollma\u00dfnahmen implementiert werden. Die Umsetzung effektiver Ma\u00dfnahmen erfordert nicht nur technische Expertise, sondern auch ein Verst\u00e4ndnis f\u00fcr organisatorische und betriebliche Abl\u00e4ufe.<\/p>\n\n\n\n

    Nach der Bewertung sollten spezifische Ma\u00dfnahmen entwickelt werden, um die identifizierten Risiken zu adressieren. Dazu geh\u00f6rt auch die Bereitstellung von Informationen und gegebenenfalls Schulungen f\u00fcr die Anwender. Es ist wichtig, dass die Ma\u00dfnahmen kontinuierlich \u00fcberwacht und angepasst werden. Durch die gezielten Risikomanagementma\u00dfnahmen k\u00f6nnen die potenziellen Sch\u00e4den minimiert und die Sicherheit und Effizienz des KI-Systems erh\u00f6ht werden.<\/p>\n\n\n\n

    Mit Blick auf unser Beispiel k\u00f6nnte das Team Ma\u00dfnahmen zur Risikominderung entwickeln, wie die Verbesserung der Sensoren und Algorithmen des autonomen Fahrzeugs, um Fehlinterpretationen zu reduzieren. Au\u00dferdem k\u00f6nnten regelm\u00e4\u00dfige Schulungen f\u00fcr die Entwickler und Nutzer des Systems eingef\u00fchrt werden, um sicherzustellen, dass sie stets \u00fcber die neuesten Sicherheitsprotokolle und Best Practices informiert sind.<\/p>\n\n\n\n

    Kontinuierliche Aktualisierung<\/h2>\n\n\n\n

    Risikomanagement ist ein fortlaufender Prozess. Daten und Erkenntnisse m\u00fcssen kontinuierlich gesammelt und bewertet werden, um unerwartete Risiken zu identifizieren und zu mitigieren. Neue Risiken k\u00f6nnen jederzeit auftreten, insbesondere wenn das KI-System in neuen Kontexten oder auf neue Weise eingesetzt wird. Es ist eine Herausforderung, das Risikomanagementsystem stets aktuell zu halten.<\/p>\n\n\n\n

    Ein fortlaufender \u00dcberpr\u00fcfungs- und Aktualisierungsprozess sollte implementiert werden, um sicherzustellen, dass das Risikomanagementsystem auf dem neuesten Stand bleibt. Dies beinhaltet regelm\u00e4\u00dfige Audits und die Anpassung der Ma\u00dfnahmen basierend auf neuen Erkenntnissen und Daten. Die kontinuierliche Aktualisierung des Risikomanagementsystems gew\u00e4hrleistet, dass neue Risiken zeitnah identifiziert und adressiert werden k\u00f6nnen, was die langfristige Sicherheit und Zuverl\u00e4ssigkeit des KI-Systems sicherstellt.<\/p>\n\n\n\n

    In unserem Beispiel des autonomen Fahrzeugs w\u00fcrde das Team kontinuierlich Daten sammeln und analysieren, um neue potenzielle Risiken zu identifizieren. Diese Daten k\u00f6nnten aus verschiedenen Quellen stammen, wie Fahrberichten, Unfallanalysen und Nutzerfeedback. Auf Basis dieser Daten w\u00fcrde das Risikomanagementsystem regelm\u00e4\u00dfig aktualisiert, um sicherzustellen, dass es auf dem neuesten Stand bleibt und neue Risiken effektiv adressiert werden k\u00f6nnen.<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    Abbildung 2: Risikomanagement-Toolbox<\/em><\/p>\n\n\n\n

    Fazit<\/h2>\n\n\n\n

    Ein effektives Risikomanagementsystem gem\u00e4\u00df dem AI Act ist entscheidend, um die Sicherheit, Gesundheit und Grundrechte der Nutzer sowie der breiteren \u00d6ffentlichkeit zu sch\u00fctzen. Unternehmen und Beh\u00f6rden m\u00fcssen nicht nur ihre rechtlichen Verpflichtungen erf\u00fcllen, sondern auch praktische Ma\u00dfnahmen ergreifen, um diese Anforderungen umzusetzen.  Deshalb sollte dieses Thema nicht nur aus einer rein juristischen Perspektive betrachtet werden, sondern auch die Implementierungsma\u00dfnahmen m\u00fcssen n\u00e4her untersucht und gegebenenfalls an die gesetzlichen und organisatorischen Vorgaben angepasst werden. Legal Engineers bringen die notwendige Erfahrung aus der Arbeit an der Schnittstelle zwischen Recht und Technologie und Organisation mit und die richtigen Tools, um ein Risikomanagementsystem in den organisatorischen Alltag zu integrieren. Durch die Implementierung eines kontinuierlichen und umfassenden Risikomanagementprozesses k\u00f6nnen die Risiken im Zusammenhang mit Hochrisiko-KI-Systemen effektiv bew\u00e4ltigt werden, was letztlich das Vertrauen in diese zukunftsweisende Technologie st\u00e4rkt. Ein umfassendes Risikomanagementsystem bietet nicht nur Schutz vor rechtlichen und finanziellen Konsequenzen, sondern f\u00f6rdert auch die Innovation und den verantwortungsvollen Einsatz von KI-Systemen.<\/p>\n\n\n\n

    Vielen Dank an meinen Co-Autoren Vissarion Petrikis!<\/p>\n<\/div><\/div><\/div><\/div><\/div><\/section>\n\n\n\n

    Unser Experte<\/h2><\/div><\/div>
    \t\t
    \n\t\t\t
    \n\t\t\t\t
    \n\t\t\t\t\t
    \n\t\t\t\t\t\t\"Erden\n\t\t\t\t\t<\/div>\n\t\t\t\t\t
    \n\t\t\t\t\t\t
    \n\t\t\t\t\t\t\t
    \n\t\t\t\t\t\t\t\t