De weg naar vertrouwen in ai voor een veilige samenleving

De belofte van AI stokt: zonder vertrouwen geen toekomstbestendige veilige samenleving

Artificiële Intelligentie (AI) kan ons leven aangenamer maken en biedt kansen voor een betere en veiligere wereld. AI kan, mits goed ingezet, een aanvulling op of versterking van menselijke vaardigheden zijn. Ook kan het saaie en gevaarlijke taken automatiseren. Het helpt de politie bij het beter voorspellen van misdaden en plannen van operationele capaciteit en het helpt Defensie met het verbeteren van de situational awareness in een oorlogssituatie. Zo verzamelt Oekraïne in de oorlog met Rusland op grote schaal (real-time) inlichtingen met behulp van AI-software gecombineerd met data van satellieten, drones en cyberoperaties.1

Schreven we in Trends in Veiligheid 2022 over de definitieve ‘ontsnapping’ van AI vanuit het lab naar de samenleving, over de kansen en gevaren hiervan en hoe Nederland haar digitale weerbaarheid kan versterken.2 Hoewel AI-adoptie de afgelopen vijf jaar ruim is verdubbeld, stagneert de groei de afgelopen drie jaar. In dezelfde vijf jaar zien we dat de vooruitgang stokt bij het mitigeren van risico’s rondom cybersecuritydreigingen, naleving van wet- en regelgeving, privacy, uitlegbaarheid en rechtvaardigheid.3 Een voorbeeld is het Land Information Manoeuvre Centre (LIMC), dat teruggefloten werd omdat het gegevens van burgers verzamelde en analyseerde zonder juridische grondslag. Ondertussen gebruiken criminelen ChatGPT om zorgvuldig samengestelde phishingmails te schrijven. Als de veiligheidssector deze risico’s de baas wil blijven, moet AI op een manier in kunnen zetten die vertrouwd wordt door de samenleving.

In voorbereiding op de AI-verordening van de EU zijn er al losse initiatieven gestart die het vertrouwen in AI moeten bevorderen. Iets wat voor de veiligheidssector in het bijzonder van belang is, aangezien de inzet van AI en de verdediging ertegen een grote impact op individuen kan hebben en zelfs een kwestie van leven en dood kan zijn. Alhoewel de AI-verordening gaat helpen richting te geven aan relevante standaarden laat deze het publieke veiligheidsdomein expliciet buiten beschouwing. Tijdens de REAIM 2023 conferentie hebben regeringsvertegenwoordigers ingestemd met een gezamenlijke ‘call to action’ over de verantwoorde ontwikkeling, toepassing en het gebruik van AI in het militaire domein.4 Ook bij Capgemini zetten we ons in voor de adoptie van verantwoorde AI. In dit artikel bieden we aan de hand van de Capgemini Code of Ethics5 handvatten voor verantwoorde AI en een aantal concrete tips voor de implementatie hiervan.

Zorgen en uitdagingen

Er zijn goede redenen waarom het vertrouwen van AI onder druk staat. AI gaat bijvoorbeeld op zoek naar patronen in historische data waardoor het de neiging heeft om bestaande vooroordelen over te nemen en uit te vergroten. Daarnaast zijn veel AI-modellen niet erg transparant, waardoor verantwoording over genomen besluiten vaak niet goed mogelijk is. Neem bijvoorbeeld een AI-systeem dat besluiten neemt die een significante impact op een persoon kunnen hebben, waarbij iemand bijvoorbeeld aan een extra controle wordt onderworpen. Als niet uitgelegd kan worden op basis waarvan deze beslissing wordt genomen, liggen gebrekkige verantwoording, discriminatie en vooringenomenheid op de loer. Echter ondermijnt volledige transparantie in de veiligheidssector de handhaving, aangezien dit criminelen de mogelijkheden geeft om de handhaving te ontlopen. Verder zijn er nog de zorgen rondom privacy en cybersecurity. Daar komt nog bij dat de impact van AI- systemen kan afwijken van de intentie. Dit kan bijvoorbeeld een probleem zijn als het gaat om autonome wapens en zelfrijdende voertuigen. Hoewel de risico’s voor veel AI-toepassingen beperkt zijn, zou dit bij toepassingen in de veiligheidssector funest kunnen zijn voor het vertrouwen in instanties en het draagvlak vanuit de samenleving.

Initiatieven en inspanningen voor vertrouwen in AI

Het borgen van vertrouwen in AI komt in vele vormen en aanduidingen. Zo kom je op het internet termen tegen als: vertrouwen in AI, betrouwbare AI, verantwoordelijke AI, ethische AI, transparante AI, uitlegbare AI en mensgerichte en veilige AI-systemen. Hoewel de betekenis van deze termen in ieder geval deels overlapt draait het er wat ons betreft vooral om dat vertrouwen in AI-systemen geborgd is om in de veiligheidssector gebruikt te kunnen worden.

Zeker in de veiligheidssector is het van belang om bij AI-systemen die een grote impact kunnen hebben op burgers een ‘human-in-the-loop’ ontwerp te hanteren.6 Dit betekent dat AI betrokken is in het proces maar dat de verantwoordelijkheid voor een beslissing bij de mens ligt. Los van aankomende wetgeving zoals de AI-verordening op EU-niveau, zijn er ook vele (toetsings)kaders en raamwerken ontwikkeld, zoals het Toetsingskader Algoritmen van de Algemene Rekenkamer.

De belofte van AI stokt: zonder vertrouwen geen toekomstbestendige veilige samenleving

Artificiële Intelligentie (AI) kan ons leven aangenamer maken en biedt kansen voor een betere en veiligere wereld. AI kan, mits goed ingezet, een aanvulling op of versterking van menselijke vaardigheden zijn. Ook kan het saaie en gevaarlijke taken automatiseren. Het helpt de politie bij het beter voorspellen van misdaden en plannen van operationele capaciteit en het helpt Defensie met het verbeteren van de situational awareness in een oorlogssituatie. Zo verzamelt Oekraïne in de oorlog met Rusland op grote schaal (real-time) inlichtingen met behulp van AI-software gecombineerd met data van satellieten, drones en cyberoperaties.1

Schreven we in Trends in Veiligheid 2022 over de definitieve ‘ontsnapping’ van AI vanuit het lab naar de samenleving, over de kansen en gevaren hiervan en hoe Nederland haar digitale weerbaarheid kan versterken.2 Hoewel AI-adoptie de afgelopen vijf jaar ruim is verdubbeld, stagneert de groei de afgelopen drie jaar. In dezelfde vijf jaar zien we dat de vooruitgang stokt bij het mitigeren van risico’s rondom cybersecuritydreigingen, naleving van wet- en regelgeving, privacy, uitlegbaarheid en rechtvaardigheid.3 Een voorbeeld is het Land Information Manoeuvre Centre (LIMC), dat teruggefloten werd omdat het gegevens van burgers verzamelde en analyseerde zonder juridische grondslag. Ondertussen gebruiken criminelen ChatGPT om zorgvuldig samengestelde phishingmails te schrijven. Als de veiligheidssector deze risico’s de baas wil blijven, moet AI op een manier in kunnen zetten die vertrouwd wordt door de samenleving.

In voorbereiding op de AI-verordening van de EU zijn er al losse initiatieven gestart die het vertrouwen in AI moeten bevorderen. Iets wat voor de veiligheidssector in het bijzonder van belang is, aangezien de inzet van AI en de verdediging ertegen een grote impact op individuen kan hebben en zelfs een kwestie van leven en dood kan zijn. Alhoewel de AI-verordening gaat helpen richting te geven aan relevante standaarden laat deze het publieke veiligheidsdomein expliciet buiten beschouwing. Tijdens de REAIM 2023 conferentie hebben regeringsvertegenwoordigers ingestemd met een gezamenlijke ‘call to action’ over de verantwoorde ontwikkeling, toepassing en het gebruik van AI in het militaire domein.4 Ook bij Capgemini zetten we ons in voor de adoptie van verantwoorde AI. In dit artikel bieden we aan de hand van de Capgemini Code of Ethics5 handvatten voor verantwoorde AI en een aantal concrete tips voor de implementatie hiervan.

Zorgen en uitdagingen

Er zijn goede redenen waarom het vertrouwen van AI onder druk staat. AI gaat bijvoorbeeld op zoek naar patronen in historische data waardoor het de neiging heeft om bestaande vooroordelen over te nemen en uit te vergroten. Daarnaast zijn veel AI-modellen niet erg transparant, waardoor verantwoording over genomen besluiten vaak niet goed mogelijk is. Neem bijvoorbeeld een AI-systeem dat besluiten neemt die een significante impact op een persoon kunnen hebben, waarbij iemand bijvoorbeeld aan een extra controle wordt onderworpen. Als niet uitgelegd kan worden op basis waarvan deze beslissing wordt genomen, liggen gebrekkige verantwoording, discriminatie en vooringenomenheid op de loer. Echter ondermijnt volledige transparantie in de veiligheidssector de handhaving, aangezien dit criminelen de mogelijkheden geeft om de handhaving te ontlopen. Verder zijn er nog de zorgen rondom privacy en cybersecurity. Daar komt nog bij dat de impact van AI- systemen kan afwijken van de intentie. Dit kan bijvoorbeeld een probleem zijn als het gaat om autonome wapens en zelfrijdende voertuigen. Hoewel de risico’s voor veel AI-toepassingen beperkt zijn, zou dit bij toepassingen in de veiligheidssector funest kunnen zijn voor het vertrouwen in instanties en het draagvlak vanuit de samenleving.

Initiatieven en inspanningen voor vertrouwen in AI

Het borgen van vertrouwen in AI komt in vele vormen en aanduidingen. Zo kom je op het internet termen tegen als: vertrouwen in AI, betrouwbare AI, verantwoordelijke AI, ethische AI, transparante AI, uitlegbare AI en mensgerichte en veilige AI-systemen. Hoewel de betekenis van deze termen in ieder geval deels overlapt draait het er wat ons betreft vooral om dat vertrouwen in AI-systemen geborgd is om in de veiligheidssector gebruikt te kunnen worden.

Zeker in de veiligheidssector is het van belang om bij AI-systemen die een grote impact kunnen hebben op burgers een ‘human-in-the-loop’ ontwerp te hanteren.6 Dit betekent dat AI betrokken is in het proces maar dat de verantwoordelijkheid voor een beslissing bij de mens ligt. Los van aankomende wetgeving zoals de AI-verordening op EU-niveau, zijn er ook vele (toetsings)kaders en raamwerken ontwikkeld, zoals het Toetsingskader Algoritmen van de Algemene Rekenkamer.

Visie op vertrouwen in AI en het versterken daarvan

De genoemde zorgen in combinatie met in ontwikkeling zijnde wetgeving en raamwerken vragen om vertrouwen in AI te borgen. Het is daarom een goede ontwikkeling dat er meerdere kaders en raamwerken zijn. Door deze naast elkaar te leggen wordt het duidelijk dat er op hoofdlijnen consensus bestaat over hetgeen waaraan de maatschappij vindt dat AI moet voldoen.

De Code of Ethics voor AI van Capgemini7 geeft wat ons betreft in zeven principes helder weer waar het in de kern om gaat: het dienen van onze maatschappij met AI op een duurzame (in de breedste zin van het woord) wijze staat in dit raamwerk centraal. Het heeft daarmee de positieve insteek die wij onderschrijven om AI op grotere schaal succesvol verantwoord in te zetten. Het hanteren van deze principes bij de ontwikkeling en toepassing van AI geeft de benodigde basis om AI te kunnen vertrouwen. De zeven principes zijn de volgende:

• AI met zorgvuldig afgebakende impact
  AI moet gericht zijn op het verbeteren van mensenlevens en mag geen schade voor individuen veroorzaken. Hiervoor is het van belang dat het doel helder afgebakend is en dat eventuele impact op individuen kan worden geïdentificeerd en gemitigeerd.
• Duurzame AI
  Zowel bij het ontwerp als de ontwikkeling van AI-oplossingen moet rekening gehouden worden met toekomstige generaties, het milieu en het hele ecosysteem.
• Rechtvaardige AI
  AI-systemen moeten gelijke behandeling van mensen waarborgen, ongeacht etniciteit, handicap, leeftijd, religieuze overtuiging, seksuele geaardheid of andere persoonlijke kenmerken. Daarvoor is diversiteit van ontwikkelteams noodzakelijk, zowel in persoonlijke kenmerken als in professionele achtergrond. Daarnaast is het van belang om kritisch te zijn op de trainingsdata voor het AI-model om te voorkomen dat hier (verborgen) vooroordelen of fouten in zitten.
• Transparante en verklaarbare AI
  AI-gestuurde beslissingen dienen verklaarbaar te zijn, vooral bij die toepassingen waarbij de gevolgen van een foutieve uitkomst ernstig zijn. Het doel en de werking moeten duidelijk worden gecommuniceerd, afhankelijk van het geheimhoudingsniveau, aan de hele maatschappij, aan de politiek dan wel aan (interne) toezichthouders. Bij interactie met een AI-interface moeten individuen zich ervan bewust zijn dat ze met een machine communiceren en mogen ze niet worden misleid om anders te denken. Daarbij is het van belang dat individuen worden geïnformeerd over de mogelijkheden en beperkingen van AI. Tot slot moeten datasets en processen die voor de AI-oplossing worden gebruikt gedocumenteerd zijn.
• Beheersbare AI met duidelijke verantwoordelijkheid
  Het ontwerp van AI-oplossingen moet de autonomie en besluitvorming van de mens beschermen. Verder is het van belang dat het duidelijk is vastgelegd wie verantwoordelijk zijn voor de oplossing. Tevens is het van belang traceerbaarheidsprincipes te hanteren, zodat het op-AI-gebaseerde besluitvormingsproces kan worden uitgelegd en gecontroleerd.
• Robuuste en veilige AI
  Robuustheid moet worden ingebed in de hele levenscyclus van de AI-systemen, van het ontwerp en de ontwikkeling tot en met implementatie en het gebruik. Voor AI-toepassingen die een cruciale maatschappelijke functie vervullen moeten noodplannen bestaan voor het geval het AI-systeem zelf faalt. Ook moeten de AI-toepassingen nauwkeurige en reproduceerbare resultaten opleveren zodat het robuust en betrouwbaar is en daarmee veilig is om te gebruiken.
• AI met respect voor privacy en gegevensbescherming
  Vanaf de ontwerpfase moeten gegevensbescherming en -beveiliging integraal onderdeel zijn van de AI- levenscyclus. Uiteraard moeten de wet- en regelgeving op het gebied van privacy en gegevensbescherming worden gerespecteerd, zoals het beperken van gegevensverzameling en –verwerking tot alleen het strikt noodzakelijke. De gegevens moeten nauwkeuring en op een veilige manier worden verwerkt. Individuen dienen geïnformeerd te worden over hoe hun gegevens worden verwerkt en ze moeten de juiste middelen krijgen om hun rechten uit te oefenen. In de publieke veiligheidssector zijn er uitzonderingen voor heimelijke operaties.

Fundering voor vertrouwen in AI

Werken aan vertrouwen in AI vraagt om permanente aandacht, tot in de haarvaten van de organisatie. Waar bovengenoemde principes het grote plaatje vertellen, geven we je hier enkele concrete handvatten om in jouw organisatie te werken aan de randvoorwaarden voor vertrouwen in AI.

• Creëer bewustwording en transparantie
  Creëer bewustwording over de kenmerken, mogelijkheden en risico’s van AI. Door trainingen aan te bieden en gericht te communiceren via de communicatiekanalen waarop de relevante medewerkers actief zijn.  Hierbij helpt het ook om checklists, templates en tools (zoals het Toetsingskader algoritmes 8) aan te bieden, zodat medewerkers zelf direct aan de slag kunnen. Communiceer (indien gepast) naar (interne en externe) stakeholders welk algoritme voor welk doeleinde wordt gebruikt, maar ook zaken zoals welke data daarvoor wordt verzameld, wat de juridische basis is en in hoeverre sprake is van menselijke tussenkomst.
• Ontwikkel kennis en vaardigheden
  Zorg ervoor dat kennis en vaardigheden op de juiste plek in de organisatie aanwezig zijn; namelijk daar waar e AI-systemen worden ontworpen, ontwikkeld (of ingekocht), gevalideerd en gebruikt worden voor besluitvorming. Hierbij gaat het niet alleen om kennis van programmeren, statistiek en het bedrijfsproces, maar ook over zaken als kwaliteit, compliance, privacy, security en ethiek. Daarnaast moeten personen die werken aan of met deze systemen zich bewust worden van onbewuste vooroordelen die een invloed kunnen hebben op de werking van het systeem.
• Implementeer MLOps (Machine Learning Operations)
  Dit is een set van werkwijzen en tools voor het automatiseren, beheren en monitoren van de volledige levenscyclus van het ML-model. Dit is een randvoorwaarde om hoogwaardige en verantwoorde AI-modellen te kunnen garanderen. Het biedt handvatten om grip te krijgen op rechtvaardigheid (geautomatiseerd monitoren en testen van bias), betrouwbaarheid (tijdige identificatie van defecten of problemen) en uitlegbaarheid (detailinformatie over totstandkoming, besluitvormingsproces en prestaties van modellen) van AI. Adequate testdatasets en testcases zijn hierbij van belang om onder andere de kwaliteit, veiligheid en rechtvaardigheid van het AI-systeem aan te tonen.
• Zorg dat de data op orde is met datamanagement
  Draag zorg voor het inrichten van datamanagement, met bijzondere aandacht voor datakwaliteit. Mensen die besluiten nemen op basis van data verwachten dat deze voldoende compleet en accuraat zijn voor het beoogde doeleinde. Datakwaliteit is een belangrijke randvoorwaarde voor vertrouwen in AI, omdat het de prestaties, rechtvaardigheid, nauwkeurigheid en uitlegbaarheid van AI-modellen sterk kan beïnvloeden. Het managen van datakwaliteit omvat het implementeren van een robuust proces voor het verzamelen, valideren en opschonen van data, evenals het continu monitoren en onderhouden van de datakwaliteit gedurende de complete levenscyclus. Dit vraagt om het beleggen van dataeigenaarschap in de business domeinen, maar ook om de silo’s tussen deze domeinen te doorbreken.
• Creëer continue feedback voor betrokkenheid en verbetering
  Mits juist toegepast bevordert agile werken op allerlei manieren het vertrouwen in AI. Deze empirische werkwijze biedt een iteratieve ontwikkelmethode: aanpassingen op basis van testen en feedback zijn snel mogelijk indien ethische en kwaliteitskwesties zich voordoen. Bovendien is multidisciplinaire samenwerking inherent aan agile: verschillende perspectieven dragen bij aan vertrouwen in AI. De actieve betrokkenheid van diverse stakeholders is hierbij van belang: business (opdrachtgever en gebruiker), technologie en (als de AI hier impact op heeft) ook de burger.

Vertrouwen in AI is een gezamenlijke verantwoordelijkheid

Het bouwen aan vertrouwen in AI zal voor de veiligheidssector een combinatie zijn van wet- en regelgeving, zelfregulering en breed toezicht door publieke toezichthouders en NGO’s. Er zal een evenwicht gevonden moeten worden tussen het benutten van de voordelen van AI en het aanpakken van de potentiële risico’s en negatieve gevolgen. Voor de veiligheidssector staat er meer op het spel dan het succesvol implementeren van AI; het gaat uiteindelijk om het bouwen van een toekomstbestendige veilige samenleving. Daarom zal elke organisatie in de sector zelf moeten werken aan vertrouwen door principieel én professioneel te werk te gaan. Daarbij geldt: denk groot, begin klein en leer snel!

References

1. https://www.washingtonpost.com/opinions/2022/12/19/palantir-algorithm-data-ukraine-war/

2. https://www.capgemini.com/nl-nl/expertise/research/het-veiligheidsdomein-als-baken-in-dynamische-tijden/

3. https://www.mckinsey.com/capabilities/quantumblack/our-insights/the-state-of-ai-in-2022-and-a-half-decade-in-review

4. https://www.rijksoverheid.nl/ministeries/ministerie-van-buitenlandse-zaken/evenementen/reaim

5. https://www.capgemini.com/about-us/who-we-are/our-values/our-ethical-culture/ethical-ai/

6. https://www.wrr.nl/publicaties/ rapporten/2021/11/11/opgave-ai-de-nieuwe- systeemtechnologie

7. https://www.capgemini.com/wp-content/ uploads/2021/03/Capgemini_Code_of_Ethics_ for_AI_2021_EN.pdf

8.  https://www.rekenkamer.nl/onderwerpen/algoritmes-digitaal-toetsingskader