Ethisch en autonoom: hoe maken we systemen menselijk?

Met de opkomst van Artificiële Intelligentie (AI) is ook een wereldwijde discussie rondom ethiek en AI gestart. De discussie draait voornamelijk rondom zelfrijdende auto’s. De vraag die de autofabrikanten en het publiek stellen: hoe moet een autonoom voertuig reageren op gevaarlijke situaties? Deze vraag is echter te beperkt. Want er zijn al zo veel computersystemen die beslissingen nemen voor mensen. Alle systemen moeten ethisch handelen. Of ze nou intelligent zijn of niet.

Ethiek gaat over ons persoonlijke gedrag. Hoe kan ik het goede doen? Of beter geformuleerd: het gaat over het juiste handelen. Met deze vraag houden we ons al meer dan 2500 jaar bezig in de westerse wereld. En nog steeds komen er allerlei oude en nieuwe ethische vragen op, die ook weer een antwoord nodig hebben. Zoals de vraag wat verantwoord gedrag van zelfrijdende auto’s is.

Wat ik raar vind, is dat deze vraag in de IT plotseling weer actueel is geworden. Want een autonoom systeem is ook maar een machine. We gebruiken machines al lang. Ze maken nieuw menselijk handelen mogelijk of ze vervangen menselijk handelen. Op die manier neemt de machine onze plaats in en handelt namens ons, of we nu een bestuurder van een auto of van een groot bedrijf zijn.

Eigenlijk zijn er al een heleboel autonome systemen in de IT, bijvoorbeeld bij het automatisch uitschrijven van boetes bij trajectcontroles. De postbode is daar de eerste mens die de boete “in behandeling” heeft. De overtreding wordt automatisch geconstateerd en de boete wordt automatisch opgelegd. Dit is wel lekker efficiënt, maar willen we de menselijke maat niet behouden?

Ondoorzichtige systemen

Transparantie is een van de sleutelbegrippen om vertrouwen te krijgen in computersystemen. Als we niet weten waarom en hoe een systeem een aanbeveling of een beslissing neemt, willen we dergelijke systemen niet. Maar veel algoritmes, zoals bij AI met Deep Learning, geven hun geheimen niet gemakkelijk prijs.

Maar is dit nieuw? Nee, want ook complexe, niet intelligente, algoritmes zijn moeilijk te doorgronden. Zeker wanneer deze algoritmes met elkaar zijn verbonden of in een netwerk opgenomen. Of wanneer programmeurs routines van anderen hebben gebruikt. Eigenlijk weten we niet hoe systemen gaan reageren op allerlei uitzonderlijke situaties.  We hebben hier namelijk ook niet op getest, omdat we de uitzonderingen ook niet goed kunnen voorspellen.

Dan praat ik nog niet eens over de gevolgen van foutieve invoer en de onmogelijkheid deze te kunnen herstellen. De Rekenkamer constateerde al in 2014: “Het rechtzetten van onjuiste gegevens bij meerdere overheidsinstanties is voor burgers een vrijwel onmogelijke opgave.”

---

Saskia de Meij is verstrikt geraakt in een keten van IT-systemen van de overheid die foute invoer als waar hebben aangezien. En ze komt er niet meer goed uit. Want eigenlijk weet niemand goed hoe die systemen werken en op elkaar reageren.

---

Computer says “No”

Als oplossing voor dit probleem stellen AI-experts voor om altijd een mens naast het systeem te laten functioneren. Zodat deze de beslissingen van het AI-systeem kan beoordelen en eventueel corrigeren. Zo benadrukt David Carmona, General Manager AI bij Microsoft, dat vooralsnog de mens de eindverantwoordelijkheid moet hebben.

Naar mijn mening is dit op zich correct, maar kan in de praktijk moeilijk worden. De personen die deze eindverantwoordelijkheid krijgen, hebben die wel voldoende kennis, bevoegdheden en speelruimte om deze verantwoordelijkheid te nemen? Bij hooggeschoolde kenniswerkers zal dit geen probleem moeten zijn. Wat als systemen bulkgewijs boetes gaan uitdelen? Kan en mag de eenvoudige administratief medewerker deze – om welke reden dan ook – ongedaan maken?

Wat voor AI-systemen geldt, geldt natuurlijk ook voor ieder ander computersysteem. De mens moet beslissingen van systemen kunnen beoordelen en herstellen. Maar kan hij of zijn die taak wel aan? Neem bijvoorbeeld “automation bias”. We hebben de neiging beslissingen van computers hoger op waarde te schatten dan ons eigen inzicht. Zelf goedopgeleide piloten vertrouwen soms de automatische piloot meer dan hun eigen inzicht.

---

Door een falende hoogtemeter dacht de automatische piloot van Turkish Airlines (vlucht 1951) dat het vliegtuig al in de laatste fase van de landing zat, en verminderde het motorvermogen. De piloten hadden deze fout te laat door, en crashte het toestel stortte vlakbij Schiphol neer in 2009. De crash kostte negen mensen het leven.

---

Wanneer we willen dat computersystemen ethisch handelen mogelijk maakt, zullen we met veel dingen rekening moeten houden. Wanneer deze systemen ook zelfstandig beslissingen gaan nemen en dus autonoom worden, zullen we de ethiek van het handelen moeten inpassen in onze ontwerp. Computersystemen kunnen namelijk ook handelen. Deze systemen zullen echter rekening moeten houden met de menselijke beperkingen, van de gebruikers en van degenen die deze systemen moeten controleren.

Zoals het Nederlands Lucht‐ en Ruimtevaartcentrum stelt: “Het is noodzakelijk dat […] fabrikanten een automatiseringsfilosofie opstellen, valideren en consequent toepassen. In deze filosofie moet de mens centraal staan en wordt de automatisering als het ware onderdeel van het team.”

Het is fantastisch dat de ethische discussie wordt gevoerd met de komst van AI-systemen. Laten we deze discussie niet beperken tot intelligente systemen die zelfstandig werken. Ook nu hebben we allerlei niet zo intelligente systemen die zelfstandig beslissingen nemen. Ook deze systemen moeten ethisch handelen. Zeker computersystemen die voor ons beslissingen nemen.

Al zien we onszelf als ethische handelende mensen, denken velen van ons niet bewust aan ethiek in ons werk in de IT. Het ontwerpen, bouwen en gebruiken van systemen is in feite een inherent ethische activiteit. Daarom moeten opdrachtgevers, ontwerpers en bouwers op de hoogte zijn van ethiek en leren om deze in hun werk op te nemen. Laten we daarom beginnen met goed na te denken over hoe we computersystemen gaan gebruiken en over wat de gevolgen van dit gebruik kunnen zijn.

Reinoud Kaasschieter

Expert in Enterprise Content Management

As an experienced architect I design solutions using Artificial Intelligence. My aim is to create data- and document-centric systems that are not only more efficient, but also better. Needless to say, these AI system need to adhere to the highest ethical standards.