Algoritmen worden nu overal in de publieke en private sector gebruikt. Maar ondanks het potentieel voor efficiëntiewinsten of nieuwe business inzichten, kunnen algoritmen gevoed door big data ook structurele discriminatie versterken, fouten veroorzaken die diensten aan individuen ontzeggen of zelfs een kiezer verleiden tot een vals gevoel van veiligheid. Sterker nog, er is een groeiend besef dat het publiek op zijn hoede moet zijn voor de risico’s die worden veroorzaakt door overmatig vertrouwen in algoritmes en om ervoor te zorgen dat ook een algoritme verantwoording dient af te leggen.

Verschillende inspanningen van de industrie, waaronder een consortium van Silicon Valley-giganten, beginnen te worstelen met de ethiek van het inzetten van algoritmen die onverwachte effecten kunnen hebben op de samenleving. Algoritme-ontwikkelaars en productmanagers hebben een werkwijze nodig waarmee op een maatschappij verantwoordelijke manier nagedacht kan worden over hoe algoritmes te ontwerpen, bouwen en implementeren.

Risicobeoordeling

Laten we een geval overwegen waarbij algoritmische verantwoording hard nodig lijkt te zijn: de risicobeoordeling scores die informatie geven over strafrechtelijke beslissingen in het rechtsstelsel van de Verenigde Staten. Deze scores worden berekend door een reeks vragen te stellen met betrekking tot zaken als de leeftijd van de beklaagde, criminele geschiedenis en andere kenmerken. De gegevens worden in een algoritme ingevoerd om een ​​score te berekenen, die vervolgens kan worden gebruikt bij beslissingen over voorarrest, proeftijd, voorwaardelijke vrijlating of zelfs veroordeling. En deze modellen worden vaak getraind met behulp data over eerdere beklaagden.

Recente onderzoeken tonen aan dat risicobeoordeling algoritmen racistisch bevooroordeeld kunnen zijn en scores kunnen genereren die, wanneer ze verkeerd zijn, vaker verdachten uit een bepaalde groep ten onrechte classificeren als hoog risico. Deze resultaten hebben geleid tot aanzienlijke controverses. Gezien de letterlijk levensveranderende aard van deze algoritmische beslissingen, moeten ze zorgvuldige aandacht krijgen en verantwoordelijk worden gehouden voor negatieve gevolgen.

Aansprakelijkheid

Algoritmes en gegevens die een algoritme sturen, zijn ontworpen en gemaakt door mensen. Zelfs voor technieken zoals genetische algoritmen – die zelfstandig evolueren – worden de resultaten gevormd door de gemaakte ontwerpbeslissingen van de mens, de regels over wel/niet te optimaliseren en de keuze van trainingsdata. “Het algoritme deed het” is geen acceptabel excuus als algoritmische systemen fouten maken of ongewenste gevolgen hebben.

Verantwoording impliceert een verplichting om algoritmische besluitvorming te rapporteren en te rechtvaardigen en om eventuele negatieve sociale gevolgen of mogelijke schade te beperken. Deze aansprakelijkheid bestaat uit vijf kernprincipes:

  1. verantwoordelijkheid
  2. verklaarbaarheid
  3. nauwkeurigheid
  4. controleerbaarheid
  5. eerlijkheid   

Verantwoordelijkheid

Voor elk algoritmisch systeem moet er een persoon zijn die de bevoegdheid heeft om de nadelige individuele of maatschappelijke effecten ervan op te pakken. Dit gaat niet over juridische verantwoordelijkheid, maar over de mogelijkheid dat iemand een loket heeft, waarmee een dialoog aangegaan kan worden en dat als interne autoriteit ook gaat over eventuele veranderingen die in een algoritme aangebracht dienen te worden.

Verklaarbaarheid

Alle beslissingen die door een algoritmisch systeem worden genomen, moeten voor de mensen die door deze beslissingen worden beïnvloed, kunnen worden verklaard. Deze uitleg moet toegankelijk en begrijpelijk zijn voor de doelgroep; puur technische beschrijvingen zijn niet geschikt voor het grote publiek. Het uitleggen van risicobeoordeling scores aan gedaagden en hun juridisch adviseur zou een groter begrip bevorderen en hen helpen kennelijke fouten of foutieve gegevens aan te vechten. Sommige modellen voor machinaal leren zijn meer te verklaren dan andere, maar alleen omdat er een fraai neuraal netwerk bij betrokken is, betekent dit niet dat er geen zinvolle verklaring kan worden geproduceerd.

Nauwkeurigheid

Algoritmen maken fouten, hetzij vanwege datafouten in de invoer (Garbage in, Garbage out) of statistische onzekerheid in de output. Het nauwkeurigheidsbeginsel suggereert dat bronnen van fouten en onzekerheid in een algoritme en de bijbehorende gegevensbronnen moeten worden geïdentificeerd, geregistreerd en gebenchmarkt. Inzicht in de aard van fouten die door een algoritmisch systeem worden veroorzaakt, geeft betere duiding over de nauwkeurigheid.

Controleerbaarheid

Het beginsel van controleerbaarheid stelt dat algoritmen moeten worden ontwikkeld om derden in staat te stellen het gedrag van een algoritme te onderzoeken en te beoordelen. Wanneer een algoritme wordt gecontroleerd en bekritiseerd, zou dit leiden tot een meer bewust ontwerp en koerscorrectie in geval van falen. Hoewel er technische uitdagingen kunnen zijn bij het toestaan ​​van openbare auditing en het beschermen van bedrijfseigen informatie, kan private auditing (zoals in de boekhouding) enige publieke zekerheid bieden. Waar mogelijk zou zelfs een beperkte toegang (bijvoorbeeld via een API) het publiek een waardevolle kans bieden om sociaal significante algoritmen te controleren 

Eerlijkheid

Naarmate algoritmen steeds meer beslissingen nemen op basis van historische en maatschappelijke gegevens, dreigen bestaande vooroordelen en historisch discriminerende menselijke beslissingen te worden ‘ingepakt’ tot geautomatiseerde beslissingen. Alle algoritmen die beslissingen nemen over individuen moeten worden beoordeeld op discriminerende effecten. De resultaten van de evaluatie en de gebruikte criteria moeten openbaar worden vrijgegeven en toegelicht  Bijv. Praat met mensen die bekend zijn met de subtiele sociale context waarin je werkt.je zou bijvoorbeeld moeten overwegen of de volgende aspecten van de identiteit van mensen van invloed zijn op hun rechtvaardige toegang tot en resultaten van uw systeem:

  • Gender identiteit
  • Vermogen status
  • Sociaaleconomische status
  • Opleidingsniveau
  • Godsdienst
  • Land van herkomst

Conclusie

Natuurlijk is er veel ruimte om deze principes naar eigen inzicht te interpreteren en natuurlijk zullen politieke, bedrijfseconomische of maatschappelijke belangen conflicterende problemen veroorzaken. Maar als we deze ideeën door de ontwerp-, implementatie- en release cyclus van ontwikkeling bekijken, dit zal leiden tot een meer sociaal verantwoorde implementatie van algoritmen in de samenleving.