AI als noodzakelijke maar uitdagende versneller in het inlichtingenproces

We zijn ons bewust van de tragedie die zich in Oekraïne afspeelt. Op afstand zien we dat drones een belangrijke, mogelijk doorslaggevende, rol spelen in het conflict. Beide partijen proberen hiermee een tactisch voordeel te behalen. Zowel commerciële als hoogwaardige militaire drones leveren een aanzienlijk voordeel op in het bestrijden van de vijand. In het veld zijn het de individuele dronepiloten die de beelden interpreteren en daarop hun wapens inzetten. Op het strategische niveau, en zelfs internationaal1, leveren hightech drones hoogwaardige inlichtingen. De inzet van drones en andere sensorplatformen is niets nieuws en ook de Nederlandse krijgsmacht heeft haar sensorarsenaal de afgelopen jaren uitgebreid. Naast de veel besproken MQ-9 en F35 vallen hier ook de modernisatie van andere systemen onder. Maar is een overvloed aan data, afkomstig van deze sensoren, wel altijd een voordeel? Zorgt het voor een data-infarct waarbij de tijdigheid van inlichtingen verloren gaat? Wij stellen dat AI de oplossing én voorsprong biedt om de toenemende stroom aan data in een kortere tijd te verwerken.

Van data naar inlichtingen

Om tot inlichtingen te komen, duiden inlichtingenanalisten data die door verschillende sensoren verzameld worden. De definitie van inlichtingen volgens de Defensie doctrine2: “Inlichtingen zijn de resultante van kennis en begrip over de activiteiten, mogelijkheden (capabilities) en intenties van alle relevante actoren en factoren. Inlichtingen voorzien in een zo volledig mogelijk beeld van de situatie (situational awareness) en zijn een randvoorwaarde voor succes in elke operatie”.

De meerwaarde van inlichtingen zit in de volgende karakteristieken: vraag-afdekkend, objectiviteit, accuraatheid en misschien wel het belangrijkst: tijdigheid. Weten waar de vijand gisteren was helpt niet in het gevecht vandaag. Daarbij lijkt meer data het inlichtingenproces alleen maar ten goede te komen, maar is dat wel zo?

Meer en snellere datastromen zet de relevantie van inlichtingen onder druk

Om met al deze data “iets” te kunnen heeft de inlichtingengemeenschap de beschikking over zogenaamde single source analisten (die halfproducten3 maken op basis van een enkele datastroom) en all-source analisten (analisten die halfproducten van de single source analisten analyseren). Met een groeiende hoeveelheid data en een hogere complexiteit groeit ook de werkdruk van deze analisten. Dat betekent dat belangrijke karakteristieken zoals tijdigheid en accuraatheid in het geding komen. Hiermee komt de relevantie van de inlichtingen onder druk.

AI biedt uitkomst bij de nieuwe datastromen

Om de waarde van inlichtingen te borgen moeten steeds grotere volumes van complexere data sneller en effectiever geduid worden. Precies hierin bieden AI-algoritmes en de almaar sterker wordende rekenkracht een uitkomst. Het kan verbanden vinden die wij als mens niet (snel) zien, automatiseren en versnellen van werkzaamheden en het doorzoekbaar maken van grote hoeveelheden data.

Concreet voor het inlichtingendomein valt hierbij te denken aan het efficiënter en sneller maken van: 

• Single source analisten ondersteunen met algoritmes om hun single source datastroom te verrijken; Toepassen van beeldherkenningsmodellen om naar specifieke objecten of gebeurtenissen te zoeken. Ook hoeft bij een nieuwe inlichtingenbehoefte niet handmatig vele uren aan video’s bekeken te worden. Je kan relevante passages opzoeken op basis van hetgeen een model razendsnel observeert.
• All-source analisten ondersteunen met het snel en effectief combineren van verschillende inlichtingenproducten; Met generatieve AI-modellen (zoals ChatGPT) snel en effectief inlichting en halfproducten ‘begrijpen’ en deze in context tot elkaar plaatsen.
• Slimmer inzetten van schaarse sensorcapaciteit; Op basis van inzetdata uit het verleden kan beter voorspelt worden wanneer sensorsystemen de beste kans hebben voor het verkrijgen van waardevolle inlichtingen.
• Slim integreren van meerdere sensoren tot één virtuele sensor. Een meer accurate waarneming door het slim combineren van meerdere (type) sensoren en daardoor een zeer nauwkeurig beeld maken.

De risico’s van AI

Naast de voordelen kleven er ook risico’s aan AI binnen inlichtingenprocessen. De rijksoverheid en Het Ministerie van Defensie in het bijzonder onderkent tal van uitdagingen in het gebruik van AI in het inlichtingenproces45. Hierin onderkennen zij privacy en ethische dilemma’s als belangrijke onderwerpen. Ervaringen binnen het bedrijfsleven evenals academische studies leren dat dergelijke onderwerpen in algoritmen zijn te verwoorden.

Ethische risico’s komen onder andere voort uit het “zwarte doos” dilemma. Door de complexiteit van AI-modellen wordt de werking ervan een “zwarte doos”. We zien wat erin gaat en wat eruit komt, maar begrijpen hoe het model tot die uitkomst komt ontbreekt. Het wordt onmogelijk om te beoordelen of, wanneer en in welke context een model faalt. Dit leidt tot drie belangrijke risico’s:

• Robuustheid AI-modellen tegen misleiding
• Uitlegbaarheid AI-modellen als onderdeel van aansprakelijkheid
• Risico inschatting vergt de menselijke maat

Robuustheid AI-modellen tegen misleiding

Het is menseigen om aan te nemen dat AI-modellen op eenzelfde manier werken als wijzelf. Neem het herkennen van objecten op afbeeldingen als voorbeeld. Wij mensen herkennen objecten op basis van hun fysieke eigenschappen zoals vorm, kleur en textuur. Of de afbeelding daarbij veel ruis bevat of delen mist maakt niet snel een groot verschil.

Deze aanname is echter onjuist. Voor veel gebruikte neurale netwerken voor het herkennen van objecten weten we eigenlijk niet goed hoe ze werken. Waar het model prima in staat is een afbeelding te herkennen van een hond, blijkt het heel goed mogelijk om deze modellen voor de gek te houden. Zo is het mogelijk om met onopvallende aanpassingen van de afbeelding het model met hoge mate van zekerheid een andere classificatie te laten doen. Hierdoor wordt een voor de mens overduidelijke afbeelding van een hond door het AI-model met 99% zekerheid als een willekeurig ander object geclassificeerd. Dit lijkt op het eerste gezicht onschuldig, maar opent tal van counter-AI mogelijkheden om ongemerkt de systemen van ongewenste informatie te voorzien.

Uitlegbaarheid AI-modellen als onderdeel van aansprakelijkheid

Als AI-modellen gebruikt worden om beslissingen te nemen, rijst de vraag of en hoe je de beslissing kunt onderbouwen. Ook in het licht van aansprakelijkheid binnen de kaders van de wet. Zodra er sprake is van burgerslachtoffers of de legitimiteit van een actie ter discussie wordt gesteld, moet men kunnen onderbouwen hoe men tot de inlichtingen is gekomen. Dit vergt een transparant besluitvormingsproces waarbij de inlichtingen en de totstandkoming daarvan ook transparant moeten zijn. Met een “zwarte doos” benadering kom je daar niet mee weg. Zeker niet in de context van generatieve AI die de neiging heeft te gaan hallucineren. Dan moet feit en fictie duidelijk gemarkeerd zijn.

Ook andersom geredeneerd vanuit het inlichtingendomein moeten modellen uitlegbaar en controleerbaar zijn. Inlichtingen zijn geverifieerde informatie uit meerdere bronnen. Deze bronnen moeten geraadpleegd kunnen worden om de inlichtingen te kunnen controleren. Als AI hierin een integraal onderdeel is, moet deze AI daar ook aan voldoen.

Risico-inschatting vergt de menselijke maat

Net als mensen zijn AI-modellen nooit 100% nauwkeurig. Vaak is dat geen probleem. In de context van inlichtingen vormt dit echter een risico. Het kan leiden tot verkeerde interpretaties met zelfs verkeerde beslissingen tot gevolg. Wat als door een dergelijke beslissing te voorkomen slachtoffers vallen?   Waar we modellen doorgaans valideren op basis van hun nauwkeurigheid, moeten we ook rekening houden met de impact van de onnauwkeurigheid. Het is daarom cruciaal dat systemen niet autonoom besluiten nemen en dat een “human in the loop” moet zijn. Zo leert ons ook de Russische officier Stanislav Petrov diede derde wereldoorlog voorkwam. Als mens intervenieerde hij in systemen die constateerde dat de Sovjet-Unie werd aangevallen.6 Een AI-model had als het hier autonoom was ingezet de derde wereldoorlog niet voorkomen. De discussie die hiermee op gang gebracht moet worden is wanneer de “human in the loop” zich moet manifesteren. In het offensieve optreden van de krijgsmacht is hier zeker ruimte voor. In het defensieve optreden kan dit echter tot ongewenste extra vertraging leiden in bijvoorbeeld de detectie van hypersonische raketten en de beslissing om deze uit te schakelen.

Een voorbeeld hiervan is het Iron Dome systeem wat ingezet wordt in Israël ter verdediging tegen raketten en mortieren. Anders zou de inzet zijn voor defensieve tegenacties zoals het direct ontplooien van een tegenaanval op doelen, niet zijnde binnenkomende projectielen.

Hoe verantwoord met deze risico’s om te gaan?

Vanuit Capgemini werken we met een “code of ethics for AI” waarin naast de onderkenning van de meerwaarde van AI ook specifiek gekeken wordt naar hoe er ethisch verantwoord mee te werken. Wij adviseren een soortgelijke code voor de inzet van AI in het inlichtingendomein.

Dit moet minimaal de volgende onderwerpen bevatten.

• AI-modellen dienen robuust ontwikkeld te worden. Het gaat niet alleen om beste accuraatheid, maar ook hoe het model omgaat met ruis, onderbroken data en misleiding. Verder moeten de modellen worden beveiligd om te voorkomen dat deze modellen in verkeerde handen vallen, waardoor er gericht tegenmaatregelen ontwikkeld kunnen worden.
• AI-modellen moeten uitlegbaar en beschikbaar zijn voor controle. Zij zullen net als inlichtingenbronnen geraadpleegd kunnen worden om de resultaten te verifiëren.
• De mens dient het oordeel te vellen en niet het AI-model. Dit zal besluiten ethisch maken en bijdragen aan transparantie en aansprakelijkheid.

Hoever kunnen we met AI gaan?

In een inlichtingenwereld waarin de dataproductie en complexiteit toeneemt door inzet van diverse sensorplatformen, ontkom je niet aan het inzetten van AI. En daar waarin het fysieke gevecht de militair in de modder nog steeds moet besluiten om de trekker over te halen, moet er ook een ‘man in the middle’ zijn die op basis van de aangeleverde inlichtingen besluiten neemt.

Feitelijk zal AI een groot deel van het inlichtingenproces over kunnen nemen van single ource analisten en gedeeltelijk van de all-source analisten. De voorbeelden laten echter zien dat de human interface in dit delicate deel van besluitvormingsprocessen niet te erwijderen valt. AI-modellen zijn daarmee een aanvulling die de relevantie en de tijdigheid van inlichtingen ten goede zal komen. Maar je kan jezelf hardop afvragen of en hoe we kunnen garanderen dat de “human in the loop” altijd aanwezig blijft…