AI en Asset Maintenance

De inspecteur van de toekomst is een sensor

Kun je vertellen hoe dit in z’n werk gaat?

Jeroen: “Om het werk van de inspecteurs veiliger en efficiënter te maken, vervangen we handmatige inspecties van objecten in het havengebied door analyse van ingewonnen beelddata. We zijn gestart door de auto’s waarin inspecteurs van HBR rondrijden uit te rusten met een 4k camera en GPS. Je kunt het vergelijken met de auto’s die voor Google Maps beelden maken. In de video’s detecteren we interessante objecten: onze beeldherkenningsoftware knipt elke lantarenpaal, betonblok en verkeersbord uit. Daarna gaan specifieke modellen over de afzondelijke objecttypes heen om bijvoorbeeld scheve lichtmasten, verbogen verkeersborden of gaten in het asfalt te detecteren. We hebben dit project generiek en herbruikbaar opgezet. Inmiddels denken we na over het uitrusten van schepen met de camera en GPS om zo geautomatiseerde inspecties van kademuren uit te kunnen voeren.”

Wat levert dit op?

Jeroen: “Nu moet men elke locatie inspecteren door zelf de straat op te gaan. De inspecteurs krijgen er een collega bij: een kunstmatige intelligentie! De uitkomsten van de AI-modellen presenteren we als een video. Ook voegen we de resultaten toe aan een kaartje in de geo-informatie-tool die nu al in gebruik is voor assetregistratie. Zo kan de inspecteur vanachter zijn bureau de bevindingen van de AI controleren en is de eerste inspectieronde dus veiliger, sneller en meer kosteneffectief. Door frequenter te inspecteren, met een hogere dekkingsgraad dan mogelijk zou zijn met handmatige inspectie, levert dit uiteindelijk input voor zogenaamde “predictive maintenance”, slim pro-actief onderhoud op basis van voorspelde degeneratie van objecten.”

Kan je iets vertellen over jullie werkwijze?

Jack: “Het team begon door consumenten-hardware op een slimme manier aan elkaar te knopen. Zo kon bewijs geleverd worden voor wat er mogelijk is. Met dit bewijs kon de volgende fase van het project starten: nu gebruiken we een industriële camera die in 4k opneemt, met hoge kwaliteit. Deze beelden zijn wel 50 keer zo groot als die van de webcam; je moet de code dus hier en daar wel slim optimaliseren!”

Mandy: “Het is mooi om te zien hoe we als team super pragmatisch aan de slag moeten. Het is niet alleen maar data science en softwareontwikkeling, maar bijvoorbeeld ook met plaatjes voor de camera heen en weer lopen om deze te kalibreren. Daarnaast veel discussiëren over hoe we de camera-hardware werkend gaan krijgen.”

De waarde van luchtfotografie

Luchtfoto’s van heel Nederland zijn gratis beschikbaar via de open data voorziening van de overheid. We hebben onderzocht of vervaagde wegmarkeringen op het asfalt (invoegstroken, haaientanden, blokstrepen etc.) hierop goed te detecteren zijn. Deze luchtfoto’s worden elke zes maanden opnieuw ingewonnen. Een wegmarkering is niet van de ene op de andere dag geheel verdwenen, zoals een lantarenpaal wel ineens omvergereden kan worden. Ook zijn wegmarkeringen vooral goed te zien van bovenaf. Zo is data uit luchtfoto’s dus een mooie complementaire databron, ter aanvulling op de beelddata die vanuit de auto’s verzameld word. 

Hoe zijn jullie begonnen?

Jack: “We hebben eerst een tooltje gebouwd in Python om alle luchtfotos binnen te halen. Daarna moesten we de data labelen om het model op te kunnen trainen. Dat is wel een flinke klus om die data met de hand te labelen. Daar zijn externe bureaus voor, maar voor ons proof-of-concept was het sneller om zelf een paar honderd foto’s te voorzien van labels. Daarna hebben we ons eigen model getraind op deze data.”

Mandy: “We hebben gezien hoe subjectief labelen eigenlijk is en hoe belangrijk het is om duidelijke werkinstructies op te stellen. In discussies met de inspecteurs bij het havenbedrijf zie je dat de één een markering nog heel acceptabel kan vinden, terwijl de ander deze zou vervangen. Dat laat ook de kracht van AI zien. Als je heldere, goede data in het model stopt, dan krijg je daar stabiele en objectieve beoordelingen uit. Iets wat voor mensen toch moeilijk kan zijn.”

Tegen welke uitdagingen zijn jullie aangelopen?

Jeroen: “HBR faciliteert ons om een Lean Startup aanpak te hanteren met veel autonomie. Bij autonomie en snelheid komt ook wel een groot stuk eigen verantwoordelijkheid kijken. Hoe pak je iets aan? Gaat het wel lukken? En dat moet allemaal passen binnen een strakke deadline, zonder de requirements van de klant uit het oog te verliezen. Dat is soms een wel een uitdaging.”

Mandy: “Stakeholder management is bij innovatieve projecten heel belangrijk. Soms moet je eerst flink investeren in de software zelf om een sterke algoritmische basis te leggen. Dat levert dan niet direct waarde op voor de eindgebruiker, maar is wel noodzakelijk voor het slagen van het project. Een andere uitdaging was de kwaliteit en de kwantiteit van de trainingsdata. Zonder goede data geen goede modellen. Er zijn zoveel zaken waar je aan kan denken: hoe lang train je, doe je augmentatie op je data, leert het model echt wat het moet leren?”

Wat zou je verder ku­nnen doen met beeldherkenning op luchtfotografie?

Jack: “Er staat veel meer in een luchtfoto dan alleen wegmarkeringen. Het lijkt me dat die dataset voor zaken te gebruiken is. Belangrijk is hierbij om de privacy van personen op de beelden te waarborgen door ze onherkenbaar te maken, zodat er niet onbedoeld tot personen herleidbare gegevens worden geregistreerd.”

Mandy: “Of voor wetenschappelijke onderzoeken naar klimaatverandering, je kan door de jaren heen heel duidelijk zien hoe je omgeving verandert! Als je ziet hoe ver we zijn gekomen in korte tijd, denk ik dat er nog zoveel meer waarde te halen is uit deze dataset. Of je nou klimaatverandering wil volgen, zonnepanelen wil verkopen aan consumenten of vervaagde haaientanden wil detecteren!”