Waarom doen we bepaalde zaken met de hand? In ons dagelijks leven doen we zo veel mogelijk zaken met behulp van machines, de afwasmachine wast onze vaat, we hebben een wasmachine voor de was en een robotstofzuiger maakt de vloer schoon. Waarom willen we in ons werk bepaalde zaken niet automatiseren en handmatig acties blijven uitvoeren? Is dat de drang naar controle, handmatig werken geeft een soort van kwaliteitsindicatie, zoals bijvoorbeeld handgemaakte Italiaanse schoenen.

De laatste jaren heb ik verschillende data migratie projecten uitgevoerd. Vanuit verschillende bronnen worden er gegevens omgezet, zodat ze geladen kunnen worden in de nieuwe omgeving. Gedurende de ontwikkeling van data migratie software wil je ervoor zorg dragen dat de nieuwe omgeving goed functioneert met de gegevens die worden getransformeerd vanuit de data migratie.
Gedurende de realisatie van het proces is het van belang dat er met oog voor kwaliteit naar het proces wordt gekeken.
 
In een data migratie proces zijn er soms stappen waarvan het logischer lijkt om deze handmatig uit te voeren. Een handmatige stap kan gevoelsmatig meer controle opleveren, echter bij een handmatige stap is het heel lastig om elke keer hetzelfde proces uit te voeren. Je kan allerlei handleidingen opstellen met stappenplan hoe om te gaan, maar de onderliggende gegevens kunnen elke keer anders zijn. Het niet goed uitvoeren van een stapje kan tot vervelende gevolgen leiden. Bijvoorbeeld bij het bewerken van gegevens in Excel kunnen voorloopnullen verdwijnen of worden unieke nummers in Excel als getallen gezien waardoor er een e-macht van gemaakt gaat worden. Hierdoor kunnen de gegevens later in het proces tot fouten leiden.

Waarom worden deze stappen handmatig gezet? Dit heeft zeer waarschijnlijk te maken met onderschatting van de hoeveelheid werk. Daarnaast is er een onderschatting van de noodzaak van terugvoerbaarheid van gegevens en bijbehorende transformatie in het proces. Voor een data migratie is het essentieel dat aan het einde van het proces kan worden geconcludeerd dat alle gegevens consistent worden meegenomen. Deze bewijsvoering vindt over het algemeen plaatst met tellingen in het proces. Met een grote hoeveelheid van handmatige stappen kunnen deze tellingen niet worden gewaarborgd. De controle die voor ogen was met het uitvoeren van de handmatige stappen gaat verloren door het niet kunnen waarborgen van de tellingen.

Bij een data migratie kan het idee ontstaan dat het iets is wat je er even bij doet, hoe moeilijk kan het zijn?! Waarom zou je het automatiseren, het is toch iets eenmaligs? De daadwerkelijke migratie wordt, als het goed is, maar één keer uitgevoerd. Echter tussentijds zal het meerdere malen getest moeten worden om te achterhalen of de nieuwe omgeving goed functioneert met de data. Ook wordt er meermaals getest om te ontdekken welke gegevens er geladen kunnen worden in de nieuwe omgeving en of er ergens aanpassingen nodig zijn. Daarom is het goed om dit proces te automatiseren!