In theorie zou iedere afdeling waardevolle puzzelstukjes moeten leveren aan het centrale dataplatform, waar alle inzichten bij elkaar komen, terwijl in werkelijkheid alles voelt alsof het maar losjes naast elkaar ligt. Het data-platform schiet tekort, het centrale...
Wat er vaak gebeurt, is dat de kwaliteit tijdens de migratie tot in detail wordt gemonitord. Elk leeg e-mailadres of foutief IBAN-nummer wordt opgespoord en gecorrigeerd. Externe databronnen kunnen gebruikt worden om informatie aan te vullen of data wordt uit...
In mijn team heb ik collega’s uit heel Nederland. Van Zuid-Limburg tot het Noorden van Noord-Holland tot ver weg in Zeeland, en ik woon dan in Roosendaal. Dat betekent dat samen op kantoor komen best een uitdaging is. Er is altijd wel iemand die zeker 3 uur...
Van structuur naar gedragHet begint bij het besef dat metadata niet alleen over structuur gaat, maar ook over gedrag. Naast beschrijvende metadata (schema’s, kolomnamen, constraints) hebben we ook operationele metadata, zoals query logs, latency- en...
Waarom data migratie testen zo kritisch (en lastig) isEen datamigratie is in principe een grote kopieeractie. Maar anders dan een simpele copy-paste in je bestandsbeheer, zijn de datasets vaak groot, complex en dynamisch. Denk aan historische datasets van miljoenen...
Een goed functionerend AI-model begint niet bij een algoritme, maar bij data die beschikbaar, betrouwbaar, schaalbaar en bruikbaar is. En precies daar komt data engineering om de hoek kijken. Data engineers leggen de fundamenten waarop alles rust: van...
