RBI-Solutions blog

Metadata: je geheime wapen voor observability & governance

Metadata voor observability en governance: verder dan information_schema Een aantal weken geleden, wijdden we een blog aan het gebruik van metadata voor het slimmer ontwikkelen en onderhouden van dataplatforms. Metadata wordt helaas nog vaak gezien als het saaie bijproduct van data: een paar kolomnamen, datatypes en misschien een timestamp, maar in moderne dataplatformen is dat nog maar het topje van de ijsberg. Metadata kan, mits goed benut, een krachtig fundament vormen voor zowel observability als governance. Het kan helpen bij het opsporen van problemen, het begrijpen van datastromen, het garanderen van compliance en zelfs het optimaliseren van prestaties.

Van structuur naar gedrag
Het begint bij het besef dat metadata niet alleen over structuur gaat, maar ook over gedrag. Naast beschrijvende metadata (schema’s, kolomnamen, constraints) hebben we ook operationele metadata, zoals query logs, latency- en throughput-metrics, lineage-informatie en toegangspatronen. Deze data is vaak verspreid over meerdere systemen: je vindt een deel in databases, een deel in logbestanden, en een deel bestaat in gespecialiseerde data catalog tools zoals Apache Atlas, Collibra of Alation. Waar information_schema vooral statische informatie geeft, bieden deze bronnen een dynamisch beeld van wat er daadwerkelijk gebeurt.

Metadata voor observability
Neem het voorbeeld van observability. Een data engineer die een vertraging in een dashboard onderzoekt, wil niet alleen weten uit welke tabellen de data komt, maar ook welke upstream-transformaties er zijn uitgevoerd, hoelang elke stap duurde en of er recente schemawijzigingen zijn geweest. Door metadata te verzamelen van zowel de query-engine (Snowflake, BigQuery, Redshift) als uit de ETL- of ELT-pijplijnen (dbt of Airflow), ontstaat een compleet beeld. Lineage-informatie maakt het mogelijk om te zien welke datasets geraakt worden door een falende job, waardoor gerichte actie mogelijk wordt.

Metadata voor governance
Voor governance speelt metadata een minstens zo belangrijke rol. Stel, je werkt in een organisatie die aan GDPR- of AVG-regelgeving moet voldoen. Je moet kunnen aantonen waar persoonlijke gegevens worden opgeslagen, wie er toegang toe heeft en hoe deze gegevens worden verwerkt. Met alleen information_schema weet je hooguit dat er een kolom ‘email’ bestaat, maar niet of deze kolom daadwerkelijk persoonsgegevens bevat, of hoe deze verderop in het proces wordt gebruikt. Door classificatie- en tagging-mechanismen toe te passen, bijvoorbeeld via open source tooling als Amundsen of via cloud-native oplossingen zoals in de AWS Glue Catalog, kun je datasets verrijken met semantische metadata. Zo wordt het mogelijk om automatisch rapportages te genereren over datagebruik en compliance.

Het combineren en standaardiseren van metadata
De uitdaging zit vaak niet in het verzamelen van metadata, maar in het combineren en standaardiseren ervan. Operationele metadata uit Airflow ziet er anders uit dan die uit Snowflake, en lineage-data uit dbt sluit niet altijd naadloos aan op wat in je data catalog staat. Hier komen standaarden zoals OpenLineage in beeld, die als doel hebben om metadata uit verschillende tools te harmoniseren. Zo kun je één centrale bron creëren voor zowel observability als governance, in plaats van gefragmenteerde eilandjes van informatie.

Metadata real-time inzetten
Een andere valkuil kan zijn dat metadata vaak pas wordt bijgehouden als er een probleem is. In de praktijk loont het om metadata real-time of near real-time te verzamelen en actief te monitoren. Denk aan een observability-dashboard dat niet alleen pieken in query-tijden laat zien, maar ook direct de relevante lineage en schemawijzigingen toont. Zo kan een analist sneller een root cause vinden zonder door tientallen logs te hoeven spitten.

Metadata en MLOps
Daarnaast kan een metadata-analyse ondersteuning bieden bij het proces van MLOps (ook hier schreven we eerder over: https://rbi-solutions.nl/dataops-devops-en-mlops-oude-wijn-in-nieuwe-zakken-of-echt-anders/ Machine learning-modellen kunnen bijvoorbeeld afwijkingen detecteren in datavolumes, kolomwaarden of toegangspatronen, en automatisch alerts sturen. Ook voor governance biedt dit kansen: automatische detectie van gevoelige data bij het binnenkomen van nieuwe datasets, gevolgd door automatische tagging en het instellen van toegangsrestricties.

De blauwdruk van je dataplatform
Uiteindelijk is de kern dat metadata een strategisch middel is, geen bijzaak. Door verder te kijken dan information_schema en metadata actief te verzamelen, te verrijken en te gebruiken, kunnen organisaties zowel hun datakwaliteit verbeteren als voldoen aan steeds strenger wordende regelgeving. Observability en governance komen daarbij samen in één verhaal: inzicht in wat er met je data gebeurt, en controle over hoe het gebeurt.

Conclusie: meer dan ‘data over data'Wie metadata ziet als slechts ‘data over data’, mist de helft van het potentieel. Metadata is in feite de blauwdruk van je dataplatform: het onthult wat er onder de oppervlakte speelt, maakt problemen zichtbaar voordat ze kritiek worden, en zorgt ervoor dat je op elk moment kunt verantwoorden wat er met je data gebeurt. Het is tijd dat we het minder als administratieve verplichting behandelen, en meer als strategische asset die ons helpt betere, betrouwbaardere en veiligere data-ecosystemen te bouwen.

Meer weten over wat wij met data kunnen?

Lees verder over data en de diensten van RBI-Solutions in deze blog's:

Zonder businessdoelen geen duurzame data-architectuur

Vorige week gaf ik met veel enthousiasme een introductie over data-architecturen aan nieuwe collega’s. We bespraken de historie van architecturen, de plek van een Data Architectuur binnen een Enterprise Architectuur en hoe zo’n architectuur het werk van Data Engineers, Data Analisten en Data Scientists beïnvloedt. Data Architectuur wordt vaak gezien als een IT-feestje, maar een goede architectuur wordt altijd gedreven door heldere businessdoelen. Zonder die doelen is een data platform als een Ferrari bij een off-road rally: technisch en esthetisch indrukwekkend, maar totaal ongeschikt voor het terrein waarin het moet presteren. Zo verliest een architectuur zonder richting snel zijn waarde en wordt data engineering meer een technologisch experiment dan een strategisch fundament.

MCP: De nieuwe AI standaard

Een begrip dat je online steeds vaker tegenkomt binnen al de buzz rond AI is ‘MCP’; weer zo’n afkorting die voor heel veel mensen cryptisch klinkt. Binnen de AI wereld is het echter wel een heel belangrijke vooruitgang: standaardisatie. Het verbinden van AI met bestaande APIs biedt heel veel mogelijkheden. Echter bouwt elke organisatie hun oplossing net weer anders. De ene bot praat zo tegen een API, de andere weer anders, en voor je het weet heb je een kerkhof aan connectors. Het idee is goed, de uitvoering vaak rommelig. Dit is precies waar MCP om de hoek komt kijken.

AI Agents: meer dan een slimmere chatbot

De meeste mensen zien AI nog steeds als een soort papegaai die tekstjes en plaatjes maakt zodra je iets vraagt. Handig, maar ook best oppervlakkig. Sinds enige tijd is er echter ook iets nieuws in opkomst: ‘Agentic AI’. AI-agenten dus die autonoom te werk kunnen gaan.

In plaats van pure generatie, kunnen ze een probleem ontleden, stappen zetten richting een oplossing, hun eigen werk checken en zelf andere tools gebruiken. We stappen dus richting zelfstandig werkende oplossingen. Je kunt het bijna zien als een leger van volledig virtuele assistenten en stagiaires. Dit belooft veel maar, brengt zeker ook gevaren.

AutoML: Machine Learning op de automatische piloot?

Geautomatiseerd Machine Learning ook wel ‘AutoML’ is het automatiseren van de tijdrovende, iteratieve taken bij het ontwikkelen van machine learning-modellen. Je laat als het ware het bouwen van de modellen aan de machines zelf over.

Voor een paar tientjes een model dat kan voorspellen welke klanten over een paar maanden gaan vertrekken. Klinkt een beetje te goed om waar te zijn. Dan heb je natuurlijk ook geen Data Scientists meer nodig, toch? Nou, er zitten uiteraard wel wat haken en ogen aan. De specialisten op het gebied van Machine Learning verdwijnen ook zeker niet zo maar. Even een stap terug dus.

Data mesh: principes en praktische implementatie

Elk relatief groot bedrijf bestaat uit verschillende afdelingen, elk met zijn eigen vraagstukken. Op datagebied is dat niet anders: marketing wil weten hoe campagnes performen, operations wil de huidige voorraad kunnen inzien, finance bewaakt de cashflow en productontwikkeling volgt klantgedrag.

Datamigratie afgerond… en nu?

Binnen veel organisaties is een datamigratie een enorme mijlpaal. Maandenlang werk je toe naar dat ene moment waarop alle data succesvol is overgezet naar de nieuwe operationele applicatie. Tijdens dat migratietraject worden allerlei controles ingericht: validatieregels, datakwaliteitschecks en integriteitscontroles die ervoor zorgen dat iedere klant, transactie of productrecord correct wordt overgezet. In de praktijk zien we alleen dat die regels direct na de migratie verdwijnen uit beeld. Terwijl ze juist ook dan van grote waarde zijn.

Meggie over haar werk bij de klant

Meggie van den Boom, data engineer bij RBI Solutions, werkt al anderhalf jaar als data consultant bij een financiële dienstverlener. Ze geeft ons vandaag een kijkje in hoe haar werkzaamheden binnen haar team bij de klant eruit zien.

Data migratie test en validatiestrategieën: hoe je zeker weet dat je data klopt na een migratie

Data migraties zijn voor veel organisaties een uitdaging: je stapt over van een oud systeem naar een nieuw, je moderniseert je datawarehouse of je integreert een nieuw platform na een fusie. Ondanks dat het technisch ‘slechts’ het verplaatsen van data lijkt, komt er meer bij kijken om een goede datamigratie uit te voeren. Hoe weet je zeker dat de data na migratie nog klopt? Dat er niets verloren is gegaan, of erger nog: dat je geen subtiele fouten hebt geïntroduceerd die maanden later pas boven water komen?
In deze blog staan we stil bij test- en validatiestrategieën bij data migraties. We bespreken waarom het testen van een datamigratie fundamenteel anders is dan het testen van een standaard applicatie, welke technieken je kunt gebruiken om betrouwbaarheid te garanderen, en hoe je omgaat met de praktische uitdagingen die je onderweg tegenkomt.

Waarom AI en automatisering niet werken zonder goede data engineering

AI is hot. Iedereen wil er iets mee. Van slimme voorspellingen tot volledige automatisering van bedrijfsprocessen; organisaties investeren massaal in artificial intelligence. Maar wie verder kijkt dan de hype, ziet dat veel AI-projecten stranden nog voordat ze echt waarde opleveren. Niet vanwege de modellen of de tooling, maar vanwege iets veel fundamentelers: de onderliggende data en hoe je ermee omgaat. Of specifieker: de data engineering erachter. Want zonder robuuste data-infrastructuur is AI net zo betrouwbaar als een kompas in een magneetveld.

Data-APK: inzicht en zekerheid voor jouw bedrijfsdata

In een tijd waarin beslissingen steeds meer op data leunen, is het essentieel om zeker te weten dat die data klopt. Net als een auto die regelmatig een APK nodig heeft om veilig te blijven rijden, vraagt ook jouw bedrijfsdata om een periodieke check. Bij RBI Solutions noemen we dat de Data-APK: een slimme, laagdrempelige manier om jouw data in kaart te brengen, problemen te signaleren en waardevolle inzichten te bieden die jouw organisatie helpen sneller en beter beslissingen te nemen.

de transitie met Microsoft Fabric

In veel MKB-organisaties is het verzamelen en rapporteren van data nog steeds een tijdrovende en foutgevoelige klus. Excel-bestanden circuleren overal, gegevens worden handmatig gecorrigeerd in verschillende systemen en rapportages worden met de hand bijgewerkt. Het gevolg is dat managers en analisten vaak worstelen met verouderde inzichten, inconsistente cijfers en een gebrek aan overzicht. Hierdoor duurt het langer voordat er goede beslissingen genomen kunnen worden en het vertrouwen in de data neemt af.

Een bekend probleem is dat data uit verschillende systemen, zoals een boekhoudpakket, CRM of HR-software, niet automatisch met elkaar verbonden zijn. Dit leidt tot dubbel werk, handmatige controles en fouten bij het overzetten van data. Denk bijvoorbeeld aan het handmatig aanpassen van uitzonderingen in BTW-tarieven of het dubbel moeten invoeren van klantgegevens. Deze werkwijze kost veel tijd en brengt risico’s met zich mee.

Metagegevens als motor: hoe gebruik van information_schema je dataplatform slimmer kan maken

Hopelijk weet iedereen die met databases werkt van het bestaan van standaard metagegevens waarmee er gemakkelijk inzicht verkregen kan worden over de structuur, data en opzet van de database. Ook voor dataplatforms zijn deze objecten enorm waardevol. Toch wordt het potentieel van metagegevens nog vaak onderschat, terwijl vrijwel elke (moderne) relationele database, van PostgreSQL tot Snowflake, een krachtig en vaak onderbenut startpunt biedt in de vorm van information_schema.

In deze blog duiken we dieper in hoe metagegevens via information_schema je dataplatform slimmer, transparanter en beheersbaarder maken. Voor zowel data engineers die pipelines bouwen, als analisten die vertrouwen op stabiele datasets, bieden deze metagegevens enorme voordelen. Van automatisch documenteren tot het voorkomen van incidenten: wie information_schema goed gebruikt, bouwt een robuuster platform.

« Older Entries