RBI-Solutions blog

Van Inzicht naar Data gedreven: DE SPRONG van AWS Data Warehouse naar Data Lakehouse

Veel organisaties vertrouwen op hun data warehouse voor analyse en besluitvorming. Maar data is allang niet meer alleen gestructureerd: e-mails, Excel-bestanden, afbeeldingen en sensordata vormen inmiddels het grootste deel. En daar zijn traditionele warehouses niet op gebouwd. De oplossing? Een Data Lakehouse: schaalbaar, flexibel én kostenefficiënt – zonder de betrouwbaarheid van een warehouse te verliezen. Maar hoe zet je die stap als je huidige omgeving op AWS draait? En hoe voorkom je vendor lock-in?

afbeelding blogpost data platform engineer

WAAROM HET TRADITIONELE DATA WAREHOUSE NIET MEER VOLDOENDE IS

Het data warehouse vormt al jarenlang het hart van besluitvorming binnen veel organisaties. Data wordt netjes ontsloten, opgeslagen in tabellen en in dashboards weergegeven. Maar waarom vraagt uiteindelijk toch iedereen weer om een Excel-bestand met ruwe data? De realiteit is dat het grootste deel van bedrijfsdata ongestructureerd is. Sommige onderzoeken schatten dat dit wel 80–90% van alle data betreft. Die tientallen PowerPoint-rapportages en honderden Excel-bestanden op de netwerkschijf zijn slechts het topje van de ijsberg. Een Data Lakehouse biedt wél mogelijkheden om met deze vormen van data om te gaan. Bovendien introduceert het een reeks verbeteringen die essentieel zijn voor een moderne, toekomstbestendige data-architectuur.

VIJF VOORDELEN VAN EEN DATA LAKEHOUSE

Flexibiliteit in datatypes: Een Data Lakehouse verwerkt gestructureerde, semi-gestructureerde en ongestructureerde data binnen één platform. Denk aan JSON-bestanden, afbeeldingen, video’s en sensordata.

Kostenefficiënte opslag: Door gebruik te maken van goedkope cloudobjectopslag (zoals Amazon S3 of Azure Data Lake Storage) dalen de opslagkosten aanzienlijk. Ook voorkom je dat data dubbel wordt opgeslagen voor verschillende doeleinden.

Geavanceerde data governance en beveiliging: Lakehouses ondersteunen ACID-conforme transacties (voor betrouwbaarheid), schemahandhaving en versiebeheer. Dit maakt het makkelijker om governance en compliance te borgen, ook bij grote en diverse datasets.

Schaalbaarheid en prestaties: Doordat opslag en rekenkracht gescheiden zijn, kun je eenvoudig opschalen. Moderne query-engines zorgen bovendien voor snelle analyses, vergelijkbaar met traditionele warehouses.

Real-time en advanced analytics: Lakehouses ondersteunen zowel streaming data als batchverwerking. Zo kun je real-time dashboards, ML-modellen en historische rapportages draaien op één platform.

DE OVERGANG VANUIT AWS: WAT JE MOET WETEN

Bij een Delta Lakehouse wordt een extra metadata-laag aan het datalake toegevoegd, waardoor dit een “Delta Lake” vormt. Delta Lake is inmiddels de industriestandaard, onder andere via Databricks of Microsoft Fabric. Gebruik je AWS? Dan kom je bij een belangrijk punt: AWS ondersteunt Delta Lake niet native. Gelukkig is er een open-source alternatief: Apache Iceberg, dat wél goed integreert in de AWS-omgeving. Misschien is dit juist het moment om stil te staan bij je migratie en deze te zien als een kantelpunt.

DATAMIGRATIE ALS STRATEGISCH MOMENT

Bedrijven en hun data-architecturen groeien vaak organisch. Wat een paar jaar geleden logisch was, is dat vandaag misschien niet meer. Cloudleveranciers profiteren hier van: eenmaal gestart binnen één ecosysteem, is overstappen lastig. Dit noemen we vendor lock-in.

Een lakehouse-migratie is hét moment om je af te vragen: “Kun je met je nieuwe architectuur zeker 3 tot 5 jaar vooruit?”

Is het antwoord ja? Mooi. Dan kun je voortbouwen op je bestaande stack en de migratie efficiënt en gecontroleerd uitvoeren.
Is het antwoord nee? Ook goed! Dan kun je een nieuwe architectuur opzetten die écht aansluit bij je toekomstige behoeften. Dit vergt meer werk, maar betaalt zich vaak ruimschoots terug.

DRIE VOORBEELDOPLOSSINGEN VOOR EEN DATA LAKEHOUSE-IMPLEMENTATIE

1. Meest kostenefficiënt: AWS-native met Apache Iceberg

Binnen het AWS-ecosysteem kun je met services zoals S3, Glue, Lake Formation, Lambda, Step Functions en Redshift een serverless Data Lakehouse opzetten. Apache Iceberg zorgt voor ACID-conforme verwerking. Voeg je Sagemaker toe, dan kun je direct aan de slag met machine learning. Door maximaal gebruik te maken van native AWS-tools behaal je schaal- en kostenvoordelen.

2. Focus op machine learning: AWS + Databricks

Hier orkestreer je datastromen met AWS-tools (zoals Glue, Lambda en Step Functions), en gebruik je Databricks voor data-analyse en ML. Databricks is gebouwd op Delta Lake en Apache Spark en blinkt uit in het verwerken van grote datavolumes. Heb je veel ML- of AI-use-cases? Dan is Databricks een logische keuze, al brengt het hogere kosten en complexiteit met zich mee.

3. Focus op eenvoud: Microsoft Fabric

Microsoft Fabric is een volledig SaaS-platform waarin data-integratie, real-time analytics en ML samenkomen. Dankzij OneLake en ondersteuning van Delta Lake werk je met PySpark of SQL binnen één omgeving. Werk je veel met Office 365, Teams of het Power Platform? Dan biedt Fabric een laagdrempelige manier om data-engineering, governance en BI te combineren in één stack.

TOT SLOT: LAAT 80% VAN JE DATA NIET LIGGEN

Er zijn veel manieren om een Data Lakehouse op te zetten – binnen AWS, Azure of Google Cloud. Welke keuze je maakt, hangt af van je bestaande infrastructuur, de tools die je al gebruikt en je specifieke use-cases. Maar één ding staat vast: het negeren van 80–90% van je data is geen optie als je écht data gedreven wilt worden. Lakehouse-architecturen zijn niet alleen actueel; ze worden steeds relevanter.

KLAAR VOOR DE STAP?

Ben jij klaar om de overstap van data warehouse naar lakehouse te maken? Een migratie blijft altijd maatwerk en wij denken graag met je mee.

👉 Lees hier hoe we dat aanpakken of neem vrijblijvend contact met ons op!

Meer weten over wat wij met data kunnen?

Lees verder over data en de diensten van RBI-Solutions in deze blog's:

Data mesh: principes en praktische implementatie

Elk relatief groot bedrijf bestaat uit verschillende afdelingen, elk met zijn eigen vraagstukken. Op datagebied is dat niet anders: marketing wil weten hoe campagnes performen, operations wil de huidige voorraad kunnen inzien, finance bewaakt de cashflow en productontwikkeling volgt klantgedrag.

Datamigratie afgerond… en nu?

Binnen veel organisaties is een datamigratie een enorme mijlpaal. Maandenlang werk je toe naar dat ene moment waarop alle data succesvol is overgezet naar de nieuwe operationele applicatie. Tijdens dat migratietraject worden allerlei controles ingericht: validatieregels, datakwaliteitschecks en integriteitscontroles die ervoor zorgen dat iedere klant, transactie of productrecord correct wordt overgezet. In de praktijk zien we alleen dat die regels direct na de migratie verdwijnen uit beeld. Terwijl ze juist ook dan van grote waarde zijn.

Meggie over haar werk bij de klant

Meggie van den Boom, data engineer bij RBI Solutions, werkt al anderhalf jaar als data consultant bij een financiële dienstverlener. Ze geeft ons vandaag een kijkje in hoe haar werkzaamheden binnen haar team bij de klant eruit zien.

Metadata: je geheime wapen voor observability & governance

Metadata voor observability en governance: verder dan information_schema
Een aantal weken geleden, wijdden we een blog aan het gebruik van metadata voor het slimmer ontwikkelen en onderhouden van dataplatforms. Metadata wordt helaas nog vaak gezien als het saaie bijproduct van data: een paar kolomnamen, datatypes en misschien een timestamp, maar in moderne dataplatformen is dat nog maar het topje van de ijsberg. Metadata kan, mits goed benut, een krachtig fundament vormen voor zowel observability als governance. Het kan helpen bij het opsporen van problemen, het begrijpen van datastromen, het garanderen van compliance en zelfs het optimaliseren van prestaties.

Data migratie test en validatiestrategieën: hoe je zeker weet dat je data klopt na een migratie

Data migraties zijn voor veel organisaties een uitdaging: je stapt over van een oud systeem naar een nieuw, je moderniseert je datawarehouse of je integreert een nieuw platform na een fusie. Ondanks dat het technisch ‘slechts’ het verplaatsen van data lijkt, komt er meer bij kijken om een goede datamigratie uit te voeren. Hoe weet je zeker dat de data na migratie nog klopt? Dat er niets verloren is gegaan, of erger nog: dat je geen subtiele fouten hebt geïntroduceerd die maanden later pas boven water komen?
In deze blog staan we stil bij test- en validatiestrategieën bij data migraties. We bespreken waarom het testen van een datamigratie fundamenteel anders is dan het testen van een standaard applicatie, welke technieken je kunt gebruiken om betrouwbaarheid te garanderen, en hoe je omgaat met de praktische uitdagingen die je onderweg tegenkomt.

Waarom AI en automatisering niet werken zonder goede data engineering

AI is hot. Iedereen wil er iets mee. Van slimme voorspellingen tot volledige automatisering van bedrijfsprocessen; organisaties investeren massaal in artificial intelligence. Maar wie verder kijkt dan de hype, ziet dat veel AI-projecten stranden nog voordat ze echt waarde opleveren. Niet vanwege de modellen of de tooling, maar vanwege iets veel fundamentelers: de onderliggende data en hoe je ermee omgaat. Of specifieker: de data engineering erachter. Want zonder robuuste data-infrastructuur is AI net zo betrouwbaar als een kompas in een magneetveld.

Data-APK: inzicht en zekerheid voor jouw bedrijfsdata

In een tijd waarin beslissingen steeds meer op data leunen, is het essentieel om zeker te weten dat die data klopt. Net als een auto die regelmatig een APK nodig heeft om veilig te blijven rijden, vraagt ook jouw bedrijfsdata om een periodieke check. Bij RBI Solutions noemen we dat de Data-APK: een slimme, laagdrempelige manier om jouw data in kaart te brengen, problemen te signaleren en waardevolle inzichten te bieden die jouw organisatie helpen sneller en beter beslissingen te nemen.

de transitie met Microsoft Fabric

In veel MKB-organisaties is het verzamelen en rapporteren van data nog steeds een tijdrovende en foutgevoelige klus. Excel-bestanden circuleren overal, gegevens worden handmatig gecorrigeerd in verschillende systemen en rapportages worden met de hand bijgewerkt. Het gevolg is dat managers en analisten vaak worstelen met verouderde inzichten, inconsistente cijfers en een gebrek aan overzicht. Hierdoor duurt het langer voordat er goede beslissingen genomen kunnen worden en het vertrouwen in de data neemt af.

Een bekend probleem is dat data uit verschillende systemen, zoals een boekhoudpakket, CRM of HR-software, niet automatisch met elkaar verbonden zijn. Dit leidt tot dubbel werk, handmatige controles en fouten bij het overzetten van data. Denk bijvoorbeeld aan het handmatig aanpassen van uitzonderingen in BTW-tarieven of het dubbel moeten invoeren van klantgegevens. Deze werkwijze kost veel tijd en brengt risico’s met zich mee.

Metagegevens als motor: hoe gebruik van information_schema je dataplatform slimmer kan maken

Hopelijk weet iedereen die met databases werkt van het bestaan van standaard metagegevens waarmee er gemakkelijk inzicht verkregen kan worden over de structuur, data en opzet van de database. Ook voor dataplatforms zijn deze objecten enorm waardevol. Toch wordt het potentieel van metagegevens nog vaak onderschat, terwijl vrijwel elke (moderne) relationele database, van PostgreSQL tot Snowflake, een krachtig en vaak onderbenut startpunt biedt in de vorm van information_schema.

In deze blog duiken we dieper in hoe metagegevens via information_schema je dataplatform slimmer, transparanter en beheersbaarder maken. Voor zowel data engineers die pipelines bouwen, als analisten die vertrouwen op stabiele datasets, bieden deze metagegevens enorme voordelen. Van automatisch documenteren tot het voorkomen van incidenten: wie information_schema goed gebruikt, bouwt een robuuster platform.

Van tijd naar trigger: De weg naar een event-driven data architectuur

Sinds het begin van het gebruik van Business Intelligence hebben organisaties vertrouwd op periodieke dataverwerking, de zogenaamde ’batch jobs’ die elke nacht draaien. Sindsdien is de behoefte aan snelheid, flexibiliteit en realtime inzichten enorm toegenomen. Die behoefte zorgt dan ook voor een fundamentele verschuiving in hoe we data-architecturen ontwerpen: weg van batch processen, op weg naar een event-driven benadering.

Maar wat betekent dat eigenlijk: ’event-driven’? En waarom zou je hier als data engineer, analist, data scientist of business gebruiker wakker van moeten liggen? In deze blog duiken we in de wereld van event-driven data-architecturen, hun voordelen, uitdagingen, en de tools die deze transitie mogelijk maken.

DataOps, DevOps en MLOps: Oude wijn in nieuwe zakken of écht anders?

In een data gedreven organisatie vliegen de samenwerkingstermen je om de oren: DevOps, DataOps, MLOps. Deze drie termen, die inderdaad erg hetzelfde klinken (en door sommige organisaties ingevuld worden door een beheerder in een ontwikkelteam te zetten), verschillen in de praktijk aanzienlijk in toepassing, focus en doel. Voor wie dagelijks werkt met data of systemen die op data drijven, is het essentieel om deze termen niet alleen te kennen, maar ook te begrijpen wat ze betekenen en hoe ze zich tot elkaar verhouden. Daar nemen we jullie in deze blog dan ook in mee.

INTERVIEW MET DATA ENGINEER/BI CONSULTANT Said Saoud

Wat begon met een goed gesprek en een flinke dosis enthousiasme, groeide uit tot een veelzijdige carrière in data engineering bij RBI. In dit interview deelt Said Saoud zijn reis bij RBI: hoe hij begon, waar hij aan werkt en waarom hij zich thuis voelt in de wereld van data engineering en BI. Benieuwd naar zijn ervaringen, tools en visie op de toekomst van data? Lees het hele verhaal in deze blogpost.

« Older Entries