Het migreren van data kan een enorme uitdaging zijn – zeker als het gaat om duizenden gebruikers en miljoenen transacties. Voor een beleggingsplatform hebben wij in slechts 7 maanden tijd een complexe migratie uitgevoerd én het volledige databeheer geoptimaliseerd. Hierbij ontdekten we €250.000 aan foutieve transacties die we herstelden én waarvoor we een migratie van miljoenenrecords naar een nieuw platform uitvoerden.
Projectperiode: 2023, 7 maanden doorlooptijd
Team: 2 consultants
De uitdaging
Een crowdfund-platform gebouwd in Drupal moest worden vervangen door een nieuw greenfield platform. Dit vroeg om een zorgvuldige migratie en opschoning van data voor ruim 11.000 gebruikers met een portefeuillewaarde van €50 miljoen.
Onze aanpak in stappen
- Exporteren en opschonen van data:
Data uit het oude Drupal-platform werd geëxporteerd naar ongeveer 300 JSON-bestanden.
Met een generieke Python-oplossing hebben we deze bestanden omgezet naar tabellen in een nieuwe SQL Server-database. - Ontwikkelen van een logisch datamodel:
We bouwden een logisch datamodel als tijdelijke basis, omdat het nieuwe platform nog niet gereed was. Hierop controleerden we de data op consistentie, verwijderden we dubbele transacties en genereerden we achterstallige jaaroverzichten voor klanten. - Ontwerpen van een nieuw datamodel:
Voor het nieuwe platform ontwikkelden we een nieuw datamodel, waarmee de fundering werd gelegd voor een white label financiële applicatie.
Data uit het logische datamodel werd gemapped naar het nieuwe model en aangevuld met een set van 30 procedures. Hiermee kon de applicatie grote hoeveelheden transacties en acties parallel verwerken. - Valideren en corrigeren van transacties:
Met externe bronnen verifieerden we vier jaar aan data, inclusief transacties van het escrow-account. Op basis van leningen en inschrijvingen herrekenden we alle transacties en identificeerden we fouten. Dit leidde tot het opsporen en corrigeren van €250.000 aan foutieve transacties. - Rapportages en prestatieverbeteringen:
We ontwikkelden rapportages die leningen, omzet en betalingen inzichtelijk maken.
De nieuwe procedures verbeterden de snelheid enorm: waar het oude platform 6 uur nodig had voor 400 transacties, genereerde het nieuwe systeem 1,2 miljoen transacties in slechts 2 minuten.
Het resultaat
Een volledig opgeschoond en gemigreerd datafundament dat naadloos aansluit op het nieuwe platform. Daarnaast verbeterde de snelheid en betrouwbaarheid van de dataverwerking aanzienlijk, terwijl gebruikers toegang kregen tot nauwkeurige en inzichtelijke rapportages.