A.Hak
Uitdaging
Bij A.Hak maken we gebruik van een bron met een set tabellen die voor elk bedrijf hetzelfde is. Omdat A.Hak uit ongeveer vijftig bedrijven bestaat houdt dit in dat we ongeveer 50 keer dezelfde set aan tabellen hebben die we in de staging laag willen ontsluiten en samenvoegen. De uitdaging is om met een script de staging packages te genereren om deze set aan tabellen te ontsluiten. Daarnaast wil A.Hak van hun lokale servers af en alles naar de cloud brengen, dit geld ook voor hun SSIS processen.
Toepassing data integratie
Door middel van BIML script kunnen we de staging packages genereren. Hiervoor maken we gebruik van de systeemtabellen van de bron en de staging database om de benodigde metadata uit te lezen voor het genereren van de SSIS packages. De gegevens worden opgeslagen in een datawarehouse dat bestaat uit een Azure database. Voor de ETL maken we gebruik van Azure Data Factory v2, deze service zorgt voor het uitvoeren van de ETL en het opslaan van de SSIS packages.
Toegevoegde waarde voor A.Hak
Door het genereren met BIML kunnen we snel ETL packages voor de staging laag ontwikkelen. Daarnaast kunnen we in het geval dat er een company wordt toegevoegd aan de bron in korte tijd de packages opnieuw genereren zodat de nieuwe brontallen direct opgenomen zijn en ontsloten worden. Daarnaast hoeft A.Hak doordat we gebruik maken van Azure cloud services geen lokale servers meer te beheren of te onderhouden.
Pijler: Data Management
Trefwoorden: Data management, Azure, BIML, Microsoft
A.Hak is een familiebedrijf met 55 jaar ervaring in de aanleg van ondergrondse infrastructuur voor transport en distributie van olie, gas, water en elektriciteit. Ervaring die ze ook al jaren inzetten op het gebied van duurzame energie.
Maak kennis met Frank
