Sinds enkele jaren streeft het FAVV een volledig datagedreven organisatie te worden en vertrouwt voor haar rapportage en analyse op een centraal datawarehouse.

Gezien de snel evoluerende technologieën en bedrijfsbehoeften wil het FAVV dit platform nu moderniseren door dit platform te migreren naar de Microsoft Azure-cloud. Deze transitie gaat gepaard met de implementatie van nieuwe, krachtige tools, waaronder Microsoft Fabric (ETL) en Power BI.

Om ons te helpen met deze uitdaging zijn wij op zoek naar twee Data Engineer Microsoft Fabric

Missie:

• Ontwerpen en ontwikkelen van ETL flows in Microsoft Fabric (Dataflows Gen2, Notebooks PySpark, Pipelines) op Azure Cloud
• Instellen van gegevensmodellen georiënteerd naar BI naar de methodologie van Kimball / snowflake
• Ontwikkelen van feitentabellen, dimensies en aggregaten in het DataWarehouse met respect voor de prioriteiten en de planning
• Verzekeren van de kwaliteit, betrouwbaarheid, monitoring en prestaties van de kenmerken en de flows
• Beheren en bewaken van traceerbaarheid, waarschuwingen voor de flow en afwijzingsproblemen
• Automatiseren van de implementaties met CI/CD (Azure DevOps of GitHub)
• Werken in nauwe samenwerking met het team IC om de samenhang tussen systemen en oplossingen te verzekeren
• Verbinden met verschillende bronnen (Oracle, SQL Server, XML, Flat files, …), begrijpen van hun structuren en optimaliseren van extracties
• Respecteren van de gedefinieerde technische standaarden: naamgeving, beveiliging, beheer, monitoring, CI/CD
• Respecteren van de guidelines en de interne procedures op zowel technisch als organisatorisch niveau
• Documenteren van de bewerkingen en de flows

Technische vaardigheden:

• Microsoft Fabric: Lakehouse, Dataflows Gen2, Pipelines, Warehouse
• Azure: Azure Data Lake, Azure Synapse (un plus)
• Databanken: uitstekende beheersing van Oracle en SQL Server (connectie, extractie, optimalisatie van selects)
• SQL: gevorderd niveau
• PySpark: verdeelde bewerkingen voor grote volumes van data
• DAX (noties)
• Concepten van datawarehouse
• Modellering Kimball: Star Schema & Snowflake, Slowly Changing Dimensions (SCD)
• ETL/ELT: goede praktijkkennis voor sequentiebepaling en monitoring
• CI/CD: Azure DevOps of GitHub Actions
• Beveiliging en beheer van de gegevens op Azure
• Kennis van de Sparx Enterprise Architect voor de documentatie is een pluspunt
• Kennis van Informatica Powercenter (of de wil om het te leren) is een plus

Gewenst profiel:

• Bachelor in Computer Science of gelijkwaardige ervaring
• Minstens 5 jaar ervaring in Data Engineering, waarvan zeker 3 jaar in Fabric op Azure Cloud
• Goede beheersing van de methodologie Kimball voor BI
• Bewezen ervaring van Oracle en SQL Server databases
• Capaciteit om de prestaties te optimaliseren en de processen te documenteren
• Capaciteit om in een team te werken met respect voor het bestuur en de interne procedures
• FR/NL met een goede passieve kennis van de andere taal (vereist)