Context

Als onderdeel van zijn 2027-roadmap blijft STIB-MIVB zijn Data Platform moderniseren en optimaliseren. Na de migratie van niet-SAP data naar Azure zijn onze belangrijkste prioriteiten:

• Ontwikkelen van nieuwe business use cases ter ondersteuning van reporting, analytics en Data Science.
• Versterken van data governance via Databricks Unity Catalog.
• Uitbreiden van onze self-service data strategie om business teams meer autonomie te geven, met behoud van goede governance en beveiliging.
• Monitoren en optimaliseren van Azure en Databricks verbruik en kosten om de efficiëntie van het platform te verbeteren.
• Continue verbetering van onze Data Platform architectuur, met focus op prestaties, schaalbaarheid en betrouwbaarheid.

Om deze initiatieven te ondersteunen, zijn wij op zoek naar een ervaren Azure Data Engineer met sterke expertise in Azure Databricks en Unity Catalog ter versterking van ons Data & Analytics team.

Hoofdmissie:

Als Azure Data Engineer speel je een sleutelrol in de continue ontwikkeling, optimalisatie en governance van het Data Platform van STIB-MIVB.

Je ontwerpt, ontwikkelt en onderhoudt betrouwbare en schaalbare data-oplossingen op Microsoft Azure, terwijl je bijdraagt aan de evolutie van onze Azure Databricks architectuur.

Je helpt ook bij het implementeren van data governance en self-service mogelijkheden via Unity Catalog, monitort platformverbruik en kosten, en zorgt ervoor dat ons Data Platform voldoet aan de bedrijfsbehoeften wat betreft prestaties, beveiliging en betrouwbaarheid.

Belangrijkste verantwoordelijkheden:

• Ontwerpen en ontwikkelen van data pipelines met Azure Data Factory, Databricks en andere Azure services.
• Implementeren van moderne data architecturen (Data Lake, Delta Lake, Lakehouse).
• Ontwikkelen en industrialiseren van nieuwe business use cases.
• Bijdragen aan de implementatie en het beheer van Databricks Unity Catalog (catalogi, schema's, permissies, data sharing en governance).
• Ondersteunen van de implementatie van een self-service data strategie.
• Monitoren en optimaliseren van Azure en Databricks prestaties, resourceverbruik en kosten.
• Automatiseren van data-ingestie, transformatie en deploymentprocessen.
• Samenwerken met Data Analysts, Data Scientists en business stakeholders.
• Documenteren van dataflows, architectuur en best practices.
• Bijdragen aan het onderhoud en de continue verbetering van het Azure Data Platform.

Vereiste technische vaardigheden:

• Sterke ervaring met Azure services: Data Factory, Azure Databricks, Azure Storage, Azure SQL, Key Vault, Azure DevOps.
• Praktische ervaring met Databricks Unity Catalog, inclusief access management, security en data governance.
• Grondige kennis van Azure Databricks architectuur, inclusief Lakehouse design, schaalbaarheid, security en best practices.
• Ervaring met Spark, PySpark en Delta Lake.
• Sterke vaardigheden in SQL en Python.
• Ervaring met monitoring, performance tuning en kostenoptimalisatie in Azure en Databricks.
• Kennis van CI/CD-principes toegepast op data engineering.
• Kennis van applicatie-integratiepatronen (REST API, AMQP).

Profiel:

• Diploma in Computer Science, Data Engineering of een gerelateerd vakgebied.
• Minimaal 5 jaar ervaring in een vergelijkbare rol.
• Aantoonbare ervaring met Azure Databricks, Unity Catalog en Azure data architectuur.
• Analytisch denkvermogen, zelfstandigheid, probleemoplossend vermogen en teamgeest.
• Sterke communicatieve vaardigheden en het vermogen om technische concepten duidelijk uit te leggen.

Pre:

• Microsoft Azure of Databricks certificeringen.
• Ervaring met Power BI administratie en governance.
• Ervaring met real-time data streaming.
• Ervaring met Terraform of Infrastructure as Code.
• Bekendheid met Azure Monitor en Log Analytics.
• Basiskennis van SAP (S/4HANA of BW/4HANA als databronnen).
• Ervaring met werken in Agile/Scrum omgevingen.

Als je graag werkt met moderne datatechnologieën en wilt bijdragen aan de toekomst van mobiliteit in Brussel, horen we graag van je!