Context

In het kader van het DEP (Data Exchange Platform) programma bouwen we een on-premise data platform voor het Belgische Ministerie van Defensie. Het platform moet voldoen aan strikte eisen op het gebied van beveiliging, governance en data-soevereiniteit.

Je komt terecht in het Sierra Team en werkt samen met een Data Architect, een Solution Architect en een BI developer.

Jouw belangrijkste taken

Inname & data pipelines

• Ontwerpen en uitrollen van ingestie-pipelines vanuit heterogene bronnen: bestanden, APIs, relationele databases.
• Implementeren van pipelines voor incrementele en streaming ingestie.
• Zorgen voor betrouwbaarheid, idempotentie en traceerbaarheid van elke pipeline.

Transformatie & semantische laag

• Ontwikkelen van transformatie-modellen op de Bronze, Silver en Gold lagen (Medallion-architectuur).
• Implementeren van best practices voor data historisatie (bv. SCD2, upsert, append only, ...).
• Ontwikkelen van exports naar Delta Lake.

ACID-transacties & Time Travel

• Beheren en onderhouden van Delta Lake tabellen.
• Waarborgen van transactionele consistentie van data in een multi-domein omgeving.

Orchestration

• Implementeren en onderhouden van te orkestreren assets.
• Monitoren van runs, beheren van fouten en automatiseren van alerts.

Governance & lineage

• Pushen van technische en business metadata naar het data platform.
• Onderhouden van end-to-end lineage.
• Bijdragen aan het opstellen van DUA, SLA en bijbehorende governance-documenten.

Data Exposure

• Ontwikkelen van endpoints om de Gold-laag beschikbaar te stellen aan BI Dashboards.
• Samenwerken met reporting teams voor het voeden van BI dashboards.

Gezocht profiel

Vereiste technische vaardigheden

• Beheersing van Python
• Beheersing van SQL
• Bewezen ervaring met dbt-core (modellen, snapshots, macros, tests, profielen).
• Goede kennis van DuckDB als embedded analytische query engine.
• Ervaring met Delta Lake (ACID-transacties, time travel, OPTIMIZE/VACUUM, ...).
• Kennis van relationele databases: MSSQL, PostgreSQL (geavanceerde SQL, CDC).
• Ervaring met een data orchestrator: Dagster, Airflow of equivalent.
• Vlot op Linux/OpenShift en in PowerShell (Windows dev environment).
• Bekendheid met governance tools: DataHub, OpenMetadata of equivalent.
• Ervaring in BI development.

Gewenste vaardigheden

• Ervaring met Kafka/Debezium voor real-time data capturing.
• Kennis van Spark (Spark SQL, Thrift Server, Beeline).
• Ervaring met Power BI Report Server (PBIRS) of Apache Superset.
• Gevoeligheid voor data security in omgevingen met beperkte toegang.
• Kennis van Lakehouse-concepten (Medallion-architectuur), DWH en Datalake.

Soft skills

• Nauwkeurigheid en autonomie in het beheer van complexe multi-domein pipelines.
• Het vermogen om technische beslissingen te documenteren en te vertalen naar niet-technische stakeholders.
• Teamgeest.
• Nieuwsgierig en oplossingsgericht ingesteld.

Wat wij bieden

• Een stabiele opdracht van lange duur.
• Een project met grote impact in een veilige en technisch uitdagende omgeving.
• Een moderne en open-source stack: DLT, dbt, DuckDB, Delta Lake, Dagster, ...
• Een ervaren en behulpzaam team, gericht op kwaliteit en best practices.
• Mogelijkheden om je te ontwikkelen op het gebied van governance, orchestration en lakehouse.

Gezien de aard van de activiteiten moet de kandidaat de Belgische nationaliteit bezitten.