Solution architect – Target Data Platform, opslag en lakehouse

U ondersteunt het ontwerp van het multi-user data- en analyseplatform van Sciensano, in het bijzonder de component ‘storage layer’ (inclusief de “data lake”, die de basis vormt van het dataplatform). U ondersteunt ook de interacties met de andere componenten (‘ingestion layer’, ‘core systems’, ‘front-end-systems’…).

U bent gespecialiseerd in data- en analyseplatformen, met expertise in lakehouse-architecturen, Kubernetes-gebaseerde data science-omgevingen, open source-ecosystemen en Europese initiatieven rond digitale soevereiniteit.

U heeft ervaring in het ontwerpen van schaalbare, interoperabele, beveiligde (AVG, NIS2) en productiegerichte platformen met technologieën zoals PostgreSQL, MinIO, OpenStack, Apache, Kubernetes, Docker, Spark, Onyxia, en moderne governance- en metadata-frameworks.

U vormt de brug tussen de architectuur op organisatieniveau en de gedetailleerde technische implementatie. U werkt samen met interne diensten, technische teams en externe partners om tot een geïntegreerde en robuuste oplossing te komen.

Uw verantwoordelijkheden omvatten, in coördinatie met Data Office (afdeling Data Governance, Sciensano):

• voorstellen, evalueren, testen en adviseren van technologieën, tools en methodologieën voor de ‘storage’ component (lakehouse). Dit omvat:

• BLOB storage, data lake

• data warehouse relational database management system (RDBMS)

• SQL RDBMS

• NoSQL Database System.

• voorstellen hoe de ‘medallion’-architectuur (brons, zilver, goud), archivering en back-up geïmplementeerd kunnen worden binnen het dataplatform, rekening houdend met de ingestie, verwerking, integratie, consumptie en verspreiding van verschillende types datastromen en de verplichtingen (wettelijk, Belgisch ecosysteem voor gezondheids-, dieren- en milieu-informatie).

• evalueren, voorstellen en testen dat deze oplossingen consistent zijn met de algemene architectuur van het platform, gebaseerd zijn op open source, soevereine en multi-user technologieën, en compatibel en interoperabel zijn met de andere ‘Application architecture’ componenten, in het bijzonder met:

• ‘ingestion layer’ (inclusief de verschillende bronnen)

• ‘core systems’

• ‘front-end-systems’ (data science workbench, BI, data service gateway, secure processing environment)

• ervoor zorgen dat de architectuur en de datastromen voldoen aan de vereisten bepaald door het Data office, AVG, NIS2, Informatiebeveiligingscomité (CSI), het nieuwe registerbeleid en de European Health Data Space (health data holder, trusted data holder).

• proactief uitdagingen rond keuzes en implementatie van het systeem oplossen

• technische teams adviseren, technische ontwerpen en code evalueren, best practices ondersteunen;

• samenwerken met de verschillende betrokken diensten, het management en externe partners en fungeren als technisch aanspreekpunt;

• opstellen van (technische) documentatie;

• zorgen voor een hoogwaardige technische implementatie;

Master in informatica, engineering, data management (of gelijkwaardig, aangevuld met relevante ervaring)

Minstens 10 jaar ervaring:

• in data platforms, data engineering, solution architecture, dataopslag, big data-ecosystemen, datamodellering en database technologieën;

• ontwerp en implementatie van moderne data- en analyseplatformen.

• in lakehouse-architecturen, open source ecosystemen (zonder single vendor lock-in), en Europese initiatieven rond digitale soevereiniteit.

Expertise in:

• architectuur van data platformen

• data ingestie, data lakes, data warehousing, ETL/ELT pipelines

Technische expertise in selectie, implementatie en onderhoud van:

• Storage (bv. MinIO, PostgreSQL, NoSQL, S3-compatible object storage)

• Data processing (bv. Apache ecosystem, Iceberg, Spark, dbt)

• Containers en orchestration (bv. Docker, Kubernetes, Helm)

• Security (bv. Keycloak, Vault)

• Infrastructuur (bv. Terraform, OpenStack)

• Beheer en version control (bv. open project, JIRA, github, gitlab)

[Pluspunt] Soevereine cloud stack (bv. OVHcloud, Hetzner, Scaleway)

Generieke vaardigheden:

• metadata management, data governance, privacy, bescherming en beveiliging van data (bv. AVG, NIS2, Data Governance act)

• sterke analytische en probleemoplossende vaardigheden;

• uitstekende interpersoonlijke en communicatieve vaardigheden, in staat om complexe onderwerpen over te brengen aan zowel technische als niet-technische doelgroepen;

• gemotiveerd en in staat om zelfstandig te werken, met een samenwerkingsgerichte instelling en sterke communicatieve vaardigheden;

• in staat om leiding te geven, bij te dragen aan het definiëren en beïnvloeden van ontwerp en ontwikkeling van oplossingen

• klantgerichte mentaliteit met een sterke focus op resultaten.

Talen: Nederlands of Frans; en uitstekende kennis van het Engels