Solution architect – Target Data Platform, stockage et lakehouse

Vous soutenez la conception de la plateforme de données et analyse multi-user de Sciensano, en particulier le composant ‘storage layer’ (y compris le « data lake », qui constitue le fondement de la plateforme de données). Vous soutenez aussi les interactions avec les autres composants (‘ingestion layer’, ‘core systems’, ‘front-end-systems’…).

Vous êtes spécialisé dans les plateformes de données et analyse, avec une expertise en architectures lakehouse, environnements de data science basés sur Kubernetes, écosystèmes open source et initiatives européennes de souveraineté numérique.

Vous avez expérience dans la conception de plateformes scalables, interopérables, securisés (RGPD, NIS2) et orientées production utilisant des technologies telles que PostgreSQL, MinIO, OpenStack, Apache, Kubernetes, Docker, Spark, Onyxia, et les frameworks modernes de gouvernance et de métadonnées.

Vous faites le lien entre l’architecture au niveau organisationnel et la mise en œuvre technique détaillée. Vous collaborez avec les services internes, les équipes techniques et les partenaires externes afin de trouver une solution intégrée et robuste.

Vos responsabilités comprennent en coordination avec Data Office (département Data Governance, Sciensano) :

• proposer, évaluer, tester et fournir des conseils sur les technologies, les outils et les méthodologies pour le composant ‘stockage’ (lakehouse). Cela comprend le :

• BLOB storage, data lake

• data warehouse relational database management system (RDBMS)

• SQL RDBMS

• NoSQL Database System.

• proposer comment implémenter l’architecture ‘medallion’ (bronze, silver, gold), archivage, et back-up au sein de la plateforme de données, en tenant compte de l’ingestion, traitement, intégration, consommation et dissémination des différents types de flux de données et les obligations (légales, écosystème belge de données de santé, animaux et environnement).

• évaluer, proposer et tester que ces solutions soient cohérentes avec l’architecture générale de la plateforme, soient basés sur des technologies open source, souveraines et multi-user, et soient compatibles et interopérables avec les autres composants ‘Application architecture’, en particulier avec :

• ‘ingestion layer’ (inclusif les différentes sources)

• ‘core systems’

• ‘front-end-systems’ (data science workbench, BI, data service gateway, secure processing environment)

• s’assurer que l’architecture et les fluxes de données soient conformes aux exigences définies par le Data office, RGPD, NIS2, Comité de sécurité de l’information (CSI), la nouvelle politique de registres et le European Health Data Space (health data holder, trusted data holder).

• résoudre de manière proactive les défis liés aux choix et à l’implémentation du système

• conseiller les équipes techniques, évaluer les conceptions techniques et le code, soutenir les meilleures pratiques;

• collaborer avec les différents services concernés, la direction et les partenaires externes et agir en tant que personne de contact technique;

• rédiger la documentation (technique);

• garantir une mise en œuvre technique de haute qualité;

Master en informatique, ingénierie, gestion des données (ou autre, complété par une expérience pertinente)

Au moins 10 ans d’expérience :

• dans les plateformes de données, l’ingénierie des données, l’architecture de solutions, le stockage de données, les écosystèmes de mégadonnées, la modélisation des données et les technologies de bases de données;

• conception et mise en œuvre de plateformes de données et plateformes d’analyse modernes.

• en architectures lakehouse, écosystèmes open source (sans single vendor lock in), et initiatives européennes de souveraineté numérique.

Expertise en :

• architecture de plateformes de données

• ingestion de données, lacs de données, entreposage de données, pipelines ETL/ELT

Expertise technique dans la sélection, implémentation et maintenance de :

• Stockage (e.g. MinIO, PostgreSQL, NoSQL, S3-compatible object storage)

• Data processing (e.g. Apache ecossystem, Iceberg, Spark, dbt)

• Conteneurs et orchestration (e.g. Docker, Kubernetes, Helm)

• Securité (e.g. Keycloak, vault)

• Infrastructure (e.g. Terraform, OpenStack)

• Géstion et version control (e.g. open project, JIRA, github, gitlab)

[Atout] Stack cloud souveraine (e.g. OVHcloud, Hetzner, Scaleway)

Compétences génériques :

• gestion des métadonnées, gouvernance des données, confidentialité, protection et sécurité des données (e.g. RGPD, NIS2, Data Governance act)

• solides compétences en matière d’analyse et de résolution de problèmes;

• excellentes compétences interpersonnelles et communicatives, capable de transmettre des sujets complexes à un public technique et non technique;

• motivé et capable de travailler de manière autonome, doté d’un esprit de collaboration et de solides compétences en communication;

• capacité à diriger, à contribuer à définir et à influencer la conception et le développement de solutions

• un esprit orienté client avec une forte orientation vers les résultats.

Langues : néerlandais ou français ; et excellente connaissance de l’anglais