La RVA a récemment mis en place une Modern Data Platform (MDP) comme centre d'excellence pour plusieurs équipes data. La plateforme se compose de :

• Data ingestion : Airbyte
• Orchestration : Dagster (ou orchestrateur similaire)
• Transformations : dbt
• Lakehouse : Databricks
• Visualisation : Power BI
• Metadata : OpenMetadata

L’équipe de direction demande une solution de monitoring centralisée afin de suivre l’utilisation et la performance du MDP (disponibilité, erreurs, usage, coûts, …). Cette mission est divisée en plusieurs phases.

Objectif pour la phase Data ingestion & intégration

Rendre techniquement accessibles et centraliser toutes les données de monitoring nécessaires dans le lakehouse Databricks, sur base de l’analyse de la phase 1.

Tâches

• Implémenter des flux de data ingestion pour toutes les sources sélectionnées :
• Configurer et paramétrer les connecteurs Airbyte (standards et/ou custom)

• Mettre en place des appels API vers les différents outils (Airbyte, Dagster, dbt, Databricks, OpenMetadata, …)

• Implémenter l’authentification et les connexions :

• API keys, service principals, configuration VPN/réseau si nécessaire

• Charger les données brutes de monitoring dans Databricks (bronlagen / raw zones)

• Modéliser et transformer les données :

• Décomposer / exploser les structures JSON
• Construire des tables normalisées et agrégées pour le monitoring

• Utilisation éventuelle de dbt pour les transformations

• Garantir des pipelines répétables et robustes (logging, gestion des erreurs, redémarrage possible)

• Transfert & documentation vers le profil de dashboarding :

• Description claire des tables, colonnes, logique de rafraîchissement et dépendances

Profil

Expérience en tant que Data Engineer avec :

• Data ingestion via Airbyte (idéalement aussi des connecteurs custom)
• Travail avec Databricks (Delta Lake, notebooks, SQL/PySpark)
• Intégrations API (REST, JSON) et concepts réseau de base
• La connaissance de dbt est un atout important
• Expérience dans la mise en place de pipelines de monitoring/logging est un plus, tout comme les certifications DataCamp – Data Analyst Associate et dbt Fundamentals

Merci de joindre à votre CV une réponse à la question ci-dessous. Le non-envoi d’une réponse ou des réponses insuffisantes entraînera la non-retenue de la candidature :

Comment avez-vous déjà travaillé avec Airbyte et Databricks dans le passé ? Donnez un exemple concret.