RVA a récemment mis en place une Modern Data Platform (MDP) en tant que centre d’excellence pour plusieurs équipes data. La plateforme se compose de :

• Ingestion de données : Airbyte
• Orchestration : Dagster (ou orchestrateur similaire)
• Transformations : dbt
• Lakehouse : Databricks
• Visualisation : Power BI
• Métadonnées : OpenMetadata

L’équipe de direction demande une solution centrale de monitoring afin de suivre l’utilisation et la performance du MDP (disponibilité, erreurs, utilisation, coûts, …). Cette mission est divisée en trois phases successives. Pour cette phase, nous recherchons un profil ayant pour objectif :

Analyse technique & cadrage

Cartographier les métriques de monitoring disponibles et nécessaires, comment elles peuvent être techniquement exposées, et à quoi devrait ressembler le reporting final au niveau conceptuel.

Tâches :

• Analyse de tous les outils pertinents dans le MDP :
• Airbyte, Dagster, Databricks, dbt, Power BI, OpenMetadata, …
• Identification des métriques de monitoring souhaitées par outil telles que par exemple :
• Uptime / disponibilité
• Nombre de runs / pipelines
• Erreurs / jobs échoués
• Utilisation des rapports / datasets
• Indicateurs liés aux coûts
• Vérification de la manière dont ces métriques peuvent être techniquement exposées :
• API endpoints disponibles
• Mécanismes d’authentification (API key, service principal, …)
• Possibilités d’export éventuelles (CSV/Excel/…)
• Documentation de :
• Endpoints API concrets par outil
• Paramètres requis & authentification
• Structure attendue des données (JSON, CSV, tables, …)
• Élaboration de :
• Modèles de données logiques dans le lakehouse pour le monitoring
• Conception high-level des dashboards de monitoring (mock-ups / wireframes)
• Liste de définitions des métriques et KPI servant de base pour les SLA

Dashboarding & reporting

Objectif :

Développer un dashboard de monitoring de niveau exécutif dans Power BI basé sur les données de monitoring modélisées dans Databricks.

Tâches :

• Mise en place de la connexion Power BI – Databricks
• Conception et construction d’un ou plusieurs dashboards axés sur :
• Utilisation de la plateforme (nombre de pipelines, rapports, utilisateurs, etc.)
• Fiabilité & qualité (disponibilité, jobs échoués, tendances d’erreurs)
• Performance / temps de traitement
• Indicateurs de coûts lorsque possible
• Implémentation de :
• Visualisations claires des KPI et drill-downs
• Filtres, slicers et structure de navigation pour la direction/management
• Modèle de sécurité/d’accès de base (rôles, droits) en concertation avec RVA
• Optimisation de la performance (modélisation dans Power BI, agrégations, etc.)

Livraison & transfert

• Guide utilisateur / courte formation pour les utilisateurs finaux
• Documentation du modèle de données et de la structure du reporting

Profil

• Solide expérience en tant que consultant data/BI
• Expérience dans la lecture de documentation API et l’analyse fonctionnelle/technique
• Bonne communication avec les équipes techniques ainsi que les parties prenantes métier
• Consultant Power BI expérimenté
• Solide en modélisation de données et DAX
• Expérience avec des dashboards pour le reporting management/exécutif
• Expérience avec les sources Databricks est un atout
• Expérience avec les rapports de monitoring ou de gouvernance est un plus, de même qu’une certification DP-600 Implementing Analytics Solutions Using Microsoft Fabric

Avec votre CV, nous vous demandons de répondre à la question ci-dessous. L'absence de réponse ou des réponses insuffisantes entraîneront le rejet de la candidature.

Expliquez comment vous avez déjà mené des recherches pour déterminer quels KPI sont importants pour le reporting et comment vous les avez ensuite implémentés.