Pour soutenir la migration des charges de travail ETL héritées basées sur SAS vers une plateforme de données moderne basée sur Python utilisant des technologies telles que Parquet et Spark, nous construisons une « migration factory » assistée par l’IA et pilotée par des agents, qui prend en charge l’analyse, la transformation, la validation et la génération d’artefacts Python tout au long du cycle de migration.

Nous recherchons un Senior Python Data Engineer ayant une expérience avérée à la fois dans l’ingénierie de données Python et dans le développement logiciel assisté par l’IA. Le consultant contribuera à la livraison de solutions de migration tout en aidant à optimiser et faire évoluer les workflows agentiques, les mécanismes d’orchestration et les processus de validation qui sous-tendent la migration factory.

Le poste combine une expertise approfondie en Python et en ingénierie de données avec une expérience pratique du développement assisté par l’IA, de l’orchestration d’agents et de la validation « human-in-the-loop ». Le consultant travaillera en étroite collaboration avec des data engineers, architectes et spécialistes SAS pour améliorer la qualité, la scalabilité et l’efficacité du processus de migration.

Domaines de Compétence Clés

1. Python Data Engineering

• Concevoir, développer et valider des solutions de transformation de données basées sur Python.
• Revoir et optimiser le code Python généré par l’IA.
• Garantir la qualité du code, sa maintenabilité, ses performances et sa robustesse opérationnelle.
• Accompagner les cas de migration complexes nécessitant un raffinement de la génération automatisée.
• Contribuer à la qualité des données, à la gestion de schémas et à l’optimisation Parquet.
• Soutenir les implémentations basées sur PySpark lorsque cela est pertinent.

2. AI-Assisted Development & Agent Harness Engineering

• Agir en tant qu’utilisateur avancé et contributeur à la chaîne de migration assistée par l’IA.
• Aider à faire évoluer l’agent harness responsable de l’orchestration des agents spécialisés.
• Améliorer les interactions entre les agents responsables de :
• l’analyse SAS
• la génération d’analyse fonctionnelle
• la génération d’analyse technique
• la génération de code Python
• la validation et les tests
• Améliorer la fiabilité, la traçabilité et le débit des workflows.
• Renforcer les mécanismes de validation « human-in-the-loop » et les boucles de rétroaction.
• Identifier des opportunités pour augmenter l’automatisation tout en maintenant la qualité et le contrôle.

Compétences Requises

Python & Data Engineering

• 5+ années d’expérience pratique en développement Python.
• Maîtrise de : Pandas, Polars, PyArrow, Parquet, frameworks de tests
• Expérience avec :
• Data engineering
• Processus ETL / ELT
• Contrôles de qualité des données
• Gestion de schémas
• Expérience avec PySpark fortement appréciée.

AI-Assisted Development & Agentic Systems

• Expérience en développement logiciel assisté par l’IA (GitHub Copilot et outils similaires).
• Expérience avec :
• Workflows agentiques
• Systèmes multi-agents
• Agent harness engineering
• Orchestration de workflows
• Validation « human-in-the-loop »

SAS (Atout)

• Expérience avec SAS ou capacité à comprendre des programmes SAS existants fortement appréciée.
• Compréhension de :
• DATA steps
• PROC SQL
• Macros SAS
• Modèles de traitement ETL
• Capacité à collaborer efficacement avec des analystes SAS et des experts métier lors des activités de migration et de validation.

Profil Idéal

Un Senior Python Data Engineer qui allie de solides compétences en ingénierie logicielle et de données à une expérience pratique du développement assisté par l’IA, des workflows agentiques et de l’agent harness engineering, et qui peut contribuer à industrialiser une migration factory pilotée par l’IA tout en restant activement impliqué dans la livraison et dans la résolution de défis de migration complexes.