Expert Airflow H/F - Cherrypick
- Freelance
- Cherrypick
Les missions du poste
Le besoin
En quelques mots
Cherry Pick est à la recherche d'un Expert Airflow (H/F) pour l'un de ses clients qui opère dans le secteur de l'automobile.
Description
?? Contexte de mission
Dans le cadre de la stabilisation d'une plateforme Amazon Managed Workflows for Apache Airflow (MWAA) rencontrant des dysfonctionnements récurrents, la mission consiste à intervenir en Task Force afin d'identifier les causes racines, rétablir rapidement la stabilité de la plateforme et sécuriser durablement son fonctionnement.
L'intervention nécessite un véritable expert Airflow / MWAA, capable d'aller au-delà du développement de DAGs pour intervenir sur l'architecture, le paramétrage, les performances et les mécanismes internes d'Airflow.
?? Missions principales et rôle
Réaliser un diagnostic flash des incidents, dysfonctionnements et goulots d'étranglement.
Identifier les causes racines des problèmes rencontrés.
Mettre en oeuvre des correctifs immédiats afin de restaurer la stabilité de la plateforme.
Reprendre et analyser les conclusions des expertises précédentes.
Auditer l'architecture, la configuration et le paramétrage de l'environnement MWAA.
Analyser les problématiques liées aux Schedulers, Executors, Celery et à la base de métadonnées Airflow.
Investiguer les problématiques de parallélisme, mémoire, ressources et dimensionnement.
Analyser les logs et métriques afin d'identifier les problèmes de performance.
Investiguer notamment les fuites mémoire, locks BDD, problèmes de capacité et d'auto-scaling MWAA.
Construire une feuille de route corrective priorisée.
Piloter la mise en oeuvre des actions de remédiation.
Mesurer l'efficacité des corrections via des KPIs de performance et de stabilité.
Accompagner les équipes internes dans l'application des bonnes pratiques Airflow / MWAA.
Contribuer à la pérennisation de la plateforme et à l'amélioration de son architecture.
?? Objectifs
Court terme : rétablir rapidement la stabilité et la disponibilité de la plateforme MWAA.
Moyen terme : identifier précisément les causes structurelles des dysfonctionnements.
Long terme : mettre en place une architecture et une configuration robustes, performantes et maintenables.
Réduire durablement le taux d'incidents et les problèmes de performance.
Transférer l'expertise aux équipes en place.
Le profil recherché
Profil recherché
??? Compétences requises
Apache Airflow : expertise indispensable sur les mécanismes internes et le paramétrage.
Maîtrise approfondie des :
Schedulers
Executors
Celery / CeleryExecutor
Metadata Database
Gestion du parallélisme
Gestion mémoire et ressources
Tuning et optimisation des performances
AWS MWAA : expertise indispensable.
Maîtrise de l'écosystème AWS associé :
IAM
CloudWatch
S3
VPC
Security Groups
Expertise en troubleshooting et performance.
Capacité à analyser des logs complexes et des métriques d'exploitation.
Expérience des problématiques de :
Memory leaks
Database locks
Saturation de ressources
Auto-scaling
Dimensionnement MWAA
Expérience en audit technique et architecture Data Platform.
Expérience de missions de remédiation, crise ou Task Force.
?? Profil
Senior Data Engineer, Architecte Data ou Expert Cloud/Data Infrastructure.
5 à 8 ans minimum d'expérience en ingénierie Data / infrastructure.
Forte spécialisation sur Apache Airflow, idéalement dans des environnements de production complexes.
Expérience concrète d'AWS MWAA.
Habitué aux contextes de diagnostic d'urgence, audit, stabilisation et refonte d'architecture.
Profil très analytique, pragmatique et orienté résolution de problèmes.
Forte capacité à intervenir rapidement dans un environnement existant et à prendre des décisions techniques.
Ce n'est pas un profil de développeur DAGs uniquement : l'expertise attendue porte principalement sur l'administration, le tuning, l'architecture et le troubleshooting d'Airflow/MWAA.
Compétences requises
- Optimisation des performances
- AWS