2023–2025 · Ingénierie des données
SkyCAST Data Pipelines
Pipelines PySpark et Databricks pour la planification des réseaux aériens chez Amadeus.
- Données de trafic et de réseau
- PySpark sur Databricks
- Données de planification
Projet professionnel · code privéCode privé, aucun dépôt public
Problème
Les équipes de planification et de calibrage avaient besoin de données de trafic réutilisables et d’un composant de prévision qu’elles pourraient examiner en Python.
Mon rôle
Data scientist chez Amadeus, chargé du développement et de la maintenance des transformations de données et de la réécriture d’un composant de prévision.
Démarche
- Intégration des données de trafic T100 et MIDT dans des jeux de données réutilisables avec PySpark et Databricks.
- Réécriture d’un composant C# de prévision de la demande et comparaison des résultats sur des entrées identiques.
- Intégration d’un modèle Transformer (QSI) et analyse des contributions d’au moins six dimensions de notation.
- Documentation des notebooks de calibrage et des tableaux de bord Power BI.
Résultats
- Le CV indique un écart d’environ 0,0005 % entre les implémentations C# et PySpark sur les entrées testées.
Technologies
- PySpark
- Databricks
- Azure
- SQL
- Power BI
- Jupyter