2025 · Ingénierie des données
Azure HDFS Sync
Téléchargement incrémental de résultats de simulation géophysique depuis Azure Blob Storage.
- Azure Blob Storage
- Téléchargement des fichiers HDF5 manquants
- Simulations locales
Projet d’ingénierie publicGitHub ↗
Problème
L’analyse répétée des résultats nécessite une copie locale organisée et des transferts limités aux fichiers manquants.
Mon rôle
Développement d’un utilitaire Python pour récupérer et organiser les résultats.
Démarche
- Lister les fichiers via le SDK Azure pour Python.
- Télécharger uniquement les fichiers HDF5 absents en local.
- Regrouper les fichiers par exécution de simulation.
Résultats
- Le dépôt contient un schéma d’architecture et une procédure d’essai avec des données d’exemple.
Technologies
- Python
- Azure SDK
- Azure Blob Storage
- HDF5