2026 · IA / ML
Analyse des couches de wav2vec2
Analyse couche par couche de la représentation des chiffres prononcés et de l’identité du locuteur.
- Enregistrements de parole
- Sondes linéaires par couche
- Comparaison des modèles
Reproduction expérimentaleGitHub ↗
Problème
Les couches d’un modèle de parole peuvent encoder différents types d’information.
Mon rôle
Conception et réalisation d’une expérience avec comparaison à une initialisation aléatoire.
Démarche
- Extraire les représentations de 13 couches de wav2vec2-base.
- Entraîner des sondes linéaires pour classifier les chiffres et les locuteurs.
- Répéter l’analyse avec des poids aléatoires.
Résultats
- Le dépôt fournit un graphique de précision pour les deux tâches. L’expérience repose sur une seule graine aléatoire et ne présente pas de barres d’erreur.
Technologies
- Python
- PyTorch
- wav2vec2
- Jupyter