Utilisation de wav2vec 2.0 pour des tâches de classifications phonétiques : aspects méthodologiques (2024)

Abstract: L’apprentissage auto-supervisé, particulièrement dans le contexte de la parole, a démontré son efficacité dans diverses tâches telles que la reconnaissance du locuteur et la reconnaissance de la parole. Notre question de recherche se concentre sur l’efficacité des représentations vectorielles - extraites de phonèmes - plus courtes par rapport à des séquences plus longues dans la détection de la nasalité. Deux approches distinctes ont été étudiées : extraire des vecteurs sur la durée du phonème et prendre des séquences plus longues avec une seconde ajoutée de chaque côté du phonème, puis récupérer la partie centrale a posteriori. Les résultats révèlent que les modèles réagissent différemment selon les phones et les locuteurs, avec une variabilité observée à ces niveaux. Le modèle à séquences longues surpasse le modèle à séquences courtes en assurant une corrélation plus robuste avec le débit d’air nasal.

## introduction depuis l'utilisation récurrente de l'apprentissage auto-supervisé dans les tâches de reconnaissance automatique de la parole, plusieurs études ont appliqué ces modèles de transformers à des domaines tels que la reconnaissance du locuteur, la détection de code-switching ou d'émotions, etc. @xcite @xcite . de plus, pasad et al. ont montré notamment que les informations diffèrent dans les représentations vectorielles selon les couches de transformers @xcite . il est à noter qu'un modèle de transformers tel que wav2vec 2.0 prend en compte les informations contextuelles dans une séquence et travaille généralement sur des séquences de plusieurs secondes @xcite . c'est dans ce contexte que s'inscrit notre question de recherche : les représentations vectorielles extraites sur une séquence de phonèmes permettraient-elles une meilleure performance dans la détection de la nasalité par rapport à une séquence plus longue ? notre travail consiste donc à explorer la longueur de la séquence pour la prise de vecteurs : la première consiste à prendre des vecteurs sur la durée du phonème, tandis que la seconde consiste à prendre une séquence plus longue en ajoutant une seconde dans les deux côtés du phonème et à récupérer la partie centrale a posteriori. en premier lieu, nous décrirons les ressources utilisées lors de l'entraînement et du test, ainsi que les méthodes d'extraction utilisées avec le modèle auto-supervisé wav2vec 2.0. en second lieu, nous nous pencherons sur deux approches différentes pour l'extraction des vecteurs et la détection de la nasalité à l'aide d'une régression logistique. nous évaluerons ensuite le modèle entraîné sur des données acoustiques, en comparant les résultats avec des données physiologiques obtenues simultanément avec l'acoustique, servant ainsi de référence.