Exploration de la représentation multidimensionnelle de paramètres acoustiques unidimensionnels de la parole extraits par des modèles profonds non supervisés. (2024)

Abstract: Cet article propose une méthodologie pour interpréter les dimensions de variation de la parole conversationnelle, extraites de façon non-supervisée, et sur des données multilocuteurs, par un algorithme d’apprentisage profond (Auto-Encodeur Variationnel). Par des analyses de corrélation et de similarité cosinus, nous montrons que la distribution de la fréquence fondamentale et de la fréquence centrale des trois premiers formants de l’ensemble d’apprentissage est encodée par une direction dédiée de l’espace latent. Lorsque la distribution est multimodale, les différents modes du paramètre acoustique sont encodés dans des dimensions distinctes. De plus, nous avons identifié les directions expliquant la variation des paramètres au sein de chaque mode, et entre eux.

## introduction depuis les modèles physiques jusqu'aux approches d'apprentissage profond sur données massives, la modélisation de la parole trouve des applications dans la reconnaissance automatique de la parole, le codage de la parole, la synthèse vocale expressive ou la conversion de voix. pour chaque cas, l'objectif de la modélisation de la parole est de comprendre comment les signaux sont générés et comment leurs caractéristiques acoustiques peuvent être modulées à partir d'un nombre limité de dimensions de contrôle, aussi indépendantes que possible les unes des autres. en ce sens, les premiers modèles acoustiques tels que le modèle source-filtre de fant @xcite établissent une distinction claire entre les variations acoustiques liées à la source glottique (variations de la fréquence fondamentale f 0 , d'apériodicité, d'inharmonicité ou de la pente spectrale) et celles, supposées indépendantes, liées à l'articulation du conduit vocal (formants ou pics spectraux dans les bruits turbulents). bien qu'un tel ensemble de paramètres acoustiques présente l'avantage d'être facilement interprétable en termes de physiologie et de contrôle gestuel sous-jacent, ils sont largement interdépendants, avec des contraintes anatomiques et physiques qui sous-tendent les covariations de ces paramètres au sein d'un même individu et d'un individu à l'autre @xcite . bien que les modèles génératifs profonds non-et auto-supervisés soient des outils puissants pour modéliser toute la complexité des signaux de parole @xcite @xcite @xcite , peu de recherches ont été menées jusqu'à présent sur l'interprétation de leurs représentations latentes. plusieurs études ont déjà utilisé des auto-encodeurs variationnels (vae) @xcite , @xcite , ou des modèles auto-supervisés tels que @xcite , pour trouver des espaces de représentation des variations discrètes de la parole, avec des dimensions qui distinguent les informations phonémiques (de bas niveau) de celles liées à la langue @xcite , à l'identité du locuteur @xcite et/ou au "style" de parole (williams & king, 2019) (de haut niveau). d'autres études récentes ont été en mesure de trouver un espace latent de faible dimension pour représenter et contrôler les variations acoustiques continues de la parole expressive (en termes d'intonation, de contenu spectral ou de rythme) @xcite @xcite @xcite @xcite @xcite . elles ont montré que, même avec une approche d'apprentissage entièrement non-supervisée, les paramètres acoustiques étaient encodés selon différents sous-espaces quasi orthogonaux de la représentation apprise. cela leur a permis de contrôler certains aspects de l'intonation liés à la source glottique, de manière presque indépendante des variations de l'enveloppe spectrale, liées à l'articulation du conduit vocal. un phénomène qui reste cependant inexpliqué est que chaque paramètre acoustique est souvent encodé par plusieurs dimensions latentes @xcite , et la question de savoir quel type d'information est capturé par chacune de ces dimensions reste peu explorée. parmi les multiples interactions possibles entre les paramètres acoustiques, nous faisons l'hypothèse dans cette étude que la multiplicité des dimensions latentes observées peut refléter l'encodage des différentes sources de variabilité inter-et intra-individuelle de chaque paramètre acoustique. à notre connaissance, il s'agit de l'une des premières tentatives visant à étudier l'interaction entre les représentations vocales de bas niveau (paramètres acoustiques) et de haut niveau (liées au locuteur, telles que le genre) dans les espaces latents. pour cela, le choix d'un vae offre plusieurs avantages par rapport à d'autres méthodes non-ou auto-supervisées. d'abord, sa nature stochastique et la régularisation de son espace latent fournit une représentation latente désenchevêtrée, ce qui permet de modéliser les variations des caractéristiques de la parole dépendantes et indépendantes du locuteur dans des directions distinctes de l'espace latent. ensuite, les vaes permettent une forte réduction de dimension, ce qui favorise l'interprétabilité de l'espace latent. enfin, les modèles auto-supervisés tels que wav2vec 2.0 ou hubert @xcite sont entraînés en utilisant une tâche de clustering de phonèmes, donnant ainsi la priorité à l'encodage des informations phonétiques au détriment de la prosodie ou de la paralinguistique, qui sont souvent modélisées séparément @xcite . dans notre étude, il est crucial de garantir l'encodage à la fois des informations vocales de bas niveau et de haut niveau dans l'espace latent du modèle. nous optons donc pour une approche basée sur les vaes et introduisons une méthodologie reposant sur l'analyse en composantes principales (pca), la régression linéaire (lr) et l'analyse discriminante linéaire (lda), afin d'analyser et d'interpréter l'aspect multidimensionnel de la représentation des paramètres acoustiques individuels, avant de tester notre hypothèse. ## conclusion nous avons introduit une méthodologie pour analyser l'espace latent du vae entraîné sur une base de données multilocuteurs en combinant l'utilisation d'ensembles de données de test synthétiques et naturelles, et l'extraction et la comparaison des directions qui expliquent le mieux la variation des paramètres acoustiques sélectionnés. après avoir montré que la variation de chaque paramètre est encodée par de multiples dimensions dans l'espace latent, nous avons démontré que l'une de ces dimensions encode la forme globale de la distribution des paramètres sur l'ensemble d'apprentissage. dans le cas de f 0 , la distribution est bimodale et les valeurs de f 0 appartenant à différents modes sont encodés sur des dimensions distinctes supplémentaires. dans ce cas, nous avons identifié des directions dans l'espace latent du vae qui expliquent les variations inter-et intra-genre de f 0 . pour valider notre approche, nous avons mené nos expériences sur deux ensembles de données (vctk et att-hack) qui diffèrent en termes de langue (anglais vs. français) et de style (lecture/narration vs. jeu d'acteur/expression). alors que plusieurs études ont utilisé la réduction de la dimension de l'espace latent @xcite , ont abordé l'orthogonalité des différentes directions qui expliquent un paramètre donné @xcite , ou identifié la variation de paramètres acoustiques dans l'espace latent par régression linéaire @xcite @xcite , ce travail est l'un des rares à tenter d'interpréter la représentation multidimensionnelle de chaque paramètre acoustique unidimensionnel. dans de futurs travaux, nous visons à augmenter le nombre de paramètres d'intérêt et à utiliser notre méthode pour contrôler la variation des paramètres acoustiques dans l'espace latent des modèles non-ou auto-supervisés.