Exploration de paramètres acoustiques dérivés de GMM pour l’adaptation non supervisée de modèles acoustiques à base de réseaux de neurones profonds (Exploring GMM -derived features for unsupervised adaptation of deep neural network acoustic models) (2016)

Abstract: L’étude présentée dans cet article améliore une méthode récemment proposée pour l’adaptation de modèles acoustiques markoviens couplés à un réseau de neurones profond (DNN-HMM). Cette méthode d’adaptation utilise des paramètres acoustiques dérivés de mixtures de modèles Gaussiens (GMM-derived features, GMMD ). L’amélioration provient de l’emploi de scores et de mesures de confiance calculés à partir de graphes construits dans le cadre d’un algorithme d’adaptation conventionnel dit de maximum a posteriori (MAP). Une version modifiée de l’adaptation MAP est appliquée sur le modèle GMM auxiliaire utilisé dans une procédure d’apprentissage adaptatif au locuteur (speaker adaptative training, SAT) lors de l’apprentissage du DNN. Des expériences menées sur le corpus Wall Street Journal (WSJ0) montrent que la technique d’adaptation non supervisée proposée dans cet article permet une réduction relative de 8, 4% du taux d’erreurs sur les mots (WER), par rapport aux résultats obtenus avec des modèles DNN-HMM indépendants du locuteur utilisant des paramètres acoustiques plus conventionnels.

## introduction aujourd'hui, les réseaux de neurones profonds (dnns) ont détrôné les modèles gmm-hmms dans la plupart des systèmes état-de-l'art de reconnaissance de la parole (rap), depuis qu'il a été montré que les modèles dnn-hmm obtiennent de meilleurs résultats dans plusieurs tâches de rap @xcite . de nombeux algorithmes d'adaptation ont été développés pour les modèles gmm-hmm @xcite mais ne peuvent pas être facilement appliqués aux dnns en raison des différentes natures de ces systèmes. les gmms sont des modèles génératifs appris par maximisation de la vraisemblance sur les données d'apprentissage alors que les dnns sont des modèles discriminant, dont les paramètres sont estimés pour minimiser les erreurs de classification. puisque l'estimation des paramètres des dnns est basée sur un critère discriminant, elle est plus sensible aux erreurs d'étiquettes et moins pertinente pour une adaptation non supervisée. plusieurs méthodes d'adaptation ont récemment été proposées pour les dnns, et quelques unes @xcite @xcite @xcite @xcite tirent avantage de l'adaptabilité des gmms. cependant il n'existe pas de méthode universelle pour transférer de manière efficiente les algorithmes d'adaptation du paradigme gaussien vers celui des dnns. l'objectif de cette étude est de faire un pas dans cette direction en utilisant des paramètres acoustiques dérivés de gmm pour estimer des modèles dnn. la plupart des méthodes existantes pour adapter les modèles dnn peuvent être classées en quatre catégories : (1) les transformations linéaires, (2) les techniques de régularisation, (3) les paramètres auxiliaires, (4) les combinaisons de gmm et dnn. la transformation linéaire est une des approches les plus populaires pour l'adaptation des réseaux de neurones (ann). elle peut être appliquée à différents niveaux d'un système ann-hmm : sur les paramètres d'entrée, avec une transformation linéaire (linear input network transformation, lin) @xcite @xcite ou avec une régression linéaire discriminante sur l'espace des paramètres (feature-space discriminative linear regression, fdlr) @xcite ; sur les activations des couches cachées (linear hidden network transformation, lhn) @xcite ; sur la couche softmax, comme avec @xcite ou avec une régression linéaire discriminante sur les paramètres de sortie (output-feature discriminative linear regression) @xcite . l'adaptation de modèles acoustiques hybrides par partage de probabilités a posteriori @xcite peut également être considérée comme une transformation linéaire de ces probabilités. enfin, les auteurs de @xcite décrivent une méthode qui repose sur une transformation linéaire dans l'espace des paramètres et sur une analyse en composantes principales. la seconde catégorie de méthodes d'adaptation consiste à réestimer complètement le réseau ou seulement une partie à l'aide de techniques de régularisation spécifiques pour améliorer la généralisation, comme la régularisation l2-prior @xcite , la régularisation par divergence de @xcite , ou l'apprentissage conservatif @xcite . dans @xcite , seul un sous-ensemble des neurones cachés avec une variance maximale (calculée sur les données d'adaptation) est réestimé. le nombre de paramètres spécifiques au locuteur est réduit dans @xcite à travers une factorisation basée sur une décomposition en valeurs singulières, et un apprentissage adaptatif régularisé d'un sous-ensemble de paramètres de dnn est exploré dans @xcite . l'utilisation de paramètres auxiliaires est une autre approche pour laquelle les vecteurs de paramètres acoustiques sont augmentés de paramètres additionnels spécifiques au locuteur ou au canal. ces paramètres sont calculés pour chaque locuteur ou pour chaque phrase, à la fois pendant l'apprentissage et pendant le décodage. les i-vecteurs sont un exemple de paramètres auxiliaires efficaces @xcite ; il a été montré qu'ils étaient complémentaires avec une adaptation fmllr. l'adaptation par codes de locuteurs (abdel-hamid & jiang, 2013) et l'adaptation factorisée @xcite sont des méthodes alternatives qui prennent en compte les facteurs sous-jacents qui contribuent à dégrader le signal de parole. le moyen le plus courant pour combiner les modèles gmm et dnn à des fins d'adaptation consiste à utiliser comme entrées, lors de l'apprentissage du dnn, des paramètres gmm ayant été adaptés, par exemple par fmllr @xcite @xcite . dans @xcite , les scores de vraisemblance des modèles dnn et gmm, adaptés au niveau de l'espace des paramètres en utilisant la même transformation fmllr, sont combinés au niveau des états pendant le décodage. les auteurs de @xcite proposent de combiner les modèles gmm et dnn en utilisant une approche par régression des poids variant dans le temps (temporally varying weight regression, tvwr). dans la méthode d'apprentissage de la couche bottleneck dépendant du locuteur décrite dans @xcite , les paramètres du bottleneck normalisé par locuteur sont calculés et utilisés pour l'apprentissage de modèle gmm-hmm. dans les systèmes de type tandem, les paramètres dérivés des réseaux de neurones sont également utilisés pour l'apprentissage des gmm @xcite . une autre approche d'adaptation basée sur les modèles s'appuie sur l'analyse des contributions des neurones cachés spécifiques au locuteur (learning speaker-specific hidden unit contributions, lhuc). dans @xcite , la forme de la fonction d'activation est modifiée pour mieux correspondre aux caractéristiques liées au locuteur. dans le passé, il a été montré dans @xcite que les log-vraisemblances de gmm peuvent être utilisées avec succès comme paramètres pour estimer un système de reconnaissance de phonèmes construit sur la base d'un mlp (multi-layer perceptron). dans notre étude, nous explorons une nouvelle approche de type speaker adaptative training (sat) appliquée sur les dnn et basée sur l'utilisation de paramètres dérivés de gmm (gmmd) en entrée du réseau de neurones @xcite . notre approche s'appuie également sur l'utilisation de techniques d'adaptation propres aux gmms, appliquées aux gmmd. dans cet article, nous présentons une première tentative d'amélioration de cette approche en utilisant des graphes de reconnaissance durant l'adaptation map. la suite de l'article est organisée comme suit. dans la section 2, l'approche sat pour les dnn-hmm basés sur les paramètres dérivés de gmm est introduite. la section 3 décrit l'algorithme d'adaptation map utilisant des scores de graphes. les résultats expérimentaux sont donnés en section 4. enfin, une conclusion est fournie en section 5. ## apprentissage adaptatif au locuteur pour les modèles dnn-hmm basés sur des paramètres dérivés de gmms la construction de paramètres dérivés de gmms pour l'adaptation de dnns a été proposée dans @xcite , où il a été montré que ces paramètres rendent possible l'utilisation de techniques d'adaptation de hmm-gmms dans le paradigme dnn, par exemple au travers d'une adaptation map ou fmllr . nos paramètres sont obtenus comme suit (voir figure 1 ) : tout d'abord, 13 coefficients cepstraux de fréquence mel (mfcc) et leurs coefficients et (au total 39 coefficients) sont extraits, et une normalisation par la moyenne cepstrale (cmn) est appliquée par locuteur. ensuite, un modèle gmm-hmm auxiliaire monophone indépendant du locuteur est utilisé pour transformer les vecteurs de paramètres cepstraux en vecteurs de vraisemblances. au cours de cette étape, une adaptation au locuteur du modèle gmm-hmm est réalisée pour chaque locuteur du corpus d'apprentissage et le nouveau modèle sa gmm-hmm (sa : adapté au locuteur) créé est utilisé pour obtenir les paramètres dérivés de gmms adaptés au locuteur. dans le modèle gmm-hmm auxiliaire, chaque phonème est modélisé indépendamment du contexte avec un modèle de markov à trois états. pour un vecteur de paramètres mfcc donné, un nouveau vecteur de paramètres dérivés de gmms est obtenu en calculant les log-vraisemblances de tous les états des modèles monophones gmm-hmm. en supposant que o t est un paramètre acoustique à l'instant t, alors le vecteur f t de paramètres dérivés de gmms est calculé comme suit : enfin, ces paramètres sont concaténés sur une fenêtre temporelle de 11 trames (±5 autour de la trame visée). ces 1452 (11⇥132) paramètres par trame, appelés gmmd, sont utilisés par la suite comme entrée pour l'apprentissage des dnn . nous avons modifié l'algorithme classique d'adaptation map en utilisant des graphes au lieu d'un alignement sur la meilleure hypothèse, comme expliqué ci-dessous. notons m l'indice d'une gaussienne dans un modèle acoustique indépendant du locuteur, et µ m la moyenne de cette gaussienne. alors l'estimation map du vecteur des moyennes est : l'algorithme forward-backward est utilisé pour calculer ces probabilités a posteriori à partir du graphe. notons que lorsque p s (t) = 1 pour tous les états, la formule (3) represente l'adaptation map classique. en plus de cette pondération au niveau de la trame, nous appliquons une stratégie de sélection basée sur la mesure de confiance en n'utilisant dans la formule (3) que les observations dont les scores de confiance dépassent un seuil fixé a priori. pour l'adaptation des modèles acoustiques dnn, l'adaptation map est d'abord appliquée sur les modèles monophones gmm-hmm indépendant du locuteur pour créer un modèle adapté au locuteur sa gmm-hmm, comme nous venons de le décrire. ensuite, au moment de reconnaissance de la parole, les gmmd sont calculés à partir de ce modèle sa gmm-hmm. l'approche proposée peut être considérée comme une technique de transformation dans l'espace des paramètres, puisque les dnn-hmms sont appris sur des paramètres dérivés de gmms. ## résultats expérimentaux dans ce travail préliminaire, nous présentons les résultats obtenus en suivant le protocole standard wsj0 si_et_20 @xcite qui comporte 333 phrases lues (5645 mots) par 8 locuteurs. nous utilisons un modèle de langage trigramme contenant 20000 mots (open nvp lm ). le taux de mots hors vocabulaire est de 1, 5%. ce modèle de langage est réduit selon le procédé décrit dans la recette kaldi pour wsj @xcite avec un seuil à 10 7 . les modèles acoustiques sont estimés sur 7138 phrases prononcées par 83 locuteurs extraits des données d'apprentissage standard si-84, soit environ 13 heures de parole et 2 heures de silence enregistrées en 16khz. le jeu de 39 phonèmes est complété par un modèle de silence et deux modèles de bruit. les modèles acoustiques sont appris avec la plateforme kaldi @xcite en suivant la recette wsj fournie, excepté pour l'extraction des paramètres gmmd et l'adaptation du modèle. notre système de référence utilise 13 paramètres mfcc avec leurs dérivées premières et secondes. ces 39 paramètres, utilisés avec leur contexte de 11 trames (5 avant et après) sont comparés aux paramètres gmmd proposés. trois réseaux de neurones profonds (dnn) sont estimés : un modèle de référence, indépendant du locuteur (si) utilisant 11⇥39mfcc ; deux modèles utilisant les paramètres gmmd : l'un indépendant du locuteur (si) et l'autre adapté au locuteur (sat). ces trois dnns partagent la même topologie (exceptée la dimension des entrées) et sont entrainés avec les mêmes données. un système gmm auxiliaire est également appris sur les mêmes données. l'apprentissage du modèle dnn sat est décrit dans la section 2 et la valeur de ⌧ est fixée empiriquement à 5. l'apprentissage du modèle dnn si avec les paramètres gmmd suit le processus décrit par la figure 1 sans appliquer l'étape d'adaptation au locuteur. les trois modèles disposent de 6 couches cachées à 2048 neurones et une couche de sortie de dimension 2355 correspondant aux états dépendant du contexte obtenus par une classification hiérarchique pour le système cd-gmm-hmm. les dnn sont initialisés en empilant des machines de boltzman restreintes. l'apprentissage final optimise une fonction d'entropie croisée et se termine par 5 itérations d'apprentissage séquentiel discriminatif avec un critère smbr (state minimum bayes risk ). les expériences d'adaptation sont réalisées de façon non-supervisée sur les données d'évaluation en utilisant les transcriptions ou les graphes obtenus après la première passe. deux expériences sont réalisées en adaptant le modèle gmm auxiliaire selon un critère : (1) maximum a posteriori standard, (2) maximum a posteriori utilisant les scores de graphes et la mesure de confiance décrite en section 3 pour laquelle le seuil de confiance est fixé à 0, 6. les performances des différentes adaptations sont reportées dans le tableau 1 en terme de taux d'erreur mot pour les systèmes avec et sans adaptation.