Étude comparative des paramètres d’entrée pour la synthèse expressive audiovisuelle de la parole par DNN s (Comparative study of input parameters for DNN -based expressive audiovisual speech synthesis ) (2020)

Abstract: Dans le passé, les descripteurs contextuels pour la synthèse de la parole acoustique ont été étudiés pour l’entraînement des systèmes basés sur des HMMs. Dans ce travail, nous étudions l’impact de ces facteurs pour la synthèse de la parole audiovisuelle par DNNs. Nous analysons cet impact pour les trois aspects de la parole : la modalité acoustique, la modalité visuelle et les durées des phonèmes. Nous étudions également l’apport d’un entraînement joint et séparé des deux modalités acoustique et visuelle sur la qualité de la parole synthétique générée. Finalement, nous procédons à une validation croisée entre les résultats de la synthèse des différentes émotions. Cette validation croisée, nous a permis de vérifier la capacité des DNNs à apprendre des caractéristiques spécifiques à chaque émotion.

## introduction de nos jours, l'animation automatique des têtes parlantes virtuelles expressives est en gain constant d'attention. elle peut être utilisée dans plusieurs domaines, tel que le domaine des jeux vidéo, des films d'animation ainsi que dans le domaine médical et celui de l'éducation @xcite @xcite . l'expressivité dans les systèmes de synthèse de la parole est très demandée puisqu'elle permet d'améliorer l'expérience des utilisateurs et de rendre l'interaction plus naturelle @xcite . la synthèse paramétrique statistique de la parole a connu des améliorations ces dernières années, notamment en terme d'intelligibilité @xcite , grâce aux techniques paramétriques statistiques allant des hmms (hidden markov models) aux réseaux de neurones @xcite , notamment les réseaux blstm (bidirectional long short-term memory) qui sont capables de prendre en compte les informations passées et futures d'une séquence. il a été démontré que les blstms donnent de meilleurs résultats de synthèse que les hmms et les dnns standards @xcite @xcite . par ailleurs, le choix des paramètres et la configuration de ces réseaux sont cruciaux pour que la parole synthétique soit naturelle et intelligible. il faut donc étudier et choisir minutieusement les différents paramètres et architectures impliqués dans l'entraînement des modèles de la parole. plusieurs travaux et systèmes se basent sur des descripteurs linguistiques pour des fins de synthèse vocale que ça soit avec des hmms @xcite ou par dnns @xcite @xcite . nous présentons dans cet article une étude bien nécessaire qui regroupe un ensemble d'expériences permettant d'apporter des réponses et des éclaircissements sur le comportement des dnns face aux données linguistiques et audiovisuelles. des études similaires ont été menées dans le passé sur des systèmes hmms @xcite @xcite mais peu d'études se sont intéressées à l'impact des paramètres linguistiques sur un système basé sur les dnns et encore moins leur impact sur la modélisation de la parole visuelle. le @xcite ont étudié l'apport des différents paramètres linguistiques à la qualité de la synthèse du système hts basé sur des hmms. cette étude menée sur un corpus acoustique de langue française a montré que l'utilisation du contexte phonétique améliore la modélisation du spectre de la parole et des durées, et que l'utilisation des informations sur les syllabes améliore la modélisation de la f0. toutefois, le reste des facteurs contextuels ne semblent pas apporter une amélioration significative à la modélisation acoustique avec hts. @xcite ont également étudié les facteurs contextuels des données linguistiques pour la synthèse vocale par hmms pour l'anglais. cette étude confirme que le contexte syllabique fait partie des facteurs contextuels les plus importants et que le contexte relatif aux mots de la phrase a peu d'importance comme préalablement établie dans l'étude @xcite . pour la synthèse vocale par dnns, @xcite utilisent différents niveaux de contextes linguistiques pour entraîner un réseau de neurones à propagation vers l'avant (dnn-feed-forward ou dnn-ff) pour l'anglais. les paramètres suprasegmentaux ont été traités par un dnn agissant au niveau des syllabes, et la sortie (sous forme de paramètres acoustiques) de ce dernier a été intégrée en tant qu'entrée supplémentaire à un dnn standard agissant au niveau des frames. cette étude montre que l'ajout d'une représentation pré-entraînée des paramètres suprasegmentaux est bénéfique pour la modélisation acoustique. par ailleurs, l'ajout des vecteurs de plongement (embedding) appris sur des mots ne montre aucune amélioration des performances du dnn. récemment, @xcite ont présenté une étude des paramètres contextuels appris automatiquement par un système de synthèse end-to-end pour l'anglais. ce genre de système se base sur des dnns et prend en entrée un texte brut (ou sa représentation phonétique) pour le convertir en paramètres vocaux. les résultats expérimentaux montrent que le réseau arrive à tirer parti de l'information implicite contenue dans la représentation phonétique du texte comme la réduction des voyelles ou le stress sur les syllabes dans le mot. notre étude s'ajoute au travail d'exploration des paramètres d'entrée pour la modélisation de la parole dans la synthèse par dnns pour la langue française. de plus, dans ce travail nous étudions différents aspects relatifs à la parole, partant des données linguistiques, passant par la modélisation des durées et des données acoustiques et visuelles jusqu'à la modélisation des émotions. nous effectuons aussi une comparaison objective entre les performances d'un modèle audiovisuel entraîné sur les données acoustiques et visuelles conjointement puis séparément. dans le passé, @xcite ont entraîné un système hmms pour la modélisation audiovisuelle de la parole. cette étude a montré que les modèles joints offrent une meilleure synchronisation entre les modalités acoustique et visuelle et que la qualité des paramètres acoustiques prédits ne subit pas de dégradation par rapport au modèle acoustique indépendant. dans une étude similaire, effectuée sur des données audiovisuelles provenant d'une caméra, @xcite ont déclaré n'avoir trouvé aucune différence significative entre les résultats des deux modèles dnns (joints et séparés) concernant le réalisme de la vidéo de synthèse. toutefois, les résultats acoustiques du modèle séparé ont été significativement plus appréciés que ceux du modèle joint. cette étude s'est basée sur des résultats de tests perceptifs, dans notre étude nous voulons quantifier avec un test objectif l'apport ou la dégradation de la qualité due à l'utilisation d'un modèle joint. de plus, les données visuelles que nous utilisons proviennent d'un système de capture de mouvements et contiennent les informations en 3d. finalement, nous effectuons une validation croisée sur les résultats obtenus pour les différentes émotions, pour vérifier si les modèles des durées, acoustique et visuel, arrivent à se spécialiser dans la modélisation des différentes émotions. ## données utilisées dans ce travail nous utilisons le corpus de langue française présenté dans @xcite . ce corpus a été joué par une actrice semi-professionnelle et contient six émotions plus l'état neutre. des marqueurs rétro-réflectifs ont été collés sur le visage de l'actrice pour suivre les mouvements de son visage. 2000 phrases ont été enregistrées pour l'état neutre (4h de parole). de ces 2000 phrases, un sous-ensemble de 500 phrases a été sélectionné pour chacune des six émotions basiques : joie, tristesse, colère, surprise, peur et dégoût (entre 55min et 1h 11min de parole pour chaque émotion). le contenu linguistique est identique pour toutes les émotions et les phrases de ce corpus ont été considérées de telle sorte qu'elles offrent une couverture phonétique maximale. le corpus neutre couvre 92% des diphones du français et le sous-corpus de 500 phrases en couvre 52%. les données textuelles, acoustiques et visuelles ont été alignées automatiquement au niveau phonétique. nous utilisons un vecteur de 417 paramètres linguistiques composé de : la durée de chaque phonème est extraite sous forme du nombre de frames qu'il couvre en considérant un pas de 5ms entre deux frames consécutifs. pour les paramètres acoustiques, nous avons utilisé le vocodeur world pour extraire 60 coefficients mfcc (mel-frequency cepstral coefficients), 5 paramètres bap (band-aperiodicity), la fréquence fondamentale avec une échelle logarithmique (log f0) et leurs paramètres dynamiques (∆ et ∆∆) ainsi qu'un paramètre binaire pour préciser la nature voisée/non-voisée du son dans chaque frame. ces paramètres ont été extraits des fichiers audio toutes les 5ms. ils représentent la sortie du dnn qui sera entraîné pour générer des paramètres acoustiques à partir des paramètres linguistiques. concernant l'aspect visuel, nous nous intéressons dans ce travail uniquement à l'animation de la partie inférieure du visage. nous sélectionnons sur l'ensemble des données disponibles dans le corpus les 44 points 3d qui couvrent la région des articulateurs (lèvres, joues, mâchoire et menton), soit un vecteur de 132 valeurs. ces données ont été également présentées avec un écart de 5ms entre deux frames consécutifs. nous avons divisé le corpus en trois sous-ensembles : l'ensemble d'entraînement contenant 80% des données, l'ensemble de validation et celui de test avec 10% de données chacun. dans cette section, nous testons 4 types différents de paramètres d'entrée pour analyser leurs impacts sur l'apprentissage des modèles de durées, acoustique et visuel : -1_cont : uniquement l'information sur le phonème central ; -3_cont : l'information sur le phonème central son contexte gauche et droit immédiats ; -5_cont : l'information sur le phonème central ses deux contextes gauches et ses deux droits ; -5_cont_p : même informations que 5_cont en plus des informations sur la position du phonème courant dans la syllabe et la catégorie phonétique des cinq phonèmes du contexte ; -5_cont_p_s : même informations que 5_cont_p en plus des informations sur les syllabes ; -5_cont_p_s_m : même informations que 5_cont_p_s en plus des informations sur les mots ; dans cette section nous utilisons uniquement les données du corpus neutre et adoptons deux architectures : une avec des dnn-ff et une autre avec des blstms. pour ces deux architectures, un dnn à deux couches a été retenu et nous avons essayé plusieurs largeurs de dnns pour les différents vecteurs d'entrée (256, 512, 1024 et 2048). les trois modèles ont été entraînés séparément, et l'architecture qui donne le meilleur résultat sur l'ensemble de validation a été retenue pour chaque expérience. les meilleurs modèles ont été sélectionnés avec la technique du early stopping. les modèles ont été entraînés avec mse comme fonction de perte. la fonction d'activation des couches cachées est tanh et une fonction d'activation linéaire pour la couche de sortie. nous avons utilisé l'optimiseur adam et aucun dropout, batchnorm ou régularisation spécifique n'a été utilisée. le calcul des différentes métriques a été effectué entre les paramètres prédits et ceux provenant du corpus original. pour le modèle acoustique et visuel, les durées utilisées sont celles provenant du corpus original. nous affichons la moyenne et les intervalles de confiance pour chaque métrique. dnn-ff 1_cont 256, 256 3_cont 256, 256 5_cont 512, 512 5_cont_p 512, 512 5_cont_p_s 512, 512 5_cont_p_s_m 512, 512 rmse (f/p) 8.672 (±0.018) 5.888 (±0.007) 5.532 (±0.006) 5.435 (±0.009) 5.259 (±0.008) 5.256 (±0.007) corrélation 0.389 (±0.002) 0.781 (±0.0008) 0.811 (±0.0004) 0.822 (±0.0007) 0.827 (±0.0007) 0.827 (±0.0007) blstm 1_cont 256, 256 3_cont 256, 256 5_cont 512, 512 5_cont_p 512, 512 5_cont_p_s 512, 512 5_cont_p_s_m 512, 512 rmse (f/p) 7.237 (±0.011) 5.418 (±0.006) 5.413 (±0.006) 5.411 (±0.006) 5.301 (±0.007) 5.247 (±0.006) corrélation 0.639 (±0.002) 0.821 (±0.0007) 0.824 (±0.00006) 0.826 (±0.0006) 0.827 (±0.0006) 0.827 (±0.0006)