Vérification automatique de la voix de locuteurs après resynthèse à l’aide de PPG (2024)

Abstract: La création de contenu journalistique peut être assistée par des outils technologiques comme la synthèse de parole. Cependant l’éditeur doit avoir la possibilité de contrôler la génération du contenu audio comme la prosodie, la prononciation ou le contenu linguistique. Dans ces travaux, un système de conversion de voix génère un signal de locuteur cible à partir d’une représentation temporelle de type Phonetic PosteriorGrams (PPGs) extraite d’un audio source. Les PPGs démêlent le contenu phonétique du contenu rythmique, et sont généralement considérés indépendants du locuteur. Cet article présente un système de conversion utilisant les PPGs, et son évaluation en qualité audio avec un test perceptif. Nous montrons également qu’un système de vérification du locuteur ne parvient pas à identifier le locuteur source après la conversion, même si le modèle a été entraîné sur des données synthétiques.

## introduction les journalistes et médias ont désormais accès à des flux importants de contenu, venant de différents endroits du monde et dans différentes langues. dans ce contexte, le projet européen selma 1 vise à développer des outils permettant de réaliser du doublage automatique, en générant un signal de parole d'une voix cible à partir d'un texte éventuellement traduit. une manière de faire serait d'utiliser un système de synthèse à partir de texte (tts) afin de générer le signal correspondant au texte traduit. cependant, malgré les avancées récentes du domaine, le signal ainsi synthétisé ne correspond pas nécessairement aux besoins des utilisateurs. il y a donc la nécessité d'avoir des systèmes de conversion de parole permettant un contrôle plus fin de la parole générée selon différents aspects, en utilisant des représentations interprétables. par exemple, editts @xcite utilise le texte comme représentation afin de modifier le contenu linguistique, et @xcite utilise les phonetic posteriorgrams (ppg) comme représentation permettant de contrôler les contenus rythmique et phonétique. les ppgs sont une représentation temporelle des probabilités de présences de différentes unités phonétiques. ainsi, il est possible, techniquement, de modifier les durées, sans changer les phonèmes (et réciproquement) donnant ainsi du contrôle aux utilisateurs @xcite and @xcite . evidemment, cette modification est artificielle et ne pourra pas fournir de parole audible si le modèle utilisé pour la conversion ne compense pas certaines modifications (par exemple allonger la durée d'une plosive). cet aspect sera étudié dans un futur proche. les ppgs ont déjà été utilisés pour la tâche de conversion de voix @xcite . cette représentation contient également des informations relatives à l'accent du locuteur, permettant de réaliser de la conversion d'accent @xcite (modifier l'accent sans changer la voix). cependant, cela signifie que certaines informations relatives au locuteur, présentes dans les ppgs, pourraient passer dans le signal audio généré à partir de cette représentation. à long terme, notre objectif est de synthétiser un signal de parole (source) à partir de texte, puis de convertir ce signal vers une voix cible à partir de ppgs corrigés manuellement. nous cherchons donc à vérifier que le locuteur de l'audio cible ne peut pas être identifié à partir de l'audio source, que cette source soit naturelle (comme présenté ici) ou bien synthétique (comme dans notre objectif à long terme). pour cela, nous entraînons différents modèles de conversion à partir de ppgs, de manière similaire à (zhao et al., 2019) and (levy-leshem & giryes, 2021). plus précisément, comme illustré figure 1, un système ppg2mel est entraîné à générer une voix a à partir de ppgs. ainsi, à l'inférence, lorsqu'un signal de parole n k provenant du locuteur source k passe dans le système, le signal synthétisé r a k est converti vers la voix cible a. nous réalisons une évaluation subjective de la qualité de la parole générée, comparant notre signal généré à celui obtenu par un système tts, un signal obtenu par un vocodeur et le signal naturel. l'objectif de cette évaluation, décrite dans la section 3, est de s'assurer de générer de la parole de qualité convenable à partir de ppgs. comme notre but n'est pas de proposer un nouveau système de synthèse mais d'en utiliser un existant pour une autre tâche, nous ne cherchons pas à comparer ce système à d'autres à partir d'un score de qualité. à notre connaissance, aucune étude n'a tenté d'identifier une éventuelle information relative au locuteur original après conversion à partir de ppgs. notre contribution principale est l'étude de la capacité d'un système de vérification du locuteur (sv) à identifier le locuteur original d'un audio synthétisé. ceci est réalisé en synthétisant des audios de différents locuteurs source (base de données voxceleb @xcite ) en utilisant deux modèles ppg2mel entraînés sur deux voix cibles différentes. la section 4.1 détaille le contenu des bases de données utilisées, leur usage et les notations utilisées. à partir de cette base de données synthétique annotée avec les locuteurs sources, nous pouvons entraîner des systèmes de sv de plusieurs manières. la section 4.2 détaille notre protocole et la section 4.3 montre les résultats obtenus. contrairement au protocole d'évaluation de conversion de voix, nous ne cherchons pas à identifier la similarité entre les audios synthétiques et les locuteurs cibles, mais à vérifier si un système de vérification du locuteur peut identifier les locuteurs sources à partir d'audio synthétique, malgré la présence de la voix cible. ## synthèse de parole les tâches de synthèse de parole sont souvent divisées en deux étapes : la prédiction d'une représentation fréquentielle (mel-spectrogramme par exemple) à partir de l'entrée, puis l'utilisation d'un vocodeur pour obtenir le signal audio correspondant. de nos jours, les systèmes de synthèse à partir de texte sont principalement des systèmes neuronaux autorégressifs comme tacotron2 @xcite , ou des systèmes séquence-vers-séquence, par exemple utilisant des transformers comme fastspeech @xcite . l'introduction de contrôle dans ces systèmes est généralement réalisée en conditionnant la génération de parole à un locuteur spécifique @xcite and @xcite . cependant, le contrôle pour d'autres aspects comme la prosodie @xcite , l'intonation (łańcucki, 2021), le style @xcite ou l'émotion @xcite ont été introduits dans les systèmes de synthèse. le but des système de conversion de voix est généralement de préserver certains aspects provenant d'un audio source (par exemple le contenu linguistique) et d'autres provenant d'un audio cible (les indices acoustiques relatifs à un locuteur). l'utilisation de représentation démêlées (principalement entre locuteur, contenu linguistique et/ou prosodie) extraites du signal cible ont été utilisées par @xcite , @xcite . les ppgs ont également été utilisés pour la conversion de voix (levy-leshem & giryes, 2021), d'accent @xcite comme le système ppg2mel produit des mel-spectrogrammes, nous devons ensuite les convertir dans le domaine audio. nous avons utilisé waveglow, un vocodeur neuronal décrit dans @xcite . notre vocodeur est entraîné sur le dataset ljspeech @xcite en utilisant la configuration par défaut à l'exception de la fréquence d'échantillonage, que nous avons passée de 22,05khz à 16khz. nous avons utilisé l'implémentation proposée par nvidia, disponible sur github foot_1 ## conclusion la première expérience présentée vise à s'assurer que notre système de conversion à base de ppgs produit de l'audio de qualité correcte. le test perceptif réalisé montre que nous obtenons une qualité similaire à celle d'un système tts habituel, et que le vocodeur utilisé est la source d'une grande partie de la dégradation. l'utilisation d'un meilleur vocodeur ainsi que la réalisation d'un test perceptif de similarité locuteur pourraient être des pistes de recherche pour continuer ces travaux. nous avons ensuite entraîné deux systèmes de vérification du locuteur sur de l'audio naturel et sur des données synthétiques afin d'identifier l'information relative au locuteur source qui aurait été cachée par la conversion. nos expériences montrent que même si le système naïf obtient des résultats comparables avec l'état de l'art sur de la parole naturelle, ni ce système ni le système informé ne parviennent à identifier les locuteurs originaux une fois l'étape de conversion passée. de même, aucun de nos systèmes n'a été capable de lier les versions naturelles et synthétiques d'un même locuteur cible. nous concluons donc que l'ensemble de la chaine de conversion depuis l'extraction des ppgs à la génération de l'audio permet de cacher les indices acoustiques à un système de vérification du locuteur. ainsi notre modèle de conversion à partir de ppgs semble pertinent pour controller la génération de parole, tout en cachant les locuteurs sources.