Apprentissage automatique de représentation de voix à l’aide d’une distillation de la connaissance pour le casting vocal (Learning voice representation using knowledge distillation for automatic voice casting ) (2020)

Abstract: La recherche d’acteurs vocaux pour les productions audiovisuelles est réalisée par des directeurs artistiques (DA). Les DA sont constamment à la recherche de nouveaux talents vocaux, mais ne peuvent effectuer des auditions à grande échelle. Les outils automatiques capables de suggérer des voix présentent alors un grand intérêt pour l’industrie audiovisuelle. Dans les travaux précédents, nous avons montré l’existence d’informations acoustiques permettant de reproduire des choix du DA. Dans cet article, nous proposons une approche à base de réseaux de neurones pour construire une représentation adaptée aux personnages/rôles visés, appelée p-vecteur. Nous proposons ensuite de tirer parti de données externes pour la représentation de voix, proches de celles d’origine, au moyen de méthodes de distillation de la connaissance. Les expériences menées sur des extraits de voix de jeux vidéo montrent une amélioration significative de l’approche p-vecteur, avec distillation de la connaissance, par rapport à une représentation x-vecteur, état-de-l’art en reconnaissance du locuteur.

## introduction les entreprises visant la diffusion internationale d'oeuvres audiovisuelles (films, séries, jeux vidéo...) atteignent alors un public multilingue et multiculturel. ainsi, les producteurs de ces créations audiovisuelles accordent de plus en plus d'attention aux voix qu'ils attribuent à un personnage ou à un rôle particulier afin de renforcer le sentiment d'immersion du public. ce processus de changement de la voix originale dans une langue par une nouvelle voix dans un autre langage est appelé doublage vocal. il consiste à remplacer l'intégralité des dialogues de la création originale par de nouveaux acteurs vocaux dans le contexte linguistique et culturel ciblé. dans ce contexte, la sélection des voix appropriées dans une langue cible en fonction à la fois de la voix d'origine et du rôle, est une tâche cruciale, appelée casting vocal. habituellement, un expert humain, appelé directeur artistique (da), effectue la tâche de casting de voix dans des sociétés de doublage. le problème majeur du doublage vocal réside dans le fait que la "similitude" recherchée entre une voix originale et une voix doublée est loin d'être une simple ressemblance acoustique. il comprend les caractéristiques socioculturelles des langues et des pays sources et cibles. de plus, il n'y a pas de vocabulaire bien établi pour décrire les voix, les personnages et les effets immersifs. il y a deux limites à la façon dont les da effectuent la tâche de casting vocal : les choix des da intègrent un certaine subjectivité, liée à leurs propres caractéristiques socioculturelles, et 2), les da ne peuvent pas écouter et mémoriser un nombre très élevé de voix. par conséquent, un da travaille généralement avec une liste réduite d'acteurs qu'il a écoutés et/ou avec lesquels il a déjà travaillé. les outils automatiques capables de mesurer l'adéquation potentielle entre une voix originale dans une langue source et une voix doublée dans une langue et un contexte cibles, présentent un grand intérêt pour l'industrie audiovisuelle. ils aideront les da à remédier aux problèmes susmentionnés et à ouvrir la porte à de nouveaux talents de voix, par exemple en pré-sélectionnant un nombre raisonnable de candidats au sein d'un très large ensemble de voix. la similarité vocale dans le contexte du doublage de voix a été étudié dans @xcite . les auteurs ont montré l'importance de certaines caractéristiques para-linguistiques (e.g. âge, genre, état du locuteur, qualité de la voix...). dans @xcite , les auteurs proposent d'estimer la proximité de "doublage" entre deux voix (une dans la langue source, et une dans la langue cible) au moyen d'une approche i-vecteur/plda, inspirée du domaine de la reconnaissance du locuteur. @xcite supposent que des informations, ou a minima des indices, liées au casting réalisé par les da sont présentes dans les voix de doublage choisies. l'approche proposée permet de distinguer les paires cible (i.e. une voix dans une langue source associée à la voix du personnage correspondant dans la langue cible) de non-cible (i.e. voix qui ne correspond pas au bon personnage). une limite de ce travail est que l'utilisation de l'apprentissage supervisé binaire donne de faibles capacités de généralisation au modèle, étant donné que l'interpolation ne peut s'appuyer que sur des contre-exemples. des travaux récents en reconnaissance du locuteur @xcite @xcite ont montré que des représentations au moyen de réseaux de neurones profonds, et d'apprentissage bout-en-bout (end-to-end), surpassent la représentation de référence i-vecteur. dans cet article, nous proposons d'apprendre une représentation latente originale du personnage/rôle, appelée p-vecteur, à partir d'une approche fondée sur les réseaux de neurones. ces p-vecteurs sont conçus pour aider le système à avoir une meilleure assimilation de la dimension du personnage, et par conséquent à mieux gérer les voix inconnues. cette approche constitue la première contribution de cet article. néanmoins, un frein à l'utilisation d'une telle approche s'appuyant sur les réseaux de neurones est la nécessité d'une grande quantité de données dans le domaine considéré. dans notre contexte, la seule information que nous pouvons utiliser est la sélection vocale de l'opérateur humain (da). dans les travaux que nous avons initiés, seul un petit nombre de personnages est mis à notre disposition. dans cet article, nous proposons de remédier à ce problème en appliquant des méthodes de distillation de la connaissance en utilisant des données supplémentaires, provenant d'un domaine proche, pour extraire les informations spécifiques au personnage/rôle. plus généralement, nous pensons que les connaissances extraites, par exemple des jeux vidéo, pourraient être transférées à d'autres contextes, tels que les personnages de voix d'émissions de télévision. cet article est organisé comme suit. nous présentons d'abord l'approche p-vecteur et le cadre général de distillation de la connaissance dans la partie 2. ensuite, nous détaillons le corpus et nous décrivons le protocole expérimental que nous avons mis en place dans la partie 3. nous présentons nos résultats et les discutons dans la partie 4. enfin, les conclusions et perspectives sont données dans la partie 5. ## approche 2.1 représentation dédiée au personnage ces dernières années, des architectures à base de réseaux de neurones profonds ont été proposées pour apprendre des espaces de représentation des données @xcite . nous proposons d'apprendre une représentation dédiée aux voix jouées, appelée p-vecteur. l'espace p-vecteur (p signifiant "personnage") est optimisé sur une tâche de discrimination personnage/rôle. il permet de projeter des segments de voix d'une manière qui maximise la variabilité des personnages. en général, la représentation des données en entrée de méthodes d'apprentissage automatique a un impact fort sur les performances des applications. ici, nous adoptons la représentation x-vecteur, initialement introduite en reconnaissance automatique du locuteur @xcite . une grande quantité de données provenant de nombreux locuteurs sont utilisées pour créer l'espace de plongement des locuteurs (speaker embeddings). des segments audio sont projetés dans cet espace et caractérisés par des x-vecteurs. les x-vecteurs sont considérés ici comme une représentation compacte et de taille fixe d'une séquence vectorielle de paramètres acoustiques de longueur variable. nous faisons l'hypothèse que les plongements de locuteurs contiennent des informations intriquées correspondant à la dimension personnage/rôle. nous proposons donc de construire un nouvel espace de représentation (p-vecteur) capable de discriminer les différents personnages. ## conclusion dans cet article, nous avons tout d'abord proposé, pour le casting vocal, un nouvel espace de représentation appelé p-vecteur obtenu à partir d'une couche d'embeddings d'un réseau de neurones profond. afin de pallier le problème de limitation des données, nous avons proposé une approche par distillation de la connaissance pour améliorer la représentation personnage/rôle. nous avons observé une amélioration substantielle des résultats au travers de cette représentation p-vecteur, en comparaison de l'approche classique x-vecteur. ces résultats démontrent que les p-vecteurs contiennent des informations dédiées à la dimension personnage/rôle. exactitude t-score baseline x-vecteur a 0,60 64,58 b 0,52 20,63 c 0,54 26,86 d 0,49 -6,19 moyenne 0,54 26,47 p-vecteur (sans distillation) a 0,58 53,82 b 0,54 20,70 c 0,57 49,86 d 0,54 23,34 moyenne 0,55 36,93 p-vecteur + distillation a 0,63 80,00 b 0,55 36,46 c 0,55 28,33 d 0,55 34,24 moyenne 0,57 44,79