La voix actée : pratiques, enjeux, applications (Acted voice : practices, challenges, applications) (2020)

Abstract: La voix actée représente un défi majeur pour les futures interfaces vocales avec un potentiel d’application extrêmement important pour la transformation numérique des secteurs de la culture et de la communication, comme la production ou la post-production de voix pour les séries ou le cinéma. Un aspect central de la voix actée repose sur la notion d’interprétation, un aspect peu étudié dans la communauté scientifique de la parole. Cet article propose un état des lieux et une réflexion sur les défis scientifiques et les applications technologiques de la voix actée : à la croisée de l’acoustique, de la linguistique, de la culture, et de l’apprentissage machine. Une analyse préliminaire des pratiques permet de rendre compte de la diversité de l’écosystème des “métiers de la voix” et de pointer les fonctions et les conventions qui s’y rattachent. Nous nous intéresserons ensuite à la pratique particulière du doublage de voix, en faisant ressortir ses enjeux et problématiques spécifiques puis en présentant des solutions proposées pour modéliser les codes expressifs de la voix d’un acteur ou les choix d’un opérateur pour le doublage.

## introduction les avancées spectaculaires réalisées cette décennie en traitement automatique de la parole, pour des tâches comme la reconnaissance ou la synthèse de parole, ont permis la réalisation de nombreuses applications devenues d'usage quotidien, comme l'interaction vocale avec un smartphone. tour à tour et successivement voix de "laboratoire", "pathologique", "ordinaire", "spontanée", "expressive" ou "conversationnelle", la recherche sur la parole s'attaque à des domaines variés et s'affranchit peu à peu des défis posés par des facteurs de variabilité de plus en plus nombreux et complexes. par contraste, l'étude de la parole "actée" demeure aujourd'hui marginale dans la communauté de la parole au point où un article sur le doublage était encore catalogué il y a quelques années dans la catégorie "parole anormale" ("abnormal speech"). contrairement à la parole "ordinaire" ou "spontanée", la voix "actée" est un artifice, une construction fruit d'une interprétation maîtrisée et planifiée de sa voix par un acteur afin de produire un effet désiré chez un spectateur, par exemple rendre manifeste le comportement d'un personnage fictif, et faciliter la crédibilité et l'immersion du public dans une situation ou une trame. la voix est souvent dénaturée, grossie, pour rendre audible et sensible les effets expressifs produits par le comédien. ainsi, la voix actée élargit le champs de recherche des fonctions expressives de la voix humaine et ouvre sur le domaine encore peu étudié de l'interprétation. par ailleurs, une brève revue des "métiers de la voix" (voix-off pour le commentaire, publicité, voix doublée, voix au théâtre, voix au cinéma, etc…) montre la diversité des pratiques et les usages spécifiques de la voix principalement dans le secteur de la culture et de la communication, et des industries créatives. pour comprendre les fonctions de la voix dans ces usages, la voix ne peut être considérée seule, mais dans une relation à un être humain dont elle ne constitue que l'une des modalités d'expression : l'incarnation de la voix par un corps (les voix-off sont ainsi totalement désincarnées) ou l'adéquation d'une voix et de son corps (le doublage offre un exemple de composition du corps d'un acteur réel ou fictif et de la voix d'un autre acteur) @xcite . l'appréhension de la voix actée soulève à la fois un ensemble de questions inédites pour la recherche et de nouvelles possibilités technologiques et applicatives, en ouvrant sur la dimension interprétative de la voix humaine. premièrement, l'étude de la voix actée -qui est par essence expressive -nécessite d'être en mesure de se confronter à des modalités de productions inusuelles et des registres extrêmes de variations acoustiques. par ailleurs, elle pose la vaste question de la notion d'interprétation appliquée au domaine de la parole. la compréhension de cette notion nécessite d'étudier les pratiques des métiers de la voix : depuis la diversité de ses pratiques et de ses fonctions jusqu'aux conventions et aux choix de l'interprétation. on peut citer, à titre d'exemple, la production des voix dans les industries créatives qui suit un protocole extrêmement codifié, faisant intervenir un ensemble de conventions implicites depuis le choix d'un acteur capable d'incarner un physique ou un personnage, la supervision de son interprétation par un directeur artistique lors de séances d'enregistrements, jusqu'à la diffusion finale à un public cible. l'appréhension de la voix actée ne se limite manifestement pas à des facteurs acoustique ou linguistique et fait intervenir des facteurs sociologiques et culturels nécessaires pour sa compréhension et à sa modélisation. cet article tente de présenter un état des lieux et une réflexion d'ensemble sur les défis et les applications de la voix actée, à la croisée de l'acoustique, de la linguistique, de la culture, et de l'apprentissage automatique. il propose en outre un cadre méthodologique pour mieux définir le champs de la voix actée et en particulier les critères utilisés par un opérateur humain expert pour qualifier la voix et l'interprétation vocale d'un acteur. la compréhension des processus cognitifs mis en oeuvre par un opérateur humain dans ses choix d'un acteur ou d'une interprétation devrait permettre, à terme, d'apprendre à la machine à reproduire ces choix. l'article est organisé de la manière suivante : une première partie présente une enquête sociologique menée sur les pratiques des métiers de la voix, une seconde partie esquisse les défis et problématiques spécifiques au traitement de la voix actée, et une dernière partie présente une application dans le cadre du doublage au cinéma. ## enquête sociologique sur le rapport à la voix dans le travail d'interprétation dans l'optique de produire des connaissances sur les qualités de la voix actée, nous avons mis en place une enquête auprès de professionnels du doublage vocal. artistes interprètes, directeurs artistiques et adaptateurs ont été interrogés dans le cadre de 7 entretiens semi-directifs conduits auprès de 9 enquêtés dans trois contextes en 2019 (festival d'avignon, festival international des voix du cinéma d'animation voix d'étoiles, échanges téléphoniques). l'analyse de ce matériau a permis de mettre en exergue un ensemble de caractéristiques propres à la voix dans le contexte du jeu d'acteur et du doublage, celui des fictions audiovisuelles (prise de vue réelle et animation) et des documentaires ; une diversité assurant une représentativité au sein de ce secteur professionnel. dérivé de l'anglais dubbing, le doublage est aujourd'hui un terme intégré dans le langage courant. ce sont les cahiers du cinéma qui, pour la première fois en mai 1930, ont présenté cette technique au public francophone : « le dubbing ou doublage, est un système qui consiste à tourner des paroles en n'importe quelle langue et à l'adapter sur une bande tournée primitivement en parlant américain » @xcite . le doublage s'est institutionnalisé en un secteur à part entière l'industrie audiovisuelle. il est particulièrement sollicité au regard de l'expansion du nombre de productions en circulation nécessitant une réponse technique et artistique de qualité pour leur diffusion internationale. le doublage ne concerne pas tous les pays de la même manière, certains comme les pays scandinaves privilégient les versions originales sous-titrées, à l'inverse de la france qui est l'un des principaux doubleurs (en découle aussi une grande qualité des doublages français). d'autres pays en restent éloignés pour des raisons socio-culturelles : la chine réserve ainsi le doublage aux films d'animation pour le jeune public. un doublage dont le synchronisme labial n'est pas suffisant, voire non adapté au genre cinématographique ou audiovisuel, peut générer une suspension volontaire d'incrédulité pour les spectateurs (une notion entendue au sens de samuel taylor coleridge dans biographia (1817), relevant d'abord du champ littéraire, qui renvoie à l'acceptation, par le récepteur d'une oeuvre, d'un univers fictionnel). le doublage tel que nous le connaissons aujourd'hui est un aboutissement d'une histoire culturelle et technologique. avant « d'être parlant, le cinéma était muet, mais pas silencieux. certes, les films muets n'offraient pas une parfaite synchronisation, mais ils n'étaient pas dénués de sons et d'illustrations musicales » @xcite . le doublage se caractérise par un impératif de synchronisation, à commencer par un synchronisme labial @xcite . la généralisation du doublage va entraîner la création de métiers qui lui sont spécifiques à l'instar des traducteursadaptateurs, des repéreurs et détecteurs, des coordinateurs linguistiques ou encore des monteurs en synchronisation. elle va également générer une spécialisation de certains comédiens dont la carrière peut se concentrer presque exclusivement sur le doublage (post-synchronisation, narration, voice over, habillage d'antenne, publicité, bandes annonces, etc. ## problématiques et verrous scientifiques pour le traitement de la voix actée la suite de cet article s'intéresse à la voix au cinéma et plus particulièrement les voix pour le doublage, dont le voice over. plusieurs protagonistes interviennent dans la chaîne de traitement du voice over. tout d'abord, les voix des doubleurs doivent à la fois rester fidèles à l'oeuvre d'origine, mais aussi correspondre aux attentes du public cible. le public est l'auditeur final du travail et doit être immergé dans l'oeuvre à son visionnage. ensuite, la qualité d'un doublage ressort de la responsabilité des directeurs artistiques (da). ce métier nécessite une expérience en comédie et une culture cinématographique développée afin de sélectionner des voix, via le casting vocal, et de guider les acteurs lors d'enregistrements. pour finir, le client a des objectifs commerciaux ou artistiques et contrôle les prises de décision. il intervient lors de la sélection des acteurs et valide la qualité du doublage. cette chaîne implique de nombreux choix humains, ainsi que des conventions culturelles et esthétiques qui sont implicites ou explicites. identifier les codes explicitement ou modéliser ces choix implicitement imposent des verrous scientifiques que nos travaux cherchent à briser. pour cela, nous avons concentré nos efforts sur trois points principaux : la taxonomie de la voix, la modélisation d'un processus artistique et la dépendance de réception de la voix à la langue et la culture. dans le but de comprendre et modéliser les mécanismes du doublage, il est nécessaire de savoir représenter une voix actée. cette représentation peut être construite à partir de codes explicites donnant définition au terme palette vocale. il n'existe cependant aucune taxonomie partagée par les da et autres protagonistes de la chaîne de production du doublage. ces faits rendent difficile la création d'un protocole d'annotation. quand bien même une taxonomie existerait, les da ont hélas très peu de temps à accorder à l'annotation. sans ces annotations, il est difficile à la fois de construire des modèles d'apprentissage supervisé pour détecter automatiquement des facteurs de variabilité dans la voix, d'isoler et d'analyser les impacts de certaines caractéristiques dans des prises de décisions. evaluer des systèmes automatiques de classification de la voix actée, et expliquer de manière intelligible à l'utilisateur les critères qui ont guidé les décisions de nos systèmes sont aussi des limites auxquelles nous nous confrontons. autant dans une problématique sociologique qu'informatique, se pose alors la question suivante : comment définir une taxonomie de la voix actée sans l'accès à une connaissance de ses codes explicites ? le jugement de l'adéquation entre une voix et son personnage conduit par les da implique de nombreux facteurs humains et perceptifs. pour modéliser un tel processus, il nous faut comprendre quels critères ou filtres y interviennent. nous supposons que cette adéquation porte autant sur la nature de la voix d'un comédien que sur l'interprétation qu'il y apporte en jouant le personnage cible. nous étudions dans nos travaux comment inférer ces critères et filtres depuis des enregistrements de voix et des décisions de da. les critères peuvent être différents en fonction du da. (chacun présente un profil différent, avec une expérience et des préférences artistiques qui lui sont propres) a l'instar de la reconnaissance de la parole où certains modèles sont adaptés au locuteur, il nous est nécessaire d'étudier l'adaptation de nos modèles au da cible. différentes pistes sont à explorer. la construction d'un modèle par da. la construction d'un modèle universel. l'adaptation d'un modèle universel à chaque da. ces modèles doivent aussi s'adapter dans le temps. le da, à force d'expérience, évolue et ses décisions aussi. la voix actée est intrinsèquement liée à la perception humaine. partant de ce postulat, nous recherchons quels codes sont universels et lesquels varient en fonction des individus. ces codes sont sujets à un processus cognitif qui rend leur modélisation difficile. les facteurs de variation de ces derniers peuvent être d'ordre culturel ou liés à la structure de la langue parlée. cette variabilité peut intervenir dans différentes dimensions. comme, par exemple, la dimension de l'émotion. certaines émotions sont universelles et ne varient pas d'une langue à l'autre, là où d'autres sont dépendantes de l'individu. ohala @xcite unifie des théories guidant les recherches sur l'expression d'émotion par la voix et tend à montrer que certaines émotions sont partagées par différentes cultures. de la même manière, nous supposons que le jeu des personnages est construit pour mettre en avant des stéréotypes qui diffèrent d'une culture à l'autre. pour finir, tout comme notre société évolue, ces codes évoluent, et nous devons chercher à prendre en compte dans nos modèles l'évolution temporelle de la réception de la voix. ## application : l'aide au doublage de voix d'acteurs un cadre applicatif possible pour la voix actée pourrait être un système de recommandation de voix pour les da. un tel système consisterait à proposer automatiquement un ensemble de voix selon une requête formulée. dans notre contexte d'étude, nous proposons de nous intéresser au casting vocal et plus particulièrement au doublage : considérant une voix dans une langue source, quelles voix d'acteurs dans une langue cible peuvent le mieux correspondre aux attentes d'un da ? en réponse à ces problématiques, des travaux ont proposé d'étudier la similarité de voix, qui est une notion centrale dans l'élaboration de systèmes de recommandation. elle consiste à définir une mesure de similarité entre deux voix. comment considère-t-on que deux voix sont similaires ? a partir de quelles données, vérité, peut-on construire une telle mesure ? l'apparition de la similarité de la voix au sens du personnage a donné des réponses à ces questions. celle-ci part de l'hypothèse suivante : il existe, dans le signal acoustique de parole, des signes acoustiques caractéristiques du personnage joué. la similarité de la voix au sens du personnage consiste alors à définir une mesure qui, si les deux acteurs jouent le même personnage, doit informer que les voix sont similaires. dans le cas contraire, la mesure doit indiquer que les deux voix paraissent dissimilaires. deux approches différentes ont été proposées pour cette mesure de similarité. dans la première approche @xcite , deux modèles i-vecteurs @xcite sont appris, l'espace source (anglais), l'espace cible (français). le modèle i-vecteur est un modèle de représentation de voix plus communément utilisé pour des tâches de reconnaissance du locuteur. le système proposé consiste à appliquer une matrice de passage w à l'espace cible pour le projeter dans un nouvel espace, que nous nommerons l'espace modifié, comparable avec l'espace source. la matrice w est apprise sur un ensemble de données d'entraînement. un score de similarité est ensuite calculé entre les vecteurs de l'espace source et de l'espace modifié dans le cas du système b et c. pour le système baseline a, la mesure est calculée entre l'espace source et l'espace cible. figure 1 : systèmes de similarité proposés dans @xcite dans la seconde approche @xcite , un réseau de neurones siamois est entraîné à projeter les deux voix fournies en entrée, une en anglais et une en français, dans un espace commun où cellesci sont comparables au moyen d'un score de similarité. l'objectif de cet espace est de représenter la dimension personnage des voix qui y sont projetées indépendamment du locuteur, de la langue et du contenu linguistique. dans la continuité de ces travaux, nous nous sommes intéressés à la création d'un espace personnage en s'inspirant des modèles x-vecteurs @xcite . nous entraînons un réseau de neurones profond à reconnaître le personnage joué quelque soit sa langue. le réseau fournit en sortie des probabilités indiquant l'appartenance de l'enregistrement à un personnage spécifique. une fois le réseau entraîné, sa dernière couche sert d'espace de représentation, le p-vecteur. la figure 2 donne un exemple de cet espace de représentation orienté "personnage". des enregistrements de 4 paires de voix, chacune composée d'une voix anglaise et d'une voix française jouant le même personnage, sont projetée dans l'espace p-vecteur dans lequel nous avons appliqué un algorithme de regroupement pour tenter de retrouver les classes personnage. chaque paire est représentée avec une couleur donnée. notons que le système n'a jamais vu durant la phase d'apprentissage, ni les personnages, ni les locuteurs concernés. d'autres travaux ont proposé une mesure de similarité perceptuelle @xcite . cette contribution se démarque des précédentes en proposant d'abord de représenter un enregistrement par des classes au lieu de calculer un score directement sur un espace acoustique. ces classes sont liées à la physiologie, la phonétique, au timbre, à l'articulation, à la prosodie ou au jeu d'acteur. un système de classification multi-labels est alors entraîné sur des enregistrements étiquetés par un expert. pour un enregistrement donné, le système calcule un vecteur de probabilités où chaque valeur représente l'affinité de l'enregistrement pour le label. chaque enregistrement est donc représenté par un vecteur d'affinité, référé comme la signature vocale de l'enregistrement. appliquer une distance entre deux signatures revient à calculer un score de similarité entre deux figure 2: comparaison des vrais labels de personnage avec les labels associés à chaque enregistrement par un algorithme de clustering sur un espace de représentation de la dimension personnage de la voix actée. enregistrements. l'article confronte deux signatures vocales, l'une issue de vecteurs d'affinités appris depuis les i-vecteurs, l'autre des i-vecteurs + plda, et montre au travers d'une expérience perceptive que l'apprentissage du classifieur a permis de mettre significativement en lumière, dans l'espace i-vecteur, des informations caractéristiques de la perception de la voix actée. d'un point de vue applicatif, ces travaux sur la similarité et la représentation de voix ouvrent des perspectives pour construire des systèmes de recommandation pour le casting vocal. ces espaces de représentations vont permettre d'initialiser les systèmes de recommandation pour proposer des voix qui seront pertinentes ou inattendues pour les da. un tel système pourra prendre la forme d'une application informatique où le da pourra demander des recommandations et réagir aux résultats. dans une dynamique itérative, cette application fournira de nouvelles données à la recherche qui alimenteront nos travaux pour améliorer encore la finesse des recommandations proposées aux da. ## conclusion nous avons proposé dans cet article un état des lieux et une réflexion sur les défis scientifiques et les applications technologiques de la voix actée. l'appréhension de la voix actée soulève un ensemble de questions inédites de recherche pour la communauté de la parole. tout d'abord, une analyse des pratiques montre qu'il existe une grande diversité de métiers de la voix, chacun avec ses fonctionnalités et ses objectifs propres. les pratiques de ces métiers ne sont cependant pas homogènes et relèvent d'une dimension artistique. en particulier, l'étude des voix de doublage montre l'existence d'un cadre partagé pour la sélection et la direction de voix d'acteurs dans le but de produire des effets définis, mais les codes sous-jacents restent implicites et difficiles à formaliser. ainsi, l'appréhension de la voix actée ne se limite manifestement pas à des facteurs purement acoustiques ou linguistiques, mais fait intervenir des facteurs sociologiques et culturels reflétés par les choix d'opérateurs humains. la modélisation des choix des opérateurs humains nécessite donc de modéliser explicitement ou implicitement les filtres cognitifs ayant amené à ces choix. la mise en évidence de codes explicites par une taxonomie partagée et standardisée et/ou la modélisation implicite des choix représente clairement un défi pour la recherche dans ce domaine. une étude est en cours pour essayer de faire apparaître une taxonomie partagée par les professionnels pour qualifier une voix dans les métiers en production ou post-production de voix. par ailleurs, nous avons présenté dans cet article une solution pour modéliser implicitement les choix d'un opérateur autour de la notion de "personnage", avec les résultats préliminaires obtenus en doublage de voix. les études à venir visent à préciser les méthodologies présentées pour permettre de mieux comprendre et modéliser les nombreux facteurs de la voix actée et, à terme, les exploiter pour créer des applications technologiques pour les industries créatives.