Traduction à base d’exemples du texte vers une représentation hiérarchique de la langue des signes (2023)

Abstract: Cet article présente une expérimentation de traduction automatique de texte vers la langue des signes (LS). Comme nous ne disposons pas de corpus aligné de grande taille, nous avons exploré une approche à base d’exemples, utilisant AZee, une représentation intermédiaire du discours en LS sous la forme d’expressions hiérarchisées

## introduction le travail présenté ici a été réalisé dans le cadre d'un projet qui visait à étudier des solutions d'accessibilité pour les contenus audiovisuels pour les personnes sourdes à l'aide de sous-titrage et de traduction en langue des signes (ls). pour ce dernier objectif, les trois principales contributions ont été la constitution d'un corpus aligné de texte et de ls @xcite , un système de traduction automatique (ta) du texte en une représentation formelle de la ls (bertin- @xcite , et un système permettant de générer des animations d'avatars signants à partir de cette représentation @xcite . après un aperçu des enjeux et des travaux récents dans le domaine, nous expliquons la méthode et les choix de conception et décrivons l'implémentation du système de traduction. enfin, nous donnons des résultats préliminaires et discutons des questions soulevées pour l'évaluation. les ls sont des langues naturelles pratiquées au sein des communautés de sourds et la langue des signes française (lsf) est celle utilisée en france. dans la suite, nous parlerons des ls en général quand les aspects abordés les concernent toutes et de la lsf lorsque cela concerne uniquement cette langue. ce sont des langues visuo-gestuelles : une personne s'exprime en ls en utilisant de nombreuses composantes corporelles (mains et bras, mais aussi torse, épaules, tête, regard et expressions faciales) et son interlocuteur perçoit le message par le canal visuel. le système linguistique des ls exploite ces canaux spécifiques : de nombreuses informations sont exprimées simultanément et s'organisent dans l'espace, et l'iconicité joue un rôle central et structurant à tous les niveaux (du sub-lexical au discours). à ce jour, les ls n'ont pas de système d'écriture et les rares systèmes graphiques pour la transcription, tels que hamnosys @xcite ou signwriting @xcite , ne décrivent que l'aspect lexical. ceux-ci ne peuvent représenter pleinement le niveau discursif, la multilinéarité, l'utilisation de l'espace et les structures illustratives. tous ces aspects contribuent aux défis de la ta depuis ou vers les ls. la ta d'un texte vers une ls est un sujet de recherche assez récent et encore très peu exploré. l'approche dominante en ta est l'approche neuronale, qui s'appuie sur la disponibilité de grands volumes de données alignées (de l'ordre de plusieurs millions de phrases), non disponibles dans cette quantité pour les ls. si des tentatives existent avec ces méthodes, elles ne donnent pas encore de résultats satisfaisants, comme l'ont montré les évaluations humaines lors du premier défi portant sur la traduction automatique de ls suisse-allemande (dsgs) vers l'allemand @xcite . la traduction automatique basée sur des exemples (ebmt foot_0 ) est une autre approche fondée sur l'analogie qui utilise un corpus bilingue contenant des textes et leurs traductions @xcite . étant donné un texte à traduire, on sélectionne dans ce corpus des segments contenant des éléments similaires. ces éléments sont ensuite utilisés pour traduire les éléments du texte original dans la langue cible, et ces phrases sont recombinées pour former une traduction complète. l'approche ebmt peut être mise en oeuvre sur des corpus plus petits et donc envisagée dans notre cas. les capacités de traduction restent liées à la taille du corpus, mais dans un domaine ciblé, on peut espérer obtenir des résultats de meilleure qualité que ceux obtenus actuellement par les approches neuronales. comme les ls n'ont pas de forme écrite, une approche courante est de procéder en deux étapes : une première étape consiste à traduire le texte en une représentation intermédiaire, et une seconde étape utilise cette représentation comme entrée d'un système de synthèse pour contrôler l'animation d'un personnage virtuel afin d'afficher le contenu en ls sous forme de vidéo. après une première génération d'études basées principalement sur des approches à base de règles @xcite @xcite ), d'autres ont exploré des approches à base d'exemples @xcite . elles ont parfois été combinées avec des approches statistiques, comme par exemple de @xcite qui a développé un système qui traduit automatiquement quelques textes en portugais brésilien vers la ls brésilienne (libras), en fonction du contexte et de la fréquence d'apparition dans les traductions précédentes. à notre connaissance, ces projets n'ont donné lieu à aucune suite. la grande majorité des projets utilisant une représentation intermédiaire de la ls, y compris les plus récents @xcite , utilisent des séquences de gloses, chaque glose 2 représentant une unité lexicale. les systèmes de traduction traitent alors une séquence de tokens. cependant, avec ce type de représentation, il est très difficile, voire impossible, de traiter les phénomènes courants de la ls, tels que l'activité non manuelle, les relations spatiales, les structures iconiques ou le rythme des mouvements. il en résulte des animations de très mauvaise qualité, incomplètes, voire incompréhensibles. pour cette raison, il parait indispensable d'envisager une représentation intermédiaire plus riche que de simples concaténations de gloses. dans certaines approches récentes de bout-en-bout @xcite , l'utilisation d'une représentation intermédiaire n'est pas présente. cette approche neuronale, encore très expérimentale, génère directement des vidéos de contenus signés photoréalistes à partir d'entrées textuelles. en plus de nécessiter des corpus de très grande taille, elle n'offre pas les mêmes avantages que les avatars (anonymat dans le rendu, apparence modifiable) que nous avons choisi de privilégier. ## approche à base d'exemples et représentation hiérarchique comme nous ne disposons pas de corpus aligné de grande taille, nous avons choisi d'explorer l'approche à base d'exemples. par ailleurs, nous avons retenu azee comme représentation intermédiaire, une approche formelle de représentation du discours en ls @xcite . celle-ci permet de définir des règles de production, qui associent des formes à articuler (par exemple, hausser les sourcils) à un sens identifié (par exemple, l'expression d'un doute). en les combinant, on peut construire des expressions discursives hiérarchiquement structurées représentant des énoncés complets, déterminant les formes à produire de manière suffisament détaillée pour permettre ensuite de contrôler l'animation d'un avatar @xcite . par exemple, considérons les six règles de production suivantes identifiées pour la lsf : les trois sans argument que sont ministre, environnement et parler, ainsi que les trois ci-dessous comportant des arguments (en italique) : ces règles peuvent être combinées hiérarchiquement dans l'expression suivante pour former la structure d'un énoncé signifiant "le ministre de l'écologie parle nerveusement" et respectant la grammaire de la lsf : l'approche à base d'exemples s'appuie sur l'analogie avec des exemples existants pour traduire de nouveaux contenus. cela signifie que nous pouvons tenter de traduire une nouvelle phrase en trouvant des exemples suffisamment proches, et en remplaçant ce qui est différent. par exemple, pour traduire la phrase "la présidente parle nerveusement" qui ne figure pas dans la base d'exemples, on peut partir de l'exemple "le ministre de l'écologie parle nerveusement" qui, lui, est présent dans la base, et substituer une traduction de "la présidente" à celle de "le ministre de l'écologie" dans le segment aligné. dans cet exemple, "présidente" n'a pas de correspondance dans la phrase et est nommé "anti-match", "ministre de l'écologie" est nommé sa "correction". l'hypothèse est que si nous trouvons les parties correspondant à chaque anti-match dans la traduction alignée, nous pouvons tenter de les remplacer par les traductions de leurs corrections. ## implémentation pour une phrase donnée à traduire, on va chercher dans le corpus des alignements dans lesquels le segment de texte est exactement identique et on récupère les expressions alignées correspondantes. en cas d'échec, on considère tous les alignements de texte qui sont "proches" et dont les différences sont les "anti-matchs". la structure globale de la traduction dans la représentation intermédiaire est ainsi conservée, dans laquelle on va pouvoir faire les substitutions. dans l'exemple précédent, on peut considérer que le segment "le ministre de l'écologie parle nerveusement" est proche de "la présidente parle nerveusement". l'anti-match unique m1 est "le ministre de l'écologie" et sa correction c 1 est "la présidente". notre approche est alors : (1) d'identifier la sous-expression marquée ( * ) ci-dessus comme le noeud correspondant à la traduction de m1 ; et (2) d'y substituer une traduction de c 1 . pour ces deux tâches, on utilise récursivement le même algorithme. pour (1) on génère les traductions possibles de m1 en vue d'y trouver ( * ), et pour (2) on génère directement celles de c 1 , qui pourront être substituées à ( * ). un des problèmes de cette approche est celui de l'échec de la traduction, qui est d'autant plus susceptible de se produire que le corpus d'alignements d'exemples est petit. dans de tels cas, nous avons recours à une solution de repli où nous décomposons la requête en une partition de plus petits morceaux de texte, que nous traduirons séparément et concaténerons dans le résultat avec pour seule règle le suivi de l'ordre en source. cette stratégie de repli produit une ls de moins bonne qualité, et équivaut en fait à une traduction littérale (mot à mot) si elle est utilisée systématiquement. mais elle permet de juxtaposer des morceaux de ls plus importants et donc plus complets et plus fluides sans recourir à la simple concaténation d'unités uniquement lexicales. l'implémentation pratique de l'algorithme s'appuie sur plusieurs modules de traitement de texte pour trouver les meilleures correspondances dans le corpus existant. pour permettre la mise en correspondance, l'anti-match et les partitions sous-phrastiques, la tokenisation au niveau du mot est d'abord effectuée par open-nmt tokenizer foot_3 et une certaine flexibilité est permise lors de la recherche de segments correspondants avec la ponctuation et les articles. ensuite, le défi principal est de définir quel type de "similarité" dans la langue source peut produire les meilleurs candidats pour la génération de la langue cible. la sémantique et la syntaxe entrent en jeu pour déterminer les éléments similaires à remplacer ou à traduire séparément. en pratique, nous nous appuyons sur deux types d'analyse de texte à différentes étapes de l'algorithme. pour trouver les meilleurs anti-matches dans la base de données actuelle et les remplacer par des corrections, nous utilisons l'appariement de chaîne de caractères et considérons comme candidats tous les alignements qui ont des tokens en commun avec le texte soumis. les meilleures correspondances ont été définies empiriquement comme étant celles qui ont le maximum de tokens en commun, ainsi que la longueur minimale en nombre de tokens ou la meilleure proportion de tokens similaires dans l'ensemble des tokens. pour l'instant, ce choix reste arbitraire et mériterait une étude comparative. lorsque les approches d'appariement et d'anti-match échouent, nous avons recours à des partitions déterminées en naviguant dans l'arbre de dépendance syntaxique obtenu à l'aide de spacy 5 , une bibliothèque avec des modèles prêts à l'emploi et des chaînes de traitement optimisées pour les langues naturelles. l'analyse syntaxique par dépendance n'explore pas toutes les partitions possibles d'une phrase mais limite l'exploration à des morceaux syntaxiquement valides. ## test et discussion pour tester notre système, nous avons construit un jeu de test en créant des phrases mélangeant des segments de différentes phrases de notre corpus, pour étudier les résultats produits. notre jeu de test est composé de 15 phrases. par exemple, la phrase "recul de l'âge légal à la retraite : c'est ce que proposent les retraités pour leurs enfants" a été créée à partir des phrases suivantes du corpus : grâce à ce jeu de tests, nous avons pu faire valider, par le biais de focus groups avec des locuteurs de lsf, que notre approche est préférable à une approche basée sur une simple concaténation de signes lexicaux. en effet, les structures spécifiques à la lsf peuvent être trouvées dans les traductions finales, ce qui n'est pas le cas lorsque la langue est réduite à une séquence de gloses. en outre, l'approche produit des résultats présentant une certaine forme de créativité. en lsf, les paraphrases ou les ajouts sont couramment utilisés, et font d'ailleurs partie de notre corpus tel qu'il a été livré initialement par le traducteur au moment de la création du corpus vidéo. ces éléments ont été alignés par la suite comme exemples, et apparaissent donc fréquemment dans les traductions générées, même si ce n'est pas toujours strictement nécessaire. par exemple "alsace" peut être signé par un seul signe, mais il est aussi exprimé dans notre corpus par une expression bien plus complexe impliquant des référencements spatialisés (zone à l'est de la france placée sur un plan vertical), typique de la lsf quand aucun contexte n'existe encore. de plus, la sortie de l'algorithme est un ensemble de traductions (construites à partir des différentes 5. https://spacy.io combinaisons de substitution), et pas nécessairement une expression unique. cela rend compte, d'une certaine manière, de la réalité de la tâche de traduction. dans notre jeu de test, le nombre de traductions proposées pour une requête varie de 1 à 12 (moyenne : 4). ## conclusion et perspectives nous avons présenté une nouvelle idée de système de ta du texte vers la lsf, utilisant une approche à base d'exemples et une représentation hiérarchique de la ls, ainsi qu'un algorithme d'appariement, substitution et concaténation. le corpus utilisé contient des alignements de textes français et leurs traductions en lsf décrites selon cette représentation. un prototype a été réalisé et testé sur quelques exemples, fournissant ainsi une preuve de concept. les capacités de ce système et la taille du corpus doivent encore être étendues avant de pouvoir effectuer de véritables évaluations. mais nous pouvons d'ores et déjà souligner que l'évaluation d'un tel système ne sera pas facile, puisqu'il propose une traduction d'une langue vers une représentation d'une autre langue, non lisible directement. les métriques habituellement utilisées, qu'elles soient quantitatives ou qualitatives, sont adaptées aux cas où les langues source et cible sont textuelles. dans notre cas, la cible n'est pas directement la lsf, mais une représentation formelle. en outre, cette représentation est utilisée pour générer des animations qui, certes, sont directement "lisibles" par les locuteurs de lsf, mais qui nécessitent de leur côté des phases d'évaluations qui ne sont pas liées aux aspects linguistiques mais plutôt à l'aspect de l'avatar, aux mouvements et à leur degré de bio-réalisme. la mise en place d'un protocole d'évaluation robuste et complet est clairement un sujet d'étude à part entière, qui devra être abordé dans un avenir proche.