Corpus bilingue sous-titrage et Langue des Signes Française : la problématique de l’alignement automatique des données (2025)

Abstract: Dans cet article, nous présentons une étude sur la problématique de l’alignement automatique des données dans un corpus constitué de discours en français parlé, sous-titrés en français écrit et interprétés en langue des signes française (LSF). Après une introduction précisant le processus bien particulier de l’interprétation en langue des signes, nous dressons un tour d’horizon des ensembles de données existants pour la LSF ainsi que les spécificités du corpus Matignon-LSF, constitué à partir des comptes-rendus vidéos hebdomadaires du conseil des ministres. Nous montrons ensuite sur quelques exemples certains des phénomènes observés sur la problématique de l’alignement temporel entre les sous-titres synchronisés avec l’audio, et la LSF interprétée qui subit un décalage temporel. Nous en concluons que le niveau d’alignement ne peut pas être celui des phrases en français écrit et proposons quelques pistes pour la suite.

## introduction bien que le traitement automatique des langues des signes (ls) soit un domaine en pleine expansion, la grande majorité de ces langues sont encore peu dotées en termes de corpus disponibles pour la recherche. la langue des signes française (lsf) n'y fait pas exception. une source potentielle de données en ls est la télévision @xcite , où le nombre d'émissions interprétées a connu une augmentation significative ces dernières années. cependant, l'accès à ces données n'est généralement pas aisé, soit pour des raisons légales soit à cause de simples considérations techniques. en france, les compte-rendus hebdomadaires du conseil des ministres produisent des vidéos qui sont systématiquement interprétées en lsf (fig. 1 ), en licence ouverte 1 . figure 1 -capture d'écran d'une vidéo montrant un compte-rendu télévisés du conseil des ministres du gouvernement français interprétés en lsf. la principale modalité linguistique des programmes télévisés est la parole. celle-ci peut être soustitrée, soit automatiquement avec toutes les erreurs potentielles que cela comporte, soit dans un studio de sous-titrage en direct avec des contraintes de temps et de format, ou en temps différé @xcite . le discours oral peut également être traduit ou interpreté en ls. dans ce cas, la situation est particulière et diffère selon qu'il s'agit de traduction ou d'interprétation. la traduction consiste à traduire un texte d'une langue source vers la langue maternelle du traducteur. le traducteur dispose de toute la latitude et le temps nécessaire pour faire des recherches et revenir sur son travail. dans le cas d'une traduction vers les ls, celle-ci est le plus souvent réalisée par des traducteurs sourds dont la ls est la langue première. l'interprétation consiste à transposer en simultané (ou presque) un discours oral (parlé ou signé) d'une langue source à une langue cible. il peut s'agir d'une interprétation d'une ls source vers une ls cible et, dans ce cas, les interprètes sont généralement des personnes sourdes dont la ls cible est la langue première. dans le cas de la traduction d'une langue parlée vers une langue signée, il est nécessaire que l'interprète entende l'orateur. par conséquent, à moins que l'interprète ne soit un coda (child of deaf adult c'est-à-dire enfant d'adulte sourd), il/elle n'interprète pas vers sa langue maternelle 2 . il a été noté qu'il existe des différences entre la production des interprètes entendants et celle des interprètes sourds @xcite . d'une manière générale, les personnes qui signent couramment peuvent faire la différence entre un discours interprété et un discours direct, non interprété, ainsi qu'entre un discours signé par un sourd de naissance et un autre signé par un entendant. notons enfin qu'en raison du processus d'interprétation, la langue source peut interférer avec la langue cible. ainsi, le discours interprété peut s'avérer très éloigné de celui qu'aurait directement produit un signeur (dans une version originale), à commencer par le fait que la ls interprétée tend à suivre de près la structure grammaticale de la langue parlée @xcite . cependant, peu de travaux ont été consacrés à la description ou à la quantification de ces différences. cette étude porte sur un jeu de données nommé matignon-lsf 3 , constitué à partir des vidéos des comptes-rendus du conseil des ministres. il s'agit donc de discours en lsf interprétée, comportant tous les biais notés plus haut. cependant il peut constituer une source de données très intéressante pour la recherche en linguistique sur l'étude du discours interprété en lsf, mais aussi pour le traitement automatique des ls. il présente également l'avantage d'être en données ouvertes. il s'agit cependant de données langagières de nature très différentes qui, de plus, ne sont pas synchronisées a priori. la question abordée dans cet article concerne le problème, spécifique à ce type de corpus, de l'alignement temporel entre les données de langue parlée et de langue signée. petite taille (moins de 4 heures). les corpus plus conséquents comme creagest @xcite ne sont que partiellement annotés. le corpus dictasign-lsf-v2, contenant 8 heures de dialogues @xcite ) partiellement annotés, s'avère pertinent pour la reconnaissance de signes en contexte, que ce soient des signes lexicaux @xcite ou des structures linguistiques @xcite . pour pallier le manque de données, deux corpus en lsf ont récemment été rendus disponibles : mediapi-skel @xcite et mediapi-rgb @xcite . ce dernier est constitué de vidéos issues du media bilingue médiapi 5 produites en lsf par des journalistes et des présentateurs sourds et accompagnées de sous-titres en français. ces corpus ont été préparés pour l'analyse automatique : les sous-titres sont alignés avec les vidéos en lsf, la traduction en français ayant été produite à partir des vidéos en lsf et non l'inverse. en raison du modèle économique de ce média, seules 86h de vidéos correspondant à des contenus dits « froids »sont mises à disposition. le jeu de données matignon-lsf a été constitué dans l'objectif de collecter un ensemble de données de lsf qui soit à la fois large et ouvert. il est décrit synthétiquement dans les sections suivantes. ## présentation succinte du corpus matignon-lsf les conseils des ministres 6 du gouvernement français ont lieu une fois par semaine à l'elysée. ils sont suivis par un compte-rendu prononcé par le porte-parole du gouvernement qui est filmé, sous-titré et, depuis juillet 2020, interprété en lsf. le jeu de données matignon-lsf est basé sur les interprétations et sous-titres en lsf de ces compte-rendus. % il n'est pas possible d'obtenir d'informations sur le processus de travail des interprètes, tenus au secret. toutefois, nous supposons qu'ils disposent de certains éléments pour préparer leur interprétation. à ce jour, le corpus comprend 67 vidéos. la figure 2 montre les 20 noms les plus fréquents de l'ensemble de données, révèlent ainsi un discours centré sur la politique française (cinq premiers mots : ministre, question, mesure, français et président). les sous-titres (en français écrit) de l'ensemble de données sont composés d'un total de 447k tokens 7 pour un vocabulaire de 10k. à partir des sous-titres, 18k phrases ont été extraites, comme décrit dans la section 4. matignon-lsf comprend 15 interprètes. les caractéristiques du jeu de données sont résumées dans le tableau 3. à ce jour, le corpus matignon-lsf se situe entre mediapi-skel et mediapi-rgb en termes de taille. 4 collecte et traitement des données chaque semaine, le compte-rendu du conseil des ministre est filmé et déposé sur youtube 8 et/ou dailymotion 9 et accompagné d'un ensemble correspondant de sous-titres écrits en français alignés sur l'audio. les vidéos originales ont une résolution de 1080 px et une fréquence d'acquisition de 30 fps. les différents processus conçus pour automatiser la collecte et la mise en forme des vidéos et des sous-titres sont documentés dans un dépôt github organisé comme une boîte à outils pour permettre la reproduction et l'expansion du corpus, car de nouveaux communiqués de presse ont lieu une fois par semaine. nous présentons ces processus succinctement. vidéos. les vidéos sont recadrées de manière à ne conserver que l'encadré contenant l'interprète, normalisé aux dimensions 494×494 px. ces vidéos en lsf sont accompagnées de l'audio et des sous-titres français associés. prétraitements des vidéos. certaines méthodes (tarrés et al., 2023; renz et al., 2021) s'appuient sur des représentations denses générées par apprentissage, tel que le modèle i3d (carreira & zisserman, 2017) pour représenter les données vidéos. c'est cette dernière architecture qui a été retenue pour extraire des caractéristiques des vidéos, plus précisément le modèle spécialisé fourni par varol et al. (2021) et entrainé sur un corpus de ls britannique (bsl). prétraitement des sous-titres. les sous-titres étant limités en longueur pour des raisons d'affichage, ils ne forment pas nécessairement des phrases. cependant, les tâches de traduction opèrent 8. https ://www.youtube.com/@elysee 9. https ://www.dailymotion.com/gouvernementfr #vidéos 67 #sous-titres 51131 #phrases 18000 #mots français 10000 #signeurs 15 #porte-paroles 3* résolution des vidéos (px) 494 × 494 fréquence d'acquisition (fps) 30 souvent au niveau de la phrase. c'est pourquoi une segmentation au niveau de la phrase a été produite à partir des sous-titres, en se basant sur l'approche de @xcite . cela nous permet également d'avoir des données comparables au corpus bobsl pour nos expériences sur l'alignement 6. la disparité de la durée des sous-titres entre les sous-titres originaux et les sous-titres segmentés en phrases est illustrée dans les figures 4. la durée moyenne passe ainsi de 2,56 à 7,33 secondes. le corpus matignon-lsf est destiné à la recherche en traitement automatique des langues des signes, en particulier à la traduction. ce type de tâche nécessite des prétraitements de segmentation des sous-titres et des vidéos et la mise en correspondance temporelle de ces segments afin d'obtenir des données bilingues alignées. les segments peuvent correspondre à des signes (unités lexicales par exemples), à des portions d'énoncés, ou à des discours complets. cependant, produire un tel alignement à partir d'un ensemble de données en ls interprétées est un véritable défi. en effet, les sous-titres sont alignés sur l'audio (la parole), alors que l'interprétation en ls est effectuée avec une latence qui varie dans le temps, mais aussi d'un/une interprète à l'autre. ainsi l'utilisation de ce type de corpus vient avec de nouvelles questions de recherche sur l'alignement entre données de parole, sous forme audio ou textuelles et données de ls, sous forme de vidéo. c'est sur cette problématique que porte notre étude. nous présentons ici nos premières observations et expérimentations sur ce sujet. les exemples présentés dans cette section sont extraits d'une même vidéo 10 et sont signés par la même interprète, mais les observations relevées ici s'appliquent à l'ensemble de données. dans cette étude nous avons sélectionné quelques phrases dans les sous-titres et observé les positionnements temporels des segments correspondants aux vidéos associées. la figure 5 illustre le phénomène de décalage temporel, avec un premier exemple composé de deux phrases consécutives : « un cap pour contrôler l'épidémie (en vert). », « un cap pour relancer notre pays (en gris). ». le segment temporel correspondant à l'affichage des sous-titres dans la vidéo est noté sous-titres. le segment temporel correspondant à la lsf interprétée correspondante, repéré manuellement par un expert, est noté lsf interprétée. on observe d'une part, un décalage temporel des débuts de segment de 3.6 secondes et d'autre part, que la durée des deux énoncés signées (4,64 secondes) est plus longue que celle des deux énoncés parlées (3,9 secondes). par conséquent, nous pouvons déjà noter qu'un simple décalage du segment des sous-titres de manière à aligner son début avec celui de la lsf interprétée n'est pas suffisant car la fin des segments n'est pas alignée : segment décalage automatique dans la figure. ## expérience d'alignement automatique la tâche d'alignement consiste à trouver pour un segment dans une langue source un segment de sens équivalent dans la langue cible. elle se distingue des tâches de reconnaissance de signes en continu et 10. id : 0ivilqfmgiy de localisation temporelle de séquences de signes comme expliqué dans @xcite . entre autres, la reconnaissance de signes continus présuppose que les contenus sont déjà segmentés, et la localisation temporelle de signes ne se fait pas à l'échelle d'une unité de sous-titre. dans notre cas, nous cherchons à aligner des segments de texte (les sous-titres) avec des segments de vidéos (la lsf interprétée). les sous-titres sont segmentés en « unités de sous-titres »à partir desquels nous pouvons facilement reconstituer des phrases. par contre, la vidéo n'est pas segmentée, ce qui rend ce travail particulièrement complexe. c'est une tâche très peu explorée en ls, et à notre connaissance une seule étude, appliquée à la ls britannique (bsl), a été menée sur ce sujet @xcite . récemment reprise en modifiant le pré-traitement des données textuelles et en intégrant une perte d'alignement négative dans @xcite , cette approche a été étendue avec une stratégie de d'entraînement auto-supervisé pour l'alignement. ces deux méthodes ont d'abord été pré-entraînées sur des tâches de sign spotting, ce qui suggère l'existence de données annotées. nous avons mené des expériences d'alignement automatique sur matignon-lsf en partant du modèle de @xcite . ce modèle combine des transformers (pour la mise en correspondance des segments de ls avec les sous-titres associés) avec du dynamic time wrapping pour l'alignement long-terme à proprement parler. la limite principale est de nécessiter un a priori sur le décalage moyen entre la vidéo et le texte. c'est cependant un bon point de départ pour faire une base de référence pour la lsf. nous avons cherché à ajuster le modèle d'origine en utilisant le corpus bilingue lsf/français mediapi-rgb @xcite . étant donné que mediapi-rgb est parfaitement aligné, nous avons forcé le désalignement, en introduisant du bruit dans les repères temporels (timecodes) des sous-titres (entre 0 et 3,5 secondes). cela nous a permis d'avoir un corpus avec une vérité terrain pour l'ajuster. à ce jour, cette méthode ne nous a pas permis d'améliorer les performances par rapport à ce que nous obtenions sans ajustage, performances qui n'étaient pas elles-mêmes pas encore suffisamment satisfaisantes pour justifier une évaluation quantitative utile. cependant, afin d'illustrer de manière qualitative les résultats, nous montrons sur deux autres exemples extraits du même discours les segments temporels obtenus en appliquant un décalage systématique du début du segment des sous-titres de 3,5s et un alignement calculé automatiquement. dans la figure 6 7 discussion nous avons observé empiriquement qu'un décalage manuel de 3,5 secondes pouvait parfois suffire à aligner le début des segments temporels des sous-titres et de la lsf. cependant, comme on peut le voir dans l'exemple 3 (figure 6), ce n'est pas toujours le cas. les personnes politiques ont tendance à formuler des énoncés longs et complexes. dans le corpus matignon-lsf, un énoncé peut durer jusqu'à 50 secondes. en français, les énoncés peuvent commencer par des mots qui n'apportent aucune information. même lorsqu'ils sont prêts, les interprètes doivent attendre pour obtenir suffisament d'éléments d'information avant de commencer l'interprétation. parfois, ces longs énoncés sont redondants. dans ce contexte, pour éviter de répéter deux fois la même information, les interprètes peuvent fusionner trois énoncés parlés en deux énoncés en ls. cette situation peut créer une perturbation dans l'alignement, puisque nous ne pouvons pas trouver la paire correspondante pour chacun des trois énoncés parlés. par exemple, toujours dans la même vidéo, nous avons cet énoncé dans les premières secondes : « hier, le président de la république a pris la parole devant les français. il a donné un cap, un cap qu'il nous a répété ce matin en conseil des ministres. un cap franc et clair. », qui se traduit en langue des signes par quelque chose comme « hier, le président de la république a annoncé un cap clair. ce matin, en conseil des ministres, pareil, un cap clair ». ce type de stratégie permet de raccourcir le délai d'interprétation. par conséquent, les interprètes ne sont pas systématiquement en retard, et peuvent s'approcher d'une interprétation en temps-réel lorsqu'il y a des redondances dans le discours. c'est également le cas dans d'autres situations, par exemple lorsque des données, du texte ou des informations sont affichés devant eux, ou lorsqu'ils peuvent préparer le discours avant la présentation. c'est le cas dans l'ensemble de données bobsl : les données doivent être informatives et compréhensibles pour le public, le contenu du discours est écrit avant le début du journal télévisé. dans ce scénario, les interprètes peuvent s'en servir comme support. ils savent quand une idée se termine, et peuvent anticiper le contenu de la phrase. au travers de ces exemples, nous avons illustré quelques-uns des principaux défis de l'alignement entre la parole et la lsf interprétée. les décalages temporels entre les deux langues sont variables et la durée d'énoncés de contenu équivalents varie aussi entre les deux langues. faire des paires d'énoncés lsf/français ne peut pas être systématique car il n'y a pas toujours de correspondance. selon le contexte, le français peut être plus rapide, mais la lsf interprétée peut aussi simplifier des énoncés, fusionner plusieurs énoncés pour n'en faire qu'un seul. enfin, le besoin de rappeler ou préciser le contexte dépend de la langue utilisée, des besoins de repréciser le contexte en fonction des contraintes linguistiques et apporte une complexité supplémentaire à l'alignement entre français et lsf. la traduction automatique impliquant des ls a jusqu'alors été considérée comme une tâche au niveau de la phrase : les contenus vidéos sont découpés et présentés au modèle sous forme de clips isolés associés à des sous-titres. une étude récente (tanzer et al., 2024) a montré que ce niveau de granularité n'était pas adéquat du fait de dépendances linguistiques à longue portée, qui rendent une grande proportion de ces clips incompréhensibles s'ils sont considérés isolément. nous pouvons par exemple citer l'utilisation du pointage en ls qui permet de représenter de manière spatiale des entités spécifiées plus tôt dans le discours et placées dans l'espace de signation afin de pouvoir y faire référence plus tard. la présence d'un pointage dans un clip vidéo nécessite d'avoir une connaissance de la manière dont l'espace de signation a été structuré précédemment. cela pourrait expliquer au moins en partie le fait que beaucoup d'informations contextuelles sont présentes dans les énoncés interprétés en lsf dans notre corpus, ce qui a pour effet d'allonger la durée des segments. nous en concluons que le niveau d'alignement ne peut pas être celui des phrases en français écrit. une piste pourrait être de s'intéresser d'abord au niveau lexical, puis tenter de repérer des structures de plus haut niveau. cela nécessite en premier lieu d'annoter le corpus matignon-lsf, une tâche sur laquelle nous travaillons actuellement. pour cela, nous nous basons sur l'approche proposée par @xcite . cette méthode comprend plusieurs étapes. la première consiste à construire un lexique bilingue (incluant les variantes potentielles d'une unité lexicale donnée) de manière faiblement supervisée. le lexique ainsi obtenu est ensuite contrôlé par des experts en lsf, afin en particulier de vérifier la qualité de la segmentation et de supprimer toutes les occurrences mal identifiées ou mal segmentées. ces données servent ensuite à entraîner un classifieur supervisé pour l'annotation automatique des unités lexicales. ## conclusion dans cet article, nous avons présenté matignon-lsf ainsi que les études que nous menons dessus concernant l'alignement entre les sous-titres et la lsf. en effet, matignon-lsf est un corpus de lsf interprétée, ce qui induit un décalage temporel entre les deux langues. nous soulignons la complexité d'aligner les sous-titres (issus de la parole) avec les segments vidéos correspondants en ls interprétée. en ce qui concerne l'alignement automatique, nous avons testé deux approches qui ne donnent pas encore de résultats probants. les travaux futurs devraient se concentrer sur la conception d'algorithmes permettant l'alignement à différents niveau de granularité, d'abord au niveau lexical, puis à des niveaux plus hauts.