Preuve de concept d’un système de génération automatique en Langue française Parlée Complétée (2024)

Abstract: La Langue française Parlée Complétée (LfPC) est un système de communication développé pour les personnes sourdes afin de compléter la lecture labiale avec une main, au niveau phonétique. Il est utilisé par les enfants pour acquérir des compétences en lecture, en lecture labiale et en communication orale. L’objectif principal est de permettre aux enfants sourds de devenir des lecteurs et des locuteurs compétents en langue française. Nous proposons une preuve de concept (PoC) d’un système de réalité augmentée qui place automatiquement la représentation d’une main codeuse sur la vidéo pré-enregistrée d’un locuteur. Le PoC prédit la forme et la position de la main, le moment durant lequel elle doit être affichée, et ses coordonnées relativement au visage dans la vidéo. Des photos de mains sont ensuite juxtaposées à la vidéo. Des vidéos annotées automatiquement par le PoC ont été montrées à des personnes sourdes qui l’ont accueilli et évalué favorablement.

## introduction lorsque la lsf n'est pas utilisée, la lecture labiale est l'une des principales modalités visuelles qui permet l'accès à la parole pour les personnes sourdes ou malentendantes. elle est utilisée en conjonction avec d'autres stratégies de communication, comme les aides auditives, et/ou des solutions visuelles. parmi ces dernières, en 1966, r. orin cornett a inventé le « cued speech » (cs), un codage qui ajoute des informations visuelles sur les sons qui ne sont pas différentiables sur les lèvres @xcite . ce codage cs représente chaque son avec une forme de main pour une consonne et une position autour du visage pour une voyelle. leur combinaison forme une clé. lorsque les sons se ressemblent sur les lèvres, ils sont codés différemment ; la combinaison entre forme labiale et clé implique un percept unique de ce qui est prononcé. par exemple, "bi" et "mi" qui sont identiques sur les lèvres sont codés avec deux formes différentes de la main. le cs est souvent utilisé dans les milieux éducatifs, en particulier pour les jeunes enfants ayant une déficience auditive, car il leur donne accès à la langue orale via l'information phonémique qu'ils pourraient manquer par des moyens auditifs traditionnels. l'objectif majeur du cs est ainsi de faire en sorte que les enfants sourds puissent accéder plus facilement à la communication orale. l'efficacité de ce codage pour améliorer la perception et la production de la parole a été démontrée dans un grand nombre d'études, notamment @xcite @xcite . l'automatisation du « cued speech », c-à-d l'utilisation d'un système automatisé pour coder et/ou décoder les sons, concerne essentiellement deux domaines : la synthèse -codage, dont cet article fait l'objet, et la reconnaissance -décodage. avec un système de codage automatique, toutes sortes de vidéos codées pourraient être élaborées et diffusées pour tous les types d'utilisations. disposer d'outils permettant de s'entraîner à la pratique du code constituerait un bénéfice important pour les parents d'enfants sourds, ainsi que pour les centres d'éducation spécialisée, par exemple. cela permettrait entre autres de réduire les inégalités d'accès à la lfpc sur le territoire, d'apporter une aide à l'acquisition de la langue orale par les enfants sourds, d'améliorer la communication entre les personnes sourdes ou malentendantes et les membres de leur famille entendants, ou d'aider à développer des compétences de lecture labiale. dans ce domaine, le premier système autocuer avait été proposé par l'inventeur du codage @xcite . par la suite, dans les années 1995-2000, plusieurs recherches ont été conduites au massachusetts institute of technology (mit) pour automatiser le codage @xcite @xcite . ces travaux ont consisté à vérifier la faisabilité d'automatiser la génération des clés, c'est-à-dire à déterminer la séquence de clés qui doit être produite puis générer une vidéo augmentée d'une main codeuse. un locuteur était filmé pendant qu'il parlait, sans coder. un système de reconnaissance automatique de la parole permettait d'obtenir la séquence des phonèmes à partir desquels le système déterminait les clés à incruster dans la vidéo. dans une autre pièce, se trouvait une personne qui devait décoder la vidéo ainsi générée en temps réel. dans les versions successives de ce système, les mains étaient représentées par des cliparts. les différentes évaluations ont toujours montré a minima un petit avantage du décodage avec ajout de l'image de la main codeuse par rapport à la lecture labiale seule. malgré les nombreux travaux démontrant ses avantages, et l'intérêt grandissant qu'il suscite, il n'existe aucun système de génération automatique des clés. les études récentes relatives à l'automatisation du cs se concentrent, en effet, sur la reconnaissance @xcite . en outre, il n'existe que très peu d'études qui décrivent le fonctionnement du codage, notamment en ce qui concerne l'organisation temporelle et spatiale du code dans sa co-production avec la parole @xcite . ## méthodologie proposée la figure 1 illustre le processus que nous proposons pour implémenter un système de codage automatisé, c-à-d un système qui permettra d'ajouter une main codeuse artificielle à la vidéo d'un locuteur. en amont, l'utilisateur doit préparer un enregistrement audio-vidéo et sa transcription orthographique, alignée dans des unités courtes, telles que les unités inter-pausales (ipus). le système utilise le logiciel libre sppas @xcite pour obtenir les annotations audio-vidéo requises en entrée. pour chaque ipu, sppas détermine 1/ la séquence des phonèmes et leur alignement temporel avec l'audio, 2/ les coordonnées de 68 points spécifiques du visage du locuteur dans chacune des images de la vidéo. a partir de ces informations, l'objectif est de produire des annotations qui permettront d'augmenter la vidéo automatiquement avec la main codeuse. text normalization tokens lang .vocab phonetization lang .dict phones alignment modelslang cued speech: what/when/where faces person face identity faces video video identity face landmark facemarks landmarks phonalign tokensalign keys positions/shapes coordinates coded video cueconfiglang legend: model or data file annotation hand tagger prepared by user processed by sppas proposed poc pictures of hands pour ce faire, nous avons d'ores et déjà collecté un corpus, le corpus de lecture en lfpc (clelfpc) accessible sous licence libre @xcite . il se compose de 4 heures d'enregistrements audiovidéo, de 23 locuteurs codant en lfpc. son enrichissement avec des annotations permettra les analyses requises pour la création de modèles de synchronisation audio-main basés sur des apprentissages supervisés, en répondant à quatre sous-problématiques que nous avons définies, et qui déterminent : parallèlement à la création du corpus, nous avons donc élaboré une preuve de concept (poc), qui est une phase déterminante pour décider si le système peut et doit être implémenté. la création des annotations du corpus, leur analyse et, d'une manière générale, l'ensemble des recherches liées à la mise en oeuvre des modèles et du système sont conditionnés par l'approbation du poc. il se compose de quatre modules, chacun impliquant de répondre à des problématiques spécifiques, afin de déterminer la séquence de clés à produire à partir d'un signal d'entrée audio vidéo (lecture à haute voix) et de sa transcription orthographique, l'organisation temporelle entre la main et les phonèmes, le positionnement de la main par rapport au visage, et enfin le marquage de la vidéo avec la main. ## description de la preuve de concept la preuve de concept est un système qui produit automatiquement des fichiers xml contenant les informations relatives au codage en lfpc. ces fichiers contiennent les annotations indiquant quelles sont les formes et positions de la main qu'il faut intégrer, à quel moment et où il faut les placer dans la vidéo. d'autre part, le poc crée un fichier vidéo augmenté avec la représentation de la main codeuse. en entrée, le poc nécessite de connaître la séquence des phonèmes prononcés et leur position temporelle par rapport à l'audio, ainsi que les coordonnées du visage du locuteur pour chacune des images de la vidéo, comme indiqué dans la figure 1.