Une chaîne de traitements pour la simplification automatique de la parole et sa traduction automatique vers des pictogrammes (Simplification and automatic translation of speech into pictograms ) (2022)

Abstract: La Communication Alternative et Augmentée (CAA) prend une place importante chez les personnes en situation de handicap ainsi que leurs proches à cause de la difficulté de son utilisation. Pour réduire ce poids, l’utilisation d’outils de traduction de la parole en pictogrammes est pertinente. De plus, ils peuvent être d’une grande aide pour l’accessibilité communicative dans le milieu hospitalier. Dans cet article, nous présentons un projet de recherche visant à développer un système de traduction de la parole vers des pictogrammes. Il met en jeu une chaîne de traitement comportant plusieurs axes relevant du traitement automatique des langues et de la parole, tels que la reconnaissance automatique de la parole, l’analyse syntaxique, la simplification de texte et la traduction automatique vers les pictogrammes. Nous présentons les difficultés liées à chacun de ces axes ainsi que, pour certains, les pistes de résolution.

## introduction le projet propicto (projection du langage oral vers des unités pictographiques) vise à développer un axe de recherche autour de la communication alternative et augmentée, en se focalisant sur la transcription automatique de la parole française sous forme pictographique. il répond ainsi à de nombreux besoins sociétaux dans les domaines du médical (communiquer avec des patients qui n'ont pas la même langue que le praticien) et handicap (communiquer avec des personnes ayant des problèmes cognitifs). il répond également aux exigences légales adoptées en france relatives au handicap et à l'inclusion (loi du 2 janvier 2002, renforcée par la loi du 11 février 2005). le projet propicto relève de nombreux défis de recherche autour du taln. sa finalité est de proposer des méthodes et des corpus permettant de transcrire directement la parole vers une suite de pictogrammes libres (arasaac) ou spécialement créés pour les besoins (médical, familial, etc.). le projet devra faire face à deux problèmes : la faible quantité de données qui est un frein à la mise en oeuvre des techniques état de l'art à base d'apprentissage automatique et la nécessité d'évaluer les méthodes avec des groupes cibles diversifiés. le projet propicto mettra à disposition de la communauté scientifique l'ensemble des ressources développées : corpus audio associé à sa traduction en pictogrammes, base de données liant les pictogrammes et leur signification sémantique, systèmes de reconnaissance automatique de la parole (rap), système de simplification pour le falc, système de traduction automatique (ta) parole/pictogramme et métriques d'évaluation humaine ou automatique de la traduction parole/pictogramme. des prototypes destinés à des publics cibles différents, seront proposés : nous présentons dans cet article les principaux axes actuellement développés autour du projet propicto : la section 2 présente la problématique de la traduction automatique de la parole vers des pictogrammes. nous présentons ensuite dans la section 3 son application au milieu médical, puis nous détaillons un élément essentiel à ce projet dans la section 4 : l'analyse syntaxique de la parole spontanée. nous tenons à préciser le caractère préliminaire / prospectif de ces axes de recherche. dans ce premier axe de recherche, la traduction automatique (ta) de la parole vers des pictogrammes, l'objectif est de permettre aux aidants de transformer un message audio en une séquence de pictogrammes. les aidants englobent le personnel médical (se référer à la section 3), les familles, et toute personne échangeant avec des individus afin de faire comprendre un message clair et précis aux utilisateurs de caa. un premier outil de génération de pictogrammes à partir de la parole spontanée a été proposé dans @xcite . cette première étude est le point de départ de ce travail de recherche. nous pouvons découper cet axe en trois parties, formant un système général présenté dans la figure 1 ci-dessous. figure 1 -schéma général du système proposé pour la traduction automatique de la parole vers des pictogrammes. ## analyse syntaxique du français parlé un des axes de recherche important de ce projet est l'analyse syntaxique de l'oral en français. il existe deux façons classiques pour la réaliser : l'analyse en constituants et l'analyse en dépendances. dans cette section, nous allons parler plus particulièrement de l'analyse en dépendances. cette dernière consiste à prédire un arbre pour lequel chaque mot est relié à son gouverneur par une relation typée (sujet, objet, . . .). ce cadre d'analyse est très étudié sur le texte écrit, notamment grâce à "universal dependencies" @xcite ainsi que la conférence conll et les nombreuses campagnes d'évaluation (shared task) qu'elle a proposé par le passé. cependant, les recherches sur l'analyse syntaxique de la parole sont généralement réalisées sur des transcriptions avec l'ajout de la modalité audio @xcite . pour ce projet, nous voulons réaliser cette analyse directement à partir de l'oral sans l'utilisation de transcriptions intermédiaires. utiliser des transcriptions pose certains problèmes, particulièrement à cause de la propagation d'erreur qu'elle entraîne. si le module de reconnaissance automatique de la parole fait une erreur, elle va se propager dans le reste du système via les transcriptions. faire l'analyse syntaxique directement via l'audio permet d'y pallier. de plus, l'accès à la modalité audio permet à l'analyseur syntaxique d'utiliser des informations (telles que la prosodie) qui ne sont pas accessibles via une transcription. nous faisons l'hypothèse que ces informations sont cruciales pour un analyseur du français parlé. le fait de travailler directement avec la modalité audio entraîne des difficultés inédites par rapport à l'écrit. nous devons effectuer cette analyse de manière jointe avec la rap. cela implique donc que nous devons soit utiliser une approche en cascade (pipeline) où l'on effectue d'abord la rap puis l'analyse syntaxique. ou bien, on peut créer un système de bout-en-bout (end-to-end) pour exploiter les informations présentes dans le signal audio tel que la prosodie ou la présence de pause. dans ce cadre, l'approche en cascade est notre étalon et l'approche bout-en-bout est celle que nous étudions. dans la suite de cette section, nous présentons une architecture préliminaire bout-en-bout ainsi que les nouveaux problèmes que cela pose. l'étude étant encore en cours de réalisation, les résultats ne seront pas présentés dans cet article.