PROPICTO : Développer des systèmes de traduction de la parole vers des séquences de pictogrammes pour améliorer l’accessibilité de la communication (2023)

Abstract: PROPICTO est un projet financé par l’Agence nationale de la recherche française et le Fonds national suisse de la recherche scientifique, qui vise à créer des systèmes de traduction de la parole en pictogramme avec le français comme langue d’entrée. En développant de telles technologies, nous avons l’intention d’améliorer l’accès à la communication pour les patients non francophones et les personnes souffrant de troubles cognitifs.

## introduction les dispositifs de communication alternative et augmentée (caa) jouent un rôle de plus en plus important auprès des personnes en situatio nde handicape et de leurs proches. cependant, l'utilisation de ces technologies (i.e., tableaux de communication ou médias électroniques) peut être fastidieuse (vaschalde et al., 2018). pour surmonter ce problème, nous partons de l'hypothèse que les systèmes de traduction de la parole vers des pictogrammes (s2p) peuvent être utiles aux utilisateurs de caa. en outre, nous pensons qu'ils peuvent améliorer l'accessibilité des services de santé pour les patients qui ne parlent pas la langue locale. le développement de tels outils nécessite des recherches approfondies dans plusieurs domaines du traitement de la langue et de la parole (talp). nous présentons ici un projet de recherche visant à créer des systèmes qui traduisent automatiquement le français parlé en pictogrammes. lancé début 2021, propicto 1 (l'acronyme signifie projection de la parole vers des pictogrammes) est un projet franco-suisse de quatre ans, financé à la fois par l'agence nationale de la recherche française 2 et par le fonds national suisse de la recherche scientifique. @xcite il est mené en collaboration entre le département de technologie de la traduction de l'université de genève et le groupe d'étude pour la traduction automatique et le traitement automatisé des langues et de la parole, une équipe du laboratoire d'informatique de grenoble. dans le cadre de ce projet, nous examinerons plusieurs domaines liés au talp, à savoir la reconnaissance vocale, l'analyse syntaxique, la simplification des phrases et la génération de pictogrammes. en intégrant cette série de tâches dans différents flux de travail (en fonction du scénario cible), nous proposons de nouveaux systèmes de traduction automatique multimodaux qui convertissent le langage parlé en unités pictographiques. en utilisant cette approche, nous avons l'intention de répondre aux besoins sociétaux et de communication dans les milieux suivants : (1) handicap, où un individu cherche à communiquer avec une personne souffrant d'un trouble cognitif, et (2) médicaux, où une barrière linguistique existe entre le patient et le praticien. pour mieux les aborder, nous adopterons une approche en cascade pour notre flux de travail de traitement s2p, qui sera adapté en fonction de l'objectif visé. ainsi, une première approche privilégiera une stratégie basée sur les concepts pour traiter la génération de pictogrammes et sera intégrée dans une architecture s2p à vocation médicale, @xcite composée d'un système de reconnaissance automatique de la parole (asr) et d'un module neuronal de conversion texte-umls 6 qui définira les pictogrammes à produire et la syntaxe. une autre stratégie de génération de pictogrammes reposera sur une approche basée sur les mots et sera précédée des étapes suivantes (comme le montre la figure 1) : asr, analyse des dépendances et simplification des phrases. l'utilisation d'une approche en cascade est motivée par l'avantage attendu d'une phase par rapport à la suivante. en outre, elle permet d'assurer une meilleure explicabilité du modèle. notre deuxième proposition d'architecture multimodale partira d'un module asr, s'appuyant sur des modèles wav2vec2.0 à la pointe de la technologie. la tâche d'analyse en dépendance sera traitée avec un analyseur syntaxique de bout en bout dont l'entrée est le signal brut d'un énoncé donné. l'utilisation du signal brut au lieu des transcriptions nous permet d'utiliser l'information prosodique pour mieux prédire les frontières syntaxiques (pupier et al., 2022). l'extraction d'une représentation syntaxique peut à son tour fournir des informations clés pour une simplification plus efficace au niveau de la phrase. la réduction de la complexité linguistique de la transcription d'entrée devrait faciliter l'étape suivante, au cours de laquelle la traduction en pictogrammes sera également régie par des règles de grammaire expertes 7 . figure 1 -vue d'ensemble de l'architecture en cascade parole vers pictogrammes utilisant une approche basée sur les mots. 3 contributions propicto mettra à la disposition de la communauté scientifique des méthodes et des ressources permettant une traduction du français parlé vers des pictogrammes. les licences seront aussi permissives que possible et conformes à celles des ensembles pictographiques utilisés. en outre, plusieurs prototypes destinés à différents publics cibles seront mis en production à la fin du projet : (1) dans les situations d'urgence aux hôpitaux universitaires de genève, une démonstration est disponible sur : https://propicto.demos.unige.ch/pictodrclient/translate/ et (2) dans des institutions pour enfants et adultes souffrant de handicaps multiples. ils seront testés en conditions réelles et évalués à l'aide de méthodes humaines et automatiques. références mutal j., bouillon p., norré m., gerlach j. & ormaechea grijalba l. (2022). 7. expressions multi-mot, temps des verbes, noms propres a neural machine translation approach to translate text to pictographs in a medical speech translation system -the babeldr use case. in proc. association for machine translation in the americas, p. 252-263. pupier a., coavoux m., lecouteux b. & goulian j. (2022). end-to-end dependency parsing of spoken french. in proc. interspeech 2022, p. 1816-1820. doi : 10.21437/interspeech.2022-381. vaschalde c., trial p., esperança-rodier e., schwab d. & lecouteux b. (2018). automatic pictogram generation from speech to help the implementation of a mediated communication. in proc. swiss centre for barrier-free communication 2018, p. 97-101.