V oice2 P icto : un système de traduction automatique de la parole vers des pictogrammes (2023)

Abstract: Nous présentons Voice2Picto, un système de traduction permettant, à partir de l’oral, de proposer une séquence de pictogrammes correspondants. S’appuyant sur des technologies du traitement automatique du langage naturel, l’outil a deux objectifs : améliorer l’accès à la communication pour (1) les personnes allophones dans un contexte d’urgence médicale, et (2) pour les personnes avec des difficultés de parole. Il permettra aux personnes des services hospitaliers, et aux familles de véhiculer un message en pictogrammes facilement compréhensible auprès de personnes ne pouvant communiquer via les canaux traditionnels de communication (parole, gestes, langue des signes). Dans cet article, nous décrivons l’architecture du système de Voice2Picto et les pistes futures. L’application est en open-source via un dépôt Git : https://github.com/macairececile/Voice2Picto.

## introduction lorsqu'une personne ne peut utiliser les canaux traditionnels de communication (parole, gestes, langue des signes) pour exprimer un message, une communication alternative et augmentée (caa) peut être mise en place. on retrouve dans la caa, l'utilisation de pictogrammes, image représentant un concept plus ou moins concret (un mot unique, une entité nommée, une expression polylexicale par exemple 1 ). actuellement, la prise en main d'outils de caa (par exemple, des classeurs de communication sous forme de pictogrammes) est longue et difficile @xcite . en effet, un temps d'adaptation et d'apprentissage du fonctionnement de chaque outil est nécessaire. de plus, un manque de soutien institutionnel est présent, entre des équipes médicales non formées, et des lenteurs administratives pour leur mise en place (on parle ici des instituts médicalisés). pourtant, l'utilisation de la caa a un impact social positif pour les personnes en situation de handicap. la croix-rouge a identifié une réduction du stress, une amélioration de l'autonomie et de l'état de santé, ainsi qu'une meilleure sérénité et plaisir des personnes dans leur vie quotidienne (croix-rouge, 2021). l'accès à la communication par tous et pour tous reste donc un défi majeur. proposer une séquence de pictogrammes à partir de la voix permettra aux personnes des services hospitaliers, et aux familles sans connaissances préalables de véhiculer un message en pictogrammes facilement compréhensible par les utilisateurs de caa. ## présentation du système voice2picto est un système cascade de traduction automatique de la parole vers des pictogrammes combinant différents domaines du traitement automatique du langage naturel. l'utilisation d'une telle architecture permet d'améliorer l'explicabilité du modèle, car nous pouvons évaluer les capacités et donc l'impact positif ou négatif d'une phase sur la suivante. son architecture globale est présentée figure 1 et s'articule entre quatre modules. le premier module est un système de reconnaissance automatique de la parole (rap), basé sur une boîte à outils de reconnaissance vocale vosk 2 . l'api permet une réponse presque instantanée grâce à l'utilisation de modèles optimisés, améliorant ainsi les performances de l'application. le modèle appelé a été entraîné avec la boîte à outils kaldi @xcite et obtient 23.95% de taux d'erreurs au niveau des mots sur commonvoice (ardila et al., 2020). à partir de la transcription définie par le module de rap, un modèle neuronal de désambiguïsation lexicale sur les noms est appliqué, proposé dans @xcite . récupérer le sens le plus probable a son importance. certains termes n'ont pas la même signification compte tenu du contexte (par exemple, café peut désigner la graine, la boisson ou le lieu de consommation). le système neuronal comporte, en entrée, des couches d'encodeur de type transformers et utilisent les vecteurs de mots contextuels pré-entrainés de type bert @xcite . l'architecture se compose d'une couche de décodage correspondant à un classificateur softmax capable de classer un mot dans l'ensemble des synsets possibles de wordnet @xcite . le sens wordnet le plus probable est alors prédit. dans voice2picto, le modèle utilisé a été entrainé sur deux corpus semcor et wngt adaptés au français @xcite . le score f1 sur le corpus d'évaluation semeval 2013 est de 51.28%. un module de traitements linguistiques vient compléter ces deux modules. l'objectif ici est de "nettoyer" le texte, pour ensuite identifier les pictogrammes associés à chaque terme. ainsi, une traduction pertinente sera proposée. une phase de tokenisation, de lemmatisation, et d'étiquetage morphosyntaxique est appliquée en premier (à l'aide de la librairie spacy foot_0 ). puis, les expressions multi-mots et les entités nommées sont recherchées. une table d'alignement entre lemmes, sens wordnet et identifiants arasaac permet de récupérer l'identifiant associé à chaque lemme ou au sens wordnet dans le cas d'un nom. enfin, chaque image est récupérée dans la banque d'arasaac grâce à l'identifiant, puis affichée. l'interface de l'application est présentée figure 2 . elle se veut simple d'utilisation, rapide et ergonomique. les utilisations possibles sont nombreuses, voire infinies puisqu'elles peuvent rentrer dans de nombreuses situations de la vie quotidienne, telles que communiquer un besoin, une envie, une émotion, raconter une histoire ou poser une question à une personne. ## conclusion & perspectives voice2picto facilite l'accès à la communication à l'aide de pictogrammes pour un public qui ne connaît pas ou n'utilise pas ce type de support. les familles et les professionnels de la santé peuvent ainsi disposer d'un outil peu coûteux et facile à mettre en place pour aider les personnes qui utilisent les pictogrammes comme moyen de communication. l'outil étant libre, celui-ci pourra ainsi évoluer grâce aux retours reçus et aux avancées technologiques sur lesquelles il repose. le code est disponible sur github foot_1 . les perspectives futures sont multiples : améliorer la traduction en définissant un vocabulaire précis de pictogrammes à utiliser (actuellement, un terme peut avoir plusieurs pictogrammes associés), gérer les termes non disponibles sous forme pictographique, utiliser une grammaire experte pour orienter les règles de traduction et évaluer la traduction et l'impact de chaque module auprès d'experts.