Approches cascade et de bout-en-bout pour la traduction automatique de la parole en pictogrammes (2024)

Abstract: La traduction automatique de la parole en pictogrammes (Parole-à-Pictos) est une nouvelle tâche du Traitement Automatique des Langues (TAL) ayant pour but de proposer une séquence de pictogrammes à partir d’un énoncé oral. Cet article explore deux approches distinctes : (1) en cascade, qui combine un système de reconnaissance vocale avec un système de traduction, et (2) de bout-en-bout, qui adapte un système de traduction automatique de la parole. Nous comparons différentes architectures état de l’art entraînées sur nos propres données alignées parole-pictogrammes. Nous présentons une première évaluation automatique des systèmes et réalisons une évaluation humaine pour analyser leur comportement et leur impact sur la traduction en pictogrammes. Les résultats obtenus mettent en évidence la capacité d’une approche en cascade à générer des traductions acceptables à partir de la parole lue et dans des contextes de la vie quotidienne.

## introduction la communication alternative et augmentée (caa) regroupe un ensemble d'outils et de stratégies conçus pour faciliter la communication des individus confrontés à des troubles du langage @xcite . ces troubles impactent un ensemble de capacités langagières, allant de la production et la compréhension de la parole à l'écoute, la lecture et l'écriture. ils peuvent avoir différentes origines, telles que certaines maladies génétiques, des troubles du spectre autistique, un déficit intellectuel, pour en citer quelques-uns. nous retrouvons, dans la caa, l'utilisation de pictogrammes, pour transmettre des messages dans des situations de la vie quotidienne. un pictogramme est une représentation graphique associée à un concept (objet, personne, action, etc.) @xcite . ceux-ci présentent plusieurs avantages, notamment, qu'ils permettent de visualiser la syntaxe, de manipuler des mots et de faciliter l'accès au langage @xcite . d'un point de vue social, une enquête menée par la croix-rouge (2021) a identifié une réduction du stress, une augmentation de l'autonomie et un impact positif du bien-être général des utilisateurs de caa. pourtant, selon la même étude, la caa est confrontée à différents freins environnementaux qui limitent son utilisation et sa diffusion. l'étude cite spécifiquement le manque de sensibilisation des accompagnants au potentiel de la caa et la difficulté d'accéder aux outils (absence d'informations, de formation, de moyens financiers et de temps). nous pensons que la mise en place de systèmes de traduction de la parole en une séquence de pictogrammes, tâche que nous appellerons parole-à-pictos (pap), pourrait permettre de relever ces défis. un système pap prédit une suite de termes, chacun associé à un pictogramme unique arasaac 1 à partir d'un segment audio (cf. figure 1 ). notre objectif est de construire le premier système pap pour le français. pour cela, nous proposons deux approches. la première s'appuie sur un système en cascade, qui imbrique un modèle de reconnaissance automatique de la parole (rap) avec un modèle de traduction automatique (ta). la deuxième approche adapte une architecture de bout-en-bout de traduction de la parole (tp) pour la tâche parole-à-pictos. nous présentons une première évaluation automatique et humaine sur nos propres jeux de données. nous résumons nos contributions ci-dessous : -la présentation de deux approches pour traduire automatiquement la parole en une séquence de pictogrammes. -la construction de trois corpus de données alignées parole-texte-pictogrammes pour cette tâche foot_0 . -l'implémentation et la publication de plusieurs modèles de reconnaissance de la parole, de traduction automatique et de traduction de la parole affinés sur ces jeux de données. le code et les modèles sont disponibles en ligne foot_1 et les expériences sont entièrement reproductibles. -la présentation d'une première évaluation automatique et humaine des modèles pour la tâche parole-à-pictos. les précédents travaux se sont majoritairement focalisés sur la traduction du texte vers les pictogrammes, plutôt qu'à partir de la parole. @xcite ont notamment proposé text2picto, un système de traduction texte-pictogrammes pour le néerlandais, ensuite étendu à l'anglais, à l'espagnol @xcite et au français @xcite . de récents travaux @xcite se sont intéressés à la prédiction d'un pictogramme selon le contexte, en utilisant des modèles de type bert @xcite . le but est de proposer un modèle prédictif pour compléter une phrase en construction dans les systèmes de caa. la traduction automatique de la parole en une séquence de pictogrammes du français est étudiée pour la première fois dans @xcite . leur méthodologie s'appuie sur l'adaptation du système text2picto @xcite à la parole. le modèle proposé imbrique quatre modules : un système de reconnaissance automatique de la parole (rap), un système de simplification, un modèle de désambiguïsation lexicale et un dernier module qui affiche la séquence de pictogrammes. l'évaluation est réalisée sur deux jeux de données. le premier regroupe 15 histoires pour enfants manuellement traduites en pictogrammes. le second est un ensemble de 20 phrases extraites du corpus eslo @xcite le score bleu n'offre pas d'informations précises sur les comportements spécifiques de chaque approche dans le contexte d'une traduction en pictogrammes. à cette fin, nous conduisons une évaluation humaine. ## évaluation humaine nous menons une évaluation humaine sur les deux modèles ayant obtenu le score bleu le plus élevé pour chaque corpus. nous adaptons un cadre analytique de conseils et de procédures pour mesurer la qualité d'une traduction, défini par burchardt (2013), mqm foot_2 . cette évaluation permet de déterminer si la traduction proposée répond aux spécifications convenues par les parties prenantes. l'évaluation analytique associe les erreurs à des mots et à des phrases spécifiques du texte (source et/ou cible). le rôle de l'évaluateur est d'examiner le texte traduit par rapport au texte source et aux spécifications, puis d'annoter les erreurs conformément à la métrique (c'est-à-dire identifier, marquer et attribuer un type d'erreur et un niveau de gravité). en analysant de façon globale les traductions proposées par les différents systèmes, nous sélectionnons 12 erreurs réparties en 4 catégories : à chaque erreur est associé un niveau de gravité : -neutre, -mineur (aucune incidence sur la facilité d'utilisation ou la compréhensibilité du contenu), -majeur (incidence sur la facilité d'utilisation sans pour autant rendre la traduction inutilisable), -critique (traduction inutilisable, ce qui entraîne des dommages aux personnes, au matériel ou à la réputation d'une organisation si celles-ci ne sont pas corrigées). deux annotateurs experts du projet ont annoté 100 phrases sélectionnées aléatoirement parmi les données tests de propicto-orféo et propicto-commonvoice. nous présentons nous réalisons une dernière évaluation sur l'ensemble test propicto-eval. en appliquant les différentes approches, c'est l'association de whisper avec t5-large (score bleu de 77,23) et whisper avec nllb-200 (score bleu de 74,97) qui obtiennent les meilleures performances. l'évaluation humaine conduite valide l'utilisabilité de notre approche avec whisper et nllb-200 sur un corpus de parole lue et représentant des situations de la vie quotidienne, car le score de qualité globale est supérieur à 89. notre approche reste donc restreinte à ce cadre particulier. elle n'est pas robuste à des situations acoustiques dites difficiles et à des domaines spécifiques (ce qu'on retrouve dans propicto-orféo et propicto-commonvoice). des pistes de recherche pourraient porter sur l'amélioration de la gestion des termes non traduits et mal traduits. nous pourrions également tester de nouvelles approches de bout-en-bout et des méthodes pour faire émerger des pictogrammes générés par des systèmes génératifs. enfin, comparer les sorties entre modèles permettrait d'identifier leurs avantages et inconvénients respectifs. ## conclusion dans cet article, nous introduisons deux approches pour traduire automatiquement la parole en pictogrammes. nous présentons des données spécifiquement créées pour cette tâche, couvrant diverses situations acoustiques et divers domaines. bien que l'approche cascade présente des résultats légèrement supérieurs à l'approche de bout-en-bout sur chaque ensemble de données étudié, nous notons des résultats compétitifs avec cette dernière. nous n'excluons donc pas cette approche pour des travaux futurs. l'évaluation humaine révèle plusieurs limitations, notamment l'impact significatif des systèmes de reconnaissance vocale sur la traduction, ainsi que la difficulté à traduire certains phénomènes linguistiques tels que les unités polylexicales et les entités nommées. cette nouvelle tâche parole-à-pictos est proposée dans le cadre de la campagne d'évaluation imageclef @xcite , intégrée à la conférence clef (conference and labs of the evaluation forum) 2024.