Nouvelle tâche sémantique pour le corpus de compréhension de parole en français MEDIA (2024)

Abstract: La détection d’intention et de concepts sont des tâches essentielles de la compréhension de la parole(SLU). Or il n’existe que peu de données annotées en français permettant d’effectuer ces deux tâches conjointement. Cependant, il existe des ensembles de données annotées en concept, dont le corpus MEDIA. Ce corpus est considéré comme l’un des plus difficiles. Néanmoins, il ne comporte que des annotations en concepts et pas en intentions. Dans cet article, nous proposons une version étendue de MEDIA annotée en intentions pour étendre son utilisation. Cet article présente une méthode semi-automatique pour obtenir cette version étendue. De plus, nous présentons les premiers résultats des expériences menées sur cet ensemble de données en utilisant des modèles joints pour la classification des intentions et la détection de concepts.

## introduction le module de compréhension de la parole (en anglais spoken language understanding -slu) est un élément crucial d'un système de dialogue oral. les tâches de slu regroupent trois sous-tâches : la classification de domaine, la détection d'intentions, et l'annotation de séquences en concepts sémantique (ou détection de concepts) @xcite . dans cette étude, nous nous sommes intéressés à la détection d'intentions et à la tâche de remplissage de formulaire. cette dernière tâche peut également être considérée comme une tâche de détection de concepts @xcite . la plupart des systèmes de dialogue traitent ces tâches séparément en développant des modules indépendants insérés dans un pipeline @xcite . ces approches pipeline souffrent généralement de la propagation d'erreurs en raison de leurs modèles indépendants. ainsi, des modèles joints de classification des intentions et de détection de concepts ont été proposés pour résoudre ce problème et pour améliorer mutuellement ces deux tâches @xcite . pour ces modèles joints, plusieurs approches ont été explorées, telles que, des modèles fondés sur des champs conditionnels aléatoires (crf) @xcite , des réseaux de neurones convolutionels @xcite , récurrents @xcite @xcite , avec des portes de remplissages (slot-gated models) @xcite , avec mécanisme d'attention @xcite @xcite , et des modèles transformers pré-entraînés @xcite @xcite @xcite ou des modèles convolutionels graphiques @xcite . pour l'anglais, les modèles joints sont traditionnellement évalués sur des tâches annotées avec des intentions et de concepts : atis @xcite et snips @xcite . cependant, en français, moins de ressources sont disponibles. il existe des données atis étendues au français dans le corpus multiatis++ @xcite par traduction. la version étendue multiatis++ ne dispose malheureusement pas des supports audios correspondants aux nouvelles langues. les données media comportent les supports audios. malheureusement, ces données ne sont annotées qu'en concepts et pas en intention, même si en l'état ce corpus est considéré comme l'un des plus difficiles @xcite . cet article présente une version mise-à-jour des données media avec des annotations d'intention à l'aide d'une approche semi-automatique. de plus, nous présentons les premiers résultats des expériences de compréhension sur cet ensemble de données amélioré à l'aide de modèles conjoints pour la classification des intentions et la détection de concepts. ## annotation du corpus media en intentions le corpus media est composé d'appels téléphoniques enregistrés pour la réservation d'hôtel. il est dédié à l'extraction sémantique de l'information de la parole dans le contexte des dialogues hommemachine recueillis en utilisant la méthode @xcite . l'ensemble de données représente 1258 dialogues enregistrés de 250 différents locuteurs et environ 70 heures de conversations. seuls les tours de parole des utilisateurs sont annotés avec des transcriptions manuelles et des annotations sémantiques complexes (concepts), et utilisés dans ce travail. le corpus media est disponible en version full ou relax. dans le second, les attributs sont simplifiés en excluant les spécifieurs. récemment, @xcite ont proposé une version mise-à-jour de l'ensemble de données media. le travail présenté ici est fondé sur cette version de media que nous notons media 2022 par la suite. à notre connaissance, le corpus media n'a jamais été annoté avec des intentions. contrairement à d'autres ensembles de données de référence comme atis @xcite ou snips @xcite , seule la détection de concepts a été prise en compte. nous proposons ici une version étendue du corpus media 2022 annotée en intentions. pour cela, nous avons défini une liste de 11 intentions après avoir examiné attentivement le contenu de l'ensemble de données. un tour de parole peut recevoir plusieurs intentions. dans un tel cas, les labels sont séparées par le signe #. les détails de cette liste, des exemples et des contre-exemples sont disponibles dans un guide d'annotation. ## expériences sur les transcriptions manuelles en utilisant l'ensemble enrichi des données media, nous présentons une première évaluation sur les transcriptions manuelles, en effectuant l'apprentissage joint des tâches de détection d'intentions et de concepts. ## expériences sur la reconnaissance automatique de la parole nous évaluons les performances des deux approches à l'aide des mesures utilisées dans la section 3.2, à l'exception de la f-mesure de la détection de concepts. ## conclusion dans cet article, nous avons présenté une version de l'ensemble de données de référence media enrichi avec des annotations de l'intention. nous espérons ainsi ouvrir plus largement l'utilisation de ce corpus à la communauté internationale. nous avons présenté également les premiers résultats expérimentaux sur cet ensemble de données enrichi en utilisant des modèles joints pour la classification des intentions et la détection de concepts. nous avons présenté différents systèmes réalisant conjointement la classification des intentions et la détection des concepts, que ce soit sur les transcriptions manuelles, les transcriptions automatiques (cascade) ou les signaux de parole (bout-en-bout). les résultats expérimentaux sur les transcriptions manuelles et automatiques n'ont pas pu atteindre les résultats antérieurs de l'état-de-l'art pour la tâche détection de concepts, mais sont toujours compétitifs. les modèles de bout-en-bout faisant l'optimisation jointe semblent obtenir de meilleurs résultats sur les deux tâches que les modèles en cascade. les annotations en intention sont librement disponibles dans un dépôt public foot_2 incluant le manuel d'annotation.