Les jeux de données en compréhension du langage naturel et parlé : paradigmes d’annotation et représentations sémantiques (2023)

Abstract: La compréhension du langage naturel et parlé (NLU/SLU) couvre le problème d’extraire et d’annoter la structure sémantique, à partir des énoncés des utilisateurs dans le contexte des interactions humain/machine, telles que les systèmes de dialogue. Elle se compose souvent de deux tâches principales : la détection des intentions et la classification des concepts. Dans cet article, différents corpora SLU sont étudiés au niveau formel et sémantique : leurs différents formats d’annotations (à plat et structuré) et leurs ontologies ont été comparés et discutés. Avec leur pouvoir expressif gardant la hiérarchie sémantique entre les intentions et les concepts, les représentations sémantiques structurées sous forme de graphe ont été mises en exergue. En se positionnant vis à vis de la littérature et pour les futures études, une projection sémantique et une modification au niveau de l’ontologie du corpus MultiWOZ ont été proposées.

## introduction la compréhension du langage naturel et parlé est un sujet d'étude important dans le cadre des interactions homme-machine. le domaine comprend plusieurs niveaux d'étude, mais actuellement la tâche de compréhension est principalement axée sur la compréhension de la sémantique globale des requêtes des utilisateurs et sur l'identification des concepts génériques des mots-clés, à savoir, la détection des intentions et l'identification des concepts @xcite . bien qu'il existe plusieurs approches de représentations sémantiques, la majorité des méthodes se base sur la représentation à base de frames sémantiques en utilisant des modèles supervisés pour la classification et l'étiquetage de séquence. ces modèles qui sont basés sur des réseaux de neurones utilisant des modèles de langage pré-entraînés, ont obtenu des performances élevées sur plusieurs jeux de données slu qui sont représentés avec un schéma à plat @xcite (cf. figure 3 ). cependant, les interactions dans une conversation en conditions réelles sont beaucoup plus complexes. afin de relever ces défis, il est nécessaire d'avoir d'un côté des corpus d'apprentissage dotés de représentations sémantiques complexes et contextuelles, et de l'autre côté des schémas d'annotation capables de prendre en compte les représentations sémantiques hiérarchiques. de plus, pour construire des modèles de slu plus robustes et pour les comparer de manière plus précise, il est primordial d'unifier les ensembles de données existants. cette unification permettra de diversifier les domaines et de fournir plus de connaissances aux systèmes de compréhension du langage qui pourront par conséquent apprendre plusieurs structures sémantiques. il existe plusieurs études complètes sur la compréhension du langage naturel et parlé, telles que @xcite et @xcite , mais cet article explorera plus la question des jeux de données en étudiant leurs ontologies et formats d'annotation et de représentation sémantique. dans le cadre de la problématique d'unification de toutes les ressources publiques d'apprentissage et d'évaluation des systèmes nlu/slu, nous avons comparé les différentes ontologies et schémas d'annotation. nous mettons ainsi en exergue le potentiel des représentations sémantiques structurées qui peuvent être utilisées plus facilement avec le développement des modèles de génération du langage. en s'intéressant particulièrement aux représentations en graphe qui préservent la hiérarchie et le lien sémantique entre les différents labels, nous proposerons une projection sémantique et une modification au niveau de l'ontologie du corpus multiwoz2.3. la présentation des jeux de données et la comparaison de leurs ontologies sont présentées dans la section 2, alors que l'étude des schémas d'annotation et des représentations sémantiques structurées ainsi que nos perspectives sont exposées dans la section 3. ## exploration des jeux de données en compréhension du langage les jeux de données jouent un rôle crucial dans l'avancement de la recherche dans le domaine de la compréhension du langage. ils permettent en effet d'entraîner, d'évaluer et de comparer les systèmes slu. les corpora disponibles sont variés et peuvent couvrir plusieurs domaines. la façon dont les annotations sont représentées et le choix des labels reflètent une certaine variation au niveau des ontologies ce qui rend difficile l'unification de ces jeux de données. les schémas de projection et des représentations sémantiques choisis affectant la qualité d'annotation peuvent être aussi différents. certains corpora sont des conversations complètes multi-domaines et/ou multi-intentions, tandis que d'autres ne contiennent que des simples requêtes. malgré cette diversité, un corpus large avec des conversations complètes entièrement annotées en logique slu selon une ontologie générique applicable à toutes les données est difficile à trouver, ce qui rend les travaux sur l'exploitation de l'histoire conversationnelle et du contexte plus difficile. nous pouvons trouver également plusieurs types de collectes de ces corpus. l'une de ces méthodes est appelée la méthode «wizard-of-oz» où les participants interagissent en temps réel avec un système qu'ils croient être autonome, mais il est contrôlé en réalité par un opérateur humain invisible. cette méthode est plus fréquente puisqu'elle permet de collecter des données de manière contrôlée, avec une grande variété de scénario de dialogues. les transcriptions de la parole à l'aide de la reconnaissance automatique de la parole (asr), sont un autre moyen de collecter des données. la qualité des transcriptions va dépendre des systèmes asr mais cette méthode permet de collecter d'une façon plus rapide les énoncés dans des conditions réelles et qui vont être vérifiés et annotés manuellement ou d'une manière semi-automatique. nous trouvons enfin des méthodes plus automatisées qui consistent à synthétiser les conversations à l'aide de modèles de langage ou de modèles de génération de texte. cette méthode est la plus rapide mais elle est artificielle car elle ne peut pas refléter toutes les variations linguistiques dans la parole humaine et peut avoir des problèmes d'hallucination. cette section présentera certains jeux de données publiés pour la tâche slu, ainsi que leurs ontologies et leurs méthodes d'annotation. @xcite . les premières annotations de ce corpus ont été effectuées à l'aide d'une requête sql, puis ont été transférées au niveau global sous forme d'intentions, ainsi qu'au niveau mot sous forme des concepts @xcite . ce corpus est en anglais et contient 4978 énoncés annotés en frame avec 17 intentions et 84 concepts. ## projections des annotations et représentations sémantiques structurées dans le nlu/slu nous avons présenté dans la section précédente les différences et les similitudes entre les jeux de données utilisés pour les tâches de compréhension du langage au niveau de leurs ontologies et leurs schémas d'annotation. dans cette section, nous allons retracer d'une manière générale l'historique des différentes représentations sémantiques utilisées en compréhension du langage, ainsi que les enjeux liés aux représentations actuelles dans le contexte des systèmes de dialogue. nous étudierons ensuite les projections structurées en illustrant les problématiques liées aux différents schémas à plat, ainsi que le potentiel des formats structurés, en particulier ceux basés sur la méthode des graphes. ## conclusion la compréhension du langage naturel et parlé est une tâche fondamentale dans les systèmes de dialogue. les deux tâches connues visent à comprendre les commandes de l'utilisateur et ses interactions avec un agent robotique. dans cet article, nous avons présenté les différents jeux de données utilisés dans ce domaine et nous avons comparé leurs ontologies et leurs schémas d'annotation. les représentations sémantiques structurées et la méthode de graphe ont été mises en valeur pour leur potentiel à refléter la hiérarchie sémantique entre les frames sémantiques et à exploiter le contexte. la sémantique des labels a également fait l'objet d'une discussion dans nos projets de recherche basés fondamentalement sur des expériences sur le corpus conversationnel multiwoz. dans le but d'unifier les données et d'exploiter mieux le contexte pour construire des systèmes robustes, nous envisageons d'approfondir nos études des ontologies et des représentations structurées tout en exploitant l'histoire conversationnelle.