Approche multitâche pour l’amélioration de la fiabilité des systèmes de résumé automatique de conversation (2024)

Abstract: Le résumé de dialogue consiste à générer un résumé bref et cohérent d’une conversation ou d’un dialogue entre deux ou plusieurs locuteurs. Même si les modèles de langue les plus récents ont permis des progrès remarquables dans ce domaine, générer un résumé fidèle au dialogue de départ reste un défi car cela nécessite de prendre en compte l’interaction entre les locuteurs pour conserver les informations les plus pertinentes du dialogue. Nous nous plaçons dans le cadre des dialogues humain-humain avec but. Ce cadre nous permet d’intégrer des informations relatives à la tâche dans le cadre du résumé de dialogue afin d’aider le système à générer des résumés plus fidèles sémantiquement. Nous évaluons dans cette étude des approches multitâches permettant de lier la tâche de résumé à des tâches de compréhension du langage comme la détection de motifs d’appels. Les informations liées à la tâche nous permettent également de proposer des nouvelles méthodes de sélection de résumés basées sur l’analyse sémantique du dialogue ainsi que des métriques d’évaluation basées également sur cette même analyse. Nous avons testé ces méthodes sur DECODA, un corpus français de dialogue collecté dans le centre d’appel de la RATP entre des usagers et des téléconseillers. Nous montrons que l’ajout d’informations liées à la tâche augmente la fiabilité des résumés générés.

## introduction la tâche de résumé automatique est une sous-tâche de la génération automatique de texte qui consiste à condenser un contenu pour en avoir les informations essentielles. il existe deux types de résumés automatiques : le résumé par extraction qui consiste à extraire les informations importantes, les agencer pour en faire un résumé et le résumé par abstraction qui consiste à résumer un texte en employant de nouveaux termes ou des paraphrases. bien que les systèmes pour le résumé par abstraction aient une meilleure représentation syntaxique et une bonne compréhension sémantique, un problème majeur demeure. il s'agit de la fidélité du résumé généré par rapport au document source. en effet, les systèmes de l'état-de-l'art basés sur les modèles de langue pré-entraînés générèrent des résumés qui peuvent contenir des informations erronées n'étant pas présentes dans le document original (souvent appelées hallucinations) @xcite . le résumé de conversation, une extension du résumé automatique de texte sur les interactions orales ou écrites, n'échappe pas à ce problème majeur. en effet, le style du discours spontané des transcriptions ne correspond pas au style attendu des résumés. ce qui implique donc l'utilisation d'approches abstractives qui sont significativement affectées par ces hallucinations. de plus, résumer une conversation implique de comprendre les interactions entre les participants afin de ne pas faire de contresens sur son contenu. une étude menée par @xcite révèle que 30% des résumés générés par divers systèmes de résumé de texte contenaient des informations erronées par rapport au document original, qualifiées d'« hallucination » par @xcite . plusieurs approches ont été proposées pour évaluer la fidélité des résumés générés, telles que l'implication textuelle @xcite @xcite , la vérification des questions dérivées d'un résumé @xcite , et l'analyse des entités nommées absentes dans la source @xcite . pour les résumés de dialogues, les études sur l'hallucination demeurent moins nombreuses que pour les résumés de documents textuels. @xcite a constaté que 35% des résumés du jeu de données samsum @xcite ne sont pas cohérents vis-à-vis des dialogues sources. @xcite ont classé huit types d'erreurs factuelles dans les résumés de dialogue, cinq étant spécifiques à ceux-ci, tandis que @xcite en ont identifié six. ils ont proposé un schéma d'évaluation au niveau du modèle pour évaluer la fidélité. ils ont utilisé un modèle de résumé basé sur des probabilités de génération conditionnelles pour différencier les résumés positifs des résumés négatifs. le résumé de dialogue, une tâche récente, englobe divers types de conversations, notamment les résumés de réunions introduits en premier par des corpus comme ami/icsi @xcite . des approches neuronales ont été appliquées à ces corpus, mais leur efficacité est limitée par la structure des dialogues et la diversité des données d'entrée, incluant des conversations de service à la clientèle, des discussions informelles et techniques. ainsi, des méthodes utilisant des informations auxiliaires, telles que les actes de dialogue (goo & chen, 2018) ou la terminologie du domaine @xcite , ont été proposées. des jeux de données plus récents, comme samsum @xcite , offrent de nouveaux défis, notamment la modélisation des participants dans les dialogues. une tâche récente dans le domaine du résumé de conversation est le résumé de dialogue orienté tâche. le dialogue orienté tâche fait référence à un type de conversation dont l'objectif principal est d'accomplir une tâche ou un objectif spécifique. ces dialogues sont typiques des interactions avec un service clientèle, une assistance technique et d'autres scénarios similaires. plusieurs corpus ont été proposés pour la tâche entre autre todsum @xcite , decoda @xcite . dans un dialogue orienté tâche, les participants interagissent spontanément pour résoudre un problème. chacun joue un rôle spécifique, utilisant un langage naturel avec des hésitations. les objectifs des participants, les procédures, entités nommées, etc. sont donc cruciaux pour caractériser l'objectif du dialogue. ainsi, les résumés doivent refléter ces aspects pour rester fidèles à la conversation. dans ce papier, nous proposons d'évaluer et d'améliorer la fidélité du résumé de dialogue en utilisant des informations spécifiques à la tâche telle que le motif d'appel. nous nous concentrons sur les centres d'appels et nous nous appuyons sur le corpus decoda @xcite , qui est l'un des rares corpus de dialogue parlé humain-humain à grande échelle, enregistré dans des centres d'appels (dans des conditions réelles), avec des annotations en motif d'appel et d'entités nommées spécifiques au domaine. a notre connaissance, il n'y a pas de corpus de parole en anglais plus volumineux contenant ce type d'interactions (dialogue humain-humain avec but) annotés sémantiquement et possédant des résumés annotés.