QUARTZ : Approche abstractive non supervisée par question-réponse pour le résumé de dialogue orienté tâche (2025)

Abstract: Le résumé de dialogues condense les conversations en un texte concis, réduisant la complexité des applications riches en interactions. Les approches existantes reposent souvent sur l’entraînement de modèles de langue à imiter des résumés humains. Cependant, cette approche est coûteuse et les résumés obtenus manquent souvent de pertinence, entraînant des performances sous-optimales, notamment en médecine. Dans cet article, nous introduisons QUARTZ , une méthode non supervisée pour le résumé de dialogues orienté tâche. QUARTZ génère plusieurs résumés et paires de questionsréponses à l’aide de grands modèles de langue (LLMs). Les résumés sont évalués en demandant aux LLMs de répondre à ces questions avant (i)de sélectionner les meilleures réponses et (ii)d’identifier le résumé le plus informatif. Enfin, nous affinons le meilleur LLM sur les résumés générés sélectionnés. Validé sur plusieurs ensembles de données, QUARTZ atteint des performances compétitives en zéro-shot, rivalisant avec les approches supervisées de pointe.

## introduction le résumé automatique de texte (ra) vise à condenser l'information d'un texte source en un résumé bref, soit par extraction de phrases existantes (extractif ), soit par génération de nouvelles phrases capturant l'essentiel (abstractif ), imitant ainsi le raisonnement humain @xcite . depuis les années 1950 @xcite , les approches ont évolué, passant des méthodes basées sur les graphes @xcite ou sur la fréquence des termes @xcite aux grands modèles de langue (llms), dont la capacité à représenter finement le contexte textuel a permis des avancées majeures, notamment dans les applications cliniques @xcite . le résumé de dialogues, sous-discipline du ra, se concentre sur l'extraction d'informations clés à partir d'une conversation. il s'impose dans les applications concrètes comme le service client @xcite , les réunions d'affaires @xcite ou le domaine médical @xcite , où les échanges sont souvent moins structurées que des textes formels. dans ces contextes, résumer les conversations permet de réduire leur complexité et optimiser les tâches en aval comme la prise de décision ou l'automatisation des processus. toutefois, cette tâche pose des défis uniques en raison de la structure moins rigide des conversations, incluant souvent des répétitions, verbosités et des disfluences -rendant les méthodes classiques de ra, conçues pour des textes plus structurés, moins efficaces @xcite . de plus, contrairement aux textes monologués, les dialogues impliquent plusieurs locuteurs aux styles, rôles et objectifs variés @xcite . récemment, le résumé de dialogues par llms a été abordé comme une tâche de type séquence-à-séquence @xcite . bien que l'affinage de ces modèles pour le résumé orienté tâche donne de bons résultats -parfois supérieurs à ceux des humains @xcite , cette approche reste coûteuse car dépendante de données annotées manuellement. par ailleurs, malgré leur polyvalence acquise via le pré-entraînement massif, les llms peinent parfois à maintenir la cohérence thématique et factuelle, générant des digressions ou des contradictions @xcite . dans cet article, nous introduisons quartz, une nouvelle méthode non supervisée pour le résumé abstractif de dialogues orienté tâche. son approche orientée tâche guide les llms vers des résumés cohérents et factuels, tandis que son caractère non supervisé signifie qu'elle ne repose ni sur des résumés humains de référence ni sur des connaissances spécifiques à la tâche, hormis celles nécessaires pour concevoir des prompts adaptés. quartz introduit les contributions suivantes : résumé de dialogues. le résumé de dialogues présente des défis liés aux changements sémantiques fréquents, aux transitions de sujet, aux redondances et aux interactions multi-parties. pour y répondre, zhao et al. (2021) ont exploité les états du dialogue et tian et al. (2024) ont utilisé un modèle llm mixture-of-experts (moe) (jacobs et al., 1991). malgré cela, la cohérence du résumé, la couverture de l'information et la compréhension globale du dialogue (zhao et al., 2021) restent souvent insuffisants. le résumé de dialogues orienté tâche offre une solution à ces limitations. wang et al. (2023) ont utilisé des llms pour générer des requêtes et leurs résumés à partir du résumé de référence pour produire des résumés guidés par instruction. la plupart des approches orientées tâche nécessitant une quantité massive de données annotées @xcite , les situations à faibles ressources ont été abordées par augmentation de données (ad) @xcite . cependant, le résumé de dialogues non supervisé, que nous abordons dans cet article, reste largement inexploré. llms pour l'augmentation de données. l'ad @xcite est utilisée notamment pour la traduction automatique de langues peu dotées @xcite et la génération de conversations ancrées sur des résumés @xcite . concernant la réponse aux questions (qa) @xcite , @xcite ont proposé une méthode d'ad pour l'affinage de bert et @xcite ont enrichi la qa multilingue par la génération de questions. l'essor des llms a révolutionné l'ad @xcite , avec gpt-3 générant des résumés de dialogues médicaux pour entraîner des modèles sur des données humaines et synthétiques @xcite et gpt-4 produisant un ensemble de données d'instructions pour affiner le modèle llama @xcite . évaluation par qa utilisant les llms. l'évaluation par qa consiste à comparer les réponses à une question à un ensemble de réponses de référence @xcite . appliquée à un résumé, elle garantit que les informations clés du texte original restent accessibles dans le résumé. historiquement, l'évaluation qa reposait sur des métriques de correspondance lexicale, comme l'exact-match @xcite ou la correspondance n-gram @xcite , ou des métriques de similarité comme bert matching @xcite . les llms conditionnés par un prompt système, une question, une réponse de référence et une réponse candidate @xcite sont récemment apparus comme une solution de précision comparable aux évaluateurs humains @xcite , qui peut être encore amélioré par des techniques d'ingénierie de prompt @xcite . pour limiter le risque accru d'évaluation erronée en présence d'un contexte long, une solution efficace consiste à interroger plusieurs fois les llms et à agréger les évaluations obtenues @xcite . ## notre approche notre approche est illustrée dans la figure 1 . inspirée des récentes avancées en ra, où les résumés générés par les llms sont privilégiés par les évaluateurs humains @xcite , quartz commence par (première étape) solliciter un ensemble de llms pour générer des résumés orientés tâche et des paires de questions-réponses de référence à partir d'un dialogue d'entrée. l'utilisation d'un ensemble de llms garantit une couverture plus large et réduit les biais spécifiques. pour garantir l'attention aux informations pertinentes pour la tâche, les llms sont conditionnés par le contenu du dialogue et des prompts personnalisés (cf. annexe d). nous utilisons également les llms pour répondre aux questions générées à partir des résumés (plutôt qu'à partir des dialogues originaux). nous (deuxième étape) jugeons la qualité des résumés générés en évaluant les réponses candidates via un processus d'évaluation en deux niveaux. dans le premier niveau, les llms sont utilisés comme classifieurs pour sélectionner la meilleure réponse candidate pour chaque question et résumé. dans le deuxième niveau, le classement des llms détermine le meilleur résumé pour chaque dialogue. enfin, (troisième étape) le meilleur llm est affiné sur les résumés sélectionnés. nous détaillons les différentes étapes de quartz et son évaluation ci-dessous. 3.1 première étape : génération génération de résumés orientés tâche. un dialogue orienté tâche est présenté comme une conversation multi-tours entre deux individus ou plus, centrée sur l'atteinte d'un objectif spécifique. nous sollicitons chaque modèle l s de l'ensemble l pour générer un résumé s i,l s pour chaque dialogue d i , en conditionnant ce processus par un prompt soigneusement élaboré t pour extraire les informations spécifiques à la tâche. génération de paires de questions-réponses de référence. de manière similaire, nous sollicitons chaque modèle l @xmath0, en nous concentrant sur les questions pouvant être répondues en utilisant le résumé du dialogue orienté tâche. les paires qa de référence générées par tous les llms sont fusionnées en un ensemble unique de j i paires qa de référence (q i,j , a i,j ) indexées par j. génération des réponses candidates. après avoir généré les résumés et les questions, nous cherchons la réponse à chaque question dans les résumés générés. en effet, un résumé factuel qui conserve toutes les informations nécessaires doit inclure les bonnes réponses à toutes les questions. pour ce faire, nous sollicitons chaque modèle l @xmath1,j,l s ,l r pour chaque question q i,j à partir de chaque résumé s i,l s . en raison du phénomène de biais de soi (self-bias) (xu et al., 2024), selon lequel un llm peut facilement répondre à une question qu'il a lui-même générée et avoir des difficultés à répondre à des questions générées par d'autres modèles, nous utilisons tous les llms de l'ensemble comme répondants, y compris le llm générateur de question lui-même. cela réduit le biais et permet de répondre aux questions de manière équitable. 3.2 deuxième étape : évaluation en deux niveaux évaluation de premier niveau (sélection du meilleur répondant). à cette étape, notre objectif est d'identifier les meilleures réponses candidates pour chaque question et chaque résumé. pour ce faire, nous utilisons chaque modèle l @xmath2. l'évaluateur reçoit la question q i,j , la réponse de référence a i,j , ainsi que l'ensemble des |l| réponses candidates { âi,j,l s ,l r } l @xmath3,l s , et doit fournir un classement (représenté par une permutation σ) des réponses candidates, selon leur pertinence et leur exactitude. pour surmonter le biais de préférence propre (self-preference) (panickssery et al., 2024) selon lequel un llm évaluateur attribue une note plus élevée à ses propres sorties par rapport aux autres, nous utilisons tous les llms de l'ensemble comme évaluateurs, y compris le llm répondant lui-même. nous procédons ainsi en sollicitant plusieurs fois les llms pour le classement, tout en modifiant aléatoirement l'ordre des réponses candidates et en agrégeant ensuite les classements obtenus. cela garantit qu'aucun llm n'a un avantage systématique sur les autres, et il a été prouvé théoriquement et empiriquement par tang et al. (2024) que cette approche converge vers le classement réel. nous sollicitons donc chaque llm n fois pour obtenir n classements estimés σi,j,l s ,l e ,n indexés par n. le classement optimal σ i,j,l s ,l e est celui dont la somme des distances kendall tau (kendall, 1938) par rapport à tous les classements estimés est minimale (tang et al., 2024) : après avoir obtenu le classement optimal σ i,j,l s ,l e pour chaque question j, nous calculons le rang réciproque moyen (mrr) @xcite de chaque llm répondant l r sur toutes les questions. le mrr est calculé comme suit : ce mrr dépend de l'évaluateur l e . pour sélectionner le meilleur répondant de manière indépendante de l'évaluateur, nous calculons le score total score sinon pénalise lorsque le même modèle sert à la fois de répondant et d'évaluateur. enfin, pour chaque dialogue d i et résumé s i,l s , nous sélectionnons le répondant ayant le score le plus élevé et utilisons ces réponses candidates correspondantes â * i,j,l s comme entrées pour la deuxième étape. évaluation de deuxième niveau (sélection du meilleur résumé). maintenant que nous avons identifié les meilleures réponses candidates pour chaque résumé, nous procédons à l'identification du meilleur résumé pour chaque dialogue. de manière similaire à ce qui précède, nous utilisons chaque modèle l @xmath4. l'évaluateur reçoit une question q i,j , la réponse correcte a i,j , et l'ensemble des |l| meilleures réponses candidates { â * i,j,l s } l @xmath5, et il est chargé de classer ces réponses candidates. nous promptons chaque llm n fois et calculons le classement optimal σ i,j,l e comme précédemment. nous calculons le mrr de chaque résumeur llm l s sur toutes les questions comme suit : pour sélectionner le meilleur résumé indépendamment de l'évaluateur, nous calculons le score total : enfin, pour chaque dialogue d i , nous gardons le résumé s * i ayant le score le plus élevé. ## llm as a judge motivés par des travaux récents montrant que les llms peuvent servir de substituts fiables aux annotateurs humains @xcite , nous utilisons le cadre g-eval @xcite avec deux modèles open-source parmi les mieux classés sur judge arena @xcite : selene-1-mini-llama-3.1-8b (alexandru et al., 2025) et llama-3.3-70b-instruct (dubey et al., 2024). contrairement à l'approche initiale basée sur gpt-4, afin d'assurer la reproductibilité. nous évaluons les résumés selon quatre dimensions : cohérence (coh), consistance (con), fluidité (flu) et pertinence (per) (voir détails en annexe d.4). comme le montre le tableau 6, les deux juges attribuent des scores souvent plus faibles aux résumés de référence, indiquant que les llms produisent déjà de bons candidats. zero-shot quartz (première + deuxième étape uniquement) quartz (trois étapes) note trouble de l'enfant à la suite de coups de la part du père. violence conjugale sur un enfant : le patient a appelé pour signaler que son mari a frappé leur enfant, causant des blessures. clarification et précision hypothèses diagnostiques : blessure par coup de couteau auto-infligée. hypothèses diagnostiques : blessure par coup de couteau auto-infligée, intention suicidaire potentielle. indicateurs d'intention suicidaire antécédents médicaux : pas d'informations fournies. antécédents médicaux : intoxication volontaire l'année dernière. précision médicale le conducteur a essayé de se relever mais n'y est pas parvenu. le conducteur du scooter a essayé de se relever mais n'y est pas parvenu. le patient est incapable d'approcher le conducteur du scooter en raison de son travail et doit partir. précision contextuelle symptômes du patient : pas de symptômes médicaux rapportés. symptômes généraux : anxiété ou inquiétude due à la situation d'incendie. ajout de l'état émotionnel la grand-mère du patient ne répond plus au téléphone depuis au plus 48 heures. la grand-mère du patient ne répond plus au téléphone. absence de détails antécédents médicaux : -diabète. -allergie au doliprane. antécédents médicaux : -diabète. omission allergie tableau 5 -impact de la troisième étape de quartz (affinage) sur l'alignement du modèle. gauche : quartz en zéro-shot génère plusieurs résumés et sélectionne les meilleurs. droite : un affinage supplémentaire est appliqué aux résumés sélectionnés. bien que les scores absolus des juges diffèrent, les classements relatifs sont globalement cohérents. la configuration 0-shot (quartz : étapes 1 + 2) permet d'identifier des résumés performants sur certaines dimensions (ex. : con, flu), mais il reste difficile de trouver des candidats équilibrés sur l'ensemble des critères, en raison des compromis inhérents aux résumés générés. l'étape de fine-tuning permet de corriger cela en orientant la génération vers de meilleurs compromis globaux. config juge selene-1-mini-llama-3.1-8b llama-3.3-70b-instruct coh con flu per moy coh con flu per moy llama 3.1 3,79 4,12 3,54 3,86 3,82 4,26 4,34 3,92 4,29 4,20 gemma 3,77 4,13 3,62 4,04 3,89 4,41 4,39 4,12 4,52 4,36 qwen 3,88 4,12 3,63 3,96 3,89 4,29 4,37 3,98 4,41 4,26 0-shot 3,86 4,14 3,66 3,86 3,88 4,28 4,40 4,00 4,36 4,26 reference 3,47 3,91 3,31 3,52 3,55 3,89 3,92 3,60 3,86 3,81 quartz 3,89 4,18 3,66 3,87 3,90 4,47 4,41 3,96 4,53 4,34 tableau 6 -évaluation llm-as-judge des résumés par deux modèles selon les cinq critères. coh con flu per moy quartz (1-5 likert) 4,17 4,01 4,27 4,06 4,12 cohen's kappa ([-1 ; 1]) 0,12 0,17 0,14 0,09 0,13 accord exact (%) 42 42 40 34 39,5 tableau 7 -évaluation humaine des résumés finaux de quartz, avec les coefficients cohen's kappa et les taux d'accord exact. 7 évaluation humaine étant donné le coût élevé de l'évaluation humaine, nous adoptions un protocole en deux phases avec quatre annotateurs experts (tous informaticiens, dont un médecin afin de mieux annoter les dialogues cliniques). phase 1. à l'aide de l'outil potato (pei et al., 2022), les annotateurs comparent deux résumés anonymisés (généré par quartz vs. référence) pour chaque dialogue, en choisissant celui de meilleure qualité. dans 48% des cas, les résumés quartz ont été préférés, avec un accord inter-annotateur (fleiss' kappa) de 0,14. certains annotateurs ont signalé que les deux résumés étaient souvent d'une qualité similaire. phase 2. les annotateurs évaluent les résumés finaux de quartz selon les quatre dimensions qualitatives définies en section 6. le taux moyen d'accord inter-annotateur était de 39,5%. ## limitations bien que nous ayons cherché à minimiser les coûts d'annotation tout en maintenant une haute qualité des résumés, quelques limitations subsistent. premièrement, par souci de simplicité, nous n'avons pas modifié les paires question-réponse de référence générées. bien que nous puissions explicitement intégrer des questions pertinentes pour la tâche, il serait bénéfique d'établir un certain contrôle sur les questions en fonction de leur contribution à l'évaluation des résumés, car toutes les paires question-réponse n'ont pas la même importance. deuxièmement, bien que quartz soit conçu pour le résumé non supervisé, la dépendance aux performances des llms peut entraîner des divergences par rapport aux résumés préférés par les humains, ainsi que des erreurs qu'une supervision plus fine permettrait d'éviter.