Détection de concepts pertinents pour le résumé automatique de conversations par recombinaison de patrons (Relevant concepts detection for the automatic summary of conversations using patterns recombination ) (2016)

Abstract: automatique de conversations par recombinaison de patrons Jérémy Trione Benoit Favre Frédéric Béchet Aix-Marseille Université, CNRS, LIF UMR 7279, 13000, Marseille, France prénom.nom@lif.univ-mrs.fr R ÉSUMÉ Ce papier décrit une approche pour créer des résumés de conversations parlées par remplissage de patrons. Les patrons sont générés automatiquement à partir de fragments généralisés depuis un corpus de résumés d’apprentissage. Les informations nécessaires pour remplir les patrons sont détectées dans les transcriptions des conversations et utilisées pour sélectionner les fragments candidats. L’approche obtient un score ROUGE-2 de 0.116 sur le corpus RATP-DECODA. Les résultats obtenus montrent que cette approche abstractive est plus performante que les approches extractives utilisées habituellement dans le domaine du résumé automatique.

## introduction le résumé automatique de document repose généralement sur des méthodes par extraction qui sélectionnent dans le texte des passages pertinents et les juxtaposent pour former un résumé. ces méthodes sont peu adaptées à la problématique du résumé de conversations orales de part la nature spontanée de celles-ci et l'importance de l'interaction entre les locuteurs. en ne sélectionnant que certains passages, les résumés par extraction ne contiennent qu'un verbatim de ce qui a été dit, et non pas une description synthétique de ce qui s'est passé lors de la conversation. par exemple, dans le domaine des centres d'appel, il serait souhaitable que les résumés générés renseignent à propos du problème de l'appelant et de comment ce problème a été pris en charge par l'agent ayant traité l'appel. il n'est pas rare que l'appelant décrive son problème sur plusieurs tours de parole ponctués par des demandes de confirmation ou de reformulation de la part de l'agent, ce qui actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln est difficile à caractériser à l'aide de méthodes extractives lorsque la taille des résumés est fortement contrainte. les méthodes de résumé par remplissage de patron ont montré leur intérêt dans des domaines spécifiques pour le résumé automatique de texte @xcite . dans notre cas, elles permettent de traiter du problème de différence de genre entre les données source (transcriptions de conversations) et la forme des résumés à générer (narration synthétique). toutefois, elles nécessitent l'écriture manuelle de patrons de résumés et l'annotation manuelle de quantités de données source en concepts à détecter pour remplir ces patrons. nous proposons d'explorer des méthodes pour le résumé par remplissage de patrons de conversations qui nécessitent moins de supervision de la part d'un expert humain. nos contributions sont les suivantes : le reste de l'article est organisé de la manière suivante : la section 2 positionne le travail par rapport à l'état de l'art, la section 3 décrit notre méthode d'extraction d'information et de génération de résumés, la section 7 décrit le cadre expérimental et les résultats de notre étude, et enfin la section 8 discute ces résultats et dresse une conclusion. ## positionnement un état de l'art sur le résumé automatique peut être trouvé dans @xcite . malgré de très bons résultats dans le cadre du résumé de textes journalistiques de par la nature de ce média, les méthodes par extraction trouvent leurs limites dans les autres domaines où il existe une différence de genre entre les résumés et les données source @xcite . en effet, ces méthodes qui sélectionnent des phrases des documents et les juxtaposent sont contraintes de réutiliser le style de la source, direct et informel pour les transcriptions de centres d'appels, pour générer celui des résumés, indirect et narratif dans notre cas. il y a déjà eu des tentatives de résumé automatique de conversations dans des centres d'appel. par exemple, dans (byrd et al., 2008), des textes à destination des journaux d'appel sont générés par remplissage de patrons définis manuellement à l'aide de modèles d'extraction, et par extraction de contenu non structuré. (higashinaka et al., 2010) modélisent les tours de parole à l'aide de hmm sur les thèmes, et génère la sélection à l'aide de l'algorithme de viterbi. ces méthodes requièrent soit une forte ingénierie du domaine pour écrire les patrons, soit font de l'extraction. (mehdad et al., 2014) proposent une approche de résumé par abstraction en utilisant le remplissage de patron dont la spécificité est de générer automatiquement ces derniers. les phrases des documents sont d'abord regroupées en communautés, puis fusionnées sous la forme d'un graphe de mots dans lesquels des mots sont considérés comme équivalents s'ils ont le même hyperonyme. chaque phrase du résumé est générée comme un chemin dans ce graphe. l'approche semble prometteuse mais les performances rapportées sur un corpus d'enregistrements de réunions sont moins bonnes que celles d'une méthode par extraction tirant parti d'une classification thématique des phrases candidates (garg et al., 2009). nous poursuivons dans nos travaux cette idée de générer automatiquement des patrons. cependant, contrairement à (mehdad et al., 2014) nous allons générer ces patrons à partir d'un corpus de résumés plutôt qu'à partir d'un corpus de documents sources. 3 méthode générale exemples de résumés de conversations -écharpe oubliée dans bus 140, mais rappeler à onze heures quand le service sera ouvert -la cliente a oublié son écharpe dans le bus 140 à colombes le soir précédent. l'agent répond que le service n'est pas ouvert avant 11h. -demande de renseignement sur la perte d'une écharpe dans le bus 140. attendre l'ouverture du service et rappeler plus tard. patron possible le client à oublié @xmath0transport. objet non retrouvé, rappeler plus tard. notre approche pour le résumé de conversations est basé sur le remplissage de patrons de texte avec des parties variables remplies lors de l'analyse des différents tours de parole des conversations. l'originalité de notre approche repose sur le mode de production de ces patrons : alors qu'ils sont habituellement créés manuellement une fois pour toute lors de la phase de mise au point du système, nous proposons de les générer automatiquement de manière dynamique, durant le traitement d'une conversation, à partir d'un corpus d'entraînement constitué de paires de document transcription de conversations / résumés. cette étape de production de patrons utilisent deux types de séquences de mots extraits du corpus de résumé : des variables de patron représentant les concepts spécifiques à la conversation traitée, et des séquences de mots génériques qui peuvent s'appliquer à différentes situations. la figure 1 donne un exemple de patron pour des conversations issues d'un corpus enregistré dans un centre d'appel. notre approche consiste en plusieurs étapes : nous avons annoté 175 synopsis en variables de patron, en utilisant 17 types de variables différents (cf tableau 4). les variables de patron jouent un rôle capital dans les patrons, ce sont elles qui portent l'information de la conversation. le tableau 4 montre les variables utilisées et leur couverture sur les synopsis annotés. une fois définis les patrons à partir des synopsis, il est nécessaire de les aligner avec les conversations qu'ils représentent afin de faire la correspondance entre les concepts exprimés dans les transcriptions de conversation et les variables des patrons. cette étape est décrite dans la section suivante. ## détection des variables de patron cette étape consiste à trouver un candidat dans une conversation capable de prendre la place d'une variable de patron. la première hypothèse que l'on pourrait faire serait que les variables sont des entités nommées, car dans de nombreux domaines d'application, elles sont très largement présentes et jouent un rôle pour lier un résumé à la réalité qu'il décrit. mais une détection simple n'est pas suffisante car, par exemple dans le cas d'un patron relatant un trajet, il faut pouvoir déterminer parmi deux entités nommées de lieu, laquelle est l'adresse de départ et laquelle est celle d'arrivée. les variables à détecter doivent donc être pertinentes pour un patron donné. d'autre part, certaines informations nécessaires pour remplir les patrons ne sont pas des entités nommées, mais, par exemple, des objets génériques, des actions ou des situations. c'est le cas par exemple de scénarios de perte d'objets, dans lequel le type d'objet perdu, et le fait que l'objet a été retrouvé ne sont pas des entités nommées. pour couvrir ces types de variables, une solution serait d'avoir recours à d'autres type d'annotations comme par exemple l'annotation en cadre sémantique @xcite , ou encore d'avoir recours à un système d'apprentissage automatique capable de retrouver directement les variables dans la conversation sans passer par une représentation intermédiaire. c'est cette dernière méthode que nous avons choisi d'explorer. notre approche consiste à aligner les variables de patron des synopsis avec les transcriptions de conversations afin d'entraîner un classifieur permettant de prédire ces variables dans de nouvelles conversations. contrairement à une tâche de recherche de concept dans une conversation, nous ne cherchons pas ici à classifier l'ensemble des variables potentielles de la conversation. nous cherchons à identifier seulement les variables qui seront présentes dans le synopsis final. il s'agit d'une double classification qui répond à deux problèmes : s'agit-il d'une variable ? et cette variable sera-t-elle présente dans le synopsis ? ## génération de synopsis cette section s'intéresse aux différentes façons d'obtenir un patron dynamiquement pour générer un synopsis. l'approche que nous proposons repose sur l'utilisation des synopsis annotés en variables de patron. l'idée est que parmi tous les synopsis déjà annotés il existe une combinaison de synopsis ou de fragment de synopsis (par exemple des phrases issues d'un tel résumé) capable de décrire les informations détectées dans une nouvelle conversation. pour obtenir un tel corpus de synopsis nous avons procédé de la manière suivante : cette approche nous permet d'avoir un large corpus de fragment de patrons, que l'on peut combiner pour en créer de nouveaux. le remplissage et la sélection des patrons est alors effectué à partir des variables détectées dans une conversation : déterminer un ensemble de fragments de patrons qui maximisent la couverture en variables détectées, sous la contrainte qu'un fragment ne peut être exploité que s'il est saturé, et une variable ne peut être utilisée que par un seul fragment. notre actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln implémentation repose sur une sélection gloutonne des fragments qui itère sur la population de fragments satisfaisant les contraintes jusqu'à couverture de toutes les variables détectées, ou réduction à l'ensemble vide des candidats acceptables. l'avantage d'un tel remplissage est que ce sont les variables qui définissent directement le patron, permettant de mieux coller aux diverses situations se déroulant dans les conversations. mais cela peut aussi être un inconvénient car il se peut que le thème de la conversation ne soit pas retranscrit dans le patron à cause de la mauvaise détection de variables importantes. à titre comparatif, nous explorons aussi une méthode plus classique de résumé par patrons créés manuellement. cette méthode consiste à écrire des patrons fixes, et aller chercher dans la conversation les valeurs correspondantes aux variables décrites dans le patron. les patrons sont alors remplis en fonction des variables détectées dans la conversation. si une variable n'est pas détectée, elle est laissée vide. contrairement à la méthode que nous proposons, ici c'est le patron qui détermine le choix des variables et non l'inverse. cette méthode présente deux inconvénients majeurs, le premier est que les patrons sont figés et ne peuvent donc pas s'adapter à la particularité d'une conversation. le second inconvénient est lié à la qualité du détecteur de variable qui peut en laisser vide, ce qui impacte la qualité linguistique du résumé généré. ## évaluation la partie expérimentale de notre travail compare plusieurs variantes du système proposé, ainsi qu'un certain nombre de baselies, sur le corpus decoda. ## conclusion dans le cadre du résumé de conversation parlée provenant de centre d'appel, nous avons présenté une méthode basée sur la génération à partir de fragments de résumés d'un corpus d'apprentissage, et le remplissage de ces patrons par des valeurs détectées dans les conversations grâce à des traits linguistiques et structurels. notre approche montre la prévalence des résumés par abstraction par rapport aux résumés par extraction et montre que la quantité de supervision pour effectuer le remplissage de patrons peut être réduite. une autre conclusion serait que la métrique rouge n'est pas une métrique adaptée pour ce type d'évaluation de résumés abstractifs du fait de la forte variabilité des termes utilisés. une approche qui