Étude Expérimentale d’Extraction d’Information dans des Retranscriptions de Réunions (An Experimental Approach For Information Extraction in Multi-Party Dialogue Discourse) (2018)

Abstract: Nous nous intéressons dans cet article à l’extraction de thèmes à partir de retranscriptions textuelles de réunions. Ce type de corpus est bruité, il manque de formatage, il est peu structuré avec plusieurs locuteurs qui interviennent et l’information y est souvent éparpillée. Nous présentons une étude expérimentale utilisant des méthodes fondées sur la mesure tf-idf et l’extraction de topics sur un corpus réel de référence (le corpus AMI) pour l’étude de réunions. Nous comparons nos résultats avec les résumés fournis par le corpus.

## introduction la plupart des gens passent une grande quantité de leur temps en réunion. une fois celle-ci terminée, il reste encore un compte rendu à produire, rendant compte des principaux aspects abordés lors de la réunion, comme les problèmes rencontrés et les décisions prises. il est aujourd'hui possible d'enregistrer et de stocker une réunion en audio voire en vidéo. à partir de ces enregistrements, plusieurs outils dits "speech-to-text" 1 permettent ensuite de générer une retranscription textuelle de tout ce qui a été dit lors de la réunion. un enjeu important est alors d'être capable d'extraire automatiquement de ces retranscriptions textuelles, souvent fortement bruitées, des informations et des résumés facilitant la création du compte rendu de la réunion. le projet reus (relevant de l'appel à projets fui 22), dans lequel s'inscrit ce travail, a pour but ultime de générer automatiquement un compte-rendu de réunion entre plusieurs humains à partir de la retranscription textuelle de celle-ci. quelques travaux se sont intéressés à l'extraction d'information dans les retranscriptions de réunions. le système le plus abouti est celui présenté par @xcite qui fournit un système d'analyse de réunions appelé calo. calo retranscrit automatiquement les minutes de la réunion en texte puis différentes parties de la réunion sont identifiées et annotées : les thèmes, les tours de parole, les actions, les décisions et deux résumés (abstractif et extractif) sont fournis. pour détecter les thèmes et segmenter le texte, calo s'appuie sur un modèle génératif de thèmes proche de la méthode lda (latent drichlet allocation) @xcite . à l'aide d'une approche non supervisée, une segmentation de la réunion est produite et permet de connaître simultanément de "quoi" les participants parlent (i.e., les thèmes) à la réunion et "quand" (i.e., segments). malgré une approche non-supervisée, la méthode nécessite de faire des hypothèses sur la distribution des thèmes et le nombre de segments dans le texte de la réunion. ce genre d'hypothèses limite l'utilisation de l'approche sur des applications réelles. en ce qui concerne l'extraction d'actions et de décisions, calo utilise une approche structurelle. les différentes prises de paroles de la réunion sont classées en fonction de leur rôle dans le processus : "définition de tâche", "accord" et "acceptation d'une responsabilité". puis les actions @xcite et les décisions @xcite sont détectées. enfin en ce qui concerne la tâche de génération d'un résumé, calo extrait différentes versions réduites du texte et choisit celle qui a la meilleure valeur de la mesure rouge @xcite par rapport à des résumés donnés par un oracle. dans la littérature, d'autres approches se sont intéressées à ces problématiques ou de façon plus générale à l'analyse de discours. il existe des approches de segmentation de texte comme @xcite qui s'appuient sur les changements de distribution lexicale. d'autres approches comme (r. @xcite extraient des mots importants par rapport à un problème en utilisant des classifieurs et des modèles de séquences et en s'appuyant sur les informations lexicales. les approches de segmentation ou d'extraction de mots sont des méthodes intéressantes mais nécessitent ensuite de déterminer le type de chaque segment (thèmes, décisions, tours de parole, etc). de façon plus générale, plusieurs travaux s'intéressent à la détection d'événements notamment dans les réseaux sociaux @xcite . toutefois les retranscriptions de réunions n'ont pas les mêmes caractéristiques que les textes issus des réseaux sociaux, en particulier dans le rapport au temps. beaucoup de tweets sont produits par unité de temps dans les réseaux sociaux, alors qu'une seule intervention est produite par tour de parole dans une réunion. dans le contexte du projet reus, afin d'alimenter le compte-rendu devant être produit, plusieurs informations doivent être extraites comme des événements, des décisions, des problèmes, des solutions, un résumé. les difficultés pour construire un tel système sont multiples. par exemple, comment détecter qu'une décision importante par rapport à la réunion est prise ? comment associer une information temporelle à un sujet d'une réunion ou mettre en relation différentes facettes d'un même événement ? ces tâches ne sont pas simples et elles sont encore plus aiguës dans le contexte de retranscriptions de réunions car les données sont bruitées, les propos ne sont pas toujours structurés, plusieurs locuteurs interviennent rendant plus complexe le fil des propos. dans cet article, nous nous intéressons à une des étapes nécessaire à la réalisation d'un système générant un compte-rendu de réunions : l'extraction, à partir des retranscriptions textuelles, des thèmes (en anglais topics) qui ont été discutés pendant la réunion. plus particulièrement, nous présentons une étude expérimentale de méthodes classiques d'extraction d'information et de topics que nous avons menée sur le corpus ami (carletta, 2007; ami, 2010), un corpus de référence pour l'étude des réunions. nous discutons des différentes particularités de ce type de corpus (interactions multiples très variables, flux de mots non structurés, ponctuation faible, formatage, etc) et de leurs conséquences sur le processus d'extraction d'information. fréquence du terme -fréquence inverse du document (tf-idf ) la fréquence du terme -fréquence inverse du document (tf-idf ) est une technique qui donne les poids les plus élevés aux termes (i.e. mots) qui apparaissent les plus fréquemment dans un document par rapport aux autres documents du corpus. la fréquence d'un terme (tf(w, d)) est simplement le nombre d'occurrences du mot w dans le document d. la fréquence inverse du document (idf) est la proportion de documents du corpus dans laquelle le mot w apparaît. plus précisément : idf (w, d) = log n 1+|@xmath0.t. @xmath1. le dénominateur est le nombre de documents dans lesquels un mot w apparaît dans le corpus d. la mesure tf-idf est ainsi définie par : tfidf(w, d, d) = tf(w, d)idf(w, d) topic modeling : factorisation par matrices non négatives il existe plusieurs approches de topic modeling permettant de définir des thèmes apparaissant dans un corpus. il y a des approches probabilistes telles que l'approche lda (latent dirichlet allocation) @xcite mais aussi des méthodes s'appuyant sur l'agèbre linéaire comme nmf (factorisation par matrices non négatives) @xcite . dans cet article nous avons choisi d'utiliser la méthode nmf car d'autres expériences non décrites ici ont montré que nmf donnait dans ce cas de meilleurs résultats. dans l'approche nmf, on représente m mots apparaissant dans n documents via une matrice @xmath2. l'objectif de la méthode nmf est ensuite de décomposer a en deux matrices w et h telles que a ∼ wh. les colonnes de la matrice @xmath3. chaque case de la matrice représente le poids pour un mot d'être relié à un thème. la matrice @xmath4. ## corpus ami le corpus de réunions ami (carletta, 2007) contient 100 heures de réunion enregistrées en utilisant plusieurs appareils d'enregistrement synchronisés. tous les participants aux réunions parlent anglais. pour certains l'anglais est leur langue maternelle et pour d'autres non. cela représente 171 réunions qui se regroupent en deux types : les réunions à base de scénario (scenario-based meetings) et les réunions sans scénario (non-scenario based meetings). les réunions à base de scénario font partie de séries de 3 à 4 réunions simulant les réunions de quatre participants devant concevoir un système. les réunions d'une même série ont toutes lieu le même jour. les réunions sans scénario sont de vraies réunions qui ont été enregistrées. le corpus ami a été transcrit et annoté avec des informations concernant les entités nommées présentes et les différents tours de parole. pour chaque réunion un résumé abstractif et un résumé extractif sont fournis. le résumé abstractif d'une réunion contient environ 200 mots et consiste en un texte libre donnant un résumé général de la réunion ainsi que des explications à propos des décisions prises et des problèmes évoqués lors de la réunion. le résumé extractif identifie des morceaux du texte de la réunion qui couvrent les informations contenues dans le résumé abstractif. notons qu'un élément du résumé abstractif peut faire référence à plusieurs tours de parole et qu'un tour de parole peut être relié à plusieurs éléments du résumé abstractif. disponibilité du corpus une version segmentée du corpus ami @xcite est disponible en ligne foot_0 . toutefois le corpus mis à disposition est au format nxt (nite xml toolkit), qui ne permet pas de faire des traitements sur le texte. nous avons recréé les fichiers textes de retranscription et les avons mis à disposition en ligne foot_1 . ## extraction d'information dans le corpus ami procédure d'expérimentation comme mentionné précédemment, le corpus ami contient deux types de meetings : les réunions avec scénario et sans scénario. nous nous sommes concentrés sur les réunions avec scénario car elles représentent 138 réunions sur 171. de plus, la plupart des réunions sans scénario n'ont pas de résumé disponible, ce qui ne permet pas d'évaluation. pour chacune des deux expériences nous appliquons une approche : tf-idf ou nmf. le résultat de l'approche est ensuite évalué en comparant les informations extraites des réunions aux informations présentes dans les deux types de résumé (abstractif et extractif). la précision par rapport à un résumé abstractif (respectivement extractif) est donnée par la formule suivante : {@xmath5. notons que l'on applique une racinisation sur les mots et c'est la racine qui est prise en compte pour l'appariement de mots. par exemple, "painting" et "paint" sont considérés comme le même mot.