Évaluation dune nouvelle structuration thématique hiérarchique des textes dans un cadre de résumé automatique et de détection d’ancres au sein de vidéos (Evaluation of a novel hierarchical thematic structuring of texts in the framework of text summarization and anchor detection for video hyperlinking ) (2016)

Abstract: automatique et de détection d’ancres au sein de vidéos Anca Simon1 Guillaume Gravier2 Pascale Sébillot3 (1) Université de Rennes 1, IRISA & INRIA Rennes, Campus de Beaulieu, 35042 Rennes, France (2) CNRS, IRISA & INRIA Rennes, Campus de Beaulieu, 35042 Rennes, France (3) INSA, IRISA & INRIA Rennes, Campus de Beaulieu, 35042 Rennes, France anca.simon@irisa.fr, guillaume.gravier@irisa.fr, pascale.sebillot@irisa.fr R ÉSUMÉ Dans cet article, nous évaluons, à travers son intérêt pour le résumé automatique et la détection d’ancres dans des vidéos, le potentiel d’une nouvelle structure thématique extraite de données textuelles, composée d’une hiérarchie de fragments thématiquement focalisés. Cette structure est produite par un algorithme exploitant les distributions temporelles d’apparition des mots dans les textes en se fondant sur une analyse de salves lexicales. La hiérarchie obtenue a pour objet de filtrer le contenu non crucial et de ne conserver que l’information saillante des textes, à différents niveaux de détail. Nous montrons qu’elle permet d’améliorer la production de résumés ou au moins de maintenir les résultats de l’état de l’art, tandis que pour la détection d’ancres, elle nous conduit à la meilleure précision dans le contexte de la tâche Search and Anchoring in Video Archives à MediaEval. Les expériences sont réalisées sur du texte écrit et sur un corpus de transcriptions automatiques d’émissions de télévision.

## introduction les algorithmes développés pour mettre au jour la structure thématique de documents ont pour objectif de détecter automatiquement les frontières qui délimitent des segments thématiquement cohérents dans un texte. identifier une telle structure thématique est une étape essentielle pour différentes tâches du traitement automatique des langues telles que le résumé automatique, la recherche d'information, les systèmes de questions-réponses, etc. on peut distinguer deux formes d'organisation thématique des données : les organisations linéaire et hiérarchique. la segmentation thématique linéaire vise à structurer les données textuelles en thèmes successifs, alors que la segmentation thématique hiérarchique consiste à diviser un thème principal en sous-thèmes, qui à leur tour peuvent être divisés en sous-sous-thèmes, etc. les techniques génériques de segmentation thématique exploitent traditionnellement la cohésion lexicale, ce qui leur permet d'être indépendantes du type de documents textuels traités et de ne pas nécessiter de phase d'apprentissage. se fonder sur la cohésion lexicale signifie analyser la distribution des mots afin d'identifier les changements significatifs de vocabulaire, révélateurs de changements de thèmes. dans un travail récent @xcite , nous avons étudié à quel point la segmentation thématique hiérarchique pouvait effectivement tirer parti de la cohésion lexicale et montré que cet indice était insuffisant pour retrouver des segmentations de référence. partant de ce constat, nous avons proposé une nouvelle façon de considérer ce type d'organisation hiérarchique, passant d'une segmentation dense classique à une hiérarchie de fragments de textes thématiquement focalisés. pour illustrer ce concept, la figure 1 présente des représentations génériques des structures thématiques possibles. la figure 1(a) correspond à une segmentation thématique linéaire, où un document est divisé en thèmes principaux. la figure 1(b) représente une segmentation thématique hiérarchique classique, dans laquelle les thèmes principaux sont divisés en sous-thèmes qui peuvent eux-mêmes être subdivisés. enfin, la figure 1(c) illustre la nouvelle façon de concevoir la segmentation thématique hiérarchique décrite dans @xcite . l'idée est de repérer des fragments de texte thématiquement focalisés, non nécessairement contigus (d'où cette appellation de fragment plutôt que segment), et d'organiser ces fragments à différents niveaux de façon hiérarchique. pour obtenir cette nouvelle structure thématique, nous avons proposé une autre façon de mesurer la cohésion lexicale, à travers une analyse de salves 1 . une telle analyse considère les différentes positions d'un mot dans un texte et les intervalles temporels entre ses répétitions. elle étudie donc si un mot se situe au début, au milieu ou à la fin d'un document, et s'il apparaît fréquemment avec des occurrences successives très rapprochées ou plutôt uniformément réparties à travers le document @xcite , et ce, à différents niveaux de détail. dans @xcite , nous avons évalué cette nouvelle façon de structurer hiérarchiquement des données textuelles grâce à une comparaison qualitative par rapport à une segmentation dense classique. les résultats de cette évaluation montrent que la hiérarchie de fragments obtenue présente une meilleure focalisation thématique que la segmentation classique. afin d'examiner plus avant ses capacités, nous proposons ici d'évaluer le potentiel de cette nouvelle structuration thématique -et donc plus généralement du paradigme des fragments saillants -dans les contextes applicatifs du résumé automatique par extraction et de la détection d'ancres en hyperliage vidéo (de récents résultats sur la structuration de collections montrent en effet que le langage est un élément crucial pour l'établissement de liens entre vidéos (eskevich et al., 2013)). précisons que la détection d'ancres concerne l'identification de fragments de vidéos qu'un utilisateur peut considérer comme de bons points d'entrée pour naviguer au sein d'une collection de vidéos. une telle évaluation applicative a pour objet de souligner le potentiel de cette nouvelle structuration à capturer -et ce, malgré la compression des données qu'elle opère en n'étant pas dense -tous les aspects importants d'un texte, qualité particulièrement fondamentale pour produire des résumés et pointer des ancres pertinentes. pour cette double évaluation dirigée par la tâche, nous nous appuyons d'une part sur des données textuelles classiques mais également sur un jeu de données plus difficile contenant des transcriptions automatiques d'émissions de télévision. l'article est organisé de la façon suivante : en section 2, nous présentons un survol des différentes approches de segmentation thématique hiérarchique existantes et de leurs limites, et introduisons le paradigme des fragments saillants. nous détaillons en section 3 l'algorithme permettant de produire une hiérarchie de fragments thématiquement focalisés. nous proposons enfin en section 4 l'évaluation par le biais d'applications de la structure produite par cet algorithme, dans le contexte du résumé automatique et de la détection d'ancres. une première approche, parmi les travaux s'intéressant à la segmentation thématique hiérarchique classique, consiste à appliquer un algorithme de segmentation linéaire récursivement @xcite . plusieurs algorithmes de segmentation thématique linéaire ont ainsi été plongés dans un cadre hiérarchique, parmi lesquels on peut citer textseg @xcite , lcseg @xcite , bayesseg @xcite , c99 @xcite ou encore cwm @xcite . seules quelques études se sont penchées sur la modélisation explicite de la structure thématique hiérarchique. parmi elles, @xcite décrit hierbayes, algorithme non supervisé formalisé dans un cadre probabiliste bayésien. son principe sous-jacent est que chaque mot d'un texte est représenté par un modèle de langage estimé sur une portion plus ou moins importante de texte. une pyramide de modèles de langage est alors construite, les modèles de haut niveau expliquant les mots dans de grandes parties du document, tandis que les modèles de langue de bas niveau expliquent un ensemble local de mots. pour produire la segmentation hiérarchique, l'algorithme cherche à maximiser la cohésion lexicale des segments à chaque niveau de la hiérarchie, imposant actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln que les frontières à un niveau supérieur dans cette hiérarchie soient alignées avec celles calculées aux niveaux inférieurs. le point faible de cette approche est qu'elle ne peut pas traiter les cas de segments thématiques de longueurs variables, et qu'elle nécessite des informations préalables sur la longueur attendue des segments à chaque niveau et sur le nombre de niveaux de la hiérarchie. les auteurs de (kazantseva & szpakowicz, 2014) proposent quant à eux d'utiliser le modèle graphique de propagation d'affinités hiérarchique présenté dans (givoni et al., 2011) pour extraire la structure thématique hiérarchique. cette approche requiert également de l'information a priori sur la granularité de la segmentation. dans (moens & busser, 2001), les auteurs décrivent une approche ascendante qui consiste à connecter les segments qui ont un lien hiérarchique pour inférer la structure d'un texte. ils s'appuient sur des heuristiques génériques portant sur les chaînes lexicales pour extraire le thème principal de chaque phrase, telles que la position dans la phrase, la persistance par rapport aux phrases précédentes, les références pronominales... ces heuristiques sont considérées comme applicables à plusieurs langues à ordre sujet-verbe-objet, tels que l'anglais, le français ou le néerlandais. les débuts, interruptions et fins de chaînes lexicales sont vus comme porteurs d'informations précieuses sur les frontières des thèmes. les techniques décrites précédemment ont été principalement appliquées à des textes standards et présentent toujours des limites, non abordées dans la littérature. dans le cas de l'application récursive d'un algorithme de segmentation linéaire, il est ainsi difficile de décider quand arrêter de segmenter. de plus, les erreurs de segmentation à un niveau sont propagées aux autres niveaux, ce qui rend l'évaluation du potentiel réel de la méthode difficile. par ailleurs, le nombre de mots considérésde plus en plus faible au fur et à mesure de l'application récursive de l'algorithme -et l'écart thématique de moins en moins marqué entre les sous-segments à distinguer -des sous-sous-thèmes d'un thème initial étant moins différents entre eux que ce thème des autres thèmes initialement repérésquestionnent fortement les capacités des approches fondées sur la répétition de vocabulaire. un autre aspect important généralement non pris en compte lors de l'application récursive d'algorithmes de segmentation linéaire est que les mots qui ont contribué à la segmentation d'un niveau dans la hiérarchie devraient avoir une importance différente pour l'obtention des segments à d'autres niveaux. par ailleurs, certains des algorithmes qui extraient directement la hiérarchie ont besoin d'informations sur le niveau de granularité et les longueurs attendues des segments, informations non disponibles dans un scénario réel. toutes ces limites nous ont conduits à envisager d'une autre façon la segmentation thématique hiérarchique et à proposer, dans @xcite , une nouvelle structuration hiérarchique. cette structuration est obtenue à l'aide de l'algorithme htff (pour hierarchy of topically focused fragments) qui, plutôt que de chercher les changements de thèmes pour aboutir à une segmentation dense classique, extrait des fragments thématiquement focalisés organisés de façon hiérarchique, en exploitant le phénomène de salves d'occurrences. il repose sur le fait que la présence de salves lexicales indique un focus thématique marqué. dans @xcite , les auteurs soulignent que les mots en rafales caractérisent mieux les thèmes du discours. de même, kleinberg, dans @xcite , soutient cette idée et suggère qu'un thème devrait être caractérisé par une « explosion d'activité ». se fonder sur le phénomène de salves des mots signifie aussi aller au-delà du modèle sac-de-mots qui est un descripteur pauvre des occurrences des mots @xcite @xcite . d'ailleurs, des travaux sur les lois statistiques en langue ont présenté des modèles de détection de rafales qui analysent les motifs distributionnels des mots @xcite pour surmonter les déficiences du modèle multinomial. si l'analyse de salves a été soulignée comme potentiellement intéressante et si des modèles de détection des rafales ont été proposés, ces derniers n'ont en revanche pas été exploités dans un cadre de structuration thématique des textes, ce que nous actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln avons fait dans @xcite avec l'algorithme htff que nous décrivons plus en détail dans la section suivante. ## l'algorithme htff l'algorithme htff prend en compte l'information positionnelle des mots, ce qui signifie qu'il s'intéresse au fait qu'un mot apparaisse avec des occurrences successives proches ou, au contraire, avec des intervalles longs entre ses répétitions. chaque fois qu'un mot arrive par salve, on considère que quelque chose de notable et important se passe au niveau textuel par rapport au reste du texte. cet aspect notable est représenté par un regain d'activité dans l'utilisation d'un mot qui va être ensuite associé à un thème. l'algorithme htff capture les rafales d'activité en s'appuyant sur l'algorithme de kleinberg @xcite qui, pour chaque mot, reconnait s'il présente des salves et produit, dans ce cas, une représentation imbriquée de l'ensemble de ses salves (c-à-d une hiérarchie d'intervalles de salves). les mots en rafales tendent à être caractérisés par des intervalles de temps longs entre leurs apparitions suivis par des intervalles de temps courts, tandis que les autres mots présentent des intervalles d'apparition avec moins de différences @xcite . la figure 2 illustre la sortie de l'algorithme de kleinberg, algorithme qui fonctionne sans connaissance a priori du nombre de niveaux à produire et détermine directement les frontières des intervalles de salves. en 2(a), deux intervalles de salves détectés pour le mot « cours » dans une transcription automatique d'une émission tv envoyé spécial sont illustrés. les cercles représentent les occurrences du mot dans l'ensemble de la transcription ; ces occurrences conduisent à la formation de deux intervalles de salves, marquant le début et la fin des groupes de souffle de la transcription dans lesquels ce mot apparaît de façon notable. un aspect particulièrement intéressant de l'algorithme de kleinberg est qu'il produit en fait une hiérarchie d'intervalles de salves pour chaque mot. comme cela est représenté en 2(b), le mot « cours » présente, au début du premier intervalle de salve du niveau 1, une fréquence de répétition localement plus élevée. modéliser les différent intervalles temporels entre occurrences conduit à l'obtention de la représentation imbriquée des intervalles de salves à différents niveaux. chaque niveau de cette représentation correspond à une certaine intensité dans l'utilisation du mot, le niveau le plus élevé indiquant une intensité plus forte avec des écarts plus petits entre les répétitions du mot. en exploitant l'algorithme de kleinberg fournissant une hiérarchie des intervalles de salves pour chaque mot d'une collection de documents, nous avons proposé @xcite l'algorithme htff qui réalise un regroupement agglomératif des intervalles de salves pour construire une organisation thématique de chaque document. la figure 3 représente les étapes de cet algorithme permettant de créer la hiérarchie de fragments thématiquement focalisés, sur un exemple à deux mots a et b. tout d'abord, les intervalles de salves des différents mots à un niveau de la hiérarchie sont considérés et, chaque fois que des intervalles se chevauchent, ils sont regroupés pour former un intervalle plus grand. chaque nouvel intervalle peut être représenté par les mots en rafales qui ont conduit à sa formation. ce regroupement peut être fait en parallèle pour chaque niveau dans la hiérarchie des salves, ce qui conduit à la création de nouveaux intervalles à différents niveaux de la hiérarchie. les intervalles en bleu (c-à-d les résultats du regroupement) vont correspondre aux fragments focalisés de l'algorithme htff. nous donnons en figure 4 un exemple de la structure de sortie obtenue en appliquant htff sur une transcription automatique de l'émission tv de la bbc castle in the country, avec des images-clés issues des fragments formés au niveau le plus haut de la hiérarchie. on peut remarquer un fragment figure 3 -obtention de la hiérarchie de fragments thématiquement focalisés par regroupement des fragments qui se chevauchent à chaque niveau de la hiérarchie des salves. thématiquement focalisé de 0.01 à 10.5 (format du temps : minutes.secondes) qui peut être caractérisé par les mots dont le regroupement des intervalles de salves forme ce fragment (par exemple ballroom, king...). si on zoome au sein de ce fragment, d'autres fragments thématiquement focalisés plus petits apparaissent, tels celui de 0.01 à 1.50 caractérisé par certains des mots ayant contribué à la création du niveau inférieur (c-à-d celui sur lequel on a zoomé). on peut également observer l'absence de contiguïté des fragments (par exemple, de 1.50 à 2.29). notre approche réalise en fait une compression des données initiales, ne conservant que l'information saillante. l'information laissée de côté est considérée comme du simple remplissage, c-à-d des portions de données qui n'apportent pas d'information additionnelle intéressante. dans la section suivante, nous nous penchons sur l'évaluation de cet algorithme et de sa production dans le contexte de deux cadres applicatifs : le résumé automatique et la détection d'ancres. ## évaluation par le biais d'applications jusqu'à présent une preuve de concept pour l'algorithme htff a été réalisée grâce à une comparaison qualitative et quantitative avec une segmentation dense traditionnelle, pour laquelle une segmentation hiérarchique de référence existe. l'évaluation directe de cet algorithme est en effet quelque chose de difficile car il n'existe pas de vérité-terrain correspondant à la structure hiérarchique produite, et la production d'un guide d'annotation pour la créer est elle-même un défi. par conséquent, nous proposons ici d'étudier l'impact de la structure obtenue dans le contexte du résumé automatique d'une part (sous-section 4.1) et de la détection d'ancres d'autre part (sous-section 4.2). dans cette nouvelle structure hiérarchique des données non dense, c'est-à-dire avec des fragments non contigus, une partie du contenu à divers niveaux de détail est éliminée. pour les tâches au sein desquelles nous voulons utiliser cette nouvelle structure, il est important cependant que l'information principale soit conservée. par conséquent, ces évaluations par le biais d'applications ont pour objet de montrer qu'en utilisant htff ce qui est important dans les données est bien préservé. les corpus utilisés pour le résumé automatique sont d'une part les transcriptions de 7 émissions de tv envoyé spécial (automatiques pour les 7 et manuelles pour 4 d'entre elles) et, d'autre part, un corpus de romans foot_0 proposé pour cette tâche dans @xcite . ce dernier corpus contient 20 chapitres issus de plusieurs romans du 19 e siècle et début du 20 e , et a été scindé en deux groupes de 10 chapitres. les chapitres de chaque groupe ont été annotés manuellement au niveau phrase selon un ensemble d'instructions 3 par trois personnes, plus un annotateur commun pour les deux groupes (l'auteur de @xcite ). quatre résumés manuels sont donc produits pour chaque chapitre de chacun des deux groupes. le corpus de transcription d'émissions tv est plus difficile car les transcriptions ne respectent pas les normes de l'écrit : pas de signes de ponctuation, pas de majuscules, une structuration non pas en phrases mais en groupes de souffle, et des erreurs de transcription. nous avons choisi ce corpus pour montrer que l'algorithme htff est robuste aux données bruitées. pour la tâche de détection d'ancres, l'évaluation correspond à la nouvelle tâche search and anchoring in video archives (sava) de la campagne d'évaluation mediaeval (eskevich et al., 2015). dans cette tâche, les participants doivent définir les segments-ancres pour 33 vidéos d'émissions tv de la bbc. les émissions ont une durée moyenne de 45 minutes. les vidéos ont été enregistrées entre le 1 er avril 2008 et le 31 juillet 2008 et sont très variées : des actualités, des séries tv, des documentaires, des émissions pour enfants, du sport, des divertissements... en plus du contenu des vidéos, les organisateurs ont également fourni les transcriptions manuelles réalisées par des experts, ainsi que les transcriptions automatiques obtenues à l'aide de différents systèmes de reconnaissance automatique de la parole, parmi lesquels les systèmes du limsi (gauvain et al., 2002) et du lium (rousseau et al., 2014). pour nos expérimentations, nous sommes appuyés sur les transcriptions manuelles et celles du système limsi. toutes les données ont été lemmatisées avec treetagger, et seuls les noms, les verbes non modaux et les adjectifs ont été conservés.