Appariement d’articles en ligne et de vidéos : stratégies de sélection et méthodes d’évaluation (Pairing On-line News Articles to Videos : Selection Strategies and Evaluation Methods) (2016)

Abstract: Dans cet article, nous proposons une méthode d’appariement de contenus d’actualité multimédias, considérant les exigences à la fois sémantiques et temporelles du besoin d’information. La pertinence d’une vidéo pour un article de presse est mesurée par deux indices, l’un saisissant la similarité de leurs contenus, l’autre la cohérence de leurs dates d’édition. Nous présentons également une méthodologie d’évaluation s’affranchissant des standards comparant les résultats du système à des résultats de référence, en soumettant les paires de documents proposées automatiquement à un panel d’utilisateurs chargé de juger de leur pertinence.

## introduction la presse a connu ces dernières décennies de nombreuses transformations, notamment depuis la fin des années 90 lorsque les organismes de presse ont commencé à proposer leurs contenus au format numérique, accessibles directement sur le web @xcite . depuis, les modes de consommation de l'information continuent d'évoluer et, aujourd'hui, on observe dans quantité de sites de presse une offre multimédia de l'information, notamment des vidéos que les utilisateurs semblent apprécier puisque la tendance est à l'augmentation de ce mode d'accès à l'information @xcite . face à la multitude d'articles publiés chaque jour, ainsi qu'une production quasi continue de vidéos d'information, comment faire le lien entre les données de ces différentes sources ? les travaux que nous menons relèvent de cette problématique : avec pour partenaires d'une part des sites de presse publiant quotidiennement des articles qu'ils souhaitent assortir d'une vidéo ; d'autre part des producteurs de contenus vidéos alimentant également quotidiennement une collection, notre objectif est d'apparier foot_0 l'une d'elles à chacun des articles traités. la tâche est doublement contrainte, à la fois par des critères de similarité de contenu et des critères temporels, afin de garantir à l'utilisateur final une cohérence documentaire dans son parcours de page web. dans cet article, nous présentons une méthode d'appariement article -vidéo basée sur des modèles de recherche d'information, en rappelant brièvement les travaux relevant de problématiques comparables. nous discutons ensuite de l'évaluation des performances du système, mise en perspective avec les méthodes classiques d'évaluation en recherche d'information, en témoignant de la difficulté d'adapter ces protocoles aux données de notre étude, et en proposant un modèle adapté à notre problématique. nous présentons finalement les conclusions et perspectives de ces travaux. ## association de contenus médias les données qui constituent notre corpus sont des documents vidéos décrits textuellement par un titre, un résumé et éventuellement une liste de mots-clés, provenant de différents producteurs de contenus, couvrant différentes thématiques. au total, plus d'une cinquantaine de producteurs distincts nous font parvenir des vidéos. parmi les plus actifs, on peut notamment citer euronews, tf1, bfm, afp, france 24 ou europe 1 dont les contenus relèvent essentiellement d'actualités politiques, économiques et sociétales d'étendue nationale et internationale ; fashion tv, zoomin ou public pour l'actualité people ; ainsi que d'autres plus marginaux tels que doctissimo, rmc sport, journal du geek, ... s'ajoute à cette hétérogénéité de contenus une diversité formelle puisque les tailles des résumés varient d'une phrase unique pour certains à une dizaine de paragraphes pour d'autres. chacune des vidéos intégrées à la collection est également décrite par un ou plusieurs thèmes indexés dans une nomenclature thématique à 24 entrées foot_1 , élaborée par les utilisateurs du système. en moyenne, et en fonction de l'actualité médiatique, ce sont 600 nouvelles vidéos qui sont indexées chaque jour au sein d'une collection en comptant plusieurs centaines de milliers. les articles, données d'entrée du système développé, nous arrivent sous forme d'urls desquelles on extrait foot_2 les contenus utiles à sa représentation, données textuelles telles que le titre et le corps de l'article, et métadonnées telles que la date et le site diffuseur. ces sites sont nombreux, mais comme pour les vidéos, seuls certains envoient régulièrement de nouveaux articles à traiter : parmi eux, des sites d'information généraliste tels que 20 minutes, europe 1, metro ou atlantico ; des aggrégateurs de contenus tels que portail free ; des sites de presse quotidienne régionale tels que la provence, la république du centre, le progrès ou midi libre. quelques milliers d'articles sont quotidiennement reçus de ces différentes sources pour traitement. nous construisons notre système d'appariement article -vidéo en divisant la tâche globale en deux modules distincts que sont : (1) un module de recherche d'information ; (2) un module de filtre et d'ordonnancement des résultats. ## évaluation des performances du système le paradigme de cranfield, décrit dans @xcite , reproduit en conditions expérimentales une situation de recherche d'information, et la majorité des travaux de ce domaine évaluent les performances de leurs systèmes par cette méthode : elle nécessite de sélectionner a priori un ensemble fini de requêtes, auxquelles est respectivement associé un ensemble fini de résultats jugés pertinents par un évaluateur, extraits d'une collection figée de documents. l'ensemble de test ainsi constitué sert de base de comparaison aux résultats automatiques, qui sont évalués en termes de précision (taux de résultats automatiques correspondant à des résultats de référence) et rappel (taux de résultats de référence retrouvés par le système). cette rapide description permet de constater que ce protocole d'évaluation n'est adapté ni à notre problématique (qui est de ne retourner qu'une vidéo pertinente pour un article), ni à nos données dont le dynamisme est une des caractéristiques principales : comment sélectionner pour un article un ensemble de résultats sachant que la collection de vidéos évolue sans cesse ? de précédents travaux - @xcite -discutaient déjà des biais de cette méthodologie, concernant en particulier la subjectivité et la non-exhaustivité des résultats de référence pour une requête. par ailleurs, contrairement aux systèmes de recherche d'information classiques, la collection de documents n'est pas exhaustive relativement à toutes les requêtes traitées : autrement dit, tous les articles reçus n'ont pas nécessairement de vidéo associée en base. le système développé doit considérer cette spécificité, et préférer ne proposer aucun résultat pour de tels articles, plutôt qu'un ou plusieurs résultats erronés. pour évaluer les performances de notre système d'appariement article/vidéo, on présente ses résultats à un ensemble de 5 utilisateurs spécialistes des contenus médiatiques. une interface dédiée à cette tâche propose, pour chaque article, la liste des 5 meilleures vidéos retournées par le système (si toutefois elles existent), et l'utilisateur a alors plusieurs choix devant lui : (1) sélectionner une des vidéos proposées automatiquement ; (2) sélectionner une vidéo hors des propositions du système, s'il considère qu'aucune n'est pertinente ; (3) ne rien sélectionner s'il estime qu'aucune vidéo de la collection n'illustre correctement l'article. ces choix manuels forment un ensemble de référence, auquel sont comparés les résultats automatiques, que l'on évalue comme des résultats de classification binaire, dont les deux classes sont celle des articles ayant des résultats en base (notée video), et celle des articles n'ayant aucun résultats en base (notée no video). les éléments de la classe video sont ensuite subdivisés en différents cas, selon le degré de corrélation entre les résultats automatiques et la sélection manuelle : on considère comme très bons les cas où l'utilisateur sélectionne la première vidéo proposée par le système (noté first) ; comme moins bons les cas où il sélectionne l'une des autres du top 5 (noté top 5) ; comme mauvais ceux où il sélectionne une vidéo qui n'a pas été proposée automatiquement (noté outside). la