Vers l’évaluation continue des systèmes de recherche d’information. (2023)

Abstract: Cet article présente le corpus de données associé à la première campagne évaluation LongEval dans le cadre de CLEF 2023. L’objectif de cette évaluation est d’étudier comment les systèmes de recherche d’informations réagissent à l’évolution des données qu’ils manipulent (notamment les documents et les requêtes). Nous détaillons les objectifs de la tâche, le processus d’acquisition des données et les mesures d’évaluation utilisées.

## principes et objectifs la collection de la tâche de recherche d'information de longeval s'appuie sur un large ensemble de données (un corpus de 4,2 missions de pages, 2500 de requêtes réelles, un grand nombre d'évaluations de pertinence tirées de vraies interactions avec des utilisateurs) fourni par le moteur de recherche qwant ( https://www.qwant.com ). elle reflète les changements de la recherche de pages web à travers le temps, en fournissant un corpus de documents et des requêtes qui évoluent. a notre connaissance, de telles caractéristiques ne sont pas proposées dans une campagne d'évaluation, à l'échelle sur laquelle nous nous concentrons. le paradigme de cranfield, classique dans l'évaluation de la recherche d'information, ne prend pas en compte d'élément temporel : le corpus, les requêtes, et les évaluations de pertinence sont fixés une fois pour toute. les collections de test robust @xcite et twitter @xcite contiennent les dates de création des documents, mais ne considèrent pas cette information en tant qu'objet d'étude. la seule collection qui intègre explicitement l'aspect temporel dans la recherche d'information ad-hoc est le récent jeu de données trec-covid @xcite , qui propose un corpus évolutif sur le covid. trec-covid contient quelques dizaines de milliers de documents et 45 requêtes au total. dans longeval, les échelles de données sur bien supérieures : longeval est la seule grande collection avec des données acquises en 2022, qui a pour objectif d'évaluer les capacités des systèmes de ri modernes à se confronter à des données évolutives. de plus, le corpus de longeval est en français et en anglais, ce qui nous différencie des collections multilingues telles que clef ehealth @xcite , dans lesquelles le français et l'anglais sont intégrées de manière limitée. ## les données nous décrivons ici le processus général d'acquisition des données issues du moteur de recherche web qwant, et la création des différents composants de la collection. l'acquisition globale est périodique et récurrente dans le temps afin de constituer une séquence de sous-collections aux temps t, t' et t". une sous-collection présente les caractéristiques d'une collection de test traditionnelle (requêtes, documents, jugements de pertinence), sauf qu'elle partage un ensemble commun de sujets (qui ne sont pas les requêtes elles-mêmes) avec les autres sous-collections. elle est définie par : cette acquisition est basée sur des sujets populaires -mais stables à long terme -et est effectuée une seule fois pour l'ensemble de la collection de recherche d'information longeval.