C o SPLADE : Adaptation d’un Modèle Neuronal Basé sur des Représentations Parcimonieuses pour la Recherche d’Information Conversationnelle (2023)

Abstract: La recherche conversationnelle est une tâche qui vise à retrouver des documents à partir de la questioncourante de l’utilisateur ainsi que l’historique complet de la conversation. La plupart des méthodesantérieures sont basées sur une approche multi-étapes reposant sur une reformulation de la question.Cette étape de reformulation est critique, car elle peut conduire à un classement sous-optimal des do-cuments. D’autres approches ont essayé d’ordonner directement les documents, mais s’appuient pourla plupart sur un jeu de données contenant des pseudo-labels. Dans ce travail, nous proposons une tech-nique d’apprentissage à la fois “légère” et innovante pour un modèle contextualisé d’ordonnancementbasé sur SPLADE. En s’appuyant sur les représentations parcimonieuses de SPLADE, nous montronsque notre modèle, lorsqu’il est combiné avec le modèle de ré-ordonnancement T5Mono, obtient desrésultats qui sont compétitifs avec ceux obtenus par les participants des campagnes d’évaluation TRECCAsT 2020 et 2021. Le code source est disponible sur https://github.com/anonymous.

## introduction avec le développement des assistants conversationnels comme siri, alexa ou cortana, la recherche d'information (ri) conversationnelle est devenue un domaine de recherche important @xcite . une recherche est effectuée au cours d'une session, à la manière d'une conversation naturelle : le besoin d'information de l'utilisateur est exprimé par une séquence d'interactions (questions ou questions puis réponses), introduisant ainsi des interdépendances complexes entre les différents "tours". les modèles neuronaux de ri se sont avérés très performants pour cette tâche @xcite . ils différent des travaux antérieurs car ils reposent sur une étape d'expansion de question basée sur l'historique @xcite , qui prend en compte toutes les questions passées et leurs réponses associées. ce modèle de reformulation est généralement appris sur le jeu de données canard @xcite , qui se compose d'une série de questions et de leurs réponses associées, ainsi que d'une question désambiguïsée -appelée question oracle. cependant, s'appuyer sur une étape de reformulation est coûteux en calcul et peut s'avérer sousoptimal, comme souligné dans @xcite . @xcite utilisent colbert @xcite en inférence sans aucun entraînement du modèle ("zéro-shot"), en remplaçant la question par la séquence de questions, ce qui est clairement sous-optimal. (lin et al., 2021) proposent d'apprendre une représentation dense contextualisée de l'historique des questions, en optimisant une fonction d'ordonnancement sur un jeu de données composé de labels simulés. le processus d'apprentissage est complexe (e.g., labels non fiables), et long. nous présentons ici notre participation à la campagne d'évaluation trec cast @xcite , étendue dans une papier long à ecir @xcite . nous proposons une approche faisant le lien entre l'ordonnancement préalable ("first-stage") et l'étape intermédiaire de reformulation. notre modèle est une extension du modèle splade @xcite basé sur l'apprentissage de représentations parcimonieuses, permettant ainsi d'extraire des mots pertinents pour la reformulation. le processus d'apprentissage est "léger", car nous nous concentrons sur les questions et n'utilisons aucun jugement de pertinence. nous alignons la représentation de la question contextualisée par la conversation à celle de la question désambiguïsée définie par l'oracle. nous utilisons ensuite un modèle de ré-ordonnancement neuronal en tirant parti des représentations parcimonieuses pour fournir un contexte conversationnel sous la forme de mots-clés sélectionnés par splade. ## modèle contextualisé pour la recherche d'information conversationnelle la campagne d'évaluation trec cast se concentre sur des sessions de recherche conversationnelle contenant environ 10 tours d'échanges. chaque étape correspond à une question et la réponse canonique qui lui est associée foot_0 , qui sert ensuite de contexte pour les questions futures. pour chaque tour @xmath0, où n est le dernier tour de la conversation, nous désignons par q n la question correspondante et a n sa réponse canonique. le contexte d'une question q n au tour n correspond à l'ensemble des questions et réponses précédentes et éventuellement les réponses associées. l'objectif principal du challenge trec cast est de retrouver, pour chaque question q n et son contexte -c'est-à-dire les tours de la conversation -les passages pertinents d dans une collection de passages d. notre approche se base sur deux étapes d'ordonnancement.