Augmentation de jeux de données RI pour la recherche conversationnelle à initiative mixte (2023)

Abstract: Une des particularités des systèmes de recherche conversationnelle est qu’ils impliquent des initiatives mixtes telles que des questions de clarification des requêtes générées par le système pour mieux comprendre le besoin utilisateur. L’évaluation de ces systèmes à grande échelle sur la tâche finale de RI est très difficile et nécessite des ensembles de données adéquats contenant de telles interactions. Cependant, les jeux de données actuels se concentrent uniquement sur les tâches traditionnelles de RI ad hoc ou sur les tâches de clarification de la requête. Pour combler cette lacune, nous proposons une méthodologie pour construire automatiquement des ensembles de données de RI conversationnelle à grande échelle à partir d’ensembles de données de RI ad hoc afin de faciliter les explorations sur la RI conversationnelle. Nous effectuons une évaluation approfondie montrant la qualité et la pertinence des interactions générées pour chaque requête initiale. Cet article montre la faisabilité et l’utilité de l’augmentation des ensembles de données de RI ad-hoc pour la RI conversationnelle.

## introduction les systèmes conversationnels, y compris les assistants personnels et les chatbots, sont de plus en plus populaires pour une grande variété de tâches, notamment la recherche d'informations (ri) en ligne. bien que des modèles de langue (ml) récents, comme chatgpt d'openai @xcite , aient démontré leur capacité à répondre à des questions factuelles, ceux-ci ne peuvent pas être considérés comme des systèmes de recherche conversationnelle. en effet, ces derniers sont entraînes à générer le texte le plus probable sans faire explicitement référence aux sources et sans garantie de véracité, ce qui amplifie les biais potentiels et les fausses vérités observés dans les données d'apprentissage @xcite . pour surmonter cette limitation, les systèmes de recherche conversationnelle doivent s'appuyer sur des capacités de recherche d'informations pour localiser les sources/documents pertinents @xcite @xcite @xcite . pour améliorer la qualité des réponses, des modèles tels que lamda @xcite , webgpt @xcite ou sparrow @xcite peuvent additionnellement conditionner la génération de réponses à des informations récupérées par un outil de recherche d'information indépendant. ceci ne garantit pas que les informations utilisées soit pertinentes, conduisant potentiellement à des réponses non véridiques ou non informatives @xcite . comme le suggère @xcite il est important d'inclure les capacités de recherche d'information dans l'évaluation des modèles de recherche conversationnelle dans leur ensemble. au-delà de la génération de réponses en langage naturel, l'une des principales capacités des systèmes de recherche conversationnelle est leur participation (pro)active à la conversation avec les utilisateurs afin de les aider à clarifier ou à affiner leurs besoins en information (initiative mixte). @xcite @xcite @xcite @xcite @xcite @xcite . les travaux pour évaluer la ri conversationnelle @xcite @xcite se concentrent principalement sur l'évaluation de la qualité de la génération de questions de clarification à l'aide de jeux de données alignés, tels que qulac @xcite et clariq @xcite qui contiennent des paires de requêtes et de questions de clarification, mais seulement sur 237 sujets différents. d'autres taches comme trec cast @xcite se concentrent sur l'évaluation des capacités à retrouver les documents pertinents sans prendre en compte les interactions à initiative mixte. ces limites démontrent la nécessité de construire des ensembles de données de ri à grande échelle contenant non seulement les requêtes de l'utilisateur mais aussi les interactions mixtes, utilisateur-système, mais aussi des signaux de pertinence. la collecte de telles données conversationnelles est un défi, en raison du coût élevé d'annotation. dans le contexte des systèmes de recommandation @xcite @xcite @xcite ont construit des jeux de données conversationnels en utilisant des annotateurs jouant le rôle de l'utilisateur et du système de recommandation autour d'objectifs et d'éléments prédéfinis. grâce à la génération automatique, d'autres méthodes proposent de simuler les dialogues à partir de données de recommandation existantes @xcite @xcite @xcite . les tentatives ci-dessus ont été possibles car les données de recommandation contiennent des articles annotés avec des catégories limitées et des caractéristiques discrètes telles que la couleur, la marque ou la gamme de prix. en ri, le transfert de ces approches est difficile dans la mesure où ces caractéristiques ne sont pas discrètes ou pas facilement identifiables, et les besoins en information sont beaucoup plus diversifiés. les jeux de données disponibles sont très limités. le jeu de données qulac fournit 10000 interactions à tour unique avec un tuple (intention, requête, question de clarification, réponse) sur 200 sujets seulement @xcite . c'est loin d'être suffisant pour entraîner ou évaluer les techniques de ri conversationnelle dans divers contextes. dans notre travail, nous visons à générer automatiquement des interactions à initiatives mixtes entre un utilisateur et un système et proposer une méthodologie pour augmenter les jeux de données de ri ad-hoc. pour ce faire, nous concevons un générateur de question de clarificationainsi qu'une simulation utilisateur. nous les utilisons pour générer des interactions à initiative mixte sur le jeu de données de ri msmarco. en ce qui concerne la tâche de question-réponse (qa), des jeux de données conversationnels (e.g., coqa @xcite ) ont été construits à partir de données qa "one-shot" telle que squad @xcite , quac @xcite , eli5 @xcite , ou openqa (chen et al., 2017) en évaluant aussi la capacité à retrouver les contextes pertinents pour répondre aux questions . malgré cette démarche intéressante, ces jeux de données sont insuffisants pour la ri car ils se concentrent généralement sur des questions factuelles au lieu de questions complexes ou exploratoires qui caractérisent les besoins en information.le jeu de données trec cast @xcite étend la portée des questions et aborde différentes facettes d'information au sein de la conversation (une facette peut être considérée comme une sous-catégorie spécifique du sujet). cependant, le nombre de dialogues disponibles est très limité. d'autres jeux de données, tels que canard @xcite , se concentrent sur le raffinement ou la reformulation des requêtes, sans interactions proactives de la part du système. le jeu de données mimics @xcite contient des questions de clarification de domaine ouvert à grande échelle recueillies auprès d'utilisateurs réels sur le moteur de recherche bing.cependant, ce jeu de données ne fournit pas de jugements de pertinence des documents ni d'interactions conversationnelles entre l'utilisateur et le système. les jeux de données qulac et clariq contiennent à la fois des jugements de pertinence de documents et les conversations mixtes associées. ils sont construits à partir de la collection trec web track 2009-12, qui fournit des paires de sujets et de facettes annotés, associés à des documents pertinents. les réponses des utilisateurs ont été collectées par le biais de plateformes de crowd-sourcing. cependant, la collecte de ces interactions a été coûteuse et les jeux de données restent petits avec seulement 237 sujets et 762 facettes de sujets. cela est limité pour l'entraînement et l'évaluation des systèmes de recherche conversationnelle. face au manque de jeux de données adéquats, une idée de plus en plus répandue dans la communauté consiste à s'appuyer sur la simulation d'utilisateurs pour évaluer les systèmes de recherche conversationnelle : @xcite . les simulations d'utilisateurs, qui consistent à imiter les requêtes et les réponses des utilisateurs, permettent d'évaluer diverses stratégies sans avoir de trajectoires de conversations prédéfinies dans les données. par exemple, salle et al @xcite évaluent leurs systèmes de clarification de requêtes avec une simulation utilisateur visant à générer des réponses. la simulation d'utilisateur est également exploitée pour concevoir des cadres d'évaluation pour les systèmes de recommandation conversationnels @xcite @xcite @xcite , donnant lieu à de grandes interactions de dialogue synthétique à partir de jeux de données de recommandation ad hoc. cependant, dans le contexte de la recommandation, les conversations sont générées grâce a des contraintes de recherche explicites sur des caractéristiques annotées comme la gamme de prix, la couleur, l'emplacement, le genre de film ou la marque @xcite @xcite @xcite malheureusement, des approches similaires ne peuvent pas être utilisées pour les tâches de recherche complexes et exploratoires @xcite . dans la ri à domaine ouvert, les facettes qui sous-tendent les besoins en information ne sont pas nécessairement discrètes ou facilement identifiables, ce qui rend beaucoup plus difficile l'identification et l'annotation des besoins des utilisateurs. ## évaluation de la méthodologie de génération dans cette section, nous évaluons notre méthodologie, et en particulier, la qualité des interactions simulées. veuillez noter que nous nous concentrons sur l'augmentation du jeu de données msmarco, mais que notre méthodologie peut être généralisée à tout jeu de données de ri ad hoc. ## conclusion et discussion il existe un besoin critique d'ensembles de données adéquats avec des interactions à initiative mixte pour la ri conversationnelle, mais la création d'un tel jeu de données est très coûteuse. la collecte à grande échelle de donnée de recherche conversationnelle interactive mixte dans un domaine ouvert avec un jugement de pertinence de document annoté reste très coûteuse. dans cet article, nous avons proposé une méthode pour augmenter les ensembles de données ir ad hoc en simulant une forme simple d'interactions de clarification entre un utilisateur et un système. cette méthode génère automatiquement les questions et les réponses à partir d'un grand jeu de données ri, permettant d'expérimenter des approches ri conversationnelles à grande échelle. l'approche proposée est générique et peut être appliquée à tout jeu de données ri ad hoc existant. dans les expériences, nous avons augmenté le jeu de données msmarco et évalué la qualité des interactions avec les tâches intrinsèques et extrinsèques, en nous appuyant sur des métriques automatiques et des évaluations humaines. les résultats montrent que, malgré la simplicité de nos approches, les interactions générées sont pertinentes pour les intentions de recherche et utiles pour un meilleur classement des documents. de plus, nous étendons notre méthodologie à un cadre de clarification multi-tours et fournissons des expériences préliminaires mettant en évidence le potentiel de notre méthodologie. il s'agit d'une première approche pour l'augmentation d'ensembles de données à grande échelle pour la ri conversationnelle. il démontre la faisabilité de la construction automatique de jeux de données. en tant que première investigation, cette étude présente plusieurs limites qui pourront être améliorées dans le futur. -dans un premier temps, notre investigation se limite à clarifier des questions basées sur une seule facette, souvent assimilées à des questions du type : "fais-tu référence à 'facette' ?". cependant, de véritables questions de clarification peuvent également poser des questions sur plusieurs sujets/facettes en un seul tour (ex : êtes-vous intéressé à connaître sujet1, sujet2 ou sujet3) ou également être formulées comme ouvertes questions terminées (par exemple, "qu'aimeriezvous savoir sur sujet ?"). ces questions plus complexes sont plus difficiles à générer et à répondre dans les simulations, mais peut potentiellement apporter plus d'informations et être plus naturel dans la conversation. -deuxièmement, l'extraction des facettes reposait sur quelques mots-clés et cela peut être amélioré. nous observons que lorsque les passages sont longs et traitent de plusieurs sujets, la question générée peut ne pas représenter le sujet abordé dans le passage. l'extraction des facettes doit être améliorée. -troisièmement, la simulation de l'utilisateur a été limitée aux réponses 'oui'/'non'. dans une recherche conversationnelle plus sophistiquée, l'utilisateur pourrait fournir des informations plus et diverses dans la réponse. simuler des réponses d'utilisateurs plus complexes est un défi pour l'avenir. -enfin, nous avons également généré des interactions multi-tours mais n'avons pas considéré la dépendance entre les tours. dans une recherche conversationnelle réelle, les tours ultérieurs peuvent dépendre des précédents. des simulations plus raisonnables d'interactions multitours devraient tenir compte de la dépendance. ce cadre doit être profondément réfléchi. en effet, les conversations générées ne sont qu'une concaténation de plusieurs tours de clarification indépendants autour d'une même requête utilisateur. il est crucial de définir une stratégie pour sélectionner la bonne séquence de questions de clarification afin d'optimiser la réussite de la session de recherche. malgré les limites, la démonstration de faisabilité faite dans cet article pour créer des jeux de données de ri conversationnelles à grande échelle ouvre la porte à d'autres enquêtes à grande échelle sur le sujet. cela dit, nous espérons cependant que notre méthodologie aiderait la communauté à définir des cadres d'évaluation pour la ri conversationnelle en tirant parti des jeux de données ri ad hoc existants.