Conception d’un système de détection d’intention pour un moteur de recherche sur I nternet (Designing a User Intention Detection system for a Web Search Engine) (2020)

Abstract: Dans les moteurs de recherche sur Internet, l’une des tâches les plus importantes vise à identifier l’intention de l’utilisateur. Cet article présente notre étude pour proposer un nouveau système de détection d’intention pour le moteur de recherche sur Internet Qwant. Des logs de clic au système de détection d’intention, l’ensemble du processus est expliqué, y compris les contraintes industrielles qui ont dû être prises en compte. Une analyse manuelle des données groupées a d’abord été appliquée sur les journaux afin de mieux comprendre les objectifs de l’utilisateur et de choisir les catégories d’intention pertinentes. Lorsque la recherche satisfait aux contraintes industrielles, il faut faire des choix architecturaux et faire des concessions. Cet article explique les contraintes et les résultats obtenus pour ce nouveau système en ligne.

## introduction une intention est un but derrière une action spécifique ou un ensemble d'actions. lorsqu'un utilisateur fait une requête sur un moteur de recherche, il a généralement un but spécifique qui peut être identifié et classé. dans ce contexte, la détection d'intention est une caractéristique clé d'un moteur de recherche sur internet. au fur et à mesure que la recherche sur les objectifs de l'utilisateur progresse, il est nécessaire de caractériser plus précisément les requêtes afin de mieux répondre aux besoins de l'utilisateur @xcite . au début, des systèmes fondés sur des règles ont été utilisés pour identifier des tentatives particulières. des études plus récentes ont favorisé l'utilisation de solutions d'apprentissage actes de la 6e conférence conjointe journées d'études sur la parole (jep, 33e édition), traitement automatique des langues naturelles (taln, 27e édition), rencontre des étudiants chercheurs en informatique pour le traitement automatique des langues (récital, 22e édition) nancy, france, 08-19 juin 2020 volume 4 : démonstrations et résumés d'articles internationaux, pages 50-52. hal : hal-02768512. cette oeuvre est mise à disposition sous licence attribution 4.0 international. ce travail a eu lieu dans un contexte industriel, le moteur de recherche qwant. elle implique des contraintes spécifiques en raison de la spécificité du moteur de recherche ainsi que des impératifs de production. le premier défi industriel est le passage à l'échelle du système de détection. comme les utilisateurs n'aiment pas attendre pour avoir leur réponse, la détection de l'intention doit avoir un faible impact sur la latence globale du moteurs de recherche. le deuxième défi industriel était l'absence de métadonnées disponibles pour contextualiser la requête. en fait, qwant est un moteur de recherche sur internet axé sur la confidentialité, ce qui signifie qu'aucune information personnelle n'est stockée sur aucun serveur ni collectée (pas d'historique, pas d'adresse ip, pas de session). seuls les logs de clics peuvent être utilisés dans le modèle d'intention. ces logs se composent d'une liste de tuples avec une requête faite par un utilisateur anonyme et l'url qui a été cliquée. l'analyse des regroupements (ou grappes) joue un rôle important dans le domaine de l'exploitation des données. dans cette étude, l'algorithme des k-moyennes a été utilisé sur les requêtes comme tâche préliminaire pour trouver de l'information sur les modèles. nous avons obtenu des regroupements fins avec @xmath0. alors que wikipedia est écrit en langue naturelle avec peu d'erreurs d'orthographe, les requêtes des logs sont très bruitées et très courtes (la longueur moyenne d'une requête est d'environ 3,1 mots). nous regroupons les requêtes à l'aide de représentation continues de phrases en considérant ces dernières comme un sac de mots (joulin et al., 2017). nous avons appris des représentations continues de mots de 300 dimensions sur l'ensemble des données (le wikipedia français et les logs de clics complets). utilisant les résultats du regroupement automatique, chaque grappe a été traitée manuellement pour identifier les intentions pertinentes et les regrouper en utilisant les sites internet les plus pertinents comme graine. nous avons traité de la même façon pour toutes les classes et obtenu une liste de graines intéressantes pour chaque intention. (p.ex. : jeuxvideo.com, gamekult.com et steampowered.com pour la classe « jeux vidéos »). enfin, 100 millions de requêtes ont été regroupées en seize catégories pour créer le modèle de classification d'intention. 2000 requêtes additionnelles ont été annotées manuellement pour l'évaluation. 3 performances & conclusion le modèle obtenu a un score de 83,60 de précision en considérant les 16 classes du corpus de test. afin de répondre aux contraintes industrielles, le modèle a été chargé à l' aide d' un serveur rest en c++ pistache 1 . the temps de réponse moyen est de 0,45 ms, ce qui représente environs 2 200 requêtes par seconde. le code de l'api est disponible sur github 2 . enfin, le déploiement a permis une amélioration mesurée du taux de clic sur le shopping de plus de 35%. 1. pistache (pistache.io) 2. https://github.com/qwantresearch/text-classifier/