1Recherche d’information
dynamiqueRobin Joganah, étudiant à la maîtrise
Directeurs de recherche :Pr. Luc Lamontagne
Pr. Richard KhourySommaire•••••••••

Définition de la recherche d’information (IR)Évaluation d’un système
Introduction de la compétition TREC
Prétraitement du corpus
Processus de recherche d’information
Entités nommées et segmentation en phrase
Traitement du retour de l’utilisateur
Résultats et travaux en cours
Conclusion2

Qu’est-ce que la recherched’information ?
•C’est l’action de trouver un document de nature non structuréequi satisfasse un besoin d’information dans une large collection.

•Visible tous les jours avec les moteurs de recherche en ligne(Google, Yahoo)3

Évaluation d’un système derecherche d’information•

Rappel••Proportion de documents pertinents retenus

Précision•

Proportion de documents retenus qui sont pertinents

4Évaluation d’un système derecherche d’information

Retenus

Pertinent

5Évaluation d’un système derecherche d’information
Retenus par le système

Pertinent

6

Introduction de la compétition
TREC•

Compétition / Conférence de recherche d’information depuis
1992•

Avancées du domaine grâce à la création de corpus permettantd’évaluer et de comparer les systèmes

7

Objectifs de la compétition•••

Trouver les intérêts sousjacents de l’utilisateur(sous-sujets)
Modélisation d’undomaine
Exploitation du retour del’utilisateurRequête initiale

PolarScience
Produits
illicites
Politiquelocale8Requête
à l’indexSystème

Index
Documents
retournés

Ebola
Retour utilisateur•

Naviguer au travers denombreux documents nonjugés

Exemple de Requête•healthcare impacts of ebola•

Les sous-sujets doivent être découverts :•••healthcare insurance
healthcare costs of ebola
provider impacts

9

Exemple d’interaction avec
l’utilisateur simulé

10

Vue globale du système
Recherched’information
initiale

Traitement duretour del’utilisateur

Submit 5Documents

11

Utilisateur

Recherched’information

Nouvelle requête = Requête ini0ale + mots de l’expansion

Méthode d’évaluation d’unsystème dynamique• Les mesures classiques ne capturent pas la couverture desintérêts de l’utilisateur• Introduction du CubeTest! Mesure du gain d’information pour chaque sous-sujet! Les passages pertinents remplissent le cube
! Un score de CubeTest est meilleur pour un système qui
remplit moyennement plusieurs cubes (sous-sujets) qu’unsystème remplissant pleinement une minorité de sous-sujets.

12Méthode d’évaluation d’unsystème dynamique13

Prétraitement des données• Le jeu de données concernant le virus Ebola contientprès de 200 000 pages web:o Bruit important pour le K-Means / LDAo Introduction d’erreurs de sujet à cause desinformation extérieures à l’article• BoilerPipe permet d’extraire uniquement un article
d’une page14

Prétraitement

15Comparaison du système avec
ou sans prétraitement sur lesrequêtes concernant Ebola

16

Processus de recherched’information•

Moteur de recherche : Solr avec différentes mesures de similarités•

Algorithmes de diversification:•Latent Dirichlet Allocation (LDA)•

K-Means17

Mesures de similarités•

Modèle vectoriel : TF * IDF•

Modèle Probabiliste : Okapi BM25•

Language Model (Bayes) : LM•

Unigramme

18Comparaison des mesures desimilarités19

Prior LM dirichlet

20

Latent Dirichlet Allocation (LDA)• Modélisation de topics• Choix du nombre de topics fixé
• Extraction des mots les plus probables de chaque Topic• Expansion de requête avec chaque topic

Pr. David Blei (Columbia University)21

K-means Clustering• À partir d’une recherche le moteur nous retourne les documents lesplus pertinents, maisi ils peuvent être très similaires• Besoin de divserification pour couvrir des topics différents• Choix du nombre de groupes déterminé(Nombre de sous-topics visé)

22Segmentation et sélection dephrases•

Les articles peuvent n’avoir qu’une partie de leur contenu
pertinente par rapport à l’intérêt de notre utilisateur•

La segmentation en phrase peut nous permettre de nous
concentrer sur le contenu autour de notre sujet•

Le fait de se concentrer sur les éléments peut nous permettre dediminuer le bruit global du jeu de données, et d’avoir une meilleuremodélisation. (Mais aussi perte d’information)

23

Segmentation et sélection dephrases•

Example with« DANIEL BEREHULAK » query :•Daniel Berehulak is a freelance photographer represented byReportage by Getty Images•For the past six weeks photographer Daniel Beherulak has been
covering the virus’ deadly spread for the New York Times•

When Berehulak first arrived in Monrovia on Aug. 22 – armed with 300
pairs of gloves 35 Personal Protective Equipment suits goggles surgicalface masks hand sanitizers and countless rolls of tape – he met with
Getty Images photographer John Moore who had been covering theEbola crisis for a week.

24Comparaison des résultats del’algorithme LDA appliqué à
tout le document vs sur lesphrases pertinentes

25Comparaison des algorithmes
de diversification avec notre
système de base26

Feedback processing27

Doc 1 : +Doc 2 : -Doc 3 : +Doc 4 : -Doc 5 : +Extraction desmots desdocuments
pertinents et despassages surlignésRequête initiale + mots
extraits

Reconnaissance d’entités
nommées•

Les passages de textes peuvent être longs•

Il faut extraire des informations qui ont un certain sens•

Les entités nommées sont multi-domaine (Entités géopolitiques,organisations , personnes)

28

Reconnaissance d’entités
nommées
Retour sur l’exemple précédent
•When Berehulak first arrived in Monrovia on Aug. 22 – armed with 300 pairsof gloves 35 Personal Protective Equipment suits goggles surgical facemasks hand sanitizers and countless rolls of tape – he met with Getty
Images photographer John Moore who had been covering the Ebola crisis
for a week.

29

Rocchio•

Rocchio Relevance Feedback•

Trouver les mots commun des documents pertinents tout ensoustrayant les mots apparaissant dans les documents nonpertinents•(a=1, b=0.75, c=0.25)

30

Rocchio---31+++++++q+++------ - -q0 Requête initiale+-+ + ++ + +Requête mise à jour - - - -20 janvier 2017

+-

3
1

32
20 janvier
2017

Exemple de recherche
interactive
Facebook
account priceRelancer larecherche…

20 janvier 2017

Comparaison du retour del’utilisateur

33Comparaison avec l’état del’art

34

Conclusion• Le prétraitement avec BoilerPipe montre une amélioration
intéressante du système• La segmentation en phrase est capable d’améliorer lesystème en utilisant un algorithme de diversification• Les algorithmes de diversifications n’ont pas l’impact espéré
sur le système• Travaux futurs:• Modélisation des domaines avec Word2Vec• Travailler à un critère d’arrêt intelligent (mesure du gainpar topic)

35

Questions ?

36