Un modèle simple de coût cognitif de la résolution d’anaphores (A Simple Model of Cognitive Cost of Anaphora Resolution) (2016)

Abstract: Nous présentons un travail en cours sur un projet de recherche en TAL et en psycholinguistique. Le but de notre projet est de modéliser le coût cognitif que représente la résolution d’anaphores. Nous voulons obtenir une mesure du coût cognitif continue et incrémentale qui peut, à un stade de recherche plus avancé, être corrélée avec des mesures d’occulométrie sur corpus. Pour cela, nous proposons une modélisation inspirée par des techniques venues du TAL. Nous utilisons un solveur d’anaphores probabiliste basé sur l’algorithme couples de mentions et la notion d’entropie pour établir une mesure du coût cognitif des anaphores. Ensuite, nous montrons par des visualisations quelles sont les prédictions de cette première modélisation pour les pronoms personnels de troisième personne dans le corpus ANCOR Centre.

## introduction lorsque les humains résolvent une anaphore, et ils sont amenés à le faire fréquemment, car c'est un phénomène massif en langue, ils font appel à de nombreuses connaissances et utilisent des heuristiques variées. ceci a été mis en évidence par de nombreux travaux en psycholinguistique où l'influence d'une multitude de facteurs a été étudiée, comme par exemple la causalité implicite, les rôles grammaticaux des candidats antécédents ou l'influence des connecteurs de discours @xcite @xcite . le coût cognitif joue un rôle important dans l'étude de ces facteurs. en effet, en mesurant le coût cognitif en fonction des types d'anaphore ou des contextes linguistiques, on peut étudier comment les humains résolvent les anaphores. le coût cognitif est mesuré indirectement en utilisant des paradigmes expérimentaux qui enregistrent des temps de réaction (par exemple @xcite ou en utilisant des enregistrements occulométriques (par exemple @xcite , voire en ayant recours à des procédés d'imagerie cérébrale (par exemple @xcite . on dispose donc à l'heure actuelle d'un ensemble de données sur le coût cognitif de cette tâche. l'objectif global du projet dont nous présentons ici des résultats préliminaires, est d'élaborer un modèle computationnel cognitivement motivé de résolution anaphorique qui pourra simuler les performances des sujets humains en termes de coût cognitif. l'idée est qu'en étudiant les caractéristiques des modèles computationnels qui simulent le mieux le fonctionnement des sujets humains (en termes de facteurs pris en compte, information nécessaire à l'apprentissage, algorithmes de résolution, etc.), on pourra d'un côté apporter à la psycholinguistique de nouveaux moyens pour départager ou d'élaborer des théories, et d'une autre côté bénéficier d'une nouvelle source d'inspiration pour les applications en tal. notre projet s'inspire de travaux portant sur l'analyse syntaxique automatique qui visaient le même type d'objectif @xcite @xcite . plus précisément, il a été développé des modèles computationnels de l'analyse syntaxique qui ont la propriété d'être incrémentaux et probabilistes, ce qui les permet, à chaque étape de l'analyse, c'est-à-dire pour chaque mot d'une phrase, de mesurer un coût. le coût, basé sur les probabilités du modèle d'analyse syntaxique, a pu être corrélé avec des temps de lectures sur corpus (par exemple @xcite , montrant ainsi sa pertinence vis-à-vis le comportement humain. nous voulons élaborer un modèle de coût pour les anaphores ayant ces mêmes propriétés : être incrémental et probabiliste, pour pouvoir à terme le corréler aux temps de lectures. ce que nous proposons dans cet article est une première tentative de modélisation de ce coût des anaphores. pour ce faire, nous prenons comme point de départ les modèles de coût cognitifs proposés pour la syntaxe. nous décrivons notamment la théorie de la surprise @xcite et l'hypothèse de la réduction d'entropie @xcite qui sont à la base de notre propre démarche. ensuite, nous présentons un système de résolution d'anaphores venant du tal, fonctionnant par couples de mentions 1 probabiliste @xcite , dont nous utilisons les probabilités pour calculer un coût cognitif de l'anaphore basée sur l'entropie @xcite . comme notre recherche est toujours en cours, nous n'avons pas encore évalué les prédictions du modèle vis-à-vis du coût cognitif mesuré pour les humains. cependant, nous proposons une visualisation de notre mesure qui nous permet de faire une première évaluation qualitative et nous présentons des perspectives qu'ouvre ce premier travail. ## modélisation computationnelle du coût cognitif dans cette section, nous présentons les travaux qui sont à la base de notre démarche : la théorie de la surprise @xcite et l'hypothèse de la réduction d'entropie @xcite . après avoir étudié ces deux théories, nous présenterons des travaux qui proposent d'élaborer les mesures de coût cognitif de la syntaxe, pour couvrir plus de phénomènes linguistiques et obtenir une meilleure corrélation avec des temps de lecture sur corpus. règle probabilité 1. @xmath0,0 2. @xmath1,7 3. @xmath2,3 2.1 la théorie de la surprise la surprise est une propriété d'un événement qui a une probabilité (sheldon et al., 1998). intuitivement, si nous faisons une expérience et que nous obtenons un événement e, nous sommes surpris d'obtenir ce résultat si p(e) est toute petite. par contre, si p(e) est très grande, nous ne sommes pas vraiment surpris. la surprise est donc une fonction qui est inversement liée à la probabilité d'un événement (voir l'équation (1)). ainsi, un événement d'une grande probabilité aura une surprise moins élevée qu'un événement d'une faible probabilité. les modèles de coût cognitif syntaxique basés sur la surprise utilisent un parseur incrémental qui traite les phrases d'un texte mot par mot. à chaque nouveau mot, les règles du parseur peuvent être soit maintenues, soit écartées. prenons comme exemple très simple la grammaire hors-contexte probabiliste présentée à la figure 1. si la règle 1 est active, au sens où le parseur cherche à valider cette règle, alors les règles 2 et 3 sont toutes les deux disponibles. si par la suite, le mot le (catégorie det) est lu par le parseur, la règle 3 doit être écartée. la surprise du mot le est égale à la surprise de la masse de probabilité des règles maintenues. plus formellement, la surprise d'un mot w i est égale à la probabilité conditionnelle du préfixe de la phrase avec w i inclus, sachant le préfixe de la phrase sans w i (voir équation (2)). alors, pour la grammaire de la figure 1, pour le mot le elle est égale à -log 2 (0, 7) = 0, 51. si, dans un autre scénario, le parseur rencontrait le mot john, la situation demanderait le maintien de la règle 3 et l'écart de la règle 2. la surprise serait alors -log 2 (0, 3) = 1, 74. la surprise est donc plus haute quand on rencontre des structures moins fréquentes. la théorie de la surprise propose que le coût cognitif induit lors du traitement des phrases soit égal à la surprise @xcite . l'adéquation des prédictions du modèle de surprise peut être illustrée par un exemple repris de hale (2001) qui montre que le modèle simule correctement le fait que l'analyse par les humains est plus coûteuse pour une phrase relative objet que pour une phrase relative sujet. dans la figure 2, reprise de hale (2001), nous pouvons voir les prédictions du modèle pour ces deux types de phrase. à chaque mot, la surprise est calculée, en considérant les règles de la grammaire hors contexte représentée dans la figure 2. la différence entre la phrase relative sujet et la phrase relative objet se joue au niveau des règles respectives s[+r] → np[+r] vp et s[+r] → np[+r] s/np 2 . si le parseur rencontre une phrase relative, il ne sait pas s'il doit appliquer la première ou la deuxième règle jusqu'à un mot après who, qui est reconnu par la règle np[+r] → who. si l'on prend la phrase relative sujet de la figure 2, le moment où le parseur lit saw, la surprise est calculée par rapport à p(the man who saw|the man who). or, cette probabilité est de 0, 869 • 1, 0 • 1, 0 et donne une surprise de 0, 203, car pour ajouter saw au préfixe de la phrase, on utilise les règles s[r+] → np[+r] vp, @xmath3, 869, 1, 0 et 1, 0. par contre, si après le préfixe the man who, le parseur figure 2 -surprise pour les mots d'une phrase relative sujet et une phrase relative objet basée sur une grammaire hors contexte probabiliste. figure reprise de hale (2001). règle probabilité @xmath4, 33 @xmath5, 33 @xmath6, 33 @xmath7, 0 @xmath8, 5 @xmath9, 5 @xmath10, 0 s[r+] → np[+r] vp 0, 869 s[r+] → np[+r] s/np 0, 131 s/@xmath11, 0 vp/@xmath12, 0 @xmath13, 0 @xmath14, 0 np[+r] → who 1, 0 @xmath15, 0 @xmath16, 0 np/@xmath17, 0 lit le mot you, il doit calculer p(the man who you|the man who). pour cela, il applique les règles s[r+] → np[+r] s/np, s/@xmath18, et @xmath19, 131, 1, 0 et 0, 33. la surprise pour la phrase relative objet est alors -log 2 (0, 131 • 1, 0 • 0, 33) = 4, 527. la théorie de la surprise définit donc le coût cognitif en termes de probabilités des événements qui se manifestent lors de l'analyse syntaxique. @xcite ont trouvé qu'elle expliquait les temps de lectures sur le dundee eye-tracking corpus @xcite . en faisant un modèle linéaire mixte qui inclut aussi des facteurs de bas niveau comme, entre autres, la longueur de mots, la fréquence de mots et la position des mots sur la ligne, les auteurs ont trouvé que la surprise contribuait significativement à l'adéquation du modèle en s'appuyant critère d'information d'akaike.