Évaluation de mesures d’association pour les bigrammes et les trigrammes au moyen du test exact de Fisher (Using Fisher’s Exact Test to Evaluate Association Measures for Bigrams and Trigrams) (2017)

Abstract: Pour déterminer si certaines mesures d’association lexicale fréquemment employées en TAL attribuent des scores élevés à des n-grammes que le hasard aurait pu produire aussi souvent qu’observé, nous avons utilisé une extension du test exact de Fisher à des séquences de plus de deux mots. Les analyses ont porté sur un corpus de quatre millions de mots d’anglais conversationnel extrait du BNC. Les résultats, basés sur la courbe précision-rappel et sur la précision moyenne, montrent que le LL-simple est extrêmement efficace. IM3 est plus efficace que les autres mesures basées sur les tests d’hypothèse et atteint même un niveau de performance presque égal à LL-simple pour les trigrammes.

## introduction l'évaluation de l'efficacité des mesures d'association lexicale pour identifier les expressions polylexicales retient l'attention de nombreux chercheurs depuis plus de vingt ans @xcite @xcite . dans le cas de bigrammes, un grand nombre de mesures ont été comparées et plusieurs synthèses sont disponibles @xcite . les mesures d'association pour des n-grammes de plus de deux mots ont retenu beaucoup moins l'attention comme l'ont souligné @xcite , @xcite et @xcite . cette situation a probablement conduit certains chercheurs à privilégier la fréquence de cooccurrence brute comme critère de sélection @xcite . dans le cas des bigrammes, cependant, il est bien établi que la fréquence seule est insuffisante pour distinguer les séquences intéressantes de celles que le hasard aurait pu produire en aussi grand nombre qu'observé dans un corpus @xcite . @xcite , la fréquence devrait également être peu efficace pour identifier des séquences de plus de deux mots. pourtant, plus une séquence est longue, moins il est probable qu'elle se produise par hasard, même si elle est composée de mots fréquents. la question est donc de savoir quelle longueur doit avoir une séquence pour s'assurer que la fréquence brute ne sélectionne que les séquences qui ne sont probablement pas dues au hasard. cette question est en fait bien plus générale. elle se pose à propos de presque toutes les mesures d'association puisque celles-ci visent principalement à mettre en évidence des séquences dont la force d'association est suffisamment supérieure à ce que le hasard pourrait produire. si cela est évident pour les mesures d'association basées sur des tests d'hypothèses, tels que z ou ll-simple, c'est également vrai pour des mesures de taille d'effet, telles que im et ses variantes, car ces mesures comparent également les fréquences observées aux fréquences attendues par le seul effet du hasard, même si elles ne dérivent pas d'un test statistique. la comparaison de la fréquence aux mesures d'association est d'autant plus importante que @xcite a formulé des critiques très fortes contre l'utilisation des mesures d'association pour sélectionner les n-grammes les plus intéressants dans un corpus. pour essayer de répondre à cette question de l'efficacité des mesures d'association pour identifier des séquences de plus de deux mots, cette recherche propose d'employer le test exact de fisher, le test inférentiel considéré comme le plus adéquat pour analyser la fréquence de bigrammes dans un corpus @xcite @xcite . il est important de noter que cette étude vise uniquement à développer un point de vue complémentaire sur l'efficacité de certaines mesures d'association. en aucun cas, l'approche proposée ne pourra remplacer une évaluation fondée sur une liste étalon établie manuellement ou sur les bénéfices que les expressions polylexicales extraites automatiquement peuvent apporter à des applications du tal. la section suivante décrit l'approche employée pour étendre le test de fisher à des n-grammes de plus de deux mots. nous présentons ensuite une expérience, menée sur un corpus de quatre millions de mots, qui analyse les performances de six mesures d'association pour extraire des séquences de deux à quatre mots, les bigrammes servant de point de repère auquel les autres séquences sont comparées. le test exact de fisher est considéré comme le test inférentiel le plus adéquat pour calculer la probabilité que le hasard seul a de produire au moins autant d'occurrences d'un bigramme que le nombre effectivement observé dans un corpus @xcite @xcite . la proposition de fisher est de considérer l'ensemble des tables de contingence qu'il est possible de construire en respectant les totaux marginaux réellement obtenus et de déterminer la proportion de celles-ci qui donne lieu à un résultat au moins aussi extrême que celui observé, une table plus extrême étant une table dans laquelle la fréquence du bigramme est plus élevée que celle observée. la formule de calcul est basée sur la distribution hypergéométrique @xcite . son utilisation pour analyser des séquences de mots plus longues est toutefois problématique parce que cela implique d'analyser des tables de contingence à trois dimensions ou plus et que les procédures de calculs exacts pour celles-ci @xcite bestgen (2014) a proposé d'appliquer aux séquences de plus de deux mots la procédure approchée recommandée pour estimer la probabilité du test exact de fisher lorsque l'utilisation de la formule hypergéométrique n'est pas possible @xcite . cette méthode repose sur une procédure de permutation de type monte-carlo qui génère un échantillon aléatoire des tables de contingence possibles, compte tenu des totaux marginaux, et estime la probabilité exacte sur la base de la proportion de ces tables qui produisent une valeur au moins aussi extrême que celle observée. étant donné qu'un corpus est une longue séquence de formes graphiques, une table de contingence possible est simplement une permutation aléatoire de l'ensemble de ces formes. toute permutation de ces formes génère donc une table de contingence pour chacun des bigrammes originaux, résolvant le problème du grand nombre de tests à effectuer. cette procédure d'estimation peut être directement généralisée à des n-grammes plus longs en comptant ceux-ci dans chaque permutation. bestgen (2014) a montré que cette procédure permet une estimation presque parfaite de la probabilité du test de fisher pour tous les bigrammes dans un corpus, avec la limitation que le nombre de permutations effectuées détermine la précision de la probabilité, celle-ci ne pouvant être plus petite que 1 divisé par le nombre de permutations effectuées. la principale faiblesse de la procédure est donc son coût-calcul. ## expérience cette expérience vise à évaluer, au moyen du test de fisher, l'efficacité de six mesures d'association qui ont été proposées pour extraire des expressions polylexicales de corpus. ## analyses et résultats la principale question de recherche à laquelle cette étude tente de répondre est de déterminer si certaines mesures d'association attribuent des scores élevés à des n-grammes dont la fréquence de cooccurrence est susceptible de résulter du seul effet du hasard. le seuil de signification a été fixé à 0,05, ce qui implique qu'on accepte le risque qu'une séquence soit déclarée erronément statistiquement significative (donc, trop fréquente) dans 5 % des cas. la procédure séquentielle de holm @xcite a été utilisée pour tenir compte du grand nombre de tests effectués qui augmente la probabilité de décider de manière erronée qu'au moins un test est bigramme trigramme quadrigramme nbr. de n-grammes différents 96881 111164 53334 nbr. de n-grammes significatifs 27063 70942 52825 pm du niveau de base 0.279 0.638 0.990 étant donné que la liste des n-grammes pour lesquels le test de fisher indique qu'ils ne sont pas dus au hasard est considérée comme la référence à atteindre par les autres mesures, les résultats ont été résumés de la manière habituelle @xcite par des courbes précision-rappel (pr) et par la précision moyenne (pm, average precision). comme niveau de base, nous avons utilisé la précision moyenne atteinte par une mesure d'association qui classe les n-grammes au hasard @xcite . le nombre de n-grammes testés, le nombre de n-grammes significatifs pour le test de fisher et la pm du niveau de base sont donnés dans le tableau 1. on constate que presque tous les quadrigrammes sont considérés par le test inférentiel comme étant statistiquement significatifs, mais aussi que le niveau de base est beaucoup plus élevé pour les trigrammes que pour les bigrammes. ces résultats ont deux implications pour les analyses présentées dans la suite. tout d'abord, celles-ci n'ont été effectuées que sur les bigrammes et les trigrammes puisque presque tous les quadrigrammes présents dans le corpus au moins trois fois passent ce test inférentiel avec succès. cette observation répond donc à la première question posée dans cette étude : dès quatre mots, une séquence est suffisamment longue pour garantir que la fréquence brute ne sélectionne (quasiment) que des séquences qui ne sont probablement pas dues au hasard. toutefois, ce résultat ne démontre pas qu'ordonner les séquences sur la base de la seule fréquence est une procédure efficace pour extraire les meilleures expressions composées de plusieurs mots, les quadrigrammes arrivant en tête de liste n'étant pas nécessairement les meilleurs pour un annotateur humain. la deuxième conséquence concerne la comparaison des performances des mesures d'association pour les bigrammes et les trigrammes puisqu'une meilleure performance est attendue dans le second cas en raison du niveau plus élevé atteint par le hasard. pour cette raison, en plus de la pm standard, nous rapportons un nouvel indice appelé précision moyenne corrigée pour le hasard (pmch) obtenu en insérant dans la formule classique du kappa @xcite la pm du niveau de base, puisqu'il s'agit du niveau de performance que devrait produire un classement aléatoire des n-grammes. la formule de cet indice est donc : (p m o -p m nb)/(1 -p m nb) dans laquelle p m o représente la pm observée et p m nb celle du niveau de base. les figures 1 et 2 présentent les courbes pr. pour chaque mesure, la ligne commence au premier n-gramme qui ne passe pas le test inférentiel. jusqu'à ce point, la précision est donc de 100 %. pour faciliter la comparaison des figures, le point de départ de l'axe des y a été fixé à une valeur juste inférieure à la pm du niveau de base. le tableau 2 rapporte les pm et les pm corrigées pour le hasard. les courbes pr pour les bigrammes indiquent que ll-simple est de loin la meilleure mesure d'association, atteignant un niveau de performance presque parfait. elle est suivie par im3, z et t 2 . comme prévu, la fréquence brute est nettement moins efficace, sa courbe pr montrant qu'elle classe en tête figure 1 -courbes pr pour les bigrammes figure 2 -courbes pr pour les trigrammes pm pmch mesures d'association bigramme trigramme bigramme trigramme f 0.588 0.824 0.429 0.515 im 0.756 0.957 0.662 0.881 im3 0.947 0.998 0.926 0.994 z 0.934 0.985 0.909 0.959 t 0.931 0.959 0.905 0.886 ll-simple 0.993 0.998 0.990 0.995 il serait aussi intéressant, lors de la sélection initiale des n-grammes à évaluer, de prendre en compte les catégories morphosyntaxiques des mots qui composent les séquences @xcite . il est en effet possible que les performances de la fréquence brute, mais aussi de certaines mesures d'association, s'améliorent nettement si des profils syntaxiques spécifiques, comme adjectif + préposition + nom, sont testés. enfin, il faut rappeler la principale limitation de l'extension du test de fisher aux séquences de plus de deux mots : son coût-calcul. la procédure de monte-carlo limite fortement la précision des probabilités les plus faibles, produisant donc un grand nombre de séquences obtenant le meilleur score (la plus faible probabilité estimable). cette extension ne constitue donc pas un indice d'association viable, permettant de classer les séquences de la plus exceptionnelle à la moins exceptionnelle.