Comment arpenter sans mètre : les scores de résolution de chaînes de coréférences sont-ils des métriques ? (Do the standard scores of evaluation of coreference resolution constitute metrics ?) (2020)

Abstract: Cet article présente un travail qui consiste à étudier si les scores les plus utilisés pour l’évaluation de la résolution des coréférences constituent des métriques de similarité normalisées. En adoptant une démarche purement expérimentale, nous avons vérifié si les scores MUC, B3 , CEAF, BLANC, LEA et le meta-score CoNLL respectent les bonnes propriétés qui définissent une telle métrique. Notre étude montre que seul le score CEAFm est potentiellement une métrique de similarité normalisée.

## introduction disposant de ressources linguistiques d'envergure servant aussi bien à l'apprentissage de modèles qu'à leur test, le tal a recours à des mesures quantitatives pour évaluer ses avancées et étudier la pertinence d'approches alternatives. généralement, l'évaluation consiste à comparer les réponses du système à une référence idéale (appelée gold standard), à l'aide d'un score bien choisi. ce rôle central de l'évaluation quantitative interroge notre discipline d'un point de vue méthodologique et déontologique. en effet, si une réflexion éthique en recherche doit concerner les productions de cette recherche, elle doit également concerner la manière dont ces recherches sont conduites. on sait en effet que par delà le modèle poppérien de réfutabilité, la recherche est une activité sociale @xcite ) dont il est bon d'interroger les pratiques. lors de la mise en place d'une campagne d'évaluation, de nombreuses questions méritent ainsi d'être posées : le choix d'un score pertinent est assez évident dans les cas simples. si l'on considère une tâche de catégorisation telle que l'attribution d'une valence émotionnelle (positif, négatif, aucune) à un tour de parole, le recours à des scores standards pour la classification (rappel, précision, f-mesure) est assez naturel. notons toutefois que retenir la f-mesure (non pondérée) comme juge de paix pose déjà question : certaines applications peuvent privilégier un besoin en rappel ou au contraire en précision, plutôt que de viser l'optimisation conjointe des deux, telle qu'évaluée par la f-mesure. le choix d'un score adéquat est au contraire bien moins évident dans le cas des systèmes end-to-end de tal, et ce pour deux raisons principales : -d'une part, il n'est pas toujours évident de définir une référence qui propose une vérité terrain incontestable, de même qu'il n'est pas facile d'évaluer qualitativement si un écart à la référence est plus grave qu'un autre. si nous prenons ainsi l'exemple de la traduction automatique, comment caractériser une bonne traduction ? -d'autre part, les tâches complexes ajoutent souvent au problème de la catégorisation celui de la segmentation en unité, ou de l'alignement entre unités. là encore, il est alors délicat de savoir quelle segmentation est plus contestable qu'une autre face à ces difficultés conceptuelles, la communauté scientifique a souvent proposé plusieurs fonctions d'évaluation alternatives pour une tâche donnée. des études ont été conduites pour étudier les biais et limites de chaque proposition, sans arriver le plus souvent à démêler cet écheveau. cette situation était prévisible, car souvent, chaque score répond à un objectif d'évaluation particulier. ce constat se retrouve précisément dans la problématique étudiée dans cet article : la résolution des coréférences. de multiples fonctions d'évaluation ont été proposées, qui répondent chacune à des manières peu conciliables d'appréhender la segmentation d'un texte en chaînes de références. ceci conduit à des résultats sensiblement différents suivant le score utilisée (moosavi & strube, 2016) le travail présenté dans cet article vise à clarifier cette situation en vérifiant quelles propriétés formelles vérifient les scores les plus utilisés. plus précisément, nous proposons de vérifier quels scores peuvent être considérés comme des métriques de similarité normalisées. ces contraintes formelles ne constituent pas le seul critère de choix d'un score d'évaluation. elles ne rendent pas compte des biais statistiques et ne parlent que de manière indirecte des liens qui existent entre évaluation objective et jugement humain. si l'on cherche à mesurer la qualité d'un système, il nous semble toutefois important d'étudier les propriétés formelles de l'outil de mesure utilisé. dans un premier temps, nous présentons la tâche de résolution des coréférences, puis les différents scores qui ont été proposés pour l'évaluer. la section suivante décrit les propriétés formelles qui définissent une métrique de similarité normalisée. nous présentons ensuite notre protocole d'étude. la présentation des résultats est enfin l'occasion de donner un tableau synthétique de l'intérêt de ces scores d'évaluation très répandus. ## l'évaluation pour la coréférence on définit une mention comme un mot ou groupe de mots référant à un élément de l'univers du discours appelé entité, et une chaîne de coréférences comme l'ensemble des mentions référant à une même entité. on dit de deux mentions référant à une même entité qu'elles sont coréférentes et on nomme singleton toute entité qui ne compte qu'une unique mention. par définition, une mention réfère nécessairement à une unique entité. l'ensemble des chaînes de coréférences d'un document forme donc une partition de l'ensemble des mentions de ce document, dont les chaînes de coréférences sont les parties. considérons l'énoncé suivant : elles 1 tournent, tournent les aiguilles 1 , ne m' 2 dis plus qu'c'est passager furax barbarossa -fin 2006 dans cet exemple ainsi que dans les suivants, chaque mention sera indicée par le numéro de l'entité auquel elle réfère. cet exemple est composé de trois mentions et des deux entités suivantes : 1 : elles , les aiguilles 2 : m' (singleton) étant donné un document et l'ensemble des mentions le composant 1 , la tâche de résolution des chaînes de coréférences consiste à produire une partition de mentions (que l'on appellera sys) aussi proche de la vérité (appelé gold) que faire se peut. l'évaluation consiste ainsi à attribuer un score à la partition sys en fonction de sa similarité avec la partition gold. or, il s'avère qu'une partition peut être caractérisée de plusieurs manières, induisant chacune différentes méthodes de comparaison. deux mentions coréférentes peuvent par exemple être vues respectivement comme appartenant à un même ensemble, référant à une même entité, ou encore comme étant liées par un lien (relation) de coréférence. il existe alors plusieurs manières d'évaluer les différences (et donc les similarités) entre le gold et le sys suivant la vision de la coréférence adoptée. figure 1 -représentations des partitions de nos exemple gold (en haut) et sys (en bas) suivant différentes approches de la coréférence : (a) chaînes de maillons (b) ensemble de liens de coréférence (c) ensemble de liens de coréférence, en gras et de non coréférence, en traits fin (d) vision ensembliste par les deux liens j' 1 -moi 1 , j' 3 -m' 3 . dans ce cas, il faudrait ajouter au sys les quatre liens suivants pour retrouver le gold : j' -j' , j' -m' , moi -j' , moi -m' pour que sys et gold soient égaux. ce raisonnement peut être poursuivi dans une approche qui se focalise sur une vision ensembliste (figure 1 ;d). dans ce cas, il faut déplacer les mentions j' et m' dans l'ensemble représentant l'entité 1 pour identifier gold et sys. soit donc deux opérations. arrêtons là la démonstration pour simplement constater que plusieurs scores ont été proposés, qui répondent à ces différentes approches : -muc, proposé par vilain et al. (1995) comme fonction d'évaluation de la tâche muc6 (muc consortium, 1995). muc considère le nombre minimum de liens nécessaires pour décrire les deux partitions et calcule une similarité en fonction de la proportion de ces liens correctement résolus (i.e. qui sont communs au gold et au sys). -b 3 proposé par bagga & baldwin (1998) s'intéresse, pour toutes les paires d'entités de gold et de sys, au nombre de mentions correctement résolues. -ceaf, proposé par @xcite , choisit le meilleur appariement entre les entités gold et sys puis s'intéresse à la proportion de mentions correctement résolues, mais uniquement pour les entités ainsi appariées. la définition de meilleur appariement n'a pas une solution unique, @xcite propose ainsi deux alternatives, l'une centrée sur les mentions, nommée ceaf m , l'autre centrée sur les entités et nommée ceaf e -blanc @xcite ces fonctions de scores sont définies par une évaluation de la proximité entre sys et une unique partition gold. dans une perspective d'interprétabilité, il est intéressant de les étudier plus généralement comme des estimations de la similarité entre deux partitions, sans nécessairement que l'une d'entre elles ait un rôle privilégié. ainsi, il serait par exemple souhaitable que deux sorties systèmes proches donnent également des scores proches quand elles sont comparées au gold et, par extension, que deux systèmes donnant des sorties similaires obtiennent également des scores proches. dans une perspective de conception de systèmes, pouvoir estimer directement la proximité de sorties systèmes sans passer par une référence serait également souhaitable, par exemple pour étudier la sensibilité d'un système au variations dans un choix de paramètres. dans la suite de cet article, nous étudions précisément les propriétés formelles de ces scores, non pas en termes d'adéquation avec une référence mais en terme de similarité entre deux partitions. pour ce faire, nous nous intéressons en particulier aux propriétés définissant une métrique de similarité normalisée. ## métrique de similarité normalisée la notion de métrique de distance fait l'objet d'une définition reconnue, à l'inverse de celle de similarité qui est le plus souvent ramenée au complément d'une distance @xcite . vérifier si un score est une métrique de similarité normalisée nous parait important. en effet, une métrique de similarité normalisée dispose de bonnes propriétés qui rendent intelligibles les écarts de performance qu'elle peut mesurer. lorsque l'on compare les performances de différents systèmes, on opère des jugements cognitifs de similarité. à la suite de shepard (1962), de multiples travaux en psychologie ont suggéré que ces jugements relèvent d'une évaluation de distance dans un espace métrique, ceci même si certains biais peuvent conduire à des violations de la contrainte de métricité sur des cas limites @xcite . ces violations n'empêchent pas de même @xcite de considérer que la propriété d'inégalité triangulaire favorise l'intelligibilité des comparaisons. d'un point de vue pratique, le statut de métrique de similarité est préservé par plusieurs opérations élémentaires telles que la somme et le produit avec une autre métrique de similarité, ainsi que par l'application d'une fonction convexe positive strictement croissante (chen et al., 2009). cette dernière opération permet un rééquilibrage du score pour obtenir une distribution plus uniforme des valeurs sur l'intervalle [0, 1] et donc d'obtenir un score plus aisément interprétable, tandis que somme et produit sont utiles pour construire des scores d'évaluation combinés tel que conll. ## protocole pour cette étude, nous avons défini un protocole de vérification des propriétés précédentes pour chacun des scores présentés plus haut. on adopte une démarche qui a pour objectif non pas de valider ces propriétés (ce qui ne peut se faire que formellement), mais de tenter de les falsifier à l'aide de jeux de tests bien choisis . cette méthode a l'avantage de s'appliquer à toute fonction de score, que son fonctionnement interne soit connu ou pas. elle s'applique par ailleurs à des fonctions de score qui ne seraient pas définies formellement, mais répondraient par exemple à des estimations statistiques. notons que dans les cas de falsification, notre démarche a force de preuve analytique : nous sommes en effet en mesure de donner un contre-exemple. la démarche employée tire parti de deux traits spécifiques à l'évaluation de la coréférence. premièrement, les scores ne sont calculés que pour évaluer des partitions d'un même ensemble de mentions. deuxièmement, la similarité entre deux partitions ne dépend que des relations définies par les partitions, et aucunement d'une éventuelle sémantique propre aux mentions. ainsi, une propriété vérifiée pour toutes les partitions d'un ensemble de n éléments particuliers le sera également pour toutes les partitions de tous les ensembles à n éléments. réciproquement, un contre-exemple valable pour un ensemble à n éléments particulier le sera pour tous les ensembles à n éléments. suivant ce principe, pour chaque propriété -par exemple : (3) (s(a, b) < s(a, a) -on génère toutes les partitions de l'ensemble des n premiers nombres entiers positifs, et on remplace chacune des variables dans la définition de la propriétéa et b pour la propriété 3 -par toutes les combinaisons de partitions de cet ensemble. ainsi, si l'on considère @xmath0, on obtient deux partitions : {{1, 2}} et {{1}, {2}}. on évalue alors les cas présentés en figure 2. on procède exhaustivement jusqu'à @xmath1. ## résultats les résultats des expérimentations sont résumés dans la nos tests montrent que blanc est le plus souvent symétrique. la propriété n'est enfreinte que lorsqu'une des partitions considérées est composée uniquement de singletons ou d'une entité unique. blanc est en effet défini par une formule générale, mais aussi par des cas particuliers dans ces situations. en l'occurrence, ces cas particuliers s'avèrent être la cause de la non-symétrie du score. on pourrait penser que ces cas particuliers sont rares et peuvent être négligés. il convient cependant de se rappeler que plus l'ensemble de mentions considéré est petit, plus la probabilité de rencontrer l'un de ces cas particuliers est élevée. ainsi, 6 des 15 combinaisons de deux partitions créées sur un ensemble de trois mentions débouchent sur l'un de ces cas particuliers non-symétriques. identité à 1 -en second lieu, on remarque que ni muc, ni conll ne respectent la propriété 7, d'identité à 1 lorsqu'une partition est comparée à elle-même. comme précédemment, cette propriété semble être généralement respectée et uniquement enfreinte dans le cas où la partition comparée à elle-même est composée uniquement de singletons. muc a été définie dans le cadre d'une tâche où la notion de singleton était ignorée. muc n'a donc pas été conçue pour en tenir compte et vaut 0 dans le cas où l'une des partitions n'est composée que de singletons. conll étant défini comme une moyenne de scores intégrant muc, lorsque muc est égal à 0, conll ne peut nécessairement pas être supérieur à 2 3 . un score ne respectant pas l'identité à 1 a pour défaut de rendre l'interprétation de score plus complexe. dans le cas présent, afin d'être correctement interprétés les scores muc et conll devraient être accompagnés d'une information supplémentaire, indiquant si l'une des partitions est composée uniquement de singleton. un score ne respectant pas cette propriété pose de forts problèmes d'interprétation. il est alors possible pour deux partitions sys très similaires d'obtenir des scores très différents. l'inégalité triangulaire est ainsi la propriété donnant son coeur à la notion de métrique.