Analyse d’une tâche de substitution lexicale : quelles sont les sources de difficulté ? (Difficulty analysis for a lexical substitution task) (2016)

Abstract: Nous proposons dans cet article une analyse des résultats de la campagne SemDis 2014 qui proposait une tâche de substitution lexicale en français. Pour les 300 phrases du jeu de test, des annotateurs ont proposé des substituts à un mot cible, permettant ainsi d’établir un gold standard sur lequel les systèmes participants ont été évalués. Nous cherchons à identifier les principales caractéristiques des items du jeu de test qui peuvent expliquer les variations de performance pour les humains comme pour les systèmes, en nous basant sur l’accord inter-annotateurs des premiers et les scores de rappel des seconds. Nous montrons que si plusieurs caractéristiques communes sont associées aux deux types de difficulté (rareté du sens dans lequel le mot-cible est employé, fréquence d’emploi du mot-cible), d’autres sont spécifiques aux systèmes (degré de polysémie du mot-cible, complexité syntaxique).

## introduction les données produites dans le cadre d'une campagne d'évaluation peuvent être exploitées pour identifier les facteurs qui déterminent le niveau de difficulté de la tâche visée et qui influent sur les performances des systèmes. les objectifs de ce type d'étude sont multiples : prédire la difficulté d'un traitement, augmenter la pertinence des gold standards pour mieux prendre en compte les différents paramètres de la tâche, cibler les efforts à produire pour améliorer les performances des systèmes, concevoir des systèmes adaptatifs en fonction des caractéristiques des données en entrée. cette approche a en particulier été mise en oeuvre dans le domaine de la recherche d'information @xcite , mettant au jour le poids des caractéristiques linguistiques de la requête (taille et complexité syntaxique de la requête, présence de noms propres), ou de la collection ciblée. la tâche de désambiguïsation sémantique (wsd) a également donné lieu à de nombreuses études visant à comprendre les sources de difficulté pour l'annotation @xcite comme pour les systèmes @xcite . dans cet article, nous adoptons cette même démarche pour l'étude d'une tâche de substitution lexicale en français. cette tâche, qui associe désambiguïsation et recherche d'équivalent sémantique, met en jeu des processus dont la compréhension peut guider les traitements sémantiques lexicaux en contexte, en particulier ceux mis en oeuvre dans le domaine de la sémantique distributionnelle. nous avons fait le choix de nous intéresser à la fois aux systèmes participants (runs) et aux annotateurs qui ont permis de constituer le gold pour cette tâche. les deux aspects sont liés puisque la mesure des systèmes dépend en partie de la dispersion des propositions des annotateurs. néanmoins, ce double point de vue sur la tâche met au jour des caractéristiques complémentaires. après avoir décrit la tâche, nous présentons les caractéristiques prises en compte et qui concernent à la fois les phrases, les mots à substituer et les sens de ces mots. nous mettons en évidence les caractéristiques les plus nettement corrélées à la difficulté de la tâche pour les annotateurs et pour les systèmes, de façon globale, puis selon la catégorie grammaticale du mot-cible. ## difficulté de la substitution lexicale la tâche compétitive de substitution lexicale en français proposée dans le cadre de l'atelier semdis foot_0 est inspirée de celle proposée initialement dans la campagne semeval par @xcite . pour évaluer et classer les systèmes participant à cette tâche, le jeu d'évaluation suivant a été construit : pour quantifier ce degré d'accord, nous avons utilisé l'entropie normalisée en utilisant la formule standard @xmath0. cette valeur d'entropie est comprise entre 0 et 1 et est faible lorsque peu de substituts différents ont été proposés, avec un fort regroupement entre annotateurs, et forte lorsqu'aucun accord ou presque n'a été observé. par exemple, nous obtenons une entropie de 0, 55 pour la phrase n o 120 et de 0, 86 pour la phrase n o 229, ce qui reflète bien le fait que la seconde manifeste un accord bien moindre dans les substituts proposés. les réponses des systèmes participants sont évaluées par une mesure de rappel fondée sur les propositions des juges, la qualité d'un substitut étant évaluée par le nombre de juges qui l'ont proposé. si deux mesures sont utilisées dans @xcite , nous nous concentrons ici sur la mesure oot (out of ten) qui donne, pour la phrase numéro numero i : pour quantifier globalement la difficulté des systèmes automatiques, nous avons calculé le score oot moyen obtenu par les 9 systèmes (ou versions de systèmes) qui ont concouru. lorsqu'on observe le calcul du score oot, il est clair qu'il est en grande partie corrélé avec l'entropie des substituts proposés par les annotateurs : un système ne peut espérer obtenir un score important si les substituts de référence sont trop dispersés, ce que confirme le coefficient de corrélation fortement négatif (ρ = -0, 58). pour isoler le comportement moyen des systèmes en neutralisant le rôle de l'entropie, nous avons donc utilisé pour notre analyse les résidus d'un modèle linéaire calculé en prenant l'entropie comme variable explicative. autrement dit, les valeurs correspondent à la variation du score oot moyen qui n'est pas expliquée directement par l'entropie. ce sont donc ces deux mesures (entropie des annotations et score oot moyen résiduel) que nous allons étudier en les mettant en regard des caractéristiques linguistiques des items. ## caractéristiques étudiées nous avons mesuré pour chaque item du jeu d'évaluation un ensemble de caractéristiques en nous inspirant en particulier des travaux similaires menés en désambiguïsation sémantique. passonneau et al. (2010) ont par exemple montré que des traits relatifs à la fois à la sémantique du mot-cible et aux particularités des contextes phrastiques étaient susceptibles d'affecter le niveau d'accord des annotateurs et les performances des systèmes. nous avons regroupé les caractéristiques en trois niveaux : celui de la forme lexicale du mot-cible, celui du sens que prend le mot-cible dans la phrase, et enfin celui de la phrase elle-même. la plupart des caractéristiques se fondent sur les sorties de l'analyseur talismane que nous avons utilisé pour segmenter, étiqueter et parser les phrases du jeu de test @xcite . nous avons privilégié des caractéristiques génériques et synthétiques, qui pourront être affinées si cette première analyse met en évidence des liaisons. ## conclusion ces résultats montrent le rôle central des caractéristiques inhérentes au mot-cible pour expliquer la dispersion des annotations. c'est le cas de la fréquence du mot, du nombre de synonymes, et surtout de la fréquence des sens d'un même mot-cible. ce sont donc les mots polysémiques, fréquents et pour lesquels les synonymes disponibles sont nombreux qui posent le plus de problème dans ce type de tâche manuelle. peu de caractéristiques liées à la phrase ne semblent avoir d'importance centrale, si ce n'est la fréquence moyenne des mots qui la composent. les performances des systèmes sont également liées aux caractéristiques sémantiques des mots, et en particulier, outre les traits que nous venons de citer, le degré de polysémie du mot-cible. cependant, l'examen des performances des systèmes fait plus nettement apparaître des facteurs liés à la phrase. notons que des corrélations peu marquées sont sans doute explicables par certains choix faits en amont pour la sélection du jeu de test, conçu de façon à sélectionner des phrases ayant de bonnes propriétés pour l'annotation (mots polysémiques ayant une fréquence minimale, phrases bien formées et autonomes). il serait peut-être intéressant, pour de futurs jeux d'évaluation de ce type, d'inclure des items montrant plus de variations sur ces dimensions dont on sait qu'elles ont un impact sur leur traitement. comme nous l'avons évoqué, un modèle linéaire multiple basé sur ces variables n'est que partiellement capable de prédire la facilité qu'ont les humains de proposer des substituts. l'étude des résidus de ce modèle nous permet toutefois d'identifier des pistes pour affiner l'identification des caractéristiques liées à cette tâche. c'est le cas notamment de la notion de figement ou de prototypicité de certains emplois : ainsi, éplucher des pommes de terre ou interpréter le rôle ont entraîné des accords supérieurs à ceux prévus par le modèle. a l'inverse, des collocations moins marquées ont eu l'effet inverse, comme fonder la responsabilité, archétype grossier, direction idéologique. il nous reste donc à explorer ces pistes à l'aide de mesure d'association en corpus notamment.