Modèles de langue appliqués aux schémas W inograd français (Language Models applied to F rench W inograd Schemas) (2019)

Abstract: Les schémas Winograd sont des problèmes de résolution d’anaphores conçus pour nécessiter un raisonnement sur des connaissances du monde. Par construction, ils sont insensibles à des statistiques simples (co-occurrences en corpus). Pourtant, aujourd’hui, les systèmes état de l’art pour l’anglais se basent sur des modèles de langue pour résoudre les schémas (Trinh & Le, 2018). Nous présentons dans cet article une étude visant à tester des modèles similaires sur les schémas en français. Cela nous conduit à revenir sur les métriques d’évaluation utilisées dans la communauté pour les schémas Winograd. Les performances que nous obtenons, surtout comparées à celles de Amsili & Seminck (2017b), suggèrent que l’approche par modèle de langue des schémas Winograd reste limitée, sans doute en partie à cause du fait que les modèles de langue encodent très difficilement le genre de raisonnement nécessaire à la résolution des schémas Winograd.

## introduction les schémas winograd, proposés par @xcite comme un test d'intelligence artificielle, sont des problèmes de résolution anaphorique conçus pour nécessiter un raisonnement sur des connaissances du monde. chaque schéma est constitué d'une paire d'items : deux discours identiques à un mot (ou une expression) près, et qui comprennent une expression anaphorique à résoudre, dont l'antécédent change d'une version à l'autre. ainsi, dans (1), la réponse naturelle pour la question formée avec le mot faible (mot spécial ) est nicolas (r0), alors que la question formée avec le mot lourd (mot alternant) appelle la réponse son fils (r1). nicolas n'a pas pu soulever son fils car il était trop faible/lourd . qui était trop faible/lourd ? r0 : nicolas r1 : son fils la collection de schémas en anglais publiée par @xcite a fait l'objet de traductions dans d'autres langues : douze schémas ont été traduits en chinois, la collection entière a été traduite en japonais foot_0 et il existe une version de la collection traduite/adaptée en français à propos de laquelle il a été vérifié de plus que les schémas étaient 'google-proofs' (non sensibles à des statistiques simples de co-occurrence de mots) et que les humains n'avaient pas de difficulté à les résoudre @xcite . différentes approches ont été proposées pour résoudre les schémas winograd, mais uniquement pour l'anglais. nous présentons ici un premier système pour le français inspiré de méthodes à base de modèles de langue qui représentent actuellement l'état de l'art pour l'anglais @xcite (exactitude de 63,7% sur 273 items winograd). ce résultat état de l'art est obtenu en combinant les scores de 14 modèles de langue distincts (qui utilisent différents algorithmes et corpus d'entraînement). n'ayant pas la possibilité d'en faire autant, nous présentons ici les résultats de deux modèles de langue : un modèle de langue récurrent et un modèle de contexte. ## évaluation la tâche que nous voulons évaluer consiste à déterminer pour chaque item quel est l'antécédent parmi les deux candidats. il y a deux réponses possibles (et une seule correcte), la mesure la plus naturelle est donc l'exactitude, qui mesure la proportion de bonnes réponses parmi les items : h n , où h est le nombre de bonnes réponses et n le nombre total d'items dans la collection. cette mesure ne permet cependant pas de distinguer les réponses incorrectes et les non-réponses. pour prendre en compte la performance du système dans les seuls cas où il répond, on peut introduire une mesure que nous pourrions appeler qualité : h n-θ , où θ désigne le nombre de non-réponses. la qualité est une mesure de précision : c'est la proportion de bonnes réponses rapportée au nombre total de réponses. mais il est important de noter que nous ne sommes pas dans un cas où, parmi un ensemble d'items, il s'agit de décider lesquels entrent dans une catégorie donnée. autrement dit, nous ne sommes pas dans le cas où on définit habituellement, à partir d'une table de confusion, le couple de mesures précision et rappel 3 . il nous semble par conséquent plutôt inapproprié d'appeler rappel le rapport h/n (i.e. l'exactitude) comme le font @xcite , et surtout de présenter la moyenne harmonique entre exactitude et qualité/précision (f1) comme une mesure synthétique pertinente. en effet ces deux mesures ne sont pas indépendantes : il n'est pas possible d'augmenter l'exactitude sans augmenter la qualité. dans le cas particulier des schémas winograd, où il n'y a que deux réponses et où la collection est équilibrée par construction, un système répondant au hasard obtiendrait une exactitude de 50%. ceci nous inspire une troisième mesure, que nous avons appelée réussite @xcite ) : c'est la mesure d'exactitude que donnerait un système qui répondrait au hasard pour tous les items correspondants à une non-réponse. la réussite s'interprète par comparaison avec le taux de 50% évoqué plus haut (niveau de la chance) : ce sont les points au-dessus de cette valeur qui nous renseignent sur la performance du système 4 . nous présentons dans la nous donnons aussi dans la ## conclusion notre étude suggère que les modèles de langue simples génériques ne permettent pas de résoudre les schémas winograd, et que les quelques points gagnés par rapport au hasard sont au moins autant dûs au fait que certains schémas ne sont pas entièrement google-proofs qu'à une capacité à encoder les informations pertinentes. il semble cependant possible d'obtenir des résultats meilleurs avec des modèles de langue, mais seulement en les utilisant de façon très sophistiquée (et très coûteuse), de manière à parvenir à encoder des connaissances du monde ou des connaissances spécifiques à la tâche. par ailleurs, si la méthode semble fonctionner sans grandes difficultés pour l'anglais (l'article @xcite ne donne pas tous les détails), nous avons constaté que le transfert au français a nécessité un important travail en partie manuel qui nous semble réduire la généralité de la méthode. nous pensons que la résolution des schémas winograd se trouve devant une alternative : il est peut-être possible de faire appel à des modèles de langue encore plus sophistiqués, et de réfléchir à la façon dont de tels modèles peuvent encoder le genre de connaissance nécessaire pour ces schémas, mais on peut se demander si cette approche qui reste intrinsèquement statistique n'est pas en train d'atteindre une asymptote. l'autre option serait de renoncer aux modèles de langue pour basculer vers des approches plus spécifiquement orientées vers l'encodage du raisonnement, ce pour quoi ces schémas ont été explicitement conçus.