Schémas W inograd en français: une étude statistique et comportementale ( W inograd schemas in F rench : a statistical and behavioral study) (2017)

Abstract: Nous présentons dans cet article une collection de schémas Winograd en français, adaptée de la liste proposée par Levesque et al. (2012) pour l’anglais. Les schémas Winograd sont des problèmes de résolution d’anaphore conçus pour être IA-complets. Nous montrons que notre collection vérifie deux propriétés cruciales : elle est robuste vis-à-vis de méthodes statistiques simples (“Google-proof”), tout en étant largement dépourvue d’ambiguïté pour les sujets humains que nous avons testés.

## conclusion nous étudions dans cet article la collection de schémas winograd en français que nous avons adaptée de la collection anglaise @xcite . cette étude montre que nos schémas sont google-proof : un test statistique simple ne permet pas de dépasser un taux de réussite de 55%, à comparer avec le taux de 93,6% obtenu par les participants à une étude comportementale sur les mêmes données. à partir de ces résultats nous pouvons envisager de produire une collection encore plus google-proof et encore plus naturelle pour les humains, en ôtant les items repérés comme à la limite dans les deux cas et en ajoutant de nouveaux schémas, sans faire appel à la traduction. nous envisageons aussi de profiter de cette occasion pour préparer des items en français pour le prochain winograd schema challenge.