Vers l’annotation par le jeu de corpus (plus) complexes : le cas de la langue de spécialité (Towards (more) complex corpora annotation using a game with a purpose : the case of scientific language) (2017)

Abstract: Nous avons précédemment montré qu’il est possible de faire produire des annotations syntaxiques de qualité par des participants à un jeu ayant un but. Nous présentons ici les résultats d’une expérience visant à évaluer leur production sur un corpus plus complexe, en langue de spécialité, en l’occurrence un corpus de textes scientifiques sur l’ADN. Nous déterminons précisément la complexité de ce corpus, puis nous évaluons les annotations en syntaxe de dépendances produites par les joueurs par rapport à une référence mise au point par des experts du domaine.

## introduction la création de ressources langagières de qualité, indispensables au développement et à l'évaluation des outils de traitement automatique des langues (tal), représente un coût élevé. ce coût est rarement rendu public, mais l'un des rares cas chiffré est le corpus arboré de prague, dont la construction a été évaluée à 600 000 dollars @xcite . les jeux ayant un but ont montré leur efficacité dans la production de lexiques et de corpus annotés, en termes à la fois de quantité et de qualité produites @xcite . plus intéressant encore, au-delà de la mise en oeuvre des connaissances du monde et de la langue des locuteurs, comme dans jeuxdemots @xcite ou phrase detectives @xcite , les jeux permettent de former les participants à des tâches complexes, par exemple le repliement de protéines dans foldit @xcite ou l'annotation en syntaxe de dépendances dans @xcite . nous souhaitons étudier l'évolution de la qualité de la production des joueurs lorsque la complexité de la tâche est accrue. pour ce faire, nous nous proposons de faire annoter en syntaxe de dépendances des corpus réputés plus difficiles, notamment : i) un corpus de langue de spécialité, ii) un corpus de parole transcrite et iii) un corpus de contenu généré par l'utilisateur (extrêmement bruité, de type forum). il n'existe à notre connaissance aucune expérience de ce type relatée dans la littérature, que ce soit pour le français ou pour une autre langue. nous présentons ici la première expérience que nous avons menée sur un corpus de langue de spécialité, en l'occurrence des textes portant sur l'adn, donc touchant au biomédical et aux biotechnologies. dans un premier temps, nous détaillons la création de ce corpus, puis les conditions de l'expérience, avant de présenter les résultats obtenus et de discuter les biais potentiels de l'étude. ## conclusion cette étude présente des résultats partiels concernant l'annotation en syntaxe de dépendances à l'aide d'un jeu ayant un but dans le cas d'un corpus complexe. si pour l'instant, le jeu n'a pas permis d'obtenir de meilleurs annotations que les analyseurs, on observe que certaines relations comme la coordination sont mieux annotées par les joueurs, ce qui est très prometteur. nous pensons cependant qu'il est possible d'aller plus loin et d'améliorer ces résultats, notamment en ce qui concerne les relations mod et dep. plusieurs joueurs nous ont en effet fait part de leur difficulté à jouer la relation mod. nous avons donc prévu de modifier la présentation de ces relations dans le jeu pour les rendre plus intuitives pour les joueurs. nous comptons séparer les différents usages de la relation mod et regrouper les relations mod et dep quand elles introduisent un groupe prépositionnel. ces modifications sont en cours et une nouvelle version du jeu va voir le jour en juin 2017.