Vers une solution légère de production de données pour le TAL : création d’un tagger de l’alsacien par crowdsourcing bénévole (Toward a lightweight solution to the language resources bottleneck issue: creating a POS tagger for A lsatian using voluntary crowdsourcing) (2017)

Abstract: Nous présentons ici les résultats d’une expérience menée sur l’annotation en parties du discours d’un corpus d’une langue régionale encore peu dotée, l’alsacien, via une plateforme de myriadisation (crowdsourcing) bénévole développée spécifiquement à cette fin : Bisame1 . La plateforme, mise en ligne en mai 2016, nous a permis de recueillir 15 846 annotations grâce à 42 participants. L’évaluation des annotations, réalisée sur un corpus de référence, montre que la F-mesure des annotations volontaires est de 0, 93. Le tagger entraîné sur le corpus annoté atteint lui 82 % d’exactitude. Il s’agit du premier tagger spécifique à l’alsacien. Cette méthode de développement de ressources langagières est donc efficace et prometteuse pour certaines langues peu dotées, dont un nombre suffisant de locuteurs est connecté et actif sur le Web. Le code de la plateforme, le corpus annoté et le tagger sont librement disponibles.

## introduction la production de ressources langagières est notoirement coûteuse foot_0 et représente de ce fait un goulot d'étranglement (language resources bottleneck), qui limite le développement d'outils de traitement automatique des langues (tal). ce phénomène est d'autant plus prégnant pour des langues dont l'intérêt économique ou politique n'est pas immédiat ou dont le nombre de locuteurs est peu élevé. notre hypothèse de départ est qu'une simple plateforme web légèrement ludifiée et permettant la formation et l'évaluation des participants pourrait suffire à recueillir des annotations, en particulier pour des langues présentant une communauté de locuteurs motivée et présente sur le web, comme l'alsacien. en effet, le rapport réalisé à la demande la dglflf 2 sur la place des langues de france sur internet @xcite a montré que l'alsacien jouit d'une bonne présence sur internet, grâce notamment au milieu associatif et aux initiatives de particuliers. on trouve ainsi des pages en alsacien sur la wikipédia alémanique 3 . l'expérience que nous présentons ici concerne des annotations en parties du discours, que nous avons utilisées pour entraîner un étiqueteur en parties du discours (tagger) état de l'art pour le français, @xcite . nous avons mené une double évaluation : celle des annotations des participants d'une part et celle de la qualité de l'outil entraîné avec ces annotations d'autre part. cette méthode d'annotation de corpus pourrait représenter une solution au moins partielle pour d'autres langues régionales comme le breton ou l'occitan, ou pour toute autre langue appartenant au groupe hétéroclite des langues peu dotées 4 , en permettant de produire une brique de base indispensable à de nombreuses applications de tal. les travaux existant pour l'heure sur l'étiquetage en parties du discours de l'alsacien sont très exploratoires. à notre connaissance, la seule expérience dans ce sens a été réalisée par @xcite . la méthode proposée consiste à remplacer les « mots-outils » alsaciens par leurs équivalents allemands, à l'aide d'un lexique bilingue de petite taille, pour ensuite appliquer des taggers existant pour l'allemand (en l'occurrence, treetagger @xcite et stanford pos tagger @xcite ). les mesures d'exactitude obtenues sur les données de test vont de 79 à 89 % en fonction du texte et du tagger utilisé. ## conclusion et perspectives la plateforme que nous avons créée a permis de recueillir 15 846 annotations auprès de 42 participants et de construire ainsi le premier corpus librement disponible de l'alsacien annoté en parties du discours, de 4 105 tokens. ce corpus a servi à entraîner le premier tagger spécifique à l'alsacien. la qualité de l'annotation produite par les participants (0, 93 de f-mesure), ainsi que les performances du premier tagger produit (82 % d'exactitude) montrent la validité de notre démarche. le système doit cependant être amélioré, afin de palier les problèmes que nous avons identifiés : i) manque de variété des corpus disponibles, ii) évaluation incomplète des participants et iii) ludification insuffisante. en ce qui concerne les corpus, nous envisageons de suivre la suggestion de @xcite et de faire créer des corpus par les participants eux-mêmes, dans leur variante de la langue considérée. certains participants nous ont déjà proposé des textes, que nous avons dû refuser pour la plupart pour des questions de droit, mais nous allons mettre en place une procédure d'information et de recueil de textes qui permettra de profiter de leur élan en ce sens. afin d'améliorer la qualité des annotations produites, nous prévoyons de repenser notre guide d'annotation et notre stratégie d'évaluation des participants, au regard des difficultés que nous avons pu constater. l'ajout d'une interface d'administration intégrant le suivi des performances des participants serait également précieux. enfin, nous réfléchissons à des moyens de développer la dimension ludique sans pour autant alourdir la plateforme, par exemple grâce à des affichages de motivation (du type « x est en avance de y points sur vous, rattrapez-le ! ») ou des mails de relance automatique (paramétrables par le participant). nous allons, en parallèle, tester l'utilisation de la plateforme sur au moins une autre langue, par exemple le créole guadeloupéen. par ailleurs, le code de la plateforme, librement disponible sur github foot_23 sous licence cecill v2.1 foot_24 peut être adapté en un temps réduit à toute autre langue pour laquelle il existe au minimum : i) un corpus libre de droit dans la langue, ii) un guide d'annotation pour la tâche d'annotation en partie du discours, iii) une référence annotée minimale, et, si possible, iv) un tagger pour une langue proche.