Impact des modalités induites par les outils d’annotation manuelle : exemple de la détection des erreurs de français (Impact of modalities induced by manual annotation tools : example of F rench error detection) (2022)

Abstract: Certains choix effectués lors de la construction d’une campagne d’annotation peuvent avoir des conséquences sur les annotations produites. En menant une campagne sur la détection des erreurs de français, aux paramètres maîtrisés, nous évaluons notamment l’effet de la fonctionnalité de retour arrière. Au moyen de paires d’énoncés presque identiques, nous mettons en exergue une tendance des annotateurs à tenir compte de l’un pour annoter l’autre.

## introduction pour le traitement automatique des langues (t.a.l.), il est nécessaire d'avoir des corpus de référence, qui ne s'obtiennent communément qu'à partir d'annotations manuelles @xcite . pour obtenir ces corpus de référence, nous menons des campagnes d'annotations où plusieurs annotateurs annotent le même corpus, et nous comparons ensuite leurs annotations pour tenter d'établir une référence @xcite . la qualité de ces annotations est critique, car c'est à partir de ces corpus que de nombreux autres outils ou traitements sont produits ou réalisés. la préparation de ces campagnes commence, entre autre, par le choix de l'outil d'annotation. plusieurs paramètres doivent rentrer en considération lorsque nous décidons de privilégier tel ou tel outil 1 : la possibilité de satisfaire les contraintes d'annotation du phénomène à annoter, une interface accessible pour les annotateurs peu familiers avec l'informatique, ou encore le caractère open source de l'outil. une autre étape importante est la construction du corpus, qui doit être le plus représentatif et adapté au phénomène étudié, de même que l'écriture du guide d'annotation. dans cet article, nous nous interrogeons sur les phénomènes qui peuvent influencer le travail de l'annotateur et introduits dès cette phase de construction d'une campagne. plus particulièrement, nous nous intéressons à trois aspects, finalement peu étudiés : pour approfondir ces trois aspects d'une campagne d'annotation, cet article suit le plan suivant. nous présentons dans la partie 2 la tâche d'annotation choisie et l'état de l'art des corpus disponibles. en section 3, nous explicitons nos choix pour la campagne d'annotation. nous procédons ensuite à l'analyse des résultats dans la partie 4. enfin, dans la section 5, nous terminerons par quelques mots de conclusion et de perspectives.