Étiquetage multilingue en parties du discours avec ME lt (Multilingual part-of-speech tagging with ME lt) (2016)

Abstract: Nous présentons des travaux récents réalisés autour de MElt, système discriminant d’étiquetage en parties du discours. MElt met l’accent sur l’exploitation optimale d’informations lexicales externes pour améliorer les performances des étiqueteurs par rapport aux modèles entraînés seulement sur des corpus annotés. Nous avons entraîné MElt sur plus d’une quarantaine de jeux de données couvrant plus d’une trentaine de langues. Comparé au système état-de-l’art MarMoT, MElt obtient en moyenne des résultats légèrement moins bons en l’absence de lexique externe, mais meilleurs lorsque de telles ressources sont disponibles, produisant ainsi des étiqueteurs état-de-l’art pour plusieurs langues.

## introduction l'étiquetage morphosyntaxique (tagging) est une tâche désormais classique en traitement automatique des langues, pour laquelle de nombreux systèmes ont été développés ou adaptés à un large éventail de langues. elle consiste à associer à chaque « mot » une étiquette morphosyntaxique dont la granularité peut aller d'une simple catégorie morphosyntaxique, ou partie du discours, à une catégorie plus fine et enrichie par des traits morphologiques (genre, nombre, cas, temps, mode, etc.). l'utilisation d'algorithmes d'apprentissage automatique faisant usage de corpus annotés manuellement est aujourd'hui la norme pour le développement d'étiqueteurs morphologiques. différents types d'algorithmes ont été utilisés, dont successivement les modèles de markov cachés bigrammes puis trigrammes @xcite @xcite , les arbres de décision @xcite , les modèles de markov à maximisation d'entropie (maximum entropy markov models, memm ; @xcite et les champs aléatoires conditionnels (conditional random fields, crf ; @xcite . ces algorithmes d'apprentissage automatique permettent la construction de systèmes d'étiquetage pour n'importe quelle langue, pourvu que l'on dispose de données d'apprentissage adaptées. certains systèmes sont largement utilisés, précisément parce qu'ils ont été utilisés pour entraîner de nombreux modèles faciles à télécharger et à utiliser. c'est par exemple le cas de treetagger 1 @xcite , qui repose sur l'apprentissage d'arbres de décision, pour lequel des modèles pour plus d'une vingtaine de langues sont disponibles. le modèle fourni pour le français constitue d'ailleurs probablement l'étiqueteur le plus utilisé dans la communauté francophone, certainement en raison de sa gratuité foot_0 , de son ancienneté et de sa facilité d'utilisation, malgré des performances inférieures à plusieurs étiqueteurs plus récents @xcite . pour compléter les données annotées, plusieurs travaux ont montré la pertinence de s'appuyer sur des informations lexicales externes, et notamment sur des lexiques morphosyntaxiques associant par exemple une partie du discours à un grand nombre de mots. ces informations peuvent être utilisées sous forme de contraintes au moment de l'étiquetage de nouvelles données @xcite ou pour l'extraction de traits qui complètent les traits extraits du corpus annoté dès la phase l'apprentissage (cf. par exemple @xcite . c'est cette dernière approche qui a été explorée par les développeurs du système d'étiquetage @xcite @xcite , système dont les versions précédentes étaient état-de-l'art sur le français -plus précisément, sur la tâche d'étiquetage correspondant à la version dite ftb-uc du french treebank (cf. ci-dessous). toutefois, ce choix d'évaluation est discutable, comme nous le verrons à la section 2. nous rappelons à la section 3 les grandes lignes du fonctionnement de melt et nous décrirons brièvement les améliorations qui lui ont été récemment apportées. nous présentons ensuite à la section 4 les nombreux modèles d'étiquetage que nous avons entraînés pour une quarantaine de langues dont naturellement le français, notamment grâce aux corpus du projet universal dependencies et à ceux développés dans le cadre des campagnes spmrl @xcite , souvent secondées par un lexique externe. nous discutons des performances de ces modèles, y compris par leur comparaison avec ceux produits par le système marmot @xcite , probablement le plus performant actuellement, à partir des mêmes données. ## évaluation des étiqueteurs morphosyntaxiques évaluer un étiqueteur morphosyntaxique consiste simplement à mesurer son taux d'exactitude, c'està-dire le pourcentage de « mots » ayant reçu la bonne étiquette. ce pourcentage est souvent complété par l'exactitude sur les seuls mots inconnus (absents du corpus d'apprentissage). toutefois, il faut garder à l'esprit que les comparaisons que l'ont peut faire de cette façon entre différents systèmes n'évaluent pas vraiment les systèmes en soi -quoi que cela puisse signifier -, mais plutôt leur adéquation au corpus utilisé, avec toutes ses caractéristiques et notamment sa taille, son homogénéité ou encore les caractéristiques de son jeu d'étiquettes (nombre d'étiquettes distinctes. . .). par ailleurs, un étiqueteur morphosyntaxique est destiné à être utilisé in fine sur des corpus bruts, ce qui nécessite un découpage préalable en unités élémentaires destinées à recevoir des étiquettes. on peut considérer que de telles unités élémentaires, en tant qu'elles seront associées à des étiquettes linguistiquement signifiantes, doivent être des unités linguistiquement valides et donc correspondre à des unités lexicales foot_2 . mais la détection des composés est une tâche difficile. il est donc bien plus simple et bien plus fréquent de ramener la tâche de découpage en unités élémentaire à une tâche de découpage en tokens. dans ce cas, associer des étiquettes linguistiques à des tokens est nécessairement une approximation dès lors que la correspondance entre tokens et unités lexicales n'est pas biunivoque. pour contourner en partie cette difficulté, on s'appuie généralement sur le fait que les composés ont souvent des composants identifiables comme relevant d'une catégorie connue foot_3 . naturellement, une telle approche nécessite que les corpus annotés sur lesquels les modèles sont entraînés et évalués reflètent ce même choix. ce n'est pourtant pas la stratégie utilisée par la majorité des travaux antérieurs sur l'étiquetage morphosyntaxique du français. en effet, si le corpus de référence pour le français est le french treebank (ftb ; @xcite , il est le plus souvent utilisé dans les travaux sur l'étiquetage morphosyntaxique dans sa version dite ftb-uc @xcite . cette version diffère du ftb originel en ceci que tous les composés qui ne correspondent pas à une séquence régulière de parties du discours voient leurs tokens constitutifs fusionnés en une unité élémentaire unique (pour les autres composés, les unités sont les tokens). il s'agit donc d'une segmentation intermédiaire entre les deux approches décrites ci-dessus. à l'inverse, la variante ftb-spmrl, développée dans le cadre de la campagne spmrl d'évaluation des analyseurs syntaxiques pour des langues à morphologie riche @xcite , utilise systématiquement les tokens comme unités élémentaires foot_4 . de plus le ftb-spmrl contient des données supplémentaires : il dispose de 5 000 phrases de plus pour l'entraînement et ses sections de développement et d'évaluation sont environ deux fois plus importantes que dans le ftb-uc. c'est donc l'évaluation sur le ftb-spmrl qui est la plus pertinente, et non l'évaluation sur le ftb-uc, qui a pourtant servi de référence à de nombreux travaux, y compris ceux concernant melt foot_5 . par rapport à la version décrite dans @xcite , nous avons fait évoluer melt dans trois directions principales. tout d'abord, nous avons rajouté de nouveaux traits (préfixes et suffixes du mot à droite du mot courant) et fait varier certaines propriétés de l'espace des traits utilisés au cours d'expériences menées sur les sections d'entraînement et de développement du ftb-spmrl. nous avons notamment fait varier la longueur maximale des préfixes et des suffixes pris en compte par le modèle (pour le mot courant et celui à sa droite). nous avons ensuite choisi comme nouveaux paramètres par défaut dans melt des paramètres qui donnaient de bons résultats sur le sous-corpus de développement de ftb-spmrl. les expériences ci-dessous utilisent toutes ce nouveau jeu de traits. par ailleurs, nous avons encapsulé le moteur d'étiquetage dans des outils permettant l'identification de certains types d'entités nommées (dates, adresses. . .) qui sont alors considérés comme des mots uniques par le modèle d'étiquetage et dont l'étiquetage interne est effectué grâce à des règles dédiées 7 . enfin, nous avons encapsulé le moteur d'étiquetage dans des outils permettant le traitement de corpus bruités tels que trouvés sur le web. dans les travaux décrits ici, cette option n'a pas été activée. pour plus de détails, on pourra se reporter par exemple à @xcite . ## expériences pour le français, plusieurs autres étiqueteurs morphosyntaxiques dédiés sont désormais disponibles, au-delà des systèmes d'étiquetage génériques qu'il est possible d'entraîner sur des données françaises annotées, éventuellement secondés par un lexique externe comme le lefff . comme expliqué plus haut, et contrairement à la majorité des travaux antérieurs, nous avons décidé, pour le français, de comparer melt avec d'autres étiqueteurs sur le ftb-spmrl. à cet effet nous avons retenu treetagger, mentionné précédemment, et marmot, système reposant sur les crf et qui peut être considéré comme le meilleur système d'étiquetage actuellement disponible @xcite 8 . les résultats de ces expériences sont fournis au tableau 1. nous avons également encapsulé marmot dans nos outils de gestion de certaines entités nommées pour comparer les gains obtenus par ce biais entre melt et marmot (colonnes « +en »). nous avons également souhaité évaluer la portabilité de melt à d'autres langues, et notamment étudier la systématicité de l'amélioration induite par l'utilisation d'un lexique externe. nous avons donc cherché des ensembles de corpus pour de nombreuses langues facilement disponibles et exploitables. or deux ensembles de corpus annotés syntaxiquement ont été développés récemment, en grande partie mais pas seulement à partir de corpus pré-existants : les corpus spmrl 9 @xcite , 7. l'idée sous-jacente est que les principes linguistiques qui sous-tendent les guides d'annotation perdent de leur validité lorsque l'on est à l'intérieur d'une entité nommée, dont l'organisation est régie par des conventions spécifiques (sur quel fondement décider de la partie du discours de 2016 dans lundi 2 janvier 2016 ?). cela est visible dans les corpus, notamment dans le ftb, où les annotations à l'intérieur des entités nommées ne sont pas très cohérentes. un modèle statistique tel que melt, sans outil dédié pour la gestion des entités nommées, ne peut apprendre comment annoter de telles entités à partir d'annotations de référence incohérentes. de plus, melt ne peut pas apprendre directement les généralisations pertinentes concernant le contexte d'apparition de tel ou tel type d'entité. à l'inverse, réunitariser certains types d'entités nommées (par exemple, remplacer toutes les dates par _date) et étiqueter les tokens qui les composent grâce à des règles systématiques permet de résoudre ces difficultés.