Étiquetage en parties du discours de langues peu dotées par spécialisation des plongements lexicaux ( POS tagging for low-resource languages by adapting word embeddings ) (2018)

Abstract: Cet article présente une nouvelle méthode d’étiquetage en parties du discours adaptée aux langues peu dotées : la définition du contexte utilisé pour construire les plongements lexicaux est adaptée à la tâche, et de nouveaux vecteurs sont créés pour les mots inconnus. Les expériences menées sur le picard, le malgache et l’alsacien montrent que cette méthode améliore l’état de l’art pour ces trois langues peu dotées.

## introduction de très grands corpus bruts et annotés sont désormais disponibles pour certaines langues, et les méthodes par apprentissage en traitement automatique des langues s'appuient maintenant souvent sur leur existence : les corpus bruts permettent d'apprendre des plongements lexicaux, et les corpus annotés servent à l'apprentissage des modèles. cependant, l'écrasante majorité des langues du monde ne dispose pas de telles ressources, et les méthodes existantes ne peuvent donc pas être utilisées sans adaptation. en ce qui concerne l'étiquetage en parties du discours, le manque de ressources pour les langues peu dotées pose deux problèmes : la faible quantité de corpus bruts ne permet pas d'apprendre des plongements lexicaux de même qualité que pour les langues généralement étudiées ; par ailleurs, les données annotées sont également rares, et l'annotation de nouveaux corpus peut être difficile, notamment en raison de la difficulté à trouver des annotateurs. plusieurs stratégies sont possibles pour pallier ces problèmes, par exemple s'appuyer sur des corpus parallèles ou sur des ressources de langues proches. cependant, nous proposons une autre stratégie, qui nous permet de nous situer dans le cadre le plus général possible : pas de corpus parallèle, pas de langue proche bien dotée. dans cet article, nous proposons donc une nouvelle méthode pour l'étiquetage en parties du discours de langues peu dotées, qui s'appuie sur une méthode de construction adaptée des plongements lexicaux. cette méthode est indépendante de la langue, et a été testée sur des langues typologiquement distantes : deux langues régionales de france, l'alsacien et le picard, et une autre langue peu dotée, le malgache, une langue austronésienne. ## état de l'art depuis quelques années, les architectures bi-lstm ont montré leur potentiel sur des tâches d'étiquetage de séquences, et en particulier d'étiquetage en parties du discours @xcite . cependant, ce type d'approche nécessite une très grande quantité de données, qui est loin des quantités disponibles dans le cas de langues peu dotées (15m de tokens pour entraîner les plongements lexicaux avec fasttext et entre 50 000 et 2m de tokens annotés pour entraîner l'étiqueteur bi-lstm). peu d'évaluations ont été faites sur des langues peu dotées. @xcite rapportent des résultats mitigés sur le malgache : ils utilisent un corpus aligné pour projeter les annotations depuis l'anglais et pour modifier le réseau de neurones afin de dépasser l'état de l'art, sans quoi les performances sont mauvaises. les performances de ces réseaux de neurones sont fortement dépendantes de la qualité des plongements lexicaux. l'un des modèles très largement utilisé est le modèle skipgram, et en particulier l'outil fasttext @xcite . deux caractéristiques de fasttext sont intéressantes dans le cadre de l'étiquetage en parties du discours de langues peu dotées : il prend en compte des informations internes aux mots, ce qui permet de capturer des informations morphologiques, essentielles pour l'étiquetage en parties du discours ; de plus il est capable de générer des vecteurs pour les mots hors vocabulaire, ce qui est également indispensable dans le cadre de langues peu dotées. concernant les langues étudiées, le cas du malgache a déjà été évoqué avec les travaux de @xcite . le picard et l'alsacien ont fait l'objet de travaux fondés sur une transposition de mots outils @xcite , et, pour l'alsacien, sur l'annotation collaborative de corpus @xcite . nous comparerons nos résultats aux méthodes par transposition et à notre implémentation d'un étiqueteur basé sur un modèle maxent semblable à celui utilisé dans @xcite . ## adaptation des plongements lexicaux au cas des langues peu dotées les plongements lexicaux sont souvent considérés comme un outil de représentation de la similarité syntactico-sémantique, mais en réalité, étant censés capturer des similarités distributionnelles, ils peuvent être adaptés à différents niveaux d'analyse linguistique. une telle spécialisation apparaît même nécessaire lorsque ceux-ci sont entraînés sur de petites quantités de données afin que les similarités puissent être plus facilement capturées. ## conclusion dans cet article, nous avons présenté une nouvelle méthode d'étiquetage en parties du discours pour les langues peu dotées, fondée sur une adaptation des plongements lexicaux. les résultats obtenus dépassent l'état de l'art pour chaque des langues étudiées. la prise en compte des mots hors vocabulaire pourrait cependant être encore améliorée, notamment en prenant en compte leur contexte pour générer leur vecteur.