Démo de AMALD -serveur et AMALD -corpus, dédiés à l’analyse morphologique de l’allemand (Demonstration of AMALD -serveur and AMALD -corpus, dedicated to the morphological analysis of G erman) (2020)

Abstract: Le projet AMALDarium vise à offrir sur la plateforme lingwarium.org (1) un service d’analyse morphologique de l’allemand (AMALD-serveur), à grande couverture et de haute qualité, traitant la flexion, la dérivation et la composition, ainsi que les verbes à particule séparable séparée (ou agglutinée), (2) un corpus de référence de haute qualité donnant tous les résultats possibles de l’analyse morphologique, avant filtrage par une méthode statistique ou syntaxique, et (3) une plateforme (AMALD-éval) permettant d’organiser des évaluations comparatives, dans la perspective d’améliorer les performances d’algorithmes d’apprentissage en morphologie. Nous présentons ici une démonstration en ligne seulement de AMALD-serveur et AMALD-corpus. Le corpus est un sous-ensemble anonymisé et vérifié d’un corpus en allemand formé de textes sur le cancer du sein, contenant de nombreux mots composés techniques.

## motivations dans une publication à taln-2013 @xcite , nous avons décrit l'am (analyseur morphologique) amald construit par j.p. guilbaud. depuis, sa couverture est passée de 103.000 à 209.325 lemmes simples et composés, soit plus de 1m de formes, et le traitement des balises xml (sans liste attributs-valeurs) a été introduit. il est construit par une méthode « experte » et non pas par une méthode empirique, statistique ou neuronale. en 2013, nous l'avions comparé à d'autres am en ligne, comme demorphy @xcite , disambiguator @xcite , smor et morphisto @xcite . nous avions montré qu'il était de très loin meilleur, en particulier pour la lemmatisation des formes verbales et des noms composés, et 2 à 3 fois plus couvrant. par exemple, le corpus de morphy (annoté par ses résultats), qui en fait n'est pas un corpus mais une liste de mots-formes, montrait 90% de résultats faux au niveau des lemmes sur les formes verbales du corpus associé. d'autre part, amald était le seul à traiter convenablement les mots composés connexes, c'est-à-dire à bien les segmenter et à fournir pour chaque morceau un lemme et les informations lexicales associées. amald était également le seul am à regrouper un verbe composé d'un verbe simple et d'une particule séparable, quand la particule n'est pas agglutinée, mais séparée par un nombre quelconque de mots. nous sommes en train d'actualiser notre étude de l'état de l'art, en y incluant fips-de du latl (scherrer 2008) et phpmorphy. cela devrait faire l'objet d'une publication ultérieure liée à amald-eval. la construction manuelle d'un am par un ou des experts est un très gros travail, et on ne peut sans doute pas le poursuivre indéfiniment. nous avons inclus (comme annoncé en 2013) les ≈210.000 lemmes simples ou composés (agglutinés, comme onkogen, oncogène) trouvés dans le duden, mais, pour pouvoir monter à 6 ou 7 millions d'entrées (comme dans le système japonais↔anglais atlas-2.v13 de fujitsu), il semble nécessaire de mettre en oeuvre des techniques d'apprentissage. or, pour donner de bons résultats, il faut qu'elles disposent d'un corpus annoté (par les résultats souhaités) de grande taille et de très haute qualité, exactement comme pour la ta ou d'autres applications. nous avons donc entrepris de construire un tel corpus, avec dans l'idée (1) de partir d'un corpus réel, appartenant à un sous-langage justifiant de nombreuses applications, (2) d'utiliser amald pour obtenir une première version des annotations, puis (3) de les évaluer (au niveau des lemmes, des catégories morphosyntaxiques, de la décomposition pour les composés, et des variables d'actualisation comme cas, genre, nombre, personne, temps, mode), et d'améliorer amald. le corpus actuel est un sous-ensemble anonymisé et vérifié de 20 textes tirés d'un corpus formé de textes en allemand sur le cancer du sein, contenant de nombreux mots composés techniques. nous le présentons plus bas (pas très en détail, à cause de la limite à 4 pages). depuis 2013, la couverture de l'am a été beaucoup augmentée, de sorte qu'il n'y a plus de « mots inconnus » dans ce corpus (à part les balises xml et les emprunts à l'anglais), et on ne trouve pratiquement pas d'erreur dans les résultats. nous nous sommes rendu compte qu'amald devrait être utilisé par d'autres pour que des erreurs ou incomplétudes puissent nous être signalées, et que nous puissions continuer à corriger ou compléter. enfin, il est apparu qu'il était très difficile de définir des mesures de qualité pour les am. c'est dans ce contexte que nous avons défini le projet amaldarium. ce projet vise à offrir sur la plate-forme lingwarium.org 1 (1) un service d'analyse morphologique de l'allemand (amald-serveur), à grande couverture et de haute qualité, traitant la flexion, la dérivation et la composition, ainsi que les verbes à particule séparable séparée (ou agglutinée), (2) un corpus de référence de haute qualité donnant tous les résultats possibles de l'analyse morphologique, avant filtrage par une méthode statistique ou syntaxique, et (3) une plateforme (amald-éval) permettant d'organiser des évaluations comparatives, dans la perspective d'améliorer les performances d'algorithmes d'apprentissage en morphologie. nous présentons ici une démonstration en ligne uniquement de amald-serveur et de amald-corpus. ## amald-serveur il est accessible à http://51.255.118.18/testanaald/ . on peut entrer un texte complet, codé en utf-8, en format texte simple ou xml/tei simplifié pour l'instant : les balises ouvrantes ne doivent pas contenir de liste d'attributs-valeurs. d'autre part, les balises doivent être séparées du texte (pas '<@xmath0. exemple : voici une image d'écran, sur la phrase : er kommt mit den an den wänden angeklebten karten an, um sich an uns zu rächen. on voit ici que la forme composée "kommt… an" a été reconnue, et que l'information donnée sur "kommt" est celle attachée au lemme "an-kommen". la définition des noms et valeurs de variables (comme kms pour catégorie morphosyntaxique, etc.) est donnée dans les « fichiers de déclarations de variables » accessibles sur le site. notons que l'analyseur accepte en entrée un texte de longueur quelconque. ## amald-corpus nous avons considéré plusieurs corpus médicaux en partie ou entièrement en allemand : umls @xcite , ufl medical corpus, dik @xcite , et tiger @xcite . nous n'avons pas pu les utiliser, car ils sont souvent annotés sémantiquement, dans le but de développer des techniques d'extraction de concepts, mais pas morphologiquement. ils sont aussi prétraités, avec élimination de la casse, qui introduit des parasites dans l'am 2 . il y a d'autres problèmes : par exemple (scherrer 2008) note que tiger n'a qu'une étiquette pour les adjectifs et les adverbes, ce qui n'est pas très satisfaisant, puisque les adjectifs se déclinent et pas les adverbes, et qu'il y a des lemmes seulement adverbiaux (sehr, zu, dann…) -alors que tout adjectif allemand peut être adverbe. nous sommes partis d'un corpus médical (non morphologiquement annoté) d'environ 400.000 mots concernant le cancer du sein, collecté et anonymisé vers 2013 pour étudier les différences entre deux genres, la langue de spécialité et la langue de vulgarisation, et comprenant une moitié dans chaque genre (les sources sont dans la nous avons extrait une partie de ce corpus et l'avons annotée morphologiquement, de façon à obtenir un premier état qu'on peut déjà considérer comme un corpus de référence. amald-corpus est anonymisé et vérifié. il est pour l'instant composé de 20 fichiers (