Projection Interlingue d’Étiquettes pour l’Annotation Sémantique Non Supervisée (Cross-lingual Annotation Projection for Unsupervised Semantic Tagging) (2016)

Abstract: Nos travaux portent sur la construction rapide d’outils d’analyse linguistique pour des langues peu dotées en ressources. Dans une précédente contribution, nous avons proposé une méthode pour la construction automatique d’un analyseur morpho-syntaxique via une projection interlingue d’annotations linguistiques à partir de corpus parallèles (méthode fondée sur les réseaux de neurones récurrents). Nous présentons, dans cet article, une amélioration de notre modèle neuronal, avec la prise en compte d’informations linguistiques externes pour un annotateur plus complexe. En particulier, nous proposons d’intégrer des annotations morpho-syntaxiques dans notre architecture neuronale pour l’apprentissage non supervisé d’annotateurs sémantiques multilingues à gros grain (annotation en SuperSenses). Nous montrons la validité de notre méthode et sa généricité sur l’italien et le français et étudions aussi l’impact de la qualité du corpus parallèle sur notre approche (généré par traduction manuelle ou automatique). Nos expériences portent sur la projection d’annotations de l’anglais vers le français et l’italien.

## introduction en vue de minimiser le besoin en ressources annotées, plusieurs études se sont intéressées au développement d'outils du tal (traitement automatique de la langue) basés sur des méthodes non supervisées et semi-supervisées @xcite . par exemple, de très bonnes performances sont obtenues par les systèmes utilisant des approches fondées sur la actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln projection interlingue d'annotations @xcite . l'idée générale consiste à utiliser des corpus parallèles (préalablement alignés automatiquement au niveau des mots) pour transférer des annotations d'une langue source (richement dotée) vers une autre langue cible (faiblement dotée). ce type d'approche permet d'exploiter, pour la construction automatique de ressources pour des langues peu dotées, les ressources disponibles pour des langues bien dotées ainsi que les annotations (ou systèmes) déjà disponibles pour ces mêmes langues. nos travaux se situent dans ce cadre. nous explorons la possibilité d'induire des ressources et des outils multilingues adéquats à moindre coût pour l'analyse des langues faiblement dotées. nous avons, par le passé, proposé une méthode utilisant des réseaux de neurones récurrents (on utilise l'acronyme rnn en anglais -pour recurrent neural networks), en vue de construire un annotateur morpho-syntaxique multilingue @xcite . nous avions évalué les performances de notre méthode sur cette tâche, dans les cadres non supervisé et semi-supervisé. dans le cas non supervisé, notre méthode combinée avec une méthode fondée sur l'utilisation d'alignements automatiques source-cible au niveau des mots, avait donné des résultats très encourageants (au niveau des meilleures techniques de l'état de l'art). dans le cas semi-supervisé (exploitation d'un petit corpus annoté manuellement pour l'adaptation du modèle non supervisé initial sur la langue cible) l'utilisation des rnn s'était révélée intéressante sur des scénarios d'adaptation avec peu de données en langue cible. contribution nous proposons dans cet article une amélioration de notre approche (basée sur les réseaux de neurones récurrents) avec la prise en compte d'informations linguistiques de bas niveau pour la construction d'annotateurs linguistiques plus complexes. ainsi, nous démontrons que l'intégration des annotations morpho-syntaxiques dans notre modèle neuronal est utile pour la construction d'annotateurs sémantiques à gros grain (supersenses) multilingues. cette tâche d'annotation en supersenses prend une importance grandissante dans plusieurs applications du tal. cependant, à notre connaissance, il n'y a pas de travaux sur cette tâche pour le français. la réalisation d'un tel système pour le français est donc un autre contribution de cet article. méthodologie notre méthode ne nécessite qu'un corpus parallèle (ou multi-parallèle) entre une langue source bien dotée (riche en corpus annotés en sens) et une ou plusieurs langues cibles moins bien dotées. un corpus parallèle peut être obtenu soit par construction manuelle (corpus non bruité) ou en utilisant un système de traduction automatique (corpus bruité). nous étudions l'impact de la qualité du corpus parallèle sur notre approche en utilisant des traductions manuelles ou automatiques du corpus semcor @xcite (corpus anglais annoté en sens, utilisé notamment pour la tâche de désambiguïsation lexicale multilingue de semeval 2013) vers l'italien et le français. ceci nous permettra aussi d'évaluer la généricité de notre méthode. plan après un bref état de l'art donné dans la section 2, nous présentons la tâche d'annotation à gros grain (supersenses tagging) dans la partie 3. notre modèle est décrit dans la partie 4 et son évaluation est présentée dans la partie 5. enfin, la partie 6 conclut notre étude et présente quelques perspectives. ## état de l'art plusieurs études ont utilisé la projection interlingue pour le transfert d'annotations linguistiques à partir de langues bien dotées (source) vers les langues faiblement dotées (cible) en vue de créer actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln des outils d'analyse linguistique pour les langues cibles. la projection interlingue d'annotations a été introduite par @xcite , en utilisant un corpus parallèle pour adapter des outils monolingues (analyseurs morphologiques, analyseurs morpho-syntaxiques et analyseurs syntaxiques de surface) à de nouvelles langues. cette méthode a été depuis utilisée avec succès dans plusieurs autres travaux. on peut citer par exemple : l'apprentissage d'analyseurs morpho-syntaxiques de bonne qualité par projection @xcite @xcite , le transfert d'entités nommées @xcite , d'annotations syntaxiques @xcite , la projection d'annotations en sens réalisée par @xcite , l'annotation en rôles sémantiques sur l'allemand par projection interlingue à partir de la paire de langues anglais-allemand @xcite , dont la généricité a plus spécifiquement été évaluée dans @xcite . pour la compréhension automatique de la parole, @xcite utilisent cette technique pour transférer un système du français vers l'italien et l'arabe avec un faible coût de supervision. souvent, le transfert entre les langues repose sur l'existence de corpus parallèles et l'utilisation d'alignements au niveau des mots entre langue source et langue cible. plusieurs outils permettent d'obtenir automatiquement de tels alignements, dont giza++ @xcite . cependant, les performances des algorithmes d'alignement au niveau des mots ne sont pas toujours satisfaisantes @xcite et cette étape a un impact significatif sur la performance de la projection d'annotations linguistiques @xcite . pour cette raison, notre approche utilise un corpus parallèle aligné au niveau des phrases seulement et n'applique aucun pré-traitement du type alignement automatique en mots qui peut être source d'erreurs et de bruit. à l'instar de notre approche, plusieurs auteurs ont proposé d'utiliser des représentations interlingues/multilingues plutôt que des alignements bruités. en particulier, de nombreuses contributions se sont appuyées sur les travaux de @xcite sur l'apprentissage de vecteurs de mots (ou word embeddings) et leur extension à des représentation bilingues (ou multilingues) @xcite . a partir de ces représentations, le transfert d'annotations en langue source est déduit pour les mots ou fragments cibles les plus proches dans l'espace commun aux deux langues. afin d'apprendre de telles représentations, plusieurs ressources peuvent être utilisées telles que des lexiques bilingues @xcite et des corpus parallèles @xcite .l'utilisation de représentations interlingues a par ailleurs donné lieu à des résultats satisfaisants sur plusieurs tâches du tal. par exemple, l'annotation morpho-syntaxique multililingue @xcite , l'annotation interlingue en supersenses @xcite , la reconnaissance interlingue d'entités nommées @xcite , la classification interlingue de documents @xcite , l'annotation syntaxique interlingue @xcite , et l'annotation en rôles sémantiques interlingue @xcite . notre approche de transfert interlingue est par ailleurs décrite dans @xcite . le travail présenté ici est différent puisqu'il applique notre méthode à une autre tâche mais va aussi plus loin en essayant de prendre en compte des étiquettes morpho-syntaxiques pour la construction d'un annotateur sémantique à gros grain. il s'inscrit dans la lignée des études précédemment décrites puisque nous essayons aussi d'apprendre, via le rnn, un espace de représentation multilingue commun à plusieurs langues. en entrée du réseau, notre représentation commune est fondée simplement sur la cooccurrence des mots sources et cibles dans un corpus parallèle (empreinte distributionnelle). nous utilisons cette représentation pour apprendre (à partir d'une annotation en supersenses côté source) un annotateur sémantique à gros grain pour des textes en langue cible. actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln concluons cet état de l'art en mentionnant que plusieurs travaux ont étudié la possibilité d'utiliser les réseaux de neurones dans le tal @xcite @xcite @xcite . @xcite font partie des premiers à avoir développé des annotateurs morpho-syntaxiques basés sur les réseaux de neurones, @xcite et @xcite ont utlisé les réseaux de neurones pour construire des modèles de langages. @xcite ont employé les techniques de réseaux de neurones profonds pour l'apprentissage multitâche qui comprend : l'annotation morpho-syntaxique, la reconnaissance d'entités nommées et l'annotation sémantique. @xcite a aussi proposé des méthodes d'apprentissage d'analyseurs syntaxiques fondées sur les réseaux de neurones. nous présentons dans la partie suivante la tache d'annotation en supersenses ainsi qu'un état de l'art des travaux traitant de cette tâche. ## annotation en supersenses l'annotation en supersenses (supersenses tagging -sst -) est une tâche du tal qui consiste à annoter chaque unité du texte, avec un jeu d'étiquettes sémantiques générales définies par les catégories lexicographiques de wordnet (supersenses). elle peut être vue comme une tâche à cheval entre la reconnaissance d'entités nommées (ren) et la désambiguïsation lexicale (word sense disambiguation -wsd) : tout en étant une extension de la ren, elle est une simplification de la wsd. reconnaissance d'entités nommées issue de la recherche d'information, la reconnaissance d'entités nommées (ren) consiste à rechercher des objets textuels (i.e. un mot, ou un groupe de mots) catégorisables dans des classes telles que noms de personnes, noms d'organisations ou d'entreprises, noms de lieux, quantités, distances, valeurs, dates, etc. la ren fait sans doute partie des tâches les plus étudiées du tal et apparaît en effet comme fondamentale pour diverses applications telles que l'analyse de contenu, la recherche et l'extraction d'information, les systèmes de question-réponse, le résumé automatique, etc. @xcite . néanmoins, cette tâche reste limitée à la reconnaissance de catégories générales en omettant des unités informatives (catégories plus fines) potentiellement importantes dans certains contextes applicatifs. désambiguïsation lexicale le processus de désambiguïsation lexicale consiste à sélectionner les sens corrects d'instances contextualisées de mots ambigus, parmi l'ensemble de leurs sens possibles (ou sens candidats). la ren peut prendre part à un processus de désambiguïasation lexicale en tant qu'information sémantique. concrètement, les entités nommées sont utilisées comme « filtre » au niveau des restrictions de sélection (ou sous-catégorisation sémantique) des sens d'une unité lexicale parmi plusieurs dizaines de milliers de sens très spécifiques. ces sens sont inventoriés dans des dictionnaires, incluant les entités nommées. un tel degré de granularité (très fin), rend la distinction entre les sens trop subtile pour être capturée automatiquement de façon robuste. de plus, l'apprentissage automatique de modèles nécessite des données manuellement annotées en sens, difficiles à obtenir. wordnet le princeton wordnet @xcite , est probalement la resource la plus utilisée pour la désambiguïsation lexicale (word sense disambiguation -wsd). il est organisé autour de la notion d'ensemble de synonymes (synsets) décrits par une partie du discours (nom, verbe, adjectif, adverbe), une définition et leurs liens (hyperonyme, hyponyme, antonyme, etc.). chaque sens d'un item lexical (entrée) correspond à un synset. la version courante du princeton wordnet (version 3.0) comprend 155 287 items lexicaux pour un total de 117 659 synsets. annotation sémantique à gros grain (supersenses tagging) la complexité à modéliser et à traiter l'ambiguïté lexicale ainsi que les limitations de la ren ont fait émerger des taches d'annotation sémantique lexicale (sens lexical) à gros grain. ce type de tâche présente plusieurs avantages. par exemple, l'intérêt d'utiliser les annotations en sens à gros grain, afin de lever l'ambiguïté lexicale des mots, a été souligné dès l'apparition des premiers réseaux lexico-sémantiques @xcite . @xcite ont proposé d'utiliser les catégories lexicographiques du princeton wordnet comme amorce à l'annotation avec des sens plus spécifiques (à grain fin). l'annotation en supersenses (supersenses tagging -sst -) est l'une de ces tâches alternatives, la tâche d'annotation en supersenses a été introduite par @xcite , comme une étape de désambiguïsation intermédiaire pour la réalisation de la wsd. ces mêmes auteurs ont proposé d'utiliser un perceptron structuré entrainé et évalué sur le semcor corpus @xcite . @xcite ont appelé « supersenses » les 41 catégories lexicographiques du princeton wordnet @xcite . les catégories wordnet sont vues comme la principale base pour la construction d'un ensemble de catégories plus exhaustives en vue de mieux annoter les concepts occurant dans une phrase. un autre avantage de l'utilisation de ces catégories est leur universalité (elles sont communes à plusieurs langues), ce qui permet leur utilisation pour des tâches telles que la traduction automatique ou la recherche et l'extraction d'informations multilingues. l'annotation en supersenses a été aussi utilisée comme première étape pour plusieurs tâches, telles que la désambiguïsation en sens @xcite , et le réordonnancement des hypothèses d'un parser @xcite . les étiquettes supersenses le jeu d'étiquettes supersenses original comprend au total 41 sens, répartis en deux catégories : 26 étiquettes pour représenter les sens des noms et 15 autres pour représenter les sens des verbes, plus une étiquette unique (catch-all) pour les autres unités (adjectifs, adverbes, etc.). @xcite présentent ces étiquettes en détail. ## méthode proposée étant donné un corpus parallèle/multi-parallèle (anglais-italien et anglais-français dans notre cas) entre une langue source bien dotée et une ou plusieurs langues cibles moins bien dotées, notre but est de créer, en utilisant des approches faisant appel à la projection interlingue d'annotations, des ressources et des outils multilingues pour l'analyse des langues cibles. notre méthode est basée sur l'utilisation des réseaux de neurones récurrents (rnn) associés à une représentation interlingue des mots (des langues source et cibles). dans ce travail qui fait suite à nos travaux sur la construction d'annotateurs morpho-syntaxiques multilingues @xcite , nous proposons une amélioration de notre approche avec la prise en compte d'annotations externes par le rnn (voir figure 2 ), et aussi sa validation sur une nouvelle tâche plus complexe : l'annotation sémantique à gros grain multilingue (supersenses tagging). avant de décrire notre annotateur en supersenses multilingue basé sur les réseaux de neurones récurrents ( on utilise l'acronyme rnn-sst en anglais -pour recurrent neural networks based supersense tagger), nous décrivons tout d'abord l'approche par projection simple à laquelle nous allons en partie nous comparer (et qui sera aussi combinée -au cours des expériences qui vont suivre -avec la méthode que nous proposons). ## conclusion dans cet article, nous avons présenté une approche utilisant les réseaux de neurones récurrents comme annotateurs sémantiques multilingues à gros grain (supersenses). nous avons démontré que la prise en compte des annotations morpho-syntaxiques dans notre architecture neuronale améliore les performances de notre modèle sur l'annotation en supersenses. nous avons ainsi montré la faisabilité et la généricité de l'approche sur deux langues cibles : l'italien et le français. par ailleurs, nous avons aussi pu évaluer l'impact de la qualité du corpus parallèle sur notre approche (corpus obtenu par traductions manuelles ou automatiques). dans nos futurs travaux, nous envisageons d'utiliser des réseaux de neurones récurrents bidirectionnels pour prendre en compte aussi le contexte droit du mot (actuellement notre rnn n'utilise que le contexte gauche et est donc, d'une certaine façon, désavantagé par rapport à l'approche de projection simple fondée sur l'étiqueteur tnt qui prend en compte les contextes gauche et droit du mot courant). l'utilisation de représentations distribuées bilingues (bilingual word embeddings) directement à l'entrée de notre réseau récurrent est également une perspective intéressante. actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln