Apprentissage d’analyseur en dépendances cross-lingue par projection partielle de dépendances (Cross-lingual learning of dependency parsers from partially projected dependencies ) (2016)

Abstract: Cet article présente une méthode simple de transfert cross-lingue de dépendances. Nous montrons tout d’abord qu’il est possible d’apprendre un analyseur en dépendances par transition à partir de données partiellement annotées. Nous proposons ensuite de construire de grands ensembles de données partiellement annotés pour plusieurs langues cibles en projetant les dépendances via les liens d’alignement les plus sûrs. En apprenant des analyseurs pour les langues cibles à partir de ces données partielles, nous montrons que cette méthode simple obtient des performances qui rivalisent avec celles de méthodes état-de-l’art récentes, tout en ayant un coût algorithmique moindre.

## introduction de multiples tâches de traitement automatique des langues reposent sur des méthodes d'apprentissage supervisé nécessitant des corpus annotés de taille suffisante. cependant, toutes les langues ne sont pas sur un pied d'égalité lorsqu'il s'agit d'appliquer ces méthodes : certaines langues, telle que l'anglais, sont largement pourvues en ressources annotées tandis que d'autres, généralement qualifiées de « peu dotées », en manquent cruellement. dans ce contexte, de nombreuses techniques ont été mises en oeuvre dans le but de transférer des annotations (par exemple grammaticales, syntaxiques, etc.) depuis une langue source bien dotée vers une langue cible peu dotée, puis d'utiliser cette supervision imparfaite pour entraîner des systèmes de traitement de la langue cible @xcite . dans ce travail, nous nous intéressons plus particulièrement au transfert cross-lingue pour l'analyse en dépendances. dans ce domaine, deux types d'approches ont été proposés : le transfert direct de actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln modèles et le transfert d'annotations par alignement. le premier type s'appuie sur une représentation commune des tokens des langues sources et cibles (par exemple en utilisant les étiquettes morphosyntaxiques universelles @xcite ), permettant ainsi d'entraîner un analyseur sur les phrases sources et de l'appliquer directement aux phrases cibles sans tenir compte des informations lexicales (c.-à-d. des tokens). cette technique d'« analyse délexicalisée », initialement introduite par @xcite , peut être améliorée par des méthodes d'auto-apprentissage, par la sélection intelligente des données, par la relexicalisation des données ou le transfert multi-source @xcite @xcite . le second type d'approche requiert l'emploi de données parallèles et repose sur la projection des dépendances des phrases sources aux phrases cibles au travers des liens d'alignement. cette méthode introduite par @xcite a été depuis reprise et améliorée @xcite . une des difficultés soulevée par cette approche vient du fait que les structures syntaxiques entre les phrases sources et cibles ne sont pas isomorphes du fait des divergences syntaxiques des langues, telles l'absence/la concaténation des partitifs. en outre, les alignements peuvent être bruités et l'analyse en dépendances des phrases sources inexacte. l'apprentissage doit alors soit s'effectuer sur un faible nombre de données intégralement annotées, soit s'adapter à des données partiellement annotées. dans ce cas, les arbres partiels sont généralement complétés, par exemple en attachant chaque mot isolé à l'aide d'une dépendance factice @xcite ou en soumettant toutes les possibilités de rattachement de ces mots @xcite , en considérant les dépendances prédites par une analyse délexicalisée @xcite ou par une première étape d'apprentissage sur des phrases intégralement annotées @xcite . une variante récente @xcite de cette méthode utilise des corpus parallèles synthétiques produits par traduction automatique, ce qui permet de s'affranchir du bruit d'alignement et de simplifier les règles de projection ; elle présente l'inconvénient fournir des données articificielles, de qualité difficilement contrôlable, au parseur en langue cible. dans cet article, nous proposons une méthode simple et efficace de transfert d'annotations qui ne nécessite pas de recourir au filtrage et aux règles de transfert de @xcite . lors de la projection des dépendances d'une phrase source vers une phrase cible, nous transférons uniquement les dépendances entre les mots dont l'alignement est sûr, produisant de grands corpus de données partiellement annotées. nous montrons qu'il est possible d'apprendre un analyseur par transition projectif sur ces données : ceux-ci sont en effet appris par correction d'erreur à l'aide d'un oracle dynamique @xcite , ce qui permet d'ignorer les mots non attachés pour se concentrer sur la correction des dépendances connues et de minimiser l'impact de l'accumulation des erreurs. le reste de l'article est organisé comme suit : dans la section 2, nous détaillons le système d'analyse en dépendances qui permet l'apprentissage à partir de données partiellement annotées. nous montrons, par des expériences sur des corpus artificiels (section 2.2), que l'apprentissage à partir de phrases partiellement annotées est possible et demeure efficace. puis nous appliquons cette méthode dans le cadre du transfert d'annotations (section 3) en dépendances. ## apprentissage à partir de données partiellement annotées dans cette section, nous commnençons par rappeler le principe d'un analyseur arc-eager @xcite puis le principe de son apprentissage avec un oracle dynamique @xcite . nous expliquons ensuite en quoi ce système est adapté à l'apprentissage à partir de données incomplètes. ## application au transfert de dépendances dans cette section, nous montrons comment l'apprentissage à partir de données partiellement annotées peut être employé pour développer des analyseurs performants pour des langues peu dotées en transférant les annotations d'une langue mieux dotée. nous proposons dans un premier temps une méthode simple de projection partielle des dépendances d'une langue source vers une langue cible. cette méthode permet d'obtenir des données cibles partiellement annotées en se fiant uniquement aux alignements non ambigus. puis nous utilisons ces données pour apprendre des analyseurs en dépendances pour les langues cibles. cette approche est validée expérimentalement en comparant, d'une part, notre méthode de transfert avec des méthodes état-de-l'art dans ce domaine et, d'autre part, en observant l'impact du choix des heuristiques de filtrage. ## conclusion nous avons montré qu'il est possible d'apprendre un analyseur en dépendances à partir de données partiellement annotées grâce à un oracle dynamique. en utilisant des annotations partielles artificiellement produites, nous montrons alors que, pour un même nombre de dépendances, il est préférable de conserver pour l'apprentissage un grand ensemble de phrases partiellement annotées plutôt qu'un ensemble de phrases restreint intégralement annoté. cette observation nous a permis d'utiliser cette méthode d'apprentissage partiel dans le cadre du transfert d'annotations syntaxiques entre langues. nous avons privilégié une méthode simple de projection des dépendances entre les langues dans le but de projeter uniquement les dépendances que nous estimons les plus « sûres » quand bien même les structures de dépendances obtenues soient incomplètes. avec un choix approprié de l'heuristique de symétrisation et du filtrage, ce processus s'est avéré très efficace pour apprendre rapidement des analyseurs pour les langues cibles et bien moins coûteux que les alternatives récentes.