W ord2 V ec vs DB nary ou comment (ré)concilier représentations distribuées et réseaux lexico-sémantiques ? Le cas de l’évaluation en traduction automatique ( W ord2 V ec vs DB nary or how to bring back together vector representations and lexical resources ? A case study for machine translation evaluation) (2016)

Abstract: Cet article présente une approche associant réseaux lexico-sémantiques et représentations distribuées de mots appliquée à l’évaluation de la traduction automatique. Cette étude est faite à travers l’enrichissement d’une métrique bien connue pour évaluer la traduction automatique (TA) : METEOR. METEOR permet un appariement approché (similarité morphologique ou synonymie) entre une sortie de système automatique et une traduction de référence. Nos expérimentations s’appuient sur la tâche Metrics de la campagne d’évaluation WMT 2014 et montrent que les représentations distribuées restent moins performantes que les ressources lexico-sémantiques pour l’évaluation en TA mais peuvent néammoins apporter un complément d’information intéressant à ces dernières.

## introduction les approches d'apprentissage de représentations distribuées de mots utilisant des réseaux de neurones ont récemment généré un fort enthousiasme dans la communauté de recherche en traitement automatique du langage naturel. en particulier, de nombreuses contributions se sont appuyées sur actes de la conférence conjointe jep-taln-recital 2016, volume 2 : taln les travaux de @xcite ) sur l'apprentissage de représentations distribuées de mots (ou « word embeddings »). une des raisons de cet engouement est la proposition d'une architecture neuronale simple, la distribution d'un outil word2vec foot_0 et la structuration rapide d'une communauté d'utilisateurs foot_1 . un certain nombre de contributions ont étendu ce travail à des fragments (ou séquences de mots) @xcite et à des représentation bilingues @xcite . ces représentations distribuées permettent de capturer des similitudes entre mots, fragments ou phrases à différents niveaux, et notamment aux niveaux morphologique et sémantique. bien que ces représentations soient sémantiquement informatives, elles ne tiennent pas compte des informations fines présentes dans les ressources lexico-sémantiques telles que wordnet @xcite ou dbnary @xcite , par exemple. on peut aussi remarquer qu'à ce jour, peu de travaux ont tenté d'associer beautiful data et big data, c'est à dire associer ressources lexicales et représentations distribuées entraînées sur de gros corpus. cependant, citons les travaux récents de @xcite qui propose de raffiner l'apprentissage de représentations en utilisant des ressources lexico-sémantiques. l'approche consiste à forcer les mots connectés dans un réseau lexical à avoir une représentation proche, par exemple à travers un lien de synonymie. la technique proposée est évaluée sur plusieurs benchmarks (similarité de mots, analyse de sentiments, sélection de synonymes). contribution cet article tente de faire le point sur l'apport des représentations distribuées pour mesurer la similarité entre phrases et leur capacité à prendre en compte des relations de synonymie ou de proximité morphologique entre mots. nous comparons ces approches de représentations distribuées, apprises automatiquement, avec les mesures de similarité fondées sur des réseaux lexico-sémantiques. une tâche nous a semblé particulièrement bien appropriée pour faire cette comparaison. il s'agit de l'évaluation des systèmes de traduction automatique (ta). plus précisément, nous proposons des ajouts à la métrique meteor @xcite qui permet un appariement approché (similarité morphologique ou synonymie) entre une sortie de système automatique et une traduction de référence. plan dans la partie 2, nous détaillons la métrique d'évaluation (meteor) dans laquelle seront intégrés nos ajouts en terme de ressources lexicales et de représentations distribuées de mots (également présentées dans cette partie). la partie 3 présente notre méthodologie d'évaluation d'un score meteor enrichi, fondée sur les données issues de la tâche metrics de la campagne wmt 2014. enfin, la partie 4 présente les résultats obtenus tandis que la partie 5 est consacrée à la conclusion et aux perspectives.