[en] In a world in which the internet gives us access to any kind of information, there are still limitations when the source of such information is presented in another language. Online translators are far from perfect, this is why language machine translation is a trending topic in the field of deep learning. The purpose of this project is to use the Transformer architecture, developed by Google in 2017, in the context of Multilingual Machine Translation and to improve its results both in translation and a common intermediate representation. The Transformer model is focused on self-attention and composed by an encoder and decoder that rely on a common intermediate representation of the source language. For the purpose of raising the BLEU score that defines the quality of the translation and enhancing the common intermediate representation, we have introduced Part-Of-Speech tagging in the encoder of the model. We perform experiments with four languages (English, Spanish, French and German) both in Machine Translation and in Cross-lingual Natural Language Inference. Finally, we visualize the intermediate representation and make experiments to see how source embeddings codify gender information. Comparing a baseline model without tagging with the new POS tagged codes, the translation BLEU has decreased 0.50 points on average. In the case of NLI, the accuracies have also decreased 8% on average, showing that the POS tagged models do not improve the performances of these tasks. However, in the gender experiments of the encoder embeddings, the accuracy of the gender classification for professions has increased by 1.1%.

[es] En un mundo donde Internet nos da acceso a cualquier tipo de información, aún hay limitaciones cuando la fuente de esta se presenta en otro idioma. Los traductores en línea están lejos de ser perfectos y es por eso que la traducción automática entre idiomas es un tema de tendencia en el campo del aprendizaje profundo. El objetivo de este proyecto es utilizar la arquitectura del Transformer, desarrollada por Google en 2017, en el contexto de la traducción automática multilingüe. El modelo se centra en el concepto de la atención y está compuesto por un codificador y un decodificador basados en una representación intermedia del lenguaje de origen. Con el objetivo de aumentar la BLEU, puntuación que define la calidad de la traducción, y mejorar la representación intermedia, hemos introducido el etiquetado de categorías gramaticales (Part-Of-Speech) en el codificador del modelo. Hemos realizado experimentos con cuatro idiomas (inglés, español, francés y alemán) tanto en traducción automática como en Comprensión del Lenguaje Natural (CLN). Finalmente, hemos visualizado la representación intermedia y hemos hecho experimentos para ver cómo las representaciones de palabras en vectores codifican la información de género. Al comparar un modelo base sin etiquetado Part-Of-Speech con los nuevos códigos etiquetados, la BLEU de traducción ha disminuido 0.50 puntos de media. En el caso de la CLN, las precisiones también han disminuido un 8%, demostrando que los modelos etiquetados no mejoran el rendimiento de estas tareas. Sin embargo, la precisión de la clasificación de género para profesiones ha aumentado en un 1.1%.