[ca] En un món on l'Internet ens dóna accés a qualsevol tipus d'informació, encara hi ha limitacions quan la font d'aquesta informació es presenta en un altre idioma. Els traductors en línia són lluny de ser perfectes i és per això que la traducció automàtica entre idiomes és un tema de tendència en el camp de l'aprenentatge profund. L'objectiu d'aquest projecte és utilitzar l'arquitectura del Transformer, desenvolupada per Google al 2017, en el context de la traducció automàtica multilingüe. El model es centra en el concepte de l'atenció i està compost per un codificador i un decodificador basats en una representació intermèdia del llenguatge d'origen. Amb l'objectiu d'augmentar la BLEU, puntuació que defineix la qualitat de la traducció, i millorar la representació intermèdia comuna, hem introduït l'etiquetatge de categories gramaticals (Part-Of-Speech) al codificador del model. Hem realitzat experiments amb quatre idiomes (anglès, castellà, francès i alemany) tant en traducció automàtica com en Comprensió del Llenguatge Natural (CLN). Finalment, hem visualitzat la representació intermèdia i hem fet experiments per veure com les representacions de paraules en vectors codifiquen la informació de gènere. En comparar un model base sense etiquetatge Part-Of-Speech amb els nous codis etiquetats, la BLEU de traducció ha disminuït 0.50 punts de mitjana. En el cas de la CLN, les precisions també han disminuït un 8%, demostrant que els models etiquetats no milloren el rendiment d'aquestes tasques. No obstant això, la precisió de la classificació de gènere per a professions ha augmentat en un 1.1%.

[en] In a world in which the internet gives us access to any kind of information, there are still limitations when the source of such information is presented in another language. Online translators are far from perfect, this is why language machine translation is a trending topic in the field of deep learning. The purpose of this project is to use the Transformer architecture, developed by Google in 2017, in the context of Multilingual Machine Translation and to improve its results both in translation and a common intermediate representation. The Transformer model is focused on self-attention and composed by an encoder and decoder that rely on a common intermediate representation of the source language. For the purpose of raising the BLEU score that defines the quality of the translation and enhancing the common intermediate representation, we have introduced Part-Of-Speech tagging in the encoder of the model. We perform experiments with four languages (English, Spanish, French and German) both in Machine Translation and in Cross-lingual Natural Language Inference. Finally, we visualize the intermediate representation and make experiments to see how source embeddings codify gender information. Comparing a baseline model without tagging with the new POS tagged codes, the translation BLEU has decreased 0.50 points on average. In the case of NLI, the accuracies have also decreased 8% on average, showing that the POS tagged models do not improve the performances of these tasks. However, in the gender experiments of the encoder embeddings, the accuracy of the gender classification for professions has increased by 1.1%.