[en] Deep learning has aroused over the past years as a promising technique in AI. Implementing algorithms that allow systems to learn with applications in several fields has made a difference with the conventional rule coding that had multiple limitations. Since successful experiments within this scope have taken place, the limits of the development of intelligent machines seem to have faded out. However, this is still not a flawless procedure: there is a great number of improvements ahead to be performed in order to obtain better results. One of these issues is the presence of stereotypes in large data sets, a generalized problem in many applications of Deep Learning. In the case of Neural Machine Translation, this phenomenon leads to gender-biased inaccurate translations. In this thesis, our commitment is to work on developing a modification of the attention mechanism (within the architecture of NMT) that can mitigate such bias. Attention controls the amount of context that is used in Neural Machine Translation. The motivation of this work is that the attention mechanism for different types of words, e.g. words with different amounts of dependencies, should be different. The concentration or diversion of context information both at encoding and decoding levels may differ depending on the studied biases and language. We study the effect of controlling this amount of attention both by modifying the attention mechanism at the encoding and decoding level, for self and inter-attention. We evaluate this for the case of mitigating biases in a multilingual setting on a recent NMT architecture: the Transformer. The results show a similar quality of translation as the baseline model in terms of accuracy, but outperforms the reference model in nearly all gender-bias indicators, yielding results that are encouraging for continuing exploring this line of research.

[es] El aprendizaje profundo ha surgido en los últimos años como una técnica prometedora en IA. La implementación de algoritmos que permiten que los sistemas aprendan con aplicaciones en varios campos ha marcado la diferencia con la codificación de reglas convencional que tenía múltiples limitaciones. Desde que se han llevado a cabo experimentos exitosos dentro de este ámbito, los límites del desarrollo de las máquinas inteligentes parecen haberse desvanecido. Sin embargo, este todavía no es un procedimiento impecable: hay un gran número de mejoras por realizar para obtener mejores resultados. Uno de estos problemas es la presencia de estereotipos en grandes conjuntos de datos, un problema generalizado en muchas aplicaciones de Deep Learning. En el caso de la traducción automática neuronal, este fenómeno conduce a traducciones inexactas con sesgo de género. En esta tesis, nuestro compromiso es trabajar en el desarrollo de una modificación del mecanismo de atención (dentro de la arquitectura de NMT) que pueda mitigar dicho sesgo. La atención controla la cantidad de contexto que se utiliza en la traducción automática neuronal. La motivación de este trabajo es que el mecanismo de atención para diferentes tipos de palabras, por ejemplo palabras con diferentes cantidades de dependencias, deberían ser diferentes. La concentración o el desvío de la información del contexto, tanto a nivel de codificación como de decodificación, puede diferir dependiendo de los sesgos y el lenguaje estudiados. Estudiamos el efecto de controlar esta cantidad de atención modificando el mecanismo de atención a nivel de codificación y decodificación, para la atención propia y la atención cruzada. Evaluamos esto para el caso de mitigar los sesgos en un entorno multilingüe en una arquitectura NMT reciente: el Transformer. Los resultados muestran una calidad de traducción similar al modelo de línea de base en términos de precisión, pero supera al modelo de referencia en casi todos los indicadores de sesgo de género, arrojando resultados que son alentadores para seguir explorando esta línea de investigación.