[en] General quality aspects of machine translation (MT) such as adequacy and fluency are studied extensively, more fine-grained aspects such as the terminology translation quality have not received much attention especially in the context of translation studies. The objective of this study is to analyze the types and frequencies of terminology errors in custom statistical machine translation (SMT) and neural machine translation (NMT) with the goal of understanding how MT system type, corpus type and corpus size affect the terminology translation quality. A Turkish - English parallel corpus obtained from cardiology journal abstracts was built from scratch for training domain-specific SMT and NMT engines. Then, this domain-specific corpus is combined with a mixed domain corpus and two more engines were trained. After conducting automatic evaluation and human evaluation on these 4 engines, terminology errors were annotated based on a custom terminology error typology. It was found that the types and frequencies of terminology errors are significantly different in SMT and NMT systems, and that changes in corpus size and corpus type had more drastic impact on NMT compared to SMT. A key contribution of the dissertation to the MT research is the crafted language-agnostic terminology error typology which can be used for evaluating the relative strengths and weakness of different MT systems in terms of terminology. Besides, the finding that NMT systems exhibit different types of term errors with different frequencies implies that postediting guidelines conceived specifically for SMT systems could require changes to accommodate the behavior pattern of NMT.

[es] Los aspectos generales de calidad de la traducción automática (TA), como la adecuación y la fluidez, se han estudiado ampliamente, pero los aspectos más detallados, como la calidad de la traducción de la terminología, se han subestimado, especialmente en el contexto de los estudios de traducción. El objetivo de este estudio es analizar los tipos y frecuencias de errores terminológicos en la traducción automática estadística (TAE) y la traducción automática neuronal (TAN) con el objetivo final de comprender cómo el tipo de sistema de TA, el tipo de corpus y el tamaño del corpus afectan la calidad de la traducción de terminología. Un corpus paralelo turco-inglés obtenido a partir de resúmenes de revistas de cardiología se creó desde cero para entrenar motores de TAE y TAN de dominios específicos. Luego, este corpus se combina con un corpus de dominio mixto y se entrenaron dos motores más. Después de realizar una evaluación automática y una evaluación humana en estos 4 motores, los errores de terminología se anotaron según una tipología de errores de terminología personalizada. Se ha encontrado que los tipos y frecuencias de los errores terminológicos son significativamente diferentes en los sistemas TAE y TAN, y que los cambios en el tamaño y tipo de corpus tienen un impacto más drástico en el TAN en comparación con el TAE. Una contribución clave de la disertación es la tipología de error de terminología que se puede utilizar para evaluar las fortalezas y debilidades relativas de diferentes sistemas de TA en términos de terminología. Además, el hallazgo de que los sistemas TAN exhiben diferentes tipos de errores en los términos con diferentes frecuencias implica que las pautas de posedición que se prepararon para los textos resultantes de TAE deben actualizarse para adaptarse al nuevo patrón de comportamiento de TAN.