[en] Public Service Interpreting and Translation (PSIT) has arisen as a response to the increase in foreign population over the last few decades in Spain, which today is close to 9 million people (Instituto Nacional de Estadística, 2024). However, many of the new immigrants do not yet speak Spanish or other co-official languages, making it difficult for them to access public services. In this sense, it is essential to integrate these groups through a multilingual access. The main aim of this research is to assess the quality of generic machine translation tools in the ES>EN combination by means of an error analysis of medical texts, as well as the latest large language models (LLM). The machine translation and large language model tools chosen are DeepL, Google Translate and ChatGPT, respectively. Likewise, the texts selected for this study come from the Castilla-La Mancha Health Service, more specifically from the Albacete and Ciudad Real hospitals. The manual error classification designed by Ortiz Boix (2016), which takes the MQM classification as a starting point, will be used for the study. This paper aims to carry out an exploratory study on the quality of machine translation and large language models applied to the healthcare context. Because the corpus is very limited and the manual classification is based on the mere opinion of the author, this work cannot be considered completely objective, representative or universal. Furthermore, this analysis can only demonstrate a trend in relation to the texts used and their context, so that if other texts are used, the results will most likely vary from those obtained in this work. The error analysis carried out here has pointed out the low quality of translation tools with medical texts, which require post-editing to make them publishable. However, it must be acknowledged that, despite the number of errors, the quality of translations is generally good. Regarding the best or worst translation systems, the results are not conclusive, as they vary depending on how the data are analyzed.

[es] La traducción e interpretación en los servicios públicos (TISP) surge en consecuencia del incremento en población extranjera durante las últimas décadas, que hoy se acerca a los 9 millones de personas (Instituto Nacional de Estadística, 2024). Sin embargo, muchos de los nuevos inmigrantes todavía no hablan el español u otras lenguas cooficiales, dificultando su acceso a los servicios público. En este sentido, es esencial integrar a estas poblaciones mediante un acceso plurilingüe. El objetivo de esta investigación es analizar la calidad de los sistemas de traducción automática genéricos en la combinación ES>EN mediante un estudio de errores en textos médicos, así como los más recientes modelos de lenguaje masivo (LLM, Large Language Models, en inglés). Las herramientas de traducción automática y modelo de lenguaje masivo elegidas son DeepL, Google Translate y ChatGPT, respectivamente. Asimismo, los textos seleccionados para este estudio proceden del Servicio de Salud de Castilla-La Mancha, más concretamente de los hospitales de Albacete y Ciudad Real. Para su estudio se usará la clasificación manual de errores diseñada por Ortiz Boix (2016), que toma como punto de partida la de MQM. Este trabajo se propone realizar un estudio exploratorio sobre la calidad de la traducción automática y modelos de lenguaje masivo aplicado al contexto sanitario. Debido a que el corpus es muy limitado y la clasificación manual se basan en la mera opinión del autor, este trabajo no puede considerarse completamente objetivo, representativo ni universal. Asimismo, este análisis solo puede demostrar una tendencia en relación con los textos usados y su contexto, por lo que, si se usan otros textos, lo más probable es que los resultados varíen a los obtenidos en este trabajo. El análisis de errores aquí llevado a cabo ha señalado la baja calidad de los sistemas de traducción con textos médicos, los cuales precisan de una tarea de posedición para que sean publicables. Sin embargo, cabe reconocer que, a pesar de la cantidad de errores, la calidad de las traducciones es en general buena. En relación con los mejores o peores sistemas de traducción, los resultados no son conclusivos, pues estos varían en función de cómo se analicen los datos