[en] Abstract: This article presents VERTa (https://github.com/jatserias/VERTa for the full version and http://grial.ub.edu:8080/VERTaDemo/ for the Spanish online demo), a machine translation (MT) evaluation metric for English and Spanish. VERTa uses linguistic information to evaluate machine-translated sentences by comparing them with sentences translated by human translators. Unlike other metrics, VERTa provides not only a score for each sentence compared, but also a more qualitative analysis of the results obtained. This article discusses the steps carried out before designing and implementing the metric: the linguistic study of the development corpus to find the most relevant linguistic features that the metric should be able to cover, and the text processing tools to be applied to the compared segments. In addition, it details the modules included in the metric and the information they provide, together with examples of the information the user receives. Although VERTa is an MT evaluation metric, it differs from the rest in that during its development special emphasis was placed on analyzing the linguistic information it should provide to the user, thus going beyond a mere scoring of the translated segment and serving as a first qualitative guide to detect machine translation errors. Consequently, VERTa can be used for the learning, teaching and evaluation of English and Spanish as second and/or foreign languages, as well as to carry out research studies in this area.

[es] Resumen: Este artículo presenta VERTa (https://github.com/jatserias/VERTa para la versión completa y http://grial.ub.edu:8080/VERTaDemo/ para la demo online en español), una métrica de evaluación de la traducción automática (TA) para el inglés y el español. VERTa es una métrica que utiliza información lingüística para evaluar frases traducidas automáticamente, a través de la comparación de dichas frases con frases traducidas por traductores humanos. A diferencia de otras métricas, VERTa proporciona no tan solo una puntuación por cada frase, sino también un análisis más cualitativo de los resultados obtenidos. El artículo analiza los pasos que se llevaron a cabo antes de diseñar e implementar la métrica: el estudio lingüístico del corpus de desarrollo para encontrar aquellas características más significativas que la métrica debía poder cubrir y las herramientas de procesamiento del texto que debían aplicarse a los segmentos comparados. Más adelante se describen los diferentes módulos que forman la métrica y la información que aportan, junto con ejemplos de la información que recibe el usuario. Aunque VERTa es una métrica de evaluación de la TA, se diferencia del resto en que durante su desarrollo se puso especial énfasis en analizar la información lingüística que debía aportar al usuario, para ir más allá de una mera puntuación del segmento traducido y poder servir como una primera guía cualitativa para detectar los errores de la traducción automática. En consecuencia, VERTa puede utilizarse en el área del aprendizaje, de la enseñanza y de la evaluación del inglés y del español como segundas lenguas y como lenguas extranjeras, así como en la investigación en este campo.