Diseño, desarrollo y evaluación de sistemas de traducción automática para reducir las barreras de comunicación de las personas sordas

La principal aportacion de esta tesis doctoral ha sido la propuesta y evaluacion de un sistema de traduccion automatica que permite la comunicacion entre personas oyentes y sordas. Este sistema esta formado a su vez por dos sistemas: un traductor de habla en espanol a Lengua de Signos Espanola (LSE) escrita y que posteriormente se representa mediante un agente animado; y un generador de habla en espanol a partir de una secuencia de signos escritos mediante glosas. El primero de ellos consta de un reconocedor de habla, un modulo de traduccion entre lenguas y un agente animado que representa los signos en LSE. El segundo sistema esta formado por una interfaz grafica donde se puede especificar una secuencia de signos mediante glosas (palabras en mayuscula que representan los signos), un modulo de traduccion entre lenguas y un conversor texto-habla. Para el desarrollo del sistema de traduccion, en primer lugar se ha generado un corpus paralelo de 7696 frases en espanol con sus correspondientes traducciones a LSE. Estas frases pertenecen a cuatro dominios de aplicacion distintos: la renovacion del Documento Nacional de Identidad, la renovacion del permiso de conducir, un servicio de informacion de autobuses urbanos y la recepcion de un hotel. Ademas, se ha generado una base de datos con mas de 1000 signos almacenados en cuatro sistemas distintos de signo-escritura. En segundo lugar, se ha desarrollado un modulo de traduccion automatica que integra dos tecnicas de traduccion con una estructura jerarquica: la primera basada en memoria y la segunda estadistica. Ademas, se ha implementado un modulo de pre-procesamiento de las frases en espanol que, mediante su incorporacion al modulo de traduccion estadistica, permite mejorar significativamente la tasa de traduccion. En esta tesis tambien se ha mejorado la version de la interfaz de traduccion de LSE a habla. Por un lado, se han incorporado nuevas caracteristicas que mejoran su usabilidad y, por otro, se ha integrado un traductor de lenguaje SMS (Short Message Service – Servicio de Mensajes Cortos) a espanol, que permite especificar la secuencia a traducir en lenguaje SMS, ademas de mediante una secuencia de glosas. El sistema de traduccion propuesto se ha evaluado con usuarios reales en dos dominios de aplicacion: un servicio de informacion de autobuses de la Empresa Municipal de Transportes de Madrid y la recepcion del Hotel Intur Palacio San Martin de Madrid. En la evaluacion estuvieron implicadas personas sordas y empleados de los dos servicios. Se extrajeron medidas objetivas (obtenidas por el sistema automaticamente) y subjetivas (mediante cuestionarios a los usuarios). Los resultados fueron muy positivos gracias a la opinion de los usuarios de la evaluacion, que validaron el funcionamiento del sistema de traduccion y dieron informacion valiosa para futuras lineas de trabajo. Por otro lado, tras la integracion de cada uno de los modulos de los dos sistemas de traduccion (habla-LSE y LSE-habla), los resultados de la evaluacion y la experiencia adquirida en todo el proceso, una aportacion importante de esta tesis doctoral es la propuesta de metodologia de desarrollo de sistemas de traduccion de habla a lengua de signos en los dos sentidos de la comunicacion. En esta metodologia se detallan los pasos a seguir para desarrollar el sistema de traduccion para un nuevo dominio de aplicacion. Ademas, la metodologia describe como disenar cada uno de los modulos del sistema para mejorar su flexibilidad, de manera que resulte mas sencillo adaptar el sistema desarrollado a un nuevo dominio de aplicacion. Finalmente, en esta tesis se analizan algunas tecnicas para seleccionar las frases de un corpus paralelo fuera de dominio para entrenar el modelo de traduccion cuando se quieren traducir frases de un nuevo dominio de aplicacion; asi como tecnicas para seleccionar que frases del nuevo dominio resultan mas interesantes que traduzcan los expertos en LSE para entrenar el modelo de traduccion. El objetivo es conseguir una buena tasa de traduccion con la menor cantidad posible de frases. ABSTRACT The main contribution of this thesis has been the proposal and evaluation of an automatic translation system for improving the communication between hearing and deaf people. This system is made up of two systems: a Spanish into Spanish Sign Language (LSE – Lengua de Signos Espanola) translator and a Spanish generator from LSE sign sequences. The first one consists of a speech recognizer, a language translation module and an avatar that represents the sign sequence. The second one is made up an interface for specifying the sign sequence, a language translation module and a text-to-speech conversor. For the translation system development, firstly, a parallel corpus has been generated with 7,696 Spanish sentences and their LSE translations. These sentences are related to four different application domains: the renewal of the Identity Document, the renewal of the driver license, a bus information service and a hotel reception. Moreover, a sign database has been generated with more than 1,000 signs described in four different signwriting systems. Secondly, it has been developed an automatic translation module that integrates two translation techniques in a hierarchical structure: the first one is a memory-based technique and the second one is statistical. Furthermore, a pre processing module for the Spanish sentences has been implemented. By incorporating this pre processing module into the statistical translation module, the accuracy of the translation module improves significantly. In this thesis, the LSE into speech translation interface has been improved. On the one hand, new characteristics that improve its usability have been incorporated and, on the other hand, a SMS language into Spanish translator has been integrated, that lets specifying in SMS language the sequence to translate, besides by specifying a sign sequence. The proposed translation system has been evaluated in two application domains: a bus information service of the Empresa Municipal de Transportes of Madrid and the Hotel Intur Palacio San Martin reception. This evaluation has involved both deaf people and services employees. Objective measurements (given automatically by the system) and subjective measurements (given by user questionnaires) were extracted during the evaluation. Results have been very positive, thanks to the user opinions during the evaluation that validated the system performance and gave important information for future work. Finally, after the integration of each module of the two translation systems (speech- LSE and LSE-speech), obtaining the evaluation results and considering the experience throughout the process, a methodology for developing speech into sign language (and vice versa) into a new domain has been proposed in this thesis. This methodology includes the steps to follow for developing the translation system in a new application domain. Moreover, this methodology proposes the way to improve the flexibility of each system module, so that the adaptation of the system to a new application domain can be easier. On the other hand, some techniques are analyzed for selecting the out-of-domain parallel corpus sentences in order to train the translation module in a new domain; as well as techniques for selecting which in-domain sentences are more interesting for translating them (by LSE experts) in order to train the translation model.