Desarrollo de sistemas de diálogo oral adaptativos y portables: Reconocimiento de emociones, adaptación al idioma y evaluación de campo

La presente tesis doctoral describe el trabajo realizado en tres de las lineas mas exigentes y prometedoras del area de los sistemas de dialogo oral: el reconocimiento de emociones no actuadas, la adaptacion de reconocedores del habla entre idiomas y la evaluacion de campo (no restringida a laboratorio) de sistemas, empleando criterios tanto "objetivos" como "subjetivos". La investigacion descrita en la tesis constituye una aportacion novedosa a lo que los expertos han definido como los mayores retos de investigacion del area: la adaptatividad y portabilidad de los sistemas de dialogo oral. En primer lugar, en cuanto al reconocimiento de emociones, se presenta un estudio detallado acerca de como calcular e interpretar coeficientes de fiabilidad para la anotacion de corpus con emociones reales. Se propone una nueva aproximacion eficiente que mejora considerablemente el reconocimiento de las emociones, tanto por parte del sistema como respecto a los niveles de acuerdo entre los anotadores humanos, mediante el uso de diferentes fuentes de informacion contextuales. Por una parte, el proceso de anotacion se mejora consiguiendo valores de acuerdo entre anotadores cercanos al maximo alcanzable incluso tratandose de anotadores no expertos. Por otra, se propone un algoritmo para el reconocimiento de emociones que extrae automaticamente la informacion contextual en tiempo de ejecucion, obteniendose resultados que suponen una mejora del 40% en comparacion con el estado del arte. En segundo lugar, la adaptacion de reconocedores del habla a diferentes lenguas se ha realizado durante una estancia de tres meses en la Technical University of Liberec (Republica Checa). Como resultado de esta investigacion, se presenta una aproximacion eficiente en tiempo y esfuerzo para adaptar un reconocedor del habla a otros idiomas. En concreto un reconocedor del habla checa a un idioma que es acusticamente muy similar (eslovaco) y a otro con un origen completamente diferente (espanol). La precision obtenida en el reconocimiento es de aproximadamente el 70% para el espanol y del 80% para el eslovaco en tareas que precisan grandes vocabularios (alrededor de 150.000 palabras). En tercer lugar, se han llevado a cabo diversos estudios estadisticos sobre la evaluacion de campo de los sistemas de dialogo oral, proporcionando nuevas evidencias empiricas sobre las relaciones entre los diferentes criterios de evaluacion. El estudio incluye tanto parametros objetivos como subjetivos, prestando especial atencion a la satisfaccion del usuario y al exito de la tarea, estudiando el impacto de diferentes aproximaciones para la gestion del dialogo y del nivel de experiencia del usuario empleando el sistema, asi como el nivel de colaboracion de los usuarios durante la interaccion. Todas las propuestas de la tesis se han evaluado con sistemas de dialogo reales. Para cumplir esta finalidad se desarrollo el sistema de dialogo oral UAH. El sistema se puso a disposicion del publico (via telefonica) en junio de 2005, habiendose grabado la totalidad de dialogos con el sistema. Se han anotado las llamadas recibidas durante un ano utilizando criterios de evaluacion estandares (por ejemplo la tasa de errores por palabra). Este corpus se ha ampliado con la anotacion de emociones por parte de nueve anotadores no expertos, que etiquetaron cada intervencion de los usuarios como "neutro", "enfado", "duda" o "aburrimiento". Tanto los metodos de reconocimiento de emociones como los estudios de evaluacion propuestos en la tesis se han evaluado en la practica empleando el corpus UAH. Con respecto a la adaptacion entre idiomas, su evaluacion se llevo a cabo utilizando el sistema MyVoice, desarrollado por la Technical University of Liberec. La traduccion de sus comandos para posibilitar la interaccion en espanol es otra de las contribuciones de la tesis. Los resultados empiricos obtenidos con los sistemas de dialogo se han verificado rigurosamente, midiendose su significatividad mediante diferentes estudios estadisticos. Los resultados de la investigacion descrita se han publicado en conferencias y revistas de prestigio, tanto nacionales como internacionales; habiendose presentado ademas mediante diversas ponencias, posteres y demostraciones internacionales.