Intra-lingual and cross-lingual voice conversion using harmonic plus stochastic models (2008)

Dentro de las tecnologias del habla, la conversion de voz consiste en transformar la voz de un hablante, llamado hablante origen, de tal modo que los oyentes la perciban como si fuera la de otro hablante, llamado hablante objetivo. Aunque los rasgos de la voz dependientes del hablante son diversos, la conversion de voz se aplica especialmente a los de naturaleza acustica, es decir, los rasgos espectrales y los de frecuencia fundamental. Las aplicaciones de la conversion de voz son multiples, siendo la mas destacada permitir a los sistemas de sintesis de voz generar habla con diferentes voces sin necesidad de disponer de grandes bases de datos asociadas a cada una de ellas. El proposito de la presente tesis es dotar a los sistemas de conversion de voz de una mayor calidad y versatilidad que la que actualmente tienen.
 Como primer paso para la realizacion del presente trabajo de investigacion, se ha desarrollado un sistema de analisis, modificacion y sintesis de voz basado en el modelo armonico-estocastico de senal. La primera de las contribuciones contenidas en esta tesis son nuevos metodos que operan sobre los parametros de dicho modelo y que sirven para la modificacion prosodica de la senal de voz y para la concatenacion de fragmentos. A diferencia de otras alternativas existentes, estos metodos no requieren tomar como referencia puntos de senal sincronizados con su periodo fundamental. Por lo tanto, permiten un analisis inicial mas flexible y resuelven eficazmente los problemas de fase que se derivan de el. Con el fin de demostrar la validez del nuevo modelo y sus algoritmos asociados para sintesis de voz, requisito previo para proceder a convertir voces, se compara con TD-PSOLA, que a lo largo de los anos se ha consolidado como la tecnica mas recurrida en el mundo de la sintesis de voz, en condiciones de modificacion prosodica fuerte, resultando que los oyentes prefieren mayoritariamente el primero.
 La primera limitacion encontrada en los sistemas de conversion de voz actuales es el hecho de que convertir una voz en otra significa manipular la senal en una cierta medida, lo cual acarrea un deterioro en su calidad. De este modo, los diferentes metodos de conversion existentes presentan un compromiso entre el grado de conversion alcanzado y la calidad de las senales convertidas. En esta tesis, partiendo de un sistema propio del estado del arte actual basado en transformaciones lineales y modelos estadisticos de mezclas gaussianas, se propone un nuevo metodo de conversion llamado Weighted Frequency Warping, que consiste en combinar el metodo anterior con la tecnica conocida como frequency warping, que se caracteriza por ser respetuosa con la calidad de la senal. El nuevo metodo es sometido a la evaluacion subjetiva de varios oyentes, encargados de puntuar tanto el parecido entre voces convertidas y voces objetivo como la calidad de las senales convertidas resultantes, en una escala de 5 posibles valores. Se concluye que el nuevo metodo es capaz de incrementar la calidad en mas de 0.5 puntos con respecto al sistema de partida, mientras que los resultados de conversion experimentan un leve descenso de menos de 0.1 puntos. La puntuacion en calidad supera los 3.5 puntos, lo cual es altamente destacable. Tras participar en una evaluacion publica a nivel internacional, se observa que los resultados obtenidos gracias al nuevo metodo son muy buenos con respecto al resto de competidores.
 La versatilidad de los sistemas de conversion actuales viene limitada por los requerimientos para poder estimar funciones de transformacion adecuadas a partir de los datos de entrenamiento. Muchos de los sistemas existentes necesitan ser entrenados con frases iguales pronunciadas por los dos locutores implicados. Aunque durante los ultimos anos se han propuesto tecnicas que permiten entrenar los sistemas en ausencia de frases paralelas, algunas de ellas compatibles con contextos multilingues, el rendimiento del sistema resultante se ve perjudicado. Se propone aqui una nueva tecnica iterativa para alinear tramas sonoras de frases pronunciadas por distintos hablantes, que tiene como ventaja principal el hecho de considerar solamente aspectos acusticos de la senal y no informacion extra de tipo linguistico o fonetico. Los experimentos presentados confirman que la nueva tecnica de alineamiento permite obtener unos resultados de conversion y calidad muy similares a los del sistema entrenado en condiciones ideales. Asimismo, se prueba que la misma tecnica puede ser aplicada cuando los idiomas origen y objetivo son distintos, con un ligero deterioro en el rendimiento del sistema. Se incluyen los excelentes resultados alcanzados en una evaluacion publica internacional por un sistema de conversion de voz basado en Weighted Frequency Warping que incorpora la nueva tecnica de alineamiento.
 Finalmente, el sistema de conversion de voz desarrollado es aplicado a la creacion de un sistema de sintesis de voz multi-hablante. Se realizan experimentos perceptuales para la evaluacion de dicho sistema en cuanto a conversion y calidad.