Knowledge-based probabilistic modeling for tracking lyrics in music audio signals

Esta tesis propone metodologias especificas de procesamiento de senales y aprendizaje automatico para alinear de manera automatica la letra de una cancion a su correspondiente grabacion de audio. La investigacion llevada a cabo recae en el campo mas amplio de la recuperacion de informacion musical (MIR), y por lo tanto, pretendemos con ella mejorar algunas de las metodologias mas avanzadas de la actualidad, introduciendo conocimiento especifico del dominio. El objetivo de este trabajo es disenar modelos capaces de rastrear en la senal de audio musical el aspecto secuencial de un elemento particular de la letra, los fonemas. Se puede entender que la musica comprende diferentes facetas, una de las cuales es la letra. Los modelos que construimos tienen en cuenta el contexto complementario que existe alrededor de la letra, que es cualquier faceta musical complementaria a las letras. Las facetas utilizadas en esta tesis incluyen la estructura de la composicion musical, la estructura temporal de un enunciado de la letra, la estructura metrica. Desde esta perspectiva, analizamos no solo las caracteristicas acusticas de bajo nivel, que representan el timbre de los fonemas, sino tambien las caracteristicas de alto nivel, en las que se manifiesta el contexto complementario. Proponemos modelos probabilisticos especificos para representar como las transiciones entre fonemas cantados consecutivamente estan condicionadas por diferentes facetas del contexto complementario. El contexto complementario, al cual abordamos, se despliega en el tiempo segun principios propios de una tradicion musical. Para capturar estos principios, hemos creado corpus y conjuntos de datos para dos tradiciones musicales, dichas que tienen un rico conjunto de tales principios: makam turco otomano y opera de Beijing. Los conjuntos de datos y los corpus comprenden diferentes tipos de datos: grabaciones de audio, partituras y metadatos. Desde esta perspectiva, los modelos propuestos pueden aprovechar tanto los datos como el conocimiento del dominio de la musica de determinados estilos musicales para mejorar los enfoques existentes usados como referencia. Como punto de partida, elegimos un reconocedor fonetico basado en modelos ocultos de Markov (HMM): una metodologia ampliamente utilizada para el rastreo de fonemas tanto en el canto como en los problemas de procesamiento del habla. Presentamos mejoras en los pasos tipicos de los enfoques de reconocimiento fonetico existentes, dirigidos hacia las caracteristicas de las tradiciones musicales estudiadas. Ademas de los puntos de partida mejorados, usamos modelos probabilisticos basados ​​en redes bayesianas dinamicas (DBN) que representan la relacion de las transiciones de fonemas con su contexto complementario. Se construyen dos modelos independientes para dos granularidades de contexto complementario: la estructura temporal de un enunciado de la letra (alto nivel) y la estructura del ciclo metrico (nivel mas fino). En un modelo explotamos el hecho de que las duraciones de las silabas dependen de su posicion dentro de un enunciado de la letra. La informacion sobre las duraciones esperadas se obtiene de la partitura, asi como de conocimientos especificos de la musica. Luego, en otro modelo, analizamos como los onsets de notas vocales, estimados a partir de grabaciones de audio, influyen en las transiciones entre vocales consecutivas y consonantes. Tambien proponemos como detectar las posiciones de tiempo de los onsets de nota cantada mediante el rastreo simultaneo de las posiciones en el ciclo metrico (es decir, acentos metricos). Con el fin de evaluar el potencial de los modelos propuestos, utilizamos la alineacion de letra a grabacion de audio como una tarea concreta. Cada modelo mejora la precision de la alineacion, en comparacion con el modelo de referencia inicial, que se basa unicamente en la acustica del timbre fonetico. Esto valida nuestra hipotesis de que el conocimiento del contexto complementario es un factor importante para el seguimiento computacional de las letras, especialmente en el desafiante caso de cantar junto a un acompanamiento instrumental. Los resultados de este estudio no son solo metodologias teoricas y datos, sino tambien herramientas de software especificas que se han integrado en Dunya - un conjunto de herramientas, construido en el contexto de CompMusic, un proyecto para avanzar el analisis computacional de la musica del mundo. Con esta aplicacion, tambien hemos demostrado que las metodologias desarrolladas son utiles no solo para el seguimiento de letras, sino tambien para otros casos de uso, como una experiencia y apreciacion enriquecidas al escuchar musica, o fines educativos.