Descriptor control of sound transformations and mosaicing synthesis

El muestreo, como una tecnica musical o de sintesis, es una manera de reutilizar expresiones musicales grabadas. En esta disertacion se exploran estrategias para ampliar la sintesis de muestreo, sobretodo la sintesis de “mosaicing”. Esta ultima intenta de imitar una senal objetiva desde un conjunto de senales fuente, transformando y ordenando estas senales en el tiempo, de la misma manera que se haria un mosaico con baldosas rotas. Una de estas ampliaciones de sintesis consiste en el control automatico de transformaciones de sonido hacia objetivos definidos en un espacio perceptivo. La estrategia elegida utiliza modelos que predicen como se transformara el sonido de entrada en funcion de los parametros seleccionados. En un caso, los modelos son conocidos, y pueden ser usadas busquedas numericas para encontrar parametros suficientes; en el otro, los modelos son desconocidos y se tienen que aprender desde los datos. Otra ampliacion se centra en el muestro en si. Mezclando multiples sonidos a la vez, quizas es posible hacer mejores imitaciones, especificamente mejorar la armonia del resultado, entre otros aspectos. Sin embargo, utilizar multiples mezclas crea nuevos problemas computacionales, especialmente si algunas propiedades como la continuidad, importante para la sintesis de muestreo de alta calidad, deben preservarse. En esta tesis se presenta un nuevo sintetizador mosaicing que incorpora todos estos elementos: control automatico de transformaciones de sonido utilizando modelos, mezclas apoyadas en descriptores de armonia y timbre perceptuales, y preservacion de la continuidad del contexto de muestreo de los parametros de transformacion. Usando pruebas de escucha, el algoritmo hibrido propuesto fue comparado con algoritmos clasicos y contemporaneos: el algoritmo hibrido dio resultados positivos en una variedad de medidas de calidad. Capitulo 1 introduce la motivacion para la investigacion y las preguntas de investigacion, y menciona aplicaciones posibles. Capitulo 2 resume las obras previas sobre la sintesis “mosaicing”, y sobre la sintesis y transformacion controlada por descriptores de objetivo. Capitulo 3 da alguna terminologia y preliminares sobre modelos de transformacion. Capitulo 4 desarrolla un modelo de un pequeno conjunto de transformaciones, y muestra una estrategia prueba del concepto para controlar estas transformaciones por la optimizacion numerica. Capitulo 5 es una tentativa de aprender modelos de transformacion desde los datos. Capitulo 6 introduce nuevos metodos de mosaicing de mezcla, y estos metodos son evaluados en Capitulo 7 por pruebas de escucha, para la aplicacion de transferencia de textura. Capitulo 8 resume los resultados y trata de labor futura. Las referencias mas importantes son las obras sobre la sintesis concatenativa de [1]–[5], las obras sobre el control guiada por descriptores [6]–[13], y las obras sobre metodos de la aproximacion escasa de senales [14]–[17]. [1] D. Schwarz, “Corpus-Based Concatenative Synthesis,” Signal Process. Mag. IEEE, vol. 24, no. 2, pp. 92–104, 2007. [2] J. Bonada and X. Serra, “Synthesis of the Singing Voice by Performance Sampling and Spectral Models,” IEEE Signal Process. Mag. , vol. 24, no. 2, pp. 67–79, Mar. 2007. [3] A. Zils and F. Pachet, “Musical Mosaicing,” Digit. Audio Eff. DAFx, 2001. [4] M. D. Hoffman, P. R. Cook, and D. M. Blei, “Bayesian Spectral Matching: Turning Young MC into MC Hammer via MCMC Sampling,” in Proceedings of ICMC 2009, 2009. [5] B. L. Sturm, C. Roads, A. McLeran, and J. J. Shynk, “Analysis, visualization, and transformation of audio signals using dictionary-based methods,” in Proceedings of the International Computer Music Conference. International Computer Music Association, 2008. [6] D. Wessel, C. Drame, and M. Wright, “Removing the Time Axis from Spectral Model Analysis-Based Additive Synthesis: Neural Networks versus Memory-Based Machine Learning,” presented at the International Computer Music Conference, Ann Arbor, Michigan, 1998, pp. 62–65. [7] T. Jehan, “Perceptual synthesis engine: an audio-driven timbre generator,” Masters Thesis, Massachusetts Institute of Technology, 2001. [8] S. Le Groux and P. F. Verschure, “Perceptsynth: mapping perceptual musical features to sound synthesis parameters,” in IEEE International Conference on Acoustics, Speech and Signal Processing, 2008. ICASSP 2008, 2008, pp. 125–128. [9] D. Mintz, “Toward Timbral Synthesis: a new method for synthesizing sound based on timbre description schemes,” Masters Thesis, University of California, 2007. [10] T. Nakano and M. Goto, “VocaListener: A singing-to-singing synthesis system based on iterative parameter estimation,” in Proceedings of the 2009 Sound and Music Conference, Porto, Portugal, 2009, pp. 343–348. [11] J. Janer, “Singing-driven Interfaces for Sound Synthesizers,” Universitat Pompeu Fabra, Barcelona, 2008. [12] G. Coleman and J. Bonada, “Sound Transformation by Descriptor Using an Analytic Domain,” in Proc. DAFx08, 2008. [13] M. Caetano and X. Rodet, “Evolutionary Spectral Envelope Morphing by Spectral Shape Descriptors,” in Proc. ICMC09, Montreal, 2009. [14] S. G. Mallat and Z. Zhang, “Matching pursuits with time-frequency dictionaries,” IEEE Trans. Signal Process. , vol. 41, no. 12, pp. 3397–3415, 1993. [15] Y. C. Pati, R. Rezaiifar, and P. S. Krishnaprasad, “Orthogonal matching pursuit: Recursive function approximation with applications to wavelet decomposition,” in CONF REC ASILOMAR CONF SIGNALS SYST COMPUT, IEEE, LOS ALAMITOS, CA,(USA), 1993, 1993, vol. 1, pp. 40–44. [16] S. Krstulovic and R. Gribonval, “MPTK: Matching Pursuit made Tractable,” in Proc. Int. Conf. Acoust. Speech Signal Process. (ICASSP’06), Toulouse, France, 2006, vol. 3, pp. III–496 – III–499. [17] S. S. Chen, D. L. Donoho, and M. A. Saunders, “Atomic decomposition by basis pursuit,” SIAM Rev., vol. 43, no. 1, pp. 129–159, 2001.