[en] This end of bachelor project consists in the automation of music and colour synchronization designed to be used in music therapy. The idea behind this concept is using colour as a new dimension to visually interpret the complex variations in music, and this project contributes to it by improving its efficiency through automation. Studies have demonstrated that the tensions in a musical piece are related to the emotion or the mood the piece transmits [1], the same way it has been proved that different colours induce a certain mood or emotion in people [2]. Those conclusions have been used by a doctorate student in the Technical University of Eindhoven to back up the proposal of making emotion the common variable between music and colour [3][4] for further music therapy purposes. This project is the technological part of the later research work mentioned. To develop it, a thorough understanding of the doctorate student's work is required, to then to propose a software that can fulfil its demands. To start with, this paper studies Music Information Retrieval research, MIDI files format and the relation between them. This is necessary to develop a program capable of reading a MIDI file and converting it into a list of notes with their corresponding timings. Afterwards, high level music features such as chord and tonality changes are extracted, making use of music theory knowledge to reinforce MIR methods. Once the MIDI file has been interpreted into a list of chords, they are expressed as musical intervals, i.e. relative distances between them. This step is done prior to carrying out an automatic mapping of musical intervals to colours, following findings and conclusions to make a coherent matching between both disciplines [3][4]. The music to colour mapping results as a list of colours associated to timings. Finally, to visualize the outcome of the previous steps, coloured lights are changed following the colours list while the music is synchronously played. This last section is controlled by a software that establishes a connection with the lamps via Wi-Fi and executes the change-colour commands. To finish with the project, an evaluation of an external software employed is carried out using a method based on speaker diarization. Finally, conclusions regarding the expectations of the project are made, and ideas for future work and improvement are suggested.

[es] Este Trabajo Fin de Grado consiste en la automatización de la sincronización entre música y color, diseñada para fines relacionados con la musicoterapia. La idea detrás de este concepto es utilizar el color como una nueva dimensión capaz de interpretar visualmente las complejas variaciones en la música, y este proyecto contribuye a ello mejorando su eficiencia a través de la automatización. Estudios han demostrado que las tensiones que aparecen en una pieza musical están relacionadas con una emoción o estado de ánimo [1], del mismo modo que se ha demostrado que determinados colores generan una emoción o un estado en la gente [2]. Estas conclusiones han sido utilizadas por una estudiante de doctorado de la Universidad Técnica de Eindhoven para apoyar su propuesta de utilizar la emoción como la variable común entre música y color [3][4] para contribuir a los avances de la musicoterapia. Este proyecto es la parte tecnológica del trabajo de investigación que acaba de ser mencionado. Para desarrollarlo, un minucioso entendimiento de dicho trabajo es necesario, para después poder proponer un software que se ajuste sus necesidades. Para comenzar, en esta memoria se estudian las bases de 'Music Information Retrieval', del formato MIDI, y de la relación entre ambos campos. Este estudio es necesario para desarrollar un programa capaz de leer un archivo MIDI, y convertirlo a una lista de notas con sus correspondientes marcas en el tiempo. Después, características musicales de alto nivel, como son detección de acordes o de tonalidad, son extraídas con ayuda de conocimientos de teoría musical para reforzar los métodos de MIR. Una vez el archivo MIDI ha sido interpretado como una lista de acordes, se expresan en forma de intervalos musicales, es decir, distancias relativas entre ellos. Este paso se realiza justo antes de llevar a cabo un mapeo entre intervalos musicales y colores, siguiendo los resultados concluidos por investigación [3][4] para poder emparejar ambas disciplinas de forma coherente. El resultado de dicho mapeo es una lista de colores asociada a sus correspondientes marcas en el tiempo. Finalmente, para visualizar el resultado de los pasos anteriores, luces de colores cambian siguiendo la lista de colores mientras la música suena de forma sincronizada. Esta última sección es controlada por un software que establece una conexión con las luces vía Wi-Fi y que ejecuta los comandos cambio-de-color. Para concluir con el proyecto, se realiza una evaluación del software externo utilizado, empleando un método basado en 'speaker diarization'. Por último, se desarrollan conclusiones respecto a las expectativas del proyecto, y se proponen ideas y mejoras para un trabajo futuro.