# Sample my Canary

Hugo Chateau-Laurent, Xavier Hinaut

► To cite this version:

Hugo Chateau-Laurent, Xavier Hinaut. Sample my Canary. 2023 Drôles d'Objets - Un nouvel art de faire, https://drolesdobjets23.sciencesconf.org/, May 2023, Nancy, France. hal-04154799

HAL Id: hal-04154799

https://inria.hal.science/hal-04154799

Submitted on 7 Jul 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Sample my Canary

Hugo Chateau-Laurent<sup>1,2,3,4,5*</sup>, Xavier Hinaut<sup>1,2,3,4,5*</sup>

1. Inria, Bordeaux. 2. LaBRI, UMR 5800, Université de Bordeaux.

3. Institut des Maladies Neurodégénératives, CNRS UMR 5293.

4. MindLabX, Bordeaux. 5. MINA, Bordeaux. \*Contribution égale

## Résumé

Comment interagir avec les sons lorsque l'on n'est pas musicien·ne ? Comment interagir avec des sons qui ne sont pas produits par des instruments lorsque l'on est musicien·ne ? Comment chanter comme un oiseau ? Dans cette performance, nous allons proposer au public de "composer" avec des sons de canaris. Cela ne va pas être des "échantillons" (*samples* en Anglais) de sons de canaris, mais des sons générées par apprentissage artificiel. Un Réseau Génératif Antagoniste (**GAN** en anglais) va permettre au public d'explorer un espace de sons continu, et ainsi de générer une infinité de syllabes de canaris. Deux musiciens seront présents pour accompagner les utilisateurs générant des rythmes à base de ces générations : ces acteurs-musiciens seront des (drôles) "objets" de l'interaction.

## Introduction

Les progrès récents en intelligence artificielle, notamment dans le domaine de l'apprentissage profond, apportent de nouveaux outils pour la création musicale. De algorithmes dits "génératifs" peuvent apprendre à générer des sons similaires à ceux qui leur sont donnés en exemples. Les Réseau Génératif Antagonistes (GAN) figurent parmi les algorithmes de génération les plus populaires, et ont récemment été utilisés pour générer des vocalisations de canaris et modéliser l'apprentissage sensorimoteur chez ces animaux (Pagliarini et al., 2021a, Pagliarini et al., 2021b). Nous proposons ici une performance musicale où le public apprendra à composer avec des sons de canaris générés artificiellement par un GAN et à improviser avec nous.
# Méthodes

## Génération de syllabes de canaris

Les sons de canaris utilisés pour l'entraînement de l'algorithme proviennent d'un jeu de données disponible sur Zenodo (Giraudon et al. 2021), dont les syllabes ont été isolées.

<figure><img src="image_2.png" /><figcaption>Figure 1. Jeu de données canari projeté dans un espace en deux dimensions à l'aide de la méthode UMAP. Image de (Pagliarini et al 2021a).</figcaption></figure>

Un GAN a été entraîné à partir d'un jeu de données équilibré de 1000 échantillons pour chacune des 16 syllabes (Pagliarini 2021a), en contraignant la partie "générateur" à n'être que de dimension 3. La Figure 1 présente les similarités entre les 16 000 spectrogrammes des syllabes sélectionnées. Une fois le réseau entrainé, ce "générateur" peut être utilisé comme "instrument continu" : le choix d'un point de coordonnées dans l'espace [-1, 1]³ permet de générer une syllabe. Une exploration continue de l'espace est donc possible.
## Installation musicale

Des contrôleurs MIDI seront utilisés pour déclencher les sons de canaris. Ils seront ensuite traités par différents plugins d'effets (reverb, delay, ...), puis mélangés à d'autres instruments (guitare, basse, saxophone et synthétiseurs). Des potentiomètres permettront l'exploration intuitive de l'espace de génération des sons. Les séquences de sons pourront être bouclées (loop en Anglais) pour construire des rythmes de plus en plus complexes.

## Expérimentations

Une expérimentation pilote a eu lieu lors de la soutenance d'Habilitation à Diriger des Recherches de Xavier Hinaut (voir Figure 2). Ce dernier, accompagné d'Hugo Chateau-Laurent, a réalisé une performance d'improvisation musicale mêlant des instruments traditionnels et la génération artificielle de syllabes de canaris. En nous inspirant de cette expérience, nous organiserons la performance en trois étapes détaillées ci-dessous.

<figure><img src="image_3.png" /><figcaption>Figure 2 : Expérimentation pilote le 16 novembre 2022.</figcaption></figure>

### 1. Canaris seuls

Dans un premier temps, le public pourra se familiariser avec la génération de sons de canaris. Assez vite, ils se rendront sans doute compte qu'il est difficile d'en faire quelque chose de musical.

### 2. Canaris seuls (boucles autorisées)

Dans un second temps, le public pourra boucler certaines séquences de sons de canaris. Il se rendra peut-être compte que les sons courts peuvent avoir un rôle percussif, tandis que les sont plus longs peuvent être utilisés pour produire des mélodies.
## 3. Canaris et instruments

Enfin, le public sera rejoint par les auteurs-musiciens qui seront alors des "objets" interactifs devant improviser pour s'adapter aux productions du public.

## Conclusion

Cette performance mélangera des recherches récentes en Intelligence Artificielle et improvisation musicale pour proposer une "drôle" d'interaction entre chants d'oiseaux et profanes.

## Références

* Giraudon, J., Trouvain, N., Cazala, A., Del Negro, C., & Hinaut, X. (2021) Labeled songs of domestic canary M1-2016-spring (Serinus canaria) (0.0.2) [Data set]. Zenodo. https://doi.org/10.5281/zenodo.6521932

* Pagliarini, S., Trouvain, N., Leblois, A., & Hinaut, X. (2021a). What does the Canary Say? Low-Dimensional GAN Applied to Birdsong. HAL preprint <hal-03244723v2>

* Pagliarini, S., Leblois, A., & Hinaut, X. (2021b). Canary Vocal Sensorimotor Model with RNN Decoder and Low-dimensional GAN Generator. In ICDL 2021.