# Improvisation musicale multidimensionnelle dans le paradigme OMax

Ken Déguernel, Emmanuel Vincent, Gérard Assayag

► To cite this version:

Ken Déguernel, Emmanuel Vincent, Gérard Assayag. Improvisation musicale multidimensionnelle dans le paradigme OMax. Journées Jeunes Chercheurs en Acoustique, Audition et Signal, Nov 2016, Paris, France. 2016. [hal-01437490](https://hal.science/hal-01437490v1)

HAL Id: hal-01437490

https://hal.science/hal-01437490v1

Submitted on 17 Jan 2017

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC0 1.0 - Universal - International License
# Improvisation musicale multidimensionnelle dans le paradigme OMax

Ken Déguernel¹,², Emmanuel Vincent¹, Gérard Assayag²

Inria Nancy¹ - STMS Lab, Ircam/CNRS/UPMC²

## Problématiques

* Projet ANR DYCI2 : Dynamiques Créatives de l'Interaction Improvisée.

* Créativité artificielle.

* Mettre en place des interactions musicales improvisées entre humains et ordinateurs.

* Apprentissage interactif, écoute artificielle, modélisation de styles et de structures musicales.

## 1. Le paradigme OMax

<figure><img src="image_2.png" /></figure>

* Paradigme OMax basé sur un principe d'écoute, d'apprentissage, de modélisation et de génération

* Interaction en direct à partir du jeu d'un musicien.

* Émergence du principe de réinjection stylistique dans le jeu du musicien.

* Modélisation du style avec un oracle des facteurs.

## 2. L'oracle des facteurs

<figure><img src="image_3.png" /></figure>

* Structure issue de la bioinformatique.

* Liens suffixes (en pointillés) relient les zones à contexte similaire.

* Paramètres de contrôle : continuité, choix des sauts, répétitions...

* Efficace pour une modélisation unidimensionnelle (par exemple, une mélodie).

## 3. Aspect multidimensionnel de la musique

<figure><img src="image_4.png" /></figure>

* Nombreuses dimensions musicales :

* mélodie (M),

* harmonie (C),

* rythme, nuance, timbre...

* Les dimensions sont liées entre elles et dépendantes du style → difficile à modéliser.

## 4. Utilisation d'un module probabiliste avec l'oracle des facteurs

* Utilisation de modèles probabilistes pour représenter les corrélations entre dimensions :

$$P(M_t|M_{t-1}), P(M_t|C_t) ...$$

Le développement d'un motif doit être fait de manière logique, organique, [...] basée sur l'intuition enrichie par des connaissances (de tout ce qui a été étudié, joué, écouté, des différents styles musicaux auxquels on a été exposé, etc. au cours de notre vie - y compris toutes les expériences personnelles); le résultat étant un vocabulaire musical personnel.

Marilyn Crispell (pour Cecil Taylor et Anthony Braxton)

* Interpolation des modèles probabilistes et optimisation pour représenter au mieux les connaissances musicales :

$$P(M_t|X_{1:t}) = \sum_{i=1}^{I} \lambda_i P_i(M_t|A_{i,t})$$

* Mise en contexte par un oracle des facteurs.

* Parcours de l'oracle guidé par les modèles probabilistes.

<figure><img src="image_5.png" /></figure>

## 5. Passage de messages entre oracles

* Communication entre plusieurs oracles portant sur des dimensions différentes par graphe de cluster :

<figure><img src="image_6.png" /></figure>

* Passage de messages par algorithme de propagation de croyances :

$$\delta_{i \to j}(S_{i,j}) = \sum_{C_i \neq S_{i,j}} \phi_i \prod_{k \in (N_i - \{j\})} \delta_{k \to i}$$

* Estime la distribution marginale de chaque cluster.

* Parcours dans un oracle dépend d'une anticipation du parcours des autres oracles.

* Permet de modéliser un contexte d'improvisation libre collective.

## Références

[1] Marilyn Crispell.
Elements of improvisation.
In John Zorn, editor, *Arcana : Musicians on Music*, pages 190-192. 2000.

[2] Ken Déguernel, Emmanuel Vincent, and Gérard Assayag.
Using multidimensional sequences for improvisation in the omax paradigm.
In *Proceedings of the 13th Sound and Music Computing Conference*, 2016.

[3] Daphne Koller and Nir Friedman.
*Probabilistic Graphical Models Principles and Techniques*.

MIT Press, 2009.