# SySpat : Système d'aide au mixage et à la spatialisation quadriphonique avec un contrôle gestuel

François Giraudon, Jean-Claude Leduc

► To cite this version:

François Giraudon, Jean-Claude Leduc. SySpat : Système d'aide au mixage et à la spatialisation quadriphonique avec un contrôle gestuel. Journées d'informatique musicale 2000, 2000, Bordeaux, France. 8 p. hal-03133079

HAL Id: hal-03133079

https://hal.science/hal-03133079

Submitted on 5 Feb 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# SySpat

## Système d'aide au mixage et à la spatialisation quadriphonique avec contrôle gestuel

François Giraudon, Jean-Claude Leduc

IMEB, 1 Place André Malraux BP 39 18001 Bourges Cedex
ime-bourges@gmeb.fr

### Résumé

SySpat est un système composé d'une interface gestuelle et d'un logiciel d'aide au mixage et à la spatialisation en temps réel dans un environnement quadriphonique. Il permet le placement de huit sources monophoniques (position et volume).

SySpat propose une simulation acoustique de salle permettant le positionnement du point d'écoute dans l'espace quadriphonique. Certaines caractéristiques de la simulation, comme le type de salle, le taux et le temps de réverbération, sont ajustables.

Un mode d'interpolation permet d'effectuer un parcours dynamique à l'intérieur de l'espace en jouant sur les volumes de chaque source.

## I. Introduction

À l'origine, les modules de SySpat ont été conçus pour aider les compositeurs en résidence dans les studios de l'Imeb à mixer et à spatialiser huit sources sonores monophoniques dans un environnement quadriphonique. Un système quadriphonique étant installé dans chacun des studios de l'Imeb, il était nécessaire de fournir un certain nombre d'outils logiciels et gestuels d'aide au placement et au mixage, mais aussi à la synthèse sonore dans cet environnement. SySpat est le regroupement des modules réalisés pour cette occasion.

De nombreux travaux sur la spatialisation ont été réalisés depuis un certain nombre d'années. L'acoustique virtuelle, la simulation d'espace sont des techniques de plus en plus sophistiquées et de nombreuses réalisations commencent à voir le jour. Le projet de SySpat n'était pas de réaliser un système d'acoustique virtuelle physiquement juste, mais d'offrir des solutions de mixage et de contrôle par le geste, de plusieurs sources sonores simultanées, afin de "jouer" avec la spatialisation. L'aspect important du projet était donc avant tout, de proposer des modes de jeux pour la spatialisation, soit par l'intermédiaire d'interfaces gestuelles, soit par des fonctions automatiques de mouvements quadriphoniques.

## II. Principe de base

SySpat est conçu pour mixer et spatialiser en temps réel huit sources sonores monophoniques dans un environnement quadriphonique classique (deux haut-parleurs à l'avant et deux à l'arrière).

Trois modules d'entrées sont disponibles dans le logiciel.
Tout d'abord un module comprenant huit lecteurs de sons (aux formats aiff ou sd2). Pour chaque lecteur, il est possible de choisir un point d'entrée et de sortie ainsi qu'un mode avec bouclage.

Le second module permet l'acquisition en temps réel de sons provenant de machines externes analogiques ou numériques via les convertisseurs (ADC).

Le troisième module permet d'utiliser des sons de synthèse granulaire basés sur la synthèse FM.

Le positionnement de chaque source est contrôlé soit graphiquement avec la souris, soit par l'intermédiaire d'une interface gestuelle comportant des capteurs à deux dimensions et interfacée en MIDI.

Un séquenceur dynamique avec synchronisation temporelle enregistre et édite les mouvements des huit sources.

Les huit sources sont placées dans un système quadriphonique qui comporte un simulateur d'espace paramétrable (type de salle, temps de réverbération). Le point de "prise de son" (point d'écoute) est ajustable graphiquement dans l'espace quadriphonique (voir Fig.1).

<figure><img src="image_2.png" /><figcaption>Fig.1: Synoptique de l'architecture matériel et logiciel de SySpat.</figcaption></figure>

Systat est divisé en deux parties:

- Une partie matériel interfacé en MIDI (8 contrôleurs gestuels 2D).

- Un logiciel réalisé dans l'environnement MAX/MSP tournant sur la gamme des nouveaux PowerMac (G3 et G4). L'ordinateur doit être équipé d'une interface MIDI et d'une carte audionumérique compatible avec MSP, comportant au moins 4 sorties (La carte Audiomedia III ainsi que ProTools 24 de Digidesign ont été testées avec SySpat).
### III. Mixage et spatialisation

Les huit sources sont situées dans l'espace quadriphonique et visualisées sur l'ordinateur par des objets de forme ovale et de couleurs différentes. À chaque source correspond un niveau d'entrée dans le spatialisateur. Les huit sources sont mixées sur les quatre sorties par le spatialisateur.

<figure><img src="image_3.png" /><figcaption>Fig.2 : Fenêtre principale de SySpat
 posionnement et réglage des volumes des huit sources).</figcaption></figure>

Deux modes de spatialisation sont implémentés :

- Le premier mode utilise une panoramisation quadriphonique où l'intensité globale entre la source et les différents haut-parleurs est conservée (portion de cosinus), cela donne l'impression d'un travelling (voir Fig.3).

<figure><img src="image_4.png" /><figcaption>Fig.3: Courbe des niveaux relatifs au panoramique (64=centre) avec conservation du volume combiné.</figcaption></figure>
- Le second mode simule un mouvement de la source en ligne droite d'un haut-parleur à l'autre. Ce mode dépend des angles relatifs entre les haut-parleurs (voir Fig.4 & Fig.5). Le niveau sonore au centre est ici plus fort qu'aux extrémités.

<figure><img src="image_5.png" /><figcaption>Fig.4: Positionnement angulaire des 4 haut-parleurs.</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>Fig.5: Courbe des niveaux relatifs au panoramique (64=centre) avec mouvement en ligne droite entre les haut-parleurs pour un angle de 60°.</figcaption></figure>

La sortie du module de positionnement et de mixage est connectée à un module de réverbération quadriphonique permettant la simulation de salle (voir fig. 6).

Plusieurs paramètres de la réverbération sont programmables manuellement (taille de la salle, temps de réverbération, taux et volume des effets de salle). SySpat propose aussi l'utilisation de la notion de récepteur. Cette variable correspond d'une certaine manière à l'emplacement virtuel de l'auditeur dans l'espace quadriphonique. Cependant, si cette variable influence le taux et la configuration de l'effet de salle (en particulier le nombre et le niveau des premières réflexions), elle ne tient pas compte des distances relatives (volumes sonores) entre le récepteur et les différentes sources sonores. Le récepteur est représenté graphiquement par un petit carré (voir Fig.2) et peut être déplacé en temps réel sur la représentation graphique avec la souris.

Pour compléter l'action du récepteur, une variable d'interpolation permet de coordonner l'ensemble des intensités des huit sources. De ce fait, si l'interpolateur et le récepteur sont
situés géographiquement au même point, la simulation de l'emplacement virtuel de l'auditeur est plus complète, prenant en compte le positionnement et la distance des sources par rapport à l'auditeur. L'interpolateur est représenté graphiquement par un petit rond.

Les deux variables ont été dissociées pour permettre le plus de liberté possible au niveau de la manipulation sonore, même si la réalité de la simulation acoustique n'est plus totalement vérifiée.

Trois modes d'interpolation sont possibles :

- Linéaire, distance euclidienne entre l'interpolateur et la source, notée *d*.

- Logarithmique, distance basée sur la fonction $ln(1+d)$.

- Exponentielle, distance basée sur la fonction $d*exp(d)$.

<figure><img src="image_7.png" /><figcaption>Fig.6 : Schéma des modules du spatialisateur.</figcaption></figure>

## IV. Séquenceur et automation

Le séquenceur de SySpat a été implémenté pour permettre l'enregistrement des mouvements des huit sources en fonction du temps. Deux types de temps sont disponibles, l'un interne à l'ordinateur, l'autre par synchronisation externe MIDI au format MTC ou SMPTE. Le séquenceur encode dans un fichier éditable l'ensemble des coordonnées (x,y) et des volumes en fonction du temps en ms (voir Fig.7).

* [T1(ms), X1,Y1,V1,X2,Y2,V2,...,X8,Y8,V8]*
* [T2(ms), X1,Y1,V1,X2,Y2,V2,...,X8,Y8,V8]*
* [T3(ms), X1,Y1,V1,X2,Y2,V2,...,X8,Y8,V8]*
* ...
* ...

<caption>Fig.7: Type de fichier du séquenceur.</caption>

Le mode automation propose certaines figures géométriques (cercle, ellipse, va et vient) qui peuvent être assignables aux mouvements de chacune des sources. Le type de mouvement est calculé à partir d'équations paramétriques de la forme :

$$x-x_c = a \sin(2\pi N/360)$$

$$y-y_c = b \cos(2\pi N/360)$$

avec $N \in [0, 360]$

C ($x_c$, $y_c$) étant le centre du mouvement et (a, b) respectivement l'amplitude en abscisse et l'amplitude en ordonnée du mouvement (voir Fig.8).
<figure><img src="image_8.png" /><figcaption>Fig.8: Type d'automation paramétrable</figcaption></figure>

Ce type d'équation permet de décrire les mouvements circulaires (a=b) et ellipsoïdaux (a≠b).
Le mode " va et vient " est obtenu en fixant une des deux coordonnées à une valeur constante:
soit x=x₀, soit y=y₀.

La vitesse d'exécution des figures ( périodes de révolution) et le sens du parcours ( direct, indirect, couplé) de chacune des sources sont paramétrables.

V. Contrôle gestuel

L'interface gestuelle mise au point pour SySpat est issue des travaux que l'Imeb effectue sur le Cybernephone et le Cybersongosse. Elle est conçue pour répondre de façon optimale et intuitive au contrôle de la spatialisation.

Cette interface comporte huit contrôleurs analogiques à deux dimensions (joystick) dont les tensions (x,y) sont converties en MIDI.

L'implémentation utilise les ressources de la norme MIDI standard:
16 contrôleurs (de 0 à 15) sur un canal MIDI. Le canal MIDI est modifiable de 0 à 15, pour empiler plusieurs modules (voir Fig. 9).

<figure><img src="image_9.png" /><figcaption>Fig.9: Interface d'acquisition 8 voies (x,y) pour spatialisation 2D.</figcaption></figure>
# VI. Module de synthèse granulaire sur des sons de synthèse FM

Ce module est issu d'un travail effectué sur la station NeXT. Il a été conçu dans l'idée de faire de la synthèse granulaire non pas sur des sons réels (fichier son), mais sur des sons synthétisés en temps réel par la méthode de la fréquence modulée.

Chacun des huit modules est composé d'un générateur de synthèse FM (porteuse + modulante). On contrôle la fréquence de la porteuse et de la modulante ainsi que l'enveloppe dynamique de chacune des deux composantes (voir Fig. 10). Ces deux enveloppes sont redimensionnées de façon homothétique à la vitesse de granulation (en ms).

La vitesse de génération des grains, ainsi que les fréquences de la porteuse et de la modulante sont contrôlables graphiquement sur l'écran de spatialisation par des fonctions du déplacement (position en (x,y)) de la souris, ou de la vitesse de déplacement (dx/dt,dy/dt) (voir Fig. 11).

<figure><img src="image_10.png" /><figcaption>Fig. 11: Synoptique de programmation d'un module de synthèse granulaire sur des sons engendrés par synthèse FM.</figcaption></figure>
## VII. Bibliographie

- C. Clozier, F. Giraudon, J.C. Leduc
  *Le Gmebaphone*
  JIM98 E2-1 E2-8, Publication n° 148 LMA/CNRS, 1998.

- D.Zicarelli, C. Dobrian
  *MSP, The Documentation*
  Cycling74, 1998.

- O. Delerue, F. Pachet
  *MusicSpace, un spatialisateur MIDI interactif*
  JIM98 D6-1 D6-10, Publication n° 148 LMA/CNRS, 1998.

- D.G. Malham, A. Myatt
  *3D Sound spatialisation using ambisonic techniques*
  Computer Music Journal, Vol.19, 1995.

- G.S. Kendall
  *The decorrelation of audio signals and its impact on spatial imagery*
  Computer Music Journal, Vol.19, 1995.

- F. Giraudon
  *Contrôle de Paramètres de synthèse issus d'une analyse par une interface gestuelle*
  Rapport LMA/CNRS, 1994.

- J.M. Jot
  *Etude et réalisation d'un spatialisateur de sons par modèles physique et perceptifs*
  Thèse Telecom Paris 92 E 019, 1992.

- J. Davis Philip
  *Interpolation and approximation*
  New York: Balisdell, 1971.

- J. Chowning
  *The simulation of moving sound sources*
  Computer Music Journal vol.1(3), 1971.