# L'électromyographie pour la performance et la composition : trois études de cas dans le cadre du projet BBDMI

David Fierro, Alain Bonardi, Guilherme Carvalho, Anne Sèdes

► To cite this version:

David Fierro, Alain Bonardi, Guilherme Carvalho, Anne Sèdes. L'électromyographie pour la performance et la composition : trois études de cas dans le cadre du projet BBDMI. Journées d'informatique musicale 2023 (JIM 2023), Centre de Recherche Informatique et Création Musicale, May 2023, Saint-Denis, France. hal-04255549

HAL Id: hal-04255549

https://hal.science/hal-04255549v1

Submitted on 24 Oct 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# L'électromyographie pour la performance et la composition : trois études de cas dans le cadre du projet BBDMI

David Fierro

CICM / MUSIDANSE
Université Paris 8
davidfierro
@gmail.com

Alain Bonardi

CICM / MUSIDANSE
Université Paris 8
alain.bonardi
@univ-paris8.fr

Guilherme Carvalho

RIRRA21
Université Paul Valéry
Montpellier 3
guilherme.carvalho
@univ-montp3.fr

Anne Sèdes

CICM / MUSIDANSE
Université Paris 8
anne.sedes
@univ-paris8.fr

## RÉSUMÉ

Dans cet article nous décrivons les méthodologies mises en œuvre et les résultats obtenus lors des études utilisateurs menées dans le cadre du projet BBDMI. Pendant ces études utilisateurs, nous avons testé de nouvelles manières d'interagir avec les traitements sonores temps réel en utilisant comme signaux de contrôle l'information provenant de capteurs EMG placés sur le corps des interprètes. Nous décrivons les protocoles de tests mis en place, les difficultés que nous avons rencontrées lors de nos expérimentations, et les bonnes pratiques que nous en tirons.

Nous détaillons également dans cet article le processus d'adaptation de deux pièces mixtes en remplaçant les signaux de contrôle originaux par des signaux EMG. Nous évoquons les avantages et les défis qui se posent lors de l'écriture instrumentale et l'interprétation de pièces mixtes quand les signaux de contrôle proviennent de l'implication musculaire de l'interprète lors de l'exécution du geste instrumental.

## MOTS CLÉS

Etude utilisateur, EMG (électromyogramme), interaction homme-machine, expressivité musicale, prise en main, instrument.

## 1. INTRODUCTION

Le développement rapide de technologies pour la captation et le traitement de signaux physiologiques est en train de changer la manière dont nous interagissons avec les interfaces numériques de création musicale utilisant notre corps. La possibilité de capter les signaux électriques provenant des muscles ou du cerveau devient chaque jour plus accessible avec des solutions de plus en plus nombreuses et de moins en moins onéreuses.

Ce domaine en pleine expansion est exploré depuis plusieurs années par des chercheurs et artistes, surtout dans le domaine de l'utilisation de l'EMG comme signal de contrôle pour la performance musicale. L'EMG est utilisée dans plusieurs situations musicales allant de la synthèse sonore pilotée par le geste [10], à la musique mixte

associant instrument acoustique, traitement de l'instrument par des processus électroniques et contrôle de ces derniers par l'énergie musculaire. De nombreux travaux s'intéressent à la prise de conscience réflexive de l'EMG par la personne équipée de capteurs [12], sachant que les gestes captés conjuguent souvent plusieurs membres en sollicitant plusieurs muscles.

Le projet BBDMI (Body Brain Digital Music Instruments) financé par l'Agence Nationale de la Recherche associe la Maison des Sciences de l'Homme Paris Nord, le CICM / MUSIDANSE (Université Paris 8), l'Institut du Cerveau et de la Moëlle Epinière, et l'entreprise Soixante Circuits [9]. Il est articulé autour de trois objectifs :

* Faire de la musique à partir des signaux électriques des muscles et du cerveau en s'appuyant sur des technologies EMG (électromyogramme) et EEG (électroencéphalogramme).

* Produire des prototypes instrumentaux de manière ouverte (open software et open hardware) et les documenter dans le cadre des sciences ouvertes (principes FAIR).

* Développer une méthodologie centrée utilisateur incluant aussi bien les musiciens expérimentaux que les praticiens de la pédagogie musicale, les publics empêchés, et ce par les moyens de la pratique et de la médiation artistique.

Pour ce troisième objectif, nous menons un ensemble d'études utilisateurs régulièrement échelonnées au cours du projet (mené sur 42 mois depuis début 2022), comme le montre la figure 1 ci-dessous.

<figure><img src="image_2.png" /><figcaption>**Figure 1.** Schéma d'organisation du projet BBDMI en trois cycles de conception de prototypes.</figcaption></figure>
Comme le montre le schéma d'organisation du projet BBDMI, les études utilisateurs vont concerner des intervenants variés, allant des experts du domaine au grand public en passant par des musiciens. Lors de ces études, l'objectif est de prendre en main le prototype d'instrument dans son état de développement au moment de l'atelier mené, ainsi que l'environnement de programmation préprogrammé, pour explorer leur potentiel d'expression musicale. Les résultats des études utilisateurs contribuent à chaque fois à l'inflexion du développement du projet.

Sur un an, nous avons organisé des ateliers d'études utilisateurs avec trois musiciens différents : d'une part deux musiciens professionnels, Amèlia Mazarico (guitariste et professeur de guitare, lors de deux séances le 18 octobre 2022 et le 14 février 2023) et Guilherme Carvalho (violoncelliste et enseignant-chercheur, co-auteur de cet article, lors d'une séance le 7 septembre 2022); d'autre part, Laurie Pompidor, étudiante en Licence 3 Musicologie et Pratique de la Musique de l'université Paris 8, également élève en 3ème cycle en guitare au Conservatoire de Châtenay-Malabry (lors de son stage de Licence en juin 2022).

Dans les trois cas, la situation de création musicale relève tout d'abord de la musique mixte : un instrument acoustique joué par un instrumentiste interagit avec des transformations ou synthèses sonores temps réel; mais vient s'ajouter le contrôle de ces processus par des captations EMG grâce à des électrodes placées sur le corps du musicien.

Dans cet article, nous commencerons par décrire les grandes lignes des interactions entre le cycle de prototypage du projet et la prise en main des dispositifs par les musiciens. Puis nous montrerons comment les dispositifs à base de capteurs EMG ont été pris en main par les trois intervenants avec lesquels nous avons mené les études utilisateurs jusqu'à maintenant. Nous analyserons ensuite les relations entre les signaux EMG et le geste musical, puis présenterons plusieurs situations d'appropriation, notamment dans la pièce Immersion d'Anne Sèdes pour violoncelle et électronique, ou dans Fil de Soi 3 d'Alain Bonardi pour guitare et électronique. Nous conclurons cette contribution en évoquant les perspectives de développement du projet BBDMI.

# 2. PROTOTYPAGE DE L'INSTRUMENT VIA LA PRISE EN MAIN PAR LES MUSICIENS

## 2.1. Description du dispositif hardware

Le projet BBDMI a pour but le développement de prototypes instrumentaux de manière ouverte (open software et open hardware) et leur documentation dans le cadre des sciences ouvertes (principes FAIR). Nous avons choisi de commencer

nos travaux par la partie logicielle et musicale, à partir de dispositifs électroniques existants expérimentés dans des situations de jeu instrumental et de création.

Nous développons un système de captation, traitement et sonification des signaux électriques provenant du corps. Pour la captation des signaux EMG nous utilisons la carte EAVI<fnref n="1" /> développée par un de nos partenaires. Cette carte nous permet de mesurer les différences de potentiels sur la peau avec des électrodes différentielles. Elle est fixée au bras du musicien grâce à un strap élastique. La carte offre une capacité de 4 canaux EMG avec une résolution de 14 bits et une fréquence d'échantillonnage de 8 Khz. Les signaux EMG sont généralement échantillonnés à des fréquences comprises entre 200 Hz et 1000 Hz. Cette fréquence d'échantillonnage élevée nous a aidé à développer une étape d'extraction de caractéristiques plus efficace [7].

Notre objectif essentiel de recherche est un instrument accessible que l'on doit pouvoir s'approprier facilement, mais possédant une grande versatilité. Le rôle des études utilisateurs est ici très important : il s'agit d'analyser l'ergonomie des interfaces ainsi que l'expérience utilisateur.

## 2.2. Captation et extraction de caractéristiques

En partant de la carte EAVI munie de ses électrodes pour la captation, nous menons un développement de logiciels open-source, qui concerne pour l'essentiel le traitement des signaux physiologiques et la synthèse sonore, en utilisant le langage FAUST ou l'environnement Max, pour de nouveaux développements mais également en intégrant des travaux précédents comme la bibliothèque abclib [1].

Nous nous appuyons sur les modules développés dans notre projet de recherche<fnref n="2" /> pour préparer, analyser et finalement utiliser les signaux EMG reçus de la carte EAVI. Les signaux EMG peuvent varier en intensité selon la personne et le muscle capté; pour cette raison il est impératif de calibrer les signaux d'entrées avant qu'ils puissent être utilisés. Une phase de filtrage des bruits est également nécessaire car l'intensité des signaux EMG est comparable à celle des bruits électromagnétiques mesurés sur les électrodes.

Indépendamment des traitements sonores spécifiques à chaque étude utilisateur, nous avons utilisé pour toutes les études des modules de filtrage, de calcul de valeur efficace, de calibration et de suivi d'enveloppe [8].

<footnote n="1">¹https://www.researchgate.net/publication/333699608_EAVI_EMG-board</footnote>

<footnote n="2">²https://gitlab.huma-num.fr/bbdmi/bbdmi</footnote>
## 2.3. Choix du type et positionnement des électrodes EMG

Les électrodes peuvent être positionnées à plusieurs endroits sur le haut du corps : sur l'avant-bras (face interne et face externe), sur l'épaule, ou à d'autres endroits.

Avoir des électrodes indépendantes (jusqu'à 4 par carte EAVI) nous offre la possibilité de mesurer l'activité sur un muscle spécifique ou sur un ensemble de muscles.

Nous avons choisi des électrodes avec gel qui fonctionnent très bien alors que les électrodes sèches induisent trop de bruit et ne sont pas utilisables. Chaque jeu comporte trois électrodes correspondant à la masse, à la valeur de référence et au signal musculaire.

Les électrodes placés sur l'épaule donnent un signal de la même qualité que celui obtenu sur l'avant-bras (cf. figure 2).

<figure><img src="image_3.png" /><figcaption>**Figure 2.** Exemples de positionnement des électrodes lors des trois études menées.</figcaption></figure>

## 2.4. Geste musical et observation musculaire

Dans le cas du violoncelle et de la guitare, chaque côté du corps est dédié à un aspect du jeu instrumental : du côté droit, l'excitation des cordes; du côté gauche, la sélection des hauteurs des sons produite par le positionnement des doigts sur les cordes. Le choix de côté pour l'avant-bras ou de l'épaule est donc important dans l'idée d'associer ou au contraire dissocier le contrôle de la production instrumentale et la prise de conscience musculaire pouvant conduire à d'autres formes de contrôle.

Lors de chacune des sessions menées, les trois musiciens ont témoigné qu'ils découvraient que tel ou tel muscle participait à tel ou tel geste musical. C'est par exemple le cas des muscles de l'épaule, qui sont rarement associés à la production

instrumentale, et donc rarement mesurés. Cette exploration ouvre de nouvelles façons d'interpréter le geste musical.

Le placement des électrodes doit être pensé en relation avec le suivi du geste musical. La nature du geste implique une relation entre temporalité et engagement musculaire spécifique à chaque mouvement et chaque mode de jeu. Dans ce sens, pour un même geste musical nous pouvons obtenir des signaux différents qui dépendent du placement des électrodes.

L'objectif n'est donc pas seulement d'obtenir un bon signal avec une forte intensité mais de trouver le muscle qui permet le plus haut degré d'expressivité. Le choix de ce muscle changera selon le mode de jeu, le geste désiré et surtout le résultat final pour l'instrumentiste qui considérera ce signal EMG comme signal de contrôle.

## 3. LA PRISE EN MAIN DE CAPTEURS EMG COMME OUTIL D'EXPRESSION MUSICALE EN SITUATION DE MUSIQUE MIXTE

### 3.1. Intensité musculaire et maîtrise instrumentale

A travers les trois études menées, la première remarque que nous pouvons faire est que l'intensité musculaire investie dans le geste instrumental dépend du degré de maîtrise acquis. En effet, si l'on compare l'étude menée avec l'élève-guitariste avec celle menée avec la guitariste professionnelle, il apparaît que, sur des gestes identiques, un musicien expérimenté investit moins d'énergie musculaire qu'un jeune musicien en formation. Cette observation rejoint des travaux antérieurs [6] dans le domaine des sciences du mouvement appliquées à l'étude du jeu instrumental : les musiciens experts optimisent leur mouvement de la manière à produire l'effet voulu avec le minimum d'effort et en réduisant les composantes du geste qui sont superflues et inutiles à la réalisation de cet effet.

Le processus de calibration des signaux musculaires proposé dans l'instrument en cours d'élaboration est donc particulièrement important.

A l'inverse, utiliser le signal EMG comme signal de contrôle d'une manière active en situation de musique mixte demande à engager nettement l'effort musculaire, ce qui finalement peut aller contre ce que l'on a longuement appris dans l'enseignement instrumental. Nous avons remarqué que même après une phase de calibration des signaux d'entrée, la dépendance à la création d'une note reste présente lors du jeu instrumental.

### 3.2. Décorrélation entre geste instrumental et contrôle EMG

Chaque geste instrumental implique l'utilisation d'un ensemble de muscles précis pendant une durée spécifique. Selon le positionnement des électrodes,
le geste instrumental et le signal capté par les électrodes peuvent être décorrélés, voire complètement indépendants [5]. Nous avons testé trois manières différentes de faire interagir les traitements sonores avec le geste instrumental. Dans chacune de ces configurations, nous obtenons des façons différentes d'interagir avec l'instrument.

Pour la première approche, nous avons placé les électrodes sur le muscle qui était le plus impliqué dans le geste musical. Avec cette configuration, l'instrumentiste ne peut pas éviter la génération du signal et c'est donc de l'écriture instrumentale dans la partition que vient le contrôle du niveau de sortie obtenu par les électrodes à un moment précis.

Une autre façon de lier le geste instrumental et le signal électrique généré est de placer les électrodes sur des muscles que nous pouvons appeler secondaires dans l'exécution du geste musical. Ces muscles peuvent être utilisés au début, à la fin, pendant ou peuvent même être exclus du geste instrumental, avec un peu d'effort de la part de l'interprète.

Dans ces deux premières configurations, le signal EMG généré interagit avec le système de traitement sonore d'une manière passive car les capteurs sont placés sur des muscles nécessaires à la génération du son.

Ainsi, dans l'étude menée avec Laurie Pompidor, nous nous sommes rendu compte de la difficulté à avoir l'épaule détendue pendant le jeu instrumental, et d'une certaine manière la corrélation entre les deux était subie.

Une autre relation possible entre le geste instrumental et le signal électrique généré peut être fondée sur l'indépendance entre les deux. Nous avons placé des électrodes sur des muscles qui n'étaient pas impliqués dans le geste musical, donnant une plus grande indépendance à l'instrumentiste pendant l'exécution d'une pièce. Le fait de pouvoir séparer le geste musical et le signal généré offre plus de possibilités expressives au musicien en même temps qu'il demande une écriture plus détaillée de la part du compositeur pour décrire ce qui est souhaité.

### 3.3. L'adaptation de la pièce Immersion d'Anne Sèdes au contrôle par EMG

La pièce *Immersion* a été composée par Anne Sèdes en 2012 pour violoncelle et électronique en temps réel. Son écriture est liée au développement de la bibliothèque HOA du CICM pour Max et Pure Data, dans le cadre du programme de recherches "La spatialisation du son par les musiciens, pour les musiciens" (Labex Arts-H2H). Dans sa première version, le niveau sonore du son du violoncelle (mesurée par l'objet [*peakamp*~] sur *Max*) pilotait un ensemble de paramètres du moteur sonore.

Des traitements sonores comme la granulation et la décorrélation temporelle [2][11] ont été mis à

l'œuvre dans cette pièce pour créer des textures sonores en transformant le son du violoncelle.

L'utilisation de l'intensité sonore comme signal de contrôle pour les traitements sonores lie d'une manière implicite l'écriture instrumentale au traitement appliqué dans chaque moment précis. Chaque son écrit dans la partition représente une intensité sonore à un moment précis de la pièce. Cette interaction entre l'écriture instrumentale et les traitements sonores n'offre pas une dimension expressive additionnelle à l'interprète car le signal de contrôle dépend directement de ce qui a été écrit dans la partition et de la logique de l'interprétation.

Dans le cadre du projet BBDMI, la compositrice Anne Sèdes a expérimenté une nouvelle forme d'interaction avec les traitements sonores dans une perspective musicale, d'expressivité, de jouabilité et de créativité. Cette nouvelle version remplace l'intensité sonore comme signal de contrôle par le signal EMG provenant des électrodes placés sur le corps de l'interprète. Cette nouvelle configuration change complètement le dynamisme des signaux de contrôle car l'intensité musculaire a un comportement beaucoup plus organique que l'enveloppe du son produite. La figure 3 nous permet d'observer le signal reçu par les électrodes placés sur la partie interne de l'avant-bras droit (palmaris longus) du violoncelliste et l'intensité sonore du son produite pendant qu'il joue des pizzicati successifs.

Pendant nos multiples essais sur des modes de jeu, nous avons remarqué des différences importantes entre l'effort musculaire et l'amplitude du son généré. Pendant que l'interprète joue des notes continues en crescendo, l'intensité sonore augmente rapidement tandis que le signal EMG change légèrement mais avec des modifications liées aussi aux changements d'archet. Dans le cas d'un trémolo serré pianissimo sur des notes graves, l'effort physique impliqué est très important bien qu'un trémolo serré fortissimo sur des notes aiguës génère un signal EMG faible. Nous avons pu remarquer au travers de ces expériences l'importance du placement des électrodes lors du suivi du geste instrumental.

Remplacer l'intensité sonore par l'implication musculaire a ouvert la porte à de nouvelles formes d'expressivité de la part de l'interprète. La globalité du geste instrumental devient donc un paramètre de l'espace composable car il agit en permanence sur le traitement sonore. Cette nouvelle façon d'interagir avec les traitements sonores témoigne d'une nouvelle dimension sensible du jeu instrumental permettant une grande capacité d'expression musicale. Cette capacité a été bien perçue par l'interprète, qui portait une attention plus importante à des aspects de son geste dont il est habituellement peu conscient.
<figure><img src="image_4.png" /><figcaption>**Figure 3.** Intensité sonore de l'instrument et signal EMG produit par le muscle, dans le temps.</figcaption></figure>

## 3.4. De la guitare classique à la guitare sans guitare

Dans notre deuxième étude utilisateur, nous avons travaillé avec la guitariste Amélia Mazarico, guitariste et professeur de guitare qui collabore avec le CICM depuis de nombreuses années.

Nous avions trois objectifs principaux. Le premier était de trouver des placements adéquats des électrodes pour divers modes de jeu, en tenant en compte quelle partie du geste instrumental nous voulions suivre.

Comme deuxième objectif nous voulions expérimenter de nouvelles interactions avec les traitements sonores selon différents modes de jeu utilisés dans la pièce *Fil de Soi 3* composée par Alain Bonardi, en utilisant le signal EMG comme contrôle. Des études précédentes ont démontré les capacités du suivi du geste instrumental par des capteurs EMG comme outil d'expression musicale [3].

Notre troisième objectif était de déterminer les capacités expressives des capteurs EMG comme seul signal de contrôle d'un moteur de synthèse d'une guitare par modèle physique.

### 3.4.1. Placement des électrodes selon les modes de jeu

Dans cette première partie de notre expérience nous avons essayé de déterminer les muscles impliqués dans différents modes de jeu pour la guitare et de définir dans quelle partie du corps connecter les électrodes EMG pour mesurer l'activité musculaire. Chaque mode de jeu entraîne un ensemble de mouvements synchronisés qui déterminent quels muscles seront utilisés à quel moment.

Nous avons effectué des tests utilisant différents modes de jeu tels que le glissando, le pizz. Bartók, le trémolo, le bottleneck, le tapping, les accords, les arpèges, entre autres. Selon chaque type de mode de jeu nous avons remarqué une utilisation assez distincte des muscles impliqués dans le geste instrumental.

Le choix du positionnement des électrodes a été fait en prenant en compte les muscles impliqués dans l'ensemble des modes de jeu. Nous avons décidé de placer trois électrodes sur le corps de l'interprète, une sur l'épaule droite en essayant de capter le muscle deltoïde, une autre paire d'électrodes sur la partie externe de l'avant-bras

droit près du muscle long extenseur du carpe et une troisième paire d'électrodes sur la partie interne de l'avant-bras gauche sur le muscle palmaris longus.

### 3.4.2. Signal EMG comme contrôle de traitements sonores

Dans la deuxième partie de notre expérience nous avons rejoué des extraits de la pièce *Fil de Soi 3* en utilisant des traitements sonores contrôlés par les signaux EMG. Avec cette expérience nous voulions évaluer la prise en main du dispositif par l'interprète, son appropriation et la facilité à discerner quel capteur agit sur quel traitement sonore, autant de la part de l'interprète que de la part du public. Nous avons assigné à chaque électrode un traitement différent afin de pouvoir comprendre plus facilement leurs comportements.

Voici les traitements liées à chaque électrode :

* Avant-bras droit : un module d'harmonisation permettant la transposition du son de la guitare.

* Avant-bras gauche : contrôle de la position dans l'espace de la source sonore avec un encodeur ambisonique.

* Épaule droite : facteur de décorrélation dans le module de décorrélation temporelle<fnref n="3" /> [4].

Pendant notre expérience nous avons obtenu de bons résultats en utilisant les 3 entrées EMG pour contrôler les traitements sonores. En tant que spectateur il est possible de reconnaître avec précision les traitements sonores associés à chaque geste. Il est important de remarquer que l'association du mouvement au traitement sonore n'est pas évidente au premier abord pour l'interprète. Nous avons observé un temps d'adaptation à l'interface qui implique un apprentissage de la part de l'interprète, créant les liens entre geste et transformation sonore.

Une relation intéressante se met en place quand on utilise des signaux EMG pour contrôler un système de spatialisation : un lien intéressant se crée entre le mouvement du corps et le changement de “forme” de l’espace. Cette relation permet à l’interprète de s’approprier plus facilement l’interface et d’en comprendre le fonctionnement.

### 3.4.3. Synthèse contrôlée par des signaux EMG

Dans cette troisième phase nous avons connecté des signaux EMG à un système de synthèse par modèle physique de la guitare, afin de créer des sons uniques et complexes qui imitent le jeu d'un guitariste. Le système (à base de fonctions en langage FAUST issues de la librairie de synthèse par modèles physiques) est capable de créer des sons qui sont très proches de ceux produits par une

<footnote n="3">³ Traitement spatial qui retarde les harmoniques sphériques entre l'encodage et le décodage ambisonique, créant un champ diffus.</footnote>
guitare acoustique, nous permettant de changer la longueur de la corde et la position de pincement.

Grâce à la sensibilité des capteurs EMG il est possible de capter des nuances subtiles dans le mouvement des mains et des doigts du guitariste pour reproduire une grande variété de sons. Cette capacité expressive et sensible de l'interface situe le système comme une extension du corps plus qu'une extension de l'instrument. Avec cette configuration, nous avons pu observer les nuances sensibles générées par le geste chorégraphique de l'instrumentiste dans le moteur sonore. Sans instrument, c'est le corps qui devient instrument et chaque geste influence le son produit.

Selon le retour de l'instrumentiste, jouer sans l'instrument l' invite au mouvement, à marcher, à bouger, à faire de la musique et improviser avec le corps. Cette nouvelle façon d'interagir avec le moteur sonore la fait se sentir plus présente que pendant des concerts de musique mixte sans capteurs EMG.

3.5. Prise en main du système

Lors de nos études utilisateurs nous avons remarqué des similitudes dans la prise en main du système de la part des interprètes. Nous avons remarqué certaines difficultés qui viennent de la nouveauté de ce type de système et du manque d'expérience comme pour tout nouvel instrument.

Une première difficulté que nous avons remarquée a été la prise de conscience par l'interprète des muscles impliqués dans chaque geste instrumental. Sans expérience préalable, il est spécialement difficile de déterminer l'implication musculaire nécessaire à chaque geste. Pour faciliter l'appropriation du système, nous avons déterminé comme une bonne pratique pour nos études utilisateurs de commencer par des mappings simples entre le signal EMG et le moteur sonore en utilisant un seul électrode. Une autre méthode que nous avons trouvée assez convaincante dans cette première phase d'appropriation était de montrer visuellement à l'interprète l'effet de l'effort musculaire. En regardant le signal changer en temps réel, l'interprète arrive à comprendre plus facilement la relation entre geste et engagement musculaire.

Après la première phase d'adaptation, la deuxième difficulté que nous avons remarquée est liée à l'interprétation d'une partition en essayant de contrôler en même temps le signal généré par les électrodes. Les interprètes ont constaté une difficulté à suivre la partition tout en étant conscients des signaux EMG générés car cette configuration implique une attention de la part de l'interprète à d'autres dimensions composables et interprétables auxquelles ils n'avaient pas accès auparavant.

Après la prise en main du système en utilisant un seul électrode, nous avons augmenté la quantité de

capteurs EMG que nous avons placés sur le corps des interprètes pour toutes nos études utilisateurs. Chaque nouvelle électrode représente donc une nouvelle entrée du système donnant à l'interprète une autre dimension composable. Cette nouvelle configuration donne aux interprètes plus de capacités expressives mais ajoute un paramètre additionnel à contrôler. Nous avons pu remarquer une difficulté de la part des interprètes à intégrer chaque nouveau capteur. On constate en même temps une amélioration de la courbe d'apprentissage une fois achevée la prise en main d'un seul capteur.

Lors de nos expérimentations nous avons identifié une difficulté de la part des interprètes à maintenir le signal de contrôle à une valeur constante. Dans nos études utilisateurs nous avons lié chaque niveau d'entrée aux paramètres du système. Malgré une possible dextérité acquise par les interprètes, il est assez laborieux de maintenir le signal EMG à une valeur précise. Dans le cadre du projet BBDMI nous développons des modules pour faire face à cette problématique. Cet ensemble de nouveaux modules offre aux interprètes la possibilité de contrôler et maintenir le niveau du signal de sortie à une valeur précise avec plus d'aisance. Ils permettent parallèlement de maintenir le niveau de sortie même avec le muscle complètement relâché.

4. NÉCESSITÉ D'UNE NOTATION POUR LA MUSIQUE EMG

Comme nous l'avons évoqué dans cet article, le positionnement des électrodes joue un rôle très important pendant la captation du geste instrumental et dans les capacités expressives de l'interprète. Dans les cas où les électrodes sont placées sur des muscles qui ne sont pas nécessaires lors du geste instrumental, la question se pose de savoir quel type de geste doit être exécuté à un moment précis de la partition. Cette situation nous amène à la problématique de la notation pour la musique fondée sur des signaux physiologiques.

La partition telle que nous la connaissons aujourd'hui nous permet de décrire les notes à jouer et les modes de jeu à utiliser, par contre nous n'avons pas de méthode établie pour décrire le geste instrumental désiré à un moment précis.

La nécessité d'une notation mais aussi d'un langage commun se fait évidente lorsque que nous voulons décrire dans la partition la manière dont l'interprète devra interagir avec les traitements sonores au travers de son geste. Nous avons constaté une difficulté de communication entre les musiciens et le compositeur/développeur de l'interface car le langage n'est pas partagé. Côté musicien, le langage est basé sur des paramètres musicaux, tandis que du côté du développeur il peut y avoir une préférence à faire référence aux électrodes et aux intensités des signaux mesurés.
Nous envisageons pour nos futurs ateliers deux alternatives possibles. La première étant de décrire sur la partition le niveau d'engagement musculaire voulu en faisant référence aux électrodes par numéro. La partition devra donc spécifier le positionnement des électrodes. Une autre approche est de décrire le geste instrumental désiré en trouvant un langage commun qui puisse d'une manière concise et claire décrire tous les types de gestes envisagés. Cette dernière approche nous offre une manière plus précise de décrire le geste instrumental mais implique une plus grande difficulté lors de la description du geste dans la partition. Une autre possibilité évoquée lors de nos expérimentations, était de penser la partition comme une vidéo et pas comme une image statique.

## 5. CONCLUSIONS ET PERSPECTIVES

Dans cet article nous avons détaillé les expériences menées lors des études utilisateurs réalisées dans le cadre du projet BBDMI : nous avons expérimenté de nouvelles manières d'interagir avec les traitements sonores utilisant des capteurs EMG placés sur le corps des interprètes. Nous avons mis en évidence des relations assez complexes entre le geste instrumental et les signaux EMG générés, dépendant du positionnement des électrodes sur le corps de l'interprète.

Nous avons constaté que le travail avec les signaux EMG et le geste instrumental appelle une forme d'écriture qui puisse prendre en compte le geste instrumental désiré ainsi que la musique à jouer.

Les résultats obtenus dans nos études utilisateurs sont similaires à ceux des projets de recherche précédents[12]. Les musiciens ont pu expérimenter une nouvelle façon d'interagir avec la musique, apportant ainsi de nouvelles formes d'expression musicale. Ces résultats soulignent l'importance de continuer à explorer les possibilités de capteurs EMG en tant qu'interfaces pour interagir avec la musique d'une manière plus créative et innovante.

## 6. REMERCIEMENTS

Le projet BBDMI (Body Brain Digital Music Instruments) est financé par l'Agence Nationale de la Recherche sur la convention ANR-21-CE38-0018. Nous remercions Atau Tanaka, Stephen Whitmarsh et Francesco Di Maggio pour les échanges concernant la phase d'études utilisateurs.

## 7. RÉFÉRENCES

[1] Bonardi, A. La librairie abclib : un ensemble de codes Faust rassemblant 20 ans de recherche, enseignement et création en musique mixte, *Actes des Journées d'Informatique Musicale 2021*, (Visioconférence), France, juillet 2021. AFIM

[2] Duchêne, J. and Goubel, F. 1993. Surface electromyogram during voluntary contraction: processing tools and relation to physiological events. Critical Reviews in Biomedical Engineering. 21, 4 (1993), 313-397.

[3] Erdem, C. et al. 2020. Exploring Relationships Between Effort, Motion, and Sound in New Musical Instruments. Human Technology. 16, (Nov. 2020), 310-347. DOI:https://doi.org/10.17011/ht/urn.202011256767

[4] Goutmann, P., Bonardi, A. Approaching Spatial Audio Processing by Means of Decorrelation and Ring Modulation in Ambisonics. In Romain Michon, Laurent Potier, and Yann Orlarey, editors, *Proceedings of the Sound and Music Computing Conference 2022*, Saint-Étienne, France, June 2022. Université Jean Monnet, Saint-Étienne, GRAME et INRIA.

[5] Mesin, L. et al. 2009. Surface EMG: The issue of electrode location. Journal of Electromyography and Kinesiology. 19, 5 (Oct. 2009), 719-726.

[6] Oku, T., Furuya, S., "A Novel Vibrotactile Biofeedback Device for Optimizing Neuromuscular Control in Piano Playing," 2019 IEEE Conference on Virtual Reality and 3D User Interfaces (VR), Osaka, Japan, 2019, pp. 1554-1555, doi: 10.1109/VR.2019.8797765.

[7] Phinyomark, A. et al. 2018. Feature Extraction and Selection for Myoelectric Control Based on Wearable EMG Sensors. Sensors. 18, 5 (May 2018), 1615. DOI:https://doi.org/10.3390/s18051615.

[8] Sèdes, A. Approche musicale de la décorrelation microtemporelle dans la bibliothèque HOA. *Actes des Journées d'Informatique Musicale 2015*, Montréal, Canada, Mai 2015. Université de Montréal.

[9] Tanaka, A. et al. in review. Brain-Body Digital Musical Instrument Work-in-Progress. ISEA2023 (en revue).

[10] Tanaka, A., Intention, Effort, and Restraint: The EMG in Musical Performance. Leonardo 2015; 48 (3):298-299. doi:https://doi.org/10.1162/LEON_a_0 1018

[11] Vaggione, H. Décorréléon microtemporelle, morphologies et figurations spatiales. *Actes des Journées d'Informatique Musicale*, Marseille, France, mai 2002.

[12] Verdugo, F., Ceglia, A., Frisson, C., Burton, A., Begon, M., Gibet, S., & Wanderley, M. M. (2022). Feeling the Effort of Classical Musicians - A Pipeline from Electromyography to Smartphone Vibration for Live Music Performance. NIME 2022. https://doi.org/10.21428/92fbeb44.3ce22588