# Capturer le mouvement pour les arts vivants : le projet Agony

Michael Lew

<figure><img src="image_1.png" /></figure>

## To cite this version:

Michael Lew. Capturer le mouvement pour les arts vivants : le projet Agony. Journées d'informatique théâtrale, Oct 2024, Avignon, France. hal-05138772

HAL Id: hal-05138772

https://hal.science/hal-05138772v1

Submitted on 1 Jul 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>
# CAPTURER LE MOUVEMENT POUR LES ARTS VIVANTS :
LE PROJET AGONY

Michael Lew

LEV studio sàrl

info@levstudio.com

## RÉSUMÉ

Enseignant-ch器cheur indépendant, ingénieur électricien, mais aussi vidéaste et programmeur, j'assiste souvent des artistes dans l'exploration de nouvelles technologies pour leur travail. En 2005, j'ai participé à l'élaboration d'une maquette pour un projet de vidéodanse intitulé Agony soutenu par le CNC/DICREAM, avec la chorégraphe Mié Coquempot et le musicien Suguru Goto. Tous deux développaient le BodySuit ou InstruBody, un costume immersif muni de capteurs électroniques permettant de contrôler des éléments scéniques audiovisuels avec le geste. La capture de mouvement est possible de multiples manières, et pas seulement avec des caméras. En décrivant le projet Agony, j'explore des considérations technologiques et esthétiques qui posent aussi des questions sur la pertinence et le sens des télécommunications aujourd'hui, sur les risques d'aliénation et de déshumanisation. La scénographie numérique contemporaine inclut le traitement de la vidéo en direct et en temps réel mais aussi l'utilisation de capteurs et contrôleurs sur scène qui donnent aux comédiens plus de liberté pour l'improvisation et plus de précision pour le contrôle d'éléments scéniques. A travers ce processus d'expérimentation et d'innovation, on peut imaginer de nouveaux développements dans les arts vivants mais aussi dans d'autres applications pour la société.

## 1. INTRODUCTION

### 1.1. Impact de la vidéo numérique sur les arts

Les années 2000 ont été comparées aux années 1900 tant la révolution numérique a transformé les arts vivants et les arts enregistrés comme le cinéma (Elsaesser 2016). Celle-ci a brouillé les pistes et mené à repenser les catégories classiques des Beaux-Arts telles que les avait définies et numérotées Etienne Souriau (1969). Pierre Lévy (1992) a même parlé de la programmation informatique comme le 8ème art. C'est dans cet esprit d'effervescence, de renaissance et d'expérimentation que le Centre National de Cinématographie (CNC) avait lancé en 2001 le dispositif d'aide à la création multimédia (DICREAM), qui soutenait toutes les formes d'arts utilisant l'image en mouvement (Fourmentraux 2014). En 2022, il a été

remplacé par un fonds d'aide à la création immersive. Dans cet article, je vais décrire un projet financé par le DICREAM, intitulé Agony, qui jusqu'à aujourd'hui est resté au stade de la maquette, mais qui présente un intérêt pour son utilisation de nouvelles technologies sur scène, en particulier la capture du mouvement et la présence de contrôleurs sur scène. Mais avant de commencer, j'aimerais rappeler au lecteur les origines du cinéma et les balbutiements pré-cinématographiques d'Etienne-Juley Marey, des frères Lumière et de Georges Méliès (Albera & Tortajada 2011). Le théâtre de Stanislavsky, si connu pour ses méthodes de direction d'acteur et de jeu d'acteur très physiques, s'appelait l'électrothéâtre. Car si au début la chimie a permis le développement de la photographie, puis la mécanique celle de la chronophotographie, c'est bien l'électricité puis l'électronique qui ont permis le développement des éclairages et des caméras vidéo (Dubois 2012). Puis enfin l'informatique a permis de tout numériser, si bien que vers 2000, tous les studios de postproduction ont abandonné la pellicule et les bandes magnétiques, puis en 2010, les projecteurs des salles de cinéma également. La puissance de calcul des processeurs graphiques a permis à de nouveaux logiciels d'apparaître permettant la manipulation en temps réel de vidéo MPEG-2 comme par exemple Max/MSP/Jitter ou Isadora. Scott Delahunta (2005) raconte l'émergence de ces outils dans le milieu de la danse contemporaine, ouvrant la voie à l'utilisation de la vidéo numérique traitée par ordinateur dans les arts vivants comme le théâtre.

### 1.2. Intermédialié et digital performances

Dans le Manuel des études théâtrales, Clarisse Bardiot (2024) raconte comment l'apparition du numérique dans le spectacle vivant a stimulé l'apparition de nouvelles formes artistiques hybrides. Tant pour les critiques et le monde académique, qui s'évertuent à analyser et à décrire ces phénomènes, que pour les artistes qui s'emparent volontiers de ces nouveaux dispositifs pour s'exprimer et créer, la porosité des disciplines a engendré une multitude de terminologies comme le multimédia, le transmédia (Kinder & McPherson 2014), l'intermédialié (Knowles & Schmid 2021), etc. Bardiot quant à elle a opté pour l'expression anglaise « digital performance » (Quinz 2002, Féral & Perrot 2013, Féral & Morin 2023), car les
Anglo-Saxons appellent « performing arts » ce que nous appelons les arts vivants. On entend par là un évènement (spectacle ou performance) qui est joué devant un public par des artistes, créé au fur et à mesure qu'il est regardé. Si leur moyen d'expression principal est le corps et ses mouvements, on parlera de danse, de cirque ou de performance ; mais si les artistes parlent avant tout, il s'agit (en général) de théâtre. Les Grecs distinguaient la mimesis de la diegesis. Dans cet article, je vais me concentrer sur la mimesis, au sens du geste et du mime, par opposition à la voix, à la diction, à la déclamation. Je vous demande de vous intéresser au corps des acteurs : à leurs mouvements, leurs postures, leurs positions et leurs déplacements sur scène. Ainsi, j'espère que le lecteur me pardonnera si je fais plus référence à la danse et à la musique dans cet article, qu'au théâtre pur dit « de texte » (Pavis 2019).

## 1.3. Problématique

Dans cet article, je m'intéresse à la capture du mouvement des acteurs sur scène, pour traiter ces informations en temps réel et les utiliser en régie dans un ordinateur. Ces données peuvent servir à déclencher des séquences d'images ou de sons, à varier les paramètres de l'éclairage ou de la musique, ou encore à animer des avatars en image de synthèse.

<figure><img src="image_3.png" /><figcaption>**Figure 1.** Modèle de scénographie numérique</figcaption></figure>

Pour ce faire, nous utiliserons le modèle général du mapping (Downie 2005 ; Quinz 2013). Dans ce modèle (Figure 1), les entrées sont les données extraites des mouvements des acteurs, et les sorties sont les variables scéniques que l'on peut contrôler : sons, lumières, images, machinerie. Le mapping consiste à faire correspondre ces entrées et ces sorties, en informatique on appelle cela la programmation.

Si on permet aux performeurs (comédiens, acteurs, danseurs..) de contrôler eux-mêmes les variables scéniques, on parlera de contrôleurs pour la scène (Lew 2016). A l'inverse, on parlera de capteurs.

La régie (automatisée ou non) est censée s'occuper de l'environnement scénique des performeurs ; à travers des cues ou signaux, et au fur et à mesure des répétitions, suivant une partition, une pièce de théâtre ou autre structure écrite pré-établie, les techniciens et les artistes s'accordent et s'harmonisent au niveau de la coordination spatio-temporelle pour déclencher les médias et les effets au bon moment, au bon endroit. Mais l'interactivité rendue possible par les nouvelles technologies donne plus de place à l'improvisation, et plus de contrôle aux performeurs sur l'environnement scénique pendant le spectacle.

## 1.4. Etat de l'art

Pour capturer le mouvement aujourd'hui, on peut soit utiliser des caméras, soit des capteurs. Les capteurs sont placés sur le corps des artistes, intégrés au costume ou non, à des endroits précis, comme par exemple les articulations (chevilles, genoux, aines, poignets, coudes, épaules).

Les capteurs actifs électroniques ont l'avantage de ne pas nécessiter de caméra ; mais ils ont besoin d'alimentation électrique (batterie). Les informations qu'ils mesurent sont basées sur le corps de l'acteur : endocentrique, relatives. Les produits commerciaux basés sur ce principe sont par exemple : Rokoko, Xsens, Teslasuit (Bisig et al. 2024).

Si on ne souhaite pas utiliser de capteurs, on peut utiliser simplement une seule caméra et placer sur les performeurs des marqueurs visuels (points blancs ou réflecteurs) comme le faisait Marey. C'est la solution utilisée par Gilles Jobin dans ses dernières productions en date. Les danseurs y portent des costumes noirs moulants avec de petites sphères blanches qui reflètent la lumière ; le but est de ne garder dans l'ordinateur que le mouvement des points blancs. Pour pallier au problème de l'occlusion et avoir une capture tridimensionnelle des mouvements, il est possible d'avoir plusieurs caméras qui filment en même temps : 42 caméras optiques Qualisys dans le cas du studio de Gilles Jobin (Deere 2024).

Une alternative consiste à ne placer ni capteurs, ni réflecteurs, sur les performeurs, mais à utiliser de l'intelligence artificielle et des algorithmes de vision par ordinateur pour extraire des images vidéo des informations sur les acteurs comme leur position ou leur pose. C'est le cas de la Kinect par exemple, qui utilise 2 caméras pour calculer la profondeur (Bisig et al. 2024).

Du côté des logiciels pertinents utilisés en régie, on peut mentionner : Isadora (Delahunta 2005), EyesWeb (Corbellini & Volpe 2021), Max/MSP/Jitter (Jones & Nevile 2005), Modul8 (Jung & Kim 2015), Field (Downie 2008), etc. Pour une discussion plus générale (axée sur la danse), voir Birringer (2017). Enfin, pour transmettre l'information, de nombreux protocoles de télécommunication en réseaux sont utilisés tels que : User Datagram Protocol (UDP), Musical Instrument Digital Interface (MIDI), OpenSoundControl (OSC), Digital Multiplex (DMX), etc.

## 2. LE PROJET AGONY

En juin 2004, je me suis rendu au Japon, à Hamamatsu, à la conférence des Nouvelles Interfaces pour l'Expression Musicale (NIME), pour présenter mon premier long article de recherche sur un nouvel outil de montage vidéo performatif permettant d'assembler un film devant le public comme un VJ (Lew 2004). Peter Greenaway s'en est d'ailleurs librement inspiré pour ses Tulse Luper VJ Performances (Joy 2021). Là-bas, j'ai fait la connaissance de Mié Coquempot et Suguru Goto qui
présentaient l'Instrubody ou BodySuit (Goto 2006) (Figure 2).

<figure><img src="image_4.png" /><figcaption>**Figure 2.** BodySuit de Suguru Goto</figcaption></figure>

Il s'agissait d'un costume muni de 12 capteurs de flexion placés sur les articulations principales du corps développé à l'IRCAM par l'ingénieur Patrice Pierrot. Mié était danseuse et chorégraphe, Suguru musicien et compositeur ; à moi le vidéaste et réalisateur, ils proposaient de participer à une nouvelle création. J'avais raconté à Mié les derniers moments de ma mère, sur son lit de mort, et plus particulièrement les gestes qu'elle faisait avec les bras alors qu'elle se préparait à entrer dans l'au-delà. C'est devenu le point de départ du projet Agony. Une créature, appelée 'E', mi-humaine, mi-machine, un cyborg, un androïde, qui serait jouée par Mié elle-même. Mi-ange, mi-démon, à la fois pantin et marionnettiste, entre la vie et la mort ; manipulée et manipulatrice à la fois.

Le BodySuit a été conçu au départ pour transformer le geste en musique ; C'était l'ambition également de Claude Cadoz, à l'ACROE de Grenoble (Cadoz 1988, 1992, 1994 ; Cadoz & Wanderley 2000 ; Wanderley & Frisson 2023). L'industrie du jeu vidéo a commercialisé des contrôleurs comme la Nintendo Wii et Switch, la HTC Vive, qui contiennent des accéléromètres et gyroscopes dans le casque (pour la tête) ou les manettes (pour les bras et les mains) ; mais le BodySuit est un costume de plongée immersif qui permet d'interagir avec le corps en entier dans un monde virtuel (England 2011). Dans l'imaginaire collectif, le BodySuit représente cette possibilité d'immersion totale dans un monde imaginaire promise tant par les auteurs et les artistes que par l'industrie de l'entertainment ; cette promesse de transport et de téléportation, de voyage dans l'espace et le temps, dans notre histoire ou dans le futur, dans des mondes magiques, fantastiques, ou sur d'autres planètes (Andrieu 2013) ; cette promesse de résurrection ou de réincarnation qui existe dans certaines religions ; Ce fantasme de pouvoir se mettre dans le corps ou dans la peau de l'autre.

Mais BodySuit incarne aussi le principe de devoir porter des habits particuliers (uniforme, blouse, tablier) pour les expériences de téléprésence, que ce soit pour manipuler un robot, arroser une plante, dire bonjour à ses petits-enfants, faire une opération chirurgicale, remplacer un fusible dans une station spatiale. La possibilité d'avoir

des retours de force haptiques (via des moteurs ou vibreurs) existe également (par exemple avec le TeslaSuit). Mais les artistes critiquent à juste titre le risque d'aliénation autistique dans laquelle peuvent s'isoler les télé-opérateurs, la ségrégation dans des boxes de travail, la souffrance d'un monde désincarné, financiarisé, où serait perdu à jamais le contact avec la nature, avec les gens, avec les autres ; où même la guerre serait menée à distance, ultime forme de lâcheté et de déshonneur. Ainsi, quand le BodySuit est montré sur une scène de théâtre, c'est aussi le ridicule, la dystopie et l'horreur de l'hyperconnectivité qui sont pointés du doigt.

Avec une nouvelle version entièrement repensée du BodySuit, Suguru, Mié et moi-même souhaitions simplement explorer le potentiel d'un nouvel instrument de musique, physique, porté sur le corps, basé sur les gestes et les mouvements, qui permettrait de générer des formes géométriques ou des couleurs, de contrôler des images vidéo et le son.

La recherche en nouvelles interfaces humain-machine, notamment grâce à la participation des musiciens et des danseurs, a exploré la reconnaissance des gestes, pour le contrôle des machines, pour déclencher des commandes, des opérations ou des manipulations. Je réfère le lecteur aux travaux de Bevilacqua et al. (2011) et Fdili Alaoui (2012) sur les contrôleurs gestuels et la qualité de mouvement. Pour ma part, j'ai utilisé la notion de formes de vitalité du psychologue Daniel Stern (2010). Inspirée par la méthode Feldenkrais et la pleine conscience (mindfulness), son approche thérapeutique travaille la respiration, la conscience du corps, dans une démarche phénoménologique : ne pas s'évader dans ses pensées mais vivre pleinement le moment présent, se concentrer sur ses sensations, ses perceptions, ses intuitions.

<figure><img src="image_5.png" /><figcaption>**Figure 3.** InstruBody de Mié Coquempot (K622)</figcaption></figure>

Dans la vie réelle, Mié Coquempot était tout sauf une marionnette. Si elle aimait se soumettre à des contraintes artistiques très formelles, cela restait toujours avec plaisir ; elle aimait entrer dans les mondes bizarres de concepteurs et jouer leur jeu. Mais elle était également connue pour son engagement politique, son militantisme, sa lutte contre le racisme, pour l'interculturalité, pour les
droits des intermittents du spectacle. Ses prises de position pour une rémunération décente des interprètes, pour la participation financière de l'Etat dans les arts et la culture, ont marqué les esprits. Elle aimait crier et dénoncer haut et fort les injustices, avec une joie contagieuse.

Ainsi, Mié a imaginé une nouvelle version du BodySuit, mais sans casque-écran, sans écouteurs, nature, et surtout sans câbles, pour ne pas limiter les mouvements. Le costumier et styliste Didier Despin a ainsi dessiné et réalisé un nouveau costume, très fin, couleur chair, en cuir, comme une deuxième peau, révélant par endroits la vraie peau nue avec sensualité : il a la finesse d'un sous-vêtement mais aussi le confort d'une tenue d'arts martiaux, non pas ample mais façon justaucorps (Figure 3). Puis elle a écrit un scénario, dont les personnages étaient : 'E' (elle-même), deux programmeurs (Suguru et moi), et un témoin-voyeur (interprété par Jérôme Andrieu, autre danseur et son complice de toujours).

Consciente de son charme et des motivations du spectateur telles que la *scopophilie* et l'*épistémophilie* (Michael Renov, correspondance privée, 2005), elle souhaitait pour la maquette jouer le rôle principal, celui de 'E'. Tandis que le témoin-voyeur devait documenter les supplices endurés par 'E', la victime, à la fois rat de laboratoire et machine devenue gênante qu'on finit par désactiver à la fin du spectacle. Mié souhaitait par là évoquer la violence silencieuse d'un néolibéralisme scientiste, quand un être vivant n'a d'intérêt que par sa productivité ou par sa possible utilité dans une société de consommation et d'écrans (Mongin 2004). Dans le répertoire de figures et de gestes qu'elle a élaborés pour Agony, Mié montre une société à bout de souffle, un être exploité, sans voix. Par son choix de scénographie évoquant une arène, elle y met en scène les derniers soubresauts d'un être vaincu, exhibé comme une bête de foire, un monstre de freak show, un esclave ou un gladiateur. La scène, rectangulaire, devait avoir la neutre froideur d'un laboratoire ; le public, très proche, au même niveau, serait présent sur les 4 côtés (Figure 4).

<figure><img src="image_6.png" /><figcaption>**Figure 4.** Croquis du plateau par Mié</figcaption></figure>

En choisissant comme thème l'agonie (Guiomar 1967), Mié souhaitait revisiter la Passion du Christ, un motif central de l'esthétique chrétienne, représentant un martyre juif dénuéd, prophète, rebelle et rabbin, du nom de Jésus, crucifié par les Romains pour avoir refusé

l'occupation. A la même époque, en 2005, son amie et collaboratrice Natacha Nisic réalisait une installation vidéo à Auschwitz-Birkenau, sur les victimes de la Shoah, pour le Mémorial des enfants à Paris : résistance passive face à l'impérialisme, impuissance et résignation face à l'industrie de l'extermination. Ayant moi-même étudié le piano avec Arie Dzierlatka, compositeur de la musique de « Mon oncle d'Amérique » d'Alain Resnais, je me suis inspiré des écrits de Henri Laborit sur le comportement humain et animal, et j'ai pu revoir « Hiroshima mon amour ».

A moi, le responsable visuel et technique de son projet, elle m'avait transmis son intention de créer un spectacle solo sur les manières dont on peut mourir, peut-être pour sublimer sa propre peur de la mort (Fontaine 2009), en tous cas pour explorer des états physiologiques extrêmes, inhabituels, voire pathologiques, de transition. Dans le scénario original de 7 pages, Mié définit 5 catégories sous forme de couleurs : Bleu = asphyxie / anoxie / apnée / étouffement, Rouge = extase / orgasme / chaleur / tremblements, Vert = maladie / douleur / peur / inconscience, Rose = foi / amour / épuisement, Jaune = violence / accident / choc / explosion.

<figure><img src="image_7.png" /><figcaption>**Figure 5.** Croquis de la structure par Mié</figcaption></figure>

Les Japonais sont les maîtres absolus des spectacles de robots ; par exemple Asimo, le robot de Honda. Dans nos travaux préparatoires, Mié évoquait souvent le personnage d'Astro, l'enfant-robot, héros de manga et de dessin animé. En se créant un rôle de robot humanoïde féminin, elle voulait aussi évoquer le fantasme des sex dolls (Ferguson 2010) et autres machines sexuelles, quand on ne prend plus le temps de séduire ; quand l'insulte a remplacé la courtoisie, quand la force brutale du viol nie à l'autre toute possibilité de refus ou même de consentement. 'E' évoque la figure de la geisha, de la femme de réconfort, mais cybernétique, contrôlable à distance par des implants cérébraux, dont le libre arbitre, la capacité d'inventer, de créer ou d'improviser a disparu. Pourtant la structure et la composition de la pièce (Chapuis et al. 2020) laissent beaucoup de liberté. Mié a conçu ce scénario comme un canevas participatif où nous pouvions faire nos propositions, Mié de danse, Suguru de musique, moi de vidéo, pour le mettre en scène et lui donner forme. La structure de la chorégraphie a un début et une fin qui sont fixes, avec une ouverture (appelée *test*), mais ensuite on peut passer d'un état à l'autre librement. Les transitions d'un état à l'autre, ni même la durée de chaque état, ne sont pas définis dans la partition, pour encourager l'exploration et l'improvisation entre les 4 artistes-techniciens : la danseuse contrôlée et contrôlante, le caméraman, le musicien et le vidéaste - un peu comme un quartet de
jazz. Le scénario, par sa nature interactive, évoque celui d'un jeu vidéo.

<figure><img src="image_8.png" /><figcaption>**Figure 6.** La Kroonde</figcaption></figure>

Pour en venir à la capture de mouvement, Thierry Coduys et Cyrille Henry avaient présenté, toujours à NIME 2004, leur dernière invention : La *Kroonde* (Coduys et al. 2004) (Figure 6), nouvelle interface permettant de brancher des capteurs placés sur le corps d'un danseur ou d'un comédien à un émetteur sans fil. Cette interface permet à la régie de récolter en temps réel des informations physiques précises tant quantitatives que qualitatives : ce peut être les déplacements, les mouvements, les gestes, les positions, les poses, les postures, la vitesse, l'accélération, l'orientation. La Kroonde était un produit commercial proposé par La Kitchen avec un catalogue de capteurs disponibles sur le marché. Mié a choisi des fibres optiques de 23 cm pour mesurer la flexion de ses genoux, des gyroscopes à placer sur ses épaules, 1 capteur de champ magnétique sur son sternum, 1 accéléromètre pour le poignet, puis 1 bouton sur l'ongle de l'index droit.

<figure><img src="image_9.png" /><figcaption>**Figure 7.** Dispositif scénographique</figcaption></figure>

Le spectacle ne comportait pas de caméras fixes, seulement une caméra mobile, portée à l'épaule par Jérôme Andrieu (Figure 7). Je l'ai munie d'un module HF me permettant de recevoir l'image vidéo en direct dans mon ordinateur, dans le logiciel Max/MSP/Jitter. Au niveau de l'éclairage, 2 rangées de néons au sol évoquent vaguement une piste d'atterrissage.

La Halle aux Cuirs de La Villette nous a accueillis en résidence pour développer notre maquette pendant 3 semaines. Pendant la première semaine, nous avons tourné des clips avec Mié, répétant et essayant des esquisses chorégraphiques sur les différents thèmes du projet. Il était prévu que je puisse mélanger pendant le spectacle des images en direct avec des images pré-enregistrées (Figures 8 et 9).

<figure><img src="image_10.png" /><figcaption>**Figure 8.** Photogrammes (couleur jaune)</figcaption></figure>

<figure><img src="image_11.png" /><figcaption>**Figure 9.** Photogrammes (couleur rose)</figcaption></figure>

Pendant la deuxième semaine de résidence, après quelques jours de collaboration seulement, Suguru Goto a malheureusement rendu son tablier et nous a laissés tous seuls. Alors Mié, qui avait déjà collaboré avec Rioji Ikeda sur ses créations *Nothing But* (1998) et *Trace* (2002), a remplacé Suguru par des morceaux de musique déjà composés, interprétés, mixés et enregistrés, de cet autre compositeur japonais. Ainsi la maquette de 20 minutes a été présentée finalement sur une musique de Rioji Ikeda. Dumb type, collectif de Kyoto dont a fait partie Ikeda, nous a servi d'inspiration pour Agony (Hood & Gendrich 2003).

Comme logiciel, j'ai choisi Max/MSP/Jitter de Cycling74 car je l'utilise depuis mes premières performances de VJing au début des années 2000 (Jaeger 2006). Il est compatible avec la Kroonde : j'ai pu recevoir les données des capteurs en temps réel via un câble Ethernet dans mon ordinateur, en UDP, avec OpenSoundControl (Coduys & Henry 2003, Wright 2005).

<figure><img src="image_12.png" /><figcaption>**Figure 10.** Oscillogramme des capteurs (signal brut)</figcaption></figure>
La figure 10 montre des oscillogrammes pour les 7 capteurs, lors d'un enregistrement des mouvements de Mié, visualisant sur une ligne de temps les variations de signal émis par les capteurs portés sur son corps, de haut en bas : genou gauche, genou droit, épaule gauche, épaule droite, torse, poignet, bouton sur le doigt. Les signaux sont montrés ici sans traitement, ni filtrage. Une calibration des capteurs pourrait être faite, ainsi qu'une compression ou expansion du signal, selon sa dynamique, ce qui n'a pas été le cas ici.

Nous avons par exemple essayé de relier les jambes de Mié aux tubes de néon : ainsi les variations lumineuses de l'espace étaient contrôlées précisément par l'angle de fléchissement de ses genoux. J'ai fait un mapping non-linéaire (voir Figure 11) fait de plusieurs segments de pentes différentes, sachant que les néons que nous avons utilisés ne pouvaient pas fonctionner à très basse luminosité, pour une question de circuit d'allumage et de ballast. J'ai donc dû trouver le bon seuil, et définir graphiquement la bonne courbe de réponse. Une fois que le mapping était programmé, Mié pouvait contrôler la lumière avec sa démarche.

<figure><img src="image_13.png" /><figcaption>Figure 11. Contrôle des néons avec les genoux</figcaption></figure>

Les figures 10 et 11 montrent des patches de programmation graphique visuelle illustrant le principe de fonctionnement du logiciel Max, inventé par Miller Puckette à l'IRCAM en 1985. Avant l'ordinateur, les synthétiseurs modulaires fonctionnaient avec des câbles qui permettaient de relier entre eux les différents périphériques. En 2010, j'ai pu voir le synthétiseur Moogtonium élaboré entre Max Brand et Bob Moog à la haute école d'arts de Folkwang (Figure 12). Cet appareil qui date des années 1960 montre le progrès qui a été réalisé depuis en termes de miniaturisation des équipements électroniques. Max aujourd'hui marche sur n'importe quel ordinateur portable.

<figure><img src="image_14.png" /><figcaption>Figure 12. Synthétiseur Moogtonium</figcaption></figure>

J'ai pu enregistrer dans le temps des séquences de variations des capteurs, pour les rejouer plus tard, en l'absence de mouvements, ou en l'absence de Mié elle-même. J'ai gardé de nombreux enregistrements qui pourraient être utilisés dans un futur spectacle post-mortem, pour la faire revivre, évoquer sa présence disparue. La notation, l'écriture et l'archivage de la danse sont un problème en soi ; sa transmission se fait normalement par l'exercice, la répétition. Il s'agit d'un savoir du corps qu'on apprend en regardant faire, en imitant, en se laissant guider par un maître ou un enseignant. Mais la technologisation des arts vivants permet aujourd'hui de conserver et de transmettre les mouvements par de nouvelles manières (Bleeker 2017).

## 3. DISCUSSION, FUTUR ET CONCLUSION

### 3.1. Choix technologiques et conséquences esthétiques

**Gadget ou pas gadget ?**

Le côté spectaculaire des nouvelles technologies est en soi un facteur de motivation pour les spectateurs. Ils viennent voir les dernières prouesses, les dernières inventions. Dans les arts numériques et électroniques, ce facteur de nouveauté ou d'innovation est très présent. Si on peut tout-à-fait imaginer se passer de toute technique et faire du théâtre de rue, la plupart des scènes de spectacle aujourd'hui disposent d'une régie technique, avec un gril au-dessus de la scène et différents éclairages reliés à une console lumière DMX, une console de mixage son avec son cortège de haut-parleurs, et depuis la fin des années 1990 des projecteurs vidéo et des écrans de projection, qui dépendent tous d'un réseau de distribution électrique.

Les considérations financières et budgétaires étant importantes, je tiens à signaler au lecteur qu'il est possible aujourd'hui, si on a accès à un minimum d'outils, de construire soi-même une Kroonde avec des capteurs. Comme microcontrôleur, l'Arduino existe sous différentes formes et accepte des entrées analogiques ; il contient un convertisseur analogique/numérique et peut se connecter au réseau Wifi. Mais l'obsolescence des technologies est toujours un danger bien réel. D'où l'intérêt d'avoir un bon ingénieur dans son équipe !

C'est aussi très motivant et excitant pour nous autres artistes-techniciens d'utiliser de nouvelles interfaces. Mais quels capteurs choisir ? Pour mesurer quoi ? Et surtout comment utiliser le signal ? Pour faire quoi ? Comment filtrer et traiter ce signal, comment en extraire les informations désirées ? Telles sont les questions qui se posent dans ce type de projet. La disponibilité de nouveaux capteurs dépend des avancées de la physique, de l'électronique et des techniques de production ; mais le traitement de signal dépend d'algorithmes mathématiques et de librairies logicielles, en constante évolution.

Une chose qui m'a beaucoup frappé, après la résidence, est quand j'ai réalisé que Mié n'avais jamais utilisé le
bouton. Elle avait demandé qu'on installe un bouton sur
son doigt, mais elle ne l'a jamais utilisé. Aujourd'hui je
pense au bouton nucléaire, ce fameux bouton rouge qui
permet de lancer des missiles. A l'origine, le bouton
servait à fermer des poches et des vêtements ;
aujourd'hui il est omniprésent dans les interfaces pour
faire une sélection, confirmer une commande.. J'ai moi-
même développé un gant à 4 boutons pour
l'improvisation théâtrale (Lew 2016). Un geste de la
main à la régie, ou tout autre signe convenu, a le même
effet que la pression d'un bouton, et peut être tout aussi
efficace ; Matthew Wright (2005) y pensait quand il a
développé OSC. Le développement des
télécommunications ne doit pas se faire au détriment de
la communication naturelle entre les humains. Cela dit,
l'utilisation de technologies peut rester simple et
efficace. Agony rappelle le théâtre pauvre de Grotowski
par son dénuement, mais la danse contemporaine est
souvent moins riche dans ses costumes et ses décors que
l'opéra.

En 2011, elle m'a invité à collaborer avec elle sur un
autre projet, « Veux-tu ? » au Centre des Arts
d'Enghien-les-Bains, avec le contrebassiste Yves
Rousseau. Nous avons à nouevau utilisé de la vidéo en
direct avec des effets en temps réel, et aussi des
séquences pré-filmées (en extérieur) ; des silhouettes,
des très gros plans de ses mains sur grand écran, des
Larsen vidéo. Mais pas de capteurs de mouvement. J'y
ai joué également comme interprète, en chantant, en
lisant des textes de Fabrice Melquiot. J'y ai utilisé à
nouveau Max/MSP/Jitter. Et cette fois-ci, nous avions
de vrais musiciens avec nous, dont le percussionniste
Cyril Hernandez.

3.2. Travaux futurs

Mié avait une vie très intense, menant de nombreux
projets en parallèle. Je m'estime déjà heureux d'avoir eu
le privilège de passer 3 semaines avec elle sur le projet
Agony. Nous n'avons pas eu assez de temps pour
vraiment exploiter toute la puissance expressive de ce
costume.

Sans dramaturgie, elle trouvait ce projet trop
éprouvant physiquement. Elle souhaitait le continuer,
mais avec une autre danseuse qu'elle-même dans le rôle
principal, qu'elle aurait pu diriger.

De plus, Mié est décédée d'un cancer du sein en
2019. Après sa mort, la totalité des archives de sa
compagnie K622 a été déposée au Centre National de la
Danse à Pantin (Calbérac & Chauffert 2024). K622
continue d'exister, "portée par les valeurs et l'énergie de
sa fondatrice". J'espère donc que nous pourrons peut-
être un jour réaliser Agony enfin et le présenter au
public, selon les intentions de Mié, que j'aimais tant.

L'usage de capteurs et de contrôleurs pour les
comédiens est encore rare ; il est beaucoup plus courant
en musique, ou dans les spectacles de magie ou de
prestidigitation, où les effets visuels gérés par des

manipulations des personnes sur scènes sont courantes ;
sans parler du théâtre de marionnette, qui n'est que
manipulation mais où souvent les manipulateurs sont
cachés et invisibles du public. C'est par exemple le cas
de l'animatronique (Woolard 1994).

Mais on peut imaginer l'utilité de pouvoir automatiser
les poursuites lumineuses, un exemple parmi d'autres du
potentiel des capteurs en scénotechnique (Gautier 2012).
La possibilité de déclencher automatiquement des
evènements scéniques sur la base d'actions et de
mouvements des acteurs sur scène (Lovell & Mitchell
1995) est un domaine de recherche en plein
développement.

4. REMERCIEMENTS

Mié Coquempot, Suguru Goto, Christophe Poux, Jérôme Andrieu, Didier Despin, Cécile Babiole, Cyrille Henry, Thierry Coduys, Mehdi Idir, Michel Waivisz, Robert Moog, Sile O'Modhrain, Glorianna Davenport, Jeffrey Huang, Marie Brassard, Steina Vasulka, et toute l'équipe des JIT.

Centre National de la Cinématographie, Centre
National des Ecritures du Spectacle (Villeneuve-lès-
Avignon), Fonds National Suisse pour la Recherche
Scientifique, La Manufacture - Haute Ecole des Arts de
la Scène (Lausanne-Malley), Ecole Polytechnique
Fédérale de Lausanne.

5. REFERENCES

[1] Albera, François & Tortajada, Maria (2011) *Ciné-dispositifs : spectacles, cinéma, télévision, littérature*. Lausanne : L'Âge d'Homme.

[2] Andrieu, Bernard (2013) Le désir de s'immerger : pour une écologie du corps à la première personne. In Féral, Josette & Perrot, Edwige (éds.) *Le réel à l'épreuve des technologies : les arts de la scène et les arts médiatiques*. Presses Universitaires de Rennes, Collection le Spectaculaire.

[3] Bardiot, Clarisse (2024) Arts de la scène et technologies numériques in Poirson, Martial (éd.) *Manuel des études théâtrales*. Armand Colin.

[4] Bevilacqua, F., Schnell, N., & Alaoui, S. F. (2011). Gesture capture: Paradigms in interactive music/dance systems. in *Emerging Bodies: The Performance of Worldmaking in Dance and Choreography*, pp. 183-193.

[5] Birringer, Johannes (2017). *Choreographic performance systems*. In *Contemporary Choreography* (pp. 465-479). Routledge.

[6] Bisig, Daniel, Delahunta, Scott, Gibson, Ruth, & Masters, Alex (2024). Motion Capture As Meeting Point: Seeding collaboration from the bottom-up. In *Cross-Centre Motion Capture Lab*. Coventry, UK : Centre for Dance Research.

[7] Bleeker, Maaike (Ed.) (2017). *Transmission in Motion : The Technologizing of Dance*. Routledge.
[8] Cadoz, Claude (1988) Instrumental gesture and musical composition. In *International Computer Music Conference* (pp. 1-12).

[9] Cadoz, Claude (1992) Le geste canal de communication homme/machine: la communication instrumentale. In *Journées AFIA* (p. 35).

[10] Cadoz, Claude (1994) Le geste canal de communication homme/machine: la communication "instrumentale". *Revue des Sciences et Technologies de l'Information-Série TSI: Technique et Science Informatiques*, 13(1), 31-61.

[11] Cadoz, Claude & Wanderley, Marcelo (2000) *Gesture-music. Trends in gestural control of music*.

[12] Calbérac, Yann & Chauffert, Jessica (2024). La conservation et la valorisation des archives de la chorégraphe Mié Coquempot. An H to B, Trace et Offrande: situer, documenter, transmettre. *In Situ. Revue des patrimoines*, (53).

[13] Chapuis, Yvane, Gourfink, Myriam, & Perrin, Julie (2020). *Composer en danse : un vocabulaire des opérations et des pratiques*. Les presses du réel.

[14] Coduys, Thierry et al. (2004). TOASTER and KROONDE: High-Resolution and High-Speed Real-time Sensor Interfaces. In *New Interfaces for Musical Expression* (pp. 205-206).

[15] Coduys, Thierry & Henry, Cyrille (2003) Nouveaux matériels de captation haute précision. In *Journées d'Informatique Musicale*.

[16] Corbellini, Nicola, & Volpe, Gualtiero. (2021). Making Automatic Movement Features Extraction Suitable for Non-engineer Students. In *Companion Publication of the 2021 International Conference on Multimodal Interaction* (pp. 153-157).

[17] Deere, Leslie (2024). Performance and Virtual Reality: The Stage as a Multidimensional Environment. In *The Arts and Computational Culture: Real and Virtual Worlds* (pp. 349-371). Cham: Springer Nature Switzerland.

[18] DeLahunta, Scott (2005). Isadora ‘almost out of beta’: tracing the development of a new software tool for performing artists. *International Journal of Performance Arts and Digital Media*, 1(1), 31-46.

[19] Downie, Marc (2005). *Choreographing the extended agent: performance graphics for dance theater*. Doctoral dissertation. Cambridge, MA : Massachusetts Institute of Technology.

[20] Downie, M. (2008). Field : a new environment for making digital art. *Computers in Entertainment (CIE)*, 6(4), 1-34.

[21] Dubois, Philippe (2012). *La question vidéo : entre cinéma et art contemporain*. Editions Yellow Now.

[22] Elsaesser, Thomas (2016). *Film History as Media Archaeology: Tracking Digital Cinema*. Amsterdam University Press.

[23] England, David (2011). *Whole Body Interaction*. London : Springer.

[24] Fdili Alaoui (2012). *Dance gesture analysis and physical models based visual feedback: contribution of movement qualities to interaction*.

Thèse de doctorat, LIMSI-CNRS, Ircam, Université Paris-Sud.

[25] Féral, Josette & Morin, Julie-Michel (2023) (éds.) *La vidéo en scène : L'acteur et ses technologies*. Saint-Denis : Presses Universitaires de Vincennes.

[26] Féral, Josette & Perrot, Edwige (2013) (éds.) *Le réel à l'épreuve des technologies : les arts de la scène et les arts médiatiques*. Presses Universitaires de Rennes.

[27] Ferguson, Anthony (2010). *The Sex Doll : a history*. McFarland Publishers.

[28] Fontaine, Philippe (2009). L'angoisse de mort est-elle un frein à la créativité? *Recherche en soins infirmiers*, 99(4), 4-21.

[29] Fourmentraux, J. P. (2014). Art, science, technologie. Création numérique et politiques de l'interdisciplinarité. *Volume!. La revue des musiques populaires*, (10: 2), 113-129.

[30] Gautier, Pierre (2012). *Traité de scénotechnique : machineries et équipements des salles de spectacle*. Eyrolles.

[31] Goto, Suguru (2006). The Case Study of An Application of The System "BodySuit" and "RoboticMusic" : Its Introduction and Aesthetics. In *Sound and Music Computing*. Marseille, France. hal-03013979

[32] Guiomar, Michel (1967). *Principes d'une esthétique de la mort*. José Corti.

[33] Hood, W., & Gendrich, C. (2003). Memories of the Future: Technology and the Body in dumb type's memorandum. *PAJ: A Journal of Performance and Art*, 25(1), 7-20.

[34] Jaeger, Tim (2006). *VJ: Live cinema unraveled*. University of California, San Diego.

[35] Jones, R., & Nevile, B. (2005). Creating visual music in jitter: Approaches and techniques. *Computer Music Journal*, 29(4), 55-70.

[36] Joy, J. (2021). From Attendance to Performance: The Spectatorial Experience and the Emergence of Live Cinema. *Studies in Visual Arts and Communication*, 8(1), 49-62.

[37] Jung, H., & Kim, H. (2015). Implementation of real time VJing responding to user's motion. *International Journal of Internet, Broadcasting and Communication*, 7(2), 41-50.

[38] Kinder, Marsha, & McPherson, Tara (Eds.). *Transmedia Frictions: The Digital, the Arts, and the Humanities*. University of California Press.

[39] Knowles, Kim & Schmid, Marion (2021) (éds.) *Cinematic intermediality*. Edinburgh University Press.

[40] Lévy, Pierre (1992). *De la programmation considérée comme un des Beaux-Arts*. Editions La Découverte.

[41] Lew, Michael (2004). Live cinema: designing an instrument for cinema editing as a live performance. In *Proceedings of the 2004 conference on New Interfaces for Musical Expression* (pp. 144-149).
[42] Lew, Michael (2016). Interfaces tangibles pour le cinéma interactif. In *28ième conférence francophone sur l'Interaction Homme-Machine* (pp. 34-49).

[43] Lovell, R., & Mitchell, J. D. (1995). Using human movement to control activities in theatrical environments. In *Proc. of Third International Conference on Dance and Technology*.

[44] Mongin, Olivier (2004). *L'artiste et le politique : éloge de la scène dans la société des écrans*. Paris : Textuel.

[45] Pavis, Patrice (2019). *Théâtralité*. In *Dictionnaire du Théâtre*. 4ème édition. Paris : Armand Colin.

[46] Quinz, Emanuele (ed.) (2002). *Digital performance*. Anomalie digital arts numéro 2.

[47] Quinz, Emanuele (2013). Présences instables (entre théâtre et environnement, entre distance et immersion). In Féral, Josette & Perrot, Edwige (éds.) *Le réel à l'épreuve des technologies : les arts de la scène et les arts médiatiques*. Presses Universitaires de Rennes.

[48] Souriau, Etienne (1969). *La correspondance des arts : éléments d'esthétique comparée*. Flammarion.

[49] Stern, Daniel (2010). *Les formes de vitalité : psychologie, arts, psychothérapie et développement de l'enfant*. Paris : Odile Jacob.

[50] Wanderley, Marcelo, & Frisson, Christian (2023). Force-feedback and music: Five decades of research and development at ACROE: An interview with Claude Cadoz. In *Arts* (Vol. 12, No. 4, p. 159). MDPI.

[51] Woolard, A. (1994). *Animatronics: the development of a facial action sensing system to enhance performance control* (Doctoral dissertation, Newcastle University).

[52] Wright, M. (2005). Open Sound Control: an enabling technology for musical networking. *Organised Sound*, 10(3), 193-200.