Table des matières

- 1 Une expérience pionnière : Variations V

- 2 Les pouvoirs non naturels : trois opéras

- 3 Le monde virtuel : Debussy 3.0

- 4 Contrôler la scène par le geste

- 5 Extensions of Man

- 6 Notice biographique

Le corps humain reste central dans les arts de la scène, même à notre époque où le concept évolutif du « liveness » s’étend vers les performances diffusées en direct, menées sur les plates-formes numériques ou vécues dans les environnements virtuels. Philip Auslander a soutenu de façon convaincante que le concept du « live » n’est pas ancré dans une coprésence physique ou temporelle. Sa signifiance est « historique et contingente » (AUSLANDER : 1999, p. 3) et évolue avec les avancées technologiques. Les créations de Jean-François Peyret et de sa compagnie tf2 fournissent des exemples frappants d’une scène étendue vers les espaces virtuels : notamment, Les Variations Darwin (2004), où une comédienne échangeait avec des spectateurs-internautes dans un salon de tchat pendant les répétitions, et Re : Walden (2010-2014), où un espace virtuel peuplé d’avatars était projeté en direct pendant la représentation1.

Le développement du spectacle en ligne, l’utilisation des robots sur scène2 et, plus largement, la numérisation et la webification de la vie moderne peuvent donner à croire que le corps humain perd de son importance dans l’expérience théâtrale. Cependant, loin de menacer sa place essentielle, les nouvelles technologies la renforcent. Les metteurs en scène orientent ces technologies presque systématiquement vers le corps de l’interprète, cherchant de le connaître et à l’exploiter autrement.

Depuis les années 1960, les systèmes de détection et de captation de mouvement font l’objet de nombreux spectacles expérimentaux. La capture des données se fait généralement au moyen de caméras en conjonction avec l’analyse d’image ou via des capteurs sur le corps ou les deux. Ces technologies sont souvent utilisées pour créer des animations en amont, surtout pour le cinéma et les jeux vidéo, mais elles servent aussi à augmenter l’expressivité et le pouvoir du geste pendant les spectacles vivants. La discussion qui suit se focalise sur le traitement des données de mouvement en temps réel au théâtre.

## Une expérience pionnière : Variations V

Les senseurs de lumière et les capteurs capacitifs qui détectent les changements dans le champ électrique peuvent aussi fournir des données de mouvement. Ils permettent d’identifier les déplacements des corps et d’y réagir. Ce sont les technologies employées par le chorégraphe Merce Cunningham et le compositeur John Cage en 1965, pour leur œuvre pionnière Variations V, réalisée en collaboration avec des techniciens de Bell Laboratories. Sur scène, douze capteurs capacitifs – les antennes de fréquence liées à des oscillateurs – servaient de détecteurs de proximité. Quand les danseurs étaient à moins de 1,2 mètre d’une antenne, ils déclenchaient des sons. Ensuite, au pied des antennes, il y avait des cellules photoélectriques sensibles aux changements de luminosité, quand les corps des danseurs interrompaient les rayons des projecteurs. Les cellules étaient raccordées aux sources sonores – des magnétophones et des radios à ondes courtes – liées à une table de mixage où les musiciens travaillaient le son en direct. Il y avait aussi des microphones rattachés aux accessoires sur scène et qui ont donc produit des sons amplifiés à chaque toucher.

> « Cage et Cunningham ont configuré une nouvelle relation entre mouvement et son où les danseurs fonctionnent comme co-compositeurs et exercent autant d’influence sur le paysage sonore que le font les musiciens qui manipulent les équipements électroniques3 » (MILLER : 2001).

Marcella Lista précise que les réalisateurs ont voulu « éviter un effet de correspondance immédiate entre mouvement et son, et donc proscrire toute forme de contrôle d’une partie par l’autre » (LISTA : 2001). C’est pourquoi ils ont employé autant de sources sonores (96 au total). Le principe de « non-intentionnalité » exploré dans l’œuvre de Cage se présente ici sous la forme d’un paysage sonore duquel personne n’est responsable. Pour Cunningham, le rôle des danseurs était simplement de « rendre le son disponible4 » pour les musiciens, alors que Cage insistait pour que le son ne soit pas sous le contrôle des musiciens, mais plutôt sous celui des mouvements des danseurs (ibid.).

Marcella Lista voit dans Variations V une réponse à la théorie postulée par Marshall McLuhan, l’année précédente, dans Understanding Media: The Extensions of Man, selon laquelle notre système nerveux s’étend au-delà des frontières du corps au moyen des médias électroniques (McLUHAN : 1964). Selon McLuhan, tout médium est une extension du corps et des sens et, avec les technologies électroniques, nous atteignons le point de pouvoir étendre le système nerveux central. Il a même anticipé Internet en postulant un « village global », où les connaissances sont à la disposition de tous, ainsi qu’une extension de la conscience qui correspond à la réalité virtuelle. Vu sous cet angle, le système sonore de Variations V devient un modèle organique : le son réagit aux mouvements sans la volonté consciente des danseurs et sans relation clairement perceptible, de la même façon que le système nerveux réagit aux stimuli et produit des retours sans être dirigé consciemment et, souvent, sans que les relations de cause à effet soient évidentes.

> « L’interprétation du système sonore en termes d’énergie en acte, destinée à gérer la polysensorialité des stimuli extérieurs et à transmettre sans possibilité de stockage ou de répétition, fait de celui-ci, en dernière instance, la métaphore de l’organisme humain immergé dans le monde de la conversion électronique. Le médium électronique en vient à fonctionner en analogie avec le biologique, il est le système nerveux central » (LISTA : 2001).

Variations V a été un événement-clé dans l’utilisation des tables de mixage et des capteurs sur scène et un précurseur important des œuvres artistiques interactives gérées par ordinateur (DIXON : 2007, p. 97). Cependant, les interactions entre danseurs, capteurs et son étant indiscernables pour les spectateurs, ils ont le plus souvent réagi avec perplexité et ennui (MILLER : 2001). Les critiques étaient mitigées, mais Allen Hughes du New York Times a néanmoins reconnu le potentiel dont il était témoin :

> « M. Cage et M. Cunningham nous ont peut-être donné un aperçu fascinant, bien qu’extrêmement primitif, d’un théâtre extraordinaire de l’avenir. Il serait un théâtre où la danse (éventuellement le drame), la musique, la scénographie et, certes, la lumière pourraient être créées simultanément pendant le processus de performance5 » (HUGHES : 1965).

## Les pouvoirs non naturels : trois opéras

Quelques décennies plus tard, les expériences intégrant des données de mouvement sur scène se multiplient, et ce « théâtre extraordinaire » se développe avec des spectacles tels que les opéras The Jew of Malta (2002), La Damnation de Faust (2008) et Death and the Powers (2010).

The Jew of Malta a été créé par ART+COM et Bureau Staubach pour la Biennale de Munich. Dans cette adaptation par André Werner du texte éponyme de Christopher Marlowe, le personnage principal est Machiavelli. Au début, il croit qu’il possède un pouvoir surhumain lui permettant de commander aux événements et de contrôler le comportement de son entourage. Il perd ce délire au fur et à mesure que son statut diminue dans l’histoire.

Les décors étaient construits numériquement en 3D et projetés sur trois écrans pendant le spectacle. La perspective sur ces décors était contrôlée par les gestes de Machiavelli grâce à un système de suivi de mouvement. Ce contrôle gestuel réfléchissait son illusion de maîtrise et diminuait avec son pouvoir décroissant. Le système de suivi fonctionnait au moyen d’une caméra infrarouge située au-dessus de la scène. Des calculs, faits à partir du centre de gravité de l’interprète et du point de son corps le plus éloigné de ce centre, permettaient de changer le point de vue sur l’architecture virtuelle en fonction de ses gestes (ESG EXTENDED STAGE GROUP : 2002). Ce contrôle sur les décors projetés aurait dû être compréhensible par les spectateurs, bien qu’ils aient pu croire que les gestes de l’interprète étaient soigneusement chorégraphiés pour concorder avec une vidéo préenregistrée. Du point de vue de l’interprète, la différence est extrême, et ce dispositif soutenait son jeu en lui permettant de vivre le délire de son personnage.

Autre opéra, La Damnation de Faust d’Hector Berlioz a été mise en scène en 2008 par Robert Lepage avec une scénographie interactive signée par Holger Förterer. L’opéra raconte l’histoire d’un savant séduit par la connaissance et le bonheur promis par Méphistophélès. À la fin, Faust perd son âme pour sauver une femme et il descend en enfer.

Les données de geste et de voix étaient employées en temps réel pour influencer et animer les images projetées. Le système de suivi de mouvement était composé de lumières et de caméras infrarouges. La scénographie numérique était projetée sur un grand échafaudage. Un logiciel écrit par Förterer interprétait les informations de mouvement et de son et les utilisait pour générer et gérer les images. Par exemple, le suivi de mouvement était employé dans une scène où des soldats marchaient à la verticale, suspendus par des câbles. Grâce aux données de position, les brins d’herbe projetés à leurs pieds se séparaient progressivement avec leur avancée. Le suivi de mouvement a permis l’animation des décors en fonction des actions des interprètes.

Dans ce cas, il s’agit d’une utilisation des données de mouvement à des fins pratiques et non explicitement liées aux thématiques du spectacle.

Deux ans plus tard, au MIT Media Lab, Tod Machover et le groupe Opera of the Future ont réalisé Death and the Powers, encore un opéra sur les thèmes du savoir et du pouvoir surhumain. Il raconte l’histoire de Simon Powers, un entrepreneur et inventeur qui prolonge sa vie en téléchargeant sa conscience et ses souvenirs sur un système numérique intégré à sa maison. Ensuite, il essaie de convaincre sa femme et sa fille de le suivre, mais la dissolution de son empire commercial entraîne un désastre financier mondial, et l’opéra se termine par une scène tragique où sa fille rejette ses supplications et décide de garder son corps humain.

La première scène se terminait par la transition de Simon Powers vers le système numérique. Dès lors, l’interprète qui jouait le rôle restait hors scène, mais il continuait de jouer : l’acteur portait des accéléromètres sur les bras et les mains ainsi qu’un senseur de respiration autour de la poitrine, pendant que les données vocales étaient captées par un microphone. Ces données brutes étaient traitées par un logiciel d’analyse et traduites en images, lumières et mouvements des robots pour produire une « performance désincarnée6 ». L’objectif était de donner au personnage une présence physique sur scène malgré l’absence de son corps. L’élément scénique le plus important dans cette présence était un groupe de trois grands murs triangulaires robotiques, capables de pivoter et de se déplacer. Ils ressemblaient aux bibliothèques, mais chaque livre était une surface d’affichage LED. Ils affichaient des jeux de lumière et de couleur, dirigés par les données de geste, de respiration et de voix de l’acteur.

L’utilisation de senseurs sur le corps de l’acteur, au lieu de caméras infrarouges pour capter les données de mouvement, est signifiante. Ces appareils, plus précis et encombrants, indiquent une attitude tout à fait différente envers le corps et demandent une implication plus complète de la part de l’interprète. Il n’est plus question de manipuler quelque chose d’extérieur ; son corps fait partie du système numérique. Dans le contexte narratif de Death and the Powers, où le personnage s’intègre à la technologie, c’est un choix cohérent.

Trois expériences en scénographie interactive, trois opéras tragiques sur les thèmes des pouvoirs surnaturels et des ambitions humaines qui conduisent à la ruine… Ce n’est sûrement pas une coïncidence si les metteurs en scène qui tentent d’exploiter le potentiel des technologies numériques – des pouvoirs surnaturels – sont attirés par de telles thématiques. Il s’agit peut-être d’une manière de venir à la rencontre des appréhensions du public par rapport aux technologies innovantes.

## Le monde virtuel : Debussy 3.0

Dans le domaine de la danse, les collaborations de l’école d’ingénieurs Estia et du Malandain Ballet Biarritz fournissent des exemples enrichissants des systèmes de capture et de traitement des données de mouvement. Leur projet collaboratif CARE (Cultural Experience: Augmented Reality & Emotion) – dont les objectifs étaient d’exploiter des outils de réalité augmentée pour interpréter et magnifier des émotions dans le contexte du musée et du spectacle vivant – a duré trois ans et a culminé lors d’une conférence dansée et d’un spectacle augmenté, le 4 mars 20117.

L’expérience s’inscrit dans un courant d’expérimentation qui use des costumes de capture de mouvement sur scène et qui date du spectacle In Plane de Troika Ranch en 1994. Le système de capture et de traitement des données de mouvement utilisé dans In Plane s’appelait MidiDancer v2. Un interprète portait un costume de capture de mouvement avec huit senseurs situés sur les articulations du corps. Celui-ci envoyait des signaux MIDI à l’ordinateur8, qui déterminaient certains aspects du son et de la lumière, les images projetées et le mouvement robotique d’un vidéoprojecteur.

Pour la danse augmentée de CARE, le danseur et chorégraphe Gaël Domenger portait le XSens MVN motion capture suit, un costume de capture de mouvement avec seize senseurs positionnés sur les articulations. Les données du costume étaient complétées par un système de suivi de mouvement via une caméra infrarouge. Ces données servaient à alimenter plusieurs interactions fondées sur le mouvement ; elles permettaient au danseur de manipuler des objets virtuels et elles animaient un avatar qui reprenait les mouvements du danseur. D’ailleurs, elles étaient traitées par un système d’analyse du mouvement qui interprétait les gestes en tant qu’indicateurs d’émotions. Les émotions identifiées déterminaient la musique et les poses d’un robot humanoïde (CLAY et al. : 2012).

En 2013, Estia et le Malandain Ballet Biarritz ont continué leur collaboration par un projet de danse augmentée qui a abordé la traversée de la frontière réelle-virtuelle via la capture de mouvement. Debussy 3.0 intégrait des capteurs sur le corps d’une danseuse et un monde virtuel projeté en 3D9. Un pas de deux pour un danseur et une danseuse, fondé sur la composition La Mer de Claude Debussy et dont le thème était l’évolution du rapport entre l’homme et la technologie, de la découverte à l’immersion. Le personnage de la danseuse s’impliquait progressivement dans le monde virtuel jusqu’à ce que son compagnon restât son seul lien au monde réel.

La danseuse portait un XSens MVN motion capture suit et des 5DT datagloves, des gants de données qui récupèrent les informations précises des gestes de la main. Le monde virtuel, géré dans le logiciel Unity3D, était affiché en projection stéréoscopique.

L’évolution de la relation entre l’humain et la technologie était illustrée par les interactions entre les mouvements et la scénographie numérique projetée. Au début, les mouvements de la danseuse n’avaient pas d’incidence sur le monde virtuel. Ensuite, un avatar 3D apparaissait progressivement et reproduisait les mouvements de la danseuse, et les gestes de ses mains ont commencé à générer des traces virtuelles. Celles-ci étaient d’abord partiellement gérées par un technicien, puis le contrôle total était cédé à la danseuse pour indiquer son immersion dans le monde virtuel (CLAY et al. : 2014).

## Contrôler la scène par le geste

L’utilisation des données de mouvement pour gérer le son ou la scénographie est commune à tous nos exemples, de Variations V à Debussy 3.0. En fonction du dispositif et des objectifs dramaturgiques, les interprètes interagissent avec leurs environnements sonores et scénographiques, avec plus ou moins de conscience et d’intentionnalité.

Les danseurs de Variations V ignoraient, la plupart du temps, les senseurs de proximité et ils ne pouvaient pas identifier les effets de leurs mouvements sur le design sonore. À l’autre extrémité du spectre, l’expérience CARE a donné beaucoup de contrôle à l’interprète. Le spectacle étant une danse expérimentale improvisée, il n’y avait pas les contraintes d’une narration ou d’un minutage précis. Les retours de Gaël Domenger suggèrent qu’il expérimentait la technologie comme partenaire de performance. Il jouait avec le son et les avatars virtuels. Il trouvait intéressant, par exemple, de remarquer que, par son immobilité, il pouvait générer le silence (CLAY et al. : 2012).

Pour Holger Förterer, l’un des points forts de l’utilisation de suivi de mouvement dans La Damnation de Faust correspondait au fait qu’elle libérait les interprètes. Ils n’étaient pas contraints par la technologie, comme ils l’auraient été s’il avait fallu faire concorder leurs mouvements avec des projections prédéterminées : « La technologie suit l’interprète et pas l’inverse10 » (FÖRTERER, s.d.). Death and the Powers, The Jew of Malta et Debussy 3.0 vont même plus loin, en créant des dramaturgies où le pouvoir exercé par l’interprète sur la scénographie est intrinsèquement lié à la narration et permet éventuellement au comédien de mieux s’investir dans son rôle.

## Extensions of Man

Death and the Powers et Debussy 3.0 répondent directement au concept mcluhanien d’un prolongement du système nerveux au moyen des nouvelles technologies : les protagonistes étendent leur conscience vers les systèmes numériques, jusqu’à abandonner (ou presque) le lien avec leur corps physique. Pourtant, si ces histoires mettent en garde contre les nouvelles technologies, porteuses d’une fracture identitaire, les spectacles ici discutés signalent la possibilité inverse : un élargissement plutôt qu’un amoindrissement ; une intégration à l’environnement plutôt qu’une perte de soi.

Ils explorent des manières de prolonger le corps de l’interprète vers les paysages physiques, visuels et sonores qui l’entourent et vers les mondes virtuels. La possibilité d’une fracture existe si l’interprète est obligé de devenir technicien et d’effectuer des gestes uniquement pour gérer le système de données de mouvement. Cependant, les exemples qui font le corpus de cette discussion témoignent d’une volonté, chez les créateurs de spectacle, de mettre la technologie au service de la dramaturgie et des interprètes. Soit elle libère l’interprète, à la façon de La Damnation de Faust, soit elle participe à l’histoire en s’intégrant au niveau dramaturgique, comme dans The Jew of Malta. Ainsi exploités, ces prolongements du corps peuvent faciliter le jeu de l’interprète et renforcer la dramaturgie.

## Notice biographique

G. Isla Borrell est doctorante en théâtre et en arts de la scène dans l’équipe Scènes du monde, création, savoirs critiques de l’université Paris-8. Elle a travaillé comme accessoiriste et décoratrice, avant de réaliser son master Scènes et images numériques à l’Université polytechnique Hauts-de-France. Son projet de recherche et création, Data Theatre, la mise en scène des données à l’ère numérique, sous la direction de Katia Légeret, explore le potentiel créatif des ensembles et des flux de données dans le spectacle vivant.