# Rythmes d'espace 1: Etude sur l'usage de la réalité virtuelle pour la mise en scène

Rémi Sagot-Duvauroux, Vivianna Chiotini

► To cite this version:

Rémi Sagot-Duvauroux, Vivianna Chiotini. Rythmes d'espace 1: Etude sur l'usage de la réalité virtuelle pour la mise en scène. JIT 2022 - Journées d'Informatique Théâtrale, Inria Grenoble Rhône Alpes; ENSATT Lyon; Laboratoire Passages XX-XXI de l'Université Lyon 2, Oct 2022, Lyon, France. hal-04154459

HAL Id: hal-04154459

https://inria.hal.science/hal-04154459

Submitted on 6 Jul 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# RYTHME(S) D'ESPACES 1 : ÉTUDE SUR L'USAGE DE LA RÉALITÉ VIRTUELLE POUR LA MISE EN SCÈNE

Rémi Sagot-Duvauroux
EnsadLab, Spatial Media
remi.sagot@gmail.com

Vivianna Chiotini
CNSAD-PSL
vivianna.chiotini@gmail.com

## RÉSUMÉ

Ce projet interdisciplinaire de recherche-création explore l'émergence de nouvelles expériences de scénographie grâce à l'hybridation de décors réels et d'environnements virtuels orientant les mouvements des interprètes. Basé sur une série d'expérimentations avec deux danseuses et un danseur dans le cadre d'une performance en triptyque, nous explorons différentes caractéristiques dynamiques des espaces virtuels et leurs influences sur la mise en scène créée. Nous y étudions l'équilibre entre contraintes et libertés, entre contemplation et interactivité et nous développons des outils favorisant l'usage des technologies immersives comme un endroit de dialogue entre scénographe, interprètes et public. Nous proposons dans cette contribution de définir le contexte dans lequel nous nous inscrivons, de décrire notre processus artistique expérimental et d'ouvrir sur nos futures explorations.

<figure><img src="image_2.png" /><figcaption>**Figure 1.** Haut : Variation d'échelles dans l'environnement virtuel. Bas : Les deux danseuses et le danseur improvisent dans les espaces virtuels juxtaposés.</figcaption></figure>

## 1. INTRODUCTION

Le projet de recherche-création "Rythme(s) d'espaces" est né d'une rencontre dans le cadre du programme doctoral SACRe (Sciences, Arts, Création, Recherche) et de l'envie de faire naître un dialogue entre spectacle vivant et réalité virtuelle. Vivianna Chiotini<fnref n="1" />, scénographe et doctorante en deuxième année au Conservatoire National Supérieur d'Art Dramatique, cherche de nouvelles manières d'incorporer des méthodes et vocabulaires interdisciplinaires dans un processus de création artistique qui dramatise l'espace en relation avec le corps vivant. Son projet de recherche explore les potentialités du triptyque dans la performance. Rémi Sagot-Duvauroux², monteur et doctorant en deuxième année à l'École Nationale Supérieure des Arts Décoratifs, design des expériences de réalité virtuelle. Sa thèse explore le concept de montage comme vecteur narratif, discursif et poétique dans les expériences numériques immersives. Ces deux projets de recherche se rejoignent ainsi sur deux notions essentielles : la fragmentation de l'espace de représentation et son influence sur la mise en mouvement du corps.

C'est à partir de ces points communs dans notre recherche que nous avons amorcé en février 2022 un premier atelier d'expérimentation qui a eu lieu au théâtre du CNSAD-PSL. Nous avons invité deux danseuses et un danseur à répondre physiquement à une série d'environnements virtuels dynamiques (Figure 1. Haut), en étant juxtaposés sur le plateau physique (Figure 1. Bas). Les variations entre les différents espaces virtuels ont fait émerger un mouvement de mouvements, comme dirait Gilles Deleuze [2], c'est-à-dire un rythme entre les corps en fonction de ces espaces, sur lequel nous avons voulu nous concentrer.

<footnote n="1">¹ https://viviannachiotini.cargo.site
http://sacre.psl.eu/wp-content/uploads/2021/06/ViviannaChiotini_fiche_Dactorante_2020-2.pdf

² https://remisagduvr.wordpress.com
https://sacre.psl.eu/wp-content/uploads/2021/06/ResumeThese_RemiS_sagotDuvauroux_20210607.pdf</footnote>
## 2. CONTEXTE

Notre relation au monde semble aujourd'hui indubitablement rythmée par nos interactions avec les interfaces numériques. Avec le développement des interfaces naturelles (inspirées par nos interactions avec le monde physique), la distinction entre mouvements physiques et virtuels devient de plus en plus poreuse. La démocratisation naissante des dispositifs de réalité virtuelle vient encore accroître l'abolition de cette frontière. Rappelons que les Environnements Virtuels (EV) constituent des espaces de représentation dans lesquels le sujet est immergé par ses sens (extéroceptifs et proprioceptifs) et avec lesquels il peut « (inter)agir » corporellement par son activité motrice [3]. Il en résulte un phénomène de présence dans l'EV : sensation « d'être là » lorsqu'on interagit avec un environnement médiatisé [6] pouvant engager des réponses comportementales [7]. Les habitudes d'espaces physiques s'immiscent dans les espaces virtuels, et vice et versa. Deux rythmes entrent en tension, engageant de nouvelles questions phénoménologiques.

Le dialogue entre réalités virtuelles et arts vivants est d'ailleurs aujourd'hui très dynamique. Des chorégraphes telles que Blanca Li<fnref n="3" /> ou Gilles Jobin<fnref n="4" /> immergent les spectateur·rices dans des EV, proposant des interactions corporelles avec les interprètes (réels et/ou virtuels). La compagnie CREW<fnref n="5" /> (dirigée par l'artiste Eric Joris) développe et met en scène des expériences de théâtre immersifs en réalité virtuelle où la friction, l'intervalle entre le réel et le virtuel constitue un nouvel outil dramaturgique. La performance ArTiculations<fnref n="6" /> (EnsadLab/SFL, chorégraphiée par Clint Lutes) réalisée à l'EnsAD en 2019 utilisaient un EV partagé par deux danseurs pour un public dans l'espace réel. Explicitant par son art le rapport entre le corps et l'espace, le spectacle vivant devient un terrain d'expérimentation idéal pour étudier les nouveaux rapports corporels aux espaces numériques.

Rappelons que l'association de mots "réalité virtuelle" apparaît en France sous la plume d'Antonin Artaud dans *Le théâtre et son double* où il compare le théâtre aux abstractions symboliques des chimistes et particulièrement à la construction imaginaire des alchimistes [1]. Le théâtre devient alors le lieu d'une seconde réalité, virtuelle dans le sens deleuzien, ne s'opposant pas au réel, mais à l'actuel. Or, les dispositifs de réalité virtuelle permettent aujourd'hui l'immersion corporelle dans des environnements créés numériquement s'actualisant en temps-réel selon les actions de l'immersant·e<fnref n="7" /> et les envies des créateur·rices du système. Ces dispositifs apparaissent ainsi comme des nouveaux lieux de communication et d'explicitation de l'abstraction symbolique dont parle Antonin Artaud.

De plus, la création d'EVs ouvre de nouvelles pistes autour de la question du rythme. Premièrement, ils

permettent d'habiter des espaces pouvant être complètement abstraits, non euclidiens, où les échelles, les vitesses d'animations, les lois gravitationnelles ne sont pas soumises aux contraintes du monde physique. Deuxièmement, la nature numérique et algorithmique des EVs permet d'établir de nouvelles relations dynamiques avec le corps immergé. Selon les intéractions codées, l'immersant·e peut à son tour agir sur le rythme de l'espace. En connectant les mouvements du corps à une modification de l'environnement, on établit une nouvelle forme d'espace incarné. Il est à la fois autour de nous et en nous. On devient les marionnettistes de l'espace que l'on habite.

C'est dans ce contexte que nous nous sommes posé les questions suivantes : Comment un EV peut-il activer le corps d'un·e danseur·se dans le cadre d'une performance en triptyque ? Quel équilibre adopter entre contraintes et libertés ? De quelle manière l'utilisation de cette technologie peut constituer un endroit de dialogue entre scénographe, interprètes et public ?

## 3. DISPOSITIF ET PRÉSENTATION DU PROCESSUS

S'inspirant des techniques de blocking au théâtre et au cinéma [4] et le blockout dans le level design de jeu vidéo<fnref n="8" />, Rémi Sagot-Duvauroux développe un outil de mise en scène en réalité virtuelle permettant à un·e scénographe de prototyper et tester sa scénographie. Ce dispositif artistique et expérimental intitulé “Montage Spatial” [5] permet la manipulation et l'agencement d'éléments visuels et sonores dans l'espace pour créer une maquette virtuelle dans laquelle on peut à tout moment s'immerger à différentes échelles. Pouvant basculer entre le point de vue du·de la scénographe (au-dessus de la maquette) et celui de l'interprète ou du public (échelle du plateau ou de la salle), le·la scénographe peut expérimenter en temps réel l'évolution de sa scénographie en construction. Il s'agit d'un dispositif “6 dof (degrees of freedom)”<fnref n="9" /> développé sur le moteur de jeu temps-réel Unity 3D<fnref n="10" />, utilisant le casque HTC Vive Pro Eye et ses contrôleurs<fnref n="11" />. Lien vers la vidéo de présentation du dispositif : https://vimeo.com/660613582.

Ayant pour point de départ ce dispositif, nous nous sommes posé la question de sa mise en pratique dans le cadre de notre problématique sur la rythmique des espaces et le cas concret d'une scénographie au format triptyque au théâtre du CNSAD-PSL. Sept variations d'EV ont ainsi été désignées préalablement sur Unity 3D. Chaque EV était délimité par un cadre représenté au sol (Figure 1. Haut) et reproduit aux mêmes dimensions dans l'espace réel (Figure 1. Bas). Deux danseuses et un danseur, immergé·es avec un casque, étaient invité·es à improviser dans leur cadre respectif. Les danseur·ses n'étaient pas représenté·es par un corps virtuel. L'idée

<footnote n="3">³ https://www.lebaldeparisdeblancali.com/</footnote>

<footnote n="4">⁴ https://www.gillesiobin.com/</footnote>

<footnote n="5">⁵ https://crew.brussels/</footnote>

<footnote n="6">⁶ http://spatialmedia.ensadlab.fr/articulations/</footnote>

<footnote n="7">⁷ Personne immergée dans un environnement virtuel</footnote>

<footnote n="8">⁸ https://book.leveldesignbook.com/process/blockout</footnote>

<footnote n="9">⁹ L'utilisateur·rice peut orienter sa tête sur les trois axes de rotations et déplacer son corps sur les trois axes de translation.</footnote>

<footnote n="10">¹⁰ https://unity.com/fr</footnote>

<footnote n="11">¹¹ https://www.vive.com/fr/product/vive-pro-eye/overview/</footnote>
était d'étudier comment l'immersion "sans corps" dans un espace virtuel pouvait engager leurs corps physiques dans une représentation réelle. Chaque improvisation durait 5 minutes et était reliée à une variation particulière de l'EV. En fonction de l'interprète et de son positionnement sur la scène (à gauche, au milieu ou à droite) (Figure 1), différentes combinaisons scénographiques ont été testées.

<figure><img src="image_3.png" /><figcaption>**Figure 2.** Schéma des variations dynamiques des environnements virtuels.</figcaption></figure>

Certaines combinaisons consistaient en une opposition dynamique (Figure 2) : Espace qui se remplit de cube / se vide de cube (1ère image) ; Espace qui rétrécit / s'élargit (2ème image) ; Murs qui se rapprochent dans la largeur / dans la longueur (3ème image) ; Ascenseur qui monte / qui descend (4ème image).

D'autres combinaisons consistaient en trois états stables non évolutifs : Trois échelles différentes par rapport au monde (Figure 1) ; Trois milieux différents mer/plaine/ciel. Enfin, un EV proposé aux trois interprètes consistaient à faire interagir leur position et leur regard avec l'animation d'un lapin tournant en rond (Figure 3). Ce dernier ne se mettait à courir que si l'interprète le regardait et en était assez proche. Ainsi, le regard guidait le lapin autant qu'il le suivait.

<figure><img src="image_4.png" /><figcaption>**Figure 3.** La danseuse (bas) interagit par l'action de son regard (haut, gauche) avec l'animation du lapin (haut, droite).</figcaption></figure>

En juxtaposant ces différentes performances vécues virtuellement dans l'espace physique, nous avons pu étudier comment nos variations spatiales engageaient différents effets de scénographies. Nous avons pu analyser comment les corps habitaient et étaient manipulés par l'espace, comment certains patterns émergeaient et comment s'activait une rythmique particulière des corps dans l'espace (voir lien ci-dessous). Pour finir, après avoir improvisé dans leurs EVs respectifs, il a été demandé aux interprètes de reproduire leurs performances sans casque de réalité virtuelle. De cette manière, de nouvelles mises en scène ont émergé créant différents rythmes liés à la mémoire des EVs vécus.

Lien vers la vidéo de ces performances :
https://vimeo.com/768571518.
4. DISCUSSION ET CONCLUSION

Cette session expérimentale a fait émerger plusieurs
hypothèses de travail. D'une part, les environnements
virtuels dynamiques permettent l'activation et un certain
contrôle des déplacements et mouvements des corps
performant sur scène. Soit les EVs étaient
pré-enregistrés, soit ils réagissaient en temps réel à la
présence de l'interprète par algorithme. En fonction de
leurs caractères fonctionnels ou émotionnels, ces
espaces engageaient différents types d'improvisation
faisant émerger différentes rythmiques pour la mise en
scène.

<figure><img src="image_5.png" /><figcaption>**Figure 4.** Le danseur (bas) improvise pendant que la pièce s'agrandit dans l'espace virtuel (haut). Les danseuses rejouent leur improvisation de la pièce qui se rétrécit.</figcaption></figure>

Les interprètes semblaient à l'aise avec le casque de
réalité virtuelle. L'absence de représentation de leur
corps dans l'EV ne les a pas empêché d'être très
expressifs dans leurs improvisations. Cela permettait
même une forme d'assimilation du corps avec l'espace
en mouvement (Figure 4). De plus, la sensation de
présence et le raisonnement spatial dans les EVs semble
permettre une mémorisation spatiale et temporelle
pouvant constituer un outil de travail dramaturgique de
dialogue entre scénographe et interprète.

Grâce à ces expérimentations, le dispositif Montage
Spatial a dû s'adapter à des manipulations d'objets et des
dynamiques spatiales particulières. Une évolution

pertinente serait de permettre au·à la scénographe de
manipuler en temps réel les trois EVs dans lesquels les
interprètes sont au prise. Il paraît également nécessaire
d'intégrer la timeline (Figure 4, haut) dans l'espace
virtuel de mise en scène pour qu'elle soit maniable
directement en immersion. Cela diminuerait la charge
cognitive de la codification de l'interface en 2
dimensions de Unity et permettrait au·à la metteur·se en
scène de tester rapidement et intuitivement les
temporalités en création.

Par ailleurs, la particularité de ce dispositif était que les EVs n'étaient perçus que par les performeurs·ses et non par le public. La virtualité constituait davantage un medium entre la scénographe et les performeurs·ses qu'un élément de mise en scène visible pour les spectateurs·rices. Par leurs improvisations, les corps performants pouvaient néanmoins laisser entrevoir certaines formes issues de la virtualité. Dans nos futures expérimentations, nous prévoyons donc d'inclure dans la mise en scène des images des EVs habités et modulés par les interprètes. Ces dernières deviendront donc des corps-caméras produisant un montage en temps réel, basé sur les choix des corps dans l'espace (physique et virtuel).

L'usage de la réalité virtuelle semble constituer un
processus prometteur dans l'émergence de nouvelles
formes de scénographies, notamment dans la relation
tripartite entre metteur·se en scène, interprètes et public.
C'est dans ce contexte que nous proposons de continuer
notre processus de recherche-création autour de
nouveaux dispositifs scénographiques hybrides
composés de décors réels plus conséquent (escaliers)
questionnant de nouveaux vecteurs d'intéractions pour
notre étude sur les rythmes d'espaces.

5. RÉFÉRENCES

[1] Artaud, A. *Le théâtre et son double*. Gallimard, 1938.

[2] Deleuze, G. *Francis Bacon. La Logique de la sensation*, Éditions du Seuil, « L'Ordre Philosophique », 2002.

[3] Fuchs, P. Moreau, G. Auvray, M. École nationale supérieure des mines de Paris. *Le traité de la réalité virtuelle*, Presses de l'Ecole des mines, 2006.

[4] Novak, EA. Novak, D. *Staging musical theatre* (1st ed). Betterway Books, 1996.

[5] Sagot-Duvauroux, R. Ronfard, R. Garnier F. "Montage as a narrative vector for virtual reality experiences". In Con-VRgence (VRIC) Virtual Reality International Conference Proceedings, 2022.

[6] Schubert, T. Friedmann, F. Regenbrecht, H. "Embodied presence in virtual environments". In Ray Paton & Irene Neilson (Eds.), Visual Representations and Interpretations. London: Springer. 269-278, 1999.

[7] Slater, M. "A Note on Presence Terminology." Emotion, vol. 3, p. 1–5, 2003.