# Dramaturgies de la Réalité Augmentée

Gillian Borrell

► To cite this version:

Gillian Borrell. Dramaturgies de la Réalité Augmentée. Synthèse d'image et réalité virtuelle [cs.GR]. 2019. hal-02471493

HAL Id: hal-02471493

https://inria.hal.science/hal-02471493v1

Submitted on 8 Feb 2020

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
Dramaturgies de la
Réalité Augmentée

Gillian Isla Borrell

Juin 2019

<figure><img src="image_2.png" /></figure>

**Performance Lab**
Univ. Grenoble Alpes

Ínria
# Sommaire

<table><tr><td>Sommaire</td><td>2</td></tr><tr><td>Introduction</td><td>3</td></tr><tr><td>Technologies</td><td>6</td></tr><tr><td>Études de Cas :</td><td></td></tr><tr><td>City of Glass + My Name is Peter Stillman</td><td>9</td></tr><tr><td>Temporel</td><td>11</td></tr><tr><td>Half Real</td><td>13</td></tr><tr><td>Nautilus</td><td>15</td></tr><tr><td>The Jew of Malta</td><td>17</td></tr><tr><td>Debussy 3.0</td><td>19</td></tr><tr><td>The Crack Up</td><td>21</td></tr><tr><td>Acqua Alta</td><td>23</td></tr><tr><td>Elements of Oz</td><td>25</td></tr><tr><td>Gulliver</td><td>27</td></tr><tr><td>Conclusions</td><td>29</td></tr><tr><td>Bibliographie</td><td>32</td></tr></table>
# Introduction

Cette étude est une exploration de la place de la réalité augmentée sur scène et de ses effets dramaturgiques. Elle est menée à partir de dix études de cas, constituées de spectacles de théâtre, de danse et d'opéra, créées entre 2002 à 2019. Suivant le modèle de Nouvelles Perspectives 6 : La Réalité Mélangée et le Théâtre du Futur (Weijdom, 2017), l'objectif de l'étude était de mettre côte à côte plusieurs spectacles pertinents pour faciliter la comparaison et la discussion du nouveau terrain théâtral qui est la réalité augmentée. Les exemples choisis ne constituent pas un inventaire exhaustif des spectacles, des genres ni des technologies en usage du côté de la réalité augmentée. Cependant, ils nous proposent une série de contextes et d'utilisations pour celle-ci, à partir de laquelle il est possible d'arriver à une compréhension plus approfondie de la réalité augmentée telle qu'elle existe actuellement dans les salles de spectacle, d'en tirer quelques observations

et d'imaginer quelques possibilités futures. Cette étude est réalisée dans le cadre du programme de recherche interdisciplinaire The Performance Laboratory (L'observatoire de la performance comme recherche), de l'Université Grenoble Alpes.

Pour mener une telle enquête, il était nécessaire de poser une définition de la réalité augmentée large et ouverte, sans intention d'en exclure d'autres pour un terme en constante évolution. Cependant, commençons par le terme « dramaturgie », qui nous propose un point de départ plus stable bien que tout aussi complexe et polysémique.

Nous parlons de la dramaturgie d'une pièce de théâtre, d'un spectacle de danse, d'un concert, voire d'un match de sport. La dramaturgie consiste en la manière d'organiser les différents aspects d'une production pour raconter une histoire, agencer des discours, et construire l'expérience spectateur. Elle peut impliquer des choix de textes, de lumières, de

sons, des interprètes, de lieux, de costumes, de scénographies, et tout autre élément susceptible de contribuer à l'expérience de l'évènement. La dramaturgie correspond à la fois à des choix et au résultat qui en découle. Dit simplement, elle est la composition d'un spectacle. Le mot « composition » est très bien adapté, parce qu'il porte les significations proches d'acte de création et d'assemblage des éléments.

« La réalité augmentée » est un terme de plus en plus répandu, mais il y a plusieurs interprétations possibles. En 1938, Antonin Artaud emploie très justement le terme « réalité virtuelle » pour parler du théâtre (Artaud, 1938). Le monde d'une pièce est une réalité fabriquée. De nos jours, le terme « réalité augmentée » est devenu une référence aux environnements numériques, mais il vaut la peine de remarquer que la virtualité et l'augmentation ne relèvent pas obligatoirement des
<figure><img src="image_3.png" /></figure>

Caractéristiques de la
réalité augmentée et ses
cousines © G.I. Borrell

domaines des ordinateurs,
et que le théâtre a
toujours sollicité les
imaginations des
spectateurs pour leur
offrir un monde alternatif.

Aujourd'hui, le terme « réalité augmentée » évoque, pour beaucoup du monde, des applications telles que Pokémon Go et IKEA Place, qui exploitent la caméra d'un smartphone pour ajouter des éléments numériques sur une image du monde réel. Simon et Decollogne soulignent que, contrairement aux effets

spéciaux cinématiques,
l'augmentation se fait en
temps réel. « Les images
virtuelles sont alors
incrustées en temps réel
dans le flux d'images
réelles au fur et à mesure
que ses images se
présentent devant l'œil de
l'observateur » (Simon &
Decollogne, 2006)

Pour séparer la réalité
augmentée de la réalité
virtuelle, il suffit de
préciser que l'aspiration
de la réalité virtuelle
est l'immersion de
l'utilisateur dans un
environnement virtuel.
C'est un objectif qui

devient de plus en
plus réalisable avec le
développement des
moyens d'interactivité
et de retour sensoriel.
En revanche, la réalité
augmentée ne cherche
pas à échapper à
l'environnement physique
de l'utilisateur. Elle
implique la superposition
des éléments numériques
sur la réalité, proposant
un environnement qui
contient simultanément
le virtuel et le réel. Nous
aurons l'occasion de
mentionner le terme
« réalité mixte » qui a
tendance à brouiller
les cartes, à cause de
ses deux utilisations
courantes. Tantôt, « la
réalité mixte » décrit
n'importe quelle
expérience qui mélange
le monde physique et des
éléments virtuels. Tantôt,
le terme décrit un niveau
de réalité augmentée
particulièrement
réussi, où des éléments
numériques sont incrustés
dans le monde réel d'une
manière convaincante et
en trois dimensions, au
lieu d'une superposition
simple et 2D.

Si ces distinctions
contribuent efficacement
à notre réflexion, un
obstacle inattendu surgit :
celui de la projection
vidéo. Très répandue,
exploitée régulièrement
par les spectacles depuis
des décennies, elle
n'a pas l'allure d'une
technologie innovante.
Néanmoins, il faut la
considérer de plus près.
Indiscutablement, elle
implique la superposition
des éléments numériques
sur le monde physique.
Parfois, ces éléments sont
générés en temps réel,
par exemple dans les
spectacles qui emploient
la vidéo en direct, tels
que Festen de Cyril
Teste<fnref n="1" /> et Black Clouds de
Fabrice Murgia<fnref n="2" />. Parfois,

les images sont même
manipulées en temps
réel ; le spectacle d'objet
Birdie de la compagnie
Agrupación Señor
Serrano<fnref n="3" /> emploie des
vidéos pré-enregistrées
et des effets qui sont
ajoutés aux images
tournées en direct. Il
y a aussi la possibilité
d'utiliser la projection
vidéo en association avec
le suivi de mouvement
pour projeter un
élément numérique sur
quelque chose de réel
qui n'est pas statique,
et donc faire en sorte
que l'image projetée
s'affiche sur l'objet réel
malgré ses changements
de positionnement. À
ce moment-là, nous
arrivons à un effet qui
est ancré dans l'espace
physique, et donc qui
mérite d'être appelé
« réalité augmentée ». Ces
exemples font partie des
études de cas qui suivent.

Une distinction qui
demeure toutefois entre
ce dispositif de projection
et les applications de
réalité augmentée
courantes est l'utilisation
d'un appareil individuel.
Pour une définition plus
stricte, nous pourrions
insister sur le fait que la
réalité augmentée doit
être expérimentée sur un

smartphone, une tablette
ou avec un casque. Dans
ce dispositif, l'image
s'adapte en temps réel
aux mouvements de
l'utilisateur individuel.
C'est une différence
importante pour
l'expérience spectateur
ainsi que pour la
technologie. Cependant,
l'utilisation des appareils
individuels par les
spectateurs n'est pas
très répandue. Elle
implique des difficultés
de coût, de complexité
et d'accessibilité que
l'économie du spectacle
vivant n'a pas encore
surmonté. D'ailleurs, le
manque d'interactivité
individuelle, dans un
dispositif de RA projetée,
n'est pas forcément un
point faible dans une salle
de spectacle puisque que,
traditionnellement, les
spectateurs restent dans
une même orientation
face à la scène pendant
tout le spectacle et n'ont
pas l'habitude de se
déplacer.

Pour cette étude, nous
avons décidé d'inclure,
dans la définition de la
réalité augmentée, la
projection des images,
générées ou manipulées
en temps réel, qui sont
intégrées numériquement
aux objets ou personnes

<footnote n="1">1 Présenté par Cyril Teste / Cie MxM au Théâtre du Nord, Lille, 7-11 février 2018 (« Festen », s. d.)</footnote>

<footnote n="2">2 Présenté par Fabrice Murgia / Cie Artara au Théâtre National Wallonie-Bruxelles, 18-21 avril 2018 (« Black Clouds », s. d.)</footnote>

<footnote n="3">3 Présenté par Agrupación Señor Serrano à La Rose des Vents, Villeneuve-d'Ascq, 23-24 mars 2018 (« Birdie », 2016)</footnote>
# Technologies

## Projection Vidéo

Une technologie utilisée régulièrement dans les salles de cours et de conférence est un dispositif composé d'un projecteur vidéo et un écran, un mur, un tulle, ou toute autre surface capable de recevoir l'image projetée. Le projecteur vidéo est lié à un ordinateur, qui fournit les images. Dans le spectacle vivant, des tulles sont parfois positionnés entre les spectateurs et les interprètes pour superposer les éléments numériques.

## Vidéo Mapping

Vidéo mapping est la projection vidéo où l'image est délimitée pour correspondre à un élément réel (un bâtiment, une personne, un objet) sur lequel il est projeté. Souvent, les projections sont les vidéos, alors les images évoluent pendant l'expérience.

## Projection 3D/Stéréoscopique

Projection 3D et projection stéréoscopique sont deux termes pour une seule technologie : deux projecteurs vidéo projettent simultanément les images d'une même scène, des points de vue légèrement différents, imitant la vision humaine. Notre vision naturelle est stéréoscopique. Dans le cerveau, les deux images sont traduites dans une seule image 3D. Pour les expériences de projection 3D/stéréoscopique, le spectateur porte les lunettes 3D.

## Graphiques 3D

Les objets, les personnages et les espaces peuvent être dessinés avec les logiciels 3D tels que Maya, Unity et 3DS Max. Le gros avantage sur le 2D est que, dès que l'objet est dessiné, il est facile à changer son orientation et positionnement, et/ou l'orientation et positionnement du spectateur.

## Suivi de mouvement

Il y a plusieurs moyens de suivre les changements de positionnement d'un personnage ou d'un objet, et d'interpréter les gestes.

Un très bon exemple est le Kinect. C'est un système avec un projecteur infrarouge, une caméra infrarouge et deux capteurs qui connectent à un ordinateur. Il est capable de reconnaître les formes humaines et de suivre les mouvements. Il interprète les mouvements du squelette et capte les informations de profondeur.

En comparaison, les capteurs sur le corps sont beaucoup plus exacts dans leur suivi de mouvement. Cependant, ils encombrent le mouvement, et ils sont plus chers.

C'est aussi possible de créer son propre système de captation avec une caméra infrarouge. Ce n'est pas chère, mais en comparaison avec le Kinect les informations de mouvement sont moins précises, et ne sont pas aussi facile à traduire dans un système de génération d'image.
## Réalité Augmentée : Smartphone/Tablette

Les appareils personnels sont les moyens les plus répandus pour expérimenter la réalité augmentée. Il faut télécharger une application qui utilise la RA, telle que Pokémon Go. L'application demandera l'accès à la caméra pour « vision-based AR » ou aux informations de géolocalisation pour « location-based AR ». Quand une cible est visionnée à travers l'appareil, ou quand une localisation est reconnue, l'application affichera les contenus en réalité augmentée. Les avantages sont la disponibilité, la portabilité et le fait que l'expérience est individuelle. Les désavantages sont les contraintes de la taille du fichier, l'obligation de tenir l'appareil devant les yeux pendant l'expérience, et le petit écran.

## Réalité Augmentée : Casque

Porté par l'utilisateur, le casque de RA permet à regarder (et écouter) les contenus RA superposés sur le monde réel. Il y en a plusieurs modèles. Nous prenons comme exemple le Hololens.

Les caméras sur le casque créent une carte de l'environnement réel de l'utilisateur. L'appareil reconnaît et répond aux gestes de l'utilisateur, et aussi aux commandes vocales. Avec un casque, les éléments numériques sont affichés directement devant les yeux de l'utilisateur, qui n'est plus obligé de tenir son portable à la main. Les désavantages sont l'inconfort de porter le casque, et le coût, qui le rend exclusif.

## Réalité Virtuelle

Oculus et HTC sont les casques RV les plus connus. Pour les utiliser, le joueur/utilisateur/spectateur porte le casque, qui bloque totalement sa vue du monde réel, et le remplace par un monde virtuel. Grâce aux capteurs dans la salle et sur le casque, le système suit les mouvements de l'utilisateur et donc la vue dans le casque répond à ses mouvements : il tourne la tête, la vue pivote, et ainsi de suite. Un problème, en train d'être réglé dans les dernières itérations de ces produits, était que, si l'utilisateur met les mains devant le visage, il ne les voit pas, ce qui réduit l'immersion. Maintenant, HTC Vive utilise les capteurs pour les manettes, qui sont tenus par l'utilisateur, pour savoir le positionnement de ses mains et les représenter dans le monde virtuel.

Le « virtual reality cave » est une alternative de luxe. C'est un système extrêmement coûteux où l'environnement virtuel est projeté autour du spectateur, qui n'a pas besoin d'un casque.
# Études de Cas
# City of Glass

## My Name is Peter Stillman

*City of Glass* est un spectacle qui emploie un système sophistiqué de projection vidéo de décors, conçu par 59 Productions. Le spectacle est accompagné par une expérience en réalité virtuelle avec Oculus Rift, qui s'appelle *My Name is Peter Stillman*.

Adapté d'un roman de Paul Auster, l'histoire de base touche à plusieurs genres. Il y a des éléments de noir-policier : un homme qui a perdu sa famille cherche un sens à sa vie. Il se trouve entraîné dans une intrigue policière. Cependant, la narration sort du cadre traditionnel du polar quand le personnage principal commence à perdre la notion de la réalité. (59 Productions, 2017)

Les décors sont projetés sur les murs et le sol de la scène. Ils sont parfois réalistes, parfois abstraits, et souvent évolutifs. Ils contribuent à donner un sens de la confusion des sentiments du personnage

principal et donnent l'idée qu'il y a toujours des mondes alternatifs derrière la réalité visible. Les concepteurs profitent de la technologie pour créer des transitions brutales et déroutantes entre les scènes.

Il n'y a pas de système de captation de mouvement, ni de génération des contenus en temps réel, donc cet exemple ne tombe pas à strictement parler dans la catégorie de la réalité augmentée sur scène.

<figure><img src="image_4.png" /><figcaption>Décors projétés de City of Glass © 59 Productions</figcaption></figure>
<figure><img src="image_5.png" /></figure>

Les spectateurs découvrent *My Name is Peter Stillman* © Jonathan Keenan

Il est ici inclus pour deux raisons.

1) C'est un exemple abouti des possibilités de la projection vidéo des décors, ce qui implique la superposition du numérique sur le réel et nous amène à interroger la définition de la réalité augmentée. C'est aussi un exemple où l'œuvre artistique n'est pas réduite à servir de véhicule pour la technologie. Ici, la technologie sert à la dramaturgie, elle contribue à renforcer les thématiques, elle illustre les idées psychologiques. Elle ne s'interpose pas entre les spectateurs et l'histoire.

2) La production propose une expérience en réalité virtuelle, *My Name is Peter Stillman*, à côté du spectacle principal. Il y a une tendance croissante de proposer les créations transmédias qui allient les nouvelles technologies

avec les formats traditionnels de théâtre. Les spectateurs de *City of Glass* sont invités à essayer l'expérience virtuelle *My Name is Peter Stillman* avant ou après le spectacle, ou indépendamment de la pièce, dans une cabine juste au-dehors de la salle de spectacle. L'expérience positionne le spectateur dans l'appartement où se déroule une partie de l'histoire *City of Glass*, et emploie le design sonore pour ajouter au sens de l'immersion. L'interactivité est très limitée. La vue réagit aux mouvements de la tête du spectateur, qui est assis, mais il ne peut pas se déplacer ni influencer l'espace virtuel. L'expérience de *My Name is Peter Stillman* n'est pas nécessaire à la compréhension du spectacle *City of Glass*. Le choix de ne pas le rendre plus important pourrait indiquer un manque de courage ou de confiance, mais il

y aurait les difficultés logistiques pour le rendre obligatoire. La cabine est équipée pour accueillir quatre spectateurs à la fois, pendant que la capacité du théâtre HOME où *City of Glass* débuté en 2017, est de cinq cent personnes.

## City of Glass & My Name is Peter Stillman 2017

### Production

59 Productions
Lyric Hammersmith
HOME
Karl Sydow

**Basé sur le roman de Paul Auster et le roman graphique de Paul Karasik et David Mazzucchelli**

https://59productions.co.uk/project/city-of-glass/

https://59productions.co.uk/project/my-name-is-peter-stillman/
# Temporel

Temporel est un spectacle de cirque et de création numérique, fruit d'une collaboration entre Lemieux Pilon et Les 7 Doigts. Le personnage principal est un homme âgé. Dans sa tête, le temps a perdu toute linéarité ; les souvenirs de son enfance et de sa jeunesse se mélangent avec le présent. C'est une prémisse bien adaptée à la réalité augmentée, parce que, dans la perception du personnage, plusieurs « réalités » se croisent, et le passé est superposé avec le présent.

Lemieux Pilon 4D Art est une compagnie qui crée, depuis les années 1990, des spectacles qui utilisent les technologies numériques pour proposer des expériences oniriques. La compagnie exploite surtout des projections sur des écrans qui sont imperceptibles aux spectateurs, ce qui donne l'effet des hologrammes (Duguay, 2010). Le spectacle *Norman* (2007) est un exemple célèbre. C'est un hommage au cinéaste Norman McLaren. Le personnage principal est Peter, un jeune danseur

inspiré par McLaren, qui conduit des recherches sur son œuvre et sa vie. Pendant le spectacle, les extraits de ses films sont projetés, dans la manière traditionnelle, sur un écran bien visible. Puis, les autres vidéos, y compris les personnages virtuels, sont projetés sur des écrans imperceptibles, parfois pour permettre à l'interprète de danser parmi les images, parfois pour faire vivre, de manière holographique, les personnages qu'il a interviewé au cours de ses recherches.

<figure><img src="image_6.png" /><figcaption>Temporel : la fumée projetée © Jean-François Gratton</figcaption></figure>
Il y a des fausses interactions, ce qui veut dire des interactions chorégraphiées, entre le personnage principal et ces personnages virtuels pré-enregistrés.

Temporel (2018), a recours à la même technologie des écrans imperceptibles pour présenter les personnages virtuels. Cette fois-ci, ils s'agissent parfois des vidéos enregistrés plus tôt pendant la même représentation, ce qui ajoute encore un niveau de complexité. D'ailleurs, une technologie de suivi de mouvement est utilisée pour générer les effets visuels mappés sur les corps des interprètes en temps réel. Avec cette dernière innovation, Lemieux Pilon franchit le seuil de la réalité

augmentée, parce que les créations visuelles sont ancrées aux personnes dans le monde réel, et incrustées en temps réel. Les effets en temps réel sont générés et gérés par le média serveur Photon, développé par VYV pour les spectacles et les installations artistiques.

Le spectacle ne dépend pas du texte, mais des interactions entre les décors visuels et les interprètes, qui sont les artistes de cirque (VYV, s. d.). Ce n'est pas une histoire linéaire, mais plutôt une série des souvenirs qui proposent aux spectateurs une fenêtre sur l'expérience psychologique du personnage principal, et qui ensemble arrivent à communiquer des aspects de sa vie et son état d'esprit actuel.

Temporel
2018

Production

Lemieux Pilon 4D Art

Les 7 Doigts

Co-production

Espace Jean Legendre, Scène nationale de l'Oise

Place des Arts

Collaboration
technique

VYV

Normal Studio

https://4 dart.com/fr/
creation/2018/temporel/

<figure><img src="image_7.png" /><figcaption>Temporel : les pages flottantes © Jean-François Cratton</figcaption></figure>
# Half Real

Une pièce de théâtre qui propose une enquête participative, pour démasquer un meurtrier. Les spectateurs sont invités à voter pour faire avancer l'histoire sur l'un des nombreux chemins préconçus par la mise en scène.

Les décors et quelques informations textuelles sont projetés au cours du spectacle. La scène a été modélisée numériquement en 3D, ce qui permet de projeter les décors de n'importe quel point de vue. C'est un avantage sur la projection traditionnelle parce que les images peuvent être facilement adaptées au positionnement du projecteur vidéo au moyen d'un processus rapide de calibration. Les développeurs emploient le terme « Spatial Augmented Reality » pour préciser que le système dépend des calculs de positionnement relatif dans un espace simultanément réel et virtuel.

Cette méthode souffre des mêmes contraintes que tous les autres systèmes de projection : il y a toujours un point

de vue idéal pour regarder les projections ; plus un spectateur est éloigné de ce point de vue idéal, plus les images apparaissent déformées. D'ailleurs, parce que ce n'est pas possible de projeter dans l'air, les projections doivent toujours être affichés sur une surface physique. Un algorithme est utilisé pour adapter la position 3D ciblée aux surfaces disponibles.

La captation infrarouge de la Kinect Microsoft est employée pour suivre les comédiens et gauger leurs positionnements sur scène. La Kinect a été choisie parce qu'elle est fiable et peu couteuse. La vision infrarouge reste fiable malgré les fluctuations de la lumière sur scène, et les comédiens ne sont pas obligés de porter des capteurs (Marner, Haren, Gardiner, & Thomas, 2012). Ces informations de positionnement,

<figure><img src="image_8.png" /></figure>

La structure narrative « Choose Your Own Adventure » de *Half Real*
© Michael R. Marner et al.
<figure><img src="image_9.png" /></figure>

La scène réelle avec décors projetés © Michael R. Marner et al.

<figure><img src="image_10.png" /></figure>

Les textes projetés accrochés aux objets © Michael R. Marner et al.

en conjonction avec la scène virtuelle, rendent possible un effet de réalité augmentée. Les objets virtuels projetés peuvent être positionnés relativement à n'importe quel objet dans l'espace 3D, y compris les personnages, et peuvent s'adapter à leurs mouvements. Cet effet est employé pour proposer des informations et poser des questions aux spectateurs pendant le spectacle. Le genre "choisir sa

propre aventure” n’est pas nouveau, mais la technologie permet une implémentation harmonieuse de cette structure narrative. Chaque spectateur est équipé d’un contrôleur ZigZag, lui permettant de voter en réponse aux propositions projetées, sans interrompre l’histoire. Dans ce dispositif, la scène devient un Graphical User Interface (GUI), qui affiche des options et réagit aux choix des spectateurs.

## Half Real 2011

### Équipe

* Michael R. Marner
* Sam Haren
* Matthew Gardiner
* Bruce H. Thomas

http://www.theborderproject.com/project/half-real/
# Nautilus

Nautilus est un spectacle de danse mené par des chercheurs de trois universités suisses, en collaboration avec une chorégraphe et des danseuses professionnelles, dans le but de mettre la technologie au service de la création artistique.

Ce spectacle de huit minutes insère les avatars des danseuses dans un environnement virtuel sous-marin, où elles interagissent avec le plancton. Les spectateurs sont invités d'expérimenter le dispositif après le spectacle.

Les danseuses explorent leur environnement

et profitent d'une interactivité programmée pour faire bouger le plancton. Il n'y a pas de développement d'histoire. L'œuvre est parfois proposé en tant qu'installation, ce qui indique que la narration n'est pas pertinente à cette création.

Il y a un tulle entre les interprètes et les spectateurs, sur lequel est projeté l'environnement virtuel, qui contient le plancton et les avatars. Les danseuses sont derrière le tulle, où elles sont visibles quand elles sont illuminées, et invisibles quand elles ne le sont pas. La caméra infrarouge du Kinect

capte les mouvements des danseuses même quand elles sont invisibles aux spectateurs. Ces informations sont transférées vers les avatars dans l'environnement virtuelle, qui est généré en temps réel en Unity.

Les avatars sont les nuages de pixels d'une densité suffisante pour que même les mouvements des doigts soient visibles. Ils permettent aux danseuses d'interagir avec le plancton, qui est programmé pour réagir aux corps virtuels.

Au cours du développement du projet, les scientifiques

<caption>Avatar et plancton projetés sur un tulle entre les spectateurs et les danseuses</caption>

© Sara Grimm et Andreas Fischer

<figure><img src="image_11.png" /></figure>
ont testé plusieurs moyens de captation de mouvement. Le suivi de squelette avec le Kinect était rejeté parce qu'il n'a pas réussi à comprendre les mouvements quand les danseuses n'étaient pas orientées vers la caméra. Ensuite, les capteurs portés sur les corps des danseuses étaient testés, mais ils étaient trop envahissants pour les danseuses. D'ailleurs, bien qu'ils étaient efficaces pour capter les mouvements, ils n'arrivaient pas à capter les positionnements des danseuses sur scène, ce qui est une information nécessaire à la réalisation du spectacle (Fischer et al., 2016).

La solution choisie était d'utiliser les informations de forme et de profondeur captés par le Kinect, au lieu des informations du squelette. Les créateurs ont donc réussi à obtenir un résultat net et fonctionnel qui permet à improviser sur scène. Il a aussi l'avantage que n'importe quel objet, introduit sur scène, sera suivi et transféré dans le monde virtuel, ce qui permet l'utilisation des accessoires.

Les développeurs constate qu'il est difficile pour les danseuses d'observer les interactions dans le monde virtuel pendant qu'elles dansent, parce

qu'elles ne peuvent pas regarder le tulle tout le temps sans contraindre la chorégraphie. Une possibilité postulée par Fischer et al. (2016) pour des projets futurs serait de fournir des informations aux interprètes via un retour auditif.

Du point de vue des spectateurs, il n'y a pas de chevauchement entre les mondes réels et virtuels. Les danseuses réelles ne partagent pas l'environnement du plancton, bien que leurs avatars y soient projetés. Ce constat remet en question la validité du terme « réalité augmentée » dans le contexte de cet œuvre.

<figure><img src="image_12.png" /><figcaption>Les avatars des spectateurs attrapent du plancton
© Andreas Fischer et al.</figcaption></figure>

Nautilus
2016

Équipe

Andreas Fischer
Sara Grimm
Valentine Bernasconi
Angelika Garz
Pascal Buchs

https://nautilus-art.ch/
# The Jew of Malta

Cet opéra, basé sur le texte de Christopher Marlowe, était développé en collaboration proche avec les concepteurs numériques. L'objectif était de rendre la scénographie et les costumes plus actives dans la narration de l'histoire, grâce aux nouveaux médias.

Les décors montrent un bunker de la période de la deuxième guerre mondiale. Le bunker est fabriqué numériquement en 3D, puis trois coupes transversales sont retro-projetées sur des écrans derrière les chanteurs. Ces vues ne sont pas statiques ; elles sont contrôlées par les gestes du personnage principal, Machiavelli. Le contrôle gestuel réfléchit sa croyance qu'il possède un pouvoir sur les évènements et les comportements des autres. Vers la fin du spectacle, il perd cette notion, et il perd aussi son influence sur les décors. Son corps est suivi au moyen d'une caméra infrarouge lié à un bitmap évolutif. Des calculs, faits à partir de son centre de gravité et le point de son

corps le plus éloigné du centre, permettent de traduire ses mouvements et de faire changer le point de vue sur l'architecture virtuelle en fonction de ses gestes (ESG Extended Stage Group, 2002).

Les costumes sont utilisés pour indiquer les alliances idéologiques des personnages. Les comédiens portent des vêtements qui réfléchissent l'infrarouge, et des lumières infrarouges sont dirigées vers la scène. Cela permet aux quatre caméras infrarouges de

<figure><img src="image_13.png" /><figcaption>Le bunker 3D (en haut) et les 3 coupes transversales projetées (en bas) © ESG Extended Stage Group</figcaption></figure>
<figure><img src="image_14.png" /><figcaption>Projection mapping aux costumes des interprètes
© ESG Extended Stage Group</figcaption></figure>

localiser précisément les
acteurs. À partir de ces
informations, des textures
sont mappées sur leurs
corps et projetées avec
2 projecteurs vidéo, un
de chaque côté pour
permettre aux textures de
recouvrir complètement
les acteurs. Les textures
changent en fonction des
sympathies fluctuantes
des personnages (ESG
Extended Stage Group,
2002).

Àu niveau de la
technologie, *The Jew
of Malta* présente un
dispositif qui est interactif
et évolutif en temps réel,
au moyen des systèmes
de suivi de mouvement
et de projection. Les
écrans qui reçoivent

les projections des
décors sont derrière
les interprètes avec
les projecteurs vidéo
derrière les écrans,
pendant qu'il y a des
autres projecteurs vidéo
en face pour projeter sur
les costumes.

Bien qu'il est difficile de savoir si les spectateurs ont su comprendre le symbolisme dont ils étaient témoins, *The Jew of Malta* est parmi les meilleurs exemples ici présentés, en termes d'une technologie qui sert l'histoire, au lieu de devenir l'aspect dominant de la production. Les choix créatifs sont toujours en lien avec la dramaturgie.

## The Jew of Malta
2002

### Équipe

Joachim Sauter
Nils Krueger
Bernd Lintermann
Andre Bernhardt
Jan Schroeder
Andreas Kratky
Musique composé par
André Werner

Basé sur le texte de
Christopher Marlowe

http://www.joachimsauter.com/en/work/thejewofmalta.html
# Debussy 3.0

Ce pas de deux homme-femme augmenté est le fruit d'une collaboration entre le Malandain Ballet de Biarritz et ESTIA (l'École Supérieure des Technologies Industrielles Avancées) et a pour objectif de mettre la capture de mouvement et la projection 3D au service de la danse. Il se base sur La Mer, une composition symphonique en trois mouvements de Debussy.

La projection stéréoscopique est employée pour les décors, et les spectateurs portent des lunettes 3D. La danseuse est équipée des capteurs de mouvement (XSens MVN motion capture suit + 5DT datagloves) qui transfèrent ses mouvements vers un avatar, et lui permettent d'interagir avec le monde virtuel, pendant que le danseur évolue uniquement dans le monde réel.

Les concepteurs tenaient à ce qu'il n'y ait pas d'interactions fausses. Le monde virtuel est préconstruit et géré en Unity, et toutes les interactions sont en

temps réel. L'implication d'un technicien de réalité augmentée libère les danseurs de l'obligation de faire des gestes uniquement pour contrôler les contenus virtuels, ce qui réduirait l'intégrité de la chorégraphie (Clay, Domenger, Conan, Domenger, & Couture, 2014). Les interactions principales sont :

* l'animation de l' avatar à partir des mouvements de la danseuse grâce aux capteurs de mouvement sur son corps

* l'addition des traces qui suivent les gestes de ses mains, comme des queues de comète, grâce aux datagloves

* le travail du technicien de RA pour faire exploser, reformer et repositionner l' avatar de la danseuse.

Le thème est l'évolution du rapport homme-technologie, qui suit la même trajectoire que le rapport homme-mer qui a inspiré la musique de Debussy. La danseuse découvre la technologie et s'immerge de plus en

plus dans le numérique. Le développement de son rapport avec la technologie implique parallèlement la destruction de son rapport avec la nature. À la fin du spectacle, son compagnon est son seul lien vers le monde réel. Cette idée est soutenue par la mise en abyme progressive des décors, dont le caractère numérisé devient de plus en plus évident.

Le chorégraphe Gaël Domenger constate que les ballets romantiques impliquent depuis toujours une progression de la réalité à l'irréalité, avec généralement les personnages-fantômes dans la dernière partie du spectacle (Malandain Ballet Biarritz, s. d.). Debussy 3.0 est un développement sur cette tradition, avec une progression de la réalité vers le virtuel.

Pour communiquer le thème du rapport homme-technologie, ainsi que pour mettre en valeur les atouts numériques de la production, il y a une volonté de rendre la manipulation des éléments virtuels évidente
<figure><img src="image_15.png" /><figcaption>Le ballet augmenté Debussy3.0. © J. Morin</figcaption></figure>

aux yeux des spectateurs. Les concepteurs voulaient que le technicien soit visible ; ils avaient pour cela envisagé de mettre en évidence ses gestes au moyen d'un système LeapMotion. La présentation du spectacle en décembre 2013, au Casino de Biarritz, n'a malheureusement pas pu se faire avec ce dispositif et les spectateurs ont en effet exprimé une certaine incompréhension vis-à-vis du rôle du technicien, notamment dans l'activation et le changement des projections durant le spectacle. Pareillement, ce n'était pas tout à fait clair pour eux que la danseuse contrôlait, en partie, les projections. Ce dernier malentendu est probablement lié au fait que, suivant l'histoire d'un rapport croissant avec la technologie, le pouvoir de la danseuse sur les éléments numériques était limité au début du spectacle, avec des

bogues intentionnels. Son influence de plus en plus forte au cours de l'histoire, mais l'impression initiale aurait pu mal orienter les perceptions des spectateurs. Il y avait aussi un décalage entre les mouvements de la danseuse et les mouvements de son avatar, qui aurait contribué à la supposition que l' avatar était pré-enregistré (Clay et al., 2014).

La classification de ce spectacle en tant que réalité augmentée est problématique. Le monde virtuel étant projeté derrière les danseurs, il n'y a pas de superposition des éléments numériques sur le réel, et l'augmentation en temps réel était appliquée au décor virtuel et à l' avatar plutôt que sur les objets et personnes réels. Il consiste plutôt en un environnement réel présenté à côté d'un

environnement virtuel, avec de l'interactivité entre les deux. Cependant, Debussy3.0 est une tentative d'explorer les capacités dramaturgiques, plutôt que technologiques, des interactions en temps réel entre interprètes, techniciens, avatars et décors numériques.

## Debussy 3.0
2013

### Équipe

- Gaël Domenger

- Jean-Claude Asquié

- Irma Hoffren

- Mickaël Conte

- Alexis Clay

- Julien Conan

- Axel Domenger

**Inspiré par l'œuvre symphonique La Mer de Debussy**

http://debussy.malandainballet.com/
# The Crack Up

Création transmédia du Motion.Lab de Deakin University en Australie en 2014, ce spectacle est composé de danseurs, décors 3D projetés et d'une application disponible sur smartphone ou tablette. L'histoire s'inspire du conte éponyme de F. Scott Fitzgerald au sujet d'un homme qui perd la notion de la réalité. Les concepteurs considèrent le spectacle comme un point de départ pour interroger les

effets de la technologie sur la dramaturgie, la chorégraphie et l'expérience spectateur (Vincent, Vinsc, & McCormick, 2015).

Les spectateurs sont invités à télécharger l'application *The Crack Up* avant le spectacle, mais son utilisation est facultative. Le spectacle est tout à fait cohérent sans l'utiliser. Ils sont aussi équipés des lunettes 3D, pour leur permettre d'apprécier les décors stéréoscopiques. La

question du confort des spectateurs se pose immédiatement ; comment jongler entre ses lunettes et son smartphone tout en regardant la scène ? Faut-il enlever les lunettes pour regarder l'application et les remettre pour regarder la scène ? Kim Vinsc, metteuse en scène, fait le parallèle avec la manière actuelle de regarder une émission télévisée, le portable à la main, et notre capacité à transférer notre attention de l'un à l'autre, sans difficultés

<figure><img src="image_16.png" /><figcaption>Vue de la vidéo The Crack-Up App © Deakin Motion.Lab</figcaption></figure>
et avec fluidité. (Vincs, s. d.) La comparaison peut toutefois paraitre peu convaincante, tant parce que l'expérience d'aller au théâtre n'est pas pareille à celle de regarder une télévision, que parce que regarder même une télévision avec le portable à la main indique une division d'attention qui n'est pas forcément souhaitable. Le travail d'un metteur en scène implique toujours l'orientation des pensées des spectateurs vers tel ou tel endroit et telle ou telle idée. Ce travail se complexifie dans le cas d'un œuvre que se présente simultanément sur plusieurs médias.

Les décors sont les paysages fantastiques 3D numériques, projetés sur un écran imposant, de six mètres de hauteur. Les spectateurs risquent d'être trop absorbés, en les regardant, pour pouvoir également prêter attention à la danse (Francis, 2014). Contrairement à maints autres spectacles, *The Crack Up* accepte et exploite le fait qu'il y a une séparation physique et psychologique entre les projections et les danseurs réels. Les concepteurs citent cette séparation en tant qu'atout dramaturgique, parce qu'elle se conforme à la thématique de la pièce : la fracturation de l'identité humaine.

« Biography is now distributed, not just digitally through a multiplicity of tweets, blogs and Facebook pages, but also fundamentally, conceptually altered through the fragmenting effects and affects of digital media. » (Vincs, s. d.)

L'application qui accompagne le spectacle propose des citations de Fitzgerald, et des images qui font référence aux décors projetés sur scène. Elle propose une narration abstraite qui est indépendante mais complémentaire, aligné temporellement au spectacle. Les progressions d'une scène à l'autre sont gérées en direct, le timing ancré au spectacle. En revanche, il n'y a pas d'évidence que les contenus soient liés spatialement aux décors. Il serait peut-être possible de les voir hors de la salle du spectacle, pourvu qu'on les regarde pendant que le spectacle se déroule. Si c'est le cas, les éléments virtuels ne sont pas ancrés dans l'espace physique et la proposition ne s'intègre pas à une définition puriste de la réalité augmentée.

Pour les créateurs des spectacles de danse, qui dépendent, souvent exclusivement, des mouvements des corps pour communiquer des idées et des histoires, il est très intéressant que

l'application étende la dramaturgie vers les possibilités textuelles. Vincs évoque, par exemple, la difficulté de communiquer les évènements antécédents par la chorégraphie, et elle accueille l'application sur smartphone en tant que façon de fournir des contextes conceptuels et perceptuels plus larges. Pour *The Crack Up*, les offrandes textuelles sont un hommage à Fitzgerald, et proposent des points de vue idéologiques, à partir desquels les spectateurs entendent le spectacle.

## The Crack Up
2014

### Équipe

* Vincs, Kim
* McCormick, John
* Vincs, Rob
* Skovli, Daniel
* Taylor, Simeon
* Wallace, Kieren
* Lin, Bobby
* Batty, Josh
* Divers, Pete

### Basé sur le texte de
F. Scott Fitzgerald

http://motionlab.deakin.edu.au/portfolio/the-crack-up/
# Acqua Alta

<figure><img src="image_17.png" /></figure>

Acqua Alta - Noir d'Encre © AM-CB

Acqua Alta - Noir d'Encre est un spectacle de danse, proposé en 2019 par la compagnie lyonnaise d'Adrien Mondot et Claire Bardainne. Projetés sur des tulles derrière et devant les danseurs, ainsi que sur le tapis de danse et sur les murs latéraux du théâtre (Bardainne & Mondot, 2019), les décors sont des animations numériques. Ils sont manipulés en temps réel par le technicien, appelé « interprète numérique ». Bien que les décors animés soient préexistants, il y a donc une interaction, puisque que le régisseur réagit aux mouvements des danseurs. Dit autrement, les danseurs exercent un contrôle limité sur les décors, à travers le régisseur. C'est un

dispositif qui soulève la question de l'interprète-technicien, aussi évoquée par le spectacle *Debussy 3.0* ; à quel moment le régisseur devient-il un artiste ? Est-ce qu'il y a une place sur scène pour des techniciens et des ordinateurs de régie ?

Ce dispositif, restant sur la projection vidéo avec l'addition subtile des variations ajoutées en temps réel, ne tombe pas nettement dans notre catégorisation de la réalité augmentée parce qu'il manque l'attribut des points d'accroche pour les éléments virtuels dans le monde physique. En revanche, le spectacle fait partie d'un œuvre transmédia qui mérite l'attention : il est présenté à côté de deux installations,

qui sont proposées aux spectateurs avant ou après le spectacle. Il s'agit de Acqua Alta - La Traversée du Miroir, un livre pop-up avec des animations visibles en réalité augmentée, et Acqua Alta - Tête-à-Tête, une expérience en réalité virtuelle.

Dans une salle près de la salle de spectacle, les pages du livre Acqua Alta - La Traversée du Miroir sont disposées sur des tables. Dix spectateurs à la fois sont équipés de tablettes, où est installée l'application de réalité augmentée. Regardant à travers les tablettes, les spectateurs voient les dessins et les personnages animées qui dansent leur histoire sur l'architecture papier du livre pop-up, accompagnés de la musique du spectacle. Pour produire ces animations, la compagnie a construit à l'échelle humaine la structure représentée en pop-up. Puis, ils ont employé les capteurs de mouvement portés sur les corps des danseurs pour enregistrer leurs mouvements, pendant qu'ils dansaient sur cette structure. Il
était alors possible de transférer les mouvements vers des avatars dans un environnement 3D, et les accrocher à l'architecture pop-up, pour les présenter en réalité augmentée.

L'histoire est la même que celle du spectacle de danse : un homme et une femme habitent une maison, mais un jour la pluie commence, l'eau monte autour de la maison et la femme est emportée par le fleuve. L'homme la cherche, mais il ne trouve que ses cheveux, qui sont devenus une créature vivante.

C'est la première fois que la compagnie AM-CB se lance dans le récit d'une histoire, leurs spectacles précédents étant les véhicules poétiques d'idées, plutôt que de narrations. Ils sont eux-

mêmes conscients que ce n'est pas leur domaine d'expertise. Cependant, le choix de présenter la même histoire sur deux supports différents a facilité la démarche. Le retour des spectateurs faisait le sujet d'une intervention au séminaire (Ir)réalité sur scène, de la part de Cécile Gauthier, chargée des relations avec le public au théâtre l'Hexagone, où Acqua Alta était accueilli en avril 2019. Les remarques des spectateurs indiquaient que l'expérience en RA les a aidés à comprendre le spectacle, et qu'ils ont apprécié la nouveauté de l'expérience. En fait, la partie en réalité augmentée était tellement passionnante qu'elle affaiblissait en partie la réception du spectacle de danse (Gauthier, 2019).

## Acqua Alta 2019

### Production

Adrien M & Claire B

### Co-production

LUX, scène nationale de Valence

Hexagone Scène Nationale Arts Sciences, Meylan

Maison de la Danse, Lyon

Chaillot, Théâtre National de la Danse

Espace Jéliote, scène conventionnée arts de la marionnette

Théâtre Paul Éluard, scène conventionnée Bezons

Theater Freiburg

https://www.am-cb.net/projets/acqua-alta

<figure><img src="image_18.png" /><figcaption>Acqua Alta - La Traversee du Mirou © AM-CB</figcaption></figure>
# Elements of Oz

Spectacle multimédia, créé par la compagnie new yorkaise, The Builders Association, *Elements of Oz* est un hommage et une recontextualisation du film de 1939, The Wizard of Oz. Pionnier du cinéma en couleur, le film est un choix bien adapté pour les innovations du vingt-et-unième siècle. L'histoire fantastique permet de mélanger les réalités et prépare les spectateurs à accepter l'improbable. Eléments of Oz ne raconte pas l'histoire de Dorothy et de ses compagnons, c'est

un travail de fanfiction qui propose des extraits du film, des anecdotes du tournage, des théories et commentaires formulés par les amateurs et les chercheurs depuis sa sortie, et des reconstitutions de quelques moments iconiques.

Les productions précédentes de The Builders Association utilisaient des écrans sur scène pour présenter plusieurs fils narratifs en parallèle. Eléments of Oz emploie deux écrans sur scène, dans un dispositif désordonné

qui donne à voir aussi les techniciens et leurs ordinateurs. D'ailleurs, il y une application que les spectateurs téléchargent sur leurs smartphones personnels et utilisent pour accéder aux contenus sonores et en réalité augmentée pendant le spectacle.

Le style du spectacle, autant que le style de l'histoire de The Wizard of Oz, enlève toute nécessité d'intégrer les effets de manière naturelle ou crédible. Les créateurs sont libres de proposer des effets fantaisistes et saugrenus.

<figure><img src="image_19.png" /><figcaption>*Elements of Oz. Photographe : Gennadi Novash © Montclair State University*</figcaption></figure>
<figure><img src="image_20.png" /></figure>

Elements of Oz. Photographe : Gennadi Novash © Montclair State University

Les contenus offerts sur l'application sont ancrés temporellement au spectacle. Ils sont déclenchés par un technicien pour les synchroniser avec l'action. Aux moments clés, les spectateurs sont incités à regarder la scène à travers leur smartphone, par le message « LOOK UP » affiché sur l'écran. Ils voient, par exemple une tornade superposée sur les éléments de décors réels, et les singes volants de la sorcière qui volent partout dans la salle. Il n'est toutefois pas évident de déterminer si l'ensemble de ces animations sont intégrées, ou pas, à l'architecture de la scène.

L'application est aussi utilisée pour diffuser une concatenation des enregistrements de la chanson Over The Rainbow, enregistrés et publiés par les utilisateurs de YouTube. Cette idée d'exploiter les contenus participatifs d'une

plateforme populaire mériterait une attention qui est hors la portée de ce document. Elle contribue thématiquement à une mise en liaison, pas forcément confortable, entre l'expérience ici et maintenant du spectacle et le monde vaste et connecté du World Wide Web.

L'objectif des réalisateurs est de mettre en scène un dialogue entre l'analogue et le virtuel (« Elements of Oz - Project Description », s. d.). Ils ont créé une soirée de commentaire sur une œuvre bien-aimée, qui dirige l'attention des spectateurs à la fois sur le monde fictif du film, le monde historique de sa création et le monde en ligne actuel des amateurs partout.

A quoi la réalité augmentée contribue-t-elle ? Il y a un sentiment de proximité, et les contenus deviennent plus personnels, quand

ils sont visionnés sur cet appareil plus que familier, le portable. D'ailleurs, l'addition des effets spéciaux en réalité augmentée est assez séduisante, et la possibilité de voir la scène avec ou sans les effets ajoutés est appropriée pour un spectacle qui regarde « dans les coulisses » d'un film. Entre documentaire et fiction, jonglant les centaines de vidéos et de théories déjà existants sur The Wizard of Oz, les contenus pré-enregistrés et l'action en live, Eléments of Oz est un spectacle éclectique, qui intègre les contenus sur smartphone facilement dans un style chaotique qui fonctionnerait avec ou sans cet atout technologique.

## Elements of Oz
2015

### Production

The Builders Association

### Co-production

Peak Performances & Alexander Kasser Theater at Montclair State University

IDeATe Program & School of Drama at Carnegie Mellon University

http://www.thebuildersassociation.org/prod_oz.html
# Gulliver

L'entreprise israélienne, AR Show, a développé un système de réalité augmentée multi-utilisateurs, visant spécifiquement le spectacle vivant. Le fondateur, Sasha Kreindlin, considère que la réalité augmentée est la prochaine frontière à franchir, dans la

Vanté comme premier spectacle de réalité augmentée en live, *Gulliver* est effectivement la seule création proposant les casques de réalité augmentée pendant le spectacle que nous avons trouvé lors de cette étude limitée. Les spectateurs utilisent les smartphones

et réel, il n'y a que des interactions partielles ; les interprètes répondent aux changements des décors et aux actions des personnages virtuels, mais ils n'ont pas d'influence sur les éléments numériques. Les comédiens ne portent pas des casques, ils utilisent les moniteurs pour caler

<figure><img src="image_21.png" /></figure>

Décor et personnage géant en réalité augmentée pendant le spectacle *Gulliver* © ARSHOW

technologie de spectacle (Zara, 2018). AR Show a lancé le système en 2017 avec une adaptation du livre classique *Gulliver's Travels* de Jonathan Swift. *Gulliver* est un spectacle pour enfant, produit en collaboration avec Gesher Theater.

préconfigurés et portent des casques Merge Soft pendant certaines parties du spectacle (Fink, 2018) leur permettant de voir les personnages et les décors virtuels, accrochés à l'espace physique, qui se superposent à la scène. Entre les deux mondes, virtuel

leurs réactions aux contenus virtuels.

Le système d'opération de AR Show est compatible avec le logiciel de régie Abelton, ce qui facilite son intégration dans les différents théâtres. Pareil à l'audiovisuel et aux
lumières, le régisseur lance progressivement les contenus en réalité augmentée au cours du spectacle.

Le monde mixte de *Gulliver* propose un décor de cartoon, et sert notamment à intégrer les personnages d'échelle énorme que l'histoire nécessite. *Gulliver's Travels* était choisi pour deux raisons : c'est une histoire mondiale, qui stimule l'imagination du lecteur ou du spectateur pour accepter la fantaisie, et c'est une histoire attirante pour les enfants. Kreindlin loue la souplesse des imaginations des enfants, et leur facilité à s'adapter aux technologies nouvelles (Zara, 2018).

Malheureusement, à l'exception des éloges intégrés dans la bande-annonce, il est impossible de trouver des retours de spectateurs. Les avis raisonnés des concepteurs ne sont pas disponibles non plus, parce que le spectacle n'est pas une expérience de recherche mais un exercice de commercialisation pour lancer et promouvoir les systèmes développés par AR Show, qu'ils essaient actuellement de vendre aux producteurs de Broadway et d'ailleurs.

## Gulliver 2017

### Production

AR Show
Gesher Theater

### Équipe

* Yevgeny Aryeh
* Noga Ashkenazi
* Michael Kremenko
* Faustas Ltnas
* Yehudit Aharon
* Michael Weisbord
* Alexander Sikirin
* Yotam Kelo Livneh
* Sharon Burstein-Bichchi

**Basé sur le roman de Jonathan Swift**

http://www.arshowpro.com/

<figure><img src="image_22.png" /></figure>

Gulliver © ARSHOW
# Conclusions

La réalité, et la façon dont elle est vécue dans la perception individuelle ; voilà l'énigme philosophique qui s'ouvre inévitablement face à la virtualité. Il n'est pas surprenant qu'il s'agisse aussi d'une thématique plébiscitée par les créateurs des environnements virtuels, surtout quand ces environnements numériques se mélangent avec l'environnement physique de la scène. Parmi les exemples ici présents, nous avons rencontré la perte de la notion de la temporalité dans *Temporel*, et la perte de la notion de l'identité dans *City of Glass* et *The Crack Up*, tandis que *The Jew of Malta* faisait partager les délires de grandeur de Machiavelli au moyen des projections interactives. Dans tous les cas, la technologie sert à montrer aux spectateurs une perception de la réalité qui est particulière au personnage principal.

Une deuxième thématique commune est celle de l'immersion dans un autre terrain. Pareille à la perception de la réalité, l'immersion est une idée qui s'élève naturellement

quand les humains font face aux possibilités des environnements virtuels. *Debussy 3.0*, *Nautilus* et *Acqua Alta* soulignent l'équivalence figurative entre l'immersion dans l'eau et l'expérimentation des environnements numériques.

Les spectacles plus légers, *Gulliver* et *Elements of Oz*, font le choix d'exploiter des histoires qui racontent des voyages vers des terrains étranges et fantastiques. Ces spectacles profitent des mondes imaginaires de leur texte d'origine, qui fournissent l'occasion d'inclure des éléments virtuels. Cependant, les deux spectacles ne sont pas du tout du même genre. *Gulliver* est une fantaisie pour enfant, tandis que *Elements of Oz*, documentaire ludique et foutraque, positionne les spectateurs simultanément sur le plateau du tournage du film *The Wizard of Oz*, dans un studio de télévision, dans le pays d'Oz et sur le web, une espèce de fracture qui répond à l'observation de la créatrice de *The Crack Up* selon laquelle, de nos jours, nous nous

jonglons avec une identité distribuée sur différents médias numériques. (Vincs, s. d.)

À partir des exemples discutés ici, nous pouvons observer que les spectacles de réalité augmentée aiment parler des voyages vers les autres mondes, de l'immersion et de la perception. Ils sont les concepts avec lesquels les gens qui travaillent dans la création numérique sont amenés à penser, par le fait de créer des environnements virtuels. Cette ressemblance entre les thématiques des spectacles et les questions inhérentes à la technologie utilisée est symptôme de sa nouveauté. Nous pouvons attendre que, au fur et à mesure que nous acceptons la technologie, les thématiques des spectacles qui l'exploitent s'éloigneront des questions qu'elle provoque. Cependant, les arts du spectacle ne sont jamais trop loin des questions de la réalité, parce que la scène reste, indépendamment de toute technologie, un espace pour rencontrer l'imaginaire.
# Vers l'avenir

Half Real se distingue significativement par sa manière d'utiliser la réalité augmentée pour proposer des éléments virtuels informationnels en 2D. Il s'agit du style de la réalité augmentée classique, plutôt que la réalité mixte avec ses incrustations qui s'intègrent à l'environnement réel. Les contenus superposés simplement se montrent déjà très utiles pour les applications telles que Google Maps. Ils offrent également un moyen inédit de proposer des informations pendant une pièce de théâtre ou un match de foot. Par exemple, les spectateurs pourraient regarder le maillot d'un joueur pour voir ses statistiques, ou regarder le chapeau d'un personnage pour voir son âge, profession et ambition secrète. L'addition d'une couche informationnelle entre la pièce et les spectateurs est un atout dramaturgique intéressant, qui mériterait des recherches supplémentaires.

Une autre piste stimulante qui s'ouvre pour les spectacles et les études à venir, est l'évolution des spectacles transmédia. Des formes hybrides émergent de plus en plus. Il y a des personnages avec leurs pages Facebook et des spectacles qui se déroule partiellement en ligne tels que *Midsummer Night's Dreaming*<fnref n="1" />, ou encore *Whilst The Rest Were Sleeping*<fnref n="2" />, parcours d'enquête sur des adolescents disparus, qui propose de la réalité virtuelle, une galerie en réalité augmentée, et un concert avec des projections vidéo.

*Acqua Alta et City of Glass + My Name is Peter Stillman* sont aussi des histoires proposées sur plusieurs plateformes. Dans les deux cas, les spectacles sont satisfaisants indépendamment des expériences en réalité virtuelle et augmentée à côté, qui sont simplement des moyens d'offrir quelque chose de nouveau, d'attirer des spectateurs habituels, et d'approfondir leur engagement avec l'histoire.

Pendant *The Crack Up*, les spectateurs reçoivent des informations simultanément sous plusieurs formes. Cela implique une augmentation dans les choix individuels offerts aux spectateurs, et une divergence toujours plus grande dans leurs expériences du spectacle. Il y aura toujours des personnes qui ne s'intéresseront pas à l'application, et d'autres qui la regarderont tout au long du spectacle, obligeant les metteurs en scène à imaginer plusieurs parcours de spectateurs simultanément.

Ces plusieurs exemples mènent à la conclusion que, dans un futur probable, nous rencontrerons de plus en plus d'histoires déclinées sur plusieurs plateformes en plusieurs temps, qui obligeront les spectateurs à expérimenter chaque forme pour comprendre le tout.

Pour aller plus loin, la réalité augmentée sur des appareils individuels permet de proposer des parcours ou des informations différentes aux

<footnote n="1">1 Produit par The Royal Shakespeare Company en collaboration avec Google Creative Lab en 2013 (Google+ & RSC, 2013)</footnote>

<footnote n="2">2 Évènement réalisé par CiRCA69 en 2017 (« Whilst The Rest Were Sleeping », s. d.)</footnote>
spectateurs individuels, qui seraient amenés à communiquer entre eux pour comprendre l'histoire. S'approchant d'un jeu, mais toujours avec des comédiens et des éléments scéniques réels, il s'agirait d'un récit distribué parmi les spectateurs. Ce genre de spectacle proposerait une expérience spectateur beaucoup plus participative et sociale que le théâtre conventionnel.

Nous avons vu aussi que des questions se posent sur la présence des ordinateurs en scène et des technicien-interprètes qui les manipulent. Dans un dispositif interactif où les techniciens entrent en dialogue avec les comédiens et danseurs à travers les créations numériques, en deviennent-ils les

interprètes ? Est-ce qu'il y a un intérêt à rendre visibles ces créateurs techniques et le processus de création ? Les réalisateurs qui travaillent avec des technologies innovantes tombent souvent dans le piège d'imaginer que les spectateurs viennent pour voir la technologie, ce qui est rarement le cas. Néanmoins, pour certains spectateurs, et certains spectacles, il est captivant de voir les « coulisses numériques ». Il y a surtout un argument pour les techniciens-interprètes ou régisseur-créateurs. Le rôle d'un régisseur implique toujours un niveau de réactivité et de spontanéité très grande, mais la création en temps réel des éléments numériques pourrait s'apparenter à

une implication créative plutôt équivalente à celle d'un musicien de jazz. Dans un tel cas, le choix de montrer le technicien sur scène pourrait être largement justifié.

Nous vivons une période d'épanouissement technologique, qui étend son influence dans toutes les sphères, et qui entraîne des développements à la fois passionnants et déroutants pour les arts de la scène. Les exemples que nous avons présentés ici nous mènent à proposer les spectacles transmédia, les informations superposées en réalité augmentée, et l'évolution du rôle du technicien-interprète parmi les domaines d'expérimentation les plus prometteurs, au croisement de la création numérique et du théâtre.
Bibliographie

59 Productions. (2017). The Making of Paul Auster's « City of Glass ». Consulté à l'adresse https://vimeo.com/211472958

Artaud, A. (1938). Le Théâtre et Son Double. Paris: Librairie Gallimard.

Bardainne, C., & Mondot, A. (2019, février). Adrien M & Claire B - Acqua Alta - Dossier de présentation. Adrien M & Claire B.

Birdie. (2016, novembre 15). Consulté 22 juin 2019, à l'adresse Señor Serrano website: https://www.srserrano.com/birdie/

Black Clouds. (s. d.). Consulté 22 juin 2019, à l'adresse Théâtre National website: https://www.theatrenational.be/en/activities/61-black-clouds

Clay, A., Domenger, G., Conan, J., Domenger, A., & Couture, N. (2014). Integrating Augmented Reality to Enhance expression, Interaction & Collaboration in Live Performances: a Ballet Dance Case Study. In 2014 IEEE International Symposium on Mixed and Augmented Reality - Media, Art, Social Science, Humanities and Design (p. 21-30). Piscataway, NJ: Duh et al.

Duguay, S. (2010). Les mille mots de l'image : Les partitions scéniques de Michel Lemieux et Victor Pilon. L'Annuaire théâtral : revue québécoise d'études théâtrales, (47), 125-137. https://doi.org/10.7202/1005619ar

Elements of Oz - Project Description. (s. d.). Consulté 14 juin 2019, à l'adresse The Builders Association website: http://www.thebuildersassociation.org/prod_oz.html

ESG Extended Stage Group. (2002). Interactive stage design and dynamic costume design for andre werners opera « Marlowe, the Jew of Malta ». Consulté à l'adresse http://www.joachimsauter.com/en/work/thejewofmalta.html

Festen. (s. d.). Consulté 22 juin 2019, à l'adresse Collectif MXM website: http://www.collectifmxm.com/creations/festen/

Fink, C. (2018, novembre 5). AR Is The Star Of A New Theater Company. Consulté 1 juin 2019, à l'adresse https://www.forbes.com/sites/charliefink/2018/11/05/ar-is-the-star-of-new-theater-company/#6c4e3d541d8e
Fischer, A., Grimm, S., Bernasconi, V., Garz, A., Buchs, P., Caon, M., ... Wagner, C. (2016). Nautilus: Real-Time Interaction Between Dancers and Augmented Reality with Pixel-Cloud Avatars. In 28ième conférence fancophone sur l'Interaction Homme-Machine (p. 50-57). Fribourg, Switzerland.

Francis, R. (2014, décembre 2). Using Apps to Create a New Dance Experience: Deakin Motion.Lab. Consulté 30 mai 2019, à l'adresse Dance Informa Magazine website: https://dancemagazine.com.au/2014/12/deakin-motion-lab-presents-crack/

Gauthier. C. (2019, juin). Les Immersifs : retours des spectateurs. Présenté à (Ir)realité sur scène, Grenoble, France.

Google+ & RSC. (2013). Midsummer Night's Dreaming: Google+ and the RSC. Consulté à l'adresse https://www.youtube.com/watch?v=AxfBBgghnDU&feature=youtu.be

Malandain Ballet Biarritz. (s. d.). Debussy 3.0. Consulté à l'adresse https://www.youtube.com/watch?v=kj3SuVUE9G4

Marner, M. R., Haren, S., Gardiner, M., & Thomas, B. H. (2012). Exploring interactivity and augmented reality in theater: A case study of Half Real. 2012 IEEE International Symposium on Mixed and Augmented Reality - Arts, Media, and Humanities (ISMAR-AMH), 81-86. https://doi.org/10.1109/ISMAR-AMH.2012.6483993

Simon, G., & Decollogne, J. (2006). Intégrer images réelles et images 3D: Post-production et réalité augmentée. Paris: Dunod.

Vincent, J. B., Vincs, K., & McCormick, J. (2015). Splitting Centre : Directing attention in trans-media dance performance. In ISEA 2015 : Proceedings of the 21st international Symposium on Electronic Art. Vancouver, Canada: The Conference.

Vincs, K. (s. d.). Foreword by the Director - The Crack Up. Consulté 30 mai 2019, à l'adresse : http://wordpress-ms.deakin.edu.au/motionlab/wp-content/uploads/sites/5/2016/03/The-Crack-Up_FOREWORD.pdf

VYV. (s. d.). Lemieux Pilon 4D Art et Les 7 Doigts:Temporel | VYV. Consulté 21 juin 2019, à l'adresse https://www.vyv.ca/portfolio-item/lp4d7-temporel/

Whilst The Rest Were Sleeping. (s. d.). Consulté 22 juin 2019, à l'adresse CiRCA69 website: http://circa69.co.uk/

Weijdom, J. (2017, mars). La réalité mélangée et le théâtre du futur. Nouvelles Perspectives sur l'art et les nouvelles technologies. Bruxelles : IETM. https://www.ietm.org/en/publications

Zara, C. (2018, juin 26). Meet the AR startup that wants to give live theater an augmented makeover. Consulté 1 juin 2019, à l'adresse Fast Company website: https://www.fastcompany.com/40587203/meet-the-ar-startup-that-wants-to-give-live-theater-an-augmented-makeover