# Le théâtre à l'age du métavers

Rémi Ronfard

Inria / Ecole des Arts Décoratifs

Spectacle vivant et scènes numériques, Avignon, 12 Juillet 2023
<figure><img src="image_1.png" /><figcaption>ECOLE DES MINES DE PARIS</figcaption></figure>
<figure><img src="image_2.png" /><figcaption>IBM WATSON RESEARCH CENTER, NEW YORK</figcaption></figure>
<figure><img src="image_3.png" /><figcaption>XTRANORMAL MONTREAL</figcaption></figure>
INRIA GRENOBLE, ANIMA

<figure><img src="image_4.png" /></figure>
ECOLE DES ARTS DÉCORATIFS, SPATIAL MEDIA

<figure><img src="image_5.png" /></figure>
xtra-
normal.

TEXT-TO-MOVIE (2008)

<figure><img src="image_6.png" /></figure>
OPEN KINO AI (2014)

<figure><img src="image_7.png" /></figure>
SPATIAL MOTION DOODLES (2019)

<figure><img src="image_8.png" /><figcaption>* Maxime Garcia. Transfert d'animation : animer des personnages virtuels par le jeu et le mime. Thèse UGA, décembre 2019.</figcaption></figure>
MONTAGE SPATIAL (2022)

RÉMI SAGOT-DUVAUROUX, ENSADLAB

<figure><img src="image_9.png" /></figure>
# LE THÉÂTRE À L'AGE DU MÉTAVERS

* Des dramaturgies numériques à l'informatique théâtrale

* Le métavers et la conquête de l'ubiquité

* Pour un théâtre numérique populaire
# Des dramaturgies numériques
à l'informatique théâtrale
DRAMATURGIES NUMÉRIQUES

<figure><img src="image_10.png" /></figure>

* When a robot writes a play. https://www.theaitre.com, Prague, 2021.
# DRAMATURGIES NUMÉRIQUES

* Certaines dramaturgies numériques actuelles consistent à mettre en scène des textes écrits à l'aide de l'IA.

* L'option inverse, d'un texte dramatique écrit par un auteur humain et mis en scène à l'aide de l'IA, est plus difficile.

* Mais plus intéressante !
# DRAMATURGIES NUMÉRIQUES

* Ce serait une dramaturgie qui peut être jouée par des acteurs virtuels et éclairée par des machines autonomes, qui ouvrirait aux auteurs de théâtre des perspectives nouvelles pour représenter sur scène des mondes intérieurs ou imaginaires.
FABLE STUDIO + THIRD RAIL PROJECTS

<figure><img src="image_11.png" /></figure>

WOLVES
in the
WALLS
<figure><img src="image_12.png" /><figcaption>FABLE STUDIO + THIRD RAIL PROJECTS</figcaption></figure>
DES DRAMATURGIES NUMÉRIQUES A
L'INFORMATIQUE THEATRALE

* Penser les dramaturgies numériques comme tissage algorithmique des actions humaines dans des mondes virtuels spectaculaires.

* C'est une perspective qui demeure lointaine et nécessite des nouvelles recherches en informatique. Il faut aussi que des dramaturges s'emparent de ces nouvelles possibilités.

* D'où la nécessité de créer une nouvelle discipline ...

* ... l'informatique théâtrale.
# 1ÈRES JOURNÉES D'INFORMATIQUE THÉÂTRALE

* Julie Valéro et Rémi Ronfard. Pourquoi l'informatique théâtrale ?

* Performance Lab, Univ. Grenoble Alpes, Février 2020.

* https://inria.hal.science/JIT/ et youtube

<figure><img src="image_13.png" /></figure>
# INFORMATIQUE THÉÂTRALE

* Traduction du terme anglais « computer theater » introduit par Claudio Pinhanez au cours de sa thèse au MIT en 1996.

* Analogie avec les couples « computer music / informatique musicale » et « computer graphics / informatique graphique » qui sont communément admis.
# INFORMATIQUE THÉÂTRALE

* Lorsque l'informatique s'empare de la musique, elle y ajoute de nouveaux instruments (synthétiseurs, séquenceurs) et de nouvelles techniques de composition (aléatoires, algorithmiques) sur la base de la partition musicale traditionnelle.

* L'informatique théâtrale au contraire nécessite l'invention d'une partition scénique sur laquelle on pourra lire et écrire des contenus multi-médias (musique, parole, geste, décor, animation, lumière) générés et synchronisés en temps réel
# LES DÉFIS DE L'INFORMATIQUE THÉÂTRALE

* **Ecriture:** inventer des environnements auteurs permettant la création et la manipulation de données hétérogènes sur une même partition scénique

* **Interactivité:** mettre en œuvre des interfaces multi-sensoriels permettant aux acteurs de théâtre d'interagir avec des contenus multi-média calculés par ordinateur

* **Déploiement:** écrire des programmes qui s'exécutent sur des objets autonomes, contrôlés par la partition scénique et adaptés aux scènes physiques, virtuelles et augmentées.
2ÈMES JOURNÉES D'INFORMATIQUE THÉÂTRALE

• Mireille Losco et Rémi Ronfard.

• ENSATT, Lyon, Octobre 2022.

• https://hal.science/JIT/page/actes-2022
# LA SCÈNE AUGMENTÉE

## 2e Journées d'Informatique Théâtrale - La scène augmentée

* Alexis Paljic : XR et spectacle vivant : un retour d'expérience sur treize projets, de la scénographie à l'accessibilité

* Gwendaline Bacchini (La CRI) : L'Étoile des cimes, expérience chorégraphique et interactive en réalité virtuelle

* Margherita Bergamo Meneghini (Université Paris 8, Université de Bologne) : Eve 3.0 : Habiter les corps à travers la danse contemporains et la réalité virtuelle

* Delphine Jonas (artiste indépendante) : Comment survivre en milieu hostile tempéré : interagir avec un dispositif technique informatique

* Fernanda Areias de Oliveira, Anselmo Paiva, Ronaldy Silva, Victor Rogério (Universidade Federal do Maranhão, Brésil) : Solos Maranhenses : intégration de la numérisation du mouvement dans la recherche-création

Photos : © Emile Zeizig

<figure><img src="image_14.png" /></figure>
# MACHINE THÉATRALE ET ACTEUR VIRTUEL

## 2e Journées d'Informatique Théâtrale - Machine théâtrale et acteur virtuel

* Andrea Giomi (Kokoschka Revival) : Rebel machines/subversives bodies. Approches anti-normatives et postanatomiques dans la scène contemporaine

* Salvatore Anzalone, Filacanapa Giulia et Erica Magris (Université Paris 8 - EUR ArTeC) : RobotAct - Co-créations Humain-Robot : une recherche-création interdisciplinaire entre théâtre et robotique

* Anastasiia Ternova (Université Paris 8) et Geoffrey Gorisse (Arts et Métiers ParisTech) : Experimenting the interaction effect between a physical and a human-controlled virtual actor in theatrical performances

* Rachel Martin (Les ImPoNdErAbLeS) : Kinesphère 8.0, performance

Photos : © Emile Zeizig

<figure><img src="image_15.png" /></figure>
# QUELS LOGICIELS POUR LA CRÉATION THÉÂTRALE?

## 2e Journées d'Informatique Théâtrale - Quels logiciels pour la création théâtrale ?

* Robert Faguy et Keven Dubois (Université Laval) : Penser la lumière-vidéo : cas de figure et outils logiciels adaptés

* Georges Gagneré et Anastasiia Ternova (Université Paris 8) : AKN_REGIE, un plugin Unreal Engine pour la direction d'avatar sur une scène mixte, et son potentiel créatif dans un contexte théâtral

* François Weber (créateur son, ENSATT) : AXOA, outil de spatialisation sonore

* Elodie Hervier (Université Lyon 2) : Analyse de la création avec Ableton Live dans la fiction sonore produite sur scène, à travers l'exemple de Zombie Zombie

Photos : © Emile Zeizig

<figure><img src="image_16.png" /></figure>
# 3ÈMES JOURNÉES D'INFORMATIQUE THÉÂTRALE

* Cyrielle Garson et Rémi Ronfard.

* Univ. Avignon, Octobre 2024.

* Appel à participation à venir !
Le métavers et la conquête de
l'ubiquité
# MISSION EXPLORATOIRE SUR LES MÉTAVERS

## ADRIEN BASDEVANT, CAMILLE FRANÇOIS, RÉMI RONFARD

* Demande de Roselyne Bachelot, ministre de la culture, Bruno Lemaire, ministre de l'économie et Cédric 0, secrétaire d'état chargé de la transition numérique (14 février 2022)

* Rapport remis à Rima Abdul Malak, ministre de la culture, et Jean-Noël Barrot, ministre du numérique (24 octobre 2022).

* https://mission-metavers.fr/
# DE QUOI LE MÉTAVERS EST-IL LE NOM?

<figure><img src="image_17.png" /></figure>
# INTERNET ET WEB

<figure><img src="image_18.png" /></figure>
# JEUX MULTI-JOUEURS EN LIGNE

<figure><img src="image_19.png" /></figure>
MONDES VIRTUELS

1990

<figure><img src="image_20.png" /></figure>

1997

Deuxième Monde, Ultima Online

1999

Linden Lab

2003

Second Life, Toontown

2008
Solipsis

2011

The Sandbox

2015

Altspace VR

2018

Mozilla Hubs

2022

Meta Horizon

2020

Decentraland

2014
VRChat
# RÉALITÉ VIRTUELLE

<figure><img src="image_21.png" /></figure>
BLOCKCHAIN

<figure><img src="image_22.png" /></figure>
## Tentative de définition

« Un métavers est un service en ligne donnant accès à des simulations d'espaces 3D temps réel, partagées et persistantes, dans lesquelles on peut vivre ensemble des expériences immersives. »
Tentative de définition

« On peut y accéder avec ou sans visiocasque et y commercer avec ou sans blockchain »
# QUATRE GRANDES CATÉGORIES

Sans casque

Sans blockchain

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

Virbela

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

avakin life

<figure><img src="image_27.png" /></figure>

HIBERWORLD

ROBLOX

MINECRAFT

<figure><img src="image_28.png" /></figure>

sinespace

ZEPETO

<figure><img src="image_29.png" /></figure>

SECOND LIFE

FORTNITE

<figure><img src="image_30.png" /></figure>

3DEXPERIENCE

<figure><img src="image_31.png" /></figure>

Cluster

<figure><img src="image_32.png" /></figure>

<figure><img src="image_33.png" /></figure>

<figure><img src="image_34.png" /></figure>

AltspaceVR

<figure><img src="image_35.png" /></figure>

hubs by moz://a

<figure><img src="image_36.png" /></figure>

SANSAR

<figure><img src="image_37.png" /></figure>

horizon
Workrooms

<figure><img src="image_38.png" /></figure>

bigscreen

horizon
Worlds

Avec casque

Mona

<figure><img src="image_39.png" /></figure>

Decentraland

the
SANDBOX

<figure><img src="image_40.png" /></figure>

CRYPTOVOXELS

<figure><img src="image_41.png" /></figure>

NEMESIS

<figure><img src="image_42.png" /></figure>

CORE

<figure><img src="image_43.png" /></figure>

Avec blockchain

<figure><img src="image_44.png" /></figure>

SOMNIUM
SPACE

<figure><img src="image_45.png" /></figure>

<figure><img src="image_46.png" /></figure>

Spatial
# 5 GRANDS AXES POUR UNE STRATÉGIE MÉTAVERSIQUE

1. Des questions de sociétés brûlantes

2. Des enjeux et opportunités culturelles

3. Des freins structurels à dépasser

4. Soutenir l'innovation

5. Adapter les cadres de régulation
# DES ENJEUX ET OPPORTUNITÉS CULTURELLES

## De nouveaux media immersifs et créatifs

- Enjeu de **souveraineté culturelle** : protéger l'indépendance de la création française

- Valoriser notre **patrimoine** par des **attelages hybrides** entre structures françaises technologiques et institutions culturelles

- Créer un “institut de recherche et de coordination” pour rapprocher recherche publique et création artistique
# LA CONQUÊTE DE L'UBIQUITÉ

## PAUL VALERY, 1928

<figure><img src="image_47.png" /></figure>
« On saura transporter ou reconstituer en tout lieu le système de sensations que dispense en un lieu quelconque un objet ou un événement quelconque. Les œuvres acquerront une sorte d'ubiquité. »

Paul Valéry
Ubiquité de la musique

« Faire entendre en tout point du globe, dans l'instant même, une œuvre musicale exécutée n'importe où. »

« En tout point du globe, et à tout moment, restituer à volonté une œuvre musicale. »

Paul Valéry
# UBIQUITÉ DU THÉÂTRE ?

* Faire voir en tout point du globe, dans l'instant même, une œuvre théâtrale exécutée n'importe où.

* En tout point du globe, et à tout moment, restituer à volonté une œuvre théâtrale.
LE THÉÂTRE EST UN ART DE L'ESPACE

<figure><img src="image_48.png" /></figure>

<figure><img src="image_49.png" /></figure>

ARUN PRASATH, ROOM SCALE VR EXPLAINED: THE MOST IMPORTANT CONCEPT IN VR
# LE THÉÂTRE EST UN ART DE L'ESPACE

* Les captations vidéo ne sont pas suffisantes

* A l'avenir, elles seront remplacées par

* la capture de mouvement

* la vidéo volumétrique

* la reconstruction 3D à partir de vidéo

* Pour une expérience en réalité virtuelle ou réalité augmentée
PLACEHOLDER

BRENDA LAUREL AND RACHEL STRICKLAND, BANFF CENTRE, 1994

<figure><img src="image_50.png" /></figure>
# VIRTUAL PLAY BY SAMUEL BECKETT (2017)

## V-SENSE LAB, TRINITY COLLEGE, DUBLIN

<figure><img src="image_51.png" /></figure>

1st Prize
New European
Media (NEM)
Art & Design
Award
ACQUA ALTA, ADRIEN M & CLAIRE B, 2019

<figure><img src="image_52.png" /></figure>
# THE SEAGULL ON THE SIMS 4 (2020)

## CELINE SONG, NEW YORK THEATRE WORKSHOP

<figure><img src="image_53.png" /></figure>
THE UNDER PRESENTS: THE TEMPEST (2020)

TENDER CLAWS+PIEHOLE

<figure><img src="image_54.png" /></figure>
Pour un théâtre numérique
populaire
« Nous faire croire que l'on peut avoir accès à l'art par le biais du numérique est un mensonge. Car l'appréhension solitaire d'un spectacle le transforme automatiquement en produit. »

Jean Bellorini s'adresse à vous, TNP Villeurbanne, décembre 2020.
« Pourquoi les films de théâtre ça n'intéresse pas ? Est-ce que c'est une question de prise de vue ? Ou est-ce qu'il y a un a priori comme quoi le théâtre est ennuyeux ? Est-ce qu'on ne pourrait pas inventer ensemble un théâtre numérique populaire? »

Jean-François Peyret, Grenoble, février 2020.
# EN GUISE DE CONCLUSION

* Le théâtre va conquérir une forme d'ubiquité dans le metavers

* Cette reproduction mécanique du théâtre va changer l'art du théâtre, pour le meilleur ou pour le pire

* Le théâtre privé pourra se développer dans les métavers privés

* Le théâtre public aura besoin d'un métavers de service public

* Pour accompagner ces transformations, il sera utile de fédérer les chercheurs et artistes en informatique théâtrale dans un institut de recherche et coordination dédié aux arts immersifs
Merci