# XR et spectacle vivant : un retour d'expérience sur 13 projets, de la scénographie à l'accessibilité

Alexis Paljic, Olivier Stab, Jonathan Tanant

► To cite this version:

Alexis Paljic, Olivier Stab, Jonathan Tanant. XR et spectacle vivant : un retour d'expérience sur 13 projets, de la scénographie à l'accessibilité. JIT 2022 - Journées d'Informatique Théâtrale 2022, Inria Grenoble Rhône Alpes; ENSATT Lyon; Laboratoire Passages XX-XXI de l'Université Lyon 2, Oct 2022, Lyon, France. hal-04154411

HAL Id: hal-04154411

https://inria.hal.science/hal-04154411

Submitted on 6 Jul 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# XR ET SPECTACLE VIVANT : UN RETOUR D'EXPÉRIENCE SUR 13 PROJETS, DE LA SCÉNOGRAPHIE À L'ACCESSIBILITÉ

Alexis Paljic

Mines Paris, PSL University
alexis.paljic@minesparis.psl.eu

Olivier Stab

Mines Paris, PSL University
olivier.stab@minesparis.psl.eu

Jonathan Tanant

Jon Lab
jonathan.tenant@gmail.com

## RÉSUMÉ

Cet article présente des expériences d'application de la réalité virtuelle et de la réalité augmentée dans des cas d'usage issus du spectacle vivant. Nous décrivons les échanges avec les professionnels de quatre institutions du spectacle vivant : l'Opéra de Paris, le théâtre du Monfort, le Conservatoire National Supérieur de Musique et de Danse de Paris, et l'académie Fratellini. Ces échanges ont donné lieu à l'expression de besoins dont nous proposons une classification, et à une série de projets ayant tous abouti à la conception d'applications interactives 3D temps réel, de formats variés, AR, VR, smartphone, desktop, par les élèves ingénieurs. Nous discutons de la rencontre entre artistes et ingénieurs, et exposons les conclusions informelles sur l'intérêt des approches XR pour le spectacle vivant.

## 1. INTRODUCTION

Les environnements virtuels interactifs en 3D immersive temps réel, ou XR (eXtended Reality, pour VR ou AR) font partie intégrante des processus de conception et d'innovation dans l'industrie mondiale. Les industries grand public, du cinéma, du jeu, de la formation, s'emparent également de ces technologies et les réinventent dans de nouveaux usages et de nouveaux modèles économiques. Pour assurer un usage pertinent de ces technologies les acteurs de ces filières doivent être préparés aux challenges économiques, stratégiques, techniques, perceptifs, de ces nouveaux modes d'immersion et d'interaction avec les contenus numériques. Dans ce contexte, l'école des Mines Paris propose à ses élèves un enseignement baptisé MOVIE (Mondes Virtuels, Enjeux, technologies et société) destiné à former les étudiants à concevoir et évaluer des applications 3D interactives sur des cas d'usage concrets issus du monde socio-économique. Cet article présente une série de projets de XR réalisés par des groupes d'étudiants de l'école des Mines Paris entre septembre et novembre 2021, appliqués au domaine du spectacle vivant, en partenariat avec l'Opéra de Paris, le théâtre Le Monfort, le Conservatoire National Supérieur de Musique et de Danse de Paris, l'académie Fratellini. Nous y présentons succinctement les objectifs de

l'enseignement, puis les projets organisés par thématiques, et proposons un retour d'expérience sur les approches proposées. La démarche de formation et de conception des outils dédiés au monde du spectacle est discutée au regard de l'enjeu d'apporter des solutions aux différents métiers.

## 2. ENSEIGNEMENT DE LA XR

Le développement d'applications XR fait appel à des compétences et des disciplines très variées et l'enseignement MOVIE à Mines Paris, qui est le contexte de cet article, ainsi que l'organisation des projets reflètent cet aspect pluridisciplinaire. L'enseignement pratique s'organise autour de 4 thématiques.

* la création des environnements 3D (infographie, modélisation 3D, photogrammétrie, texturation, éclairage) avec l'outil Blender [1].

* l'utilisation d'un moteur de jeu et la programmation (gestion d'un arbre de scène, programmation C# orientée objet, bonnes pratiques) dans la plateforme pour la création de contenu temps réel : Unity3D [2].

* La conception des interactions (principes de l'interaction 3D, game design)

* L'évaluation des applications (mise en place d'expériences utilisateurs, plans d'expériences, statistiques)

Des cours plus théoriques sont prodigués sur la modélisation géométrique, l'éthique, la cognition humaine, l'économie des jeux vidéos et des nouveaux media XR, ainsi qu'une série d'interventions d'acteurs opérationnels (du monde du jeu vidéo, du spectacle ou de la diffusion audiovisuelle), tous clients des outils XR. Après ces cours répartis sur 2 semaines, les élèves entament 8 semaines de projet, à 3 jours pleins par semaine. Ils ont pour instruction principale de suivre les étapes suivantes. D'abord, spécifier des besoins avec les acteurs du domaine applicatif. Ils doivent ensuite définir un *Minimum Viable Product* c'est-à-dire les fonctions absolument nécessaires de l'application, ce qui leur
permet de prioriser et délimiter dans le temps les phases de développement. Enfin, ils doivent déployer une démarche d'évaluation en menant une étude utilisateur explorant quelques hypothèses sur les usages de leur application.

## 3. LES PROJETS

Les projets décrits dans cette section sont nés d'ateliers informels avec différents acteurs du monde du spectacle menés dans leurs locaux entre juin et septembre 2021. Nous, enseignants et élèves, avons rencontré des artistes, des gestionnaires de salles de spectacle et des techniciens de la scène. A l'issue de ces ateliers, 4 grandes thématiques sont ressorties : la sensibilisation du public, la conception des spectacles, l'aide aux artistes, l'accessibilité à tous les publics.

### 3.1. Sensibilisation du public

L'Opéra de Paris et le théâtre du Monfort ont exprimé le souhait d'inscrire le spectacle vivant dans la modernité technologique et attirer le jeune public qui y est sensible. Nous présentons dans ce paragraphe les projets ayant ces objectifs.

Prolongement d'une ambiance théâtrale sur un jeu 3D. Le Théâtre du Monfort et la troupe de la Comète ont proposé un projet de jeu vidéo sur smartphone pour faire la promotion de leur spectacle Georges sauve le Monde et attirer le jeune public. Le FPS, pour First Person Shooter conçu par les ingénieurs, a été réalisé à partir des décors et des costumes du spectacle en utilisant des techniques de photogrammétrie [3] et le moteur de jeu Unity [2]. La responsable des relations avec le public indique que "Cette déclinaison ludique s'offre comme un support original de communication et de médiation et permet également de prolonger l'expérience du spectacle." [4].

<figure><img src="image_2.png" /><figcaption>**Figure 1.** Capture d'écran du jeu, qui reprend les décors et certains personnages de la pièce.</figcaption></figure>

Les escape games en VR. D'autres projets de jeux, en VR cette fois-ci, ont été réalisés à la demande du Monfort et de l'Opéra de Paris. Quatre escape game (EG) ont été développés. Le premier se déroule dans les locaux du théâtre Monfort; on se déplace sur la scène mais aussi dans les loges, la régie et au-dessus des

spectateurs, sur les passerelles suspendues d'accès aux éclairages. Le parcours sert à découvrir l'histoire du théâtre, de sa fondatrice (Silvia Monfort), l'histoire du bâtiment et celle de son architecte. Deux escape game autour de l'opéra de Rusalka proposent de résoudre des énigmes pour sauver la petite sirène dans des ambiances slave (en référence à Dvorak) ou aquatique. Dans le dernier jeu vidéo, le joueur interagit avec des danseuses et danseurs dans l'espace du foyer de l'opéra Garnier pour faire défiler les 4 saisons de Vivaldi.

<figure><img src="image_3.png" /><figcaption>**Figure 2.** Reconstruction photogrammétrique des loges du théâtre du Monfort.</figcaption></figure>

Les réalisations des élèves ont été techniquement abouties. Elles reposent sur des technologies accessibles et efficaces qui ont permis de modéliser rapidement les décors : par photogrammétrie ou à l'aide de modeleurs 3D (comme Blender [1]) ou par l'utilisation de catalogues d'objets (Unity Asset store [2]) ou de personnages animés (Mixamo [5]). Là encore, Unity a permis d'implémenter le jeu et son gameplay avec une iconographie et des média intégrés dans un espace que les usagers explorent en VR à l'échelle 1.

Notons cependant, que dans la plupart des cas, la photogrammétrie et la lasergrammétrie restent des approches qui nécessitent un appareillage spécialisé<fnref n="1" />, et l'assistance, voire l'intervention d'un ou des spécialiste(s) en acquisition sur le terrain ainsi qu'en traitement 3D. Les élèves y ont eu accès, et ont, pour la partie photogrammétrie, directement participé aux prises de vue et aux traitements.

Nos partenaires ont apprécié les réalisations. Des études à grande échelle et sur le temps long sont cependant nécessaires pour connaître l'impact de ces applications auprès du grand public. Pour cela il faut assurer un déploiement physique dans les lieux de spectacle et sur les plateformes de distribution d'applications smartphone et XR.

<footnote n="1">¹ Le matériel suivant a été utilisé : appareils photos numériques hybrides pour la photogrammétrie, scanner laser FARO Focus3D X 330 pour la lasergrammétrie et caméras de profondeur Kinect Azure et Intel realsense D455 pour les captures de vidéos RGBD.</footnote>
<figure><img src="image_4.png" /><figcaption>**Figure 3.** Nuage de points avant colorisation de la salle du grand foyer de l'Opéra Garnier.</figcaption></figure>

Vocabulaire du breakdance - application 3D classique.

Ce projet propose un catalogue montrant les différents contextes associés au breakdance et les différents mouvements de danse utilisés. L'application est conçue pour permettre à l'utilisateur de visualiser, en tant que spectateur, des animations 3D de personnages effectuant ces mouvements et d'en apprendre plus sur l'univers du breakdance à travers des informations contextuelles.

## 3.2. Les projets de conception de spectacle en XR

Deux projets dans cette thématique ont été réalisés par les élèves : la première pour le placement de décors de théâtre en partenariat avec le Monfort et la seconde pour la conception d'espaces sonores spatialisés pour le CNSMDP. Il s'agit dans les 2 cas, d'applications en VR avec un visiocasque en interface.

**VR et Scénographie virtuelle.** Les artistes et le théâtre remontent la difficulté de réaliser la scénographie d'une pièce sans avoir accès au théâtre en amont de la représentation. En effet, le placement des décors et la disposition spatiale et temporelle des évènements sur la scène sont réalisés a priori, sans avoir de compréhension précise ni de l'espace disponible, ni de la visibilité pour le public (les scénaristes parlent de relation salle - scène). Ce projet s'est appelé *théâtre coquille vide* en référence au fait que l'application présente un théâtre vide que le scénariste va virtuellement peupler de décors.

<figure><img src="image_5.png" /><figcaption>**Figure 4.** Projet *Théâtre coquille vide*. Interface de scénographie virtuelle pour le théâtre du Monfort.</figcaption></figure>

L'utilisateur explore dans un catalogue d'objets et place dans la scène les éléments de décor et l'éclairage.

<figure><img src="image_6.png" /><figcaption>**Figure 5.** Projet *Théâtre Coquille vide*. Une fois les éléments de décor virtuels placés, on peut évaluer la scénographie en VR depuis n'importe quel point de vue, spectateur, acteur ou régie.</figcaption></figure>

**VR et animation 3D de sources sonores.** Le CNSMDP a installé un dôme immersif de 40 enceintes permettant une spatialisation ambisonique. Ce système permet d'une part de spatialiser le son, c'est à dire de faire entendre une scène sonore avec différentes sources réparties dans l'espace, et d'autre part permet de rendre une acoustique différente de celle de la pièce : on peut y jouer d'un instrument et avoir des réverbérations caractéristiques d'une cathédrale ou d'une salle de cinéma. Un des usages de ce système est l'enseignement du métier d'ingénieur du son, et en particulier le travail de mixage et de création de scènes sonores pour les nouveaux modes de diffusion spatialisés. Le placement des sources sonores se fait actuellement sur une station de travail, avec clavier et souris, avec une interface visuelle 2D, ce qui rend difficile le placement spatial de ces sources sonores. De plus, il existe un besoin supplémentaire, celui de décrire des trajectoires de sources sonores. Dans ce contexte, le conservatoire a souhaité explorer la réalité virtuelle comme moyen de dessiner une scène sonore (sources spatialisées et leur mouvements dans l'espace). Les élèves ont réalisé un système complet, interfacé aux tables de mixage de la salle, permettant de placer spatialement les sources, et leur attribuer des déplacements spatiaux.
<figure><img src="image_7.png" /><figcaption>**Figure 6.** Interface VR de placement de sources sonores. La VR permet de s'affranchir des limites de l'actuelle interface 2D (tablette ou écran, vue du dessus)</figcaption></figure>

Les 2 applications ciblent des artistes professionnels (scénographes et ingénieurs du son) et offrent, grâce à la VR, une réelle plus value pour apprécier l'espace visuel et sonore à la fois. La VR offre à l'artiste concepteur (scénographe, ...) comme à son commanditaire (metteur en scène, ...) des solutions d'immersion très efficaces et d'une grande finesse d'appréciation.

Plus que pour d'autres types de projets : Une des difficultés rencontrée et qui est inhérente au format même du contexte pédagogique (8 semaines de projet à 3 jours complets par semaine), résulte du nombre limité d'échanges entre les élèves et les artistes. En effet, des spécifications précises concernant les fonctionnalités et l'ergonomie de la maquette mériteraient plus d'échanges pour obtenir un résultat plus proche des détails des besoins.

## 3.3. Aide aux artistes et leurs élèves

Les quatre projets réunis dans cette catégorie s'adressent directement aux artistes et à leurs élèves.

### Projet VR Sound2vision

Ce premier projet reprend la plateforme de spatialisation sonore à 40 haut-parleurs du CNSMDP décrite plus haut. L'usage pour les artistes est de répéter leur instrument dans cette plateforme, celle-ci leur permettant d'avoir la sensation auditive de jouer dans des lieux de concert dont l'acoustique est différente de celle de la pièce physique (on peut y simuler des acoustiques et de réverbérations diverses : cathédrale, petite salle de concert). La force de ce système est d'augmenter le son émis par l'instrument en y ajoutant en temps réel les caractéristiques sonores spécifiques du lieu simulé. Ainsi, les artistes se préparent aux sensations d'interprétation dans différents lieux de concert. Les modèles acoustiques sont modulables et

peuvent prendre en compte une architecture spécifique, correspondant à un bâtiment existant. Cependant, une remarque des usagers est la dissonance perceptive entre l'acoustique perçue qui peut suggérer un espace énorme et l'apparence visuelle de la salle (qui est une pièce de 6mx5m). Pour éviter cette incongruence visuo-acoustique, l'idée du projet est de chercher à améliorer le confort du musicien en le plongeant visuellement dans une salle virtuelle (via un casque) qui correspond à l'acoustique programmée dans le studio du CNSMDP. Outre la question ouverte du confort apporté, se posent des questions pratiques : l'usage de la XR (AR ou VR) impacte la visibilité pour l'artiste de son instrument, de ses mains, ainsi que les autres instrumentistes. Les étudiants ont effectué des tests informels pour interagir avec les partitions en réalité virtuelle (choisir la taille des partitions virtuelles et l'interface pour tourner les pages), les musiciens ont pu les lire et jouer de leur instrument tout en étant immergé en VR.

<figure><img src="image_8.png" /><figcaption>**Figure 7.** Projet Sound2vision. Immersion en VR dans un environnement visuel cohérent avec l'acoustique et la réverbération simulée dans la salle ambisonique du CNSMDP.</figcaption></figure>

### Projet VR et jonglage

Ce second projet s'adresse aux amateurs et aux professionnels qui veulent s'entraîner à jongler virtuellement. L'application réalisée propose une progression intéressante où les lois de la gravité peuvent être modifiées. Elle enregistre la progression et stimule l'apprenti. Différents supports pédagogiques ont été imaginés par les élèves : observation d'un avatar réalisant les figures, modification de la gravité virtuelle pour faciliter l'apprentissage, gamification.
<figure><img src="image_9.png" /><figcaption>**Figure 8.** Projet VR et jonglage.</figcaption></figure>

### Projet VR Jam

Le troisième projet s'adresse au besoin de faciliter les cours de musique à distance. Connecter l'apprenant et le professeur par la vidéoconférence les prive de beaucoup d'aspects gestuels et tactiles liés à l'interaction avec l'instrument et la posture corporelle. De nombreux instrumentistes ont observé que la visioconférence simple ne permettait pas une communication optimale entre le professeur et l'élève. L'utilisation de la VR dans les cours pourrait améliorer la transmission du langage non verbal entre les deux pianistes, la visualisation précise des mains de l'autre et la sensation de coprésence entre eux. Les élèves ont développé une application permettant à un élève et un professeur, distants, de visualiser un piano virtuel commun, sur lequel des avatars des mains des deux protagonistes sont visibles. Chacun est assis devant un piano réel, chaque casque capture les mouvements les mains et les envoie à l'autre. Ainsi, si le professeur veut montrer un mouvement, l'élève peut le voir à l'échelle 1 en superposition de son propre piano physique. En retour, le professeur peut observer le jeu de l'élève. Dans le prototype, les pianos physiques sont connectés en réseau et sont dotés du système électromécanique Disklavier. Ainsi, les notes jouées physiquement sur un piano sont immédiatement reproduites sur l'autre.

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /><figcaption>**Figure 8.** Projet VR Jam, cours de piano à distance en VR. Procédure de calibration piano réel / piano virtuel</figcaption></figure>

### Apprentissage du breakdance

Le quatrième projet propose un professeur virtuel pour apprendre le Breakdance. La captation des mouvements de l'élève sont superposés en temps réel à ceux du professeur qui ont été enregistrés au préalable, permettant ainsi à l'élève d'apprécier son résultat.

La VR est indispensable pour les 3 premiers projets et la motion capture dans les 2 derniers. Un usage plus large de la motion capture avait été envisagé initialement mais la précision des résultats obtenus n'ont pas toujours été au rendez-vous. En effet, le niveau d'exigence est fort : le confort des artistes comme celui de leurs élèves doit être maximum, entre autres la synchronisation entre la vue, le son et le mouvement doit être parfaite. Là encore les échanges entre les élèves et les artistes sont restés limités et les réalisations n'ont pas pu aboutir à de vrais POC (*Proof Of Concept*).

## 3.4. Accessibilité

Plusieurs théâtres, dont le théâtre Monfort, en partenariat avec l'association Accès Culture [7], mettent en place des services d'accessibilité au spectacle vivant pour les personnes malvoyantes ou malentendantes.

Le projet des élèves s'adresse ici aux personnes sourdes ou malentendantes qui comprennent la langue des signes française (LSF). L'idée est de proposer un interprète de LSF dont la prestation (pré-enregistré) s'affiche en incrustation dans un casque de réalité augmentée à proximité du personnage sur la scène et suit ses déplacements.

Le projet, ambitieux, a très vite rencontré un obstacle tout à fait inattendu dans la réticence à s'impliquer des interprètes professionnels du LSF. Nos interlocuteurs ont émis la crainte que cette technologie puisse nuire à leur profession. Une discussion plus approfondie avec eux est donc nécessaire pour évaluer les risques et avantages, et sort de la portée de cet enseignement.
Un contre-exemple qui montre que la technologie peut aussi susciter la méfiance, à raison ou à tort, ce qui renforce la nécessité du dialogue inter métiers.

## 4. DISCUSSION

Du point de vue des Mines Paris, le premier objectif est bien entendu pédagogique. Les élèves ingénieurs doivent développer leurs aptitudes à travers la spécification, la réalisation et l'évaluation d'un projet novateur. Dans le cadre de MOVIE, il s'agit d'une application 3D interactive sur des cas d'usage concrets issus du monde socio-économique. Le monde du spectacle vivant s'avère assez nouveau et stimulant pour des élèves ingénieurs. La qualité des réalisations et le retour direct des élèves montrent que l'objectif pédagogique de l'enseignement a été atteint.

### Comparaison des projets

La réalisation d'un nombre conséquent (13) de projets dans un contexte identique, est une opportunité qui nous invite à faire quelques comparaisons afin de tirer des enseignements sans pour autant en faire des généralités. Dans cette section nous discuterons donc des projets par catégorie : de la qualité des réalisations, de leur accueil par nos partenaires et le public ciblé, des difficultés rencontrées par les élèves, ainsi que des technologies utilisées et l'apport réel de la VR.

Les projets de sensibilisation du grand public s'apparentent à des mini-jeux vidéo (FPS, EG). Ils ont abouti à des réalisations bien finalisées qui ont été très appréciées par nos partenaires. Nous avons identifié 2 raisons principales à ces succès. Les élèves qui ont réalisé ces projets connaissent bien les jeux vidéo, leurs codes et les pratiquent souvent pour certains. Ils ont donc pu tester eux mêmes leurs réalisations et adapter leurs projets jusqu'à un niveau élevé de finition. Les projets de cette catégorie s'appuient sur des technologies efficaces, relativement simples et surtout rapides à mettre en œuvre (photogrammétrie, moteur de jeu vidéo (Unity [2]) modélisation 3D (Blender [1])). Pour ces projets, la VR n'est pas toujours un plus, et son rôle relève plus de la volonté de communication de nos partenaires.

Les projets de conception de spectacle en XR sont prometteurs, et semblent avoir un fort potentiel [8]. Si les élèves n'ont pas rencontré de grandes difficultés techniques, les réalisations sont tout de même moins abouties, probablement à cause d'un problème de temps. En effet, ces projets sont peut-être plus ambitieux à la base, mais surtout, ils nécessitent de nombreux échanges avec les artistes qui seront les futurs utilisateurs, pour proposer des interfaces pertinentes. Ces échanges, pour les spécifications des fonctionnalités et de l'interface sont restés très limités dans le contexte d'un projet de 8 semaines. Dans cette catégorie de projets, la VR apporte réellement un plus dans la perception visuelle et sonore de l'espace.

Dans la catégorie des outils VR d'aide aux artistes, les projets sont plus diversifiés, mais ils ont en commun de s'adresser à un public dont le niveau d'exigence est très élevé (rendu visuel, synchronisation). De même, les problèmes technologiques rencontrés sont plus variés (VR, motion capture, synchronisation, passthrough). Mais, ni les problèmes technologiques, ni le manque d'échanges avec les artistes, n'ont empêché certains projets d'être fonctionnels et plutôt réussis même si l'on ne peut pas encore parler de POC. Dans cette catégorie la VR est à la base de presque tous les projets (à l'exception du projet de Breakdance).

Le seul projet d'assistance aux spectateurs a rencontré une difficulté inattendue dans la réticence à accepter d'emblée une solution technologique pouvant remettre en question une organisation existante. La réalisation et son évaluation sont donc restées limitées. Mais ce projet a permis de soulever des questions importantes quant à l'apport réel de la RA pour la cible identifiée.

### Bilan sur la complexité et la maturité des technologies utilisées.

Ces projets nous permettent aussi de faire un bilan sur l'accessibilité (apprentissage et matériel) des technologies utilisées.

La photogrammétrie (avec l'ajout de la lasergrammétrie) a été utilisée de façon intensive pour de nombreux projets (salles, décors, costumes) et les résultats obtenus ont été tout à fait acceptables. Si les élèves, après une formation rapide, ont obtenus de bons résultats avec des appareils photo moyen et haut de gamme, dans le cas de modèles étendus et complexes comme la salle du Théâtre Monfort et surtout le Grand Foyer du Palais Garnier, l'utilisation de matériel professionnel (scanner laser) et l'assistance de professionnels se sont avérées très utiles voir nécessaire, ces approches comprenant une certaine complexité tant au niveau du traitement (non entièrement automatisé) qu'au niveau du volume de données traitées. De même pour la réduction de la taille des modèles, car les modèles doivent être simplifiés pour des raisons de performances d'affichage sur les appareils utilisés (casques VR autonomes).

Le video passthrough est une technologie pour faire de la RA sur un casque de VR standard, en filmant la scène à partir de caméras intégrées au casque et en affichant l'image filmée mélangée à du rendu 3D dans le casque. Elle a été utilisée dans "accessibilité" et aurait pu l'être dans Sound2vision. Cette technologie est encore peu mature et d'une version du logiciel à l'autre pouvait se mettre à ne plus fonctionner et a nécessité une assistance particulière. Cependant, le potentiel est réel.

Des techniques de capture volumétrique et de "motion capture" ont été expérimentées dans quelques projets, en utilisant des caméras de profondeur telles que les Kinect Azure et les Intel Realsense, permettant de générer des nuages de points colorisés. La technologie est délicate et l'assistance de professionnels s'est avérée indispensable. Malgré cela, les enregistrements obtenus des
mouvements du danseur de Breakdance n'ont pas atteint la qualité suffisante pour une utilisation en rendu direct. Et l'extraction du squelette à partir des vidéos s'est avérée inefficace quand le danseur est au sol car les algorithmes de détection sont en général conçus et configurés pour des postures plus classiques (debout, assis...).

La plateforme de développement en temps réel Unity a été utilisée par tous les élèves pour construire leurs applications et générer les exécutables en VR. La plateforme a véritablement été au cœur de chaque projet!

Les élèves motivés, avec quelques connaissances préalables en programmation et après 3 jours de travaux pratiques en Unity et en langage C#, ont été capables de mener à bien les développements nécessaires. Ils se sont aussi appuyés sur la communauté et les nombreuses ressources en ligne (exemples, code, tutoriel, FAQ...). La structuration des développements, comme sur tout projet d'ingénierie logicielle, s'est montrée complexe. Construire une application interactive demande des choix de design et de méthodologie assez dimensionnants.

Le travail à plusieurs en équipe pluridisciplinaire demande aussi d'utiliser des outils de travail collaboratifs tels que GIT ou à minima à des méthodologies moins structurées telles que le simple échange de fichiers.

En guise de conclusion, disons que les technologies utilisées deviennent aujourd'hui assez accessibles pour permettre à des élèves ingénieur de se former et de réaliser des projets de VR (assez aboutis) en 10 semaines seulement.

## Bilan sur des partenariats enrichissants.

Les partenariats sont nés à l'initiative des Mines Paris mais très vite nos interlocuteurs ont été proactifs et leur engagement exemplaire. De simples conventions définissent le cadre des échanges. Les investissements sont raisonnables, ils se limitent au temps passé aux discussions, à la mise à disposition des locaux à modéliser, aux prestations des artistes à enregistrer...

Nos partenaires ont fait preuve d'une grande disponibilité, en revanche, celle de la plupart des artistes a été beaucoup plus limitée. Cette contrainte semble inhérente au milieu du spectacle vivant où les engagements (représentations) rendent les agendas difficilement modulables. Elle a pour conséquence de limiter les échanges des élèves avec les artistes dans le contexte d'un projet très limité dans le temps (sur 8 semaines seulement). Les projets qui demandent le plus d'échanges sont donc un peu pénalisés.

Les projets des élèves ont été présentés, les plus aboutis dans les locaux même du Théâtre Monfort. Le matériel a été mis en prêt, permettant des démonstrations

ultérieures, mais aussi une prise en main de la part des artistes et du personnel du lieu.

Ce schéma de partenariat est simple et semble tout à fait transposable à d'autres écoles d'ingénieurs avec d'autres organismes du spectacle vivant.

Ces partenariats ont été très positifs pour l'enseignement, enrichissant pour les élèves et ressourçant pour les enseignants comme nous l'avons déjà évoqué en début de cette section, mais aussi bénéfique aux organismes du spectacle vivant. En effet, d'après nous, ces derniers ont pu ainsi investiguer l'apport des nouvelles technologies et leurs maturités, et cela dans une démarche qui est restée assez créative. Les réalisations peuvent être directement exploitées en grandeur nature (exemple du jeu vidéo "Flashman sauve le Monde"), mais permettent aussi de tester la faisabilité, d'affiner ou même de spécifier des projets, dont la réalisation pourra être ensuite sous traitée à des professionnels du domaine (c'est la démarche de l'Opéra de Paris). Chloé Bourret responsable des relations avec les publics au Monfort Théâtre écrit : "On a découvert un tel champ des possibles que maintenant on voudrait aller plus loin, pérenniser l'expérience." [6].

## Autonomie des métiers sur la conception de tels environnements.

Si l'interaction entre ingénieurs et artistes a été fructueuse dans notre expérience, son occurrence reste trop rare dans le milieu du spectacle vivant, en tout cas dépendante d'opportunités comme un projet de recherche partenarial ou d'un enseignement. Un moyen de multiplier les initiatives et explorer de nouveaux usages serait de rendre les métiers du spectacle autonomes dans la conception d'applications 3D temps réel en leur fournissant des outils accessibles. C'est encore l'affaire de spécialistes, et créer des outils très accessibles au grand public est une tâche complexe. On oppose souvent à ce besoin la petitesse de ce marché au regard de l'investissement pour les acteurs du logiciel en développement d'outils dédiés aux non spécialistes. On peut arguer que les nouvelles formes de spectacle ou d'événements artistiques faisant appel aux technologies XR vont se développer exponentiellement et qu'il y aura une demande de logiciels adaptés.

# 5. CONCLUSION

Nous tirons, après ces projets, des conclusions essentiellement sur trois aspects. D'abord en ce qui concerne l'impact sur les publics à long terme, tous ces prototypes appellent des études impliquant un déploiement large dans les lieux de spectacle, ou sur les plateformes de distribution logicielles, au contact du public, et sur la durée, pour en apprécier l'adoption ou non et les effets sur la fréquentation ou l'apprentissage. Ensuite, nous observons que pour répondre à des nouvelles problématiques du point de vue des acteurs du spectacle, un levier fort serait de les mettre en capacité
de développer eux mêmes de façon agile des prototypes. Par ces projets, nous avons observé que la prise en main par les professionnels du spectacle des outils de conception d'applications XR est encore loin de leur portée. En ce sens, les projets de recherche collaborative dans ce domaine se doivent de comporter des actions de formation de ces publics, intention qui se retrouve dans les appels à projets culturels et à laquelle la communauté scientifique est particulièrement sensible. Enfin, le volet pédagogique auprès des élèves ingénieurs est un franc succès car ces projets sont un support motivant, appliqué, et suscitent des réponses enthousiastes tant du côté des artistes que des étudiants.

# 6. REMERCIEMENTS

Nous remercions toutes les personnes qui ont activement participé à ces projets à l'Opéra National, au Conservatoire National Supérieur de Musique et de Danse de Paris, au Théâtre du Monfort, à l'Académie Fratellini ainsi que les intervenants spécialistes des domaines enseignés.

# 7. RÉFÉRENCES

[1] https://www.blender.org/

[2] https://unity.com

[3] https://youtu.be/94ZZRlRku54

[4] https://www.artcena.fr/actualites/vie-professionnelle/un-partenariat-entre-le-monfort-et-lecoledes-mines-autour-de-la

[5] https://www.mixamo.com

[6] Douillet, L. "La VR sur les planches : "L'idée n'est pas de sauver le théâtre en tant qu'art mais de sauver la venue au théâtre"", Usbek & Rica, 16 décembre 2021 - https://usbeketrica.com/fr/article/la-vr-sur-les-planches-l-idee-n-est-pas-de-sauver-le-theatre-en-tant-qu-art-mais-de-sauver-la-venue-au-theatre

[7] https://accesculture.org/

[8] Borne, O. "Réalité virtuelle et scénographie : simplifier la mise en œuvre et le partage", Journées d'Informatique Théâtrale, Février 2020 Grenoble, France. https://hal.archives-ouvertes.fr/hal-03419983