# XR et arts numériques : un retour fructueux de l'inter-disciplinarité

Ronan Gaugne, Valérie Gouranton

<figure><img src="image_1.png" /></figure>

## To cite this version:

Ronan Gaugne, Valérie Gouranton. XR et arts numériques: un retour fructueux de l'inter-disciplinarité. Journées d'informatique théâtrale, Oct 2024, Avignon (FR), France. hal-05138524

HAL Id: hal-05138524

https://hal.science/hal-05138524v1

Submitted on 1 Jul 2025

HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d'enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# XR ET ARTS NUMÉRIQUES : UN RETOUR FRUCTUEUX DE L'INTERDISCIPLINARITÉ

Ronan Gaugne

Univ Rennes, Inria, CNRS, IRISA

ronan.gaugne@irisa.fr

Valérie Gouranton

Univ Rennes, INSA Rennes, Inria, CNRS, IRISA

valerie.gouranton@irisa.fr

## RÉSUMÉ

L'univers de la réalité étendue (XR) offre un vaste champ de créativité pour les arts numériques. Réciproquement, la création artistique nourrit de nouvelles problématiques de recherche dans le domaine de la XR, ou ouvre de nouvelles approches pour des problématiques déjà existantes.

Nous présentons le contexte de travaux de recherche menés dans l'équipe de recherche Seamless (ancienne-ment Hybrid), au sein du laboratoire IRISA et du centre Inria de l'Université de Rennes, avec des artistes. Au cours des dix dernières années, plusieurs projets collaboratifs ont été réalisés dans ce contexte, qui ont donné lieu à la fois à des oeuvres artistiques et des résultats de recherche. Nous présentons une sélection de ces projets illustrant la diversité des approches artistiques et des problématiques scientifiques associés.

## 1. INTRODUCTION

L'univers de la réalité étendue (XR) ouvre un champ immense de créativité artistique dans le domaine des arts numériques. Qu'il s'agisse d'expériences en réalité virtuelle ou augmentée, d'installations interactives, ou de performances, les cas d'usages sont infinis. L'utilisation de la XR par et pour la création artistique ouvre par la même occasion un large champs de questions scientifiques qui couvre à la fois la relation entre l'artiste et l'oeuvre et celle entre les spectateurs et l'oeuvre. Ces questions sont souvent abordées sous le prisme de la théorie de la création artistique et cantonnent la XR à un outil technologique utilisable à travers un travail d'ingénierie. Il semble toutefois intéressant d'étudier comment les activités de recherche scientifique menées dans le domaine de la XR peuvent également nourrir la création artistique.

## 2. CONTEXTE DE RECHERCHE

L'IRISA (Institut de Recherche en Informatique et Systèmes Aléatoires) est l'un des plus grands laboratoires de recherche français (+ de 900 personnes) dans le domaine de l'informatique et des nouvelles technologies de l'information. L'IRISA est constitué de neuf établissements tutelles pluridisciplinaires, par ordre alphabétique : CentraleSupélec, CNRS, ENS Rennes, IMT Atlantique, Inria, INSA Rennes, Inserm, Université Bretagne Sud, Université de Rennes.

Structuré en sept départements scientifiques, le laboratoire constitue un pôle de recherche d'excellence avec des priorités scientifiques telles que : la bio-informatique, la sécurité des systèmes, les nouvelles architectures logicielles, la réalité virtuelle, l'analyse des masses de données et l'intelligence artificielle.

Le laboratoire est également structuré par des axes transversaux de recherche qui mettent en évidence et répondent à de grands sujets sociétaux, intrinsèquement porteurs de forts potentiels de valorisation. Ils sont au nombre de sept : Cybersécurité; Intelligence artificielle; Frugalité, green IT; Arts, culture et patrimoine (porté par Valérie Gouranton); Biologie et santé; Environnement, écologie, agri/agro; Territoires intelligents.

Notre équipe de recherche, Seamless (anciennement Hybrid) porte sur les interactions multi-modales 3D avec les Environnements Virtuels. Les problématiques scientifiques portent sur les paradigmes d'interaction adaptés au contenu 3D, la modélisation et simulation d'environnements virtuels complexes ou encore les retours sensoriels immersifs et algorithmes de rendu. La plateforme de recherche Immerstar nous permet d'effectuer nos expérimentations autour de la perception et interactions multi-modales (plateforme Immersia) et du mouvement humain (plateforme Immermove).

Une partie de nos recherches portent sur les nouvelles pratiques et outils pour le patrimoine culturel, les innovations pour la médiation culturelle et la muséographie et la XR pour la création artistique et performance.

## 3. CONTEXTE LOGICIEL

Nous avons également conçu et développé dans l'équipe une suite logicielle Xareus (https://xareus.insarnennes.fr/). Xareus est un ensemble d'outils qui facilite et accélère le développement des applications de XR. Il vise à placer les experts du domaine au centre du processus de développement et à fournir des niveaux d'abstraction plus élevés que le code. Il repose sur des modèles [4, 6].Il est compatible avec n'importe quelle application C# et peut être utilisé en tant que package Unity pour faciliter sa gestion.

Xareus a été utilisé dans de nombreux secteurs, tels que la santé [15], la construction [9], la formation [5], l'éducation [14], l'archéologie [12], l'art numérique, le patri-
moine culturel [1] et le sport [7]. Il est divisé en trois composants principaux : le moteur de scénarios, le moteur de relations et la boîte à outils Xareus.

La scénarisation d'une application signifie que chaque interaction que l'utilisateur peut avoir peut être décrite comme un scénario. Xareus comprend un éditeur graphique de scénarios intégré à Unity. Il permet au developpeur de créer, d'éditer et d'analyser facilement des scénarios non linéaires pour des situations simples ou complexes.

Un scénario peut être orienté vers l'action ou vers l'objectif. Un scénario orienté action contraint chaque action de l'utilisateur qui doit suivre une procédure, mais il n'a pas besoin d'être linéaire. Cela peut être utile pour un tutoriel. Un scénario orienté vers un objectif donne plus de liberté à l'utilisateur, en vérifiant seulement quand quelque chose a été fait, et non comment cela a été fait.

L'objectif du moteur de relations est d'ajouter de la sémantique aux objets grâce à deux concepts : les types et les relations. Un type définit les propriétés d'un objet. Ils sont faciles à ajouter à n'importe quel objet 3D et sont réutilisables. Par exemple, une main peut saisir, elle aura donc le type *Grabber*. De même, un stylo peut être saisie, il aura donc le type *Grabbable*. Une relation définit les interactions entre les types, y compris leurs conditions et les objets qui les portent.

Le moteur de relations peut alors calculer toutes les relations possibles entre les types présents dans une scène ou un ensemble d'objets. Dans notre exemple, le *gabbing* d'un objet serait une relation entre un objet de type *Grabber* et un objet de type *Grabbable*.

La boîte à outils Xareus est une couche supplémentaire conçue pour aider les développeurs à intégrer nos outils dans leur application de XR. Il comprend les éléments suivants : Des poses de mains et une gestion des entrées pour aider à décrire les interactions; Un système de mise en évidence pour indiquer quelles relations sont possibles ou autorisées par le scénario; Un système d'enregistrement; Des humains virtuels qui peuvent suivre un scénario pour collaborer avec l'utilisateur.

## 4. CAS D'ÉTUDES EN ART NUMÉRIQUE

Nous mettons en avant la valeur de la co-création interdisciplinaire entre les domaines de l'informatique et de la création numérique. En tant que chercheurs spécialisés dans la XR, nous proposons des modèles informatiques tels qu'un environnement 3D informé et un modèle de scénarisation graphique. Nous présentons dans la suite de cet article, une sélection de collaborations et créations réalisées durant ces dix dernières années.

Ces collaborations démontrent la synergie des compétences complémentaires et la capacité à concevoir des œuvres offrant un haut niveau d'interaction. Ils illustrent des cas d'usage de la XR dans des contextes d'installations, de performances, et de participation du public (Figure 1). Au cœur de ces cas d'usage se trouve l'expérience utilisateur, qu'il soit du côté de l'expressivité de

<figure><img src="image_3.png" /><figcaption>**Figure 1.** Contextes artistiques et problématiques scientifiques à travers la XR.</figcaption></figure>

<figure><img src="image_4.png" /><figcaption>**Figure 2.** Environnement du projet Previz, répétition en VR, tournage de la scène, compositing final.</figcaption></figure>

l'artiste ou de l'émotion du spectateur. Dans les différents cas d'usages présentés, les problématiques scientifiques liés à la XR sont multiples et portent par exemple sur l'utilisation du mouvement dans la relation à l'art, les interactions, la scénarisation et la narration, l'incarnation dans un avatar, ou encore la collaboration.

### 4.1. Répétitions en réalité virtuelle pour le jeu d'acteur avec effets visuels - Projet Previz

Dans le cadre du projet collaboratif Previz impliquant Technicolor, l'École Louis Lumière, Ubisoft et l'INSA Rennes-IRISA intitulé Previz, nous avons exploré le domaine du cinéma, en particulier celui des films à effets spéciaux (VFX).

Le travail de recherche réalisé dans le projet Previz a porté sur l'utilisation de la réalité virtuelle (RV) pour la répétition par les acteurs de cinéma de scènes améliorées par des effets visuels [3]. Le problème des scènes VFX est que les acteurs doivent être filmés devant des écrans monochromatiques verts ou bleus, sans aucun repère pour le décor numérique qui est censé les entourer. Le problème s'aggrave lorsque la scène comprend une interaction avec des partenaires numériques. Les acteurs doivent faire semblant de partager le plateau avec des créatures imaginaires alors qu'ils sont en fait seuls sur un plateau vide. Pour aider les acteurs dans cette tâche complexe, nous introduisons l'utilisation de la RV pour les répétitions théâtrales, non seulement pour immerger les acteurs dans le décor numérique, mais aussi pour leur fournir des fonctionnalités avancées pour la répétition de leur pièce. En effet, notre approche combine un environnement entièrement interactif avec une fonction de scénario dynamique
<figure><img src="image_5.png" /><figcaption>**Figure 3.** Les 8 périodes musicales présentées dans l'environnement de réalité virtuelle Evoluson.</figcaption></figure>

pour permettre aux acteurs de se familiariser avec les éléments virtuels tout en répétant le dialogue et l'action à leur propre rythme. Les répétitions interactives et créatives rendues possibles par le système peuvent être monovalisateur ou multi-utilisateurs. De plus, grâce à la large gamme de plates-formes prises en charge, les répétitions de RV peuvent avoir lieu en amont ou en aval. Nous avons mené une étude préliminaire pour évaluer si l'entraînement par RV peut remplacer l'entraînement classique. Les résultats montrent que les acteurs formés à la RV fournissent une performance tout aussi bonne que les acteurs formés normalement. De plus, tous les sujets de notre expérience ont préféré l'entraînement par RV à l'entraînement classique.

## 4.2. Evoluson, Un voyage dans l'Histoire de la musique occidentale

Dans le domaine de la musique, en collaboration avec des musicologues de l'Université de Rennes 2, nous avons développé EvoluSon, une expérience visuelle et sonore en réalité virtuelle pour explorer les grandes périodes de l'histoire musicale [8].

Le projet EvoluSon (Fig. 3) propose une expérience immersive où le spectateur explore une représentation visuelle et musicale interactive des principales périodes de l'histoire de la musique occidentale. Le contenu musical est constitué de compositions musicales originales basées sur le thème de l'Art de la Fugue de Bach pour illustrer les huit grandes époques musicales de l'Antiquité à l'époque contemporaine. Le projet EvoluSon contribue à la fois à l'utilisation de la RV pour la représentation de la culture immatérielle et à l'art numérique interactif qui place l'utilisateur au centre de l'expérience. Le projet EvoluSon se concentre sur la musique à travers une présentation de l'histoire de la musique occidentale, et utilise la réalité virtuelle pour valoriser les différents morceaux à travers les âges. L'utilisateur est immergé dans un environnement visuel et sonore cohérent et peut interagir avec les deux modalités.

## 4.3. Potentiel expressif de la capture de mouvement dans la performance musicale Vis Insita

Le projet de performance de musique électronique Vis Insita explore, avec l'artiste Nicolas Bazoge, la conception d'interfaces instrumentales expérimentales basées sur la technologie de capture optique du mouvement avec des

<figure><img src="image_6.png" /><figcaption>**Figure 4.** Installation scénique pour la performance Vis Insita.</figcaption></figure>

<figure><img src="image_7.png" /><figcaption>**Figure 5.** Présentation de la performance Creative Harmony dans la plateforme Immersia. © C. Ablain</figcaption></figure>

marqueurs infrarouges passifs (MoCap), et l'analyse de leur utilisation dans un contexte de présentation scénique réel (Fig. 4). En raison de la prédisposition de la MoCap à capturer les mouvements du corps, beaucoup de recherches et d'applications musicales dans les arts de la scène concernent la danse ou la sonification du geste. Pour notre recherche, nous voulions nous éloigner de la capture du corps humain pour analyser les possibilités d'un objet cinétique manipulé par un interprète [2], à la fois en termes d'expression musicale, mais aussi en termes de communication.

## 4.4. Collaboration dans une œuvre d'art en réalité virtuelle : co-création et relaxation au-delà de la technologie

Ce travail mené avec l'artiste Julien Lomet, associé au compositeur Pierre Huygue et au chorégraphe Johan Juelien, contribue à la conception et à l'étude d'environnements virtuels collaboratifs artistiques à travers la présentation d'une installation d'œuvres d'art numériques immersives et interactives et l'évaluation de l'impact de l'expérience sur l'état émotionnel du visiteur. L'expérience est centrée sur une performance de danse (Fig. 5), im-
<figure><img src="image_8.png" /><figcaption>**Figure 6.** Installation interactive Event by Eleven © N+N Corsino</figcaption></figure>

plique des spectateurs collaboratifs qui s'engagent dans l'expérience par des mouvements du corps entier, et est structurée en trois temps, un temps de relaxation et de découverte de l'univers, un temps de co-création et un temps de contemplation co-active. L'œuvre d'art collaborative « Creative Harmony » a été conçue au sein d'une équipe pluridisciplinaire d'artistes, de chercheurs et d'informationciens issus de différents laboratoires. L'esthétique de l'environnement artistique s'inspire du romantisme allemand du 19ème siècle. Afin de favoriser la coprésence, chaque participant à l'expérience est associé à un avatar qui vise à représenter à la fois son corps et ses mouvements. La musique est une composition originale conçue pour développer une ambiance paisible et méditative dans l'univers de « Creative Harmony » [11]. L'évaluation de l'impact sur l'humeur des visiteurs est basée sur la « Brief Mood Introspection Scale » (BMIS), un outil standard largement utilisé dans le contexte psychologique et médical. Une évaluation de l'expérience par l'analyse des questionnaires remplis par les visiteurs a permis d'observer une augmentation des indicateurs positifs et une diminution des indicateurs négatifs, démontrant les capacités de relaxation de l'environnement virtuel immersif [10].

**4.5. Une chorégraphie interactive : Event by Eleven**

Event by eleven est une navigation chorégraphique créée par les chorégraphes N+N Corsino qui propose une interaction en temps réel avec le public. Onze interprètes, véritables danseurs clonés, déambulent dans un espace abstrait et changeant. Face à un grand écran panoramique, chaque spectateur peut interagir par ses mouvements (Figure 6). La chorégraphie composée par les parcours de ces onze interprètes évolue dans le temps en fonction des choix du public. Les trajectoires des danseurs s'organisent au fil de l'œuvre et déterminent une base aléatoire pour la chorégraphie. Les interactions des spectateurs modifient également l'environnement dans lequel évoluent les danseurs ainsi que les points de vues sur la chorégraphie. Le travail de recherche a porté sur les modes d'interaction proposés au public. Ces modes d'interaction se basent sur 3 types d'actions du public dans 3 zones interactives différentes matérialisées par un éclairage au sol :

1. La posture : l'interaction se base sur la reconnaissance d'une posture statique du spectateur, telle que les deux bras levés, une t-pose, etc.

<figure><img src="image_9.png" /><figcaption>**Figure 7.** Présentation de Remember! à la XR Gallery lors de la conférence IEEE VR [13]</figcaption></figure>

2. Le déplacement : l'interaction se base sur les directions et vitesses de déplacement du spectateur.

3. Le geste : l'interaction se base sur la reconnaissance de gestes du spectateur.

**4.6. La XR comme vecteur de la mémoire : Remember!**

Remember! est un projet en VR autour des souvenirs d'enfance, porté par l'artiste Alma Oskouei [13]. Il est le fruit d'une réflexion sur l'état actuel du monde, marqué par des migrations volontaires et des exils qui nous éloignent de nos racines. Dans cette réalité où l'accès aux lieux, aux saveurs et aux êtres chers est limité, le sentiment d'appartenance se réduit souvent à nos souvenirs, ces fragments mentaux qui nous rappellent nos origines et constituent notre patrimoine immatériel personnel. L'expérience Remember! raconte l'histoire de Lin, un cyborg dont la mémoire s'efface. Pour préserver son passé, Lin se rend dans un « centre de réhabilitation de la mémoire », où des souvenirs d'enfance fragmentés sont injectés dans son esprit. Le spectateur explore six souvenirs d'enfance du monde entier à travers trois scènes interactives minima listes en noir et blanc (Figure 7). Les paysages sonores personnalisés évoluent au fur et à mesure que les spectateurs collectent des « souvenirs », débloquant ainsi de nouveaux motifs sonores. De simples gestes de la main dirigent l'interaction, créant une expérience intime et poétique. Dans la scène finale, les spectateurs peuvent dessiner leurs propres souvenirs dans l'espace virtuel. En dehors du casque, ils sont invités à partager un souvenir d'enfance personnel dans une salle d'enregistrement pour
que d'autres puissent l'entendre, achevant ainsi le voyage
à travers la mémoire, le son et l'art.

5. CONCLUSION

Ces différents travaux illustrent l'apport d'une dé-
marche de recherche scientifique en XR pour l'expression
artistique. Différents contextes artistiques ont été abordés,
la préparation à la performance, la performance, l'instal-
lation interactive, l'expérience du public, qu'elle soit col-
lective ou individuelle. Les résultats obtenus démontrent
l'intérêt de croiser les problématiques de recherche en XR
avec la recherche en création et expression artistique. Les
problématiques scientifiques XR abordées dans ces tra-
vaux sont variées. Elles portent par exemple sur la scénar-
isation et la narration des environnements virtuels, l'uti-
lisation du mouvement pour l'expressivité, l'interaction et
la collaboration, ou encore l'incarnation dans des avatars
numériques. Ces travaux se poursuivent à l'IRISA, notam-
ment dans le cadre de l'axe de recherche transverse Arts,
culture et patrimoine qui propose différentes actions de
synergie entre le monde de la recherche et les artistes, tels
que des résidences, des séminaires, ou des participations
à des festivals d'art.

6. REFERENCES

[1] Jean-Baptiste Barreau, Florian Nouviale, Ronan Gaugne, Yann Bernard, Sylviane Llinares, and Valérie Gouranton. An Immersive Virtual Sailing on the 18 th -Century Ship Le Boullongne. *Presence : Teleoperators and Virtual Environments*, 24(3):201–219, 2015.

[2] Nicolas Bazoge, Ronan Gaugne, Florian Nouviale, Valérie Gouranton, and Bruno Bossis. Expressive potentials of motion capture in the vis insita musical performance. In *NIME 2019-The International Conference on New Interfaces for Musical Expression*, pages 1–5, 2019.

[3] Rozenn Bouville, Valérie Gouranton, and Bruno Arnaldi. Virtual Reality Rehearsals for Acting with Visual Effects. In *Conference on Computer Graphics & Interactive Techniques*, CGI, pages 1–8, Victoria-BC, Canada, 2016.

[4] Rozenn Bouville, Valérie Gouranton, Thomas Boggini, Florian Nouviale, and Bruno Arnaldi. #FIVE : High-Level Components for Developing Collaborative and Interactive Virtual Environments. In *Proceedings of Eighth Workshop on Software Engineering and Architectures for Realtime Interactive Systems (SEARIS 2015)*, conjunction with IEEE Virtual Reality (VR), Arles, France, March 2015.

[5] Marie-Stéphanie Bracq, Estelle Michinov, Marie Le Duff, Bruno Arnaldi, Valérie Gouranton, and Pierre Jannin. Training situational awareness for scrub nurses : Error recognition in a virtual opera-

ting room. *Nurse Education in Practice*, 53:1–10, May 2021.

[6] Guillaume Claude, Valérie Gouranton, and Bruno Arnaldi. Versatile Scenario Guidance for Collaborative Virtual Environments. In *Proceedings of 10th International Conference on Computer Graphics Theory and Applications (GRAPP’15)*, berlin, Germany, March 2015.

[7] Ronan Gaugne, Jean-Baptiste Barreau, Pierre DucMartin, Elen Esnault, and Valérie Gouranton. Sport heritage in VR : Real tennis case study. *Frontiers in Virtual Reality*, 3:1–20, 2022.

[8] Ronan Gaugne, Florian Nouviale, Octavia Rioual, Arnaud Chirat, Kevin Gohon, Vincent Goupil, Martin Toutirais, Bruno Bossis, and Valérie Gouranton. Evoluson : Walking through an interactive history of music. *Presence*, 26(03):281–296, 2018.

[9] Vincent Goupil, Bruno Arnaldi, Ferran Argelaguet, Anne-Solène Michaud, and Valérie Gouranton. Can You Find Your Way ? Comparing Wayfinding Behaviour Between Reality and Virtual Reality. In *ICAT-EGVE 2023 - International Conference on Artificial Reality and Telexistence & Eurographics Symposium on Virtual Environments*, pages 1–10, Dublin, Ireland, December 2023.

[10] Julien Lomet, Ronan Gaugne, and Valérie Gouranton. Could you relax in an artistic co-creative virtual reality experience? In *ICAT-EGVE, joint international conference of the 32nd International Conference on Artificial Reality and Telexistence & the 27th Eurographics Symposium on Virtual Environments.*, pages 1–9, 2022.

[11] Julien Lomet, Ronan Gaugne, Cédric Plessiet, Joël Laurent, and Valérie Gouranton. Collaboration in a virtual reality artwork : the experience of co-presence, co-creation and letting go. In *ACM Digital Library*, Chicago & Virtual, United States, June 2022.

[12] Théophane Nicolas, Ronan Gaugne, Cédric Tavernier, Quentin Petit, Valérie Gouranton, and Bruno Arnaldi. Touching and interacting with inaccessible cultural heritage. *Presence : Teleoperators and Virtual Environments*, 24(3):265–277, 2015.

[13] Alma Oskouei, Ronan Gaugne, and Valérie Gouranton. Remember! vr as a vessel to explore memories. In *XR Gallery, IEEE International Conference on Virtual Reality*, pages 1–2, 2025.

[14] Mathieu Risy, Bruno Arnaldi, and Valérie Gouranton. SAMPO, a Scenario Authoring Model for Virtual Reality with Pedagogical Objectives : An Authoring Perspective. *Communications in Computer and Information Science*, (12):1–16, 2025.

[15] Guillaume Vailland, Louise Devigne, François Pas-teau, Florian Nouviale, Bastien Fraudet, Emilie Le-blong, Marie Babel, and Valérie Gouranton. VR bas-ed Power Wheelchair Simulator : Usability Evalua-
tion through a Clinically Validated Task with Regu-
lar Users. In VR 2021 -Conference on Virtual Reality
and 3D User Interfaces, pages 1–8, Lisbon, Portu-
gal, March 2021. IEEE.