Mises en scène spectaculaires et interactives de
l' avatar. Deux approches en recherche- création
utilisant des technologies de prévisualisation en
temps réel

Cédric Plessiet et Georges Gagneré

<figure><img src="image_1.png" /></figure>

OpenEdition
Journals

Édition électronique

URL : https://journals.openedition.org/hybrid/2913

DOI : 10.4000/hybrid.2913

ISSN : 2276-3538

Traduction(s) :

Spectacular and interactive avatar staging: two research-creation strategies involving real-time pre-
visualization tools - URL : https://journals.openedition.org/hybrid/2944 [en]

Éditeur

Presses universitaires de Vincennes

Référence électronique

Cédric Plessiet et Georges Gagneré, « Mises en scène spectaculaires et interactives de l' avatar. Deux approches en recherche- création utilisant des technologies de prévisualisation en temps réel », *Hybrid* [En ligne], 9 | 2022, mis en ligne le 30 novembre 2022, consulté le 26 septembre 2023. URL : http://journals.openedition.org/hybrid/2913 ; DOI : https://doi.org/10.4000/hybrid.2913

Ce document a été généré automatiquement le 26 septembre 2023.

<figure><img src="image_2.png" /></figure>

Creative Commons - Attribution - Partage dans les Mêmes Conditions 4.0 International - CC BY-SA 4.0
https://creativecommons.org/licenses/by-sa/4.0/
Mises en scène spectaculaires et
interactives de l' avatar. Deux
approches en recherche-création
utilisant des technologies de
prévisualisation en temps réel

Cédric Plessiet et Georges Gagneré

1 La notion d' avatar se trouve au cœur des travaux artistiques et des recherches de Georges Gagneré et Cédric Plessiet, deux artistes-chercheurs membres de l'équipe pédagogique Arts et technologies de l'image et de l'équipe Image numérique et réalité virtuelle du laboratoire Arts des images et art contemporain de l'université Paris 8. Le premier explore la question de l' avatar comme partenaire de jeu de l' acteur physique sur une scène théâtrale mixte hybridant réel et virtuel. Le second développe une réflexion sur les processus de dédoublement numérique réaliste de l' acteur, ou du modèle physique dans le domaine de l' installation interactive. Leur collaboration a démarré en 2014 (Gagneré & Plessiet, 2015) et a permis un croisement fructueux de leurs explorations, entre autres sur les questions de recherche suivantes : comment utiliser des avatars qui puissent exister artistiquement en vue d'inventer de nouvelles dramaturgies en interaction avec des spectateurs ? Comment mobiliser les outils numériques du cinéma d'animation et du jeu vidéo orientés vers le rendu en temps réel pour créer leurs avatars (Gagneré & Plessiet, 2022) ?

2 En positionnant notre recherche à la fois dans le domaine du cinéma d'animation, du jeu vidéo, des arts plastiques et du spectacle vivant, nous avons constaté une prolifération des définitions et des usages de la notion d'avatar. Il s'avère par ailleurs que cette notion est aussi fortement utilisée dans des domaines scientifiques de plus en plus nombreux, entre autres les sciences informatiques traitant du langage, des agents conversationnels, de la cognition ou encore du rendu graphique. Cela nous a conduits à définir cette notion protéiforme, et à en décrire l'usage que nous en faisons, à partir des
outils informatiques concrets que nous mettons en œuvre dans nos recherches-
créations. Les évolutions actuelles font que nous assistons à un changement de
paradigme autour de ces logiciels, lié au développement de méthodes de rendu
graphique en temps réel de plus en plus qualitatives. Cette évolution s'avère d'ailleurs
centrale dans notre pratique artistique qui vise à faire interagir les avatars virtuels
avec le monde réel.

3 Nous introduirons donc tout d'abord les enjeux de temps réel par le contexte de la prévisualisation *in situ* qui caractérise nos travaux, puis nous définirons nos avatars et leurs comportements. Nous avons ensuite choisi de présenter deux recherches-créations que nous avons menées séparément et parallèlement : une série de portraits interactifs *Les Double-autres*¹ de Cédric Plessiet et le spectacle *L'Ombre*² mis en scène par Georges Gagneré. Nous conclurons en décrivant la convergence de nos explorations à travers le démarrage d'une nouvelle recherche-création menée en tandem.

Prévisualisation *in situ* et avatars

Une généralisation de la prévisualisation *in situ*

4 La prévisualisation *in situ* est une réponse émergente aux besoins de l'industrie du cinéma et des jeux vidéo afin d'améliorer l'intégration technologique et artistique des moyens numériques. C'est une approche de production de contenus audiovisuels qui a pour objectif d'offrir au réalisateur ou au producteur sur le lieu du tournage un rendu immédiat des images, proche du résultat final qui sera présenté au spectateur. De ce fait, la différence entre ce que l'on appelle le « précalculé » (en général le cinéma qui utilise des séquences d'images, dont chacune nécessite un temps de calcul non négligeable) et le « temps réel » (en général le jeu vidéo dont chaque image est le résultat d'un calcul quasi instantané) a tendance à s'estomper. L'industrie du cinéma est notamment bouleversée par de nouvelles architectures des multiples outils et processus logiciels conçus pour les besoins de production. Ces « pipelines » permettent de capturer des images et de les agencer en temps réel (Antoniades, 2016) en recourant à des doublures numériques hyperréalistes d'êtres humains existants (Seymour, 2017). Le développement de la prévisualisation a notamment pour objectif d'aider les acteurs physiques à comprendre les environnements virtuels dans lesquels leurs personnages de synthèse évoluent et qui recourent à des effets spéciaux ou à des créatures virtuelles (Bouville, 2016).

5 Ces méthodes et outils de prévisualisation *in situ* peuvent être utilisés dans toute approche artistique qui nécessite une hybridation physique/numérique dans la conception, la réalisation ou la présentation au public, et pour des disciplines en dehors du cinéma ou des arts vidéoludiques, comme le spectacle vivant, les arts plastiques ou encore la musique. Notre tandem recourt à la prévisualisation *in situ* et la prolonge jusqu'au moment final de la présentation des œuvres au public. Nos dispositifs ne constituent pas seulement une étape intermédiaire qui permet d'approcher le résultat final : ils sont constitutifs de la création présentée au public. Nous garderons cependant le terme « prévisualisation » pour décrire nos recherches-créations car il englobe à la fois la dimension temps réel des processus et leur inscription dans une chronologie de la conception à la finalisation en passant par la fabrication des œuvres. Par ailleurs, ces dernières utilisent systématiquement des avatars.
Définitions de l'avatar

6. Qu'entendons-nous par avatar ? Le terme a tendance à être utilisé dans de nombreux contextes et apparaît souvent comme un synonyme d'acteur virtuel. Parmi ces multiples définitions, notons celle qui désigne l'interface ou le véhicule d'un joueur dans le monde virtuel d'un jeu vidéo, selon la première utilisation du terme dans le cadre du jeu *Habitat* de Lucasfilm Game. L'avatar a aussi été précisément étudié par Étienne Armand Amato et Étienne Perény dans leur communication pionnière (Perény & Amato, 2010) explorant l'émergence de nouveaux comportements ludiques et annonçant déjà que :

> progressivement le réel, mais aussi le potentiel, se dédoubleront en virtuel, et effectivement au sens anglo-saxon du terme, celui d'une réalité autre, qui est simplement un quasi-réel, en fait le réel d'une image virtuelle et opérable, agie et inter-agie, capable de devenir finalement l'avatar de tout être et de toute chose pouvant se manifester sur un écran. (p. 112)

7. La notion d'avatar est aussi utilisée pour décrire l'entité virtuelle permettant la visualisation d'un processus de capture de mouvement d'un être humain : on retrouve alors la même idée de transporter de l'information de mouvement d'un corps physique à un autre numérique.

8. Nos avatars se définissent à partir de la notion de sculpture-matrice (Plessiet, 2019). Fondée sur les représentations informatiques qui permettent de fabriquer une entité généralement anthropomorphe, la sculpture-matrice est un maillage de points qui constituent des polygones matérialisant une enveloppe extérieure virtuelle. Associée à des joints par la construction d'une armature (rig), cette enveloppe de polygones peut prendre une variété infinie de positions dans l'espace. Elle constitue la matrice des mouvements corporels et faciaux qui résultent de la manipulation temporelle du rig, c'est-à-dire son squelette, son ossature.

Classifications des avatars

9. La notion d'avatar est utilisée sous différents termes dans de nombreux domaines. Historiquement, l'approche pionnière de Daniel Thalmann et Nadia Magnenat-Thalmann dans les années 1980 a débouché sur les premières utilisations d'emojis réalistes dans des films de synthèse en 3D (Magnenat-Thalmann, 1987). Elle proposait une classification des acteurs virtuels en quatre principales catégories : les participants qui étaient manipulés par des dispositifs de capture de mouvement ; ceux guidés, qui étaient manipulés par des périphériques ; les acteurs autonomes en interaction avec leur environnement ; et enfin les acteurs capables d'interactions avec d'autres acteurs réels ou virtuels. Cette approche informatique visait à fabriquer des humains virtuels « intelligents » capables de simuler les humains réels (Couchot, 2013). Un domaine en sciences informatiques et cognitives s'est ensuite concentré plus spécifiquement sur les acteurs conversationnels animés. Il ne s'agissait plus de simuler un humain dans son entièreté, mais plutôt de se concentrer sur les moyens de créer des interactions complexes avec des visages. Catherine Pelachaud a notamment poursuivi des recherches dans ce domaine (Pelachaud, 1996) qui ont abouti à la plateforme d'agent conversationnel expressif et interactif GRETA (Rosis, 2003), capable de communiquer avec des utilisateurs de façon verbale et non verbale, grâce aux regards, aux
mouvements de la tête et du torse, aux expressions faciales et aux gestes. Le domaine de l'intelligence artificielle aborde aussi la question des interactions complexes entre plusieurs agents en s'efforçant de prendre en compte le paradigme énactif d'auto-organisation au sein d'un environnement (Varela, 1993). Pierre Chevaillier et Pierre de Loor ont ainsi développé le modèle MASCARET, dédié notamment aux expérimentations éducatives (Buche, 2004).

10

D'autres chercheurs s'intéressent aux moyens de décrire les actions des avatars en s'inspirant des techniques de la mise en scène théâtrale (Ronfard, 2016). Cela conduit notamment à s'intéresser à la manière dont on pourrait générer des émotions à partir d'une expression neutre, afin de diriger les expressions faciales d'un acteur virtuel à la manière d'un metteur en scène (Barbulescu, 2014). Le spectacle vivant constitue un territoire sur lequel on constate l'émergence croissante de personnages virtuels qui questionnent le propre de l'acteur et sa présence scénique (Ferral, 2012). De manière plus générale, la nécessité de clarifier l'usage des acteurs virtuels dans les pratiques artistiques numériques, telles que le cinéma d'animation ou le jeu vidéo, nous a conduits à proposer une classification basée sur deux paramètres, l'origine du mouvement et l'origine de la décision du mouvement (Plessiet, 2019). Selon que les origines de la dynamique ou des choix soient internes ou externes à l'entité, on peut distinguer quatre figures virtuelles : *la marionnette* dont le mouvement et la décision proviennent d'ailleurs, *l'acteur autonome* aux deux causalités internes, *le golem* qui produit son mouvement mais sans libre arbitre et *le masque* dont la source du mouvement est externe, mais la décision interne. Par exemple, dans le jeu *The Sims* (Wright, 2000), les personnages peuvent être considérés comme des golems obéissant au joueur, alors que les objets du jeu sont conçus comme des agents contenant des décisions d'actions qui ont besoin des mouvements extérieurs des personnages pour s'accomplir (fig. 1). Ces objets sont des masques virtuels.

<table><caption>Figure 1</caption><thead><tr><th></th><th>Decision Interne</th><th>Decision Externe</th></tr></thead><tbody><tr><th>Mouvement Interne</th><td>Acteur virtuel</td><td>Golem virtuel</td></tr><tr><th>Mouvement Externe</th><td>Masque virtuel</td><td>Marionnette virtuelle</td></tr></tbody></table>

Le modèle marionnette, golem, acteur, masque (MGAM).

Crédits : Cédric Plessiet.

11

Afin de mieux comprendre la manière dont la figure de l'avatar peut jouer un rôle central dans des démarches de création artistique, nous proposons de décrire comment la sculpture-matrice est utilisée dans deux processus de recherche-création : *Les Double-
autres, série de portraits interactifs de Cédric Plessiet, et *L'Ombre*, une mise en scène de Georges Gagneré (Gagneré, 2020), inspirée du conte homonyme de Hans Christian Andersen. Le premier explore le territoire des acteurs virtuels réalistes et leur mise en mouvement sous la forme d'installation interactive. Le second met en scène des avatars non réalistes en relation hybride avec un acteur au fil d'une performance théâtrale de 50 minutes. Leur point commun tient au recours à une généralisation des méthodes de prévisualisation *in situ* pour la mise en jeu des sculpture-matrices et leur présentation au public.

## Les Double-autres, par Cédric Plessiet

12 Le Double-autre est une entité virtuelle construite à partir d'une personne réelle, le modèle, et qui me permet de construire une galerie de portraits interactifs. La construction d'un tel avatar se fait en utilisant une approche hybride mélangeant numérisation 3D, geste artistique et automatisation des tâches.

## Le Double-autre, un avatar émancipé

13 Je vais tout d'abord résumer les principales étapes qui me permettent de réaliser un double numérique photoréaliste en 3D du modèle physique avec lequel je souhaite réaliser un portrait interactif. Les méthodes traditionnelles propres à la production vidéoludique offrent plusieurs manières de réaliser un maillage, en utilisant notamment des systèmes de captations 3D comme la photogrammétrie ou le scanner 3D. Je distingue par ailleurs la réalisation du corps et celle du visage. Pour la réalisation du corps, j'emploie des maillages préexistants que je retravaille avec Blender et Zbrush. En revanche, pour le maillage du visage, j'utilise un scanner 3D qui me permet d'obtenir un maillage ressemblant, mais malheureusement inexploitable tel quel, car non conçu pour se déformer. En effet, la géométrie issue du scanner 3D ne contient pas les lignes de force qui rendent possibles une déformation adéquate pour les expressions du visage. Je dois alors en transformer la topologie afin qu'elle puisse être étirée, écrasée ou courbée.

14 Ensuite, j'équipe ce maillage retravaillé d'une armature (rig) pour la déformation et les contrôles d'animation nécessaires à la sculpture-matrice. La création des contrôles d'animation tient compte des modalités de liberté de mouvement que je pense donner à l'anatomie spécifique du maillage correspondant au modèle physique. Pour la cohérence des mouvements faciaux, j'adopte une approche basée sur une décomposition des expressions organisée autour du Facial Action Coding System ou FACS (Eckman, 2002). Ce système repose sur un nombre limité d'unités d'action faciale (FAU) correspondant à des éléments d'expressions qui dépendent de l'anatomie du visage. J'effectue ainsi un scan de chacune de la trentaine des expressions du modèle physique qui permettent de construire ces FAU.

15 Avec des éléments de maillage préexistants pour le corps et les nombreux éléments nouveaux propres au visage, je suis confronté à une problématique de fabrication d'un avatar qui doit être à la fois un double très proche du modèle physique, et suffisamment manipulable pour permettre la réalisation de mouvements expressifs qui lui appartiennent en propre et qui le transforme en ce que j'appelle un Double-autre. Le Double-autre est une sculpture-matrice qui associe une grande fidélité à son modèle
physique et la possibilité de réaliser des mouvements complexes correspondants aux différentes configurations du modèle MGAM (voir la section « Classifications des avatars »). Le Double-autre virtuel dédouble le modèle physique et s'émancipe par des mouvements qui lui sont propres.

## Taupipeline, l'outil de fabrication des Double-autres

16 J'ai donc mené une réflexion sur les moyens d'optimiser la création d'un Double-autre afin de pouvoir me concentrer sur les tâches créatives intéressantes et obtenir un résultat dans un court délai. Cette exigence de réactivité temporelle correspond à l'approche de prévisualisation *in situ* et permet de contrôler l'évolution des résultats à chaque étape. Elle s'inscrit dans la philosophie agile (Autissier, 2021) où il est primordial de pouvoir itérer rapidement sur une réalisation en cours, afin d'associer dynamisme créatif et contrôle artistique. Le fruit de cette réflexion a débouché sur l'élaboration de Taupipeline, un pipeline spécifique articulant différentes tâches (modélisation, rigging, animation, rendu) nécessaire à la réalisation d'un Double-autre.

17 La colonne vertébrale de Taupipeline (fig. 2) s'organise autour des logiciels libres Tactic et Afanasy qui permettent respectivement l'organisation de la gestion des assets et la distribution des opérations de rendu. En parallèle, la production d'éléments 3D se fait avec des logiciels d'infographie habituels (comme Maya, Blender ou Photoshop). En pratique, je commence par rechercher dans les assets (composants) existants déjà enregistrés dans Taupipeline ce qui pourrait correspondre au nouveau modèle physique. S'il n'y a pas de correspondances, je recrée ou modifie de nouveaux éléments que j'ajoute à la base existante. Pour l'étape du visage, je dois notamment réaliser la trentaine de FAU nécessaires aux expressions faciales. J'utilise alors une automatisation des processus que j'ai programmée pour me faire gagner plusieurs heures de tâches répétitives, non créatives et fastidieuses. L'automatisation évite aussi de commettre des erreurs de manipulation. Finalement, il revient au module Tauporchestre d'exécuter la succession des tâches automatiques sur de multiples ordinateurs. Toute modification voulue sur un élément précis est ainsi facilement et rapidement calculée et appliquée à toutes les composantes de la sculpture-matrice.
<figure><img src="image_3.png" /><figcaption>Figure 2</figcaption></figure>

Les modules Taupipeline et Taupemodel.

Crédits : Cédric Plessiet.

18 Je considère Taupipeline comme un compromis entre des solutions de création de personnages 3D comme Metahuman (Metahuman, 2021), aux résultats immédiats, mais stéréotypés, et la création *ex nihilo* d'un personnage 3D au style plus personnel, mais dont le temps de réalisation est très long et nécessite des compétences élevées.

## Le processus créatif et les résultats artistiques

19 Les animations et les interactions sont finalisées en utilisant la réalité virtuelle et la capture de mouvement dans un module baptisé Taupemodel (fig. 2), construit autour d'un dispositif de capture de mouvement et du moteur de jeu temps réel Unreal Engine³. Le choix de ce moteur est motivé par ses capacités graphiques, notamment la simulation du rendu de peau, ainsi que par l'accessibilité de son code source permettant des modifications avancées. De plus, l'intégration en natif d'outils d'aide à l'interfaçage avec des logiciels tiers facilite son interconnexion avec mes propres outils.

20 Équipé d'une combinaison de capture de mouvement reliée au moteur vidéo et d'un casque de réalité virtuelle (fig. 3a), je prends une pose ou réalise un mouvement que je souhaite transmettre au Double-autre. Je peux ensuite l'observer d'un point de vue extérieur, manipuler son armature pour corriger les problèmes éventuels d'une animation enregistrée (par exemple la collision d'un membre avec le corps ou les positions des doigts). Puis j'organise les différents éléments de la scène, l'éclairage et le cadrage de la caméra. Toutes ces opérations se font en réalité virtuelle afin de me permettre d'avoir une compréhension claire et sensible des volumes et du rendu 3D. Je me mets littéralement « dans la peau » du Double-autre que je souhaite animer et j'éprouve une relation d'empathie avec lui, bien qu'il soit généralement très différent de moi (fig. 3b).
<figure><img src="image_4.png" /><figcaption>Figure 3b</figcaption></figure>

<figure><img src="image_5.png" /></figure>

(a) Cédric Plessiet travaillant dans Taupemodel ; (b) Le Double-autre du modèle Eden Weiss contrôlé en temps réel par Cédric Plessiet dans Taupemodel.

Crédits : Cédric Plessiet.
21 Le portrait interactif Ça bug dans les rotations représente un Double-autre de Georges Gagneré (fig. 4, gauche), dont la tête est soumise à des rotations intempestives que le spectateur peut tenter de corriger (ou bien d'aggraver) avec un bouton rotatif. Le portrait fait écho à des discussions autour de problèmes de rotation dans une marionnette virtuelle à l'occasion d'une collaboration antérieure. Quant à elle, La Geôle explore l'autonomie de mon propre Double-autre (fig. 4, droite). L'autoportrait en cours de réalisation me dépeint en train d'écrire un livre. Je l'ai d'ailleurs commencé pendant la rédaction de mon habilitation à diriger des recherches. Mon Double-autre construit sa propre routine de rédaction par essai-erreur dans un univers absurde. Le mécanisme d'apprentissage repose, entre autres, sur l'utilisation de réseaux de neurones artificiels.

<figure><img src="image_6.png" /><figcaption>Figure 4</figcaption></figure>

À gauche le Double-autre de Georges Gagneré dans Ça bug dans les rotations ; à droite le Double-autre de Cédric Plessiet dans La Geôle avec l'affichage des mécanismes décisionnels.

Crédits : Cédric Plessiet.

22 Cette production d' avatar accélérée rend possible sa modification rapide et à moindre coût. Ce gain de vitesse et de flexibilité permet de modifier les méthodes de création, par exemple en remettant le modèle humain d'origine au sein du processus créatif, lequel peut facilement échanger avec moi pour donner son avis, demander des ajustements ou encore explorer ce corps virtuel. Ainsi, des modèles ont voulu changer de coupe de cheveux, d'autres ont souhaité se voir enceintes, etc. Taupipeline permet ainsi ce dialogue entre modèle et artiste et je considère le Double-autre comme une co- création où le corps virtuel est un équilibre entre ma vision du modèle, et la manière dont le modèle se perçoit lui-même et veut s' avatariser.

La mise en scène de l' avatar, par Georges Gagneré

23 Je présente maintenant mon usage des avatars dans la recherche- création L'Ombre (Gagneré, 2020) en commençant par le contexte esthétique du spectacle et le dispositif de contrôle des avatars. Je décrirai ensuite les enjeux artistiques de mise en scène et les solutions que j'ai développées pour le processus d'animation des avatars et l'intégration des animations au jeu du comédien.
## CAVOAV et AvatarStaging

24 Le spectacle utilise le concept de CAstelet Virtuel d'OmbrAVatars (CAVOAV) (Gagneré & Ternova, 2020) que je développe en m'inspirant des théâtres d'ombre traditionnels et des possibilités dramaturgiques associées à la figure de l'ombre, en particulier dans le sillage de Ernst Theodor Amadeus Hoffmann (1776-1822), Adelbert von Chamisso (1781-1838) et Hans Christian Andersen (1805-1875). Il me permet d'animer en 3D des avatars qui ont la forme d'ombres et que j'ai appelés ombravatars (fig. 5). Ces entités sont des sculptures-matrices dont le maillage est une silhouette humaine en deux dimensions, correspondant exactement à l'ombre projetée d'une personne par un projecteur perpendiculaire à un écran, équipée d'une armature qui a donc la particularité d'appartenir à un plan. Cependant, cette armature « plate » permet une manipulation en 3D de la silhouette, notamment grâce aux dispositifs de capture de mouvement qui permettent une transposition de la gamme infinie des gestes naturels d'une personne physique. CAVOAV se présente comme un espace en 3D délimité par un cadre virtuel dont la projection sur une scène ouvre une sorte de théâtre dans le théâtre mettant en scène les ombravatars qui peuvent dialoguer avec des acteurs physiques jouant devant l'écran. Grâce à la dimension 3D des images du moteur de rendu temps réel, la construction visuelle s'efforce de faire croire à l'existence d'un castelet⁴ virtuel derrière le cadre virtuel fixe qui borde l'image.

<figure><img src="image_7.png" /><figcaption>Figure 5</figcaption></figure>

Extrait du spectacle *L'Ombre*, mise en scène et programmation par Georges Gagneré.

Crédits : didascalie.net.

25 Une ombravatar est une entité anthropomorphique qui a la particularité de pouvoir exister comme ombre traditionnelle en projection 2D ou bien comme silhouette en 3D, comme le montre la figure 5 où l'on voit une ombravatar (en gris) jouer avec sa propre ombre projetée sur les fenêtres (en noir). Comme toute entité virtuelle, les ombravatars peuvent se prêter à tous les effets spéciaux imaginables et programmables. L'animation des silhouettes utilise le dispositif *AvatarStaging*⁵ (Gagneré, 2018) dans lequel je combine plusieurs logiciels pour transposer le mouvement d'un acteur utilisant un système de capture de mouvement, que l'on appellera « mocapteur », sur des avatars occupant l'espace 3D numérique CAVOAV qui constitue la dimension virtuelle de la scène mixte.
<figure><img src="image_8.png" /><figcaption>Figure 6</figcaption></figure>

Le dispositif *AvatarStaging*.

Crédits : Georges Gagneré.

26 De manière générique, *AvatarStaging* articule trois processus que détailleront les trois prochains paragraphes. Ils permettent à un mocapteur de contrôler un avatar et de construire une relation scénique entre cet avatar et un acteur physique sur une scène mixte (A + B). Ces trois processus sont exposés schématiquement pour un mocapteur, un avatar et un acteur dans la figure 6, et peuvent ensuite se décliner dans des configurations plus complexes. Dans le premier processus, le mocapteur porte une combinaison intégrale, optique ou inertielle, qui permet de récupérer les informations de position de capteurs précisément situés sur sa morphologie (fig. 6, zone C). Ces données de mouvement sont transférées sur une première sculpture-matrice spécifique, qui correspond à la reconstitution d'un squelette virtuel déduit des positions de capteurs situés sur l'enveloppe extérieure du mocapteur. Ce squelette est donc le résultat d'une approximation mathématique, et ne correspond pas à sa posture et ossature réelle. Par ailleurs, de multiples facteurs parasites dans la capture des informations peuvent provoquer des déformations dont il faut en permanence évaluer l'incidence sur la qualité artistique des mouvements, pour la corriger si nécessaire.

27 Le deuxième processus, appelé *motion retargeting* (repositionnement du mouvement), consiste à transcrire les mouvements de ce premier squelette virtuel du mocapteur sur le squelette virtuel de la sculpture-matrice qui correspond à l'avatar choisi pour jouer dans l'espace 3D en face de l'acteur. Dans *L'Ombre*, il s'agit donc d'une ombravatar dont la morphologie est très particulière, ce qui conduit à une déformation inéluctable des mouvements originaux du mocapteur, dont je parlerai plus en détail à propos des résultats artistiques (voir la section « Méthodologie de création des animations »).

28 Enfin, le troisième processus consiste à organiser les positions de l'avatar et/ou de ses animations préenregistrées en fonction du décor numérique et des positions de l'acteur physique (fig. 6, zone B), grâce au plugin spécifique AKN_Regie que j'ai programmé dans un moteur de jeu vidéo.
29 Pour résumer, le mocapteur évoluant en C établit une relation scénique avec l'acteur sur la scène A en observant, sur des retour-moniteurs qui l'entourent, le résultat de la projection de ses mouvements sur son avatar dans l'espace numérique B, après l'application des trois processus de capture de mouvement, de motion retargeting et de contrôle par AKN_Regie.

## Les intentions artistiques concernant les avatars

30 L'hypothèse dramaturgique sur laquelle se fonde *L'Ombre* est la suivante : un acteur physique raconte le conte homonyme d'Andersen aux spectateurs physiques et à des ombravatars présentes dans CAVOAV. Au fil de la narration, les ombravatars se prennent progressivement à rejouer les épisodes de cinq protagonistes de cette histoire fantastique d'un savant du Nord qui a abandonné son ombre dans un pays torride du Sud. Dans les parties dialoguées du conte, le narrateur joue alternativement les voix des personnages, dont les mouvements sont produits par d'autres sources. On pourrait imaginer une troupe de cinq mocapteurs cachés en coulisse et contrôlant les cinq ombravatars avec *AvatarStaging* pendant que le narrateur physique raconte l'histoire. L'objectif était cependant de réaliser une forme légère, qui pouvait être jouée dans tout lieu offrant une surface de projection, avec un acteur manipulant lui-même le dispositif technique, à la vue des spectateurs (animations visuelles, partition musicale et effets sonores et lumière). L'hypothèse dramaturgique s'est donc traduite par l'objectif de faire déclencher par l'acteur lui-même des animations préenregistrées qui simulent une écoute et une participation active d'ombravatars. On entrevoit une première difficulté à surmonter : concilier la liberté d'interprétation de l'acteur dans son rythme et ses intentions de jeu avec des animations préenregistrées, lesquelles imposent donc *a priori* des intentions figées et une vitesse de jeu prédéterminée. Ensuite, un second enjeu consiste à réussir à enregistrer des animations vivantes et susceptibles de faire croire à une présence scénique des ombravatars. Nous analyserons tout d'abord comment fabriquer des enregistrements donnant vie aux ombravatars jouant l'histoire racontée par le narrateur. Sans la réussite d'animations plausibles, impossible d'explorer les manières de les combiner en harmonie avec le jeu vivant du narrateur, moyens que nous évoquerons succinctement dans un second temps.

31 Notamment pour le cinéma et l'audiovisuel, l'approche habituelle de la réalisation d'animation par capture de mouvement consiste à mettre les mocapteurs dans la situation physique concrète correspondant à ce que joueront leurs avatars, puis à réaliser les trois processus mentionnés précédemment pour construire l'animation correspondante dans une phase ultérieure en postproduction. Cette approche impose cependant une séparation entre la production du mouvement et la réception par les partenaires de jeu de l'expressivité de l'avatar animé, avec l'impossibilité donc de modifier les animations par le mocapteur absent, pour faire jouer les influences réciproques qui régissent les relations interhumaines.

32 Dans notre cas, par exemple, si le mocapteur prenait la place de l'ombravatar sur la scène mixte, le narrateur jouerait face à un autre acteur équipé d'une combinaison de capture de mouvement, qui n'est pas du tout son partenaire final. Il est donc fondamental dans ma démarche de recourir à un dispositif de prévisualisation *in situ* pour travailler avec la nature esthétique de l'ombravatar. Ce ne sont pas les mouvements du mocapteur en eux-mêmes qui importent, mais leurs effets sur
l'ombravatar, en définitive véritable partenaire de jeu du narrateur. Ainsi, pendant les
répétitions et les enregistrements des animations, l'utilisation d'AvatarStaging permet à
l'acteur physique de prendre la position de l'acteur (fig. 6) et de jouer dans le dispositif
mixte final avec une ombravatar. Réciproquement, le mocapteur regarde le résultat des
interactions dans les retours vidéo et les ajuste en temps réel. Cette possibilité de
travailler dans les conditions finales de la représentation n'est souvent atteinte que
dans les derniers moments d'une production théâtrale traditionnelle, quelques jours
avant la générale où costumes, décors, lumières et effets spéciaux sont enfin réunis et
ajustés. Dans mon processus, je travaille avec tous les éléments dès le départ et je
procède aux modifications nécessaires sur le moment, au fil des répétitions.

33

Par ailleurs, il est aussi fondamental que le narrateur et l'ombravatar construisent leurs
relations scéniques sous mon regard de metteur en scène, qui doit aussi écrire
l'hypothèse dramaturgique d'une relation d'écoute des épisodes de l'histoire par les
ombravatars. Un détour par l'approche théâtrale de la construction d'un personnage
est ici nécessaire. De manière générale, l'enjeu pour un acteur est de savoir contrôler
ses émotions afin de les développer en suivant une finalité scénique élaborée avec le
metteur en scène et ses partenaires à partir des matériaux dramaturgiques de l'auteur
d'un texte. L'acteur doit donc associer paradoxalement contrôle et sincérité pour
construire son personnage. On pourrait parler de capacité à habiter son propre corps
en mettant à distance ses émotions agencées pour faire émerger un personnage pour
les spectateurs. Pour le narrateur de L'Ombre, la technique de jeu s'inscrit dans cette
tradition théâtrale. Mais pour le mocapteur, le personnage qu'il construit habite un
autre corps, ce qui bouleverse cette relation traditionnelle. La relation à l'avatar-
personnage s'avère encore peu étudiée par le théâtre (Gagneré, 2015 ; Kennedy, 2021),
et je vais en détailler quelques aspects explorés avec le mocapteur qui a réalisé les
enregistrements, un étudiant expérimenté en licence de théâtre ayant déjà pratiqué
dans plusieurs projets la capture de mouvement avec une combinaison inertielle.

34

Au-delà des spécificités d'élaboration du personnage, les entités mises en relation ne sont pas de même nature. Les humains ne coexistent pas naturellement avec des ombravatars. La qualité de cette relation doit être évaluée par le metteur en scène pour construire une dramaturgie convaincante. À cet égard, j'ai construit une introduction muette au spectacle en proposant au narrateur physique de toucher les ombravatars avec sa propre ombre produite par le faisceau de lumière du vidéoprojecteur. Il s'agissait de créer une situation d'approvisionnement d'ombres désœuvrées, afin de les inviter à partager un moment avec les spectateurs. Ce qui m'intéresse avec la nature de l'ombre est précisément cette relation ambiguë qu'elle entretient avec la corporalité humaine. L'ombre est un prolongement de notre présence au monde et incite à nous interroger sur la fragilité de cette présence. Sommes-nous seuls avec nous-mêmes ? Qui est cet autre moi-même qui copie mes gestes si parfaitement ? Quels sont ses pouvoirs ? Le jeu du passage de la 2D à la 3D que permet l'ombravatar est un moyen d'entraîner le spectateur à accepter que le narrateur côtoie des ombres qui se transforment finalement en étranges créatures. L'émergence de relations scéniques triangulaires entre l'acteur, le mocapteur et le metteur en scène nécessite un ajustement itératif au fil de répétitions, lesquelles permettent à tous les partenaires d'améliorer leur technique en temps réel dans la situation de réception finale vécue par le spectateur.
## Méthodologie de création des animations

35

Abordons maintenant la technique de jeu spécifique du mocapteur/ombravatar. Le premier processus vise à s'approprier le dispositif de capture du mouvement, ce qui implique une attention et évaluation permanente car de multiples paramètres peuvent transformer le squelette virtuel de la capture de mouvement. En outre, avec la combinaison inertielle utilisée dans *L'Ombre*, la sensibilité des capteurs aux champs magnétiques induisait de manière récurrente de légères déformations, ce qui impliquait une vigilance quasi permanente de la part du mocapteur. Ensuite, il convient de bien apprécier les contraintes inhérentes au second processus de *motion retargeting* : quels seront les gestes expressifs pertinents après transposition dans la morphologie spécifique des ombravatars ? Notons parmi les nombreux ajustements à réaliser pour compenser les distorsions ou confusions possibles : la nécessité d'une torsion des bras pour dynamiser le relief contraint de la silhouette, une mise en position des bras le long du corps pour éviter les collisions des mains avec le corps de la silhouette, l'accentuation des signes d'orientation globale du corps, comme un bras tendu vers l'avant, pour faire comprendre vers où regarde l'ombravatar et compenser l'ambiguïté due à l'absence de relief, ou encore une conformation précise de la marche pour caractériser des émotions par les déplacements dans l'espace. Développer une proprioception de l'enveloppe de l'ombravatar, c'est-à-dire une juste intégration de son ressenti corporel, est une tâche qui semble difficile pour le mocapteur. L'apparente solution consistant à immerger ce dernier à l'intérieur de cette enveloppe avec un casque de réalité virtuelle n'apporte pas de solution, mais réduit au contraire l'étendue des informations accessibles pour percevoir la portée expressive des mouvements.

36

Il apparaît ici que le processus que doit développer le mocapteur pour travailler l'expressivité de l'ombravatar se rapproche du phénomène d'empathie que Couchot décrit comme l'association d'« une résonance motrice et émotionnelle déclenchée automatiquement, non contrôlable et non intentionnelle, qui nous incline, mais pas systématiquement, à partager les états moteurs et émotionnels d'autrui [et d'une] prise de perspective subjective de l'autre, contrôlée et intentionnelle, associée à la conscience de soi » (Couchot, 2013, p. 58). Le mocapteur doit se laisser habiter par ce que peut ressentir et exprimer l'ombravatar tout en étant conscient des ressources propres de son corps équipé d'une combinaison de capture de mouvement. Il faut par ailleurs rappeler que sa tâche est de faire jouer l'ombravatar en relation avec le narrateur. Absorbé visuellement dans un contrôle empathique, il garde une relation sonore avec l'interprétation vocale de l'acteur, en cohérence avec la situation de narration d'une histoire précise. Le metteur en scène joue aussi un rôle décisif de guide pour orienter l'expression de l'ombravatar sur la scène mixte. Il développe avec le personnage virtuel sa propre relation empathique qui lui permet de ressentir les émotions présentes et de les mettre à distance pour en évaluer la pertinence en lien avec le jeu du narrateur. Bien entendu, ce dernier construit aussi son personnage en écho à l'expressivité de l'ombravatar. Pour conclure cette exploration de la construction d'animation en relation scénique avec le narrateur, décrivons succinctement la méthode adoptée pour aboutir à une partition finale de cinq ombravatars jouant dans CAVOAV.

37

On constate ici en quoi *AvatarStaging* est un outil qui permet de dépasser le stade de prévisualisation qui suppose par définition un lancer de rendu en postproduction. Les
animations enregistrées sont utilisées telles quelles et adaptées au fur et à mesure des
répétitions. Il est par exemple possible de rediffuser l'action d'une ombravianf afin de
permettre au mocapteur de construire les réactions d'un second personnage. Une
bonne capacité de projection empathique sur la seconde ombravianf est requise pour
répondre aux actions qui ont été préalablement enregistrées pour la première. Avec le
metteur en scène, l'enjeu consiste aussi à construire un personnage différent avec une
expressivité gestuelle propre. Cela s'établit toujours dans une relation triangulaire avec
le narrateur qui interprète aussi différemment la voix du nouveau personnage.
L'avantage substantiel de pouvoir réenregistrer à la volée les animations est de pouvoir
les rejouer séparément pour bien s'imprégner de leur expressivité. Trouver de
nouvelles pistes d'interprétation vocale et gestuelle, à la fois pour l'acteur, le
mocapteur et le metteur en scène, contribue à enrichir la qualité des interactions, et
donc la plausibilité de la situation dramaturgique imaginée. AvaterStaging permet une
mise en scène qui s'appuie sur une direction d'avatar, qui s'apparente à de la direction
d'acteur, et qui aboutit à une relation entre un narrateur et cinq ombravatars. La
modification en temps réel des animations se fait jusqu'à la dernière répétition en
fonction des nouvelles propositions du narrateur, alors même que le mocapteur n'est
plus présent. Et dans cette pièce, je pouvais aussi me permettre d'ajuster des intentions
à la fois pour le narrateur et les ombravatars au fil des représentations, notamment
parce que le spectacle a été travaillé en trois langues avec trois narrateurs différents, à
partir des mêmes séquences d'animation.

38

Pour conclure, je précise que la combinaison des animations enregistrées constitue une étape cruciale pour la qualité de l'interprétation scénique. L'association d'une classification des animations et d'un système d'enchaînement en temps réel avec AKN_Regie m'a permis d'atteindre un premier résultat convaincant que je n'ai pas la place ici de détailler (Gagneré et al., 2020). Les enjeux de la direction d'emojis restent cependant un domaine complexe et fascinant qui n'a été qu'à peine effleuré dans le projet.

Perspectives

39

Nos deux recherches-créations abordent la question de l'avatar selon deux points de vue complémentaires. *Les Double-autres* s'appuient sur un pipeline de création qui donne accès en temps réel à tous les éléments constitutifs de la sculpture-matrice photoréaliste des modèles humains choisis. Chaque création de Double-autre offre l'occasion d'explorer les multiples facettes des projections croisées de l'artiste et du modèle sur une entité virtuelle mallable dont l'identité se détache et s'émancipe pour rencontrer le public. *L'Ombre* de son côté utilise un environnement de création qui permet aux avatars de dialoguer sur une scène avec un acteur physique, et plus largement d'exister scéniquement et de raconter des histoires vivantes au public. L'avatar, appelée singulièrement ombravianf, permet alors au metteur en scène qui le dirige, au mocapteur qui l'anime et à l'acteur avec qui il dialogue, d'explorer de nouvelles dramaturgies utilisant les moyens spectaculaires de la réalité virtuelle sur une scène mixte.

40

Il nous est alors apparu intéressant d'associer le modelage en finesse de l'identité du Double-autre et de diriger ce dernier sur une scène de théâtre pour raconter des histoires. L'intérêt de pouvoir retravailler un personnage en fonction de situations de
jeu, ou bien d'explorer des situations de jeu inspirées par la nature d'un personnage
nous semble stimulant. Par ailleurs, la mise en relation de deux Double-autres qui
pourraient s'influencer et utiliser leurs ressources expressives pour densifier
réciproquement leur présence scénique nous apparaît comme une piste de recherche-
création prometteuse. La série Les Double-autres met un seul avatar en relation avec le
public dans chaque portrait interactif. Les ombravatars de L'Ombre sont les clones d'une
même silhouette. Mettre en scène des Double-autres à l'identité singulière pourrait
nous ouvrir de nouvelles perspectives de direction scénique.

<figure><img src="image_9.png" /><figcaption>Figure 7</figcaption></figure>

Les Compères, Double-autres de Georges Gagneré et Cédric Plessiet.

Crédits : Cédric Plessiet.

Nous avons alors imaginé mettre en scène nos propres Double-autres dans une création qui s'intitulera *Les Spectateurs*. Ses protagonistes « Georges Gagneré » et « Cédric Plessiet » (fig. 7) vont donc partager une scène virtuelle, et se faire spectateurs d'un acteur physique essayant de déclamer le fameux monologue d'Hamlet, « Être ou ne pas être, telle est la question ». Il y aura d'ailleurs plusieurs clones de chacun de nos Double-autres et nous devrons résoudre de nombreuses questions de synchronisation entre jeu réel et jeu virtuel, car les possibilités d'interaction seront démultipliées.

Pour conclure, nous précisons que l'ensemble des outils et méthodes que nous utilisons dans nos recherches-créations passées et à venir sont génériques et déployées dans d'autres contextes dans une philosophie de mise à disposition et de partage. Nous constatons que l'inscription dans une problématique de généralisation de la prévisualisation *in situ* est un paradigme adapté au travail avec les avatars, ainsi qu'au contexte artistique d'itérations créatives, typiques des projets de recherche-créations. L'ensemble de ces dynamiques créatives et exploratoires, d'outillage et d'avancées
méthodologiques, nous conduisent à poursuivre et approfondir la consolidation de cet
axe de recherche dans nos travaux à venir.

BIBLIOGRAPHIE

Antoniades, T. (2016). Creating a live real-time performance-captured digital human. Dans *ACM SIGGRAPH 2016 Real-Time Live! (SIGGRAPH '16)*. Association for Computing Machinery. https://doi.org/10.1145/2933540.2933551

Autissier, D. & Moutot J.-M. (2015). *Le changement agile. Se transformer rapidement et de manière durable*. Dunod.

Barbulescu, A., Ronfard, R., Bailly, G., Gagneré, G., & Cakmak, H. (2014). Beyond basic emotions : Expressive virtual actors with social attitudes. Dans *Proceedings of 7th International ACM SIGGRAPH Conference on Motion in Games 2014* (MIG 2014) (p. 39-47). Association for Computing Machinery. https://doi.org/10.1145/2668064.2668084

Bouville, R., Gouranton, V. & Arnaldi, B. (2016). Virtual reality rehearsals for acting with visual effects. *Proceedings of the 42nd Graphics Interface Conference (GI '16)* (p. 125-132). Canadian Human-Computer Communications Society.

Buche, C., Querrec, R., De Loor, P. & Chevaillier, P. (2004). MASCARET : A pedagogical multi-agent system for virtual environments for training. *International Journal of Distance Education Technologies (IJDET)*, 2(4), 41-61. http://doi.org/10.4018/jdet.2004100103

Couchot, E. (2013). Tout un peuple dans un monde miroir. Dans R. Bourassa & L. Poissant (dir.), *Personnage virtuel et corps performatif. Effets de présence*. Presses de l'Université du Québec.

Ekman, P. & Friesen, W. V. (1978). *Manual for the facial action coding system*. Consulting Psychologists Press.

Féral, J. (dir.). (2012). *Pratiques performatives. Body Remix*. Presses universitaires de Rennes/Presses de l'Université du Québec.

Gagneré, G. (2020). The shadow. Dans *Proceedings of the 7th International Conference on Movement and Computing (MOCO '20)*, Association for Computing Machinery. https://doi.org/10.1145/3401956.3404250

Gagneré, G., Mays, T., & Ternova, A. (2020). How a hyper-actor directs avatars in virtual shadow theater. Dans *Proceedings of the 7th International Conference on Movement and Computing (MOCO '20)*. Association for Computing Machinery. https://doi.org/10.1145/3401956.3404234

Gagneré, G. & Plessiet, C. (2015). Traversées des frontières. Dans H. Hachour, N. Bouhaï, & I. Saleh (dir.), *Frontières numériques & artéfacts* (p. 9-35). L'Harmattan.

Gagneré, G. & Plessiet, C. (2018). Experiencing avatar direction in low cost theatrical mixed reality setup. Dans *Proceedings of the 5th International Conference on Movement and Computing (MOCO '18)*. Association for Computing Machinery. https://doi.org/10.1145/3212721.3212892
Gagneré, G. & Plessiet C. (2022). Quand le jeu vidéo est le catalyseur d'expérimentations théâtrales (2014-2019). Dans C. Devès (dir.), *Le jeu vidéo, au carrefour de l'histoire, des arts et des médias*. Les Éditions du CRHI.

Gagneré, G. & Ternova, A. (2020). C'Astelet in Virtual reality for shadOw AVatars (CAVOAV). Dans S. Richir (dir.), *Proceedings of Virtual Reality International Conference (VRIC) (p. 129-136)*. https://doi.org/10.20870/IJVR.2020...3316

Kennedy, J. (2021). *Acting and its Double. A Practice-Led Investigation of the Nature of Acting Within Performance Capture*. [Thèse, Auckland University of Technology]. http://hdl.handle.net/10292/13943

Magnenat-Thalmann, N. & Thalmann, D. (1987). The direction of synthetic actors in the Film Rendez-Vous a Montreal. *IEEE Computer Graphics and Applications*, 7, 9-19. https://doi.ieeecomputersociety.org/10.1109/MCG.1987.276934

*MetaHuman*. (2021). Epic Games. https://www.unrealengine.com/en-US/metahuman-creator

Pelachaud, C., Badler, N. I., & Steedman M. (1996). Generating facial expressions for speech. *Cognitive Science*, 20(1), 1-46. https://doi.org/10.1207/s15516709cog2001_1

Perény, É. & Amato, É. A. (2010). L'heuristique de l' avatar : polarités et fondamentaux des hypermédias et des cybermédias. *Revue des interactions humaines médiatisées (RIHM)*, *Journal of Human Mediated Interactions*, 11(1), 87-115.

Plessiet, C., Gagneré, G., & Sohier, R. (2019). A proposal for the classification of virtual character. Dans *Proceedings of the 14th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications – HUCAPP* (p. 168-174). https://doi.org/10.5220/0007569401680174

Plessiet, C. (2019). *Quand la marionnette coupe ses fils. Recherches sur l'acteur virtuel*. Université Paris 8.

Plessiet, C. (2019). *De la sculpture matrice à l'acteur virtuel*. Habilitation à diriger les recherches. Université Paris 8.

Ronfard, R. (2016). Notation et reconnaissance des actions scéniques par ordinateur. Dans M. Martinez & S. Proust (dir.), *La notation du travail théâtral. Du manuscrit au numérique* (p. 189-204). Lansman.

Rosis, F. de, Pelachaud, C., Poggi, I., Carofiglio, V., & Carolis, B. de. (2003). From Greta's mind to her face : Modelling the dynamics of affective states in a conversational embodied agent. *International Journal of Human-Computer Studies*, 59(1-2), 81-118. https://doi.org/10.1016/S1071-5819(03)00020-X

Seymour, M., Evans, C., & Libreri, K. (2017). Meet Mike : epic avatars. *ACM SIGGRAPH 2017 VR Village (SIGGRAPH '17)*. Association for Computing Machinery. https://doi.org/10.1145/3089269.3089276

Varela F., Thompson E., & Rosch E. (1993). *L'inscription corporelle de l'esprit. Sciences cognitives et expérience humaine*. Seuil.

Wright, W. (2000). *The Sims*. Studio Maxis, Electronic Arts.

NOTES

1. *Les Double-autres*, festival Microfolie 2018 (Villiers-le-Bel), exposition Play ! 2019 (Bar-le-Duc), exposition Recto VRso 2019 (Laval).
2. *L'Ombre*, d'après H. C. Andersen ; mise en scène, scénographie et programmation numérique : Georges Gagneré ; jeu : Eric Jakobiak (France) et Pavlo Chirva (Ukraine) ; musique : Tom Mays ; assistanat à la scénographie et à la programmation numérique : Anastasiia Ternova ; capture de mouvement : Remy Gorski ; production : didascalie.net. Créé en septembre 2019 à Kharkiv. Consulté le 14 février 2022 sur http://www didascalie.net / prod-ombre

3. Consulté le 14 février 2022 sur https://www.unrealengine.com

4. Un castelet est un élément de décor de théâtre de marionnette servant de cadre à l'espace scénique.

5. Consulté le 14 février 2022 sur http:// avatarstaging.eu.

RÉSUMÉS

La réactivité expressive des avatars est au cœur des créations de Cédric Plessiet et Georges Gagneré. Les deux artistes-chercheurs recourent aux techniques et méthodes de la prévisualisation *in situ* qui permet à un réalisateur ou un acteur de contrôler en temps réel un avatar dans un environnement virtuel proche du résultat final. La série de portraits interactifs *Les Double-autres* est l'occasion pour Cédric Plessiet de décrire Taupipeline, l'architecture logicielle qui lui permet d'établir un dialogue avec les modèles physiques à l'origine des avatars réalistes qu'il met en relation avec les spectateurs. Georges Gagneré présente sa manière de diriger des avatars d'ombres dans la création *L'Ombre*, d'après le conte homonyme d'H. C. Andersen. Les deux artistes évoquent la manière dont leurs approches se compléteront dans le cadre de leur prochaine recherche-création commune, *Les Spectateurs*.

INDEX

**Mots-clés** : architecture logicielle, avatar, capture de mouvement, prévisualisation in situ, recherche-création, temps réel, théâtre

AUTEURS

CÉDRIC PLESSIET

Cédric Plessiet est maître de conférences HDR dans l'équipe Images numérique et réalité virtuelle (INREV) à l'université Paris 8. Il mène actuellement des recherches sur la prévisualisation *on set* pour le cinéma et les acteurs virtuels semi-autonomes, ce qui l'amène à travailler autour de multiples champs comme la capture de mouvement, les moteurs temps-réel et la réalité virtuelle. Artiste numérique, il utilise les outils qu'il développe pour des créations artistiques qu'il présente dans de nombreux festivals.

GEORGES GAGNERÉ

Georges Gagneré est metteur en scène, artiste numérique et chercheur. Il collabore avec la
plateforme didascalie.net depuis 2004 et a réalisé de nombreux spectacles et recherches-
créations associant institutions théâtrales et laboratoires de recherche scientifiques. Il est aussi maître de conférences dans l'équipe INREV. Site Web : http://gagnere.fr