# De la Sculpture Matrice à l'Acteur Virtuel

Cédric Plessiet

► To cite this version:

Cédric Plessiet. De la Sculpture Matrice à l'Acteur Virtuel: Une réflexion sur une nouvelle classification des relations entité virtuelle/manipulateur réel autour des notions d'origine du mouvement et de la décisionification des relations entité virtuelle/manipulateur réel autour des notions d'origine du mouvement et de la décision. Art et histoire de l'art. Université paris 8, 2019. tel-04386350

HAL Id: tel-04386350

https://hal.science/tel-04386350

Submitted on 10 Jan 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_2.png" /></figure>

# Ecrit Inédit

L'Université Paris 8 Vincennes Saint-Denis

Par

Cédric PLESSIET

Maître de Conférences

Docteur en Esthétique, Science et Technologie des Arts

Spécialité Images Numériques

## De la Sculpture Matrice à l'Acteur Virtuel

Une réflexion sur une nouvelle classification
des relations entité virtuelle/manipulateur réel
autour des notions d'origine du mouvement et de la décision

Jury

**Presidence :**

Marie Hélène TRAMUS Professeur émérite Université Paris 8

**Membres du jury**

Cecile Sorin Professeur d'université Université Paris 8

Réjane Hamus-Vallée Professeur d'université (rap.) Université d'Evry

Xavier Lambert Professeur d'université (rap.) Université Toulouse 2

Pierre Chevaillier Professeur d'université Enib

Dominique Boutet Maître de Conférences HDR Université de Rouen

**Garant :** Roberto Barbanti

Habilitation à diriger des recherches, préparée dans l'équipe Images
Numériques et Réalité Virtuelle (INRéV), du laboratoire Arts des Images et Art
Contemporain (AIAC EA4010)

soutenue le 09/10/2019 à l'université Paris VIII
Remerciement

Je tiens à remercier mon garant Roberto Barbenti de m'accompagner dans cette étape toujours délicate de la vie d'un chercheur, à Chu Yin Chen directrice de l'équipe de recherche Image Numérique et Réalité Virtuelle (INREV) Equipe d'accueil EA 4010 Arts des Images et Art Contemporain (AIAC, EA-4010) de m'avoir stimulé sans relâche pour entreprendre ce travail et bien sûr Marie Hélène Tramus pour ses conseils avisés, son amitié et son soutien.

Je tiens à remercier, mes collègues, Rémy Sohier, Jean-François Jego et Vincent Meyrueis. Merci à Imad Saleh pour son intérêt pour mes recherches et à Andy Lavander et Tim White, de l'université de Warwick et Anastasiia Ternova, du Master Théatre, pour leurs regards d'utilisateurs. Je remercie tous mes étudiants d'ATI, actuels et anciens, qui m'ont redonné courage quand il m'en manquait.

Merci à toutes les personnes qui m'ont aidé dans ma recherche sur mes Double Autres, en particulier Kelly Mézino, qui a accepté de prêter son apparence pour la mise en place de mes outils de création de personnages. Merci à Céline, Adèle, Zoé et Judith pour leur confiance

A mon complice, Georges Gagneré pour son accompagnement, son soutien et son extraordinaire capacité à détecter les bugs, aussi bien logiciels qu'intellectuels, tout au long de mon parcours de recherche. Merci à ma sœur de recherche, Anne-Laure George-Molland, pour sa patience, ses encouragements et ses petits piques acerbes et sa relecture attentive, tu peux compter sur moi quand ça sera ton tour ! A toi François, qui a un rythme à peu près équivalent au mien et qui trouve quand meme le temps de m'aider, à Guillaume et Aziza, Sameh qui répondent toujours présent...

Pour leur soutien sans faille, je remercie mon père pour sa relecture et ses conseils avisé et ma mére pour ses encouragements, sa patience, que de chemin parcouru... Et bien sûr merci à ma femme, Audrey, sans qui je ne serais pas ce que je suis actuellement. Je n'aurais jamais eu ni la force ni le courage de mener ce parcours sans Toi...
Table des matières

<table><tr><td>Remerciement</td><td>1</td></tr><tr><td>Introduction</td><td>13</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;Une approche transversale</td><td>15</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;L'informatique comme outil de partage de mon imaginaire</td><td>16</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;Acteur virtuel, « double autre » et autonomie</td><td>17</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;Organisation de cet essai</td><td>17</td></tr><tr><td>1 Traversée des frontières</td><td>21</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;1.1 Doppelgänger</td><td>23</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.1.1 De la créature de Frankenstein</td><td>24</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.1.2 Double et Dopplegänger</td><td>29</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.1.3 Le symbole du « double autre » : Max Headroom</td><td>33</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;1.2 Réalisme ou Plausibilité ?</td><td>39</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.2.1 Quête du réalisme</td><td>40</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.2.2 Ou de la plausibilité</td><td>45</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;1.3 L'outil informatique comme outil de traversée des Bulles de Plausibilité</td><td>51</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.3.1 Multiplicité des plans</td><td>51</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.3.2 Interroger la frontière</td><td>60</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.3.3 Illusion et frontière</td><td>68</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;1.3.4 Immerger le spectateur ?</td><td>75</td></tr><tr><td>2 Sculpture Matrice</td><td>83</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;2.1 Quand la 3D s'empare du photoréalisme</td><td>85</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.1.1 Technicité et talent</td><td>85</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.1.2 La captation du réel : Scanner 3D et reproduction</td><td>92</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.1.3 Comme point de départ à mon activité artistique</td><td>99</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.1.4 Simuler la matière</td><td>105</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;2.2 De la sculpture en mouvement à la sculpture en potentiel de mouvement</td><td>117</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.2.1 Sculpture et Sculpture 3D</td><td>117</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.2.2 Une potentialité de mouvement</td><td>121</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;2.2.3 Une sculpture matrice</td><td>128</td></tr><tr><td>3 Marionnette Virtuelle</td><td>133</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;3.1 Marionnette et marionnettiste</td><td>135</td></tr><tr><td>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;3.1.1 De la sculpture matrice au binôme marionnette/marionnettiste</td><td>135</td></tr></table>
Introduction

<table><tr><td>3.1.2</td><td>De la transposition du mouvement</td><td>140</td></tr><tr><td>3.1.3</td><td>Manipulation contrôlée et involontaire et marionnette apprivoisée</td><td>146</td></tr><tr><td>3.2</td><td>La Marionnette Virtuelle, le manipulateur et son rapport au temps et à l'espace</td><td>151</td></tr><tr><td>3.2.1</td><td>L'animateur traditionnel et le temps différé</td><td>151</td></tr><tr><td>3.2.2</td><td>Capture de mouvement et contrôle de marionnette</td><td>156</td></tr><tr><td>3.2.3</td><td>Contrôle externe et contrôle incarné</td><td>166</td></tr><tr><td>3.3</td><td>Au-delà du couple marionnette/marionnettiste</td><td>173</td></tr><tr><td>3.3.1</td><td>Un travail collaboratif</td><td>173</td></tr><tr><td>3.3.2</td><td>Le mécanisme de puppetter</td><td>178</td></tr><tr><td>3.3.3</td><td>Inverser marionnettiste et marionnette</td><td>182</td></tr><tr><td>4</td><td>Golem Virtuel</td><td>187</td></tr><tr><td>4.1</td><td>Golem et Cybernétique</td><td>189</td></tr><tr><td>4.1.1</td><td>Mystique hébraïque et créature d'argile</td><td>189</td></tr><tr><td>4.1.2</td><td>Norbert Wiener et le Golem</td><td>193</td></tr><tr><td>4.1.3</td><td>Le Golem informatique</td><td>198</td></tr><tr><td>4.2</td><td>« Obéit à ton maître ! »</td><td>203</td></tr><tr><td>4.2.1</td><td>Donner les moyens d'obéir aux ordres</td><td>203</td></tr><tr><td>4.2.2</td><td>Outilnum et le module « figurant »</td><td>210</td></tr><tr><td>4.2.3</td><td>Lucky, métaphore du Golem</td><td>218</td></tr><tr><td>4.3</td><td>Simulation d'intelligence, multiplicité et émergence</td><td>225</td></tr><tr><td>4.3.1</td><td>Multiplicité et émergence</td><td>225</td></tr><tr><td>4.3.2</td><td>Interaction et Scénarisation</td><td>231</td></tr><tr><td>4.3.3</td><td>Robot conversationnel et écriture de dialogue</td><td>239</td></tr><tr><td>5</td><td>Acteur Virtuel</td><td>247</td></tr><tr><td>5.1</td><td>Être à l'initiative de sa propre décision</td><td>249</td></tr><tr><td>5.1.1</td><td>Obéissance contre éducation</td><td>250</td></tr><tr><td>5.1.2</td><td>Apprendre l'autonomie</td><td>256</td></tr><tr><td>5.1.3</td><td>L'autonomie</td><td>262</td></tr><tr><td>5.2</td><td>Autonomie contre scénarisation</td><td>267</td></tr><tr><td>5.2.1</td><td>Trouver un compromis</td><td>267</td></tr><tr><td>5.2.2</td><td>L'hybridation golem/acteur</td><td>274</td></tr><tr><td>5.2.3</td><td>La Geôle</td><td>279</td></tr><tr><td>5.3</td><td>De Pygmalion à Gepetto</td><td>287</td></tr><tr><td>5.3.1</td><td>Le mythe de Galatée</td><td>287</td></tr><tr><td>5.3.2</td><td>Suis-je un nouveau Pygmalion ?</td><td>292</td></tr></table>
Introduction

<table><tr><td>5.3.3 Ou juste Gepetto</td><td>298</td></tr><tr><td>Conclusion</td><td>301</td></tr><tr><td>Le « Double Autre »</td><td>303</td></tr><tr><td>Repenser le personnage virtuel</td><td>304</td></tr><tr><td>Marionnette Virtuelle et marionnettiste</td><td>306</td></tr><tr><td>Golem Virtuel, une relation maître/esclave</td><td>307</td></tr><tr><td>Acteur virtuel, vers une émancipation, par l'apprentissage... et par la désobéissance !</td><td>308</td></tr><tr><td>Le masque virtuel, une nouvelle piste ?</td><td>309</td></tr><tr><td>Bibliographie</td><td>311</td></tr><tr><td>Glossaire</td><td>329</td></tr><tr><td>Index</td><td>353</td></tr></table>
Index des figures

<table><tr><td>Figure 1 : Le corps de l'avatar reconstruit de Kelly Mézino</td><td>32</td></tr><tr><td>Figure 2 : Portrait à robe blanche</td><td>32</td></tr><tr><td>Figure 3 : Le personnage de Max Headroom</td><td>33</td></tr><tr><td>Figure 4 : Matt Frewer pendant séance de maquillage pour le personnage de Max Headroom</td><td>36</td></tr><tr><td>Figure 5 : Le hackeur inconnu du Max Headroom incident du 22 novembre 1989</td><td>37</td></tr><tr><td>Figure 6 : Femme au sac à main de Duan Hanson(1974)</td><td>41</td></tr><tr><td>Figure 7 : John De Andrea Untitled Studio Scene(1977)</td><td>42</td></tr><tr><td>Figure 8 : Murakami Arhat Robot(2016)</td><td>43</td></tr><tr><td>Figure 9 : La vallée de l'étrange(Mori 1970)</td><td>44</td></tr><tr><td>Figure 10 : Project Emily (Debevec et al. 2000; Alexander et al. 2010, 2013) à droite et Wiki Human Project à gauche (« Wiki Human Project » 2014)</td><td>45</td></tr><tr><td>Figure 11 : Gollum du seigneur des anneaux (Jackson 2003)</td><td>46</td></tr><tr><td>Figure 12 : un extrait de Southpark où nous pouvons voir un design d'enfant, Satan et Saddam Hussein.Notons la disparité des styles</td><td>49</td></tr><tr><td>Figure 13 : Le dispositif du deuxième atelier IdefiCreatic du geste capté au geste acté (2015)</td><td>52</td></tr><tr><td>Figure 14 : architecture du dispositif</td><td>53</td></tr><tr><td>Figure 15 : Portrait en ¾ non interactif (2017)</td><td>53</td></tr><tr><td>Figure 16 : Monde réel/monde virtuel et fenêtre</td><td>54</td></tr><tr><td>Figure 17 : si de face et de profil, nous avons une adresse cohérente, de 3/4 nous ne savons pas à qui s'adresse l' avatar</td><td>54</td></tr><tr><td>Figure 18 : Portait interactif "Les miens" à l'exposition Recto-Verso 2019</td><td>55</td></tr><tr><td>Figure 19 : la cohérence des adresses est conservée</td><td>55</td></tr><tr><td>Figure 20 : différentes architectures</td><td>57</td></tr><tr><td>Figure 21 : La marionnette virtuelle et un acteur dans la mise en scène de La tempête par la royal shakespeare company</td><td>57</td></tr><tr><td>Figure 22 : une mise en scène avec plusieurs acteurs et mocapteurs dans la pièce de théâtre Psychanalyse augmentée (Milesi, Gagneré et Plessiet 2017)</td><td>58</td></tr><tr><td>Figure 23 : Agamemnon redux prototype</td><td>59</td></tr><tr><td>Figure 24 : L'autre de Catherine Ikam et Louis Fleri et Miroir de Karleen Groupierre, Sophie Daste et Adrien Mazaud</td><td>60</td></tr><tr><td>Figure 25 : Kobito Virtual Brownie</td><td>61</td></tr><tr><td>Figure 26 : Videodrome de Cronenberg</td><td>62</td></tr><tr><td>Figure 27 : Autoportrait à l'écran</td><td>62</td></tr><tr><td>Figure 28 : montage de l'exposition Play! à bar le duc et résultat final : les toiles servant a cacher les fils et les cadres imprimés en 3D camouflant les écrans</td><td>63</td></tr><tr><td>Figure 29 : Cassandre Matériaux (Chabalier 2016)</td><td>64</td></tr><tr><td>Figure 30 Asile Escape de Tristan Fevrier Dimitri Carré et Gael Cocat(Fevrier, Carré et Cocat 2016)</td><td>65</td></tr><tr><td>Figure 31 : (a) Interaction Mediatisée(b) MITMI</td><td>66</td></tr><tr><td>Figure 32 : Interaction MITMI de Cassandre Matériaux et Between the lines</td><td>67</td></tr><tr><td>Figure 33 : Ganesh Yourself(Grimaud 2016)</td><td>67</td></tr><tr><td>Figure 34 : Between the lines, en collaboration avec Maflohé Passedouet</td><td>69</td></tr><tr><td>Figure 35 : (a) Pierrick Sorin Petit travelling printanier, théâtre optique, 2009 (b) Pierrick Sorin Cinq rêves dans un joli parc, théâtre optique, 1997</td><td>69</td></tr><tr><td>Figure 36 : Smoke</td><td>70</td></tr><tr><td>Figure 37 : DelicateBoundaries de Chris Sigrue (2007)</td><td>71</td></tr></table>
<table>
  <tbody>
    <tr>
      <td>Figure 38 : Arpége travail en cours (2019)</td>
      <td>72</td>
    </tr>
    <tr>
      <td>Figure 39 : (a) carte d'utilisateur et (b) carte de profondeur</td>
      <td>73</td>
    </tr>
    <tr>
      <td>Figure 40 : le plan 2D déformé</td>
      <td>74</td>
    </tr>
    <tr>
      <td>Figure 41 : Avacteur en action recevant l'ombre d'un élément du décor et projetant son ombre dans le décor</td>
      <td>74</td>
    </tr>
    <tr>
      <td>Figure 42 : système de réalité virtuelle (Fuchs 2010, page 10)</td>
      <td>76</td>
    </tr>
    <tr>
      <td>Figure 43 : Adelin Schweitzer A-Reality #SimStim (Schweitzer 2016)</td>
      <td>77</td>
    </tr>
    <tr>
      <td>Figure 44:(a) L'installation réelle dans Lab'surd (b) le set virtuel au démarrage de l'œuvre (c) une image de l'environnement virtuel évoluant au cours de l'expérience</td>
      <td>78</td>
    </tr>
    <tr>
      <td>Figure 45 : (a) dissonance cognitive, (b) plongé (Guez 2015, page 76)</td>
      <td>79</td>
    </tr>
    <tr>
      <td>Figure 46:(a) le dispositif (b) la vision du spectacteur de la première version de Lucky</td>
      <td>80</td>
    </tr>
    <tr>
      <td>Figure 47 : en haut Dan Roarty Blue- project et Happy-birthday Nanaf, en bas à gauche Abuelaco de Alex Hugue et à droite Da Nao Tian Gong de Wei Long Zhong</td>
      <td>86</td>
    </tr>
    <tr>
      <td>Figure 48 : making of de Blue- project et Happy-birthday Nanaf de Duan Hoarty</td>
      <td>87</td>
    </tr>
    <tr>
      <td>Figure 49 : la récréation de la doublure numérique de Paul Walker (le vrai Paul Walter se trouve à gauche et la doublure numérique à droite (Hall 2018))</td>
      <td>88</td>
    </tr>
    <tr>
      <td>Figure 50 : La Na'vi Neytiri et l'actrice Zoe Saldana (Duncan et Fitzpatrick 2010)</td>
      <td>89</td>
    </tr>
    <tr>
      <td>Figure 51 : l'actrice Malgorzata Foremniak dans le film Avalon (Oshii 2001)</td>
      <td>91</td>
    </tr>
    <tr>
      <td>Figure 52 : Eve Solal d'attitude studio dans le figaro studio (2001) Il est à noter que sur cette image seule la tête était réellement en 3D</td>
      <td>92</td>
    </tr>
    <tr>
      <td>Figure 53 : (a) autoportrait réalisé manuellement à partir d'images de références. (b) utilisation d'une tête de l'artiste Maflohé Passedouet réalisée par cette méthode pour l'installation Between the lines</td>
      <td>94</td>
    </tr>
    <tr>
      <td>Figure 54 : autoportrait en pyjama pour le projet CW3(a), Detail tête avec cheveux et barbe pour le projet CW3 (b)</td>
      <td>95</td>
    </tr>
    <tr>
      <td>Figure 55 : Agamemnon et Clytemnestra pour la scène du bain</td>
      <td>95</td>
    </tr>
    <tr>
      <td>Figure 56 : le lightstage 5 mis en place par Paul Debevec</td>
      <td>97</td>
    </tr>
    <tr>
      <td>Figure 57 : Captation de ma tête par une étudiante d'ATI avec le scanner à lumière structurée</td>
      <td>97</td>
    </tr>
    <tr>
      <td>Figure 58 : la tête tranchée du Cyborg dans Perfect Body (Puppo 2019)</td>
      <td>98</td>
    </tr>
    <tr>
      <td>Figure 59 : la numérisation d'un Masque kepong issue de la collection d'André Breton</td>
      <td>99</td>
    </tr>
    <tr>
      <td>Figure 60 : (a) erreur sur la captation de poils (b) et de corps</td>
      <td>101</td>
    </tr>
    <tr>
      <td>Figure 61 : scan de ma tête après nettoyage</td>
      <td>101</td>
    </tr>
    <tr>
      <td>Figure 62 : le scan (a) et le résultat obtenu (b) après l'étape de sculpture numérique</td>
      <td>103</td>
    </tr>
    <tr>
      <td>Figure 63 : les différentes étapes de l'algorithme : (a) points critiques, (b) scanner d'entrée, (c) résultat de sortie</td>
      <td>104</td>
    </tr>
    <tr>
      <td>Figure 64 : les différentes étapes du scan au corps complet, (a) le scan, (b) le corps de base, (c) la tête projetée sur le corps (d) le corps final retouché</td>
      <td>105</td>
    </tr>
    <tr>
      <td>Figure 65 : les 4 textures, le derme, l'épiderme, l'hypoderme et le spéculaire</td>
      <td>107</td>
    </tr>
    <tr>
      <td>Figure 66 : (a) normal map et (b) displacement map</td>
      <td>108</td>
    </tr>
    <tr>
      <td>Figure 67 : visage sans shader SSS et visage avec shader SSS</td>
      <td>109</td>
    </tr>
    <tr>
      <td>Figure 68 : Un œil marron et les différentes parties qui le composent</td>
      <td>110</td>
    </tr>
    <tr>
      <td>Figure 69 : module d'automatisation de la création de la carte de derme, d'hypoderme et de spéculaire</td>
      <td>112</td>
    </tr>
    <tr>
      <td>Figure 70 : Pipeline de mes séries de portraits</td>
      <td>113</td>
    </tr>
    <tr>
      <td>Figure 71 : Pipeline de création et de traitement d'un scan 3D</td>
      <td>114</td>
    </tr>
    <tr>
      <td>Figure 72 : Fenêtre de casting dans TACTIC</td>
      <td>115</td>
    </tr>
  </tbody>
</table>
<table>
  <tbody>
    <tr>
      <td>Figure 73 : un exemple de edge loops pour la modélisation du corps (M*A*R*K 2012)</td>
      <td>122</td>
    </tr>
    <tr>
      <td>Figure 74 : l'utilisation de triangle casse l'écoulement du maillage</td>
      <td>123</td>
    </tr>
    <tr>
      <td>Figure 75 : test de déformation faciale</td>
      <td>123</td>
    </tr>
    <tr>
      <td>Figure 76 : la forme neutre en bleu, les formes de blendshapes autour et le résultat de la combinaison du blendshape en rouge</td>
      <td>124</td>
    </tr>
    <tr>
      <td>Figure 77 : quelques combinaisons de FAU (Campbell 2014)</td>
      <td>125</td>
    </tr>
    <tr>
      <td>Figure 78 : retargetting des FAU d'un maillage de base à un scan projeté sur un maillage de base</td>
      <td>126</td>
    </tr>
    <tr>
      <td>Figure 79 : le grand cirque de Calder (Painlevé et al. 1955)</td>
      <td>129</td>
    </tr>
    <tr>
      <td>Figure 80 : Ovahimba de Uli Aschenborn</td>
      <td>130</td>
    </tr>
    <tr>
      <td>Figure 81 : Une marionnette à fils et ses marionnettistes (source wikipedia)</td>
      <td>136</td>
    </tr>
    <tr>
      <td>Figure 82 : Rig simple FK/IK pour la doublure numérique d'Audrey Payelle pour Arpege</td>
      <td>138</td>
    </tr>
    <tr>
      <td>Figure 83 : Positionnement de la Marionnette Virtuelle par rapport à l'origine de la décision et du mouvement</td>
      <td>139</td>
    </tr>
    <tr>
      <td>Figure 84 : extrait d'Agamemnon redux où les marionnettes ont le même mouvement que l'acteur/manipulateur(Lavander, 2017)</td>
      <td>142</td>
    </tr>
    <tr>
      <td>Figure 85 : La vie en rose (Filacanapa, 2017). le geste du manipulateur renvoie une signification différente lorsqu'il est transmis à l'avatar</td>
      <td>144</td>
    </tr>
    <tr>
      <td>Figure 86 : Street Fighter 2 (Okamoto 1992)</td>
      <td>144</td>
    </tr>
    <tr>
      <td>Figure 87 : Doom(Carmack et al. 1993)</td>
      <td>145</td>
    </tr>
    <tr>
      <td>Figure 88 : Mocapteur contrôlant son avatar au cours d'un atelier du Labex art H2H scène augmentée</td>
      <td>147</td>
    </tr>
    <tr>
      <td>Figure 89 : Rêverie</td>
      <td>148</td>
    </tr>
    <tr>
      <td>Figure 90 : L'automate à états de Rêverie</td>
      <td>149</td>
    </tr>
    <tr>
      <td>Figure 91 : Atsuchi Takenuchi interagissant avec mes poissons virtuels</td>
      <td>150</td>
    </tr>
    <tr>
      <td>Figure 92 : Extrait d'une animation de la « Pin-up » par Preston Blair pour les studios Tex Avery (Blair 2016)</td>
      <td>152</td>
    </tr>
    <tr>
      <td>Figure 93 : (a) affichage de la trajectoire de la main droite du personnage et (b) courbes de translation dans l'éditeur de courbe</td>
      <td>153</td>
    </tr>
    <tr>
      <td>Figure 94 : Betty Boop et l'extrait de référence</td>
      <td>154</td>
    </tr>
    <tr>
      <td>Figure 95 : chaînes de contrôle du mocapteur vers l'avatar complexe</td>
      <td>158</td>
    </tr>
    <tr>
      <td>Figure 96 : chaîne de contrôle entre mocapteur et manipulacteur</td>
      <td>159</td>
    </tr>
    <tr>
      <td>Figure 97 : (a) mocapteur immergé d'Outilnum et le rig Caméra et une mocaptrice dans l'atelier Idéfi Creatic de 2015</td>
      <td>160</td>
    </tr>
    <tr>
      <td>Figure 98 : Le dispositif CW3 du Labex Art H2H Scène Augmenté avec la Kinect posé au sol</td>
      <td>161</td>
    </tr>
    <tr>
      <td>Figure 99 : zone de captation de la Kinect (en bleu) et de la Neuron Mocap (en rouge)</td>
      <td>162</td>
    </tr>
    <tr>
      <td>Figure 100 : séance de répétition avec deux mocapteurs et deux avatars</td>
      <td>164</td>
    </tr>
    <tr>
      <td>Figure 101 : L'acteur Andy Serkis en séance de performance capture (Garcia 2014)</td>
      <td>165</td>
    </tr>
    <tr>
      <td>Figure 102 : organisation du Créative Workshop 3 1 et 2 acteur masqué, 3 mocapteur, 4 avatar 5 manipulacteur, 4 directeur d'acteur</td>
      <td>167</td>
    </tr>
    <tr>
      <td>Figure 103 : Le Mocapteur hors public</td>
      <td>168</td>
    </tr>
    <tr>
      <td>Figure 104 : Atelier workshop au Conservatoire national d'art dramatique</td>
      <td>169</td>
    </tr>
    <tr>
      <td>Figure 105 : Plusieurs mocapteurs en interaction avec des acteurs</td>
      <td>169</td>
    </tr>
    <tr>
      <td>Figure 106 : Acteur/mocapteur</td>
      <td>170</td>
    </tr>
    <tr>
      <td>Figure 107 : Agamemnon redux prototype</td>
      <td>171</td>
    </tr>
  </tbody>
</table>
<table>
  <tbody>
    <tr>
      <td>Figure 108 : Une marionnette Bunkaru et ses trois marionnettistes</td>
      <td>175</td>
    </tr>
    <tr>
      <td>Figure 109 : Le personnage d'Ariel en Harpie dans la pièce la Tempête de Shakespeare par Gergory Doran</td>
      <td>176</td>
    </tr>
    <tr>
      <td>Figure 110 : bulle : en interaction avec des bulles réelles</td>
      <td>177</td>
    </tr>
    <tr>
      <td>Figure 111 : AKN_ActingInput et AKN_Pupetter</td>
      <td>179</td>
    </tr>
    <tr>
      <td>Figure 112 : un AKN_Puppeter (la figure rouge) relie un AKN_NeuronMocapActingInput à la Marionnette Virtuelle</td>
      <td>180</td>
    </tr>
    <tr>
      <td>Figure 113 ; une Marionnette Virtuelle contrôlée par plusieurs puppetters, un premier puppetter contrôlant le haut du corps, un second puppetter contrôlant le bas du corps et la tête</td>
      <td>181</td>
    </tr>
    <tr>
      <td>Figure 114 : une Marionnette Virtuelle contrôlée par deux mocapteurs et un contrôle joystick</td>
      <td>181</td>
    </tr>
    <tr>
      <td>Figure 115 : Cou2garnk (2016)</td>
      <td>184</td>
    </tr>
    <tr>
      <td>Figure 116 : Ça bug dans les rotations (a) avant la rotation de la tête (b) et en cours d'interaction</td>
      <td>186</td>
    </tr>
    <tr>
      <td>Figure 117 : rabbin Loew et le Golem de Prague par Mikoláš Aleš (1899)(source wikipedia)</td>
      <td>190</td>
    </tr>
    <tr>
      <td>Figure 118:La boucle cybernétique (Bret 2002)</td>
      <td>194</td>
    </tr>
    <tr>
      <td>Figure 119 : les correspondances entre lettre et nombre</td>
      <td>195</td>
    </tr>
    <tr>
      <td>Figure 120 : le positionnement du Golem dans notre cartographie</td>
      <td>200</td>
    </tr>
    <tr>
      <td>Figure 121 : hiérarchie de la classe AKN_Sensor et de ses classes enfants</td>
      <td>205</td>
    </tr>
    <tr>
      <td>Figure 122 : le navmesh en vert généré automatiquement par le moteur de jeu Unreal</td>
      <td>207</td>
    </tr>
    <tr>
      <td>Figure 123 : l'architecture récursive</td>
      <td>208</td>
    </tr>
    <tr>
      <td>Figure 124 : les AKN_Actuators</td>
      <td>210</td>
    </tr>
    <tr>
      <td>Figure 125 : les différents modules d'Outilnum</td>
      <td>211</td>
    </tr>
    <tr>
      <td>Figure 126 : le module acteur immergé et le module cameraman</td>
      <td>212</td>
    </tr>
    <tr>
      <td>Figure 127 : Le module metteur en scène</td>
      <td>213</td>
    </tr>
    <tr>
      <td>Figure 128 : module acteur virtuel</td>
      <td>213</td>
    </tr>
    <tr>
      <td>Figure 129 : les calques de comportements mis en place dans OutilNum</td>
      <td>216</td>
    </tr>
    <tr>
      <td>Figure 130 : Une influence map, plus la zone est rouge, plus le Golem Virtuel sera repoussé</td>
      <td>217</td>
    </tr>
    <tr>
      <td>Figure 131 : Pozzo tenant en laisse Lucky dans la mise en scène de En attendant Godot de Beckett du festival d'Avignon de 1978</td>
      <td>220</td>
    </tr>
    <tr>
      <td>Figure 132 : Le dispositif de Lucky 1.0</td>
      <td>222</td>
    </tr>
    <tr>
      <td>Figure 133 : Quelques exemples simples de comportements émergeants</td>
      <td>228</td>
    </tr>
    <tr>
      <td>Figure 134 : Boucle de Langton</td>
      <td>229</td>
    </tr>
    <tr>
      <td>Figure 135 : On a marché sous l'eau</td>
      <td>230</td>
    </tr>
    <tr>
      <td>Figure 136 : La Louve</td>
      <td>235</td>
    </tr>
    <tr>
      <td>Figure 137 : Architecture de la louve</td>
      <td>236</td>
    </tr>
    <tr>
      <td>Figure 138:le système de communication UPCOM</td>
      <td>238</td>
    </tr>
    <tr>
      <td>Figure 139 : le jeu Facade</td>
      <td>238</td>
    </tr>
    <tr>
      <td>Figure 140 : Kelly conférencière</td>
      <td>241</td>
    </tr>
    <tr>
      <td>Figure 141 : Autoportait à l'écran</td>
      <td>243</td>
    </tr>
    <tr>
      <td>Figure 142 : le chatbot Emeth</td>
      <td>244</td>
    </tr>
    <tr>
      <td>Figure 143 : Dance avec moi</td>
      <td>254</td>
    </tr>
    <tr>
      <td>Figure 144 : le perceptron multicouche de la danseuse</td>
      <td>255</td>
    </tr>
    <tr>
      <td>Figure 145 : les créatures de Karl Sims</td>
      <td>256</td>
    </tr>
    <tr>
      <td>Figure 146 : Architecture d'un réseau de Kohonen</td>
      <td>258</td>
    </tr>
  </tbody>
</table>
<table>
  <tbody>
    <tr>
      <td>Figure 147 : Déroulement de l'auto organisation d'une carte de Kohonen qui organise des couleurs (Touzet 2015)</td>
      <td>258</td>
    </tr>
    <tr>
      <td>Figure 148 : exemple de sur-apprentissage (les couples d'apprentissage sont en vert)</td>
      <td>259</td>
    </tr>
    <tr>
      <td>Figure 149 : Immersion Autonomie et Interaction (Tisseau 2004a, page 8)</td>
      <td>264</td>
    </tr>
    <tr>
      <td>Figure 150 : La métaphore de Pinocchio</td>
      <td>264</td>
    </tr>
    <tr>
      <td>Figure 151 : décision interne et un mouvement interne</td>
      <td>266</td>
    </tr>
    <tr>
      <td>Figure 152(a) image extraite du film Ephémère et (b)l'installation Quorum Sensing</td>
      <td>268</td>
    </tr>
    <tr>
      <td>Figure 153 : (a) L'installation Portrait on the Fly de Christa Sommerer et Laurent Mignonneau (b) le portrait de Marie-Hélène Tramus généré par le système</td>
      <td>269</td>
    </tr>
    <tr>
      <td>Figure 154 : Stalker</td>
      <td>270</td>
    </tr>
    <tr>
      <td>Figure 155 : Black and White</td>
      <td>271</td>
    </tr>
    <tr>
      <td>Figure 156 : le pipeline d'apprentissage de geste du projet CIGALE( 2014)</td>
      <td>275</td>
    </tr>
    <tr>
      <td>Figure 157 : (a) InterACTE en interaction émergée et (b) en interaction immergée</td>
      <td>276</td>
    </tr>
    <tr>
      <td>Figure 158 : Diagramme de classe simplifié de AKN_Brain_Agent, AKN_Input et AKN_Puppeter</td>
      <td>277</td>
    </tr>
    <tr>
      <td>Figure 159 : un neurone formel</td>
      <td>279</td>
    </tr>
    <tr>
      <td>Figure 160:Mon double numérique en pyjama</td>
      <td>280</td>
    </tr>
    <tr>
      <td>Figure 161:Le graphe de navigation, en orange, la position du personnage, en vert la position à atteindre en rouge le chemin</td>
      <td>282</td>
    </tr>
    <tr>
      <td>Figure 162 : Le smart objet chaise (en bleu) et le smart objet repas (en vert)</td>
      <td>284</td>
    </tr>
    <tr>
      <td>Figure 162 : (a)Ishiguro et son double et « b) Repliee Q1Espo</td>
      <td>290</td>
    </tr>
    <tr>
      <td>Figure 164 : Zeuxis choisissant pour modèles les plus belles filles de Crotone par François-André Vincent</td>
      <td>291</td>
    </tr>
    <tr>
      <td>Figure 165 : (a) preset de Milk du matériau SSS point de départ pour la création d'un matériau d'ivoire (b) preset de Skin du même matériau(chaosgroup s. d.)</td>
      <td>293</td>
    </tr>
    <tr>
      <td>Figure 166 : deux personnages portant la même chemise</td>
      <td>294</td>
    </tr>
    <tr>
      <td>Figure 167 : problème d'intersection entre les maillages peau/vêtement</td>
      <td>294</td>
    </tr>
    <tr>
      <td>Figure 168 : l'actrice habillée, les vêtements et le corps sans les parties cachées par le vêtement</td>
      <td>295</td>
    </tr>
    <tr>
      <td>Figure 168 : Une statuette d'enfant en ivoire articulée, (b) une illustration de Pygmalion sculptant sa Galatée</td>
      <td>296</td>
    </tr>
    <tr>
      <td>Figure 170 : Le modèle « Marionnette Virtuelle, Golem Virtuel, Acteur Virtuel, Masque Virtuel»</td>
      <td>305</td>
    </tr>
  </tbody>
</table>
# Introduction
Une approche transversale

Cela fait maintenant un petit peu plus de dix ans que j'ai entamé ma carrière d'enseignant chercheur au sein du département Art et technologie de l'Image et de l'équipe INREV, équipe d'accueil Art des Images et Art Contemporain AIAC EA 4010. J'y ai mené une recherche que je revendique volontiers comme bicéphale car à la fois artistique et technique. Cette approche transversale, dans ma pratique et ma recherche, m'amène à embrasser ma problématique artistique dans un dialogue permanent entre technique et esthétique. L'ordinateur est mon outil principal de création et j'assume ce fait comme tel, car c'est cela qui caractérise mes recherches et mon travail : je ne peux séparer ma création artistique de son processus technologique. Ceci m'impose de suivre l'évolution informatique, de m'approprier et détourner les logiciels, algorithmes et langages de programmation, au fur et à mesure de mes réalisations et de mes questionnements esthétiques.

Je mets donc un point d'honneur à connaître la machine, à savoir la programmer et lui parler. Mais c'est avant tout parce que je suis un créatif qui a choisi comme support l'outil informatique, un outil conçu par des ingénieurs, qui me parle par un langage de pure logique.

C'est ainsi que l'on trouvera naturellement au fil des parties, une approche et une réflexion multidisciplinaires. J'ai délibérément choisi de ne pas cloisonner mes chapitres en « domaines de compétence », mais, plutôt d'aborder mes problématiques par une pensée complexe. Ainsi, en fonction des besoins, je convie des outils et des références venant de l'esthétique, de l'informatique, des sciences cognitives, ou de tout autre domaine qu'il m'aura semblé nécessaire de creuser.

De fait, si certains chapitres ont une teinte « technologique », d'autres ont une teinte plus « artistique ». Mais quoi qu'il en soit, je désire maintenir une position « médiane » afin de ne pas perdre une partie de mon lectorat par l'usage d'un langage trop « jargonnant ». Ainsi, si certains algorithmes ou concepts se doivent d'être approfondis, ils le seront en annexe ou dans le glossaire dont les mots écrits en gras seront définis et expliqués. Ainsi un mot écrit en **gras** renvoie à une définition que je développerai en annexe.
L'informatique comme outil de partage de mon
imaginaire

Cette approche technico-artistique s'appuie sur une certaine conception personnelle de l'outil informatique : un moyen de rendre structuré, de rendre cohérent mon imaginaire, d'une manière assez semblable à celle d'un écrivain qui, par sa maitrise de la langue, créait un accès tangible à l'univers qu'il a bâti et à l'histoire qu'il veut raconter.

J'ai le souvenir d'une question que Jean-Louis Boissier, chercheur et artiste numérique, m'avait posée sur mon travail : « quel est votre rapport avec la réalité ? » Cette question m'avait profondément marqué, car la réponse me semblait évidente. Je modélise la réalité pour la détourner comme une proposition artistique issue de mon imaginaire. Ceci m'a conduit à m'interroger sur le statut particulier de ces éléments réels que je copie, simule, puis détourne dans une démarche artistique, avec l'idée sous-jacente de la laisser m'échapper et prendre son autonomie.

Mais au-delà de l'autonomie de ma création, je veux que le spectateur « y croie » et donc valide le dispositif comme plausible, le temps de son interaction. Une telle volonté ne risque-t-elle pas de m'amener dans cette course au réalisme, que mènent certains artistes et scientifiques ? Ou, peut-être suis-je en train de chercher autre chose. Je pense que le fait de considérer une proposition comme plausible n'est pas forcément lié à une recherche de la reproduction des détails de notre monde réel, qu'ils soient visuels ou comportementaux, car nous acceptons tous, le temps d'un film, d'une pièce de théâtre ou d'un roman, l'histoire et l'univers qui nous est raconté.

Peut-être la réponse est-elle ailleurs, qu'il ne s'agit pas pour moi de faire « du réalisme », mais « du cohérent », de faire non pas une simulation, mais bien un simulacre.... Ainsi, les personnages qui habitent mes installations numériques doivent-ils être envisagés d'une manière différente. Le lien qui m'unit à eux s'inscrit dans la lignée des portraitistes qui part leur maitrise technique essaient de rendre perceptible le lien sensible qui les unies à leur modèle.
# Acteur virtuel, « double autre » et autonomie

Daniel et Nadia Thalmann avaient proposé une classification des acteurs virtuels en 4 parties (Thalmann 1996) : tout d'abord, les avatars qui correspondent à des représentations des visiteurs dans les mondes virtuels, les acteurs guidés dirigés par l'utilisateur, mais dont les mouvements ne sont pas exactement les mêmes que son manipulateur, les acteurs autonomes, dotés de capacités d'action et de perception dans le monde virtuel et les acteurs perceptifs conscients des autres acteurs et des humains. Si cette cartographie m'a profondément inspiré, j'éprouve néanmoins une certaine gêne, vis-à-vis d'elle, peut-être parce qu'elle se positionne sur une problématique « d'habitation d'un monde virtuel » dans lequel et avec lequel l'entité doit interagir.

Car mon approche met l'accent sur le lien qui peut unir le spectateur avec une créature virtuelle, dans un but artistique. Ceci m'amène à réfléchir à une nouvelle classification : une classification plus sensible qui ne positionne plus exclusivement l'entité virtuelle sur un plan technique d'habitation d'un monde virtuel, mais comme élément d'un dialogue sensible, voire une collaboration créative entre humain et entité virtuelle.

Ainsi ma réflexion porte sur le concept de sculpture que l'on fait bouger, puis qui se meut de manière de plus en plus autonome. La sculpture devient donc une marionnette qui pour fonctionner, nécessite un marionnettiste. Puis la marionnette devient un golem obéissant aux ordres de son maître, pour finir en véritable acteur virtuel maître de lui-même et avec lequel nous devons de collaborer. S'il y a un certain nombre d'analogies avec la classification des Thalmann, nous notons par là même une prise de distance avec ce modèle basé sur une double interrogation : qui bouge ? Et qui réfléchit ?

## Organisation de cet essai.

Ce document sera décomposé en cinq partie et un lexique

Dans la première partie intitulée « Traversée des frontières » je commencerai par un premier chapitre « Doppelgänger » où je relate ma fascination pour le mythe
de la “créature artificielle” amené à la vie par l’homme. Je décrirai ensuite comment
j’ai été amené à réfléchir à la notion de Double Autre par le travail que j’ai mené sur la
recréation en trois dimensions d’une étudiante et actrice de théâtre. Par la suite, dans
le « Réalisme ou Plausibilité ? », je m’intéresserai à la notion de réalisme, en évoquant
la théorie de la vallée de l’étrangeté, avec le travail des artistes photoréalistes et
hyperréalistes qui interrogent, par leur travail, la réalité même. À partir de ce point, je
montrerai que mon intérêt ne porte pas réellement sur le réalisme, mais plutôt sur ma
manière de définir un cadre plausible que j’appelle une Bulle de Plausibilité. Dans le
chapitre 3 de cette réflexion « L’outil informatique comme outil de traversée des Bulles
de Plausibilité » je décrirai l’outil informatique comme moyen de traverser ces Bulles
de Plausibilité en permettant, par exemple, de jouer avec la notion de frontière entre
monde réel et monde virtuel, soit permettant au spectacteur d’être « immergé » dans
l’œuvre.

Dans le Chapitre 1 « Quand la 3D s'empare du photoréalisme » de la seconde partie « Sculpture Matrice », je montrerai pratiquement comment je réussis à créer ces sculptures virtuelles. Pour cela, je pars d'une numérisation 3D, puis en m'appuyant sur ma pratique de sculpture 3D et sur mes connaissances en rendu d'image, j'aboutis à ce que j'appelle une « Sculpture Matrice ». Je détaillerai dans le Chapitre 2 « La captation du réel : Scanner 3D et reproduction » le concept de sculpture virtuelle qui contient en elle-même une potentialité de mouvement, ce qui la positionne dans une approche du mouvement que n'auraient pas reniée les cinétiques.

Dans la partie 3 « Marionnette Virtuelle », je décrirai dans un premier chapitre
« Marionnette et marionnettiste » ce que j'entends par Marionnette Virtuelle : une
entité virtuelle qui ne dispose pas de mécanismes de prise de décision et de génération
interne. J'aborderai alors le rapport de celle-ci avec son marionnettiste. Je détaillerai,
dans le chapitre 2 « La Marionnette Virtuelle, le manipulateur et son rapport au temps
et à l'espace », le rapport particulier d'empathie que le marionnettiste entretient avec
sa créature malgré des référentiels "temps" et "espace" différents, si le marionnettiste
travaille en temps différé par exemple comme animateur 3D traditionnel, ou en tant
que mocapteur et manipulacteur, terme que nous avons inventé pour préciser
différents types de marionnettistes. Enfin, dans le chapitre 3 « Au-delà du couple
marionnette/marionnettiste » nous montrerons que les interactions entre la
Marionnette Virtuelle, le marionnettiste et le spectateur sont plus complexes que ce
que nous pouvions imaginer au premier abord. En effet, nous pouvons très bien nous représenter une marionnette contrôlée par plusieurs marionnettistes, voire un marionnettiste manipulé par sa propre Marionnette Virtuelle.

La partie 4 « Golem Virtuel » sera pour nous l'occasion d'aller plus loin dans la recherche d'autonomie, en réfléchissant à la possibilité de doter notre entité virtuelle d'un mouvement incarné dont l'origine serait l'entité elle-même. Nous commencerons tout d'abord dans le Chapitre 1 « Golem et Cybernétique » à nous intéresser à une figure de la mystique juive, le Golem et nous ferons un parallèle entre la kabbale et l'outil informatique en notant l'influence que la figure du Golem a eue sur l'inventeur de la cybernétique. Nous définirons une nouvelle entité virtuelle capable de suivre un algorithme, le Golem Virtuel. Dans le Chapitre 2 « Obéît à ton maître ! », nous étudierons les modifications profondes dans l'architecture de notre entité virtuelle. En effet, nous devons implémenter un ensemble de mécanismes pour permettre à notre Golem Virtuel de suivre les ordres qui lui sont donnés. Nous étudierons comment nous l'avons mis en œuvre dans différents projets et interrogerons notre choix de penser nos dispositifs d'un point de vue narratif et plus seulement interactif. Mais comment nous faire obéir par ce golem ? Le Golem Virtuel est-il toujours contraint de nous obéir ou peut-il échapper à notre contrôle ? C'est la question que nous nous poserons dans le chapitre « Simulation d'intelligence, multiplicité et émergence ».

C'est donc un nouveau risque qui est apparu : le risque d'une entité qui nous échappe. Dans la partie 5 « Acteur Virtuel », nous étudierons comment une telle entité virtuelle peut gagner en autonomie et comment cela modifie le rapport être réel/être virtuel. Dans le chapitre 1 « Être à l'initiative de sa propre décision », nous nous intéresserons à la notion d'apprentissage, élément central pour assurer une émancipation collaboratrice qui ne soit pas qu'une perte de contrôle. Mais qu'est-ce que l'apprentissage ? Et surtout, comment pouvons-nous permettre à une entité virtuelle d'apprendre ? De plus, ne devons-nous pas réfléchir à cette nouvelle autonomie en tant que problème esthétique ? Dans le chapitre 2 « Autonomie contre scénarisation. » nous nous intéresserons à cette question de l'autonomie et imaginerons un ensemble de mécanismes pour nous permettre de disposer à la fois d'une certaine forme d'autonomie tout en conservant un contrôle sur notre Acteur Virtuel. Nous décrirons plus précisément comment nous sommes en train de le mettre en pratique dans un autoportrait interactif *la Geôle*. Ceci nous renvoie à l'image de
Introduction

Pygmalion dont la statue prend vie et dont il tombe amoureux. C'est dans le chapitre
3 « De Pygmalion à Gepetto » que je me positionnerai. Est-ce que je me considère
comme un Pygmalion moderne ? Ou ne suis-je pas plutôt un Gepetto heureux de voir
sa marionnette Pinocchio s'émanciper et couper ses fils ?
# 1 Traversée des frontières
J'ai toujours été fasciné par le personnage virtuel. Cette entité complexe joue
son existence sur deux plans : le plan visuel, celui du « corps qui s'affiche », de l'image
3D et le plan conceptuel, celui du « corps habité ». Nous pouvons voir là une
modélisation de la phrase de Descartes qui écrivait dans ses Œuvres
Philosophiques« Il est certain que moi, c'est-à-dire mon âme, par laquelle je suis ce
que je suis, est entièrement et véritablement distincte de mon corps et qu'elle peut être
ou exister sans lui »(Descartes 1841, page 190). Dans notre cas, nous devons donc
créer un « corps », une enveloppe, qui sera habitée par une « âme artificielle », si nous
reprenons la terminologie de Descartes.

Dans cette partie, nous nous focaliserons, tout d'abord sur les raisons qui me poussent à créer ces entités virtuelles et comment nous pouvons voir, dans mon travail l'influence d'une certaine littérature gothique du XIXème siècle. Mais là où le savant est maudit du fait de sa volonté de donner la vie, je me contente et assume pour ma part le fait que je ne cherche ni à créer un simulacre assumé ni « un autre être ».

Si j'adopte dans la création de ce simulacre, une certaine forme de plausibilité esthétique, c'est avant tout pour que mon entité virtuelle puisse avoir une cohérence. Il devient logique que si cette entité est aux prises avec le réel, il faudra donc qu'elle tende vers le photoréalisme et puisse s'inscrire par là même dans ce courant artistique. Cependant, cette expression est peut-être mal choisie, car mon but n'est pas de copier le réel, mais de m'appuyer sur lui pour créer ma propre « bulle de plausibilité »

1.1 Doppelgänger

Si j'éprouve une fascination pour les créatures artificielles (et par extension
virtuelles), il est intéressant de noter que je la dois, non pas à la littérature de science-
fiction contemporaine (cyberpunk<fnref n="1" />, hard science-fiction<fnref n="2" />, etc.), mais bien à la littérature
fantastique et gothique des siècles précédents. En effet, j'ai été davantage marqué par
Les Aventures de Pinocchio de Carlo Collodi(Collodi 1883; Luske et Sharpsteen

<footnote n="1">¹ Le cyberpunk est un genre de la science-fiction mettant en scène un futur proche où les technologies de l'information et la cybernétique ont pris une importance majeure sur la société, en opposition à un appauvrissement culturel et moral.</footnote>

<footnote n="2">² La hard science-fiction est un courant de la science-fiction qui s'appuie une extrapolation la plus cohérente possible avec les sciences dites dures.</footnote>
1940)<fnref n="1" />, ou par *Le Portrait de Dorian Grey* d'Oscar Wilde (Wilde 1890), ou encore par *Le Horla de Maupassant* (Maupassant 1886), que par *Le Cycle des robots* d'Isaac Asimov (Asimov 1950).

Ceci pourrait sembler paradoxal si on tient uniquement compte de mon intérêt pour l'informatique et les technologies. Mais en réalité ceci me semble plutôt logique, car ce qui m'intéresse n'est pas de créer un être artificial, mais avant tout de matérialiser une entité issue de mon imaginaire.

Cette posture influence fortement mon rapport à l'outil informatique, mais également mon rapport au concept de « double ». Je ne positionne mon travail de recherche-création, ni dans une optique de simulation (Baudrillard 1985) ni dans une optique de simulacre<fnref n="2" /> qui singe les symptômes<fnref n="3" />.

Pour mieux saisir la spécificité de ma démarche, je dois évoquer un personnage tiré d'une série éponyme qui m'a profondément marqué, *Max Headroom*. Ce personnage est lui-même issu de la série cyberpunk *20 Minutes into the futur* des années 1980 (Waag 1987) qui dépeint les aventures d'un journaliste et de sa doublure numérique autonome.

*Max Headroom* est, selon moi, une nouvelle sorte de double. Il ne s'agit pas d'un « double copie », ni d'un « double reflet », mais bien d'un « double autre » qui s'autonomise pour créer sa propre réalité.

### 1.1.1 De la créature de Frankenstein...

Ainsi, ma passion pour les créatures artificielles relève plus de mon goût pour l'imaginaire que d'une fascination « techniciste ». En réalité, j'ai toujours envisagé l'outil informatique comme une manière de matérialiser « mon monde imaginaire » en rationalisant ma pensée à la manière des créateurs d'univers comme Lovecraft, Tolkien, ou Zola. Car créer un univers ne veut pas forcément dire qu'il soit rempli de créatures fantasmatiques ou mythiques, mais aussi créer un monde imaginaire

<footnote n="1">¹ Mais aussi bien entendu par l'adaptation des studios Disney.</footnote>

<footnote n="2">² À ce sujet, je pense à l'évocation faite par Jean Baudrillard de la nouvelle de Borges traitant de la réalisation d'une carte d'un royaume à l'échelle 1 tellement parfaite qu'elle recouvre le royaume lui-même. *ibid* page 9</footnote>

<footnote n="3">³ Le simulateur qui fait semblant d'être malade, etc. *Ibid* page 12</footnote>
cohérent : la saga des Rougon-Macquart me semble être un exemple marquant de création d'un tout cohérent.

Je suis donc influencé par des personnages comme Frankenstein<fnref n="1" />(Shelley 1831), ou Edison<fnref n="2" /> de L'Ève future (Villiers de L'Isle-Adam 1886) qui « créent la vie », mais aussi par ces personnages de Maupassant ou de Gauthier, qui matérialisent un être par la force de leur imaginaire.

Dans cette littérature, il est remarquable que ces héros créateurs soient toujours affectés par une sorte de malédiction, celle de l'homme démiurge se substituant à Dieu et transgressant cet interdit des religions judéo-chrétiennes. Au-delà de ce constat, ma démarche est tout autre, car je n'essaie pas de créer une vie consciente, mais juste de matérialiser une image jusqu'à son autonomie.

### 1.1.1.1 La matérialisation d'un Imaginaire

J'ai toujours été fasciné par ces écrivains qui créent un univers tellement cohérent qu'ils réussissent finalement à ancrer leur création dans « notre réalité ». Je pense, en particulier à Lovecraft, qui a réussi à travers son œuvre, à « matérialiser » par l'écriture une ville, Arkham, une université, l'université Miskatonic et un ouvrage, le Necronomicon.

Ces trois éléments, totalement imaginaires, ont laissé des traces dans le monde réel au point que certaines personnes se sont mises à croire à l'existence de ces lieux et de ces grimoires et ceci d'autant plus que dans les années quatre-vingt, un Necronomicon (Lacroix 2007) – Necronomicon Simon<fnref n="3" /> (Alhazred et al. 2017) qui a été édité, traduit et même annoté – a obtenu un réel succès commercial. Les « langues » créées par Tolkien pour « ses terres du milieu », enseignées (Fauskanger 2002) comme si elles étaient pratiquées, constituent un autre exemple.

<footnote n="1">¹ Le docteur Frankenstein donne vie à une créature hideuse.</footnote>

<footnote n="2">² Pour consoler son ami Lord Ewald d'une histoire d'amour compliquée avec une femme belle, mais peu intelligente, Edison fabrique une femme robot parfaite.</footnote>

<footnote n="3">³ En lisant le « Necronomicon Simon » j'ai été frappé par le fait que l'auteur de cet ouvrage essaie de se camoufler derrière une pseudo identité de religieux orthodoxe excommunié (finalement les deux véritables auteurs « dissimulés » seront révélés grâce aux droits d'auteurs).</footnote>
Dans la nouvelle Tlön Uqbar Orbis Tertius (Borges 1940), Borges imagine une société secrète qui décide d'écrire une encyclopédie sur un monde imaginaire, une encyclopédie tellement précise qu'au final, elle se met à faire exister dans notre réalité certains éléments de ce monde. Une œuvre de l'esprit, par la cohérence de l'imagination que son créateur y insuffle, peut réussir à s'infiltrer dans notre réalité : nous « croyons » à cette fiction.

Je crois que cette nouvelle décrit assez bien mon rapport à l'outil informatique et à la programmation en particulier : le langage informatique me permet d'écrire « mon encyclopédie » par laquelle je fais exister « mon monde imaginaire ». Il est un médium créatif qui me permet de matérialiser une forme d'imaginaire. Et à l'image de l'écrivain, dont la maîtrise poussée de la langue conduit à une meilleure matérialisation de son imaginaire, un imaginaire acté/actant, une plus grande maîtrise de l'outil informatique m'aide à affiner ce que j'ai en tête. Ne faudrait-il pas aller un peu plus loin et dire ce que pourrait être la spécificité de cette matérialisation de l'imaginaire par ce médium (différente de la matérialisation de l'imaginaire par l'écrit, par exemple) ? Une piste possible pour définir cette spécificité : ne pourrait-on pas parler d'un imaginaire numérique qui serait « un imaginaire actant » allant au-delà de la représentation ?

A contrario, nous pouvons trouver le phénomène inverse, à savoir une migration du réel vers le fictionnel, comme le montrent les naturalistes. Ainsi l'arbre généalogique des Rougont-Macard est tellement détaillé, ainsi que le récit des vies de chacun des personnages, qu'il est parfois difficile de ne pas croire que l'œuvre de Zola est composée des biographies, même un peu romancées, de personnages existants. Le lecteur y croient tout en sachant qu'il n'est pas réel, mais, comme l'écrit Jean Marie Schaeffer,« Or une expérience de lecture est une expérience aussi réelle que n'importe quelle autre expérience vécue » (Schaeffer 2015, page 13).

### 1.1.1.2 Créateur et créature

Le recul pris sur mon parcours m'a permis de m'apercevoir que mon travail plastique trouve une grande partie de son élaboration dans la littérature fantastique du XIXème siècle. Il m'importe d'analyser quelques œuvres pour pouvoir expliquer mon travail créatif, à savoir l'histoire de créateurs de créatures imaginaires. Ces récits ont pour sujet la matérialisation de créature, soit par la science, soit par l'imagination. Mais je ne me focaliserai pas sur les créatures artificielles elles-mêmes, comme il est fait
habituellement, mais bien sur la figure du créateur de la créature et comment l'écrivain relate cette démarche particulière car elle fait écho à ma démarche d'artiste créant des entités virtuelles.

Je suis fasciné par deux figures archétypales du personnage du créateur, issues directement de ces livres : le créateur conscient qui par sa propre démarche active, donne vie à sa création et le créateur imaginatif et inconscient qui crée de manière fortuite sa créature par son imagination. Il est évident qu'il existe d'autres personnages archétypaux comme celui du « créateur par hasard » qui voit émerger la créature de manipulations hasardeuses et celui du « découvreur d'artefact » comme Dorian Gray et son portrait.

Lors de la fabrication de leurs créatures artificielles, que ce soit Edison de L'Ève Future ou le docteur Frankenstein, ils sont tous les deux clairement conscients de leurs actions, mais pas des conséquences possibles de celles-ci. Ils développent un processus intentionnel, fruit d'un savoir et d'une recherche, dans un souci de démonstration logique et dans un désir de résultat. Le docteur Frankenstein veut comprendre le fonctionnement de la vie et c'est pour cette raison qu'il crée son monstre. En soi, le monstre n'est pas la finalité du docteur, mais la preuve qu'il avait raison. De la même manière, L'Ève Future est plutôt une démonstration, certes extrêmement misogyne, de ce que doit être une femme aimante et ceci afin d'aider son ami Ewald. Là encore, nous voyons que Edison ne porte finalement qu'un intérêt assez limité à sa création même.

Il en est tout autrement pour le narrateur aux prises avec le Horla<fnref n="1" /> (Maupassant 1886) ou encore pour le narrateur de la nouvelle Le Pied de momie<fnref n="2" /> (Gautier 1840), qui matérialisent, par la force de leurs imaginaires, des créatures. D'ailleurs les ont-ils réellement créées ? Ou même existent-elles vraiment ?

Le Horla est-il juste une création de l'esprit ? Finalement, le narrateur n'est pas sûr de l'avoir vu, il émet des doutes sur son existence réelle. Il se demande s'il devient fou ou bien s'il assiste à des coïncidences improbables ? Le Horla a-t-il une existence

<footnote n="1">¹ Le narrateur fictionnel est tourmenté par une créature invisible, mais aussi il doute de sa réalité.</footnote>

<footnote n="2">² Le héros après avoir trouvé le pied d'une momie, rêve que ce pied appartient à une princesse égyptienne et tombe amoureux de cette dernière.</footnote>
propre, indépendante de celle du narrateur ou n'existe-t-il que comme un
Dopplegänger<fnref n="1" /> ? Il en ressort que le narrateur éprouve un véritable sentiment de
défiance face à sa propre imagination.

Je me sens proche de la démarche du narrateur fictionnel de la nouvelle *Le Pied de momie* qui continue de tracer un chemin par l'imaginaire. Ce bout de pied fossilisé c'est son fantasme de la femme parfaite qu'il matérialise par sa rêverie.

Je considère ma démarche à la croisée de ces deux archétypes, d'une part
ma recherche-création se fait dans un souci « très scientifique » de modélisation, voire
de simulation dans certains cas, dans une volonté de test - cela fonctionne, ou au
contraire cela ne fonctionne pas - et d'autre part, cette recherche-création est avant
tout un transfert de mon imaginaire vers la réalité, par l'intermédiaire d'une entité
virtuelle, un imaginaire qui traduit par ailleurs une vision fantasmée de ma perception
du monde.

1.1.1.3 La 3D comme réinterprétation du réel

Même si mon travail a un ancrage fort dans le monde réel, je le considère
seulement comme un point de départ à ma création. Je m'appuie sur le réel pour créer
une image qui n'existe pas. Ce paradoxe se trouve en soi enraciné dans le médium
même que j'ai choisi : l'image de synthèse 3D. En effet, ce médium s'appuie sur le
principe même de simulation (George-Molland 2015 ; Couchot 2002) : simulation de la
lumière, de la perspective, de la dynamique... rendant ainsi l'expérimentation, hors de
ces modèles câblés dans le logiciel, complexe sinon impossible, si nous n'acceptons
pas de développer nos propres modèles.

Une phrase prononcée par Michel Bret pendant un de ses cours au
departement Arts et Technologies de l'Image me revient fréquemment à la mémoire :
> « N'oubliez jamais que ces logiciels, que vous utilisez pour faire une image, ont été
> réalisés par des ingénieurs, si vous voulez vous libérer de leur pensée, alors vous
> devez devenir ingénieur vous-même ».

Cette affirmation a trouvé un écho très profond en moi : si je veux créer en utilisant ce meta-outil, alors je dois me donner les moyens
de le faire en apprenant à le maitriser.

<footnote n="1">¹ Double maléfique.</footnote>
Il en résulte une méthodologie particulière de création : je pars de données réelles issues de la captation de la forme ou bien de la texture d'un objet réel ou d'un individu existant et de données simulées grâce à un modèle (trajectoire de la lumière, perspective, etc.), puis je les adapte et les détourne de manière à les faire correspondre à mon imaginaire.

Il est d'ailleurs étonnant de noter que ces modèles de simulations sont tellement proches de la réalité que nous nous retrouvons affectés par les mêmes limitations que ce que l'on trouve dans le monde physique, je pense par exemple à l'éclairage et aux problèmes de focales, car mon travail se base sur des algorithmes de simulation de phénomène optique comme le **rendu par lancer de rayon**, ou **rendu par illumination globale** (Van Dam, Foley et Feiner 1995).

Cela ferme paradoxalement un certain nombre de portes pour la création, car le système est programmé et « figé », alors que ces portes étaient laissées ouvertes par les médiums précédents du fait de leur « imperfection ». Si nous voulons réouvrir ces portes, c'est à nous de créer nos propres brèches dans le modèle.

Nous rencontrons donc un phénomène particulier : si nous voulons conserver un pouvoir de re-création du réel à partir de ce médium 3D, nous nous retrouvons à gérer une boucle itérative de traitement où le travail créatif et le travail de simulation s'effectuent à tour de rôle. L'un sert de base à l'autre, de façon répétée, jusqu'au résultat final. Ce phénomène se retrouve aussi dans le cas d'un projet **temps réel**, sauf que les boucles « travail créatif »/« travail de simulation » sont tellement rapides que nous avons l'impression que ces deux opérations se font en même temps (Heberly 2005, pages 277-283).

## 1.1.2 Double et Dopplegänger

À partir du moment où le travail de l'artiste 3D ne peut se faire que dans un dialogue entre lui et l'ordinateur, il y a bien une phase d'interprétation spécifique, à la fois artistique et technique. Ainsi, quand nous souhaitons « reproduire la réalité » — dans notre cas c'est l'idée de « créer son propre double » — nous obtenons un résultat hybride. Ce dernier n'est pas une simple simulation, ce n'est pas non plus une simple
copie du réel capté, mais bien un Double Autre qui nous échappe et qui est le résultat
de réinterprétations artistiques et techniques de plusieurs perceptions et captations.

Un sentiment qui m'animait dans mes travaux de simulation de bancs de
poissons ou de papillons ou mes modules de **chatbot**, est que je n'ai jamais eu pour
but de créer la simulation d'un phénomène d'un point de vue scientifique, mais créer
quelque chose qui fasse "croire au phénomène" et qui soit aussi esthétiquement
intéressant.

Il s'en suit que ma démarche, même si elle puise dans le réel, en est une
relecture imaginative technico-artistique en vue de créer une autre forme de double,
que je nomme un Double Autre.

1.1.2.1 Au-delà de la simulation

Il est vrai qu'une simulation se doit d'être exacte ou plutôt " vérifiable" par
l'épreuve de la réalité : une modélisation se construit à partir de l'observation du réel
et doit vérifier le réel. Si le modèle n'est pas en mesure de prévoir correctement les
évènements, alors cela veut dire qu'il est faux et doit être corrigé. La simulation crée
donc un "hyperréel" que Baudrillard définit comme le « *Produit de synthèse irradiant de modèles combinatoires dans un hyperespace sans atmosphère* » (Baudrillard 1985,
page 11).

La simulation, en soi, n'est pas au centre de ma problématique. Dans la
pratique, même si je m'appuie sur l'existant, je le confronte à mon imaginaire dans une
démarche ludocréative. C'est peut-être pour cette raison que j'ai senti une forte
résonnance avec les jeux vidéo « bac à sable »<fnref n="1" />. Un certain nombre de chercheurs qui
s'y sont intéressés ont compris cette spécificité du médium vidéo ludique(Amato 2008,
pages 41-48 ; Koster 2013, pages 170-180).

Ma démarche repose sur des mécanismes de simulation et de captation du
réel, mais en vue de créer un double envisagé non pas comme une "fiction du réel",
mais comme ce que j'appelle une "bulle de plausibilité" c'est-à-dire "double autre"
reconnu comme tel dans un contexte qui lui est propre.

<footnote n="1">¹ Un jeu vidéo « bac à sable » est un type de jeu vidéo qui propose un environnement virtuel généralement très large où le joueur a une grande liberté d'interaction.</footnote>
1.1.2.2 Le concept de Double Autre

Je me positionne un petit peu différemment par rapport au simulacre : selon
moi mon double virtuel recrée sa propre existence qui, grâce à son autonomie, devient
sa propre référence. C'est ce que j'appelle le Double Autre. Cette réflexion est partie
du travail mené sur une actrice du département théâtre, Kelly Mézino, qui avait
accepté de « prêter » son visage et son corps pour la création d'un avatar pour le projet
*Labex Art H2H* « scène augmentée ».

Après avoir effectué un **scan 3D** de sa tête, (processus que nous décrirons plus précisément en 3.1.2.2), je me suis aperçu que les photos de référence de son corps prises pendant la capture par un autre participant étaient inexploitables. C'est donc, dans un premier temps, en me basant sur ma mémoire et mon imagination que j'ai reconstruit son corps, faisant de la "Kelly Virtuelle" (Figure 1) une représentation hybride, partant d'un indice réel, des données issues de la captation 3D et d'une vision fantasmée de cette personne. Par la suite, nous avons entrepris, mon modèle et moi, un dialogue sur les défauts de ma modélisation, qui a permis de finaliser son corps virtuel. Mais finalement, est-ce que ce corps virtuel est vraiment fidèle à l'original ?

Selon moi, ce corps virtuel est un compromis entre nos deux visions, celle de l'artiste d'une part et du modèle d'autre part, devenant par là même une "co-création".

Ceci transforme radicalement le rapport artiste/modèle actif/passif dans l'approche académique du nu (Guédron 2003) ou encore, dans une moindre mesure, dans la retouche photographique comme elle est appliquée actuellement (Darras 2008).

La réalisation de son corps virtuel est issue d'une interprétation complexe se basant à la fois sur un acte mémoriel (les souvenirs que j'ai de cette personne), sur des photographies de mauvaise qualité et sur un travail d'imagination concernant les parties de son corps cachées par un vêtement, car nous avions décidé d'un commun accord de ne pas utiliser de photographies de référence du modèle nu ou en sous-vêtements
<figure><img src="image_3.png" /><figcaption>Figure 1 : Le corps de l'avatar reconstruit de Kelly Mézino</figcaption></figure>

En outre, ce travail s'est aussi confronté au point de vue du modèle vivant, énonçant sa propre perception de son corps et dont il a fallu tenir compte. Ceci entraîne à la fois des problèmes d'interprétation et de compréhension entre le modèle et le sculpteur donc une forme de compromis de plusieurs représentations de ce corps.

<figure><img src="image_4.png" /><figcaption>Figure 2 : Portrait à robe blanche</figcaption></figure>
L'ensemble de ces données a induit la nécessité de créer un nombre impressionnant de biais pour parvenir à la représentation de ce corps humain réel. Il en résulte un avatar hybride composé de traces captées ou mnésiques de la réalité, de fantasmes ou de projections imaginaires<fnref n="1" />, il est un premier stade vers le Double Autre, un double qui échappe à sa source, à son modèle original (Figure 2).

### 1.1.3 Le symbole du « Double Autre » : Max Headroom

Pour mieux saisir ce que j'appelle un "Double Autre" je vais m'appuyer sur une série de science-fiction/cyberpunk qui m'a profondément marqué et qui a certainement été pour beaucoup dans mon parcours et mes recherches : *Max Headroom* (Waag 1987). Si *Max Headroom* (Figure 3) a été conçu à l'origine pour être un simple présentateur de vidéo-clip sur la chaîne britannique *Channel four*, la série se focalise sur le "personnage virtuel"<fnref n="2" /> et relate, dans le premier épisode, entre autres, comment cette "trace" s'autonomise pour acquérir un statut de "double autre".

<figure><img src="image_5.png" /><figcaption>Figure 3 : Le personnage de Max Headroom</figcaption></figure>

<footnote n="1">¹ Une anecdote amusante : ce corps virtuel ne présente pas de tatouage dans le dos, alors que mon modèle oui, en effet, pour ma part j'en avais aucune existence, et Kelly Mézino l'avait complétement oublié. Dans la nouvelle version en cours d'élaboration nous avons décidé d'intégrer le tatouage.</footnote>

<footnote n="2">² Nous verrons par la suite que cet avatar de synthèse est en réalité un artifice très ingénieux : c'est un « faux » acteur virtuel joué par un véritable acteur !</footnote>
Ce personnage faussement virtuel est doublement intéressant, car au-delà de son statut de Double Autre, il pose un grand nombre d'interrogations, entre autres, sur la position de l'acteur (King 1989).

### 1.1.3.1 20 Minutes Into the Future

La série en elle-même se compose d'un pilote *20 minutes into the future* en 1985 et de deux saisons de 6 épisodes chacune entre 1987 et 1988. Elle se focalise sur le combat d'un journaliste et de sa doublure numérique contre une société contrôlée par la télévision et l'audimat. Cette série est avant tout une dénonciation de la société de consommation et la dictature des médias. Les épisodes traitent, avec beaucoup d'ironie, de la publicité, des soins médicaux, des médias ou de la pollution. Elle pousse la critique de la télévision même à un niveau tel qu'elle intègre dans son générique, des images subliminales provocantes (« Max: The Subliminal Credits » 2015).

Pour en revenir à la série, son héros est Edison Carter, journaliste d'investigation et Max Headroom est sa doublure numérique autonome habitant le réseau télévisuel de cet univers. C'est suite à l'accident d'Edison Carter, entré en collision avec un panneau de signalisation ("max headroom 2.3 m") que Max Headroom est créé par hasard, issu du scan de l'esprit défectueux d'Edison Carter inséré dans une intelligence artificielle. Le problème est que le résultat est grossier et incontrôlable. Toutefois, Edison Carter et Max Headroom deviendront alliés pour continuer à dénoncer les dérives de cette société.

### 1.1.3.2 Une trace qui s'autonomise

Max Headroom est « une trace » d'Edison Carter, trace qui s'autonomise. Il n'est pas un simple double du héros, car il a sa personnalité propre et ses propres capacités qui lui permettent d'évoluer dans la série sur le plan télévisuel (Wees 1990). Max Headroom est l'illustration de ce que j'appelle un Double Autre : ce n'est pas un simulacre résultant d'une simulation, c'est une trace qui s'autonomise, par son vécu personnel et sa réflexion propre. Cette trace s'autonomise dans son propre plan d'existence, là où Edison Carter évolue dans le plan matériel de la série.

Pour Edison Carter, Max Headroom n'est ni un outil ni un avatar, au sens de "véhicule pour un autre plan d'existence", mais bien un autre être dans sa propre
sphère. Carter ne peut pas agir dans le "réseau télévisuel" et Max ne peut pas agir dans le monde réel. Mais une chose est sûre, Max Headroom n'est pas Edison Carter, ni son "double-copie", ni son "double-reflet". Il devient autre. C'est un thème récurrent dans la littérature de science-fiction, comme dans *Substance mort* de Philipe K. Dick (Dick 1978) ou dans la série d'animation *Serial Experiment Lain* (Nakamura 1998).

Et c'est peut-être la raison pour laquelle le personnage de Max Headroom m'importe autant, car il n'a pas vocation à remplacer Edison Carter, il est autre et évolue dans son univers — sa bulle, en toute indépendance. Ceci se retrouve dans l'esthétique même du personnage : en revendiquant son origine artificielle, Max est une créature virtuelle autonome et cela se voit.

### 1.1.3.3 Faire passer le réel pour du virtuel.

Tout est effectivement fait pour indiquer que Max Headroom est calculé par ordinateur : le rendu est semblable à un mélange de lissage de Phong et de Gouraud, deux algorithmes classiques des débuts de l'image de synthèse pour calculer l'éclairement de la géométrie 3D (Phong 1975 ; Catmull 1998). Nous pouvons discerner des triangles dans le costume et les cheveux de l' avatar. Celui-ci "bugue" et "freeze"<fnref n="1" /> lorsqu'il s'exprime et bouge la tête, il y a des tonalités de sa voix qui sautent, passant de l'hyper aigu au grave et parfois le débit de sa parole passe d'extrêmement rapide à beaucoup trop lent.

Mais tout ceci est complètement prévu, à tel point que beaucoup de téléspectateurs de l'époque sont persuadés de son origine artificielle<fnref n="2" />, considérant Max Headroom comme un avatar 3D, prouesse extraordinaire pour l'époque. En réalité, il n'en est rien. Il s'agit bien un acteur, le même qui a joué le personnage d'Edison Carter, Matt Frewer (Figure 4), maquillé avec une peinture polarisée, il porte des lentilles et est éclairé d'une certaine manière. De plus, il porte des vêtements et une perruque en plastique dont les contours donnent l'illusion d'une modélisation triangulaire. Ensuite, sont ajoutés en postproduction<fnref n="3" /> et par montage, des sauts

<footnote n="1">¹ On parle de freeze, quand l'ordinateur n'arrive plus à calculer suffisament vite une image en temps réel, l'image devient alors souvent immobile, puis se met à accélérer d'un coup ou se voit déformer par des erreurs d'affichage (glitch)</footnote>

<footnote n="2">² Pour ma part, ceci a déclenché malgré mon jeune âge — je devais avoir 10 ou 11 ans — mon intérêt pour les personnages virtuels autonomes.</footnote>

<footnote n="3">³ C'est-à-dire dans les étapes après le tournage.</footnote>
## Partie 1 Traversée des frontières

d'images et des « freezes ». Puis, grâce à un simple traitement audio, la voix de l'acteur est traitée en changeant la hauteur de celle-ci (grave, aiguë) et la vitesse de débit de la parole, etc.

<figure><img src="image_6.png" /><figcaption>Figure 4 : Matt Frewer pendant séance de maquillage pour le personnage de Max Headroom</figcaption></figure>

À cela, s'ajoute la prestation même de l'acteur qui surjoue certaines de ses expressions et adapte son jeu afin de fournir aux techniciens les données nécessaires au personnage final. L'entité *Max Headroom* est donc doublement intéressante, car elle est le fruit du travail d'une équipe bâtissant autour d'un acteur réel, « un acteur autre »<fnref n="1" />. Il est en tout cas extrêmement marquant de voir l'énergie dépensée, l'humour et l'ingéniosité de l'équipe de la série pour faire passer un acteur réel pour un personnage virtuel et le subterfuge a bien fonctionné !

<footnote n="1">¹ Ceci trouvera un écho tout particulier quand nous évoquerons notre travail sur les Marionnettes Virtuelles et le lien Mocapteur/Datacteur.</footnote>
<figure><img src="image_7.png" /><figcaption>Figure 5 : L'hackeur inconnu du Max Headroom incident du 22 novembre 1989</figcaption></figure>

Il est intéressant d'ailleurs de noter que subterfuge a été repris, un subterfuge de subterfuge, puisque le 22 novembre 1989, un hacktiviste affublé d'un masque Max Headroom (Figure 5) a parasité, à la manière du personnage éponyme, le signal audiovisuel de deux stations à *Chicago* aux États-Unis, une première fois pendant une durée de 25 secondes et une seconde fois pendant une durée de 90 secondes. Nous ignorons toujours l'identité de ces deux hackeurs, mais cet évènement rappelle ce que nous avons déjà pu évoquer en littérature sur cette capacité de l'imaginaire à envahir le réel
## 1.2 Réalisme ou Plausibilité ?

Le personnage de Max Headroom est le point déclencheur de ma réflexion sur le réalisme en image de synthèse. Le réalisme en image de synthèse peut être abordé suivant plusieurs perspectives : tout d'abord, celle du photoréalisme qui consiste à « s'approcher le plus possible de l'image de la réalité captée par un appareil photographique ou une caméra », puis celle de la plausibilité qui revient à se demander si nous pouvons considérer ce qui nous est présenté, en tant que spectateur, comme une représentation vraisemblable dans un contexte donné.

Bien que les démarches des hyperréalistes<fnref n="1" /> “traditionnels” (peintres, sculpteurs) et des hyperréalistes “numériques”<fnref n="2" /> (infographistes) aient des similitudes certaines, elles diffèrent cependant. Outre l'emploi de médiums spécifiques et donc de processus de création distincts, elles peuvent avoir des finalités distinctes. Les infographistes hyperréalistes n'ont pas forcément des intentions semblables à celles d'artistes comme Ron Mueck ou De Andrea. Leurs œuvres renouvel lent la question du réalisme en interrogeant nos perceptions grâce à leurs styles formels et en posant un regard contemporain sur la vie quotidienne, sur la société et sur les individus qui la composent, grâce au choix des sujets qu'ils traitent. Souvent, les artistes 3D s'intéressent au photoréalisme soit par défi pour montrer une certaine virtuosité artistico-technique, soit pour répondre aux attentes des studios d'effets visuels. Pour ces derniers, les effets visuels incrustés dans l'image filmée devraient être indiscernables des éléments réels : par exemple les “acteurs virtuels hyperréalistes” devraient être perçus comme de véritables acteurs filmés, ou encore, il serait

<footnote n="1">¹ Dans les pays anglo-saxons, on emploie plutôt le terme photoréalisme, alors qu'en France le terme hyperréalisme est plus courant. Nous utiliserons indistinctement l'un ou l'autre terme. L'hyppréalisme, « ce mouvement – ou plutôt cette mouvance – autour d'une peinture (plus rarement d'une sculpture) au réalisme illusionniste prenant appui sur la photographie est apparu sans manifeste, vers 1965 (Lebovici 2014)</footnote>

<footnote n="2">² Il est d'ailleurs de noter que la grande majorité des artistes 3D qui réalisent des images hyperréalistes ne s'inscrivent pas dans la mouvance hyperréaliste. Ils n'ont d'ailleurs souvent pas connaissance de l'existence d'artistes hyperréalistes « traditionnels ». Ne retrouvons-nous pas ici, une attitude analogue à celle des hyperréalistes des années 60-70 qui « n'invoquent pas l'histoire de l'art, ni même leurs pères pop – ils choisissent même de les oublier, dans leur « provincialisme assumé. » ? (Lebovici 2014)</footnote>
nécessaire qu'une créature imaginaire en synthèse 3D soit plausible dans un environnement réel filmé.

Je crois pour ma part que ce terme de plausibilité est beaucoup plus adéquat pour définir cette problématique que le concept de photoréalisme, car comment peut-on rendre photoréaliste une créature qui par définition n'existe pas ?

Si on prend le cas du photoréalisme/hyperréalisme (comme les multiples variantes du réalisme), celui-ci intervient à deux niveaux, d'une part celui du style formel de l'image qui a l'apparence d'une image photographique ou filmique (ce qui est appelé le rendu en image de synthèse), d'autre part celui du « sujet » représenté qui lui-même peut, soit renvoyer à un référent réel (ex : une personne humaine), soit être imaginaire (ex : une créature fantastique). Ne peut-on pas alors considérer le rendu photoréalisme/hyperréalisme comme l'un des éléments — mais non le seul — parmi lesquels on retrouve la qualité du mouvement, le comportement, la narration, etc., pouvant contribuer à plausibilité de ce qui est présenté ?

## 1.2.1 Quête du réalisme

Si les sculpteurs et les peintres hyperréalistes se sont lancés dans la quête du réalisme, en particulier celui des personnages humains, bien qu'étant dans une logique de l'imitation de la réalité, ils se sont interrogés en même temps sur cette dernière et sur nos perceptions. Mais, qu'en est-il des artistes 3D qui créent grâce à l'image de synthèse et aux algorithmes sous-jacents, une représentation photoréaliste de notre monde (simulation de la caméra/appareil photographique : modélisation des lois de la physique et de l'optique pour l'éclairage, pour la perspective, pour la focale, pour la profondeur de champ avec le flou et le net, etc.). Pouvons-nous dire qu'ils sont « les nouveaux hyperréalistes » de notre époque ?

### 1.2.1.1 L'hyperréalisme, un regard artistique qui interroge la réalité

Je souhaite relater une expérience vécue lors de la visite de la collection du *Ludwig Museum de Cologne* en Allemagne. Au détour d'un couloir, j'aperçois une femme blonde, sur un emplacement marqué au sol, en train d'observer un tableau cinétique. Pensant que le tableau pouvait être sur le principe des productions de
## Partie 1 Traversée des frontières

Georges Rousse<fnref n="1" />, j'imagine alors que la marque au sol où se trouvait cette femme était le point de vue privilégié pour apprécier l'œuvre.

Attendant patiemment mon tour, je me suis mis à observer plus attentivement cette personne, réalisant soudainement qu'elle ne respirait pas et que je me tenais face à une sculpture : *Woman with a purse* (1974) de Duan Hanson (Figure 6). Le choc a été profond, car elle m'amena, de manière purement subjective, à m'interroger sur la réalité même de ce que je voyais.

<figure><img src="image_8.png" /><figcaption>Figure 6 : Femme au sac à main de Duan Hanson(1974)</figcaption></figure>

J'avoue avoir une nette préférence pour la sculpture hyperréaliste<fnref n="2" />, au détriment de la peinture du même courant, peut-être parce que j'y voie cette volonté qui m'est chère de troubler la frontière entre le « monde réel » et l'univers de l'artiste, par l'incrustation de l'œuvre sur notre plan physique.

<footnote n="1">¹ Les œuvres de Georges Rousse sont conçus de manière à être regardé d'un point de vue unique</footnote>

<footnote n="2">² Il est à noter que l'on utilise le terme photoréaliste pour la seconde vague de ce mouvement, survenu au début</footnote>
## Partie 1 Traversée des frontières

La création de ces sculptures repose souvent sur le moulage du modèle, parfois en plâtre, parfois en utilisant, des matériaux complexes (silicone, résine polyester), auxquels on ajoute des cheveux et des poils. Et si certains essaient de reproduire le modèle à l'échelle exacte, d'autres comme Ron Mueck, choisissent volontairement d'augmenter ou de diminuer la taille de leur sculpture par rapport à l'original, entraînant une perte de repère et un sentiment d'étrangeté pour le spectateur.

Ceci est d'autant plus marqué dans le travail de John De Andrea avec cette série de sculptures où il se représente en train de créer avec son modèle *Clothed artist and model* (1976) *Untitled Studio Scene* (1977). L'artiste décrit le processus même de création comme œuvre, dans une sorte de mise en abime (Figure 7).

<figure><img src="image_9.png" /><figcaption>Figure 7 : John De Andrea *Untitled Studio Scene* (1977)</figcaption></figure>

« *Je voudrais qu'ils respirent* » disait John De Andrea, comme si son but ultime était de voir que ces moulages s'affranchissent de leur créateur, car elles acquéraient leur propre autonomie. Ceci fait écho à mes propres aspirations.

On retrouve la même démarche dans le travail de Takashi Mukahari, *Murakami Arhat robot* (2016). Cette sculpture en silicone, qui travaille sur une relecture « bouddhique » de l'artiste est équipée de mécanisme robotique qui lui permet de cligner des yeux et de réciter des textes sacrés (Figure 8).
## Partie 1 Traversée des frontières

Les peintres hyperréalistes, eux, utilisent généralement des photographies rétroprojetées sur une toile qu'ils décalquent, ou appliquent méthodiquement la technique de « mise au carreau » dans une approche copiste, ce qui pousse certains critiques à dire que les peintres hyperréalistes sont avant tout des techniciens serviles (Dauphin 2010).

<figure><img src="image_10.png" /><figcaption>Figure 8 : Murakami Arhat Robot (2016)</figcaption></figure>

Paradoxalement, ne pouvons-nous pas voir dans l'arrivée de l'image de synthèse une planche de salut possible pour redonner aux peintres hyperréalistes un véritable statut d'artiste ?

### 1.2.1.2 S'aventurer dans vallée de l'étrange

Masahiro Mori s'est intéressé aux robots humanoïdes et leur acceptation par l'Homme. Selon lui un robot humanoïde n'entraînait pas de gène particulier jusqu'à atteindre un certain degré de similitude avec l'apparence humaine, déclenchant alors un profond rejet (Figure 9) Ceci définit ce qu'il appelle l'*uncanny valley*, ou vallée de l'étrange (Mori 1970).
<figure><img src="image_11.png" /><figcaption>Figure 9 : La vallée de l'étrange (Mori 1970)</figcaption></figure>

Mais cette théorie ne fait pas consensus dans la communauté scientifique (Brenton et al. 2005) : certains chercheurs essaient de l'interroger (Gray et Wegner 2012), d'autres, en particulier le roboticien Dan Ferber, la qualifient de pseudoscience (Ferber 2003, page 4).

Pour remettre en cause cette théorie ils mettent en avant l'aspect hautement subjectif de la problématique, rendant caduque toute réelle évaluation du phénomène de malaise. D'autres évoquent que les technologies ne sont pas encore au point pour réellement pouvoir évaluer cette fameuse vallée. D'autres encore avancent que le probléme est plutôt le décalage entre un robot d'apparence humain et un mouvement non fluide et présente, test à l'appui qu'un robot d'apparence robotique assumé qui bouge comme un robot ne provoquerait pas plus de malaise qu'un robot d'apparence humain qui bouge comme un humain, le problème étant que actuellement nous avons des robots d'apparence humaine qui bougent comme des robots (Saygin et al. 2012).
<figure><img src="image_12.png" /><figcaption>Figure 10 : Project Emily (Debevec et al. 2000; Alexander et al. 2010, 2013) à droite et Wiki Human Project à gauche (« Wiki Human Project » 2014)</figcaption></figure>

Mon opinion sur la validité de cette théorie est mitigée lorsque je tente de l'appliquer aux personnages en images de synthèse. Les travaux de Paul Debevec sur les doublures numériques (Debevec et al. 2000; Alexander et al. 2010, 2013) et le *wiki human project* (« Wiki Human Project » 2014) mis en application dans les films à effets spéciaux permettent déjà, comme nous le verrons dans le chapitre 3.1, de créer des personnages artificiels photoréalistes dont les spectateurs ne se rendent pas forcément compte de l'origine artificiel.

## 1.2.2 Ou de la plausibilité

Que dire de ces créatures qui n'existent pas et qui pourtant prolifèrent dans les films fantastiques ? Le temps de l'histoire, les spectateurs les considèrent comme plausibles et si la créature est bien réalisée, ne subissent pas les effets de l'*uncanny valley*.

Pour cela, les artistes réalisent un véritable travail de plausibilité, consistant donc à rendre cohérente une créature imaginaire avec l'univers décrit. Ce travail se fait sur des plans multiples, à la fois visuel mais aussi scénaristique.

À partir de là, nous pourrions emettre l'hypothèse suivante : si une créature est validée dans son monde, nous nous retrouvons alors dans une suspension consentie de l'incrédulité(Coleridge 1817, page 379), née d'un accord tacite entre le spectateur et le créateur?
1.2.2.1 Comment rendre photoréaliste une créature fictive ?

Il y a un paradoxe de taille dans ce besoin de créer une créature imaginaire
photoréaliste, puisque cette créature n'existe pas dans notre monde, elle ne peut donc
pas être photographiée et servir de modèle à sa propre création. Ce qui rend donc
caduque la notion même de photoréalisme.

C'est une des limites de l'Uncanny Valley<fnref n="1" />: elle ne s'applique qu'à des éléments qui ont un référentiel humain et non à des créatures fictives.

Je pense que la crédibilité d'une scène se juge au regard de l'élément le moins réaliste entrant dans sa composition. Prenons une scène composée d'acteurs réels et de personnage virtuel. Le personnage virtuel devra atteindre le même niveau de plausibilité que les personnages réels, sinon, la scène dans son ensemble sera ressentie à l'aulne de son élément le plus faible, à savoir le personnage virtuel. Cette situation n'est pas seulement liée à l'utilisation d'effets spéciaux en images de synthèse, car il en est de même pour les éléments d'un décors réel ou la qualité d'un costume, qui d'un coup détruira la cohésion de l'ensemble.

<figure><img src="image_13.png" /><figcaption>Figure 11 : Gollum du seigneur des anneaux (Jackson 2003)</figcaption></figure>

<footnote n="1">¹ En plus de la subjectivité de l'observation</footnote>
Autre exemple : si nous sommes en mesure d'accepter le personnage de Gollum (Figure 11) le temps d'un des épisodes de la saga du Seigneur des Anneaux, c'est parce que nous n'avons pas de moyen de comparaison, car il n'existe pas de Gollum réel.

A l'inverse, sur mon travail de modélisation et d'animation du papillon monarque dans le film *Four wings and a prayer* (de Pencier 2007), le faux lépidoptère devait tenir la comparaison avec les autres papillons réels présents dans le film !

### 1.2.2.2 Une créature plausible

Il y a pour chaque détail de l'entité virtuelle, une comparaison inconsciente avec les autres éléments présents sur scène<fnref n="1" />. Par exemple, les yeux de la créature imaginaire seront comparés avec les autres yeux qui sont rencontrés dans l'œuvre. Il en est de même pour la peau, la lumière...

Parfois, un petit détail de la créature vient insuffler un souffle supplémentaire de plausibilité au personnage. Je pense par exemple aux yeux de gollum, brillant dans la pénombre, à la manière de ceux d'un chat, dans le premier opus du Seigneur des Anneaux, ou encore le filet de bave s'écoulant de la bouche d'un monstre, voire les lèvres qui collent — qui est d'ailleurs une technique que je prends le temps d'enseigner à mes étudiants — (Miller, Thuriot et Unay 2008), ou la création de systèmes musculaires.

Les concepteurs de ces monstres virtuels combinent avec l'excellence technique, une véritable réflexion sur leur physiologie, leur culture et leur histoire, voire l'écosystème dans lequel ils évoluent. Deux exemples illustrent parfaitement l'attention portée à tous ces détails :

La faune de Pandora (Wilhelm et Mathison 2009) du film *Avatar* (Cameron 2009) est concue comme un écosystème, avec ses prédateurs, ses gibiers et sa flore; la culture des extraterrestres qui l'habitent a été très profondément travaillée. Un autre exemple tout aussi marquant porte sur la descritpion des xénomorphes de la saga

<footnote n="1">¹ Ainsi que la culture des spectateurs, ce qui impressionnait des spectateurs à l'œil peu entrainé à l'image cinématographique, ne le sera pas pour un spécialiste du domaine. Et certains effets qui étaient impressionnants à une certaine époque ne le sera plus de nos jours</footnote>
Alien<fnref n="1" /> dont le cycle de vie a été particulièrement travaillé et qui évolue au fur et à mesure des épisodes, allant même à s'entremêler avec les univers d'autres monstres de science-fiction.

J'ai appris que les character designer professionnels conseillaient de toujours donner à une créature deux sortes d'indices au spectateur ou au joueur : les évidences qui devaient permettre d'identifier aisément le rôle de la créature et les détails dont le sens serait donné par l'imaginaire du joueur, puis confirmé au cours de l'évolution de l'histoire.

### 1.2.2.3 La Bulle de Plausibilité

Il y a donc création d'un univers « hors cadre » dont le but est de créer ce que j'appelle une Bulle de Plausibité, c'est-à-dire une cohérence – je ne parle pas de réalisme – de l'univers de l'œuvre. Cette cohérence n'est pas obligatoirement « logique », au sens mathématique du terme. Si un élément rompt le contrat consenti de l'incrédulité, alors la Bulle de Plausibilité explose et l'ensemble de l'univers se brise.

Pour illustrer ces propos, je vais m'intéresser à la pièce *Rhinoceros* de Ionesco (Ionesco 1959), monument du théâtre absurde. Suite à une épidémie de rhinocérite, maladie totalement imaginaire, la population d'une ville se transforme en rhinocéros. Si les personnages marquent leur surprise—comme quand Jean déclare par exemple « Mais voyons, voyons... C'est inouï! Un rhinocéros en liberté dans la ville, cela ne vous surprend pas ? On ne devrait pas le permettre »— le spectateur en revanche, accepte complètement le phénomène, par le contrat tacite introduit au départ : nous connaissons le postulat de départ, il est même contenu dans le titre. Par contre, il n'apprécierait pas l'arrivée d'un vaisseau spatial extraterrestre, qui lui fera dire que l'histoire n'a aucun sens (mais en avait-elle dés le début?)...

Cette Bulle de Plausibité ne se limite pas qu'à l'aspect scénaristique d'un univers ou à une certaine cohérence graphique. La notion est plus subtile. Un épisode de *South Park* (Parker, Stone et Berry 1997) par exemple, pourrait sembler particulièrement biscornu dans sa charte graphique (Figure 12), pourtant, nous

<footnote n="1">¹ Il existe un grand nombre de films et livres qui s'inscrivent dans l'univers de Alien, la saga *Alien*, bien-sûr, mais aussi la saga des *predators*, les cross-over *alien vs predator*, le film * promotheus*, mais aussi des croisements beaucoup plus étranges, comme les bandes dessinées *Batman contre alien*, ou *judge dreed contre alien*</footnote>
## Partie 1 Traversée des frontières

acceptons sans problème une mauvaise animation, des flammes filmées et collées à même le décor simpliste, un Saddam Hussein grand-guignolesque composé d'un montage photographique maladroit apposé à un corps découpé et d'un style enfantin particulièrement marqué<fnref n="1" />. Nous sommes en présence d'une Bulle de Plausibilité extrémement forte.

<figure><img src="image_14.png" /><figcaption>Figure 12 : un extrait de Southpark où nous pouvons voir un design d'enfant, Satan et Saddam Hussein. Notons la disparité des styles.</figcaption></figure>

<footnote n="1">¹ Une anecdote encore plus amusante, qui confirme l'humour des deux auteurs et l'utilisation d'un logiciel d'images de synthèse professionnel, utilisé pour la création d'effets visuels photoréalistes (à savoir Maya d'Autodesk) pour réaliser des images qui semblent avoir été fait par une bande d'adolescents</footnote>
## Partie 1 Traversée des frontières
## 1.3 L'outil informatique comme outil de traversée des Bulles de Plausibilité

Il est maintenant intéressant de voir comment l'outil informatique et en particulier les technologies de **réalité mixte**, peut aider à rendre poreuses les parois de ces bulles de plausibilité. La création d'un dispositif, qu'il soit de réalité mixte, virtuelle ou augmentée, repose sur la création d'une bulle de plausibilité que nous présentons au spectacteur et avec laquelle nous proposons à ce dernier d'interagir.

### 1.3.1 Multiplicité des plans

Ce sont donc des plans multiples qui s'observent : le plan réel, le nôtre, le plan dramatique et le plan simulé. A partir de ce moment, il nous faut réfléchir à leur imbrication et comment ils s'agencent.

Dans mon travail avec les chercheurs de théâtre, cette imbrication prit tout son sens, car nous nous sommes trouvés face à une triple imbrication de Bulles de Plausibilité, le monde réel, le monde de la scène et le ou les mondes virtuels projetés. Ainsi se pose la question de l'adresse au travers de ces espaces.

#### 1.3.1.1 Les Bulles de Plausibilité...

Comme nous l'avons vu, précédemment (chapitre 2.2.2.3) je définis la Bulle de Plausibilité comme la création d'un ensemble structurelle (à la fois narratif, mais aussi technique) cohérent capable de solidifier une suspension consentie de l'incrédulité. Ceci fait écho à la définition de la réalité virtuelle de Burdea et Coiffet qu'ils résument par le modèle des 3.1 "Immersion, Interaction, Imagination" (Burdea et Coiffet 2003). Cette Bulle de Plausibilité n'implique pas d'être réaliste, mais juste cohérent.

Ainsi, lors du projet *IdefiCreatic du geste capté au geste acté*, nous avons immergé et fait interagir deux acteurs réels dans deux mondes imaginaires différents interconnectés. Les spectateurs se trouvant autour, dans le monde réel, contemplaient le résultat projeté sur un tulle qui créait ainsi une fenêtre sur une troisième bulle de plausibilité (Figure 13).
## Partie 1 Traversée des frontières

L'esthétique choisie était abstraite, mais cohérente d'un point de vue visuel, mais aussi dans la concordance morphologique entre le corps de l'acteur réel et la représentation de son corps dans le monde réel.

<figure><img src="image_15.png" /><figcaption>Figure 13 : Le dispositif du deuxième atelier IdefiCreatic du geste capté au geste acté (2015)</figcaption></figure>

Chaque acteur réel immergé dans sa propre bulle de plausibilité par l'intermédiaire d'un système **Oculus**, pouvait contrôler son corps virtuel par l'intermédiaire d'une **Kinect première génération**. Il était donc immergé dans le corps d'une **Marionnette Virtuelle** (nous détaillerons au chapitre 3 plus précisément ce que nous appelons une **Marionnette Virtuelle**) stylisée et contrôlait ses membres par mouvements mimétiques. Cette **Marionnette Virtuelle** contrôlait une autre **Marionnette Virtuelle** dont l'apparence était différente dans les autres mondes virtuels, la représentation de l'autre acteur et celle projeté sur le tulle (Figure 14).

Les deux acteurs, ainsi transposés dans de multiples plans, pouvaient déclencher des sons par l'intermédiaire de leurs gestes. Ainsi, bien que l'esthétique choisie s'éloigne fondamentalement du réalisme (même stylisé), le dispositif a gardé une cohérence forte et ainsi les deux acteurs immergés ont pu mener l'expérience et échanger sons et gestes pendant plus d'une demi-heure sans rencontrer de problèmes majeurs, offrant aux spectateurs une performance à mi-chemin entre le mime, la danse et la musique expérimentale.
<figure><img src="image_16.png" /><figcaption>Figure 14 : architecture du dispositif.</figcaption></figure>

### 1.3.1.2 À qui les espaces s'adressent-ils ?

Ceci m'amène à cette interrogation : si nous créons des fenêtres permettant à deux Bulles de Plausibilité de s'observer, comment gérer les adresses entre ces différents plans ? Cette réflexion m'est venue après avoir remarqué que je travaillais les têtes de mes portraits autonomes soit de face, soit de profil, mais pas de trois quarts. Pourquoi instinctivement, est-ce que j'évite cette position de tête lorsque je travaille un portrait interactif alors que je ne ressens pas de problème à réaliser un portrait de trois quarts quand il n'est pas interactif (Figure 15) ?

<figure><img src="image_17.png" /><figcaption>Figure 15 : Portrait en ¾ non interactif (2017)</figcaption></figure>
## Partie 1 Traversée des frontières

Tout d'abord, mes portraits interactifs ne s'appuient pas sur l'immersion et donc ces réflexions ne s'appliquent pas si le spectateur est immergé dans l'œuvre, ou si le personnage virtuel est émergé de l'œuvre. En réalité, dans mes portraits interactifs nous sommes en présence de deux spectateurs : un réel et un virtuel. Chacun de ces spectateurs se trouve dans deux Bulles de Plausibilités différentes et s'observe au travers d'une fenêtre, à savoir l'écran (Figure 16).

<figure><img src="image_18.png" /><figcaption>Figure 16 : Monde réel/monde virtuel et fenêtre</figcaption></figure>

En regardant ce schéma, on s'aperçoit rapidement que si notre personnage est de profil, il regarde dans sa propre bulle ; alors que s'il regarde en face de lui, il regarde le spectacteur. S'il est de profil, il regarde un élément, comme un autre acteur, dans le monde virtuel. Cependant nous nous apercevons que de ¾ le regard du personnage virtuel ne trouve pas de correspondance dans le monde réel, cassant ainsi la plausibilité de sa réaction (Figure 17).

<figure><img src="image_19.png" /><figcaption>Figure 17 : si de face et de profil, nous avons une adresse cohérente, de 3/4 nous ne savons pas à qui s'adresse l'avatar</figcaption></figure>
Cette réflexion m'a amené à réfléchir au moyen de permettre à une de mes entités virtuelles de pouvoir regarder de 3/4 sans casser la plausibilité de l'action. Pour cela, il fallait donc offrir à l'entité virtuelle un sujet d'observation cohérent à son point de vue même s'il regarde hors de sa fenêtre de vue.

<figure><img src="image_20.png" /><figcaption>Figure 18 : Portait interactif "Les miens" à l'exposition Recto-Verso 2019</figcaption></figure>

L'installation *Les miens* (Plessiet 2018d) a été développé en tenant compte de cette problématique. L'idée étant basée sur l'idée de créer deux fenêtres, ceci afin d'offrir une cohérence dans la recherche des différentes adresses, qu'elles soient de face, de trois quarts ou de profil. Elle met en scène mes deux parents, chacun regardant le monde réel dans un cadre différent. Ils sont positionnés de manière à interroger un spectacteur hors champ et ainsi conserver la cohérence des adresses (Figure 19).

<figure><img src="image_21.png" /><figcaption>Figure 19 : la cohérence des adresses est conservée</figcaption></figure>
### 1.3.1.3 Et la multiplication des espaces

Si mon travail personnel considère le spectacteur comme acteur intégrant de l'œuvre (d'où le nom de spectacteur), il n'en ait pas de même dans mes expériences appliquées au théâtre. Le travail que j'ai commencé avec Georges Gagneré puis continué au sein du projet *Scène augmentée du Labex Art H2H* repose ainsi sur une autre conception du rôle du spectateur, de l'acteur et des Bulles de Plausibilité. La bulle de plausibilité du monde virtuel est ainsi imbriquée dans la bulle de plausibilité du théâtre qui est elle-même présentée au public. Il y a ainsi une mise en abime des différentes bulles qui nous obligent à penser la communication inter-bulles du point de vue des spectateurs et non pas des acteurs réels et des éléments virtuels.

C'est ainsi que nous avons mené d'abord avec Georges Gagneré puis avec les autres membres du projet Labex, un certain nombre d'expériences qui interrogent les relations entre les différents dispositifs du point de vue du spectateur. C'est ainsi que nous avons utilisé des protocoles de mise en scène qui séparent le **mocapteur**, celui qui manipule un avatar virtuel (cette notion sera détaillée en 4.3.1.1), de l'acteur (Figure 20a), d'autres qui cachent le **mocapteur** (Figure 20b) et d'autres encore qui fusionnent **mocapteur** et acteur (Figure 20c).

<figure><img src="image_22.png" /></figure>
<figure><img src="image_23.png" /><figcaption>Figure 20 : différentes architectures</figcaption></figure>

Ainsi, la pièce de théâtre *la tempête* (Figure 21) de William Shakespeare mise en scène par la *Royal Shakespeare Company* (Hopkins 2018) a placé le mocapteur hors de la scène ; il en est de même pour le spectacle la *Psychanalyse Augmentée* (Milesi, Gagneré et Plessiet 2017) et le travail effectué auprès du *Conservatoire National Supérieur des Arts Dramatiques*. C'est donc l'entité virtuelle qui a son importance, le manipulateur en tant que tel n'ayant pas d'intérêt dans la mise en scène (Figure 22).

<figure><img src="image_24.png" /><figcaption>Figure 21 : La marionnette virtuelle et un acteur dans la mise en scène de La tempête par la royal shakespeare company</figcaption></figure>
## Partie 1 Traversée des frontières

Ceci oblige le manipulateur à travailler en aveugle, car il n'est pas en prise directe avec le public. Il est en prise directe avec la scène réelle qui, elle, est présentée au public : il y a donc l'introduction d'un intermédiaire entre la prestation du manipulateur et son public, ce qui n'est pas sans rappeler les spectacles de marionnette où le marionnettiste est caché derrière le castelet (« la scène » du spectacle de marionnette).

<figure><img src="image_25.png" /><figcaption>Figure 22 : une mise en scène avec plusieurs acteurs et mocapteurs dans la pièce de théâtre Psychanalyse augmentée (Milesi, Gagneré et Plessiet 2017)</figcaption></figure>

Il se retrouve dans la situation paradoxale de jouer avec un partenaire qui se trouve dans un autre plan d'existence pour des spectateurs, eux se trouvent dans un troisième plan d'existence, dans une mise en abime complexe. Dans ces conditions, si l' avatar doit donner une adresse au public ou à un acteur de la scène, il doit effectuer un travail de spatialisation complexe.

C'est pourquoi l'appui d'un "manipulacteur", capable d'adapter l'animation du point de vue du public, est un ajout important dans ce type de dispositif. Il peut ainsi retravailler le mouvement de l' avatar et corriger les placements et les adresses de l' avatar en ajoutant du mouvement que propose le mocapteur. Ceci se complique encore plus quand la **Marionnette Virtuelle** est manipulée par plusieurs sources. Ce fut d'ailleurs pour nous l'occasion de mener une réflexion autour de cette notion (Gagneré et al. 2018 ; Gagneré et Plessiet 2018).
## Partie 1 Traversée des frontières

Les expérimentations menées par Andy Lavander pour *Agamemnon Redux* (Lavander et al. 2017) et Guilia Filipanaca pour *La Vie en Rose* (Filacanapa et al. 2017) se basent sur une fusion du **mocapteur** et de l'acteur. La mise en scène adoptée par Guilia Filipanaca, enchâsse la scène virtuelle dans la scène théâtrale, entre autres par la mise en avant des adresses d'un des personnages vis-à-vis du personnage de la femme dans le monde virtuel. Nous détaillerons d'ailleurs le dispositif plus précisément en 3.2.3.2, à l'opposé, où la mise en scène d'Agamemnon Redux interroge les Bulles de Plausibilité en les multipliant (puisque la présentation à Warwick en Angleterre, ne présentait pas moins de 4 vidéo-projections).

<figure><img src="image_26.png" /><figcaption>Figure 23 : Agamemnon redux prototype</figcaption></figure>

En effet, *Agamemnon Redux* amène à considérer la scène et ses acteurs sous un jour nouveau, car elle multiplie les niveaux de lecture et les avatars (Figure 23) : ainsi, un acteur masqué devient un chœur antique de plusieurs personnes.

Ceci amène à la réflexion suivante : les acteurs de *Agamemnon Redux* ne dialoguent pas avec le monde virtuel, celui-ci est « autonome » (bien que contrôlé par les deux **mocaptrices**) et donc se suffit à lui-même. Paradoxalement, elle propose une nouvelle relecture de la scène réelle. Nous nous trouvons donc en mesure de choisir notre point de vue : regarder le monde virtuel, regarder la scène ou regarder
les deux propositions pour nous en faire une troisième, la nôtre, qui sera une
interprétation/combinaison de ces deux propositions.

1.3.2 Interroger la frontière

Cette frontière existant entre plan réel et plan virtuel mérite qu'on s'y intéresse.
Lorsque l'on n'immerge pas le spectacteur, elle est la fenêtre par laquelle passe le
retour d'information. Cette frontière fait partie intégrante du dispositif artistique et par
là même influe sur la cohérence de l'œuvre. À partir de là nous devons réfléchir à la
façon dont cette frontière se matérialise et comment l'information circule à travers elle.

1.3.2.1 Une fenêtre sur le monde virtuel.

Beaucoup d'artistes numériques utilisent un écran ou une surface de vidéo
projection comme fenêtre vers le monde virtuel, cette fenêtre ayant pour but de révéler
ce qui se passe sur le plan virtuel. Les installations de Catherine Ikam et Louis Fleri se
présentent souvent sous cette forme et nous confronte ainsi à « l'autre » (Figure 24a)
cet habitant du plan virtuel dans un jeu intriguant d'observation de part et d'autre de
cette fenêtre.

L'œuvre *Miroir* de Karleen Groupierre, Sophie Daste et Adrien Mazaud (Daste,
Mazaud et Groupierre 2011), propose elle aussi une fenêtre vers le monde virtuel qui
permet de voir « notre animal totem » en surimpression sur un écran déguisé en miroir.
L'écran ainsi camouflé sert de révélateur à un autre plan virtuel (Figure 24b).

<figure><img src="image_27.png" /><figcaption>Figure 24 : L'autre de Catherine Ikam et Louis Fleri et Miroir de Karleen Groupierre, Sophie Daste et Adrien Mazaud</figcaption></figure>
L'installation artistique *Kobito (Virtual Brownie)* (Aoki et al. 2005) se présente comme une table de petit déjeuner dont la boîte de gâteaux bouge toute seule. Si on utilise l'écran, nous pouvons découvrir que ce sont des petits lutins qui poussent cette boîte (Figure 25). L'écran remplit ainsi un double rôle : doit tout d'abord cacher l'ensemble du dispositif technique, à savoir l'utilisation d'un *Spidar* — un dispositif haptique basé sur un système de cordes et de moteurs qui peut exercer un retour d'effort sur un objet réel (Sato 2002) — pour déplacer la boîte et une webcam pour détecter sa position. Il doit, par la suite, donner une nouvelle explication au phénomène : la boîte bouge car il existe des petits lutins qui la poussent. Nous validons ainsi la bulle de plausibilité de l'œuvre car on nous les montre par l'intermédiaire de l'écran. S'ils ne nous avaient pas été montré, alors l'explication des lutins n'auraient pas été plausible.

<figure><img src="image_28.png" /><figcaption>Figure 25 : Kobito Virtual Brownie</figcaption></figure>

### 1.3.2.2 Communiquer au travers de la frontière

J'ai déjà évoqué ma fascination par cette possibilité de communiquer au travers de la frontière réel/imaginaire (Chapitre 2.1.1.1). Les images de télévision communiquant avec le personnage de Max dans le film *Videodrome* (Cronenberg 1983)<fnref n="1" /> ont eu un profond impact sur ma démarche artistique. Car outre la violence

<footnote n="1">¹ Le héros du film, Max est un producteur et diffuseur de film extrêmement violent, il découvre une cassette vidéo d'un enregistrement de snuff movie, Videodrome. Partant à la découverte de la source de l'émission, il est pris de vision de plus en plus violente qui altère sa perception de la réalité.</footnote>
## Partie 1 Traversée des frontières

audiovisuelle, elle interroge notre rapport à la réalité même, allant jusqu'à évoquer la mutation de l'homme pour intégrer la « réalité audiovisuelle ».

L'un des éléments qui m'a le plus marqué, c'est cette possibilité de communiquer au travers des frontières de l'écran. Régulièrement, le héros communique avec des personnages filmés : la communication se fait dans les deux sens, puisque le personnage dans la télévision entend le personnage hors de la télévision et vice et versa (Figure 26).

<figure><img src="image_29.png" /><figcaption>Figure 26 : Videodrome de Cronenberg</figcaption></figure>

Dans mon installation *autoportrait à l'écran* (Plessiet 2018b), j'utilise le clavier comme moyen d'envoyer les informations vers le monde virtuel, mais aussi du monde virtuel vers le monde réel. L'écran servant à la fois de support de sortie commun aux deux plans réel/virtuel, mais aussi d'axe de symétrie entre le manipulateur réel et le manipulateur virtuel (Figure 27).

<figure><img src="image_30.png" /><figcaption>Figure 27 : Moi dialoguant avec mon « Autoportrait à l'écran »</figcaption></figure>
## Partie 1 Traversée des frontières

Mais ce serait un tort de considérer l'écran comme unique moyen de communication : il n'est le support que de la communication visuelle du monde virtuel vers le monde réel. Ceci nous oblige donc, si nous souhaitons créer de nouveaux canaux d'échange, à ajouter de nouveaux périphériques à notre dispositif. Ainsi, pour certains de mes portraits, j'utilise une webcam ou un **tobii** pour permettre au monde virtuel de voir le monde réel, mais aussi un microphone pour entendre le monde réel et des haut-parleurs pour que le monde réel puisse entendre le monde virtuel.

Communiquer au travers de cette frontière nous oblige à penser la communication multimodale où chaque canal doit être traité par un dispositif d'entrée pour capter le signal du monde réel vers le monde virtuel et d'un dispositif de sortie pour émettre le signal du monde virtuel vers le monde réel. Si ceci semble évident d'un point de vue informatique, ceci pose néanmoins un gros problème d'un point de vue scénographique car chaque dispositif technologique introduit son propre jeu de contraintes dont nous devons tenir compte si nous ne voulons pas briser la plausibilité de l'ensemble. C'est ainsi que pour mes séries de portraits interactifs, j'essaie au maximum de cacher l'outil informatique (Figure 28).

<figure><img src="image_31.png" /><figcaption>Figure 28 : montage de l'exposition Play! à bar le duc et résultat final : les toiles servant a cacher les fils et les cadres imprimés en 3D camouflant les écrans</figcaption></figure>
### 1.3.2.3 L'humain comme canal de communication

Dans la pièce de théâtre *Cassandre Materiau* (Chabalier 2016) de Clara Chabalier<fnref n="1" />, l'actrice met en scène et interprète Cassandre<fnref n="2" />. Au début du spectacle, elle est immergée dans le monde des prédictions, un monde virtuel qu'elle visionne par le truchement d'un casque de réalité virtuelle et où elle entre en interaction avec un **Acteur Virtuel**.

<figure><img src="image_32.png" /><figcaption>Figure 29 : Cassandre Matériaux (Chabalier 2016)</figcaption></figure>

Ce même **Acteur Virtuel** reposant sur le projet *Cigale* (dont nous étudierons le fonctionnement plus précisément en 6.2.2.1) est reprojeté sur une tulle visible afin d'être rendu visible aux spectateurs. Il effectue des gestes improvisés que Cassandre interprète comme des prédictions. N'ayant aucune vision de la scène elle-même et des spectateurs, elle est donc isolée dans sa propre bulle (Figure 29). Nous nous trouvons ainsi à observer des entités perdues dans leur monde et pourtant interagissant entre elles.

<footnote n="1">¹ Il est d'ailleurs à noter que Clara Chabalier participa au tout premier laboratoire idéfiCréatic que nous avions mené en 2015</footnote>

<footnote n="2">² Dans la mythologie grecque, Cassandre dispose du pouvoir de voir l'avenir, mais reçoit comme malédiction que personne ne peut la croire</footnote>
## Partie 1 Traversée des frontières

Je vais maintenant parler d'un projet plus confidentiel, mais qui ouvre des perspectives intéressantes d'un point de vue vidéo-ludique. Ce projet a été réalisé en 2016 par trois étudiants: Tristan Février, Dimitri Carré et Gael Cocat de la formation en Master 1 création numérique parcours Arts et Technologies des nouvelles Images(Fevrier, Carré et Cocat 2016)

Cette installation vidéo ludique utilise les technologies de la réalité virtuelle pour monter un « escape game », c'est-à-dire un jeu de puzzle joué par deux personnes dans lequel le joueur doit s'échapper. L'intrigue se passe dans un asile sordide (dans la réalité, le lieu choisi était les toilettes de la formation) ; l'un des joueurs, équipé d'un casque de réalité virtuelle, était immobilisé par une camisole de force. Le second joueur quant à lui était libre de ses mouvements. Les deux joueurs avaient pour mission de sortir de leur cellule. Le personnage ligoté était plongé grâce à son casque de réalité virtuelle, dans une vision déformée et cauchemardesque de la réalité. S'il était en mesure de voir un certain nombre d'indices, il ne pouvait en contrepartie pas interagir avec son environnement et devait donc donner des consignes au joueur non immergé (Figure 30).

<figure><img src="image_33.png" /><figcaption>Figure 30 Asile Escape de Tristan Février Dimitri Carré et Gael Cocat (Fevrier, Carré et Cocat 2016)</figcaption></figure>

Chacun des joueurs était enfermé dans sa propre bulle de plausibilité ; tous deux détenant des informations inaccessibles à l'autre, étaient donc obligé de dialoguer pour décrire leur bulle respective et ainsi échanger les informations. En tant que joueur immergé, cette expérience fut très enrichissante, car j'ai réellement eu l'impression d'être enfermé dans ma bulle et de ce fait, malgré la présence du deuxième joueur avec qui je dialoguais, extrêmement isolé. Cette situation me donna l'impression d'être une pythie moderne dont les visions devait être soumises à
interprétation, une fois confronté au réel de l'autre joueur. Ceci nous ramène donc encore davantage à ce souci de traduction que j'évoque régulièrement dans cet essai.
En devenant le nœud central du mécanisme de gameplay, elle devint une expérience extrêmement enrichissante.

Nous pourrions voir dans ces interactions, l'inverse d'une interaction médiatisée(Grebennikova Krasautsava 2008) où l'outil informatique sert de canal de communication entre des humains (Figure 31a) : dans les deux cas décrits ci-dessus, les échanges sont très différents. En effet, si dans le premier cas c'est l'outil informatique qui sert d'intermédiaire, dans notre cas, c'est un être humain qui fait l'intermédiaire entre l'être humain et la machine. C'est pourquoi nous avons appelé cette interaction **MITMI** (Figure 31b), pour *Man In The Middle Interaction*, en double clin d'œil à une attaque informatique (Man In The Middle Attack) et le jeu de mot sur « rencontre moi » (en anglais meet-me). Ce type d'interaction entraîne bien sûr la notion d'interprétation du maillon intermédiaire, en introduisant une problématique, pour le décrire familièrement, de « téléphone arabe » (Plessiet et Jégo 2019).

<figure><img src="image_34.png" /><figcaption>Figure 31 : (a) Interaction Mediatisée(b) MITMI</figcaption></figure>

Ainsi nous voyons bien comment dans *Cassandre Materiaux* ou dans la première version de *Between The Lines* (Plessiet et Passsedouet 2012), que nous évoquerons un peu plus loin, cet « homme au milieu » (en l'occurrence une femme) sert d'intermédiaire entre le « monde des humains » (Figure 32) et « le monde virtuel » et il serait peut-être intéressant d'analyser ce lieu dans une approche « chamanique », plus anthropologique, comme nous le proposent Zaven Paré, Anne Duboscet Emmanuel Grimaud dans *Ganesh Yourself* (Grimaud 2016).
<figure><img src="image_35.png" /><figcaption>Figure 32 : Interaction MITMI de Cassandre Matériaux et Between the lines</figcaption></figure>

Cette installation qu'Emmanuel Grimaud et Anne Dubosc avaient présentée en 2015 — dans le cadre des *ateliers Campus Condorcet* que nous avions organisés George Gagneré, Véronique Muscianisi et moi — propose à un manipulateur de contrôler une marionnette robotique où le visage du manipulateur est rétroprojeté sur un robot Ganesh et qui lui permet pendant un temps d'interpréter le rôle du Dieu Hindouiste (Figure 33). Le plus frappant fut de noter comment les différents participants (ceux qui dialoguaient avec le robot et les manipulateurs du robot) se laissèrent prendre au jeu de l'interaction, comme si le robot était réellement investi par Ganesh, alors que le dispositif était connu de tous.

<figure><img src="image_36.png" /><figcaption>Figure 33 : Ganesh Yourself (Grimaud 2016).</figcaption></figure>
## 1.3.3 Illusion et frontière

Dans le chapitre précédent, nous en sommes restés à une logique dans laquelle nous avions une frontière clairement définie qui sert de tube de communication entre deux bulles. L'une de ces bulles est réelle alors que la seconde est virtuelle. Ce qui nous amène à jouer sur ce rapport tangible/intangible.

Peut-être pourrions-nous faire émerger le virtuel de sa fenêtre pour « contaminer » le réel ? Cette approche, que certains pourraient voir comme une application de la **réalité augmentée**, amène à questionner la tangibilité de l'image virtuelle, mais aussi à affronter la réalité intrinsèque de notre plan.

Au contraire, nous pourrions penser à la démarche inverse, en réfléchissant à une « virtualité augmentée » où nous pourrions immerger dans le monde virtuel des éléments du monde réel.

### 1.3.3.1 Jouer avec l'illusion

Dans sa recherche doctorale, Judith Guez étudie un espace de création qui interroge à la fois le réel, l'illusion et le virtuel, ce qu'elle baptise IRV (Guez 2015, page 19). Dans son travail artistique, elle convie à la fois la réalité virtuelle et les techniques d'illusion visuelle telles que le **pepper's ghost** ou la projection sur tulle.

J'ai pour ma part beaucoup utilisé la projection sur tulle pour mes collaborations avec la plasticienne et scénographe Maflohé Passedouet et la compagnie *Mobilis/Immobilis*, par exemple pour les spectacles de danse *de chair et d'âme* (Passedouet et Plessiet 2009) et *8 seasons* (Takenouchi et al. 2007).

C'est pour notre travail au profit de la version originale de l'installation *between the lines* (Plessiet et Passedouet 2012) que notre travail de brouillage des frontières a été le plus poussé. Plusieurs éléments accroissent l'illusion : tout d'abord par la mise en scène qui camoufle les différentes fenêtres de communication (la **leap motion**) les haut-parleurs et le tulle plongé dans la pénombre qui fait apparaître le visage comme une apparition, mais aussi et surtout, par la présence de l'artiste elle-même, habillée à l'identique. Ce jeu d'illusion entre l'apparition fantasmatique active et parlante et de
## Partie 1 Traversée des frontières

son « originale » silencieuse et passive, entraîne pour une grande part cette impression de magie (Figure 34).

<figure><img src="image_37.png" /><figcaption>Figure 34 : Between the lines, en collaboration avec Maflohé Passedouet</figcaption></figure>

Mais l'artiste qui m'a le plus marqué dans ce jeu d'illusion est Pierrick Sorin (Masséra 1993). Son travail repose sur l'utilisation particulièrement ingénieuse de **Pepper's ghost**. Cet artiste plasticien travail sur une imbrication de Bulles de Plausibilités imbriquées les unes dans les autres où il se met en scène dans des déguisements et des situations rocambolesques qui interrogent à la fois les notions d'absurde, de Double Autre (bien qu'il ne connaisse pas la signification que je donne à cette notion) et de réalité. Je reconnais son influence forte dans certaines de mes installations, en particulier dans le travail en cours *la Geôle* (Plessiet 2019).

<figure><img src="image_38.png" /><figcaption>Figure 35 : (a) Pierrick Sorin Petit travelling printanier, théâtre optique, 2009 (b) Pierrick Sorin Cinq rêves dans un joli parc, théâtre optique, 1997</figcaption></figure>
### 1.3.3.2 Sortir de la fenêtre virtuelle ?

Dans mon installation *Smoke*, le Double Autre de Céline Thomas fume une cigarette dont la fumée sort du cadre. Le mécanisme a été réalisé par mon collègue Vincent Meyrueis et repose sur un souffleur et de la vapeur d'eau qui s'active quand le « double autre » lance son animation de souffle (Figure 36).

<figure><img src="image_39.png" /><figcaption>Figure 36 : Smoke</figcaption></figure>

Mais ses œuvres reposent malgré tout sur une frontière, certes camouflée, mais néanmoins présente entre les différents plans. Y aurait-il moyen de brouiller cette frontière en faisant émerger du monde virtuel des entités, dans le monde réel ? L'œuvre *Delicate Boundaries* de Chris Sigrue nous montre une possible réponse.

Dans cette œuvre le spectacteur est face à un écran sur lequel des petites créatures unicellulaires évoluent sur un plan 2D. Lorsque l'on touche l'écran, les créatures sont attirées par notre main et montent sur notre corps (Figure 37). Cette émersion des créatures virtuelles dans la réalité est une expérience sensible assez étrange, qui repose pourtant sur des mécanismes simples : une caméra détecte la position de la main pendant qu'un vidéo projecteur placé en hauteur projette les petites paramécies en accord avec la position des bras.
<figure><img src="image_40.png" /><figcaption>Figure 37 : DelicateBoundaries de Chris Sigrue (2007)</figcaption></figure>

C'est un principe assez semblable que j'utilise pour une œuvre en cours de réalisation *Arpège* (Plessiet 2018a). Dans cette œuvre, un clavier est surplombé d'un écran. Nous pouvons voir le « double autre » de Audrey Payelle, pianiste, un vidéo projecteur envoie l'image du bras de la musicienne sur les touches du piano et les partitions servent de surface de projection, en fonction des touches jouées.

Si la première impression est bonne, force est de constater que le fait de ne pas voir la touche du piano s'enfoncer nuit grandement à la bulle de plausibilité et il me faut réfléchir, dans les prochaines évolutions du dispositif, à mettre au point un mécanisme à retour d'effort pour voir les touches s'enfoncer d'une manière synchronisée avec les sons joués et l'animation de la main de l'entité virtuelle. J'avoue pour l'instant ne pas avoir trouver la technique, pour la partie mécanique du piano (Figure 38).
<figure><img src="image_41.png" /><figcaption>Figure 38 : Arpége travail en cours (2019)</figcaption></figure>

### 1.3.3.3 L'avacteur ?

Si les exemples précédents montrent comment nous pouvons faire émerger le monde dans notre réalité, j'ai travaillé dans le cadre du projet de prévisualisation on set outilnum (Plessiet et al. 2013) sur la problématique inverse : peut-on immerger des éléments du monde réel dans l'univers virtuel. En effet, nous avions besoin d'intégrer, en temps réel, un acteur réel dans le décor virtuel.

Il existe un grand nombre de techniques : la plus connue, le chromakeying repose sur l'utilisation d'une couleur, généralement bleue ou verte, qui servira de cache et qui sera supprimée ultérieurement, permettant d'incruster l'élément isolé dans un décor généré à part. Ces techniques sont anciennes, mais l'arrivée des langages de programmation sur carte graphique a permis à l'algorithme de gagner en
vitesse : il peut désormais facilement se greffer sur un **moteur de jeu** (den Bergh et Lalioti 1999). Mais ce ne sont que des images à deux dimensions incrustées dans une autre image à deux dimensions et non une réelle fusion de deux plans en 3 dimensions réel et virtuel. Dans les évolutions de l'algorithme, une piste retenue a été d'utiliser l'information de profondeur comme cache d'incrustation (Gvili et al. 2003)

Avec l'arrivée de la **Kinect** et de sa caméra de profondeur, nous est venue l'idée d'utiliser les technologies de cartes de profondeur et de tessellation dynamique (c'est-à-dire la capacité de générer dynamiquement une géométrie). Pour cela, nous utilisons les trois cartes générées par la **Kinect** : la carte d'utilisateur (Figure 39a) qui encode les personnes détectées par une couleur, la carte de profondeur (Figure 39b) qui utilise une image en niveau de gris, dont l'intensité encode la distance de l'élément par rapport à la caméra et la carte de texture (une vidéo captée).

<figure><img src="image_42.png" /><figcaption>Figure 39 : (a) carte d'utilisateur et (b) carte de profondeur</figcaption></figure>

Grâce à la *carte de profondeur*, nous générons les reliefs sur un plan en 3 dimensions parallèles à la caméra en utilisant les niveaux de gris. Cette technique est d'habitude utilisée pour générer des paysages de synthèse tels que des montagnes ou des vallées (Cignoni, Montani et Scopigno 1997). Puis nous appliquons sur ce relief une projection de la texture et pour finir, soit nous créons un masque à partir des valeurs de la carte de profondeurs comprises entre deux valeurs, soit nous utilisons la *carte d'utilisateur* comme pochoir pour ne conserver que ce qui nous intéresse, à savoir l'acteur.
<figure><img src="image_43.png" /><figcaption>Figure 40 : le plan 2D déformé</figcaption></figure>

Par ce processus nous recréons un véritable volume 3D de l'acteur réel, immergé dans le monde virtuel. Cette entité, que nous avons baptisée « **avacteur** », dispose d'un vrai volume (Figure 40) et peut donc projeter et recevoir des ombres, passer devant ou derrière des objets 3D, voire interagir avec eux. Mais elle ne garde de cohérence que si elle est parallèle à la caméra, sinon sa nature de plan 2D déformé se révèle et casse immanquablement la bulle de plausibilité. Malgré cette limitation, notre prototype est utilisable et fonctionnel (Figure 41). Elle est par contre tributaire de la qualité de captation du dispositif<fnref n="1" />. Nous pouvons voir d'ailleurs une technique équivalente mise au point par le studio *Solidanim*, avec des systèmes de captations autrement plus précis (et chers) que nos simples caméras **Kinect**.

<figure><img src="image_44.png" /><figcaption>Figure 41 : Avacteur en action recevant l'ombre d'un élément du décor et projetant son ombre dans le décor</figcaption></figure>

<footnote n="1">¹ Dans notre cas, les essais avaient été réalisés sur une Kinect 1 et nous n'avons pas encore effectué le portage sur la Kinect 2</footnote>
Pour ma part, j'y vois les promesses par exemple de donner à un **mocapteur** immergé la possibilité de voir ses partenaires réels dans son monde, ou de permettre à un acteur immergé de percevoir son public et ainsi de rompre l'isolement dans lequel ils se retrouvaient en 2.3.1.1 et 2.3.2.3. Ceci vaudrait un approfondissement à la fois scénographique et technologique, que j'espère pouvoir mener et ainsi mettre en application les **avacteurs** dans un contexte artistique.

## 1.3.4 Immerger le spectateur ?

À partir de là, se pose la question du spectateur : son rapport change-t-il à l'extérieur de la bulle et à l'intérieur de la bulle ? Si je ne me considère pas du tout comme un « artiste de la réalité virtuelle », je trouve ce médium extrêmement intéressant pour interroger cette fameuse frontière, que la réalité virtuelle permet de traverser et ainsi d'immerger dans l'œuvre.

Ceci permet d'amener le spectacteur dans une nouvelle bulle de plausibilité, offrant ainsi aux artistes de nouveaux territoires d'expérimentation en interceptant les sens du spectateur et en les remplaçant par des versions simulées. Ceci place l'artiste dans une position de demiurge illusionniste qui triche sur les perceptions pour créer un tout cohérent même dans l'absurde.

Le spectacteur ainsi immergé entre en résonnance avec l'œuvre d'une manière plus forte qu'en optant pour une position extérieure comme évoqué pour mes tableaux. Ceci a un effet particulièrement marqué sur mon œuvre *Lucky2.0* (2015) où j'ai pu voir des réactions de plus en plus tranchées vis-à-vis de Lucky au fur et à mesure que le dispositif devenait immersif.

### 1.3.4.1 La réalité virtuelle pour immerger le spectateur dans l'œuvre

Comme le déclare Philippe Fuch dans le traité de la réalité virtuelle :

> « La finalité de la réalité virtuelle est de permettre à une personne (ou à plusieurs) une activité sensori-motrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel. ... La finalité de la réalité virtuelle est de
# Partie 1 Traversée des frontières

> permettre à une personne (ou à plusieurs) une activité sensorimotrice et cognitive dans un monde artificiel, créé numériquement, qui peut être imaginaire, symbolique ou une simulation de certains aspects du monde réel. » (Fuchs 2010, pages 5-6)

De ce fait, nous notons qu'elle répond clairement à notre problématique de traversée de frontière. Mais il s'agit donc d'une interception des sens par une version simulée de ces derniers (Figure 42).

<figure><img src="image_45.png" /><figcaption>Figure 42: système de réalité virtuelle (Fuchs 2010, page 10)</figcaption></figure>

Mais c'est une immersion simulée, car notre corps est toujours dans le monde réel, nous respirons dans le monde réel et notre corporalité est aussi dans le monde réel. Ceci peut être problématique si nous souhaitons utiliser une locomotion naturelle dans le monde virtuel, car cela entraînera une locomotion naturelle dans le monde réel (et ainsi le risque d'entrer en collision avec des éléments présents dans la réalité, mais absents dans le monde virtuel). L'artiste Adelin Schweitzer met en scène cette situation dans son installation *A-Reality #SimStim* (Schweitzer 2016) en utilisant la réalité virtuelle<fnref n="1" /> pour « relire » la réalité réelle en s'appuyant sur l'ubiquité réel/virtuel du spectacteur (Figure 43).

<footnote n="1">¹ Je me pose d'ailleurs la question de savoir si son travail relève réellement du champ de la réalité virtuelle, ou de la réalité augmentée, voire même de la réalité mixte.</footnote>
<figure><img src="image_46.png" /><figcaption>Figure 43 : Adelin Schweitzer A-Reality #SimStim(Schweitzer 2016)</figcaption></figure>

Cette problématique de l'ubiquité réel/virtuel en termes de locomotion m'a conduit d'ailleurs à réfléchir à de nouvelles modalités de déplacement (ou au contraire de non-déplacement). Ainsi, dans l'installation *Deep-Blue* (Plessiet 2006, 2007a) qui nous place dans le corps d'un poisson, le déplacement s'effectue en « nageant dans l'espace ». Quant aux dernières versions de mon installation *Lucky2.0*, dont je détaillerai le fonctionnement en chapitre 1.3.4.3 (Plessiet 2012), j'ai profité du fait que dans la pièce de théâtre le personnage de Pozzo est assis sur un pliant, pour faire asseoir mon spectacteur et ainsi limiter son mouvement.

### 1.3.4.2 Plonger le spectateur dans une bulle de plausibilité

L'installation de Judith Guez *lab'Surd* (Guez 2014) repose sur un principe similaire. En effet elle fait correspondre son espace virtuel avec l'espace réel dans lequel se trouve le spectacteur. Au démarrage de l'œuvre le décors réel (Figure 44c) est en accord avec le décors virtuel (Figure 44b). Ceci amène le spectacteur dans une bulle de plausibilité forte car elle fait correspondre son environnement virtuel avec son environnement réel et joue sur l'ubiquité réel/virtuel du spectacteur. Mais au fur et à mesure que l'expérience se déroule, l'univers virtuel dérape dans sa propre bulle de plausibilité et introduit des aberrations de perspective « à la Escher », des illusions spatiales et sonores.
<figure><img src="image_47.png" /><figcaption>Figure 44:(a) L'installation réelle dans Lab'surd (b) le set virtuel au démarrage de l'œuvre (c) une image de l'environnement virtuel évoluant au cours de l'expérience</figcaption></figure>

Ceci trouve un écho fort dans le modèle de « plongée » qu'elle a développé en conviant à la fois des concepts issus des sciences cognitives, de l'informatique et de la prestidigitation. En partant des réflexions autour du concept de dissonance cognitive par le magicien Stefan Alzaris (Figure 45a), elle développe la notion de plongée en monde virtuel, où elle analyse pour une expérience de réalité virtuelle simple, c'est-à-dire une immersion avec un casque de réalité virtuelle, une plongée en trois phases :

> « — une phase « descendante » (td0-1) lorsque le spectateur place le casque de réalité virtuelle sur la tête, qu'il prend le volant et donc qu'il commence à être en immersion et interaction dans l'environnement virtuel ;

> — une phase « plate » de présence dans le palier de profondeur 1 (P1), lorsque le spectateur est présent dans la simulation de conduite ;

> — une phase « montante » (tm1-0), lorsque le spectateur enlève le casque et retourne dans sa réalité primaire (R0). »(Guez 2015, page 76)
<figure><img src="image_48.png" /><figcaption>Figure 45 : (a) dissonance cognitive, (b) plongé (Guez 2015, page 76)</figcaption></figure>

Ce modèle me semble être très adapté pour analyser le passage d'un plan à un autre et il serait très intéressant de l'associer au concept de bulle de plausibilité (cf. 2.2.2.3), car il y a certainement un lien avec la perte de la qualité de plausibilité et un décrochage dans une phase de palier de profondeur lié à une dissonance cognitive.

### 1.3.4.3 Immersion et empathie

Quoi qu'il en soit, j'effectue un parallèle entre cette notion de phase de palier et le lien empathique que nous nouons avec des entités virtuelles. Si ce parallèle n'est encore qu'intuition, elle mériterait que j'approfondisse la question qui a peut-être été traitée en science cognitive ou en psychologie. Elle provient de mon observation des réactions des spectacteurs face à mon installation Lucky (Plessiet 2012).

L'installation en elle-même est une installation de **réalité virtuelle** directement inspirée de la pièce de théâtre *en attendant Godot* de Samuel Beckett (Beckett 1952),
qui nous met dans le corps de Pozzo, le maître de Lucky et grâce à un système **haptique** et la reconnaissance vocale on peut de donner des ordres à un Lucky virtuel. Cette installation fut présentée dans plusieurs festivals et me permit d'observer un petit peu plus spécifiquement les liens qui pouvaient se créer entre un utilisateur et une créature virtuelle. L'installation repose sur un dispositif **haptique**, un **casque de réalité virtuelle** et une **kinect** pour immerger le spectacteur dans un monde virtuel directement inspiré par la pièce *En attendant Godot* c'est-à-dire un arbre et un désert de pierre avec le personnage de Lucky seul au centre (Figure 46b). Dans la version 2.0, Lucky porte aussi des valises afin d'être plus fidèle au personnage de la pièce.

<figure><img src="image_49.png" /><figcaption>Figure 46:(a) le dispositif (b) la vision du spectacteur de la première version de Lucky</figcaption></figure>

Le tout premier prototype reposait sur un simple écran, un bras à retour d'effort et le dispositif de reconnaissance vocale. Les personnes qui ont testé cette version ont considéré l'expérience amusante et n'éprouvaient aucun remords à malmener le pauvre Golem. Je ne dirais pas que je n'ai pas ressenti un certain sentiment d'échec, mais j'espérais que mes primo-spectateurs auraient éprouvé plus de compassion devant la tragédie, certes absurde, que vit le personnage.

Dans le second, j'ai immergé le spectacteur dans le monde virtuel grâce à un **casque de réalité virtuelle** et lui ai fait prendre possession du corps d'un Pozzo virtuel, le maître de l'esclave Lucky. Pour ce faire, j'ai utilisé une **kinect** comme périphérique de capture de mouvement afin de créer une correspondance entre le corps de la **Marionnette Virtuelle** et le corps de l'utilisateur. Cette installation a été présentée sous cette forme durant savante banlieue, la semaine des arts de 2011 de l'université Paris VIII et durant les nuits blanches de 2011 et de 2012. Les réactions
vis-à-vis du sort de Lucky ont été plus compatissantes, certains des spectateurs soulignant l'aspect amoral de l'installation.

La troisième version, fut celle présentée au salon *ars electronica* de 2015. Elle a subi une refonte complète : j'ai à la fois changé de **moteur de jeu**, la qualité du graphisme, le **casque de réalité virtuelle** et le nombre d'instructions comprises par le **Golem Virtuel**. Au-delà de ces éléments, j'ai opté pour le fait d'installer le spectacteur sur un pliant et celui de me concentrer sur un meilleur suivi des mains et de la tête en utilisant une **leap motion** afin de gagner en qualité de captation des mains et des doigts du spectacteur. Cette version a suscité le plus de compassion à l'égard de *Lucky*. Certains même interprétaient des bugs que rencontrait Lucky comme des actes de résistance de sa part et étaient heureux de voir Lucky se rebeller.

Par la suite et ceci du fait d'un problème matériel indépendant de ma volonté, j'ai désactivé la **leap motion** et le corps de Pozzo, me contentant à nouveau d'une immersion sommaire reposant sur le **casque de réalité virtuelle** et le bras à retour d'effort. Les réactions perdirent de leur intensité, mais restèrent plus élevées que le tout premier prototype.

Je devrais dans le futur, mener avec plus de rigueur une analyse des lieux qui unissent entité virtuelle et être humain. Mais les premières impressions me laissent à penser que plus nous améliorons l'immersion et l'**embodiement** de notre spectacteur, plus nous renforçons son ancrage dans la bulle de plausibilité. L'absence de représentation de notre propre corps dans le monde virtuel (ce que l'on désigne par sens of **embodiement**) est pour une grande part dans l'impression de ne pas être totalement immergé dans sa bulle de plausibilité. Il est d'ailleurs à noter les travaux de Mel Slater (Slater 2013) qui travaille l'immersion selon trois axes : le sens de la localisation de soi (où suis-je dans le monde virtuel), le sens de l'agencement( est-ce que je contrôle mon corps virtuel) et le sens de l'appropriation du corps, (est-ce que je ressens ce corps comme le mien ).

Ainsi l'**embodiement** du spectacteur dans le monde virtuel met celui-ci sur le même palier que l'entité virtuelle. Ceci lui permettrait d'accroître les liens empathiques qui l'unissent avec les entités de ce monde virtuel, cela étant certainement lié à la force de la bulle de plausibilité partagée par les différents intervenants.
2 Sculpture Matrice
## 2.1 Quand la 3D s'empare du photoréalisme

Nous avons expliqué au chapitre précédent comment nous pouvions, avec l'outil informatique, créer une bulle de plausibilité et comment nous pouvions y « entrer », par l'usage, entre autres, de l'image de synthèse ou de la réalité virtuelle et augmentée. La question se pose de savoir comment les artistes "numériques" s'emparent de cette bulle.

### 2.1.1 Technicité et talent

Les logiciels d'images de synthèse 3D reposent sur un certain nombre d'algorithmes qui permettent de simuler les techniques de l'image photographique ou cinématographique en modélisant informatiquement des phénomènes physiques ou optiques pour calculer, par exemple, l'éclairage ou la perspective. Grâce à ces capacités calculatoires, il devient possible aux artistes de concevoir plus librement leurs images et d'atteindre une certaine qualité de photoréalisme, en confiant au programme ces opérations automatiques résultant de la simulation et donc évoquant l'« hyperréel » de Baudrillard (Baudrillard 1985, pages 24-28).

Nous pouvons malheureusement constater que de nombreux artistes numériques appuient leurs créations sur des archétypes rebattus (guerrier, pin-up, monstre) (Koenigsmarck 2007) qui font écho à ce que Sophie Daste appelle la *culture Peter Pan* (Daste 2008). Heureusement, il existe d'autres artistes, comme Dan Roary, Hossein Diba, Alex_Huguet Wei Long Zhong qui travaillent sur des portraits plus personnels (Figure 47).
## Partie 2 Sculpture Matrice

<figure><img src="image_50.png" /><figcaption>Figure 47 : en haut Dan Roarty Blue- project et Happy-birthday Nanaf, en bas à gauche Abuelaco de Alex Hugue et à droite Da Nao Tian Gong de Wei Long Zhong</figcaption></figure>

Il est remarquable de constater que souvent les artistes “photoréalistes 3D” se sentent obligés de montrer les dessous de la construction des images qu’ils créent sous la forme d’un « making-of » (Figure 48) afin de justifier non seulement l’origine artificielle de l’image, mais aussi leurs compétences et leurs talents. Ces images servent aussi de “carte de visite” à des professionnels qui travaillent généralement pour des studios d’effets visuels à destination de l’industrie cinématographique. En effet, la très grande majorité de ces images 3D hyperréalistes s’inscrivent actuellement dans une démarche industrielle et économique. La réponse à une commande entraîne
la création d'une chaîne de production au service de l'imaginaire d'un réalisateur qui souhaite que son idée soit matérialisée de la manière la plus fidèle possible.

<figure><img src="image_51.png" /><figcaption>Figure 48 : making of de Blue- project et Happy-birthday Nanaf de Duan Hoarty</figcaption></figure>

### 2.1.1.1 Des doublures numériques crédibles

La conception de personnages photoréalistes est entretenue essentiellement par la demande d'une industrie cinématographique tournée vers le spectaculaire, à laquelle doivent répondre les studios d'effets visuels. Ces demandes sont extrêmement précises et diverses, comme de réaliser une doublure numérique crédible d'un acteur réel afin de vieillir ou de rajeunir ce dernier, ou bien de réaliser un plan spécifique impossible à tourner avec l'acteur réel en raison de son indisponibilité ou même de son décès, ou encore en raison d'une modification de l'apparence physique de l'acteur durant le tournage comme la prise ou la perte de poids. Il faut signaler d'ailleurs les travaux remarquables du chercheur en informatique Paul Debevec sur la trilogie *Matrix* (Wachowski et Wachowski 1999, 2003b, 2003a) et sur *L'Étrange Histoire de Benjamin Button* (Fincher 2008) dans lesquels il utilise des techniques de doublure numérique pour créer de façon tout à fait crédible l'armée de clones de l'Agent Smith dans la trilogie *Matrix*, ou pour vieillir ou rajeunir d'une manière vraisemblable le personnage de *Benjamin Button* dans le second.

Les studios Weta Digital se sont illustrés dans la doublure numérique pour le film *Avatar* (Cameron 2009), mais également pour le film *Fast and Furious 7* (Wan
2015) où l'acteur Paul Walker, ayant trouvé la mort en cours de tournage, a été remplacé par une doublure numérique reconstruite à partir du corps de son frère (Hall 2018) (Figure 49).

<figure><img src="image_52.png" /><figcaption>Figure 49 : la récréation de la doublure numérique de Paul Walker (le vrai Paul Walter se trouve à gauche et la doublure numérique à droite (Hall 2018))</figcaption></figure>

Remarquons que dans le cas d'un film d'action, si des cascades et des explosions totalement hors-normes passent à l'écran sans faire « tiquer » le spectateur, il ne faut surtout pas que celui-ci puisse se douter du caractère artificiel de la doublure numérique.

Certaines entreprises se sont spécialisées dans ce domaine. Par exemple en France, la société EISKO<fnref n="1" /> de Cédric Guiard a développé des technologies et un savoir-faire spécifique. En outre, elle mène également une réflexion sur le cadre juridique et le droit à l'image que pose le problème de la doublure numérique.

Sur cette question, je renvoie au film *Le Congrès* de Ari Folman (Folman 2013) où l'actrice (de la fiction), Robin Wright, se voit proposer un contrat afin de pouvoir la remplacer dans les films futurs par sa propre doublure numérique et dans lequel elle perd le droit de tourner, c'est-à-dire d'exercer son métier d'actrice, mais aussi d'exercer un droit de regard sur l'utilisation de son image. Le juriste et chercheur Dominique Bougerol (Bougerol 2013), a souligné que d'un point de vue juridique, le contrat signé dans le film par l'actrice était légal en droit américain (mais pas en droit français), ce qui pose de nombreux problèmes déontologiques.

<footnote n="1">¹ https://www.eisko.com</footnote>
Dans le contexte économique actuel mêlant de nombreux effets spectaculaires dans un temps de production réduit, il devient nécessaire de rationaliser et d'optimiser la chaîne de production de tels personnages en image de synthèse.

Au-delà de la création de doublures numériques, il est maintenant de plus en plus courant de réaliser des créatures fantastiques virtuelles à partir d'acteurs réels, ceci afin d'améliorer leur plausibilité. Cela facilite aussi la capture de mouvement de la performance de l'acteur réel et son **motion targeting** sur le personnage virtuel pour aboutir un mouvement crédible ; c'est ainsi que les Na'vi<fnref n="1" /> du film *Avatar* (Cameron 2009 ; Duncan et Fitzpatrick 2010) ont été réalisés (Figure 50).

<figure><img src="image_53.png" /><figcaption>Figure 50 : La Na'vi Neytiri et l'actrice Zoe Saldana (Duncan et Fitzpatrick 2010)</figcaption></figure>

### 2.1.1.2 La nécessité d'une ultra spécialisation

Réaliser une doublure numérique mobilise des connaissances techniques nombreuses et complexes, réparties habituellement entre différents corps de métiers spécialisés intervenant à plusieurs niveaux du processus. Le milieu professionnel emploie le terme de **pipeline** lorsqu'il s'agit de décrire une suite d'étapes impliquant tout un dispositif technique et l'intervention de spécialistes. Chaque entreprise développe sa propre méthodologie basée sur les compétences dont elle dispose en interne et les outils informatiques qu'elle a créés au cours du temps. Mais il est tout de

<footnote n="1">¹ Les créatures qui peuplent la planète Pandora</footnote>
même possible de dresser un pipeline générique de la création d'une doublure numérique exposant les principales étapes :

1. Dans le cas où le studio se base sur des personnes réelles, le travail commence par une séance de captation (photo ou scanner 3D) ;

2. Puis les modeleurs créent la forme géométrique en volume et des sculpteurs numériques ajoutent les détails spécifiques sur la forme ;

3. Ensuite interviennent les spécialistes en texture qui « peignent sur la géométrie » et les « spécialistes en rendu » qui simulent des matières complexes comme la peau ou les yeux ;

4. En parallèle, ou parfois par la suite, les *setupers* et les *riggers* interviennent pour construire l'armature technique qui permettra de manipuler et de mettre en position le personnage. Il est à noter que de plus en plus fréquemment, ces spécialistes mettent en place un véritable système musculaire afin d'accroître le réalisme de leur création ;

5. Les animateurs<fnref n="1" /> interviennent, soit par capture de mouvements, soit en animation traditionnelle. Plus rarement des programmeurs utilisent l'intelligence artificielle pour animer les créatures, généralement sur des scènes de foules ou de batailles ;

6. Les « *character fx Artists* » simulent par la suite les cheveux, les vêtements et tout ce qui nécessite des développements artistico-technologiques spécifiques ;

7. Les personnages rendus sont par la suite intégrés dans l'image finale soit dans l'image de prise de vue réelle, soit dans l'image entièrement en synthèse 3D.

Devant le nombre d'étapes et de spécialistes impliqués, nous nous rendons facilement compte de la complexité de la tâche, du temps de travail nécessaire et du coût induit par la réalisation d'une telle création. Ceci peut expliquer la difficulté pour les artistes contemporains de s'approprier ce type de médium.

<footnote n="1">¹ Ce ne sont pas du tout les mêmes types de spécialistes qui interviennent pour une animation traditionnelle ou pour une capture de mouvement</footnote>
### 2.1.1.3 Au-delà du réel

L'utilisation de l'image numérique permet de « mentir » sur le réel et donc, d'une certaine manière, de le nier. Parmi les traitements graphiques sur son film Avalon (Oshii 2001), le réalisateur Mamoru Oshii demanda aux infographistes de retoucher fortement l'actrice Malgorzata Foremniak, en prenant l'éclat de son regard sur un plan pour le réinjecter sur un autre(Figure 51). Finalement, l'héroïne devient une forme fantasmée, idéalisée par le réalisateur et se retrouve dépossédée de son propre corps elle devient « autre », mais, paradoxalement, construite sur son propre « corps réel ». Ce phénomène, d'ailleurs très fréquent dans le monde de la mode et de la publicité, est de plus en plus combattu et critiqué, car il tend à instaurer l'artificialité de cette perfection corporelle, impossible à atteindre, comme une norme.

Si d'une certaine manière nous pouvons dire que c'est toujours le cas, ne serait-ce que par l'utilisation des maquillages, des costumes ou des instructions de jeu, la retouche amplifie fortement le phénomène. Ceci devient plus frappant quand, à la fin du film, ces retouches intensives sont interrompues pour revenir à une image plus « brute » de l'actrice filmée.

<figure><img src="image_54.png" /><figcaption>Figure 51 : l'actrice Malgorzata Foremniak dans le film Avalon (Oshii 2001)</figcaption></figure>

Examinons maintenant le cas particulier d'Ève Solal (Studio 2001), le personnage virtuel réalisé par la société française Attitude Studio dans les
années 2000-2001. Cette jeune femme en image de synthèse servait de vitrine
technologique au studio. Mais contrairement à la doublure 3D de Paul Walker
(Figure 49), elle n'était pas la doublure numérique d'un individu réel. Il s'agissait d'une
création complètement originale, n'existant que sous la forme de bases de données
stockées dans les serveurs de l'entreprise.

Paradoxalement, l'un des premiers réflexes de ses créateurs a été d'essayer
de lui donner une existence sur le plan réel en la dotant d'un « état civil », d'un agent,
en créant de fausses interviews et allant même jusqu'à lui offrir la première de
couverture du magazine Madame Figaro (Vassileva-Fouilhoux 2009) du février 2001
(Figure 52).

<figure><img src="image_55.png" /><figcaption>Figure 52 : Eve Solal d'attitude studio dans le figaro studio (2001) Il est à noter que sur cette image seule la tête était réellement en 3D.</figcaption></figure>

## 2.1.2 La captation du réel : Scanner 3D et reproduction

Mon travail s'appuie sur une démarche assez similaire : ancrer une entité dans
mon univers en m'appuyant sur la réalité. Mes méthodes de création ont évolué avec
le temps et les progrès technologiques. Car si auparavant j'utilisais des techniques de
modélisation traditionnelles à partir de photographies de référence, l'achat d'un scanner 3D à main a profondément changé mon approche.

Ce moulage virtuel n'est que le point de départ d'un travail artistique de nettoyage et d'amélioration de la numérisation auquel s'ajoute une réflexion d'optimisation de la fabrication d'une doublure digitale. Car au-delà de ce « nettoyage cosmétique » de l'enregistrement, cette empreinte informatique est un bloc figé qui n'a pas pour vocation d'être déformé : nous devons effectuer des opérations spécifiques pour rendre l'objet animable.

Au début, je réalisais mes doublures informatiques en utilisant l'ensemble des techniques classiques de l'infographiste 3D. Le résultat que j'obtenais était soumis à l'interprétation de mon regard et ce travail long et fastidieux ne pouvait prétendre être une « copie conforme » de l'individu observé.

L'acte de numérisation d'une forme par un numérateur 3D permet de garder une empreinte numérique d'un sujet. Un certain nombre d'entreprises et de chercheurs ont développé des technologies aux possibilités impressionnantes. Notre appareil, plus modeste, nous a quand même offert un saut qualitatif de la capture.

Mais au-delà de la captation en elle-même, le fait de disposer d'un scanner à main et d'une solution mobile de numérisation 3D qui me donne la liberté de me déplacer pour effectuer le moulage d'un objet, présente un intérêt pour les conservateurs de musée. C'est donc naturellement que j'ai accepté la demande de la fondation André Breton pour modéliser la collection d'affaires personnelles du pape du surréalisme.

### 2.1.2.1 La modélisation manuelle : une interprétation de la réalité

J'ai réalisé mes premières créations de doublures numériques 3D avec le savoir-faire d'un infographiste 3D du début des années 2000 : c'est-à-dire en construisant manuellement un maillage, si possible en partant de références photographiques de face et de profil (Figure 53a).

Ce travail long et fastidieux me permettait de réaliser une sculpture 3D proche de la personne que je souhaitais réaliser, mais reposait avant tout sur mes compétences artistiques et mon sens de l'observation.
<figure><img src="image_56.png" /><figcaption>Figure 53 : (a) autoportrait réalisé manuellement à partir d'images de références. (b) la tête 3D de l'artiste Maflohé Passedouet réalisée par cette méthode pour l'installation *Between the lines*</figcaption></figure>

J'ai utilisé cette technique pour la doublure numérique de la voyante dans l'installation *Between the lines* (Plessiet et Passedouet 2012) (Figure 53b) et pour le personnage de Lucky dans la première version de l'installation *Lucky2.0* (Plessiet 2012). Je m'appuie encore maintenant sur cette méthodologie « primitive » pour réaliser le corps de base — qui existe en version homme/femme pour des raisons évidentes — de mes doublures numériques et dans une moindre mesure, les vêtements (Figure 54a), les yeux, les cheveux et barbes (Figure 54b). En effet pour ces derniers, si je pars d'une construction géométrique traditionnelle, j'ai recours à des technologies et des logiciels dédiés pour simuler les vêtements (en utilisant par exemple le logiciel **Marvelous Designer**) et les cheveux (par l'utilisation du **plug-in** pour **maya nhair**<fnref n="1" />).

Une telle technique n'offre pas la qualité réaliste d'un moulage : il est ainsi fréquent de perdre les proportions du modèle, ou d'introduire des différences anatomiques plus ou moins marquées avec l'original comme elle laisse une part belle à l'interprétation de l'artiste et c'est pourquoi il m'est difficile de considérer les créations résultant d'un tel processus comme aboutissant à la création d'une « doublure

<footnote n="1">¹ Systéme de génération de cheveux virtuels intégré au logiciel maya dans les dernières versions.</footnote>
numérique », car nous sommes en présence d'une approche subjective d'un individu, plus qu'objective.

<figure><img src="image_57.png" /><figcaption>Figure 54 : autoportrait en pyjama pour le projet CW3(a), Détail de tête avec cheveux et barbe pour le projet CW3 (b)</figcaption></figure>

Pour le spectacle *Agamemnon Redux* (Lavander et al. 2017), j'ai délibérément utilisé une modélisation manuelle pour créer certains personages. En effet, je devais réaliser des nus d'Agamemnon et de Clytemnestra (Figure 55) pour la scène du bain et je voulais qu'il ne puisse être fait aucun lien avec des personnes réelles. C'est donc naturellement que j'ai créé des personnages purement imaginaires. Si le résultat me semble correct vu le temps imparti, je trouve qu'ils ont perdu ce petit supplément d'âme que j'obtiens dans mes travaux basés sur des scans.

<figure><img src="image_58.png" /><figcaption>Figure 55 : Agamemnon et Clytemnestra pour la scène du bain</figcaption></figure>
### 2.1.2.2 La modélisation par scan : une captation de la réalité

Les méthodes pour capturer la forme d'un objet réel sont multiples. L'équipe INREV de l'équipe d'accueil EA 4010 s'est équipée dès les années 90 d'un scanner 3D – le Cyberware – qui reposait sur une technologie laser et qui a servi à un certain nombre de recherches (Nahas et al. 1990; Saintourens et al. 1990). Lors de mon doctorat, au sein du laboratoire, j'avais effectué quelques tests sur ce système et avait au passage écrit un script pour importer et traiter les fichiers issus de ce dispositif, car ils étaient difficilement exploitables en l'état dans nos logiciels 3D. J'ai ainsi pu aider Isaac Partouche qui a supervisé les effets spéciaux du film de zombies *La Horde* (Dahan et Rocher 2009) en numérisant l'un des acteurs avec ce matériel pour une des scènes marquantes du film, mais les manipulations étaient longues et complexes et le résultat assez décevant.

D'autres chercheurs ont mis au point des dispositifs de captation basés sur de la **photogrammétrie** — méthode de reconstruction utilisant une triangulation à partir de photographies — et des techniques d'éclairage particulières afin de capter la réflectance<fnref n="1" /> de la peau. Non seulement ces installations sont coûteuses et complexes à mettre en place, mais elles nécessitent également un savoir-faire technique et un personnel qualifié. Le dispositif de ce type le plus connu est le *Light Stage* (Figure 56) basé sur les recherches de Paul Debevec<fnref n="2" /> (Debevec et al. 2000; Alexander et al. 2013, 2010). Il a été au cœur de la réussite des doublures numériques pour des films comme *L'étrange histoire de Benjamin Button* (Fincher 2008) ou *Avatar* (Cameron 2009). Cependant il est important de signaler qu'en France, l'entreprise *Eisko* de Cédric Guiard est, elle-aussi, à la pointe de ces technologies.

<footnote n="1">¹ BRDF pour Bi Reflectance Direction Fonction : une fonction mathématique qui permet de simuler le comportement à la lumière d'une matière spécifique</footnote>

<footnote n="2">² la version actuelle est le Light Stage X mis en service en 2010</footnote>
<figure><img src="image_59.png" /><figcaption>Figure 56 : le lightstage 5 mis en place par Paul Debevec</figcaption></figure>

Ces techniques se démocratisent et il est aujourd'hui possible de réaliser des modèles 3D à partir d'un téléphone portable. J'ai opté pour une technique moins onéreuse et plus facile à mettre en œuvre : un scanner à main reposant sur le principe de lumière structurée. Ces scanners projettent sur l'objet à scanner un motif lumineux et reconstruisent à partir de la déformation de ce motif, la profondeur de la scène. Même si la qualité n'est pas aussi poussée que les lightstages, ce type de matériel a l'avantage d'être compact (il tient dans une valise) : il est donc aisément transportable. Sa facilité de prise en main permet de numériser librement un objet ou un visage en moins de 10 minutes avec une formation minime (Figure 57).

<figure><img src="image_60.png" /><figcaption>Figure 57 : Captation de ma tête par une étudiante d'ATI avec le scanner à lumière structurée</figcaption></figure>
## Partie 2 Sculpture Matrice

Ces appareils ont quand même été utilisés avec succès dans un certain nombre de productions, en particulier vidéo ludique et sont par exemple au cœur de la création d'emojis du studio de jeu *Quantic Dream* et nous avons utilisé le même principe pour créer la tête en collaboration avec François Grassard l'effet visuel de la tête de Cyborg tranchée pour le cours métrage *Perfect Body* (Puppo 2019) de Jessica Puppo (Figure 58).

<figure><img src="image_61.png" /><figcaption>Figure 58 : la tête tranchée du Cyborg dans *Perfect Body* (Puppo 2019)</figcaption></figure>

### 2.1.2.3 Moulage virtuel

La mobilité du scanner à lumière structurée a été un avantage lorsque l'association André Breton m'a contacté pour numériser la collection personnelle du « pape du surréalisme ». En effet, le poète avait acquis au cours de sa vie une collection d'objets hétéroclites de grande qualité artistique : statues maoris, objets inuits, mains de fatma, jouets d'enfant, boule de voyante etc. Le scan 3D s'est déroulé en deux séances : la première au musée de Cahors en 2014 au sein duquel une partie de ces objets (dont son célèbre bureau) était exposée et une seconde en 2015 au musée Georges Pompidou pendant l'installation du mur d'atelier dans la collection permanente du musée.

Les problèmes de captation ont été multiples : outre les précautions d'usage devant le prix de certains de ces objets, il a fallu gérer les matières réfléchissantes,
poils, plumes et cheveux de certaines œuvres, ou la finesse de certaines pièces
(Figure 59).

<figure><img src="image_62.png" /><figcaption>Figure 59 : la numérisation d'un Masque kepong issue de la collection d'André Breton</figcaption></figure>

Une cinquantaine d'objets a ainsi été scannée. Certains ont ensuite servi de supports pour des créations étudiantes comme l'*animation chainée de la promotion 2015 de licence 3* et sont, grâce à un accord avec la *fondation André Breton*, libres d'utilisation pour tous travaux de recherches et de création menés par le laboratoire et la formation. Par la suite, une étudiante d'ATI, Maëlys Jusseaux, a effectué le nettoyage d'une dizaine de ces modèles 3D (nous détaillerons le processus de nettoyage dans le chapitre suivant) puis a optimisé leur maillage<fnref n="1" /> en vue d'en faire un export pour le site web de l'association et permettre ainsi leur visionnage à 360° en 3D temps réel (« Association André Breton » s. d.).

### 2.1.3 Comme point de départ à mon activité artistique

Cette numérisation est avant tout devenue le point de départ de ma pratique créative. En effet, un scan 3D n'est pas directement utilisable car les données captées contiennent des erreurs ou des lacunes.

<footnote n="1">¹ En effet, une numérisation 3D contient beaucoup trop de polygones pour permettre un affichage rapide de l'objet dans un moteur 3D Web.</footnote>
De plus, la finesse de numérisation n'est pas suffisante pour saisir les détails de la peau humaine mais en revanche, trop élevée pour une utilisation « temps réel ». C'est pourquoi nous devons retravailler le maillage avec des outils de sculpture numérique.

Il faut bien comprendre que la numérisation 3D revient à faire "le moulage" d'une forme. Lorsque nous scannons un objet, c'est dans une position donnée et donc nous n'enregistrons pas la manière dont l'objet est articulé. Il nous faut donc effectuer un travail de **retopologie** pour rendre cette numérisation déformable.

### 2.1.3.1 Les limites et les erreurs de la captation

Comme nous l'avons évoqué, le scanner à main n'est pas un outil parfait et nous devons tenir compte de ses limitations majeures :

* Il est très difficile de scanner les cheveux ou les barbes. En effet, la fine structure du cheveu n'offre pas une surface suffisamment large et compacte pour obtenir une captation nette, à moins d'utiliser de la laque, de la peinture colorante pour cheveux ou toute autre matière capable d'agglomérer les poils afin d'obtenir une surface homogène (Figure 60a);

* Le sujet ne doit pas bouger. Si l'immobilité est relativement facile à obtenir dans le cas d'un visage à l'expression neutre, elle est beaucoup plus difficile pour le corps, animé par la respiration et les micro mouvements liés au maintien de l'équilibre (Figure 60b);

* Les cavités (oreilles, cavité buccale et nasale...) sont très difficiles à numériser;

* La captation des textures de l'objet est sensible à l'éclairage, c'est pourquoi il est important de créer un éclairage diffus, ou de préparer un système de delighting<fnref n="1" /> afin de neutraliser l'influence de la lumière extérieure.

<footnote n="1">¹ Le delighting consiste à supprimer les informations de luminosité contenue dans une photo, comme les ombres, les reflets, ou les surexpositions.</footnote>
<figure><img src="image_63.png" /><figcaption>Figure 60 : (a) erreur sur la captation de poils (b) et de corps</figcaption></figure>

Une fois la captation effectuée, nous exécutons un certain nombre d'opérations plus ou moins automatisées puis nous obtenons un scan avec une texture dépourvue d'oreilles et sans cheveux qui servira de base au travail créatif (Figure 61).

<figure><img src="image_64.png" /><figcaption>Figure 61 : scan de ma tête après nettoyage</figcaption></figure>

### 2.1.3.2 Un sculpteur numérique

Le scan obtenu va servir de base à un travail de sculpture numérique. En effet, même nettoyé, le scan peut contenir des d'erreurs ou des bruits (trous, irrégularités
dans le maillage). Les zones les plus susceptibles de présenter des problèmes sont les yeux, la bouche et le nez, mais le scan peut présenter des erreurs plus globales, comme par exemple une dissymétrie. L'utilisation d'un logiciel de sculpture numérique permet de retravailler la numérisation 3D.

Un logiciel de modélisation 3D classique comme **Maya** rencontre de grandes difficultés à gérer un scan 3D dont le maillage dense et la **topologie** ne sont pas réguliers, (c'est-à-dire que les faces n'ont pas toutes forcément la même taille et le même nombre de vertices). Les logiciels de sculpture numérique reposent sur des principes de modélisation autres que les polygones et sont basés sur du *displacement mapping*<fnref n="1" /> (Wang et al. 2003) et de subdivisions dynamiques de surface (Hernandez 2011) et donc pas uniquement sur un maillage polygonale. Ainsi, ils permettent de descendre à un niveau de précision beaucoup plus fin que ce qu'un maillage classique peut offrir. Il n'est pas rare de travailler avec des objets composés de plus de 10 millions de polygones. Dans mon cas, si j'utilisais au début, le logiciel *Mudbox*, j'ai abandonné son usage au profit du logiciel *ZBrush*. Bien que disposant d'une ergonomie à laquelle il est nécessaire de s'habituer, ce logiciel est capable de gérer des maillages beaucoup plus lourds que celui de la suite d'**Autodesk** (Sarstedt 2012).

Lors de cette étape de sculpture numérique, après avoir utilisé les informations de textures pour générer automatiquement une première couche de pores, je corrige manuellement, si nécessaire, le maillage, en me basant uniquement sur mes compétences artistiques et mon sens de l'observation. Je porte mon attention tout particulièrement sur les paupières et marque leur séparation des globes oculaires et la bouche, car la lèvre supérieure et la lèvre inférieure sont généralement soudées et les commissures peu marquées. Je creuse ensuite manuellement les narines et lisse la peau avant d'ajouter grossièrement les pores<fnref n="2" />, des rides et quelques autres petits détails, si le besoin se fait sentir.

<footnote n="1">¹ Je conserve l'expression originale, car même en France je n'ai jamais entendu employer le terme traduit de carte de déplacement</footnote>

<footnote n="2">² J'ai tendance à exagérer les pores, pour que ces informations ne disparaissent pas dans la suite des étapes</footnote>
<figure><img src="image_65.png" /><figcaption>Figure 62 : le scan (a) et le résultat obtenu (b) après l'étape de sculpture numérique</figcaption></figure>

### 2.1.3.3 Un objet qui ne se déforme pas

Une fois ce scan nettoyé, nous devons resoudre deux problémes, le premier c'est que nous ne scannons que la tête, car il est difficile de réaliser avec notre matériel une numerisation de qualité du corps et le deuxième, c'est que le scan n'est pas conçu pour pouvoir se deformer, car comme nous le décrirons en 2.2.2.1, notre travail consiste à rendre animable cette géométrie.

Dans mes premiers essais, je bâtissais le corps en repartant à chaque fois de zéro — ce fut le cas pour le personnage de *Lucky 2.0* (Plessiet 2012) et les premiers avatars d'*outilnum* (Plessiet et al. 2013) — je me suis progressivement rendu compte que cela était contre-productif.

En 2007, il m'était venu à l'idée qu'il serait certainement possible d'utiliser un algorithme pour déformer un maillage de visage doté d'une **topologie** correcte et de le projeter sur un scan (Figure 63b)<fnref n="1" />. J'avais découvert un petit peu par hasard un

<footnote n="1">¹ À l'époque le scanner utilisé était le scanner Laser que j'évoque en page 13</footnote>
**algorithme** qui permettait de définir une géométrie par un graphe de Reeb<fnref n="1" />
(Edelsbrunner 2006) construit à partir des points critiques<fnref n="2" /> (Figure 63a).

<figure><img src="image_66.png" /><figcaption>Figure 63 : les différentes étapes de l'algorithme : (a) points critiques, (b) scanner d'entrée, (c) résultat de sortie</figcaption></figure>

Le résultat obtenu proposait des résultats intéressants (Figure 63c), mais n'était clairement pas exploitable, le maillage obtenu ne suivant que grossièrement la **topologie** que devrait avoir une géométrie de tête correcte. Je pense malgré tout qu'avec l'aide de personnes plus compétentes que moi en mathématiques et informatique, cette technique aurait pu aboutir, entre autres parce que je n'arrivais pas à détecter la cavité oculaire. Mais souhaitant me recentrer sur des problématiques artistiques<fnref n="3" /> j'ai abandonné cette méthode.

Actuellement, j'utilise une démarche manuelle qui consiste à utiliser les outils intégrés au logiciel libre Blender - à savoir un déformer appelé shrink wrap et des outils de positionnement de points sur une autre surface - pour projeter l'objet scanné sur un corps de base, soit féminin, soit masculin<fnref n="4" />, que j'ai modélisé précédemment et que je réutilise et fait évoluer selon mes besoins, afin de pouvoir réaliser rapidement<fnref n="5" /> un

<footnote n="1">¹ Je me suis inspiré du code source de **Blender** qui avait implémenté les graphes de reeb</footnote>

<footnote n="2">² Pour détecter les points critiques, je me contentais d'utiliser une fonction mathématique particulière (fonction de morse) qui se base sur la profondeur (point rouge) et sur la largeur (point bleue)</footnote>

<footnote n="3">³ Ceci est un point important concernant mon rapport à la programmation, même si j'aime programmer, ce n'est pas ma finalité première. Je considère l'informatique comme mon outil créatif et s'il est nécessaire pour moi de comprendre le langage de mon ordinateur (ma machine à créer) pour « écrire ma création », je veux rester « écrivain » et pas « linguiste ».</footnote>

<footnote n="4">⁴ J'ai essayé un temps d'utiliser un maillage asexué comme corps de base, mais certaines zones manquaient de précision, pour pouvoir obtenir un corps sexué de qualité correcte</footnote>

<footnote n="5">⁵ Je suis actuellement en mesure de fournir un personnage nu en moins de deux heures de travail</footnote>
nouveau personage. J'obtiens pour finir un maillage sur un corps, comme le montre la Figure 64. Nous n'avons plus qu'à déformer ce maillage stéréotypé afin de le faire correspondre au mieux au corps du modèle, en ajoutant ou retirant de la masse graisseuse, marquant la musculature. Ce nouveau corps sera reenregistré comme outil de déformation futur, pour la génération de nouveau corps

<figure><img src="image_67.png" /><figcaption>Figure 64 : les différentes étapes du scan au corps complet, (a) le scan, (b) le corps de base, (c) la tête projetée sur le corps, (d) le corps final retouché</figcaption></figure>

### 2.1.4 Simuler la matière

Nous avons donc ainsi créé une sculpture brute. Mais pour atteindre le degré de plausibilité désirée, nous devons simuler la matière qui la compose. La peau est
une matière complexe, à laquelle nous devons apporter une attention particulière,
aussi bien pour la couleur que pour la manière dont elle se comporte avec la lumière.

Mais au-delà de l'épiderme, c'est aussi les yeux, les vêtements et les cheveux
qui demandent toute notre attention. Si auparavant j'optais pour des techniques plutôt
traditionnelles, ma collaboration avec Rémy Sohier au cours du projet Labex Art H2H
« scène augmentée », a complètement changé ma méthodologie en intégrant des
outils plus spécifiques dans cette étape de création.

2.1.4.1 La « matière peau »

Si les sculpteurs hyperréalistes s'appuient sur des matières proches de la
peau pour créer leurs œuvres, comme le silicone, il n'en est pas de même pour l'artiste
numérique. En effet, la matière virtuelle doit être programmée et reposer sur la
simulation des propritétés physiques des matériaux.

L'une des caractéristiques fondamentales de la peau est sa "structure multi couches" : l'épiderme, le derme et l'hypoderme. La lumière pénètre la peau et se transforme d'une manière spécifique pour chacune de ces différentes couches. Les chercheurs en infographie ont réussi à simuler ce phénomène en mettant au point des algorithmes de "diffusion de la lumière sous la surface"<fnref n="1" /> ou Subsurface Scattering (SSS) (Hanrahan et Krueger 1993) qui sont maintenant des techniques classiques dans les effets visuels (Borshukov et Lewis 2003) ou temps réels (Green 2004). Dans ce dernier cas, les algorithmes se basent sur une approximation de ce phénomène et simplifient grandement le calcul, car ces opérations peuvent être longues et donc en inadéquation avec les contraintes du temps réel.

Pour réaliser une matière peau, j'utilise trois textures, une pour chaque couche
de la peau : laplus blanche sera pour le derme, la seconde est la couleur de la peau
en elle-même et la troisième, plus rouge, la couche profonde irriguée par le sang. Pour
créer les textures de derme et d'hypoderme et spéculaire, je pars tout d'abord de la
texture de l'épiderme, que j'ai retravailler manuellement à partir des textures capturées
par le scanner 3D. J'applique par la suite un traitement automatisé<fnref n="2" />, pour obtenir une
version de base de l'hypoderme du derme et de la spéculaire, puis je les retouche avec

<footnote n="1">¹ Nous n'employons quasiment jamais la traduction française</footnote>

<footnote n="2">² Je détaillerai cette automatisation dans le chapitre 2.1.4.3</footnote>
# Partie 2 Sculpture Matrice

un logiciel de dessin 2D afin de corriger les défauts et ajouter des détails (par exemple les veines du derme (Figure 65).

<figure><img src="image_68.png" /><figcaption>Figure 65 : les 4 textures, le derme, l'épiderme, l'hypoderme et le spéculaire</figcaption></figure>

Mais outre cette simulation de la matière peau, il nous faut ajouter tous ces détails qui apportent leur réalisme : pores de la peau, ridules etc.. Pour cela, il existe beaucoup de techniques, mais j'utilise génralement deux d'entre elles : le *parallax mapping* reposant sur une carte de normal (ou *normal map*) (Kaneko et al. 2001) quand je suis dans une optique temps réel et le *displacement mapping* reposant sur la carte de hauteur ou de déplacement (ou *displacement map*) (Wang et al. 2003) quand je travaille sur un projet en précalculé(Figure 66).
<figure><img src="image_69.png" /><figcaption>Figure 66 : (a) normal map et (b) displacement map</figcaption></figure>

Je ne détaillerai pas ces **algorithmes**, car ils sont maintenant standards dans notre domaine et directement intégrés dans nos moteurs. Mais il est important de comprendre que pour fabriquer ces textures, je projette tout d'abord les détails issus de la modélisation haute définition sur la modélisation à la résolution standard. Puis je retravaille l'ensemble en combinant la texture issue de scans, avec un certain nombre de textures générées par ordinateur et un travail plus classique de dessin et retouche photographique.

C'est la combinaison de ce modèle de simulation de matériaux et du travail artistique sur les textures qui permettent d'obtenir le résultat que je souhaite (Figure 67). Bien entendu, des modèles d'illuminations et de scan plus complexes (Debevec et al. 2000; Alexander et al. 2013; Nagano et al. 2015) permettraient de réaliser des sculptures plus réalistes. Mais outre le fait que je ne dispose pas de ces moyens, je préfère cette méthode plus « artistique », car il reste une part de réinterprétation personnelle dans la recréation de la doublure numérique.
<figure><img src="image_70.png" /><figcaption>Figure 67 : visage sans shader SSS et visage avec shader SSS</figcaption></figure>

### 2.1.4.2 Vêtements, yeux et cheveux : modélisation et débrouillardise

Le traitement des yeux, des vêtements et des cheveux doit être effectué séparément. La manière dont je traite ces éléments a bien évolué depuis mes premiers travaux et même si j'ai un peu stabilisé ma méthode de création, elle est susceptible d'évoluer dans un futur plus ou moins proche, avec l'apparition de nouveaux outils et de nouveaux algorithmes, mais elle devra s'intérgrer à mon **pipeline** de création actuel.

Je commencerai par une analyse rapide de l'évolution de ma méthodologie de création de vêtements. Auparavant, mon approche était une approche de création classique, comme pour la Figure 53a page 94, reposant sur de la modélisation polygonale. Depuis les années 2015-2016, j'ai abandonné cette méthode pour utiliser un outil dédié à la conception de vêtements<fnref n="1" />. Par la suite, j'ai utilisé les moteurs de simulation dynamique intégrés au logiciel ou moteur de jeu pour simuler le mouvement des habits.

La réalisation des yeux est plus complexe, car ils sont un élément fondamental dans la plausibilité du personnage et dans la compréhension de ses émotions. Lors d'un keynote à Eurographics en 2014 (Ruhland et al. 2014), j'avais été frappé par les

<footnote n="1">¹ Il existe beaucoup de logiciels de création de vêtements, certaines solutions étant directement intégrées à un logiciel comme Maya d'Autodesk. J'ai, pour ma part, opté pour le logiciel Marvelous designer, pour deux raisons fondamentales : le prix et la simplicité d'utilisation. J'ai pu être opérationnel sur ce logiciel en moins d'une semaine.</footnote>
propos de certains chercheurs travaillant sur la simulation d'yeux photoréalistes, intégrant les mouvements de pupilles, iris et clignement des yeux. À la fin de leur présentation, ils évoquaient que, malgré l'exactitude de leur simulation, il manquait quelque chose dans la qualité de l'animation et de la modélisation de ces yeux, en comparaison à ce que les studios d'effets spéciaux étaient en mesure de créer. Bref, le simulacre était plus réaliste que la simulation. Cette conférence fut pour moi un élément déclencheur dans ma volonté de décloisonner les milieux informatique, artistique et esthétique pour explorer les problématiques liées aux acteurs virtuels.

<figure><img src="image_71.png" /><figcaption>Figure 68 : Un œil marron et les différentes parties qui le composent</figcaption></figure>

Actuellement, je crée des yeux virtuels pour mes projets précalculés, selon un procédé manuel et purement artistique, bien que reposant sur une reproduction de l'anatomie des yeux humains et un grand nombre de photographies de référence de l'œil (Figure 68). Pour les projets temps réel, le problème est différent surtout depuis que j'utilise le moteur de jeu **Unreal**, car ce dernier dispose d'un shader particulier d'yeux qui m'oblige à utiliser une géométrie spécifique fournie avec le logiciel.

La création des cheveux reste une tâche complexe qui, comme pour les yeux, oblige à utiliser des solutions différentes si nous sommes en temps réel ou en précalculé. Si j'avais développé pendant mes études un **plug-in** spécifique, force est de constater qu'il était loin d'être parfait.

Par la suite, jusqu'au début des années 2015¹, j'ai opté pour la modélisation polygonale À partir de là, j'ai commencé à regarder plus précisément les outils de création de chevelure, tout d'abord ceux intégrés dans le logiciel Maya (XGen et NHair)

<footnote n="1">¹ Il existait déjà à l'époque un certain nombre de solutions comme *shave and hair cut* ou plus récemment *yeti* par exemple, mais je ne sentais pas le besoin d'effectuer un apprentissage d'un nouvel outil,</footnote>
puis les solutions externes<fnref n="1" />. Une fois la chevelure générée par le logiciel, je la transforme, pour mes œuvres temps réel en mèches polygonales plus faciles à gérer pour les **moteurs de jeu**.

## 2.1.4.3 Automatiser le pipeline

Comme nous pouvons le voir, c'est bien une succession d'étapes qui doivent être exécutées pour créer une doublure numérique. Certaines nécessitent une action de l'artiste dans le processus alors que d'autres peuvent être automatisées. Durant la conduite du projet Labex art H2H « scène augmentée » j'ai dû trouver le moyen d'optimiser la chaîne de production de mes personnages virtuels.

J'ai évoqué précédemment la première étape d'automatisation : elle consiste à disposer d'une géométrie de base comme point de départ pour le corps du personnage virtuel, un corps féminin ou masculin en fonction du sexe de la doublure et dont la **topologie** est déjà conçue proprement pour l'animation. De plus, cette géométrie dispose de l'ensemble des contrôles nécessaires pour déformer le maillage et le visage (voir le chapitre 3.1.3.3).

J'avais un temps essayé un maillage unisexe, mais je rencontrais trop de problèmes au niveau des hanches et de la poitrine de l'avatar au moment de l'animation. Ainsi, pour le visage, les bras et les jambes la correspondance polygonale est la même, quel que soit le sexe de la doublure, je n'ai pas réussi à conserver une correspondance parfaite pour le tronc en particulier pour la poitrine et le bassin.

C'est ensuite au niveau de la génération de texture que le travail d'optimisation a été le plus poussé. Il repose sur le fait que tous les avatars ont pour point de départ le même dépliage d'UV, cela veut dire que, quel que soit le personnage, les maillages projetés sur un plan 2D auront la même apparence, ainsi le pourtour des yeux sera toujours placé de la même manière, quel que soit le maillage.

Pour la création des cartes de derme et d'hypoderme, j'utilise de simples opérations de modification d'histogramme, qui me permettent de générer les différentes variations de peau. Malheureusement, si cette automatisation me permet

<footnote n="1">¹ Après avoir testé beaucoup de solutions, j'utilise actuellement nhair intégré à maya.</footnote>
de gagner du temps, elle ne me dispense pas d'effectuer une retouche manuelle pour obtenir un résultat que je considère acceptable (Figure 69).

<figure><img src="image_72.png" /><figcaption>Figure 69 : module d'automatisation de la création de la carte de derme, d'hypoderme et de spéculaire</figcaption></figure>

Pour la création de la displacement map, je dispose de textures très hautes résolutions de pore de peau pour différentes zones du visage, des lèvres et des yeux. Grâce à un système de pochoir, je peux appliquer très précisément les textures de pores sur une zone spécifique

### 2.1.4.4 Gérer le pipeline

J'ai mis en avant durant tout cet essai l'importance que je porte à l'optimisation de ma production artistique. Cette recherche d'optimisation m'a conduit à m'intéresser à la notion de **pipeline**. Le **pipeline** est actuellement un des enjeux majeurs des studios de jeux et d'animation. Anne Laure Georges Molland pour définir la notion de pipeline, cite la définition qu'en donne Dan Bettis, « Le pipeline de production n'est pas une structure en tant que telle, mais plutôt un ensemble malléable d'éléments qui peuvent être arrangés, configurés et adaptés en de nouvelles structures selon les besoins. Ces éléments sont d'une part des moyens humains avec des domaines de tâches assignés et d'autre part des systèmes matériels / logiciels ». Elle poursuit en spécifiant que « c'est un dispositif dynamique qui permet au studio de s'adapter au
> caractère incertain et imprévisible des productions artistiques - tel « un avion qu'on reconstruirait en plein vol » - mais également à la politique et aux stratégies du studio. »(George-Molland 2019)

René Broca m'avait demandé de mener une petite recherche sur les logiciels d'aide de **pipeline opensource** (Plessiet 2016c) dans le cadre des *RADI 2016* (Rencontre Animation Développement Innovation) afin de pouvoir proposer une alternative « gratuite » aux logiciels du commerce (en particulier le logiciel *Shotgun* d'**Autodesk** qui est en situation de quasi-monopole dans le domaine). Cette recherche avait d'ailleurs fait l'objet du projet du pôle de compétitivité HD3D auquel notre laboratoire avait participé (Caradec 2006).

C'est pourquoi j'ai été amené à expertiser le logiciel **TACTIC**, et, convaincu, je l'ai mis en situation pour gérer mes travaux. Ainsi j'ai rationalisé mes travaux et me suis aperçu par exemple qu'un acteur était l'association de 3 concepts : un *body* (corps) construit à partir d'un *scan 3D* et d'un *base mesh* (géométrie de base), un *costume* composé de plusieurs *cloth* (vêtements) élaborés grâce au logiciel **Marvelous Designer** et des *hair* (cheveux) crées par le **plug in** Nhair de **Maya** (cf Figure 70).

<figure><img src="image_73.png" /><figcaption>Figure 70 : Pipeline de mes séries de portraits</figcaption></figure>

De plus je peux spécifier très facilement les enchaînements d'actions à faire pour, par exemple, transformer un *scan* en corps animable. Ainsi nous pouvons voir que comme je l'ai décrit en 3.1.2.2, je scan le visage puis le retouche avec le logiciel
de sculpt 3D ZBrush, je vérifie que le travail est bien fait (ZBrush approval). S'il est bien fait, j'effectue une **retopologie**, crée les textures automatiquement (bake), génère automatiquement les expressions de visages, puis m'assure que tout est correct en lançant une animation de test d'expression, puis je considère le travail sur le scan comme terminé (Figure 71).

Grâce à TACTIC je peux m'assurer de suivre exactement toutes les étapes dans le bon ordre et aussi automatiser un certain nombre de tâches comme :

* Ranger les objets dans les bons répertoirs ;

* Nommer correctement les fichiers selon une nomenclature précise ;

* Conserver les différentes versions pour permettre de revenir à un état précédent si je dois réviser quelques détails ;

* Déclencher automatiquement des processus comme la génération des textures...

Ceci me permet de réaliser un corps de personnage, de bout en bout en moins de quatre heures de travail, dont trois heures sans intervention humaine.

<figure><img src="image_74.png" /><figcaption>Figure 71 : Pipeline de création et de traitement d'un scan 3D</figcaption></figure>

Mais au-delà de ce gain de temps, ce qui est intéressant c'est de pouvoir offrir aux futurs utilisateurs des outils permettant d'effectuer facilement un casting virtuel, en choisissant un corps, des vêtements et une chevelure. Pour l'instant, le choix est relativement limité car les acteurs que j'ai numérisés ne m'ont donné la permission d'utiliser leur **double autre** que dans des cadres précis (à savoir leur portrait interactif). Mais dans le futur, nous pourrions imaginer disposer de **doubles autres** numérisés que nous pourrions utiliser en accord avec leurs « originaux » et rémunérés pour l'utilisation de leur image. Ceci pose bien sûr un grand nombre de questions juridiques
# Partie 2 Sculpture Matrice

et déontologiques, comme nous l'évoquions en 2.1.1.1, mais certaines entreprises, EISKIO par exemple, ont déjà beaucoup réfléchi sur les moyens de protéger l'artiste qui prête son image.

<figure><img src="image_75.png" /><figcaption>Figure 72 : Fenêtre de casting dans TACTIC</figcaption></figure>
## 2.2 De la sculpture en mouvement à la sculpture en potentiel de mouvement

La création de cette sculpture numérique est, paradoxalement, une tâche très manuelle, qui manifeste une analogie forte avec la sculpture réelle : elle repose sur la même connaissance des matériaux, la maîtrise de l'outil et la pensée de l'objet en volume. Mais il existe une différence fondamentale par rapport à la sculpture traditionnelle : la sculpture 3D n'est qu'une étape dans un processus complexe de mise en position et mise en image.

En réalité, la sculpture 3D, n'exprime pas le mouvement de l'objet, contrairement à une sculpture traditionnelle où l'œuvre est conçue « en position » ; la sculpture 3D sera mise en position après coup, ce qui oblige le sculpteur numérique à penser à la potentialité de mouvement que pourra prendre son œuvre.

Pour ma part, je ne considère pas la sculpture 3D, même en position, comme une finalité en soi, mais comme une « sculpture matrice » qui aura vocation à accueillir un mécanisme interne pour devenir « autre chose ».

### 2.2.1 Sculpture et Sculpture 3D

La sculpture 3D partage de nombreux points communs avec la sculpture réelle : la nécessité de penser en volume, de considérer la matière, même numérique, comme le support de l'œuvre... Ce qui peut être, plutôt, paradoxal quand la sculpture 3D a pour vocation d'être présentée sur un écran 2D.

Cette « perte de dimension » découle d'une différence fondamentale entre la sculpture virtuelle et son homologue réelle, elle est une étape dans un processus plus large, là où la sculpture réelle est une finalité en elle-même. Le fait d'être un « maillon » d'une chaîne plus complexe entraîne la nécessité d'adopter une forme de « neutralité » pour ne pas « orienter » le résultat final.
2.2.1.1 Une parenté forte avec la sculpture

Que ce soit la sculpture 3D ou la sculpture réelle, la forme est pensée en
volume, c'est-à-dire que contrairement à un dessin traditionnel, l'objet peut-être vu de
n'importe quel point de vue. Ceci oblige l'artiste à conduire une réflexion particulière
sur son œuvre, quel que soit l'angle sous lequel on la regarde.

Ceci pourrait sembler paradoxal puisque le support de diffusion majoritaire d'une sculpture 3D est une image en deux dimensions et donc avec un point de vue contraint, alors que nous pouvons tourner librement autour d'une « sculpture réelle ». Mais ceci est en train de changer avec la démocratisation de la réalité virtuelle ou des hologrammes<fnref n="1" />.

Il faut néanmoins émettre une réserve sur la notion de perspective que l'on
rencontre sur les deux supports, car là où dans la réalité, la perspective existe par
essence, dans l'image de synthèse la perspective est simulée et donc peut être
déformée.

Il en est de même avec la matière dont on fait la sculpture, de la même manière qu'une sculpture s'apprécie éclairée, les ombres étant à la base même de la compréhension de la forme, l'outil 3D dispose d'algorithmes pour permettre d'apprécier le volume de l'objet virtuel. Si auparavant, nous utilisions juste des techniques d'éclairage spécifique (Raitt et Minter 2000), nous utilisons à présent des matcap (pour material capture ) qui permettent de simuler le comportement d'une matière particulière reconstituée par échantillonage et qui ne nécessite pas de condition d'éclairage particulière (Zubiaga et al. 2015).

Donc, que ce soit pour un sculpteur classique ou un sculpteur numérique, leur
création repose sur une trilogie : forme, matière et lumière. Mais il y a une différence
fondamentale entre les deux : dans la plupart des cas, la sculpture 3D est une étape,
là où la sculpture réelle est sa propre finalité.

<footnote n="1">¹ Un certain nombre de ces techniques reposent paradoxalement sur la nécessité pour le spectateur d'adopter un point de vue spécifique pour que l'illusion de volume puisse être efficace. Je pense en particulier aux techniques de matte painting, et de caméra mapping</footnote>
2.2.1.2 Une différence fondamentale

La sculpture numérique a pour finalité d'apporter des données géométriques,
la surface à afficher, à l'ensemble des processus de la chaîne de création, là où la
sculpture une fois finalisée, est soumise telle quelle au regard du spectateur.

La sculpture numérique n'est qu'une base de travail pour la création des
textures et des matières, la mise en forme de l'éclairage et du rendu<fnref n="1" />. Cette spécificité
tient au fait que le maillage n'a pas d'existence propre et que l'environnement dans
lequel il est exposé n'en a pas plus. Il faut donc pour pouvoir exposer cette sculpture,
soit lui créer un environnement d'exposition (lumière matière) ou/et un système pour
le visionner dans cet environnement virtuel (écran, casque de réalité virtuelle etc.) soit
utiliser un système d'impression 3D dans un environnement déjà existant à savoir le
monde réel.

Encore une fois, nous notons que cette création repose sur une étroite
collaboration entre création et simulation. L'étape de création de la forme repose sur
un dialogue homme-machine, créateur-ordinateur, imaginaire-simulation, obligeant
l'artiste à concevoir sa forme en imaginant comment celle-ci sera réinterprétée par
l'algorithme. Ceci est d'ailleurs très notable dans (Raitt et Minter 2000), dont l'un des
auteurs est un modeleur de renom — a entre autres supervisé la création du
personnage de Gollum pour le Seigneur des Anneaux (Jackson 2003) — qui travaille
ses modélisations avec une méthodologie particulière. Il s'appuie sur une parfaite
compréhension des mécanismes de subdivisions de surface, considérant son travail
artistique, comme la combinaison de sa créativité et la réinterprétation de cette
dernière par l'ordinateur.

Une sculpture réelle, même si elle est également un dialogue avec la matière<fnref n="2" />,
existe par elle-même et n'a pas besoin d'un meta-outil – l'ordinateur – pour s'ancrer
dans le réel. Elle existe dès le premier coup de burin. Le sculpteur numérique a besoin
d'un meta-outil qui sera en mesure de matérialiser sa création, à l'instar d'un musicien

<footnote n="1">¹ Dans un studio les tâches de modélisation et de texturing animation/posing, éclairage sont effectuées dans des départements différents</footnote>

<footnote n="2">² Me revient cette phrase de Michel-Ange « Chaque bloc de pierre renferme une statue et c'est le rôle du sculpteur de la découvrir. » qui sous-entend que le sculpteur est lui- aussi en dialogue avec la pierre.</footnote>
qui a besoin d'un instrument interprète pour faire partager sa musique (Nljimbere
2013).

Ce travail n'est qu'une étape dans un processus large où d'autres intervenants, humains ou logiciels (par l'application d'algorithmes), viendront apporter leur contribution et leur interprétation<fnref n="1" />. Il faut donc que cette sculpture n'influence pas la suite le processus créatif en donnant une intention non voulue.

2.2.1.3 Une nécessité de neutralité du mouvement

Comme nous l'avons précisé auparavant, la sculpture 3D est une étape dans
un processus plus large de création. Elle ne doit de ce fait pas pouvoir teinter les
étapes suivantes en y insufflant une intention de position ou d'expression. Elle doit
alors être « neutralisée », mais aussi anticipée et donc être dénuée de toutes émotions.

Ceci entraîne de la part de l'artiste l'adoption d'une forme d'analyse froide de
la forme qui n'est pas sans rappeler cette volonté des hyperréalistes de déposséder
l'émotion de leur sculpture. Mais là où les hyperréalistes utilisaient cette froideur
expressive comme un parti pris créatif pour montrer avec le plus d'objectivité possible
la réalité, l'artiste numérique le fait par contrainte technique, car toute influence
expressive qu'il introduira dans la forme de l'objet se retrouvera en latence dans tous
les développements futurs.

Si nous modélisons un visage souriant alors il sera très difficile de lui faire
exprimer d'autres émotions. Il en est de même pour le corps :, si notre personnage est
modélisé en position foetal, nous aurons de grosses difficultés pour le mettre debout.
C'est la raison pour laquelle les modeleurs travaillent leur création dans une pose figée
spécifique dont voici les trois formes les plus courantes :

* La pose « T » où les bras sont étendus à l'horizontale ;

* La pose « A » où les bras sont à 45° le long du corps ;

<footnote n="1">¹ Je tiens à noter que nous pouvons retrouver la notion de travail d'équipe dans la sculpture traditionnelle, Rodin lui-même supervisait une équipe.</footnote>
* La pose « ride the bicycle »<fnref n="1" /> où chaque membre est dans une position de relâchement à 45° donnant l'impression que le personnage chevauche un vélo.

Nous voyons bien ici que nous sommes en présence d'une étape fonctionnelle qui, même si elle repose sur les compétences et le talent de l'artiste numérique, n'a pas pour vocation d'être présentée au public, tout au plus elle sera présentée au superviseur pour validation<fnref n="2" /> si le contexte est celui de la production d'un film.

Paradoxalement, même si cette sculpture a une pose et une expression figée, elle doit pouvoir être déformée par la suite, ce qui est une autre différence de taille par rapport à une sculpture réelle, car là où la sculpture exprime sa pose finale, la sculpture 3D doit de présenter une possibilité de mouvement.

### 2.2.2 Une potentialité de mouvement

Nous sommes donc en présence d'une forme neutre – au sens où elle est dépossédée de son expressivité de mouvement – mais qui doit par la suite pouvoir exprimer une potentialité de mouvement. Ceci nécessite une véritable réflexion sur l'architecture des lignes de force du maillage en vue de sa déformation.

Mais comment peut-on considérer cette déformation future ? N'est-ce pas en réalité une succession de formes qui se substituent les unes aux autres à la manière de l'animation en stop-motion ? Nous verrons qu'il peut y avoir une analogie forte entre cette méthode de conception et l'animation 3D.

Au-delà de cette approche, nous pouvons aller plus loin et simuler une véritable bio mécanique pour nous aider à la mise en forme de notre sculpture. Mais

<footnote n="1">¹ Cette pose spécifique est généralement utilisée dans le cadre de personnage photoréaliste où il sera tenu compte avec beaucoup d'attention de la plausibilité de la musculature, car la position des muscles se trouve dans une position médiane entre la contraction et l'étirement. Les artistes ne commencent que rarement sur cette pose, car elle rend difficile les autres étapes, mais il n'est pas rare qu'ils commencent en pose A ou pose T avant d'effectuer une rapide mise en pose pour le « ride the bicycle ». Pour ma part, je n'ai pas encore intégré cette étape dans ma modélisation.</footnote>

<footnote n="2">² En effectuant une animation que l'on appelle « turntable », présentant une rotation de l'objet à 360° et permettant de rendre compte de la forme de l'objet.</footnote>
sommes-nous dans la simulation de mécanisme musculaire ou, là encore, dans un simulacre assumé ?

## 2.2.2.1 Une structuration du maillage

Il est courant pour les dessinateurs et les sculpteurs d'apporter une grande attention aux lignes de force de la musculature d'un personnage pour souligner le mouvement de leur sujet. Pour l'artiste numérique, les lignes de force doivent être contenues dans la géométrie même de leur modélisation.

En effet, le maillage doit prévoir toutes les lignes de force nécessaires à l'obtention des formes générées par l'ensemble des mouvements envisagés. Ainsi la zone du buste doit souligner les muscles pectoraux, les avant-bras doivent pouvoir contenir les informations de déformations pour le mouvement de pronation et de supination et ainsi de suite. Ceci change fondamentalement le rapport de l'artiste à la forme.

C'est pourquoi les artistes numériques prêtent une attention particulière à la **topologie** de leur maillage (Raitt et Minter 2000). Une bonne **topologie** doit souligner la musculature et anticiper les possibles déformations de l'objet 3D. Elle repose, essentiellement, sur un savoir empirique et, bien entendu, sur des connaissances anatomiques et techniques, que les artistes ont mises au point au fur et à mesure de leur pratique. Certains chercheurs ont essayé de voir s'il était possible d'automatiser un tel processus. Force est de constater que pour le moment, ces algorithmes ne peuvent se passer de l'intervention humaine (Takayama et al. 2013).

<figure><img src="image_76.png" /><figcaption>Figure 73 : un exemple de edge loops pour la modélisation du corps (M*A*R*K 2012)</figcaption></figure>