# La simulation du travail théâtral et sa "notation" informatique

Georges Gagneré, Rémi Ronfard, Myriam Desainte-Catherine

► To cite this version:

Georges Gagneré, Rémi Ronfard, Myriam Desainte-Catherine. La simulation du travail théâtral et sa "notation" informatique. La notation du travail théâtral: du manuscrit au numérique, Monique Martinez and Sophie Proust and Matthieu Pouget, Apr 2012, Toulouse, France. hal-00768897

HAL Id: hal-00768897

https://inria.hal.science/hal-00768897

Submitted on 26 Dec 2012

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# La simulation du travail théâtral et sa « notation » informatique

George Gagneré (didascalie.net), Rémi Ronfard (INRIA), Myriam Desainte-Catherine (LaBRI)

Nous proposons d'aborder les conditions d'une simulation numérique du travail théâtral à travers la présentation des enjeux d'un projet de recherche en cours de construction, intitulé THéâtre sur mAquette virtueLle Interactive Augmentée (THALIA)¹. Cette démarche de simulation implique un contrôle informatique, dont nous évaluerons la nature à la lumière des problématiques de la notation. L'impulsion de la recherche est née de la poursuite du développement des outils d'assistance à la création utilisés par le metteur en scène et ses collaborateurs, dont notamment la maquette de rendu scénographique, les conduites des régies contrôlant les matériaux scéniques et divers documents complémentaires empiriquement formalisés.

Une représentation de spectacle vivant résulte d'un processus complexe et nécessite la coordination étroite de multiples corps de métier dans une perspective de reproduction de soir en soir. L'étude des conditions de la notation de ces différentes facettes du travail scénique constitue ainsi un préalable théorique important du projet. Celui-ci s'inscrit par ailleurs dans l'approche traditionnelle d'adaptation du spectacle vivant aux technologies de son époque et vise à accompagner le phénomène de mutation des processus de création et de production scéniques sous l'influence de la révolution numérique bouleversant l'ensemble des industries culturelles.

La communication comprend quatre parties. Nous présenterons d'abord le processus de simulation numérique des matériaux scéniques (scénographie, lumières et images) et nous préciserons la nature de la maquette virtuelle interactive augmentée qui en sera le support. Nous aborderons ensuite les questions de contrôle temporel des flux dématérialisés, et plus particulièrement la relation entre notation et interprétation à partir de l'exemple de la musique et du sonore. Ce sera l'occasion d'évoquer les résultats récemment obtenus par le projet de recherche VIRAGE, ainsi que leurs prolongements en cours. Nous proposerons ensuite des pistes pour simuler le jeu des interprètes sur la scène et nous terminerons pas l'exposition du paradigme central de l'interactivité et de son influence sur les fonctionnalités attendues et le design de la maquette virtuelle dans le contexte d'une pratique créative intermédiaire. Nous conclurons en évoquant quelques perspectives de développement ouvertes par THALIA.
La simulation des matériaux scéniques

La maquette de rendu scénographique constitue l'espace de simulation traditionnel du spectacle vivant, plus particulièrement de l'opéra et du théâtre. Il s'agit d'un objet concret qui matérialise à la fois l'architecture d'un théâtre et le décor correspondant à une production. Elle permet au metteur en scène et à son collaborateur scénographe de présenter les différentes configurations d'un décor au producteur (pour en consolider l'adhésion financière), au directeur technique responsable de la fabrication du décor (pour en garantir la mise en œuvre scénique), et à l'équipe artistique concernée par la production (pour transmettre des éléments nécessaires à la compréhension dramaturgique). Mais avant tout, elle leur sert à tester les concepts scénographiques, et plus largement artistiques du projet. La particularité de la maquette est d'articuler concrètement les caractéristiques spatiales propres d'une production à l'architecture scénique spécifique du lieu qui la réalise. Il s'agit de confronter les potentialités offertes par les équipements scéniques, les dégagements et le rapport scène-salle, avec les mouvements du décor et la nature des matériaux souhaités.

Le projet de simulation du travail théâtral prolonge cette approche empirique et souhaite offrir aux artistes, aux techniciens et aux producteurs de nouveaux outils qui augmentent les fonctionnalités offertes par la maquette de rendu. Dès la généralisation de l'ordinateur comme outil de conception, des logiciels ont été développés pour reconstruire virtuellement cette maquette dans des espaces 3D. Le projet de recherche ScenographIA, conduit par le département de scénologie de l'École Nationale Supérieure d'Architecture de Nantes, a récemment permis d'obtenir d'importants résultats dans le processus de construction d'une cage de scène virtuelle et dans la formulation des enjeux techniques à résoudre². Dans la continuation de ces avancées, THALIA envisage la réalisation d'un rendu stéréoscopique de l'architecture du théâtre et de la scénographie, qui permette l'immersion et qui délimite un espace physique d'interaction (cf. figure 1).

Cette simulation 3D stéréoscopique s'adressera aux différents corps de métier concernés par la fabrication de la représentation. Selon les divers besoins existants ou à venir, il s'agit ici de représenter des situations ou systèmes physiques afin d'en étudier le comportement, qui dépend fortement de la finalité d'un usage. Citons par exemple le dialogue entre le metteur en scène et le scénographe, l'articulation entre la conception d'un décor et sa construction (montage-démontage), la réalisation de changement de décor sous contrainte temporelle (précipité ou changement rapide) par les équipes coordonnées de machinerie et de cintre selon les personnels disponibles (planning de production), etc.
<figure><img src="image_2.png" /><figcaption>Figure 1 : De la maquette traditionnelle à la maquette virtuelle</figcaption></figure>

L'objectif est de permettre à chacun d'utiliser la maquette à partir de ses outils ou interfaces métier.
Le concepteur des plans doit pouvoir y importer les fichiers 3D qu'il a réalisés avec son logiciel
habituel ; le chef plateau doit être libre de définir l'interface adéquate qui lui permettra de manipuler
les éléments scénographiques dans la simulation ; le metteur en scène et le scénographe définiront
leurs exigences au niveau du rendu et de la manipulation de ces mêmes éléments ; le cintrier doit
pouvoir piloter les perches virtuelles avec son pupitre habituel, etc. Paradoxalement, la maquette
sera tangible et accessible selon le point de vue de chaque usage. La première dimension implique
de pouvoir manipuler directement les éléments simulés avec des interfaces adéquates. C'est un
enjeu d'interaction homme-machine (IHM) dans le cas particulier d'un rendu 3D stéréoscopique. La
seconde dimension suppose de pouvoir utiliser la maquette virtuelle comme une scène pilotable par
des interfaces de contrôle métiers extérieures (enjeux de déport des interfaces, de portabilité de la
maquette, de point de vue stéréoscopique). Habituellement, la notion de réalité augmentée fait
référence à un espace physique dans lequel on juxtapose des éléments visuels et sonores permettant
d'accéder à des informations virtuelles à propos de l'espace concerné. Ici, il s'agit de doter
d'extensions physiques des éléments virtuels afin de matérialiser des manipulations. Le passage de
la maquette physique à la maquette virtuelle tangible et accessible présente de nombreux verrous technologiques, mais il ouvre des potentialités de simulation pour la lumière et les images.

Pour la lumière, il s'agit de simuler les emplacements des projecteurs dans la cage de scène et l'espace spectateur. Ces contraintes physiques de localisation des sources (projecteurs traditionnels, à LED, automatiques, etc.) sont déterminantes pour le calcul des rendus lumineux sur l'espace de jeu. Les effets vidéo seront simulés par la localisation des vidéoprojecteurs et des caméras relativement à la configuration scénographique. La synthèse des images sera réalisée par les consoles et/ou les ordinateurs des utilisateurs. Nous développerons des convertisseurs adéquats pour extraire les captations de caméras virtuelles à l'intérieur de la maquette et intégrer les images calculées à l'extérieur. A la différence de la lumière, dont les « moteurs », à savoir les blocs de puissance qui alimentent en électricité les projecteurs, sont situés en dehors des consoles de contrôle, les images sont très souvent calculées par les périphériques ou les ordinateurs qui servent aussi d'interfaces de contrôle. Il est donc envisageable d'émuler au sein de la maquette virtuelle les blocs de puissance lumière et d'en assurer le contrôle avec une console extérieure³. En revanche, pour les images, il faut combiner ce qui provient de la maquette à travers les caméras virtuelles et ce qui est fabriqué à l'extérieur du moteur 3D. Au final, le contrôle de la lumière et de la vidéo au sein de la maquette se fera de l'extérieur avec les interfaces métiers choisies par les utilisateurs. La simulation portera sur le mélange de la vidéo et de la lumière, les rendus sur le décor et les problèmes d'occultation par les interprètes.

## Contrôle temporel et marges d'interprétation

Sous la direction du concepteur des éclairages, un régisseur-lumière enregistre à l'aide d'interfaces spécifiques l'évolution temporelle de paramètres en mode séquentiel et/ou parallèle. Les paramètres, de plus en plus nombreux, concernent par exemple l'intensité lumineuse des projecteurs ou les positions et caractéristiques matérielles des projecteurs « automatiques » mobiles. Après avoir établi et programmé la liste des effets correspondant aux séquences d'évolution des paramètres contrôlant chaque projecteur, il faut positionner les effets, par rapport à une interprétation scénique, en les notant sur un document généralement intitulé conduite-lumière. Les flux vidéos présentent globalement les mêmes caractéristiques. Cependant, rendue nécessaire par la synthèse d'images intégrant d'autres flux d'information issus du plateau, l'utilisation d'algorithmes temps réel introduit une nouvelle complexité dans l'écriture des effets⁴.

La simulation des flux de matériaux scéniques correspondant à la scénographie, la lumière ou la vidéo ne se limite pas à la dématérialisation et la transposition dans une maquette virtuelle, mais
inclut la problématique du contrôle temporel, subordonné au déroulement du jeu des interprètes.
Nous allons ainsi examiner plus en détail ces questions à travers la simulation d'une autre dimension
scénique fondamentale de la représentation, la dimension sonore. Il faut rendre l'acoustique d'un
espace et les contraintes de diffusion générées par la position des enceintes, mais aussi la fabrication
des éléments sonores accompagnant les actions scéniques au sens large (interprètes et dynamiques
des autres matériaux)⁵.

Les créations d'oeuvres musicales et leurs interprétations requièrent pour une grande partie du
répertoire occidental l'utilisation d'un système de notation, qui s'est constitué progressivement au fil
du Moyen-Âge jusqu'à son aboutissement à la Renaissance. Basée sur des portées, une partition
comporte des consignes aux musiciens reposant sur une réduction à certains traits musicaux (la
hauteur, le rythme). La partition détermine ainsi précisément une œuvre, dont la classe des
interprétations successives a pour caractéristique de reproduire fidèlement les instructions
consignées. En théorie, une fausse note dans l'interprétation trahit l'oeuvre du compositeur, précise
Nelson Goodman dans sa minutieuse analyse de la notion de notation (GOODMAN). Noter une
pièce de musique afin de la constituer comme œuvre suppose de respecter des réquisits
fondamentaux qui en garantiront la pérennité dans un régime artistique dit « allographique », c'est-
à-dire un régime dans lequel la définition de l'oeuvre est indépendante de son procès de production.
L'oeuvre musicale et la série d'interprétations diverses qui nous la font connaître ne sont en effet
aucunement liées à l'authenticité du manuscrit écrit par le compositeur, contrairement à la
production du peintre, susceptible de contrefaçon, et qui demeure dans un régime premier dit
« autographique ».

Le musicien interprète une œuvre avec une marge de liberté importante qui ne remet pas en
question pour l'auditeur l'apport initial du compositeur. Des différences surgissent et permettent à
l'art de l'interprétation musicale de prospérer. Mais les indications correspondantes ne respectent pas
les réquisits mis en évidence par Goodman et ne contribuent pas à la définition de l'oeuvre. Lorsque
la musique sur support fait son apparition dans la seconde moitié du XXème siècle, l'interprète est
une machine et la notation se fait par la transcription de signaux électriques sur bande magnétique.
Avec l'arrivée ultérieure de l'ordinateur, le système notationnel englobe deux partitions : les
partitions instrumentales jouées par les musiciens et la partition numérique jouée par l'ordinateur,
c'est-à-dire un programme informatique qui doit dialoguer avec les musiciens. Cette problématique
de la souplesse de l'interprétation numérique de l'ordinateur devant jouer avec un interprète humain
ouvre aujourd'hui un nouveau domaine de recherche. Deux approches complémentaires permettent
de l'illustrer. On peut rechercher un moyen de faire reconnaître à l'ordinateur l'interprétation d'une
partition traditionnelle, ce qui permet alors à la machine et au programme informatique qui exécute
la partition numérique de jouer de manière synchronisée avec les musiciens⁶. Une approche
alternative consiste à offrir une marge d'interprétation dans l'exécution d'une partition par un
programme informatique. Cela nécessite d'inventer un formalisme temporel qui permette d'ajuster
un tempo au moment de l'exécution d'un programme. C'est notamment l'enjeu des recherches autour
du modèle Iscore, dont nous allons maintenant donner un court aperçu (ALLOMBERT 2008).

Pour la musique instrumentale, la notation est donc basée sur la notion de portées et de time-line.
Une portée est attribuée à un instrument ou bien une partie d'un instrument. Les portées sont
synchronisées car lors de la lecture, elles commencent et se terminent en même temps. Sur la portée
sont écrites des notes en séquence de gauche à droite spatialement pour les mélodies, ou
verticalement pour les accords. Des relations temporelles implicites prennent place entre tous les
symboles apparaissant sur la partition selon la time-line. Pour la musique sur support, la notion clef
est la piste, héritée des bandes magnétiques, et qui est utilisée dans les séquenceurs. Là aussi, les
pistes commencent et finissent en même temps. En musique, une grande partie de l'interprétation se
situe dans le jeu avec le temps : modifications agogiques, rubato, accelerando, ritardando. Aussi,
pour adresser la question de l'interprétation, il est nécessaire de raffiner les relations temporelles à
l'intérieur des pistes, pour se rapprocher du modèle de la partition instrumentale. Le modèle Iscore
permet une composition musicale « hors pistes ». Il est basé sur une notion de boîte hiérarchique
placée sur la time-line. Une boîte peut représenter une note ou un son ou bien contenir des notes et
représenter par exemple une structure mélodique. Des relations temporelles peuvent être définies
entre les boîtes. A l'instar de la partition instrumentale, ces relations permettent de définir la
cohérence temporelle qui doit être maintenue lors de l'exécution, mais aussi la marge de liberté qui
est laissée à l'interprète⁷.

Cette problématique du contrôle temporel de machines en relation avec l'interprétation humaine est
généralisable à tous les matériaux scéniques utilisés sur le plateau de spectacle vivant : la lumière,
les images et les mouvements de scénographie. Nous avons déjà évoqué la conduite qui constitue
l'outil permettant d'établir la correspondance entre la manipulation des matériaux et le jeu des
interprètes. Suite à une réflexion démarrée en 2006 autour des transformations touchant les outils
des praticiens du sonore dans le spectacle vivant⁸, un chantier de recherche intitulé VIRAGE a
permis d'explorer une généralisation du formalisme Iscore au plateau de théâtre et de danse⁹. Dans
un premier temps, les partenaires ont mis en place le protocole MINUIT qui a permis d'assurer
l'interopérabilité entre plusieurs logiciels dédiés à la création sonore et visuelle. La manipulation
des paramètres des flux audio et vidéo a pu être agglomérée dans un espace d'écriture commun. Une
formalisation de leur contrôle temporel a ensuite été réalisée avec Iscore et a débouché sur la réalisation du prototype de séquenceur Virage (cf. figure 2). Cet outil de contrôle temporel a été utilisé en situation de spectacle par des régisseurs professionnels du son, de la lumière et de la vidéo (ALLOMBERT 2010).

<figure><img src="image_3.png" /><figcaption>Figure 2 : Conduite de spectacle avec le séquenceur VIRAGE</figcaption></figure>

Parmi les nombreux enseignements tirés de l'expérimentation, les utilisateurs ont constaté une complexification de l'écriture des événements temporels pour deux principales raisons : la superposition des pistes de contrôle de tous les matériaux scéniques fait surgir les potentialités d'interactions mais devient vite difficilement lisible étant donné le nombre de paramètres concernés. Par ailleurs, le déport de l'écriture du temps d'une console de contrôle dédiée (jeu lumière ou logiciel vidéo) vers un séquenceur global doit se faire en respectant les usages IHM propres à chaque métier. Le processus de simulation d'une action scénique dans une maquette virtuelle sera fortement lié à la manière de représenter non seulement la temporalité propre de chaque élément concerné, mais aussi ses relations avec les autres, notamment avec les interprètes. Il sera par ailleurs utile de déterminer si la manière d'écrire les paramètres d'effets d'un média respecte les réquisits d'un système de notation, ce qui permettra de préciser les marges interprétatives du régisseur, à l'instar de celles du musicien dans le cas de la notation musicale.
Contrôle expressif des acteurs et questions de notation

La simulation du travail théâtral ne peut donc faire l'économie de la simulation de son cœur, à savoir les artistes-interprètes évoluant dans la scénographie et baignés dans un environnement lumineux et audiovisuel. Dans le domaine de l'animation 3D, le terme d'acteur virtuel est trompeur car les mouvements, gestes et expressions de l'acteur virtuel ne sont pas autonomes, mais enregistrés. Selon les cas, ils peuvent être le résultat de la capture des mouvements, gestes et expressions d'un acteur réel, ou le fruit du travail laborieux d'un animateur. Pour un metteur en scène, l'acteur virtuel apparaît alors comme une marionnette au comportement programmé et prévisible. Loin du fantasme d'une reproduction de l'humain, nous nous concentrons sur la reproduction des actions concrètes qu'un metteur en scène réalise au cours des répétitions : déplacer les acteurs sur la scène, contrôler leurs entrées et sorties, modifier leurs trajectoires, le rythme et l'intensité de leurs mouvements et gestes, moduler la prosodie dans l'énonciation de leur texte, tout cela dans une harmonieuse synchronisation avec l'ensemble des événements scéniques. Ce domaine du contrôle expressif du mouvement et de la parole d'un acteur virtuel est un domaine de recherche actif qui offre trois options principales.

La première consiste à définir une partition scénique où le jeu de chaque acteur est représenté par une ou plusieurs portées recueillant les trajectoires de ses mouvements au cours du temps. Le metteur en scène contrôle chaque acteur en éditant la partition « note par note », à la manière d'un compositeur de musique, faisant écho à la technique de partition des mouvements d'acteur proposée par le metteur en scène Richard Schechner¹⁰. Cette option a été utilisée dans le domaine théâtral par le système « Watching the script » pour visualiser la mise en scène d'un texte (ROBERTS-SMITH). C'est une technique utile pour le pédagogue, mais pas suffisamment souple pour éditer séparément les lignes mélodiques en intégrant des contraintes spatiales, à la manière du metteur en scène procédant à un arrangement scénique en quelques instructions pendant les répétitions. Une seconde option consiste à manipuler directement les acteurs en temps réel, comme des marionnettes. Plusieurs dispositifs technologiques permettent déjà le contrôle simultané des degrés de liberté du mouvement (video, caméra kinect, dispositif de capture de mouvement) : on peut ainsi capturer les gestes d'un acteur réel et les reporter sur les acteurs virtuels. Il faut cependant veiller à donner au manipulateur du système la possibilité de mettre en place progressivement les différents couches ou strates du mouvement, comme cela se pratique au fil des répétitions (DONTCHEVA).

La troisième option consiste à diriger les acteurs en temps réel à l'aide de langages de commande plus ou moins élaborés, tels que le geste, la commande vocale, ou une combinaison astucieuse entre ces deux modalités. La commande d'un acteur virtuel en langue naturelle se rapproche de la
pratique du metteur en scène et a été proposée dès les années 1980 (DREWERY). Cependant, ces premiers travaux se sont heurtés à la difficulté de générer des mouvements naturels et réalistes en temps réel. Plus récemment, cette approche a été étendue en utilisant une base de mouvements capturés, qui sont ré-ordonnés et séquencés en temps réel de façon à répondre aux commandes du metteur en scène avec un degré de naturel et de réalisme beaucoup plus satisfaisant (WANG). La synchronisation des mouvements entre les acteurs virtuels reste néanmoins un important verrou. Quelle que soit l'option choisie, la dimension textuelle, constitutive du jeu d'un comédien réel, devra être reconstruite avec l'acteur virtuel. Une source d'inspiration à cet égard est le système de création d'animation « text-to-scene » de Xtranormal Technologies¹¹, où les indications scéniques sont directement insérées dans le texte des dialogues sous la forme d'annotations. La partition scénique est créée à partir des dialogues et de leurs annotations par une combinaison de technologies de synthèse vocale et d'animation par couche, invisibles pour l'utilisateur.

Au niveau de la maquette virtuelle, nous serons donc en mesure de simuler tous les ingrédients dont le mélange conduit au fil des répétitions à la représentation. Mais la question de la notation du spectacle qui s'offre chaque soir au spectateur reste entière. Le statut du texte théâtral et les expériences d'élaboration de système de notation dans le domaine chorégraphique permettent d'en éclairer la complexité. A l'instar de la partition musicale, le texte de théâtre soutient-il la représentation comme un système de notation de l'écriture scénique ? Sans reprendre la polémique infructueuse concernant la nécessaire fidélité de la mise en scène, on constate qu'un texte de théâtre constitue une œuvre correspondant à une classe de performances respectant les dialogues concernés (par exemple lecture intérieure, lecture-spectacle, représentation théâtrale). Mais si le texte théâtral est allographique concernant l'énonciation des paroles, on ne peut en déduire qu'il constitue une notation de l'ensemble du parcours des interprètes sous la direction d'un metteur en scène et en interaction avec de multiples éléments extérieurs au texte introduits par d'autres créateurs. Or, comme en musique, tous les commentaires ou didascalies commentant le tissu des dialogues verbaux transcrits ne peuvent prétendre former un système de notation, car ils sont ambigus et non disjoints sémantiquement (GOODMAN).

Si l'on part du résultat, la recherche du processus notationnel est déceptive car elle se confond avec les problématiques de la description¹². Pourtant, face à l'interprétation musicale, l'oeuvre du compositeur ne se dérobe pas, sa notation reste fermement attestée par la partition et fixe son identité sans ambiguïté ni diminution. La difficulté pour le théâtre est de saisir l'oeuvre scénique par l'instanciation que propose une interprétation. On la retrouve dans l'approche des mouvements du corps du danseur, caractérisée par l'invention de plusieurs dizaines de propositions de système de
notation à partir du XVIème siècle, dont notamment la fameuse « chorégraphie » de Feuillet au
début du XVIIème siècle, et les systèmes de Laban, Benesh ou encore Conté au siècle denier. Bien
que ces récentes propositions semblent respecter les réquisits énoncés par Goodman, l'usage de la
notation est peu répandu parmi les professionnels et se limite essentiellement à la perspective de
constituer une trace, et non pas d'écrire une œuvre, au contraire de l'auteur et du compositeur. Par
ailleurs, si la danse semble pouvoir en théorie être notée, le système utilisé a tendance à se spécifier
fortement en fonction du chorégraphe, ce qui fragilise le concept même de notation supposé être
indépendant du processus de création. Pour autant, plusieurs travaux en cours offrent de premiers
résultats sur la simulation de la danse à partir de partitions chorégraphiques¹³.

En face de quoi sommes-nous lorsque nous assistons à une interprétation musicale, chorégraphique
ou théâtrale ? S'agit-il de l'instanciation d'une œuvre allographique écrite par un compositeur, un
chorégraphe, un auteur et un metteur en scène, ou bien de la réalisation autographique d'interprètes
collaborant au sein d'une équipe rassemblant de multiples compétences artistiques et techniques ?
Le musicien qui interprète les Variations Goldberg au fil de sa carrière n'est-t-il pas lui même auteur
d'une œuvre propre dans le paysage musical que propose Jean-Sébastien Bach, et ne pourrions-nous
pas imaginer des pianistes interprétant à leur tour l'oeuvre de Glen Gould ? N'y a-t-il pas dans tout
geste créateur un arrachement primordial de matière à une intuition qui la précède ? Le peintre et le
sculpteur forgent directement cette matière sans intermédiaire. Le compositeur et l'auteur se sont
pliés à la médiation de la partition et du langage pour la transmettre¹⁴. N'est-ce pas au metteur en
scène, au chorégraphe et à leurs collaborateurs de décider comment ils désirent faire œuvre ? Et
n'assistons-nous pas justement à l'émergence depuis la fin du XIXème siècle de nouvelles figures
créatrices qui à peine nées se retrouvent bouleversées par la mutation du langage et de l'écriture
sous l'influence des paradigmes du numérique et de l'informatique, qui génèrent à leur tour de
nouvelles figures créatrices ? Ce n'est pas le lieu ici de poursuivre cette échappée épistémologique,
dont nous retiendrons cependant que la notation peut être constitutive de la matérialisation d'une
œuvre artistique, mais qu'elle n'en découle pas *a posteriori*¹⁵.

Dans le contexte de THALIA, nous proposons d'identifier un corpus d'actions scéniques
représentatif du parcours des interprètes sur un plateau, dont les combinaisons puissent être décrites
par un système de notation au sens de Goodman, supportant le contrôle de la simulation d'emojis
dans la maquette 3D. S'il n'existe quasiment pas de travaux théoriques sur la notation du jeu
scénique de l'acteur, les métiers techniques de la régie de scène ou du « stage management » anglo-
saxon ont en revanche construit empiriquement des modèles pour en décrire l'évolution, dont nous
nous inspirerons. L'acteur virtuel que nous proposons n'a donc bien sûr pas l'ambition de permettre
une simulation intégrale de la complexité du jeu de l'acteur réel. Il est également utopique d'imaginer qu'une complexification d'un premier modèle de « base » puisse à terme permettre de reproduire le réel. En revanche, nous souhaitons proposer au metteur en scène et à l'interprète des moyens facilement accessibles de projeter une présence scénique dans une maquette virtuelle afin de disposer de tous les matériaux constitutifs de la fabrication d'une représentation.

## Paradigme de l'interactivité et utilisations de la maquette virtuelle

Nous avons dit que les flux lumineux, vidéos ou sonores dépendaient temporellement du jeu des interprètes. On constate réciproquement que les interprètes répondent à des stimulations qui proviennent de l'environnement scénique, de leurs partenaires bien évidemment, mais aussi de la lumière, de la vidéo ou du son, qu'il faut désormais intégrer à part entière dans le dispositif de jeu. L'espace de simulation proposé dans la maquette virtuelle matérialise cet état de fait et le stimule en rendant possible la composition d'algorithmes d'interaction entre les éléments scéniques simulés. Avant la révolution numérique, les interactions étaient formulées et réalisées par les acteurs et les régisseurs durant les répétitions et la représentation. Depuis la généralisation de l'ordinateur dans le contrôle des machines, on assiste à un phénomène d'augmentation du corps de l'interprète afin de permettre un dialogue plus intime avec les algorithmes d'interaction. L'utilisation de capteurs dans une démarche expressive, notamment sur les plans corporel et physiologique, reste néanmoins délicate, et l'art chorégraphique a naturellement développé dans ce domaine une curiosité et un savoir-faire plus avancé que le théâtre. Les capteurs situés dans un espace permettent à une scénographie de percevoir les interprètes. Les capteurs embarqués sur un corps permettent d'extraire de nouvelles informations sur les mouvements. On peut aussi porter des lunettes ou des casques très discrets qui permettent aux yeux et au cerveau de transmettre des informations. Enfin, l'usage de la caméra et les recherches sur la vision par ordinateur offrent des moyens de plus en plus fins de décrypter les actions visibles. L'être humain dialogue désormais de multiples manières avec les machines et les flux de matière et d'information qu'elles produisent¹⁶.

Face à cet espace d'écriture global ouvert par l'informatique, les travaux pionniers de Myron Krueger nous incite à donner toute sa place au paradigme d'interactivité qui en découle (KRUEGER). Pour reprendre les mots de l'artiste-chercheur qui construisit au milieu des années 70 l'installation visionnaire Videoplace, offrant au public la possibilité d'un dialogue direct par son corps avec un environnement informatique visuel, l'enjeu consiste à « élever l'interactivité au niveau d'une forme d'art en opposition à faire des œuvres d'art qui se trouveront être interactives »¹⁷. Il nous propose ainsi d'inventer des « environnements sensibles constituant un nouveau médium esthétique
fondé sur l'interactivité temps-réel entre les hommes et les machines »¹⁸. La maquette virtuelle proposée par THALIA prolonge cette approche qui permet d'envisager la scène comme pierre de touche d'un dialogue augmenté avec notre environnement, et en offre une simulation pour faciliter sa mise en œuvre.

<figure><img src="image_4.png" /><figcaption>Figure 3 : Architecture logicielle et interactions dans THALIA</figcaption></figure>

L'utilisation d'une maquette virtuelle dans le processus créatif des répétitions doit prendre en compte une temporalité qui se décompose généralement en 4 phases : préparation amont, répétitions, représentations et tournée, et parfois reprise. Par ailleurs on peut distinguer les phases de travail qui se situent sur le plateau et hors du plateau, avec ou sans les comédiens. Traditionnellement, la maquette de rendu scénographique sert principalement dans la préparation amont en dehors du plateau et parfois au début des répétitions sur le plateau pour intégrer les nouveaux collaborateurs au projet. Nous proposons d'utiliser la maquette virtuelle sur l'ensemble de la période de travail et de mettre à jour la simulation au fil des répétitions. L'objectif recherché est d'allier l'approfondissement du travail spécifique de chaque collaborateur dans les plages de préparation hors plateau à la préservation du tissu complexe des interactions construites pendant les répétitions avec les comédiens. Bien entendu la pression économique rend les temps de plateau de plus en plus précieux, mais on constate aussi que l'affinement des interactions impose à chaque corps de métier une réalisation dépendant des autres corps, et donc une démultiplication des besoins de travail en commun.
Parmi les conditions permettant d'assurer la continuité d'utilisation de la maquette, nous avons déjà souligné la nécessité pour les régisseurs d'y accéder avec les interfaces métiers qu'ils utilisent pendant les répétitions (consoles numériques, ordinateurs, tablettes, etc.), ce qui leur permettra de circuler entre la scène réelle et la maquette virtuelle. Il faut aussi assurer la mise à jour des conduites, et notamment celle des mouvements des interprètes, tâche qui reposera probablement entre les mains expertes de l'assistant à la mise en scène. On se prête alors à rêver que la maquette 3D offrira la possibilité de réaliser des répétitions virtuelles en dehors du plateau pour explorer des alternatives d'écriture scénique, préparatoires aux répétitions réelles. Enfin, la construction de la maquette virtuelle s'accompagnera d'une exploration des interactions directes avec les éléments manipulés, parallèlement aux accès par les interfaces métiers. En permettant littéralement de toucher du doigt les matériaux virtuels dans la maquette, nous proposerons des accès intuitifs pour en favoriser l'écriture des interactions.

## Perspectives

Les enjeux de recherche que nous venons d'exposer visent ainsi à développer une assistance à la création artistique dans le spectacle vivant en connexion avec l'émergence de nouveaux paradigmes d'écriture, notamment l'interactivité, la dématérialisation numérique et l'algorithmie informatique. Le projet de maquette virtuelle se présente à la fois comme un outil et une méthode, à la disposition de chaque collaborateur artistique et technique, permettant d'organiser une circulation entre des pratiques soumises à des contraintes de production variées, de stimuler le développement des savoir-faire collectifs et de favoriser les appropriations créatives spécifiques au service de la représentation scénique.

En construisant la simulation des multiples processus imbriqués au cours des répétitions et de leurs préparations, le projet souhaite approfondir l'investigation théorique des enjeux de « notation » et suggère d'en inverser les approches descriptive et démiurgique. À la partition comme convergence utopique de l'ensemble des points de vue sur la représentation scénique ou comme préalable à l'acte créatif, il substitue le paradigme d'une partition qui se construirait au fil du processus de création. Ne reposant pas sur un système figé de règles d'écriture, la nouvelle partition offrirait une malléabilité répondant aux flux incessants des nouveaux types d'interaction, des nouveaux instruments, des nouveaux protocoles de dialogue, en un mot des approches créatives en perpétuelle évolution. En accord avec le bouleversement du numérique, elle proposerait aux sensibilités du créateur, de l'interprète et du spectateur une nouvelle organicité des échanges artistiques et un possible réceptacle.
Enfin, la maquette pourrait dépasser le cadre de l'assistance à la création et faciliter l'exploration de situations scéniques émergentes ou inédites. Nous pensons notamment au dialogue entre différents types de réalité à travers des espaces distants (téléprésence et réseaux) ou à l'intégration de créatures inhumaines ( avatars ou robots) à la liste des acteurs de demain.

**Bibliographie**

ALLOMBERT, Antoine, DESAINTHE-CATHERINE, Myriam, ASSAYAG, Gérard, *Iscore : Writing the Interaction*, Proceedings of the 3rd Digital Interactive Media in Entertainment and Art, Athens, Greece, September 2008

ALLOMBERT, Antoine et al., *Virage : designing an interactive intermedia sequencer from users requirements and theoretical background*, International Computer Music Conference 10, Stony Brook University, NY, USA

DONTCHEVA, Myra, YNGVE, Gary, POPOVIC, Zoran, *Layered acting for character animation*, ACM SIGGRAPH 2003

DREWERY, Karin, TSOTSOS, John, *Goal Directed Animation using English Motion Commands*, Graphics Interface, 1986, 131-135

GOODMAN, Nelson, *Langages de l'art*, Trad. Jacques Morizot, Ed. Jacqueline Chambon, 1990 (édition originale 1968)

KRUEGER, Myron W., *Responsive Environments*, 1977 réédité in *Theories and documents of contemporary arts : a sourcebook of artists' writings*, Ed. Kristine Stiles and Peter Selz, University of California Press, Berkeley, 1996, 473-486

ROBERTS-SMITH, Jennifer *et al.*, *The Text and the Line of Action: Re-conceiving Watching the Script*, New Knowledge Environments, Vol 1, N° 1, 2009

SALTER Christopher, *Entangled*, MIT Press, 2010

VARELLA, Francisco, *Autonomie et connaissance – essai sur le vivant*, Seuil, 1989

WANG Zhijin et VAN DE PANNE, Michiel, « Walk to here »: a voice driven animation system, Symposium on Computer Animation, Proceedings of SIGGRAPH 2006
1 THALIA répond au profil d'un projet de recherche industriel du programme Contenus-Interactions de l'Agence Nationale de la Recherche (http://www.agence-nationale-recherche.fr). Ce type de projet est mené sur deux ou trois ans par un consortium regroupant laboratoires de recherche, entreprises, institutions, associations (cf. note 10 sur le projet VIRAGE).

2 LESCOP, Laurent, SUNER, Bruno, VASSEUR Régis, FREYDEFONT, Marcel, «Scénographia – cage de scène virtuelle», Agôn [En ligne], Dossiers, N°3: Utopies de la scène, scènes de l'utopie, Les traces d'une démarche utopique : dossier artistique, mis à jour le : 10/01/2011, URL : http://agon.ens-lyon.fr/index.php?id=1467.

3 Après l'implantation physique des projecteurs dans la cage scénique et leur raccordement électrique aux blocs de puissance, un « patch » permet de relier les blocs de puissance à une interface de contrôle (la console lumière) selon des protocoles standardisés (par exemple DMX512 ou ART-NET). Cette même interface pourra piloter directement le rendu lumineux dans Blender Game engine, moteur 3D pressenti pour la réalisation de la maquette virtuelle. Signalons l'existence de logiciels de simulation lumière qui permettent de baliser les usages et besoins professionnels (par exemple WYSIWYG, développé par la société CAST software).

4 Leur fabrication dépend des possibilités offertes par de nombreux logiciels de synthèse d'image (parmi les plus utilisés : Max/Jitter, PureData/GEM, VDMIX, Modul8, Isadora, VVVV, QuartzComposer, Processing, OpenFrameworks, Cinder).

5 Parmi les logiciels temps réel pour la synthèse sonore citons Max/MSP, PureData, Live (Max for Live), SuperCollider.

6 CONT, Arshia, *On the Creative use of Score Following and its Impact on Research*, Sound and Music Computing, Padova, July 2011. Arshia Cont développe le système de suivi de partition Antescofo depuis 2007.

7 Un projet de recherche intitulé INEDIT, Interactivité dans l'Écriture De l'Interaction et du Temps, démarre en 2012 sous la conduite d'Arshia Cont avec comme partenaires l'IRCAM, le LaBRI et le GRAME. Il permettra entre autres de faire converger le formalisme Iscore avec les recherches sur le suivi de partition.

8 BALTAZAR, Pascal, GAGNERÉ, Georges, *Outils et pratique du sonore dans le spectacle vivant*, Actes des Journées d'Informatiques Musicales (JIM07), Lyon, France, Avril 2007, pp. 153-162. Le groupe de travail avait été proposé à l'Association Française d'Informatique Musicale par Georges Gagneré à la suite de plusieurs créations artistiques utilisant le logiciel Mirage (réalisé par Jan Schacher, Pedro Soler, Jonathan Lee Marcus et Johnny Dekam avec Max et Soft VNS), et le logiciel Tape (réalisé par Tom Mays avec Max/MSP). Les enjeux d'élaboration des conduites en relation avec la dramaturgie et la direction d'acteur avaient notamment donné l'occasion à Georges Gagneré d'écrire un document sur les bouleversements en cours liés à l'utilisation de l'ordinateur dans le processus d'écriture scénique : *Le temps réel du temps réel*, 2004. Cf. http://www.didascalie.net.

9 Le projet VIRAGE, plate-forme de recherche sur les nouvelles interfaces de contrôle et d'écriture pour la création artistique et les industries culturelles, s'est déroulé du 7/12/2007 au 28/02/2010, soutenu par l'Agence Nationale de la Recherche, dans le cadre du programme CONTINT, et a réuni les partenaires : GMEA, Pascal Baltazar / LaBRI, Myriam Desainte-Catherine / didascalie.net, Georges Gagneré / CICM, Anne Sédès / Blue Yeti, Jean-Michel Couturier / LIMSI, Frédéric Vernier / Stantum, Guillaume Largillier / RSF, Serge Fernandez. Cf. http://www.didascalie.net/virage

10 Patrice Pavis souligne à propos de Richard Schechner que « la partition devient ici le passage du texte individuel des directives de chaque acteur en un texte spectaculaire notant les relations pertinentes entre les systèmes scéniques. La notation n'est pas un simple mécanisme de transcription, mais le canevas du spectacle et le laboratoire de
construction de son sens. » in PAVIS, Patrice, *Vers une théorie de la pratique théâtrale*, Presse Universitaire du Septentrion, 2000, p.173 (chapitre « Réflexions sur la notation de la mise en scène théâtrale », initialement publié dans la Revue d'Histoire du Théâtre, 4ème trimestre 1981, N°132)

11 Cf. http://www.xtranormal.com.

12 A la suite de Patrice Pavis, Sophie Proust réaffirme ainsi que « la description modifie radicalement l'objet décrit : noter, c'est toujours interpréter et donc faire un choix plus ou moins conscient dans la masse des signes de la représentation jugés *notables*. » in PROUST, Sophie, « L'écriture du travail théâtral : pour ou contre une notation informatique ? » in *La Notation informatique du personnage théâtral* (sous la direction de Monique MARTINEZ THOMAS), Lansman, 2010, p. 36

13 A l'occasion du workshop *On movement qualities and physical models visualizations* organisé par l'IRCAM les 1er et 2 mars 2012, Scott Delahunta constatait à propos des projets Synchronous Object (dedié à la documentation de la pièce *One Flat Thing* de William Forsythe, http://synchronousobjects.osu.edu/), et Motion Bank (dédié à la documentation des chorégraphes Deborah Hay, Jonathan Burrows, Matteo Fargion, et Bebe Miller) que chaque univers chorégraphique nécessitait quasiment une approche spécifique pour sa documentation. Parmi les projets de notation informatique de la danse les plus avancés, signalons le travail de Tom Calvert à la Simon Frazer University à Vancouver (CALVERT, Tom et al., *Applications of Computers to Dance*, IEEE Computer Graphics and Applications, v.25 n.2, p.6-12, March 2005).

14 « Au commencement, tous les arts sont peut-être autographiques. Lorsque les œuvres ne durent pas, comme dans le chant et la récitation, ou qu'elles requièrent la collaboration de nombreuses personnes, comme en architecture et dans la musique symphonique, une notation permet de transcender les limitations du temps et de l'individu. » in GOODMAN, Nelson, *op. cit.*, p. 154.

15 Patrice Pavis décrit ainsi une notation possible du théâtre : « Il s'agit d'inventer un espace où tous ces paradigmes et leur forme syntagmatique dans le cours de la représentation puissent s'inscrire sur une partition qui, sans pour autant chercher à doubler l'espace de la représentation, fournirait le simulacre intellectuel de l'événement multimédial de la scène. » (in PAVIS, Patrice, *op. cit.*, p. 183). Et il conclut : « Pourtant, si l'on conçoit ce processus descriptif comme l'acte de naissance du sens même, ne devient-il pas alors manifeste que toute notation est aussi déjà un acte théâtral? » (in *ibid*, p. 185).

16 Dans le domaine cybernétique, Francisco VARELLA et son approche des systèmes autonomes et du principe d'énaction offrent un cadre particulièrement adapté à l'étude du rapport entre l'homme et son environnement.

17 « Since 1969, I have been trying to raise interactivity to the level of an art form as opposed to making art work that happened to be interactive. » in http://www siggraph org/artdesign gallery S98 pione pione3 krueger html (traduction de Georges Gagneré).

18 « The responsive environment has been presented as the basis for a new aesthetic medium based on real-time interaction between men and machines. In the long range it augurs a new realm of human experience, artificial realities which seek not to simulate the physical world but to define arbitrary, abstract and otherwise impossible relationships between action and result. » in KRUEGER, Myron, *op. cit.*, p. 433 (traduction de Georges Gagneré).