# ROBOTACT - Cocréations humain-robot : Une recherche-création interdisciplinaire entre théâtre et robotique

Salvatore M Anzalone, Giulia Filacanapa, Erica Magris

► To cite this version:

Salvatore M Anzalone, Giulia Filacanapa, Erica Magris. ROBOTACT - Cocréations humain-robot : Une recherche-création interdisciplinaire entre théâtre et robotique. JIT 2022 - Journées d'Informatique Théâtrale 2022, Inria Grenoble Rhône Alpes; ENSATT Lyon; Laboratoire Passages XX-XXI de l'Université Lyon 2, Oct 2022, Lyon, France. hal-04153460

HAL Id: hal-04153460

https://inria.hal.science/hal-04153460

Submitted on 6 Jul 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# ROBOTACT - COCRÉATIONS HUMAIN-ROBOT :
UNE RECHERCHE-CRÉATION INTERDISCIPLINAIRE
ENTRE THÉÂTRE ET ROBOTIQUE

Salvatore M. Anzalone

Cognitions Humaine
et Artificielle – EA4004
Université Paris 8
EUR ArTeC
Saint-Denis, France

Giulia Filacanapa

Scènes du monde – EA1573
Université Paris 8
EUR ArTeC
Saint-Denis, France

Erica Magris

Scènes du monde – EA1573
Université Paris 8
EUR ArTeC
Saint-Denis, France

**SYLLA** : « Je suis une robote »

**HÉLÈNE** : « Non ! non ! Vous mentez ! Oh !
Sylla, pardonnez-moi ! Je sais, ils vous ont
forcée à faire leur publicité ! Sylla, vous êtes une
jeune fille comme moi, n'est-ce pas ? Dites ! »

**DOMIN** : « Je regrette, mademoiselle Glory.
Sylla est une robote. »

Rossum's Universal Robots

Karel Čapek

## Résumé

Dans le cadre du projet *Scène et robotique : interactions et interrelations* (EUR ArTeC), nous visons à réfléchir aux intersections profondes entre ces deux domaines, en essayant de dépasser l'étude esthétique des créations théâtrales avec des dispositifs robotiques et de nous concentrer plutôt sur des nœuds conceptuels et opérationnels communs. Dans cet article, nous définissons le positionnement scientifique et l'approche adoptée dans notre projet et nous présentons le parcours de recherche-création *RobotAct* dont nous analysons le volet consacré au geste et au mouvement dans la construction d'une HRI scénique efficace du point de vue théâtral. Notamment, nous expliquerons le processus de design collaboratif issu de la « grammaire de la relation corps/objet » développée par la comédienne et metteur en scène Claire Heggen, et nous discuterons ses premiers résultats scéniques.

## 1. INTRODUCTION

Un lien étymologique unit la robotique et le théâtre. Le terme « robot » émerge en effet du milieu théâtral des avant-gardes historiques : dans sa pièce de 1921 R.U.R (Rossum's Universal Robots [4]), le draughtsurge Karel Čapek le forge en reprenant le mot tchèque *robota* – corvée, travail forcé – pour nommer des copies artificielles presque indiscernables des êtres humains, inventées et produites de manière industrielle afin de travailler à la place de ceux-ci. Les

robots finissent par se révolter et exterminer l'humanité devenue désormais infertile et ravagée par les guerres, combattues par des centaines de milliers de robots-soldats jetables. Dans cette pièce visionnaire, le robot est un substitut de l'être humain dont l'existence elle-même et les actes en reflètent les contradictions : l'ambition démesurée de devenir créateur, mais aussi le rêve d'être libéré des tâches épuisantes nécessaires à la survie ; la domination, mais aussi la compassion et l'amour. Il incarne une promesse utopique qui se transforme en réalité dystopique, apocalypétique, à une époque trouble de progrès techniques et industriels accélérés, de mutations sociales et conflits politiques radicaux et violents, où déferlent sur les scènes européennes des figures humaines machinées et des machines remplaçant les acteurs [22]. Un siècle après, « le mot et l'idée [de Čapek] sont restés », comme le soulignent Paul Dumouchel et Luisa Damiano dans leur essai sur l'empathie artificielle [11, p. 9], mais le robot n'est plus simplement un fantasme, mais une réalité industrielle et scientifique qui ne cesse pourtant d'alimenter des narrations et des projections. Pour Stephen Wilson, « Les robots sont des figures emprématiques de notre époque. Les machines intelligentes, autrefois un oxymore, deviennent aujourd'hui monnaie courante. Les robots sont bien présents dans l'art, le cinéma et la littérature que dans la science et la technologie. Ils jouent un rôle de plus en plus important dans des domaines du quotidien tels que l'industrie et le divertissement. Plus profondément encore, les robots soulèvent des questions culturelles fascinantes qui semblent interpeller les philosophes, les artistes, les scientifiques et les technologues » <fnref n="1" /> [28, p. 369]. Au théâtre, robots et

<footnote n="1">1. « Robots are quintessential figures of our time. Intelligent machines, once an oxymoron, are now becoming common place. Robots are as much at home in art, cinema, and literature, as they are in science and technology. They are of increasing importance in mundane everyday worlds such as manufacturing and entertaining. Even more profoundly, robots raise intriguing cultural questions that seem to engage philosophers, artists, scientists, and technologists », in WILSON [28, p. 369].</footnote>
machines intelligentes interviennent sur la scène, de manière ponctuelle mais récurrente depuis plusieurs décennies [8], dans des créations très variées en raison de l'étendue et du caractère ouvert de ce qu'on peut considérer comme un robot du point de vue morphologique et fonctionnel : des androïdes hyperréalistes 2, aux bras mécaniques 3, en passant par les petits robots humanoïdes 4. Si en 2007, Steve Dixon regroupait les spectacles impliquant des agents robotiques sous la définition de *metal performance*, en leur attribuant comme caractère commun une esthétique *camp* au sens du goût pour l'exagération et l'artificiel [10], les créations actuelles jouent de manière plus subtile et ambiguï avec la matérialité et la corporalité des robots, en explorant les limites de l'humain et, aussi, sa disparition. Dans le cadre du projet *Scène et robotique : interactions et interrelations* 5, que nous développons au sein de l'EUR ArTeC, nous visons à réfléchir aux intersections profondes entre ces deux domaines, en essayant de dépasser l'étude esthétique des créations théâtrales avec des robots et de nous concentrer plutôt sur des nœuds conceptuels et opérationnels communs. Dans cet article, nous allons d'abord définir le positionnement scientifique et l'approche adoptée dans le cadre de notre projet ; ensuite nous présenterons le parcours de recherche-création *RobotAct* et nous analyserons un de ses axes spécifiques ; nous terminerons enfin avec une discussion des premiers résultats et des perspectives de notre travail.

## 2. UNE PLATEFORME INTERDISCIPLINAIRE EN DÉVELOPPEMENT

### 2.1. La robotique sociale : une science de l'humain

Du point de vue scientifique, le terme « robot » désigne tout dispositif mécanique capable d'accomplir automatiquement des tâches plus ou moins complexes. Néanmoins, ce terme recouvre une signification plus complexe et stratifiée. L'idée de construire des machines « autonomes », capables d'interagir avec leurs environnements ainsi qu'avec des personnes, est très ancienne et précède bien largement Unimate, le premier robot électronique de l'époque contemporaine, en 1951. Dans la mythologie grecque, par exemple, d'après Homère qui le décrit ainsi dans l'Iliade, le dieu Héphaïstos est aidé dans sa forge par des tripodes automatiques munis de roues et par des servantes en or, avec des corps de jeunes filles, capables de parler et de déambuler mais privées du souffle de

la vie. Au-delà des représentations fictionnelles, Leonardo da Vinci en 1495 réalise un chevalier mécanique qui peut exécuter plusieurs mouvements complexes comme se tenir debout, s'asseoir, bouger les bras ou tourner la tête. Au Japon, au XVIIème siècle, on assiste au développement de marionnettes mécaniques en mesure de réaliser de manière autonome des actions de plus en plus complexes, les karakuri ningyō. Ces inventions naissent de l'envie humaine d'explorer notre identité, de nous comprendre et de parvenir à créer des machines interactives qui nous ressemblent. À partir des années 1950, grâce au développement de nouveaux matériaux, à des systèmes de contrôle plus fins, et à l'incrémentation des capacités computationnelles dues à l'électronique, la communauté scientifique a pu élargir ses recherches, en les orientant non seulement sur les capacités d'action autonome des robots mais aussi sur celles d'interaction sociale. En effet, si d'un côté ces machines nécessitent d'habiletés de haut niveau, presque « cognitives », les rendant capables de raisonner sur leur environnement, sur leurs actions, sur les conséquences de celles-ci et même en mesure d'apprendre, de l'autre côté les humains, en tant qu'animaux sociaux, s'attendent de pouvoir interagir et communiquer avec ces machines de manière naturelle, à travers, par exemple, la voix et les gestes. Doter les robots de ce type d'« intelligence sociale » comporte un double défi : l'analyse de la dynamique interpersonnelle humaine, afin de révéler les compétences « sociocognitives » de base qui rendent possible l'interaction sociale ; le développement de ces compétences chez les robots, de façon à les rendre capables de prendre explicitement en compte la présence de l'homme dans leurs raisonnements. Ces deux voies de recherche s'enrichissent mutuellement dans une perspective multidisciplinaire dans laquelle les modelés de relation interpersonnelle s'affinent en donnant lieu à des comportements de plus en plus cohérents et plausible[7]. Le robot devient donc un outil de recherche sur les comportements humains, un terrain dans lequel plusieurs disciplines – l'ingénierie, la psychologie, la psychiatrie, les neurosciences, les sciences cognitives, mais aussi les sciences humaines, les arts, la danse, le théâtre – peuvent converger.

### 2.2. Le théâtre : un art de l'autre

Un parallèle se dessine ainsi entre la robotique et la scène théâtrale qui, sur le plan anthropologique, est le lieu par excellence de l'exploration à la fois de l'humain et de son altérité, où toute métamorphose devient possible et plausible. En effet, si, comme nous l'expliquait déjà Aristote dans la Poétique, l'art répond au besoin de l'homme d'imiter la vie, et l'art théâtral d'imiter les actions en les répétant face à des témoins, la simple imitation n'est pas suffisante à illustrer ce processus qui permet la création d'univers toujours différents. Si l'on revient à Nietzsche, c'est plutôt « l'enchantement de la métamorphose [qui] est

<footnote n="2">2. Par exemple dans *Sayonara ver. 2* et *Trois sœurs version androïde* de Oriza Hirata (2012), *Uncanny Valley* de Stefan Kaegi avec Rimini Protokoll (2018)</footnote>

<footnote n="3">3. Comme dans *Sans objet* d'Aurélien Bory (2009) et *Artefact* de Joris Mathieu (2017)</footnote>

<footnote n="4">4. Par exemple dans *Robot* de Blanca Li (2013) et *My Square Lady* de Gob Squad (2015)</footnote>

<footnote n="5">5. Site web : https://scenesrobots.eur-artec.fr/</footnote>
la condition préalable de tout art dramatique » [19, §8]. Le philosophe nous explique dans *L'Origine de la tragédie* [19], texte majeur pour la compréhension, au XXe siècle, de l'art du théâtre, que ce besoin d'imitation est vécu en première personne par l'auteur dramatique « qui ressent une irrésistible impulsion à se métamorphoser soi-même, à vivre et agir par d'autres corps et d'autres âmes. » Cette volonté de transformation n'habite pas seulement l'esprit du dramaturge, mais aussi celui du comédien : « Se voir soi-même métamorphosé devant soi et agir alors comme si l'on vivait réellement dans un autre corps, avec un autre caractère », c'est à considérer pour Nietzsche, « le phénomène dramatique primordial » [19, §8]. Le spectateur est invité à participer à ce jeu à travers son regard : c'est ainsi que la volonté de métamorphose unit donc auteur, acteurs et public. Si dans les jeux des enfants, la simple phrase : « on fait que / on fait comme si... » suffit à faire basculer la réalité dans un tout autre contexte, dans lequel il ne s'agit cependant pas de cesser d'être réel, au théâtre, c'est le spectateur qui se porte garant du pacte implicite rendant cette nouvelle réalité plausible. Le théâtre est l'espace où des nouvelles vérités sont légitimes. Le masque théâtral est depuis l'Antiquité l'instrument par excellence de métamorphose de l'acteur [12], prolongement artificiel du corps de chair, qui le transforme en corps hybride. En ce sens, le masque mais aussi la marionnette sont des objets qui permettent de créer une tension scénique entre humain et artificiel, entre vivant et inorganique [23]. Dans cette approche de la scène totalement antinaturaliste, qui s'est impossée avec force au tournant du XXème siècle, l'artifice intervient pour donner à l'art sa force libératoire et lui permettre de tendre vers l'absolu [15]. Dans les recherches que Filacanapa et Magris mènent ensemble depuis 2015, l'artificialité mécanique de la marionnette et des corps masqués, ensemble impérieux de signes, a été assumée comme un paradigme de réflexion et d'expérimentation pratique pour étudier – tant du point de vue du jeu de l'acteur que de la réception du spectateur – les doubles technologiques de l'acteur sur scène [13, 14]. Le corps, son mouvement dans l'espace et ses capacités expressives ont été au centre de notre démarche. En effet, c'est une évidence d'affirmer qu'au théâtre le corps est primordial, ou pour le dire avec Anne Ubersfeld que « Le théâtre est corps » [26, p. 224]. Il est le vecteur de mondes imaginaires, de pensées, de récits, de personnages, ainsi qu'un instrument de connaissance et d'expérience de l'humain, l'objet de recherches sensibles, incarnées. Mais il est également vrai que le corps demeure central aussi dans les pratiques performatives et technologiques contemporaines, que Jennifer Parker-Starbuck définit justement comme « théâtre cyborg » [20]. Par cette expression, elle souligne à quel point les éléments technologiques – projections filmiques, images virtuelles, sons amplifiés, etc. – re-

configurent le corps et permettent de saisir « ce que signifie être un corps, être à l'intérieur d'un corps, et d'imaginer un corps nouveau émergeant de la concrétion de débris culturels dont l'enveloppe les médiums contemporains » [21]. Dans la définition de robot, en accord aux théories sur la « cognition incarnée » issues de la psychologie cognitive, la corporalité est aussi considérée comme centrale [25]. A différence d'autres agents artificiels, comme les chatbots ou les agents virtuels, le robot possède un corps mécanique à travers lequel il interagit avec un monde physique toujours en évolution [2]. L'incarnation physique représente, donc, l'opportunité d'agir sur l'environnement et de le modifier [27]. Si théâtre et robotique partagent la centralité de la matière et du corps dans leurs pratiques, le robot introduit néanmoins un écart ontologique qui nous intrigue particulièrement. En coupant tous liens tangibles avec l'humain, il apparaît comme une forme radicale d'altérité.

# 3. LE CHOIX DE LA RECHERCHE-CRÉATION

## 3.1. Deux cultures en dialogue

La robotique et le théâtre constituent deux cultures hautement spécialisées, avec des paradigmes, des langages et des références propres qui ne se connaissent pas mutuellement. Des expériences de collaboration entre roboticiens et artistes de théâtre existent, mais rares sont celles qui sont à l'origine de créations multiples et réussies sur une longue durée. Une exception est représentée par le célèbre *Robot Theatre Project* que le professeur Hiroshi Ishiguro (Université d'Osaka) et le metteur en scène Oriza Hirata ont mené au Japon de 2008 à 2014 [24, 5], dont les spectacles se fondent sur une profonde cohérence entre les intérêts d'Ishiguro pour l'imitation de l'humain et la reproduction de comportements naturels par des androïdes hyperréalistes et le « théâtre tranquille » de Hirata, son esthétique scénique et sa direction d'acteurs. Le caractère épisodique des rencontres entre robotique et théâtre est à notre avis lié à la perspective qui oriente la convergence interdisciplinaire.

Dans un article séminal publié en 2011 [18], Heather Knight, en passant en revue plusieurs recherches de « théâtre robotique » développées à l'international, affirme que le théâtre peut aider à améliorer la sociabilité des robots, notamment leur communication non-verbale. Pour elle, « le cadre théâtral fournit un terrain expérimental unique pour développer des interactions multi-agents avec une tiers partie » <fnref n="6" />. Néanmoins, comme souligné récemment par Maike Bleeker [3], cette approche, qui certainement a ouvert des portes au décloisonnement des disciplines, paraît aujourd'hui réductrice, non seulement parce qu'elle

<footnote n="6">6. « Theater settings provide a unique testing ground for developing multi-agent interactions with a third party », in *KNIGHT* [18, p. 50]</footnote>
considère la HRI à travers le prisme de l'imitation, mais aussi parce qu'elle limite l'apport du théâtre à un ensemble de formats et des modèles fonctionnels à la programmation des comportements des robots. Bleeker suggère au contraire de considérer le théâtre comme un tiers espace, au sens d'Edward Soja, un terrain d'exploration commune. Comment construire une véritable synergie qui ne se limite pas à instrumentaliser la scène et à la considérer comme un espace privilégié pour les études des comportements humains. Comment articuler les logiques de la programmation et de la création au plateau ? Leurs temporali-tés différentes ? Comment mobiliser et réapprêhender des concepts et des éléments de base de la pratique théâtrale tels que répétition, improvisation, identifi-cation, distance, dialogue dans un territoire de re-cherche partagé avec des roboticiens et dans une scène peuplée d'agents robotiques ? Ces questions nous ont conduits à entamer un parcours de recherche-création au sein duquel tenter de construire, ou du moins d'in-terroger, la possibilité de ce tiers espace où une dis-cipline ne soit pas instrumentale à l'autre.

## 3.2. Robot-Act : un parcours expérimental ou-vert

Au démarrage du parcours de recherche-création RobotAct, nous nous sommes donné des objectifs très larges : explorer les possibilités et les enjeux dramaturgiques des dispositifs robotiques en scène ; questionner le potentiel actoriai du robot dans un cadre interdisciplinaire et interactif ; analyser les relations et interactions humain-machine sur scène et tenter de développer des formes de co-création. Nous avons donc organisé un premier workshop RobotAct I : *Dramaturgie et programmation* (Université Paris 8, 23-25 juin 2021, avec la collaboration de Théo Arnulf), très ouvert, avec des participants volontaires issus de différents milieux, deux plateformes robotiques humanoïdes (Softbank Robotics Nao, LuxAI QT Robot) et un kit robotique (Makeblock Ultimate 2.0) comportant chacun des limites et des points de force spécifiques qui ouvrent à des formes d'expression distinctes. En nous appuyant sur la méthodologie *hakkathlon*, nous avons proposé à des groupes de travail réunis autour d'un dispositif robotique de créer des courtes formes performatives axées sur quatre bulles thématiques : corps, émotions, relations, temps-espace. En les observant et en échangeant avec les participants, nous avons constaté que, si le fonctionnement scénique des kits robotiques à composer pouvait s'appuyer sur les ressorts et les techniques de la manipulation théâtrale d'objets, les robots humanoïdes paraient plus de difficultés sur le plan de la programmation, de l'animation et finalement de la plausibilité de leur présence et de leur action pour le public. Dans cet écueil, nous avons identifié le symptôme d'une spécificité de l'agent robotique en scène à questionner et à définir à travers la recherche-création. Nous avons

donc fait le choix de concentrer notre recherche sur les robots humanoïdes et de focaliser nos expérimentations sur les interrelations qui se tissent entre acteur, robot et spectateur pendant la représentation. Une fois cette voie déterminée, nous avons précisé les coordonnées de notre cadre méthodologique. D'abord nous avons décidé de travailler avec deux plateformes robotiques ayant des capacités différentes permettant d'explorer plusieurs modalités d'interrelation (geste, mimique, parole) : d'une part, Nao, dont le point de force est le mouvement ; de l'autre QT, qui ne peut pas déambuler, mais qui est très articulée au niveau de l'expressivité verbale et du visage. Nous avons établi de faire appel à des artistes professionnels, mais aussi d'impliquer dans notre travail des étudiant.es de la Licence Théâtre et des masters « Théâtre, Performance et Sociétés » et « Technologie et handicap » de l'Université Paris 8. Enfin, nous avons conçu la recherche-création comme un parcours par étapes se déroulant sur un temps long, dans une alternance d'ateliers intensifs sur des axes d'investigation précis et de périodes de documentation et de réflexion théorique. A ce jour, trois workshops ont été mis en œuvre selon ces principes : *RobotAct II : Corps, geste, mouvement : de l'homme à la machine* (1 et 13 avril, 30 mai, 23 et 25 juin 2022, Université Paris 8 et MSH Paris Nord) ; *RobotAct III : Corps masqué, corps dansant* (27 juin-1 juillet 2022, MSH Paris Nord) ; *RobotAct IV : Corps masqué, corps dansant dans l'espace public* (24-27 octobre 2022). Dans cet article, nous nous concentrerons sur RobotAct II et en particulier sur la manière dont le geste et le mouvement permettent une mise en relation entre humain et robot, notamment Nao.

# 4. MASQUE, MARIONNETTE, ROBOT : UN RAPPROCHEMENT OPÉRATIONNEL

## 4.1. Mobiliser les savoirs du théâtre : mouvement et relation corps-objet

RobotAct II s'est basé sur la collaboration avec Claire Heggen, actrice metteure en scène, pédagogue, qui a nourri et accompagné nos expérimentations. En 1975, elle a fondé, avec Yves Marc, le Théâtre du Mouvement. La compagnie avait comme point de départ l'enseignement du mime corporel d'Etienne Décroux, dont elle s'éloigne pourtant car les deux artistes accordent aux objets de tout type et matière, greffés ou pas sur le corps, une place centrale et non un rôle de simples accessoires [17]. D'ici Claire Heggen a développé une recherche artistique personnelle centrée sur la relation corps vivant/objet et corps vivant/corps marionnettique, nourrie de son expérience d'enseignement décennale à l'Institut International de la Marionnette. Pour l'artiste en effet, « pédagogie et création sont des vases communicants » [17, p. 18]. Dans cette démarche, il ne s'agit pas simplement d'élaborer une technique, mais de construire
une véritable pensée du geste et, élément pour nous particulièrement pertinent, une pratique de l'altérité. Claire Heggen nous a ainsi accompagnés dans cette recherche, nous fournissant les éléments clefs de celle qu'elle définit comme la « grammaire de la relation corps/objet », c'est-à-dire « l'assujettissement du sujet à l'objet placé ou jeté, devant lui. L'acteur, sujet et objet d'art, se met au service d'un objet en instance de devenir sujet » [17, p. 371]. La notion de service, développée par Claire Heggen afin de dépasser l'opposition entre « manipulation » et « animation » <fnref n="7" />, a été à la base de nos expériences au plateau. Celle-ci nous a permis d'apprévender de manière plus claire, bien que dans sa complexité, la relation entre l'acteur et l'objet (masque, marionnette voire plus tard robot) à travers la qualité du geste et du mouvement. Déplaçant le moteur de l'action de l'un à l'autre et vice-versa, l'organicité du mouvement rend possible la subjectivation de l'objet dans le regard du spectateur. À travers des masques portés à la main nous avons exploré quatre différentes modalités et qualités du mouvement (progressif, dégressif, rétabli, contradiction) pour centrer le regard des spectateurs sur le corps de l'acteur, ou bien sur l'objet (marionnettique ou non), ou encore sur la relation des deux. Dans le mouvement dit « progressif » c'est l'objet qui est moteur du mouvement, « l'engagement du corps est au service de la volonté, de l'intention, du désir, de l'objet » [17, p. 373]. L'attention du spectateur est ainsi portée sur l'origine du mouvement. À l'inverse, dans le mouvement « dégressif », le moteur du mouvement est le corps, ce qui rend l'objet souvent un accessoire du sujet [17, p. 364]. Si le « rétabli » [17, p. 375] permet le retour sur l'axe de référence après un enchaînement des mouvements progressifs et/ou dégressifs, le principe de la contradiction qui « s'exerce entre deux entités, deux pensées, deux intentions » [17, p. 361] vient opposer le corps et l'objet tout en leur conférant une forme propre de subjectivation. Ce travail, se décline différemment selon la « distance » qui est présente entre l'humain et l'objet ; de cette façon la marionnette et le masque se sont retrouvés et nous avons commencé à expérimenter des relations multiples entre acteurs masqués ou pas et acteurs/agents robotiques.

## 4.2. L'animation du robot : de la programmation à l'animation

### 4.2.1. La plateforme

La grammaire de la relation homme-objet proposée par Claire Heggen a été utilisée comme référentiel créatif dans l'élaboration de comportements crédibles

pour les robots. Le robot Nao a été sélectionné en raison de ses capacités motrices qui lui permettent une grande expressivité gestuelle. En effet, cette plateforme possède un totale de 25 degrés de liberté, dont 14 dans la partie haute de son corps. Ces articulations lui confèrent la capacité de générer une grande variété de gestes communicatifs ainsi que des mouvements de locomotion intéressants. Grâce à sa petite taille, le contrôle de ses mouvements est très simple et efficace ; en même temps, ses mouvements ne comportent aucun risque pour ses partenaires humains. Tandis que l'expressivité gestuelle de cette plateforme est intéressante, ses capacités d'expression faciale sont faibles : en effet, bien qu'il soit possible de contrôler la tête de Nao en termes de tangage et lacet <fnref n="8" />, le seul outil communicatif lié au visage reste un ensemble de led lumineux colorés autour des yeux, utiles, par exemple, pour exprimer des états émotionnels.

Cette plateforme accompagne à ses capacités de communication non verbale, une gestion du langage efficace : Nao peut comprendre des mots clés et prononcer des phrases complexes en plusieurs langues. En même temps, il est capable de reconnaître la direction d'une éventuelle source sonore grâce à une réseau de microphones placées sur sa tête. En association à ces capteurs, deux caméras sont capables de percevoir les alentours du robot et des éventuels obstacles à la hauteur des jambes. Des capteurs tactiles positionnés sur les pieds peuvent également être utilisés pour détecter des obstacles et des obstructions. Un deuxième ensemble de capteurs positionné sur la tête peut devenir un outil de communication haptique convenable.

En nous concentrant sur le robot Nao nous avons mis au point un processus de design participatif [9] dans lequel, à partir d'un ensemble de comportements de base très simples, des comportements complexes ont été conçus et perfectionnés en collaboration avec les participants à l'atelier, en tenant compte de leurs évaluations et de leurs suggestions. Un total de 50 comportements a été enfin mis au point. Une interface de teleoperation pour le déclenchement à distance des comportements, comme une sorte de « magicien d'Oz », a été réalisée.

### 4.2.2. La machine à états et le magicien d'Oz

Les comportements du robot sont définis à travers une machine à états comme une séquence plus ou moins complexe d'états successifs. Chaque état est qualifié par un ou plusieurs éléments parmi les suivants :
— **geste** : une séquence plus ou moins complexe

<footnote n="7">7. « ...manipuler l'objet, c'est le soumettre entièrement à la volonté du marionnettiste qui apparaît alors comme un démiurge ; l'animer reviendrait au contraire à lui donner une présence équivalente à celle du marionnettiste et à jouer sur la relation entre ces deux instances » in HEGGEN, MARC et PEZIN [17, p. 19]</footnote>

<footnote n="8">8. Dans l'aviation ou la marine, on parle de roulis, tangage, lacet, pour les différentes directions du vecteur rotation. Par analogie, dans le cadre des mouvements de la tête, le roulis fait référence à la rotation autour de son axe antéro-postérieur, le tangage autour de son axe transversal et lacet autour de son axe longitudinal.</footnote>
<figure><img src="image_2.png" /><figcaption>**Figure 1** – La machine à états du système téléopéré.</figcaption></figure>

de postures-clés à interpoler en accord à une ligne temporelle, décrites par les angles des articulations à contrôler (elles peuvent être issues par le logiciel Choregraphe);

— **regard** : les deux angles de l'articulation de la tête du robot, en termes de tangage et lacet;

— **pointage** : les quatre angles de l'articulation du bras gauche et, de manière indépendante, du bras droit du robot;

— **marche** : l'objectif spatial du comportement de locomotion, en termes de position et direction en coordonnées égocentrées par rapport au robot.

— **parlé** : l'énoncé prononcé par le robot.

Chaque état est aussi caractérisé par une liste de couples déclencheur/état suivant, dont les déclencheurs sont typiquement le temps ou la pression d'un bouchon.

Dans une optique d'adaptation et d'autonomie, plusieurs déclencheurs auraient pu être définis en accord aux perceptions du robot. Malheureusement, une analyse des données perçues par la plateforme choisie pour la scène a montré les limites très importantes de cette approche : les données des caméras, par exemple, sont souvent sureexposées et trop lumineuses ou sous-exposées et trop sombres à cause des lumières utilisées pour l'éclairage du plateau; en même temps, la résolution des caméras, pas trop élevée, n'arrive pas à capturer les nuances des partenaires du robot s'ils sont positionnés trop loin; enfin, la taille, très petite, du robot le force à une perception de l'environnement d'un point de vue très bas, près du sol. Ces problématiques affectant le système de vision du robot empêchent une correcte perception du contexte, et compromettent, en conséquence, ses capacités d'interaction sociale autonomes : dans ces conditions le robot n'est pas capable de proposer de manière autonome de comportements cohérents et plausibles en accord au contexte.

Afin de contourner ces problèmes perceptifs, le contrôle du robot en temps réel a été confié à un système de téléopération, dit « magicien d'Oz », maîtrisé par un opérateur distant, positionné au bord du plateau. Un déclencheur dédié a été implémenté afin d'exécuter une partie de la machine à états en accord à la

pression d'une touche sur le clavier du magicien d'Oz (Fig. 1).

### 4.2.3. Le design participatif des comportements du robot

Au cours de chaque séance du RobotAct II, les artistes ont examiné les comportements du robot et ont formulé des propositions pour en créer de nouveaux. Entre chaque séance, ces propositions ont été élaborées et implémentées par l'équipe des ingénieurs; en même temps, les comportements existants ont été ajustés et améliorés en fonction des commentaires et des suggestions reçues.

<figure><img src="image_3.png" /><figcaption>**Figure 2** – Le robot Nao en saluant et en hochant sa tête en signe de négation.</figcaption></figure>

Dans le premier atelier, les artistes ont pu observer et interagir avec le robot pour la première fois. Les comportements montrés aux artistes – la locomotion, un salut, des mouvements d'approbation et de négation (Fig. 2) – ont pu souligner les capacités et les limites de la plateforme.

Au cours de cette séance, Claire Heggen a offert une présentation de sa grammaire de la relation homme-objet au bénéfice des artistes mais aussi des développpeurs. En effet, les concepts de sa grammaire, décrits plus haut, ne sont pas intéressants que pour les acteurs : la formalisation et la modélisation des gestes expressifs se prêtent très bien à une transposition « numérique » sur des humanoïdes comme Nao. Les concepts de mouvement progressif (Fig. 3), dégressif (Fig. 4), rétabli et contradiction (Fig. 5) ont

<figure><img src="image_4.png" /><figcaption>**Figure 3** – Le mouvement progressif : position initiale, progressif droit, rétablissement.</figcaption></figure>
<figure><img src="image_5.png" /><figcaption>**Figure 4** – Le mouvement dégressif : position initiale, dégressif droit, rétablissement.</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>**Figure 5** – Le mouvement en contradiction : position initiale, progressif droit, contradiction, rétablissement.</figcaption></figure>

été repris dans le design et l'implémentation de nouveaux comportements pour le robot, en donnant lieux à des gestes de communication sociale très lisibles, pertinents et crédibles.

Pendant la première séance, nous nous sommes concentrés sur la question du regard en tant que comportement apte à inciter l'attention conjointe vers des directions spécifiques. À partir des indications de Claire Heggen, qui définit trois typologies de regard – subjectif, objectif et parabase – et des expériences au plateau, ont été développés trois attitudes et mouvements de la tête pouvant évoquer trois manières de regarder pour Nao : le regard omni-directionnel (gauche, droite, en bas et en haut); le regard droit devant lui (Fig. 6a); le pointage vers la gauche et la droite (Fig. 6b).

Lors du deuxième atelier, en exploitant le nouvel ensemble de comportements, les comédiens ont commencé à réfléchir à la dramaturgie, à travers des improvisations sur des thèmes données (la surprise, la rencontre, l'effroi) et des exercices menant à une séquence articulée de mouvements : des nouveaux besoins de communication sociale se sont, en conséquence, manifestés. Le cycle successif de co-design a donné lieu à un ensemble de nouveaux comportements liés à la représentation d'état émotionnels du robot : excité (Fig. 7a), surpris, curieux (Fig. 7b), confus, penseur (Fig. 7c), interrogatif.

Le troisième atelier s'est concentré à affiner la dramaturgie et à renforcer l'alliance de la triade comédien-

<figure><img src="image_7.png" /><figcaption>(a) Le robot Nao en regarding droit devant lui.</figcaption></figure>

<figure><img src="image_8.png" /><figcaption>(b) Le robot Nao en indiquant sa gauche.</figcaption></figure>

<figure><img src="image_9.png" /><figcaption>(a) Le robot Nao excité.</figcaption></figure>

<figure><img src="image_10.png" /><figcaption>(b) Le robot Nao curieux.</figcaption></figure>

<figure><img src="image_11.png" /><figcaption>(c) Le robot Nao penseur.</figcaption></figure>

<caption>**Figure 7** – Le robot Nao présente des états émotionnels.</caption>

robot-opérateur sur la scène.

### 4.3. Interactions scéniques HR par la « grammaire de la relation corps/objet »

Nous avons ainsi créé deux courtes scènes qui ont été présentées dans le cadre de la journée d'étude *De la marionnette au robot : manipulation, animation et expression des corps artificiels* (25 juin 2022, MSH Paris Nord). Dans la première, un chœur de cinq acteurs de noir vêtus, avec des masques blancs, entre en relation avec l'agent robotique. La séquence, réalisée à partir d'un premier noyau de mouvements issus de la grammaire de Claire Heggen, déploie une tension dynamique entre le groupe et le robot qui se déplacent tous deux sur une ligne diagonale imaginaire dont ils occupent les deux extrémités (Fig. 8). D'abord, les comédiens, de face, effectuent sur place
des simples rotations qui varient selon le rôle que la tête et le corps assument dans le mouvement : progressif lorsque la tête est moteur, dégressive lorsque l'est le corps, contradiction lorsque les deux bougent dans le sens opposé l'un de l'autre. Ils semblent chercher quelque chose dans l'espace et ce n'est que lorsqu'ils tournent la tête à cour qu'ils découvrent Nao, immobile, de dos. Intrigués par cette présence, à travers un déplacement en cinq pas, ils se dirigent vers le robot. Nao s'aperçoit de cette avancée dans l'espace, tourne la tête et découvre à son tour le groupe, puis effectue une rotation du corps de 180° à jardin, afin de rétablir l'alignement tête/corps, il se retrouve face à eux et lève la tête pour les regarder dans les yeux. Il avance vers les comédiens et commence alors un jeu de miroirs, composé de répétitions et de variations, dans lequel le robot imite les mouvements des comédiens et vice-versa (tour complet en progressif, demi-tour en progressif à droite, puis à gauche avec rétablissement). Une fois ce dialogue établi, les comédiens s'arrêtent et le robot tourne la tête en direction du public et semble l' interpeller, en l'impliquant directement dans cette rencontre. La HRI se développe ici grâce à l'articulation des mouvements corps/tête qui sont reproduit, soit de manière spéculaire et imitative, soit en contradiction, à la fois par le robot et par les humains artificialisés par le masque. La précision de l'intention du geste et le dessin clair et net dans la réalisation du mouvement permettent au spectateur d'imaginer la situation des personnages, leurs états, et de compléter l'histoire de cette rencontre que la coordination de mouvements apparemment simples rend effective et plausible sur scène. C'est le regard du spectateur qui projette un sens sur ces mouvements pas expressifs en soi, mais capables de créer un univers cohérent et codifié qui fonctionne comme un tremplin pour l'imaginaire.

<figure><img src="image_12.png" /><figcaption>**Figure 8** – Les acteurs masqués en tension dynamique avec le robot.</figcaption></figure>

Dans la deuxième séquence, la grammaire de la relation corps/objet devient en revanche un outil pour créer une véritable narration. Nao est allongé au sol, au centre de la scène, éteint. Un acteur portant un masque neutre le découvre, s'en approche avec un mélange de méfiance, de crainte et d'irrésistible curiosité. Deux autres personnages masqués entrent en

scène et rejoignent le premier autour du robot. Ils commencent alors à le toucher, à bouger ses membres inertes, jusqu'à le lever et à le faire voler. Ils le reposent au sol, et, en touchant l'interrupteur qui se trouvent au centre de son torse, ils parviennent à l'activer. Avec un sursaut de surprise, les personnages s'en éloignent, tandis que le robot s'anime et se lève. Se développe alors un jeu de regards entre ces quatre figures et le public, appelé encore une fois à témoin de ces étranges retrouvailles. Le robot désigne par son bras et sa main un des personnages, choisi dans le trio, ce qui provoque toute une séquence de jalousie pendant laquelle on essaie d'attirer son attention. Finalement, excité par toutes ces démonstrations d'intérêt, Nao commence à trembler dans une sorte de danse rythmée. Les acteurs s'emparent de ce mouvement saccadé et se lancent dans une petite chorégraphie collective interrompue brutalement par le vol du robot de la part de l'un des personnages masqués qui sort de scène en courant, Nao dans les bras. Ici, la relation humain/robot passe d'abord par la découverte de la matérialité du dispositif, à travers le regard et le toucher, dans une proximité physique rendue possible par l'inertie initiale du robot (Fig. 9). Lorsque celui s'anime et passe du statut d'objet à celui de sujet, la relation se transforme, devient bidirectionnelle et se construit grâce au mouvement expressif contagieux de l'excitation et de la joie. Un lien empathique se tisse elors entre personnages masqués et robot.

<figure><img src="image_13.png" /><figcaption>**Figure 9** – La découverte du robot par les acteurs masqués.</figcaption></figure>

La co-création homme/machine de cette séquence a été rendue possible par un dialogue fin et souterrain entre les acteurs et le manipulateur en temps réel du « magicien d'Oz » (Anis Derri) qui, ayant désormais à disposition toute une palette de mouvements expressifs, a pu à la fois répondre mais aussi être force de proposition lors des improvisations. Cela le rend un véritable acteur hors scène, plus qu'un simple programmateur, dont l'action demeure invisible et insaisissable aux yeux du spectateur. Dans sa relation au robot, il ne se positionne pas vraiment comme un maionnettiste car il est obligé de passer par la programmation afin de produire des mouvements physiques, de faire agir le corps du robot dans l'espace de la scène. Le fil est donc coupé et remplacé par des lignes
de codes qui se succèdent dans un espace virtuel, in-
termédiaire entre le robot et son manipulateur.

5. RÉSULTATS, LIMITES ET PERSPECTIVES

Les expériences de RobotAct 2 ont permis de dé-
terminer un cadre méthodologique cohérent entre ro-
botique et théâtre, dans lequel mettre en place les
conditions pour une co-création entre humains et ro-
bot. La mobilisation d'un savoir théâtral très pointu,
non basé sur l'imitation du réel, mais sur des lois in-
ternes propres à la scène et à son artificialité, a ou-
vert la voie à des relations scéniques crédibles entre
acteurs humains et robots, à travers le mouvement et
la direction du regard. D'un point de vue technique,
le choix de mettre en place un système téléopéré a
donné la possibilité de contourner les problématiques
de perception et compréhension du contexte, en lais-
sant l'opportunité de se concentrer sur les gestes, sur
la dramaturgie et sur la dynamique théâtrale; en même
temps, l'impossibilité de réaliser des vraies boucles
perception-action et la dépendance du système des
actions d'un opérateur distant, crée des phénomènes
de latence et de désynchronisation qui cassent la flui-
dité de l'interaction sociale entre acteurs et robot sur
le plateau. Dans ce cas, le risque est de briser la cré-
dibilité des comportements interactifs du robot pro-
voquant, chez le public, une sensation d'étrangeté.
L'opérateur peut remédier seulement de manière par-
tielle à cette problématique, en essayant de renfor-
cer le plus possible son lien avec les acteurs et avec
ce qui se passe sur la scène. Cette tâche reste de
toute manière très compliquée étant donné la com-
plexité du système de téléopération : en effet, la mise
en œuvre d'une vraie dramaturgie impose la créa-
tion de machines à état très complexes et de plu-
sieurs déclencheurs sur le clavier. La crédibilité du
système, en dernière analyse, reposera sur les capa-
cités de concentration de l'opérateur, sur ses habili-
tés mnémoniques et sur sa rapidité d'action-réaction
en accord aux attendus et aux imprévus de la scène.
Les limites techniques décrites ci-dessus peuvent sû-
rement être surmontées à travers l'implémentation
d'un système autonome ou semi-autonome basé sur
l'interprétation de plusieurs perceptions sensorielles.
Au-delà des capteurs embarqués sur le robot, l'intro-
duction d'un réseau de microphones et de caméras
infrarouges placées sur la scène peut permettre au ro-
bot de saisir les nuances du contexte de manière plus
précise et fiable [16], en lui donnant des informations
complexes sur les sources sonores et sur les prises de
parole et en résolvant les problèmes de luminosité
du plateau. Ces perceptions multimodales peuvent
devenir une base très intéressante pour la mise en
place de boucles sensorimotrices réellement fiables.
La modélisation de la présence humaine à partir de
ces données pourra rendre explicites des informations

contextuelles W4 (where, what, when, who), offrant
la possibilité de mettre en place de comportements so-
ciaux autonomes ou semi-autonomes cohérents, cré-
dibles et pertinents. Des comportements improvisés
deviendront aussi possibles, ce qui nous permettra sur
un plan plus théâtral, de passer de l'utilisation scé-
nique d'un agent robotique standardisé, qui, en rais-
son de sa matérialité tend à ne renvoyer à rien d'autre
qu'à lui-même et à sa fonction primaire de robot, à
la création d'un véritable « personnage » [1, 6] avec
des caractéristiques comportementales qui lui soient
propres et déterminent des réactions différenciées, in-
dividualisées, capable de devenir un co-créateur.

6. REMERCIEMENTS

Les auteurs remercient Théo Arnulf, doctorant à l'EDESTA - Université Paris 8; Anis Derri, stagiaire, Université Paris 8; Léandre Ruiz, artiste associé au projet ; Claire Heggen ; ainsi que les étudiants qui ont participé à différents titres à Robot Act II : Saeed Ahmaddian, Mattia Barbaresi, Sarah Brunet, Noah Daoud, Tullia dalle Carbonare, Bruno Leal Piva, Kostantinos Rizos, Andrea Sarango.

Le projet *Scène et Robotique* a été financé par l'École Universitaire de Recherche ArTeC. Les auteurs déclarent que la recherche a été menée en l'absence de toute relation commerciale ou financière qui pourrait être interprétée comme un conflit d'intérêt potentiel.

Références

[1] Salvatore M ANZALONE et al. « Towards partners profiling in human robot interaction contexts ». In : *Simulation, Modeling, and Programming for Autonomous Robots : Third International Conference, SIMPAR 2012, Tsukuba, Japan, November 5-8, 2012. Proceedings* 3. Springer. 2012, p. 4-15.

[2] Christoph BARTNECK et al. *Human-robot interaction : An introduction*. Cambridge University Press, 2020.

[3] Maike BLEEKER. « From HRI to Human Robot Intra-action, and Some More Lessons from the Theatre ». In : *Limits of the human, machines without limits Encounters of contemporary stage and robotics*. Sous la dir. d'Erica MAGRIS et Izabella PLUTA. Avec la collaboration scientifique de Salvatore M. ANZALONE et Gunter LÖSEL. Bielefeld : Transcript Verlag, in press.

[4] Karel CAPEK. « RUR (Rossum's universal robots) ». In : *L'Avant-scène théâtre*. Trad. par Hanus JELINEK. 1453–1454. Déc. 2018, p. 80-152.
[5] Takenobu CHIKARAISHI et al. « Creation and staging of android theatre “Sayonara” towards developing highly human-like robots ». In : *Future Internet* 9.4 (2017), p. 75.

[6] Lorenzo COMINELLI, Daniele MAZZEI et Danilo Emilio DE ROSSI. « SEAI : Social emotional artificial intelligence based on Damasio’s theory of mind ». In : *Frontiers in Robotics and AI* 5 (2018), p. 6.

[7] Silvia CORADESCHI et al. « Human-inspired robots ». In : *IEEE Intelligent Systems* 21.4 (2006), p. 74-85.

[8] Edmond COUCHOT. *Automates, robots et humains virtuels dans les arts vivants*. Presses Universitaires de Vincennes, 2022.

[9] Anis DERRI. *Les robots en scène comme instrument thérapeutique*. Mémoire de Master 2. Université Paris 8, sept. 2022.

[10] Steve DIXON. *Digital performance : a history of new media in theater, dance, performance art, and installation*. Cambridge (MA)/Londres : MIT press, 2015, p. 271-302.

[11] Paul DUMOUCHEL et Luisa DAMIANO. *Vivre avec les robots. Essai sur l'empathie artificielle : Essai sur l'empathie artificielle*. Média Diffusion, 2016.

[12] Giulia FILACANAPA, Guy FREIXE et Brigitte LE GUE. *Le masque dans l'Antiquité. Pratiques anciennes et contemporaines*. Montpellier : Deuxième Époque, 2022.

[13] Giulia FILACANAPA et Erica MAGRIS. « Digital Mask for Ancient Greek Drama : Artificiality, Constraint and Metamorphosis ». In : *Greek Tragedy and the Digital*. Sous la dir. de George RODOSTHENOUS et Angeliki POULOU. London : Bloomsbury, 2022, p. 149-162.

[14] Giulia FILACANAPA et Erica MAGRIS. « Masques et avatars numériques : premières expérimentations pour le drame antique ». In : *Le Masque scénique dans l'Antiquité*. Sous la dir. de Giulia FILACANAPA, Guy FREIXE et Brigitte LE GUEN. Montpellier : Deuxième Époque, 2022, p. 387-398.

[15] Guy FREIXE. *Les utopies du masque : sur les scènes européennes XXe siècle*. Montpellier : L'Entretemps Editions, 2010.

[16] Stefano GHIDONI et al. « A distributed perception infrastructure for robot assisted living ». In : *Robotics and Autonomous Systems* 62.9 (2014), p. 1316-1328.

[17] Claire HEGGEN, Yves MARC et Patrick PEZIN. *Théâtre du mouvement*. Montpellier : Deuxième Époque, 2017.

[18] Heather KNIGHT. « Eight lessons learned about non-verbal interactions through robot theater ». In : *Social Robotics : Third International Conference, ICSR 2011, Amsterdam, The Netherlands, November 24-25, 2011. Proceedings 3*. Springer. 2011, p. 42-51.

[19] Friedrich NIETZSCHE. *L'Origine de la tragédie : ou Hellénisme et pessimisme*. Mercure de France, 1911.

[20] Jennifer PARKER-STARBUCK. *Cyborg theatre : Corporeal/technological intersections in multimedia*. Performance Interventions. Basingstoke : Palgrave Macmillan, 2011.

[21] Jennifer PARKER-STARBUCK. « Le théâtre cyborg ». In : *ArtPress2* 25 (mai 2012) : Cyborg. URL : https://www.artpress.com/2012/05/10/le-theatre-cyborg/.

[22] Didier PLASSARD. *L'acteur en effigie : figures de l'homme artificiel dans le théâtre des avant-gardes historiques - Allemagne, France Italie. Théâtre Années 20. Lausanne / Charleville-Mézières : L'Age d'Homme / Institut International de la Marionnette*, 1992.

[23] Didier PLASSARD. « Les scènes de l'intranquillité ». In : *Puck : la marionnette et les autres arts* 20 (2014), p. 11-16.

[24] Izabella PLUTA. « Theater and Robotics : Hiroshi Ishiguro's Androids as Staged by Oriza Hirata ». In : *Art Research Journal* 3.1 (2016), p. 65-79.

[25] Bruno SICILIANO, Oussama KHATIB et Torsten KRÖGER. *Springer handbook of robotics*. T. 200. Springer, 2008.

[26] Anne UBERSFELD. *Lire le théâtre*. Lettres SUP. Paris : Belin education, 1996.

[27] Lorenzo VIANELLO et al. « Human-humanoid interaction and cooperation : a review ». In : *Current Robotics Reports* (2021), p. 1-14.

[28] Stephen WILSON. *Information arts : intersections of art, science, and technology*. MIT press, 2003.