<figure><img src="image_1.png" /></figure>

HAL
open science

# SOLOS MARANHENSES : Intégration de la numérisation du mouvement dans la recherche-création

Fernanda Areias de Oliveira, Victor Rogerio Sousa Ferreira, Ronaldy Matheus Silva, Anselmo Cardoso de Paiva

<figure><img src="image_2.png" /></figure>

## To cite this version:

Fernanda Areias de Oliveira, Victor Rogerio Sousa Ferreira, Ronaldy Matheus Silva, Anselmo Cardoso de Paiva. SOLOS MARANHENSES : Intégration de la numérisation du mouvement dans la recherche-création. JIT 2022 - Journées d'Informatique Théâtrale 2022, Inria Grenoble Rhône Alpes; ENSATT Lyon; Laboratoire Passages XX-XXI de l'Université Lyon 2, Oct 2022, Lyon, France. hal-04152538

HAL Id: hal-04152538

https://inria.hal.science/hal-04152538

Submitted on 5 Jul 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_3.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# SOLOS MARANHENSES : INTÉGRATION DE LA NUMÉRISATION DU MOUVEMENT DANS LA RECHERCHE-CRÉATION

Fernanda Areias de Oliveira

Université Fédérale du
Maranhão
fernanda.areias@ufma.br

Victor Rogerio Sousa
Ferreira

Université Fédérale du
Maranhão
rogeriovictor@nca.ufma.br

Ronaldy Matheus Silva

Université Fédérale du Maranhão
ronaldymatheussilva@gmail.com

Anselmo Cardoso de Paiva

Université Fédérale du
Maranhão
paiva@nca.ufma.br

## RÉSUMÉ

Cet article présente une méthodologie développée pour aider les processus créatifs intéressés par l'informatisation comme support à la création d'arts vivants. Nous sommes partis de l'élaboration d'un référentiel en ligne des mouvements et des gestes des danses populaires du Maranhão, comme espace de diffusion des chorégraphies. Nous entendons représenter le processus de création dans les arts vivants à partir de la proposition d'une expression corporelle en dialogue avec une expressivité décoloniale en, attentive aux formes dramatiques brésiliennes. Un protocole a été développé pour capturer les mouvements de danse puis les numériser, permettant ainsi la création d'un répertoire virtuel de mouvements, basé sur des danses issues de contextes culturels variés.

## 1. INTRODUCTION

Les techniques de capture de mouvement deviennent une méthode populaire de numérisation des danses folkloriques pour la préservation et la diffusion. La particularité de ces danses folkloriques, susceptibles de multiples variations de style et d'improvisation, rend ce processus particulièrement complexe.

Cet article rapporte les résultats d'une recherche développée visant à créer une méthodologie basée sur des appareils à usage général (smartphones) capables d'aider les processus créatifs intéressés par l'informatisation comme support à la création d'arts vivants.

Nous avons commencé par l'élaboration d'un référentiel en ligne des mouvements et gestes des danses populaires du Maranhão, comme espace de diffusion des chorégraphies. La base narrative a été construite par des danseurs de danses populaires du Maranhão (Brésil), qui ont été accompagnés pendant tout le processus de capture des mouvements par une équipe de chercheurs en arts du spectacle et en informatique.

L'interface artiste/créateur numérique est l'un des points clés de cette recherche menée en partenariat avec le Núcleo de Computação Aplicada - NCA-UFMA.

La recherche vise à représenter le processus de création dans les arts vivants à partir de la proposition d'une expression corporelle en dialogue avec une expressivité décoloniale attentive aux formes dramatiques brésiliennes. Notre choix pour l'état du Maranhão situé en Amazonie brésilienne participe à la reconnaissance de cette région comme territoire représentatif de la diversité culturelle qui compose la population brésilienne, une culture riche en héritage indigène, africain et portugais.

Nous présentons un protocole pour capturer des segments de danses populaires et leur représentation par un avatar, afin de documenter les principaux segments de certaines des danses caractéristiques du Maranhão (Brésil).

L'article est organisé de telle sorte que dans les sections suivantes seront présentés le développement du protocole de capture de mouvement avec les laboratoires réalisés avec des danseurs volontaires, et l'enregistrement de danses avec des danseurs professionnels et la numérisation ultérieure de leurs mouvements. Est également présentée la stratégie de diffusion des résultats qui a donné naissance à la plateforme Solos Maranhenses, qui offre un espace de diffusion des danses populaires, ainsi que des recherches académiques sur la formation des acteurs qui utilisent ces danses.

## 2. LA TECHNOLOGIE DE CAPTURE DE MOUVEMENTS

Une première expérience a été menée pour numériser les mouvements à l'aide de l'application CaptureStream.

Pour la phase initiale, nous avons organisé un protocole de capture d'images de la danseuse Samira França pour exécuter des mouvements libres de Tambor
de Crioula. Cette expérience a permis d'identifier plusieurs facteurs qui ont eu un impact sur le protocole de capture de mouvement avec des erreurs telles que : la non-reconnaissance de la région de la hanche, des mains et des pieds.

Il a donc fallu chercher une technologie capable de capturer avec suffisamment d'expression tous les membres du corps du danseur qui constituent des aspects importants des danses populaires sélectionnées pour cette recherche (tambor de crioula, cacuriá, bumba-meu-boi, etc.).

Sur la base de cette expérience, d'autres options ont été recherchées et testées, ce qui a conduit à la définition de l'utilisation de la technologie OpenPose pour capturer le mouvement.

Deux bibliothèques, MocapNET et OpenPose, ont été utilisées pour enregistrer le mouvement des danseurs et les modéliser.

MocapNET [9] est un ensemble de SNN [10] qui estime la pose du corps humain en 3D à partir d'estimations des articulations en 2D extraites d'images RGB monoculaires. Il produit des informations sur le squelette dans le format de fichier BVH [10], ce qui permet d'effectuer un rendu en temps réel ou de l'importer dans un logiciel d'animation 3D.

BVH est un format de fichier d'animation. Il fournit des informations sur la hiérarchie d'un squelette représentant le corps humain ainsi que des données sur les mouvements. Il s'agit actuellement de l'un des formats de données de mouvement les plus populaires.

OpenPose [11] est un système open-source en temps réel pour la détection de pose 2D de plusieurs personnes, y compris les points clés du corps, des pieds, des mains et du visage.

Dans les deux algorithmes, la capture du mouvement se fait sans marqueurs, ce qui permet de capturer et d'analyser le mouvement naturel du corps humain sans avoir à porter de lourds capteurs corporels.

Après plusieurs expérimentations, OpenPose a été choisi pour capturer le mouvement et transformer la vidéo de la performance du danseur en une animation au format BVH.

Pour réaliser cette tâche, une méthodologie basée sur XX étapes a été développée.

La première étape est l'acquisition vidéo avec la performance du danseur, générant une vidéo avec des images bidimensionnelles sans information de profondeur.

Dans OpenPose, il existe deux modèles pré-entraînés pour la capture de mouvement, Body_25 et Body_25B. Le modèle Body_25 a un coût de calcul plus faible, tout en étant moins précis. Le modèle Body_25B est plus précis dans la capture du mouvement, mais demande un plus grand effort de calcul. Dans cette recherche, le modèle Body_25B a été choisi.

La vidéo est ensuite soumise à l'algorithme de capture de mouvement. Deux sorties sont générées, l'une contenant des fichiers json dans lesquels sont spécifiées les positions (x, y) des articulations qui représentent la pose du corps du danseur, et l'autre contenant le fichier

vidéo au format AVI avec le résultat de la capture de mouvement superposé à la vidéo originale. Ensuite, un programme utilitaire MocapNET est utilisé pour convertir les fichiers. json générés par OpenPose en un fichier CSV, qui sera converti en un fichier BVH. Le format de fichier BVH peut être importé dans des outils de modélisation 3D tels que Blender, 3Ds Max ou Cinema4D.

La Figure 1 montre un échantillon de la vidéo d'entrée et le résultat de la capture et une visualisation du modèle final généré au format BVH.

<figure><img src="image_4.png" /><figcaption>**Figure 1.** Exemple d'une image provenant de la vidéo de la performance d'un danseur, du squelette généré par la capture du mouvement et du fichier final généré au format BVH.</figcaption></figure>

## 3. LE CAPTURE DE MOUVEMENT

Le Laboratoire de technologies dramatiques - LABTECDRAMA a lancé un appel ouvert aux danseurs des manifestations de danse populaire les plus variées du Maranhão. L'expérience a été réalisée dans deux plans de capture et avec des danseurs en couple et en solo.

Sur la base de cette expérience, la méthodologie a été définie pour capturer les vidéos avec les performances des danseurs et le flux pour manipuler les données capturées avec les bibliothèques pour l'enregistrement des mouvements. Ce processus a abouti au protocole de capture qui a été utilisé pour la capture et la documentation des segments des danses sur scène dans un théâtre italien, avec des ressources d'éclairage et de musique et des angles de capture d'image variés.

Les principales danses des manifestations populaires existant au Maranhão ont été identifiées dans le découpage de la recherche. Ainsi 8 danseurs de différentes manifestations ont été invités : bumba-meu-boi (caractères : indiens, indienne, cacique, tête de taureau), tambor de crioula, cacuriá et divino espírito santo.

Le protocole développé pour cette action comprenait l'acquisition de vidéos avec un éclairage général et focalisé, l'utilisation de vêtements et de vêtements noirs, et l'utilisation de musique. Les enregistrements ont été réalisés en tirs directs.
Ces documents ont servi de support à l'étape de numérisation des mouvements. Les vidéos ont été manipulées à l'aide des API Open Pose et MocapNET.

Les liens vers les vidéos capturées selon les variations de la manipulation sont listés ci-dessous

- Eclairage général avec vêtements et musique
https://youtu.be/gta6svwuopq

- Eclairage général sans vêtements et avec musique
https://youtu.be/gtvp9xn36vq

- Eclairage général sans vêtements et sans musique
https://youtu.be/rhsf3qcnjue

- Focus éclairage avec vêtements et musique
https://youtu.be/-wh8kfac6ro

- Éclairage ponctuel sans vêtements et avec musique
https://youtu.be/gtvp9xn36vq

- Focus éclairage sans vêtements et sans musique
https://youtu.be/rHsF3QCnJUE

Le résultat final est la plateforme Solos Maranhenses (www.solosmaranhenses.com.br) qui offre un espace de diffusion des danses populaires ainsi que des recherches universitaires sur la formation des acteurs utilisant ces danses.

## 4. CONCLUSIONS

L'interface artiste / créateur numérique est un des points clés de cette enquête réalisée en partenariat avec le Noyau de l'informatique appliquée - NCA-UFMA. Nous avons eu l'intention de développer des partenariats avec des chorégraphes expérimentés de la région. Ils ont été enregistrés avec le logiciel (OpenPose) de capture de mouvement dans les laboratoires accompagné par une équipe de chercheurs d'arts du spectacle au Brésil.

En ce qui concerne l'originalité, nous reconnaissions que les enregistrements du répertoire numérique du patrimoine immatériel de la danse folklorique sont rares. La création d'un espace en ligne pour la diffusion de ces danses permettra l'accès et la diffusion de connaissances encore concentrées dans la région et d'importance internationale.

Le développement d'un protocole de capture des mouvements de danse, pour réaliser plus tard leur numérisation est une avancée significative dans le domaine des arts et du mouvement.

L'objectif était de créer un répertoire virtuel de mouvements, basé sur des danses de divers contextes culturels. En résumé, discuter de comment l'annulation des frontières entre la danse et l'informatique peuvent valoriser la création.

Cette recherche s'inscrit dans le mouvement de formation de professionnels des arts du spectacle attentifs aux représentations théâtrales populaires et issues de traditions non euro centriques.

Le dépôt numérique Solos Maranhenses a été construit dans l'intention d'aider à la diffusion des processus créatifs qui s'intéressent à l'informatisation comme support de création dans les arts du spectacle.

Nous avons commencé par créer un référentiel en ligne de mouvements et de gestes issus de danses populaires du Maranhão, comme un espace de diffusion

des chorégraphies et de numérisation ultérieure des mouvements. Nous avons utilisé comme base narrative des danseurs du Maranhão, qui ont été accompagnés tout au long du processus de capture des mouvements par une équipe de chercheurs en arts scéniques et en informatique.

Nous souhaitons que cet espace en ligne représente le processus de création des arts scéniques à partir de la proposition d'une expression corporelle en dialogue avec une expressivité décoloniale et attentive aux formes dramatiques brésiliennes.

Solos Maranhenses regroupe des chercheurs et des danseurs qui s'organisent individuellement et collectivement pour diffuser la recherche et jouer au rythme de la danse populaire. Sans leur partenariat, ce référentiel ne serait pas possible.

## 5. REMERCIEMENTS

Ce travail a été soutenu par la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brazil (CAPES) - Código de Financiamento 001, Fundação de Amparo a Pesquisa do Maranhão (FAPEMA) et Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).

## 6. REFERENCES

[1] BARBA, Eugenio. A arte secreta do ator: um dicionário de antropologia teatral. Eugenio Barba, Nicola Sevarese; tradução de Patrícia Furtado de Mendonça. - São Paulo: É Realizações, 2012 a. (Aarte do ator)

[2] BORRALHO, Tácito Freire. As máscaras nas manifestações teatrais populares. In. Revista de Estudos Sobre Teatro de Formas Animadas, Florianópolis, v. 1, n. 26, p. 119 - 135, ago. 2022. DOI: https://doi.org/10.5965/2595034701262022119

[3] DUHEM, L. Art Et Technologie. Texte int gral d un séminaire donn é à l'ISELP (Institut Sup rieur d'étude du Langage Plastique) Bruxelles en mai 2011 avec pour titre: «Art et technologie. Une approche philosophique avec Gilbert Simondon». p. 1 50, 2011.Simondon y la cuestión estética (2016). v. 4, maio, p. 78 84, Demarcaciones.

[4] EASTON, Leonore, Rapport sur les méthodes utilisées en recherché artistique dans le domaine des arts de la scène, Manufacture – Haute école de théâtre de Suisse romande, in web : http://www.hetsr.ch/index.php?option=com_content&task view&id=869&Itemid=131

[5] FERNANDES. Ciane, O Corpo em Movimento: O Sistema Laban/Bartenieff na Formação e Pesquisa em Artes Cênicas. 2. Ed. Revisada e aumentada. São Paulo: Annablume, 2006.

[6] LABAN, Rudolf von. Domínio do Movimento. São Paulo: Summus, 1978.
[7] RIBEIRO, Tânia Cristina Costa/IPHAN. Bumba meu boi: som e movimento. São Luís: Iphan/MA, 2011 (1992.) v. 12.Papiers.

[8] STIEGLER, B. Le tournant machinique de la sensibilité musicale., 2004 v. 18, p. 7 17. Les cahiers demédiologie VERGÈS, F. Décolonisons les arts! Un long, difficile et passionnant combat (2018) in : CUKIERMAN C. DAMBURY G.VERGÉS F. Décolonisons les arts. Paris, L'Arche. 2

[9] QAMMAZ, A. AND ARGYROS, A. A. "Mocapnet: Ensemble of snn encoders for 3d human pose estimation in rgb images", British Machine Vision Conference (BMVC), 2019.

[10] KLAMBAUER, G., UNTERTHINER, T., MAYR, A. AND HOCHREITER, S. Selfnormalizing neural networks. In Advances in neural information processing systems, pages 971–980, 2017.

[11] Cao, Z., Hidalgo, G., Simon, T., Wei, S.-E., & Sheikh, Y. (2021). Openpose: Realtime Multi-Person 2D Pose Estimation Using Part Affinity Fields. IEEE Transactions on Pattern Analysis and Machine Intelligence, 43(1), 172–186.
https://doi.org/10.1109/TPAMI.2019.2929257