DOI: 10.82270/clm-mocap/v2
title: CLM-MOCAP

description: CLM-MOCAP (Corpus pour l’étude de la Localisation initiale et du Mouvement en Motion Capture) est un corpus de Langue des Signes Française (LSF) capté à l’aide d’un système de capture de capture de mouvement, le Perception Neuron v2, et d’une caméra HD.Ce corpus a été réalisé dans le cadre de la thèse de Léa Chevrefils, « Formalisation et modélisation du mouvement en Langue des Signes Française : pour une approche kinésio-linguistique des productions gestuelles » soutenue le 24 novembre 2022. Anciennement dirigée par Dominique Boutet, qui a notamment encadré la mise en place de ce corpus et a inspiré l’approche théorique et méthodologique, l'encadrement a été repris par Aliyah Morgenstern (Université Sorbonne Nouvelle (EA 4398 PRISMES)), Laurent Gosselin (Université de Rouen Normandie (EA 7474 DYLIS)) et Brice Guignard (Université Rouen Normandie (EA 3832 CETAPS)).CLM-MOCAP est un corpus de LSF composé de monologues et dialogues élicitées de dix sourds signeurs comprenant des tâches narratives, descriptives et procédurales.Chaque participant porte la combinaison Perception Neuron v2 constituée de 32 unités de mesure inertielle enregistrant les données cinématiques du mouvement en temps réel. Ce dispositif est mis en place afin d’appliquer l’approche kinésiologique développée par Dominique Boutet (Boutet 2018 ⟨tel-02357282⟩) à la LSF. En voici le détail : Production Sexe  Âge  Langue(s) pratiquée(s)  Nbr de signes  Durée par production  MOCAP (Hz) 1F23LSF/français1652 min 59 sec602M23LSF/français3182 min 56603F45LSF5125 min 28604F24LSF2303 min 24605F27LSF2703 min 46606M28LSF3093 min 41607-1M27LSF/français3088 min 151207-2M27LSF/français2874 min 311208F35LSF1822 min 541209F28LSF1592 min 5812010F28LSF/français2375 min 23120Moyenne/Total-28,8-297746 min 20 - Cette version du dépôt de corpus contient pour chaque production :-      un enregistrement vidéo (.MP4)-      un fichier de visualisation de la représentation 3D issue du logiciel Axis Neuron (.RAW)-      un export sous le format Biovision BVH issu du logiciel Axis Neuron (.BVH)-   un fichier ELAN avec une segmentation et une traduction par glose des signes (.EAF)Une version des fichiers ELAN avec la transcription Typannot (https://www.typannot.com/) de la localisation initiale et du mouvement du membre supérieur dominant peut être demandée à Léa Chevrefils (leachevrefils@gmail.com)Résumé de la thèse : 
		
	
	
		
			
				
					Ce travail de recherche propose d’observer le déploiement des signes par le prisme des
approches dynamiques du contrôle moteur. L’objectif est d’identifier au sein des productions
signées le principe de simplicité motrice naturel et spontané qui régit le corps. Pour cela, nous
avons mis en place et analysé un corpus de Langue des Signes Française semi-dirigé enregistré
par une caméra ainsi que par un système de captation tridimensionnel, le Perception Neuron.
Une transcription de deux paramètres kinésiologiques – la localisation initiale et le mouvement
– a été réalisée avec le système Typannot sur 1573 signes. Les résultats révèlent que le
mouvement sollicite majoritairement l’activation d’un unique segment au sein du membre
supérieur ; ou qu’il peut relever de coordinations stables, appelées synergies, lorsque plusieurs
segments sont employés. À contre-courant des représentations traditionnelles qui font du
mouvement le paramètre le plus complexe à appréhender, nous démontrons qu’il est aisément
descriptible à partir du moment où il est couplé à celui de la localisation initiale.

					Ce travail dévoile l’existence d’une influence directe de la structure corporelle sur celle des
signes, ce qui nous permet de dépeindre les contours d’une kinésio-linguistique, discipline qui
s’appliquerait à décrire comment les organisations corporelles dynamiquement organisées
forment des réalisations signifiantes au sein des langues signées ou vocales.
				
			
		
description: CLM-MOCAP (Corpus for the Study of Initial Localization and Movement in Motion Capture) is a corpus of French Sign Language (FSL) captured with a motion capture system, the Perception Neuron v2, and an HD camera.This corpus was realized in the framework of Léa Chevrefils' thesis, "Formalization and modeling of movement in French Sign Language: for a kinesio-linguistic approach of gestural productions" defended on November 24, 2022. Formerly directed by Dominique Boutet, who notably supervised the setting up of this corpus and inspired the theoretical and methodological approach, the supervision has been taken over by Aliyah Morgenstern (Université Sorbonne Nouvelle (EA 4398 PRISMES)), Laurent Gosselin (Université de Rouen Normandie (EA 7474 DYLIS)) and Brice Guignard (Université Rouen Normandie (EA 3832 CETAPS)).CLM-MOCAP is an FSL corpus composed of elicited monologues and dialogues of ten deaf signers including narrative, descriptive and procedural tasks.Each participant wears a Perception Neuron v2 suit consisting of 32 inertial measurement units recording kinematic motion data in real time. This device is set up to apply the kinesiological approach developed by Dominique Boutet (Boutet 2018 ⟨tel-02357282⟩) to LSF.The details below :Production Sex  Age  Language(s) practiced  No. of signs produced  Duration per production  MOCAP (Hz) 1F23LSF/français1652 min 59 sec602M23LSF/français3182 min 56603F45LSF5125 min 28604F24LSF2303 min 24605F27LSF2703 min 46606M28LSF3093 min 41607-1M27LSF/français3088 min 151207-2M27LSF/français2874 min 311208F35LSF1822 min 541209F28LSF1592 min 5812010F28LSF/français2375 min 23120Moyenne/Total-28,8-297746 min 20 -This version of the corpus repository contains for each production :- a video recording (.MP4)- a visualization file of the 3D representation from the Axis Neuron software (.RAW)- an export in the Biovision BVH file format from the Axis Neuron software (.BVH)- an ELAN file with segmentation and a glose translation (.EAF)A version of the ELAN files with the Typannot transcription (https://www.typannot.com/) of the initial location and movement of the dominant upper limb can be requested from Léa Chevrefils (leachevrefils@gmail.com)Thesis abstract : 
		
	
	
		
			
				
					In this research the deployment of signs is observed through the prism of dynamic approaches
to motor control. The objective is to identify the natural and spontaneous principle of motor
simplicity that governs the body within signed productions. For this purpose, we set up and
analyzed a corpus of semi-directed French Sign Language productions recorded by a camera as
well as by a three-dimensional capture system, the Perception Neuron. A transcription of two
kinesiological parameters – initial location and movement – was accomplished with the
Typannot system on 1573 signs. The results show that movement mainly involves the activation
of a single segment within the upper limb. When several segments are used, movement involves
stable coordinations called synergies. Contrary to traditional representations in which
movement is the most complex parameter, we demonstrate that it can be easily described when
coupled with gestures’ initial location.

					This study uncovers a direct influence of body structure on sign structure. We thus propose to
create a new field which we call kinesio-linguistics and which could be used to describe how
dynamically organized bodies form meaningful realizations within signed or vocal languages.