DOI: 10.82270/dicta-sign-lsf-v2/v1
title: Dicta-Sign-LSF-v2

description: PrésentationDicta-Sign-LSF-V2 est un corpus de dialogue de LSF de 8h environ. Il peut être utilisé par des membres de structures d'enseignement universitaire et de recherche publiques. Il a été constitué durant le projet européen Dicta-Sign en 2010. Le thème du corpus était "Les voyages en Europe". Le même corpus a été réalisé pour quatre LS (allemande, anglaise, grecque et française). Le matériel d'élicitation a été conçu de manière à obtenir des contenus comparables pour les quatre LS. Nous ne fournissons ici que la partie française. L'ensemble des ressources produites durant le projet est présenté ici : https://www.sign-lang.uni-hamburg.de/dicta-sign/portal/.Le corpus est composé de neuf sessions de dialogues nommée S1 à S9, avec 18 locuteurs différents (2 par session). Neuf tâches ont été définies, nommée T1 à T9. Selon les sessions, entre 3 et 9 tâches ont été réalisées par les dyades de locuteurs.Nous fournissons ici les données primaires (vidéos), les consignes qui ont permis d'élaborer le contenu du corpus (élicitation), des annotations et le guide d'annotation correspondant, et des données extraites des vidéos par traitement permettant d'avoir une représentation des configurations manuelles, ainsi que du squelette du haut du corps et du visage. Le fichier /data/Dicta-Sign-LSF_List.csv. recense la liste des vidéos et annotations fournies pour chaque session.Données primaires Le répertoire /videos contient 207 vidéos. Dans la plupart des cas, cela correspond à 3 vidéos par session et par tache : - 2 vidéos : 1 pour chaque locuteur vu de face (front). L'identifiant du locuteur est indiqué par une lettre et un nombre. Par exemple, le fichier DictaSign_lsf_S4_T2_A1_front.mp4 fait référence à la session S4, la tâche T2, le locuteur A1, vu de face.- 1 vidéo comportant à un montage de ces deux vues (2view), généralement complété avec un plan d'ensemble (3view). Par exemple, le fichier DictaSign_lsf_S4_T2_3view.mp4 fait référence à une vidéo qui contient un montage des 3 vues pour la tâche T2 de la session 4.A noter que les sessions S1, S7 et S8 sont incomplètes (S1 a servi de session de test, certaines tâches de S7 et S8 ont été supprimées pour diverses raisons).Ces vidéos sont dans un conteneur mp4, avec le codec H.264 (ou MPEG-4 
AVC), avec une cadence de 25 images par secondes et une résolution de 
720x576.Données secondairesÉlicitationLe répertoire /data/elicitation contient l'ensemble des consignes qui nous ont permis d'éliciter le contenu des neuf tâches. Il s'agit en général de présentations sous forme de vidéos en LSF, d'images ou de schémas qui étaient montrés aux locuteurs au début de chaque tâche.AnnotationsLe répertoire /data/annotations contient des annotations partielles qui couvrent environ 5h. 48 dialogues (session/tâche) ont été annotés, pour chacun des deux locuteurs, sauf pour S8T8 et S8T9 ou un seul locuteur a été annoté.Nous avons segmenté les unités manuelles sur trois pistes (main gauche, main droite, deux mains) et leur avons attribué une catégorie parmi sept (Signe lexical, signe illustratif, pointage, balise, nombre, dactylologie et geste). Une 4ème piste contient une interprétation en français. Plus de détails sur les annotations et des métadonnées sur les locuteurs sont donnés dans le guide d'annotation /data/annotations/Dicta-Sign-LSF-AnnotationGuide_fr.pdf. Les annotations sont données dans le fichier /data/annotations/Dicta-Sign-LSF_Annotation.csv.Représentation précalculée des signeursLe répertoire /data/signerRepresentation contient des représentations précalculées de chaque signeur. Des caractéristiques liées au mouvement des mains, du visage et du haut du corps sont fournies dans différents fichiers au format numpy, avec plusieurs options (2D/3D, données brutes ou prétraitées...). Deux formats de fichiers sont proposés, un plus ancien dans /data/signerRepresentation/old/, un plus récent dans /data/signerRepresentation/cslr_limsi_features/, obtenu en utilisant un ensemble de scripts publiés sur GitHub. Ces représentations ont été obtenues à l'aide d'un traitement appliqué aux vidéos des vues de face.
description: PresentationDicta-Sign-LSF-V2 is a 8-hour LSF dialogue corpus. It can be downloaded by members of public university and research structures.It was made during the European project Dicta-Sign in 2010. The topic of this corpus was "Traveling in Europe". The same corpus was realized for four different SL (German, British, Greek and French). The elicitation material was developed so that comparable content could be obtained for the four SL. Here, we only provide the French part of thus corpus. The whole material that was produced during the project is presented there: https://www.sign-lang.uni-hamburg.de/dicta-sign/portal/.The corpus is made of nine dialogue sessions S1 to S9, with 18 different signers (2 for each session). The first session S1 was a test session. Then, for each session from S2 to S9, nine tasks T1 to T9 were realized by the participants. In this version of the corpus, we provide primary data (videos), elicitation data, annotation data and related annotation guide, as well as preprocessed signer data including facial pose, upper body pose and hand shape estimates.The file /data/Dicta-Sign-LSF_List.csv contains a list of the videos and annotations provided for each session.Primary dataThe /videos directory contains 207 videos. In most cases, this corresponds to 3 videos per session per task: - One front view video for each of the two signers. The signer identifier is made of a letter and a number. For instance, the file DictaSign_lsf_S4_T2_A1_front.mp4 refers to session S4, task T2, signer A2, front view.- One video assembly of the two frontal views (2view), often including a general arrangement view (for instance, the file DictaSign_lsf_S4_T2_3view.mp4 refers to session S4, task T2).Note that sessions S1, S7 and S8 are incomplete (S1 was used as a test session, some tasks of S7 and S8 were deleted for various reasons).These videos are in a mp4 file container, with H.264 or MPEG-4 AVC codec. The frame rate is 25 frames per second and the resolution is 720x576.Secondary dataElicitationIn the /data/elicitation directory, we provide all material that was used to elicit the content of each of the nine tasks. In general, it consists in LSF videos, pictures or schemes that were presented to the signers before each task.AnnotationsThe /data/annotations directory contains partial annotations, covering about 5 hours of the corpus. 48 dialogues (session/task) have been annotated, for each of the two signers, except for S8T8 and S8T9 where only one signer has been annotated.We segmented the manual units over three tracks (left hand, right hand, two hands), under seven possible categories (lexical sign, depicting sign, pointing sign, fragment buoy, numbering, fingerspelling and gestures). A fourth tier contains French interpretation. More detail on annotations and signer metadata is given in the annotation guide /data/annotations/Dicta-Sign-LSF-AnnotationGuide_en.pdf. The annotations are given in the file /data/annotations/Dicta-Sign-LSF_Annotation.csv.Preprocessed signer representationIn this version, we provide preprocessed signer representation data for each video, in the /data/signerRepresentation directory. Features related to hand shape, facial and body pose are provided, in several numpy files, with different representation options (2D/3D, raw or processed data...). Two file formats are proposed, a more obsolete one in  /data/signerRepresentation/old/, a more recent one in /data/signerRepresentation/cslr_limsi_features/, obtained by using a set of scripts published on GitHub. These files were processed from each front view video file.