DOI: 10.82270/mediapi-rgb
title: Mediapi-RGB
title: Mediapi-RGB

description: Mediapi-RGB is a bilingual corpus of French Sign Language (LSF) and written French in the form of subtitled videos, accompanied by complementary data (various representations, segmentation, vocabulary, etc.). It can be used in academic research for a wide range of tasks, such as training or evaluating sign language (SL)  extraction, recognition or translation models.To build this corpus, we used videos from   Média'Pi!, a bilingual online media with journalistic-type content in LSF with French subtitles. We collected 1230 videos dating from September 2017 to January 2022, representing a total of 86h. Based on the subtitles, we temporally segmented the videos into 50084 video segments (or extracts). We also automatically cropped the signer and harmonised the segments in terms of size (444x444) and frequency (25fps).Version 1 of the repository :In this first version, we provide the video segments of the test and val sets; those of the train set, currently under embargo, will be available in 2025. We are also providing four types of data: OpenPose (calculated from the 1230 original videos), Mediapipe Holistic, I3D and Video Swin Transformer (calculated from each of the 50084 video extracts (or segments) using models trained on British Sign Language). We also provide the French subtitles, as well as a list of lemmatised nouns (common and proper) appearing at least 5 times in the subtitles of the extracts. Finally, for each video segment, we provide predictions of the boundaries between signs.Content of the directories :data foldervideos_test.zip: 8060 processed videos  used for testingvideos_val.zip: 4376 processed videos used for validationopenpose_zips.zip: one zip for each  of the 1230 original video (before segmentation and cropping), containing the openpose keypoints for each framemediapipe1.zip, mediapipe2.zip, mediapipe3.zip : one zip for each  of the 50084 processed video, containing the Mediapipe Holistic keypoints for each framei3d.zip: 50084  .mat files containing the I3D descriptors for all videosvideoswin.zip: 50084 .npy files containing the Video-Swin features vectors for all processed videossign_segmentation.zip: 50084 files (one per video) containing the frontiers between signs as well as their probability. Code subtitles.csv:  50084 subtitles aligned with the video segmentsvocab.txt: a list of 3894 lemmatised nouns (common and proper) appearing at least 5 times in the subtitles of video segmentsinformation folderinfo_mediapirgb.csv : contains information about the videos : resolution, frame rate, duration, number of frames in each video segment and their localization in  train/dev/test sets
description: Mediapi-RGB est un corpus bilingue de Langue des Signes Française (LSF) et de français écrit sous forme de vidéos sous-titrées, accompagné de données complémentaires (diverses représentations, segmentation, vocabulaire, etc.). Il peut être utilisé pour la recherche académique pour de nombreuses tâches, telles que l'entraînement ou l'évaluation de modèles d'extraction, de reconnaissance ou de traduction de LS. Pour constituer ce corpus, nous avons utilisé des vidéos de  Média'Pi!, un média en ligne bilingue avec du contenu de type journalistique en LSF sous-titré en français. Nous avons collecté 1230 vidéos datant de septembre 2017 à janvier 2022, représentant un total de 86h. En nous appuyant sur les sous-titres, nous avons segmenté temporellement les vidéos en 50084 segments vidéo. Nous avons aussi recadré automatiquement le signeur et harmonisé les segments en terme de taille (444x444) et de fréquence (25fps). Version 1 du dépôt :Dans cette première version, nous fournissons les extraits  vidéos des ensembles test et val, ceux de l'ensemble train, actuellement sous embargo, 
seront disponibles en 2025 (37651 vidéos). Nous fournissons de plus quatre types de données : 
OpenPose (calculées à partir des 1230 vidéos d'origine), Mediapipe Holistic, I3D et Video Swin Transformer (calculées à partir de chacune 
des 50084 extraits (ou segments) vidéos en utilisant des modèles entraînés sur la 
langue des signes britannique). Nous fournissons aussi les sous-titres 
en français, ainsi qu'une liste de  noms (communs et propres) lemmatisés
 apparaissant au moins 5 fois dans les sous-titres des extraits. Enfin, 
nous fournissons pour chaque segment vidéos les prédictions de 
frontières entre les signes.Répertoires et fichiers :Répertoire data - videos_test.zip : vidéos de l'ensemble de test  (8060 extraits vidéos)- videos_val.zip : vidéos de l'ensemble de validation (4373 extraits vidéos)- openpose_zips.zip : 1230 fichiers de points Openpose, (un fichier pour chaque frame, un zip pour chaque vidéo d'origine)- mediapipe1.zip, mediapipe2.zip, mediapipe3.zip : 50084 fichiers zip de points Mediapipe Holistic (un fichier pour chaque frame, un zip pour chaque extrait vidéo)- i3d.zip : 50084 fichiers .mat, chaque fichier contenant les descripteurs I3D pour chacun des extraits vidéo- videoswin.zip : 50084 fichiers .npy contenant les descripteurs Video-Swin pour chacun des extraits vidéos. - sign_segmentation.zip : 50084 fichiers, un par segment vidéo, 
contenant les prédictions de frontières entre les signes ainsi que leur 
probabilité. Code utilisé.- subtitles.csv : 50084 sous-titres alignés avec les segments vidéos- vocab.txt : fichier de 3894 noms (communs et propres) lemmatisés apparaissant au moins 5 fois dans les sous-titres des segments vidéosRépertoire information- info_mediapirgb.csv : contient les informations de résolution, fréquence d'image, durée, nombre de frames de chaque segment vidéo, ainsi qu'une répartition des segments en train/dev/test