# Projet AutoCuedSpeech, Livrable WP1 - L3: Transitions des positions et des configurations de la main des clés LfPC

Brigitte Bigi

► To cite this version:

Brigitte Bigi. Projet AutoCuedSpeech, Livrable WP1 - L3: Transitions des positions et des configurations de la main des clés LfPC. WP1-L3, FIRAH. 2024. hal-04749468v2

HAL Id: hal-04749468

https://hal.science/hal-04749468v2

Submitted on 6 Nov 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
# Automatic Cued Speech / LfPC automatisée

<figure><img src="image_1.png" /></figure>

La réalité augmentée au service des personnes sourdes

## Livrable WP1 - L3 : Transitions des clés

### Contexte et objectifs

#### Description du corpus

CLeLfPC - Corpus de Lecture en LfPC, contient des enregistrements audio/vidéo de lecture à voix haute en codant en Langue française Parlée Complétée. Le corpus a été enregistré en août 2021 à l'occasion du stage organisé par l'ALPC (https://alpc.asso.fr/).

Le corpus est constitué des enregistrements de 25 thèmes par 23 participants. Une série de 10 thèmes de lecture avait été établie, elle peut être consultée à cette adresse : https://sppas.org/LFPC/.

Chacun des 10 thèmes est constitué de 4 sessions distinctes :

1. enregistrement audio/vidéo de 32 syllabes "CV" isolées (1 seule clé produite pour chaque syllabe),

2. enregistrement audio/vidéo de 32 mots ou expressions,

3. enregistrement audio/vidéo de phrases isolées,

4. enregistrement audio/vidéo d'un texte.

#### Objectif

Le corpus doit être enrichi d'annotations pour être exploité dans le cadre de ce projet. Ce livrable concerne l'*annotation des transitions des clés*. Nous avons analysé les moments où les clés, produites par les locuteurs du corpus, se déplacent.

Les transitions de clés de 5 thèmes ont été annotées manuellement.

### En savoir plus...

* Fiche technique du corpus

* Accès aux données
# Enregistrements annotés

Ci-dessous, voici la liste des enregistrements pour lesquels nous disposons des transitions de clés :

* 01_CH_dd640f, Thème 1, femme, droitière, codage main droite, codeuse professionnelle

* 02_VT_dd640f, Thème 2, femme, droitière, codage main droite, codeuse professionnelle

* 03_AM_dd630f, Thème 3, femme, droitière, codage main droite, codeuse professionnelle

* 05_ML_gg540f, Thème 5, femme, gauchère, codage main gauche

* 09_LM_gd640f, Thème 9, femme, droitière, codage main gauche, codeuse professionnelle

Les fichiers (audios, vidéos, annotations) sont déposés sous les termes de la licence publique CC-By-NC-4.0. Ils peuvent être téléchargés à partir de la version 10 du dépôt https://www.ortolang.fr/ par tout membre d'un Etablissement Supérieur de la Recherche. Pour toute autre demande, envoyer un e-mail à brigitte.bigi[.at.]cnrs.fr.

# Description des étapes réalisées pour obtenir les annotations

## Annotations automatiques avec SPPAS

Le système de génération automatique des clés LfPC implémenté dans SPPAS a été utilisé pour générer automatiquement les annotations.

Ce système a utilisé les clés corrigées manuellement (c.f. WP1-L2) et a généré les moments supposés de transitions de clés. La figure ci-dessous illustre, entre-autre, ces entrées et sorties du système.

<figure><img src="image_2.png" /><figcaption>Extrait d'annotations des transitions des clés. Capture d'écran SPPAS 4.22</figcaption></figure>

La figure illustre les lignes d'annotations temporelles suivantes :

1. alignement temporel des phonèmes

2. alignement temporel des mots

3. segmentation en clé des phonèmes après correction manuelle

4. code des clés après correction manuelle

5. structure des clés après correction manuelle

6. moments de transition des configurations de la main, générés automatiquement

7. moments de transition des positions, générés automatiquement
## Corrections manuelles avec l'éditeur de SPPAS

Pour corriger les lignes des annotations automatiques, il a fallu visionner les vidéos image-par-image (avec 60 images par seconde) en comparant les annotations des moments de mouvements obtenues automatiquement à celui qui est effectivement réalisé par le locuteur de chaque vidéo. Ce travail étant extrêmement fastidieux et extrêmement chronophage, il n'a pu être réalisé que sur une partie des données.

Cette annotation n'a été possible que grâce à l'utilisation de l'éditeur de SPPAS, dont un module a été spécifiquement développé à cette occasion (diffusé depuis la version 4.12). La figure suivante montre cette version, avec notamment une fenêtre qui contient 3 images consécutives de la vidéo ainsi que la ligne d'annotation qui est en cours d'analyse.

<figure><img src="image_3.png" /><figcaption>Edition d'annotation des transitions des clés. Capture d'écran SPPAS 4.22</figcaption></figure>

## Limitations

Les annotations qui ont été produites n'ont pas été contre-codées, c'est-à-dire qu'elles n'ont pas été vérifiées par une seconde personne. Elles sont donc susceptibles de contenir des erreurs (oublis, fautes de frappes, imprécisions, etc) inhérentes à toute annotation manuelle.
# Contributeurs

Annotation du corpus : Léa Delaporte (juillet/août 2024)

Développement logiciel : Audric Vachet, Brigitte Bigi (avril/août 2023)

## À propos

* Rédaction du document : Brigitte Bigi

* Licence du document : GNU documentation libre - FDL 1.3

* URL de ce document : https://auto-cuedspeech.org/wp113.html

* Dernière mise à jour : octobre 2024

FIRAH

RECHERCHE
APPLIQUÉE SUR
LE HANDICAP

<figure><img src="image_4.png" /></figure>

APPLIED
DISABILITY
RESEARCH

Projet financé par la FIRAH (2023-2026)

<figure><img src="image_5.png" /></figure>

PAROLE ET
LANGAGE

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

Copyright © Brigitte Bigi, CNRS 2023-2024