# Projet AutoCuedSpeech, Livrable WP3 - L2: Analyse des moments de transition de positions

Brigitte Bigi

► To cite this version:

Brigitte Bigi. Projet AutoCuedSpeech, Livrable WP3 - L2: Analyse des moments de transition de positions. WP3-L2, FIRAH. 2025. hal-04948382

HAL Id: hal-04948382

https://hal.science/hal-04948382v1

Submitted on 14 Feb 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
# Automatic Cued Speech / LfPC automatisée

<figure><img src="image_1.png" /></figure>

La réalité augmentée au service des personnes sourdes

## Livrable WP3 - L2 : Analyse des moments de transition de positions

### Objectif

Dans le cadre de la création d'un système de génération automatique du codage, la deuxième étape requise consiste à déterminer les moments de transitions à partir de la séquence des clés qui ont été définies à partie des phonèmes prononcés. Ce livrable porte sur l'étude des moments de transition de positions observés dans les annotations du corpus CLeLfPC. Cette étude porte sur le phasage main-sons des clés, c'est-à-dire la désynchronisation entre la position de la main et la réalisation acoustique correspondante.

Pour plus d'information sur les annotations réalisées, voir le livrable WP1 -L3 de ce projet. Pour rappel, les transitions de position des quatre sessions de cinq locutrices ont été annotées manuellement.

### Introduction

Ce document fait suite au livrable "WP3 - L1 : Système prédictif des moments de transition de positions", dans lequel les résultats de l'état de l'art sont rapportés, et les modèles de génération automatiques sont décrits.

Ce document ne traite que des positions de la main des clés pour représenter les voyelles ; il ne porte pas sur leurs formes. Il présente les résultats de l'analyse des annotations manuellement réalisées sur le corpus CLeLfPC, décrites dans le livrable WP1 - L3 : Transitions des clés de ce projet.

Dans la suite de ce document, nous utiliserons la terminologie introduite dans les travaux de la thèse (Attina, 2005) :

- A1 représente le début de la consonne de la clé

- A3 représente la fin de la voyelle de la clé
* A1A3 désigne la durée de l'intervalle entre les moments A1 et A3, donc la durée des phonèmes prononcés pour la clé

* M1 correspond au début de la transition manuelle vers la position cible

* M2 correspond à l'atteinte de cette cible, donc à la fin de la transition manuelle

* M1M2 représente la durée de la transition de position qui mène à la clé

Dans ce document, nous présentons les distributions statistiques des intervalles A1A3, M1M2, M1A1 et A1M2. Les moyennes de durée (μ), et les écarts-types (σ) indiqués entre parenthèses, que nous avons estimés sur les annotations de CleLfPC, sont indiquées en milliseconde.

Dans la suite de ce document, la lettre 'C' fait mention de la consonne d'une clé, et la lettre 'V' de sa voyelle acoustique. Les clés LfPC ont ainsi des structures acoustiques notées 'C', 'V' ou 'CV'. Enfin, les transitions de la position 's', à côté du visage, vers elle-même ont été exclues lors de l'annotation, donc de cette étude.

Aller directement à la conclusion...

# Résultats par rapport à l'état de l'art

Contrairement à Aboutabit (2008), nos données ont été annotées manuellement, à l'instar de la méthodologie employée par Attina (2005), et réalisées par une seule personne suivant une procédure rigoureuse et systématique, garantissant ainsi une grande cohérence dans l'annotation.

En effectuant un filtrage des transitions annotées dans CLeLfPC selon les mêmes critères que ceux employés dans la thèse de N. Aboutabit (2008), nous avons obtenu un sous-ensemble de 248 transitions. Pour rappel, les résultats de N. Aboutabit portaient sur 57 transitions. Les moyennes de durée (μ), et les écarts-types (σ) indiqués entre parenthèses, que nous avons estimés sur ce sous-ensemble sont les suivants :

* A1A3 : 295,59 (100,38)

* M1M2 : 223,03 (85,47)

* M1A1 : 156,29 (152,8), soit 52,89% de A1A3

* A1M2 : 66,79 (156,87), soit 22,6% de A1A3

Nos résultats montrent une forte concordance avec ceux de Aboutabit (2008) en ce qui concerne les moyennes de durée des transitions. Toutefois, il convient de noter que les écarts-types observés dans notre corpus sont significativement plus élevés. Cette augmentation de la variabilité peut s'expliquer par la diversité accrue des données de notre étude : cinq locuteurs différents lisant cinq thèmes distincts et quatre sessions d'enregistrement, ce qui contraste avec le corpus plus homogène des résultats antérieurs.

Un écart particulier est observable pour l'intervalle A1M2, avec un pourcentage de 22,6% relativement proche des 22,98% obtenus par N. Aboutabit, mais supérieur aux valeurs rapportées dans Attina (2005), qui variaient entre 6 et 18% selon les locuteurs.

Par ailleurs, nous observons une variabilité importante de l'intervalle M1A1, ce qui rejoint les tendances déjà relevées dans l'étude de Aboutabit (2008). Cet intervalle semble particulièrement sensible aux variations inter-locuteurs et au contexte linguistique environnant (succession de syllabes simples et complexes). La cohérence entre nos résultats et ceux de Aboutabit (2008) conforte l'idée que M2 constitue un instant clé dans la synchronisation main-son en LfPC, marquant l'instant où la configuration de la main est stabilisée, ce qui est essentiel pour la perception correcte des consonnes.

En conclusion, notre analyse valide en grande partie les observations antérieures tout en mettant en évidence une variabilité accrue due à la richesse de notre corpus.

# Distributions des transitions de clés, hors neutre
## Résultat global

En élargissant l'analyse à toutes les structures sans sélection de phonèmes spécifiques, nous obtenons 2795 transitions. Les résultats sont les suivants, après exclusion des transitions vers et depuis la position neutre :

* A1A3 : 241,49 (102,3)

* M1M2 : 241,82 (101,59)

* M1A1 : 235,73 (155,23), soit 97,62% de A1A3

* A1M2 : 6,08 (140,97), soit 2,52% de A1A3

Dans l'absolu, ces résultats montrent que les durées des transitions de la main sont homogènes avec la durée articulaire. L'intervalle M1A1 présente une durée très proche de celle de A1A3, ce qui indique que la majorité du mouvement de la main se produit avant l'instant A1. Avec la durée très courte de l'intervalle A1M2 (6,08 ms en moyenne), on constate ainsi une transition vers la position cible quasiment achevée au moment A1, début de la réalisation acoustique.

Comparés aux résultats précédents, qui se limitaient aux syllabes 'CV' d'un ensemble restreint de phonèmes, ces nouveaux résultats révèlent des différences notables. Les durées moyennes des intervalles A1A3 et M1M2 sont plus courtes que celles observées dans l'analyse des seules syllabes 'CV'. On observe également que la durée du mouvement (M1M2) est désormais équivalente à la durée acoustique (A1A3), alors que dans les analyses précédentes, elle était nettement inférieure. De plus, ces résultats indiquent que la main atteint la position cible quasiment au début de la réalisation acoustique, tandis que les résultats antérieurs suggéraient une arrivée en cours d'émission (entre 9 % et 22 % de la durée de A1A3). Comparé au système proposé dans (Duchnowski et al., 2000), dans lequel M1M2 dure 150ms et M1A1 250ms, nos résultats sont relativement cohérents avec la position du point M1.

## Résultat par structure de clé

Les transitions des positions de la main ont été analysées en distinguant trois sous-ensembles :

* Clés 'C' : Elles apparaissent dans des syllabes phonétiques complexes, où elles correspondent aux premières consonnes. Exemples en CCV : [gre] (mot gré), [kle] (mot clé), [spe] (mot spé). Exemples en CCCV : [stri], [skle].

* Clés 'V' : Elles correspondent à des syllabes ne contenant que le noyau vocalique, sans consonne d'attaque. Exemples : [a] (mot à), [9~] (mot un), [y] (mot où).

* Clés 'CV' : Elles comprennent une consonne suivie d'une voyelle, formant une syllabe ouverte classique.

### Transitions vers une clé 'C'

Dans cette catégorie, il est à noter qu'une seule position est concernée : la position 's', sur le côté du visage. Dans notre corpus, 520 transitions sont annotées et permettent d'obtenir les résultats suivants :

* A1A3 : 152,17 (81,71)

* M1M2 : 198,39 (83,15)

* M1A1 : 241,99 (130,17), soit 159,03% de A1A3

* A1M2 : -43,61 (130,23), soit -28,66% de A1A3

L'intervalle M1M2 est significativement plus long que A1A3, ce qui signifie une latence plus importante entre le mouvement initial de la main et l'instant où elle atteint sa position cible. L'intervalle M1M2 dépasse largement A1A3, indiquant que le mouvement de transition de la main prend plus de temps que le mouvement articulaire. Le résultat négatif de A1M2 signifie que la main est arrivée à sa position bien avant que le mouvement articulaire ne commence.
Ces résultats suggèrent que les codeurs montrent une très forte anticipation du mouvement de main lorsque des structures syllabiques complexes (type CCV, CCCV) sont prononcées.

## Transitions vers une clé 'V'

Dans cette catégorie, 216 transitions ont été analysées pour obtenir les résultats suivants :

* A1A3 : 165,1 (55,47)

* M1M2 : 294,04 (120.08)

* M1A1 : 393,09 (154,0), soit 238,09% de A1A3

* A1M2 : -99,07 ms (107,05), soit -60,01% de A1A3

On observe une forte augmentation de la durée de M1M2 comparativement à A1A3, ainsi qu'une très grande anticipation du mouvement. M1A1 représente en effet 238.09% de A1A3, ce qui montre que les transitions prennent beaucoup de temps. Comme pour les structures 'C', l'intervalle A1M2, est également négatif, donc la main est arrivée à sa position longtemps avant que le mouvement articulatoire de la voyelle ne commence.

## Transitions vers une clé 'CV'

Dans cette catégorie, 2055 transitions ont été analysées pour obtenir les résultats suivants :

* A1A3 : 271,73 (92.6)

* M1M2 : 247,3 (99.79)

* M1A1 : 217,76 (151.86), soit 80,14% de A1A3

* A1M2 : 29,55 (138.42), soit 10,87% de A1A3

Dans les analyses précédentes, l'intervalle M1A1 variait entre 53 % et 65 % de A1A3 dans les travaux de V. Attina (2005) et de N. Aboutabit (2008) ; et il atteignait 53 % dans nos résultats portant sur la même sélection de phonèmes. Ici, cette proportion est significativement plus élevée, atteignant 80 %, ce qui indique **une anticipation plus marquée** de la main dans le cas général.

La durée de M1M2 représente 91 % de celle de A1A3, une valeur également supérieure aux 75 % observés dans nos résultats sur la sélection de phonèmes. Comme dans la thèse de V. Attina, nous voyons que la main atteint la position cible après le début de la réalisation acoustique de la consonne, représentant 11 % de la durée des clés de structure 'CV'.

## Discussion

L'analyse de ces transitions montre des variations significatives selon la structure de la clé, indiquant un fort impact sur la synchronisation main-son. Les clés de structure 'C' et 'V', qui ne contiennent qu'un seul phonème, entraînent une anticipation de la transition de la position de la main nettement plus marquée. Les clés de structure 'CV', constituées de deux phonèmes, montrent des transitions plus proportionnelles à la durée acoustique, mais ils suggèrent une anticipation et une durée plus marquées que dans les résultats antérieurs. En outre, nos résultats indiquent également des écart-types assez importants, montrant ainsi une forte variabilité de ce phénomène d'anticipation de la main sur les sons.

## Résultat par session

### Session 'mots et expressions'

Pour rappel, cette session correspond à des enregistrements de lecture de mots et d'expressions isolés. C'est-à-dire avec un retour à la position neutre entre chacun d'entre-eux. La consigne donnée au codeur était de coder comme s'il s'agissait de "montrer le code", de le "faire apprendre à quelqu'un".
Pour cette condition, notre corpus contient 548 transitions :

* A1A3 : 285,14 (115.9)

* M1M2 : 279,43 (107.73)

* M1A1 : 235,8 (142,82), soit 82,7% de A1A3

* A1M2 : 43,65 (129,53), soit 15,31% de A1A3

On remarque ici l'écart-type très important pour chacune des moyennes estimées. On note également que la durée de la transition M1M2 est légèrement supérieure à celle de la durée de la réalisation acoustique, contrairement au cas général. Cette différence se rapporte essentiellement sur un léger décalage de la position M2 avec une arrivée légèrement retardée, la position M1 n'étant que peu différente du cas général.

## Session 'phrases'

Pour rappel, la session "phrases" concernait l'enregistrement de phrases séparées. C'est-à-dire avec un retour à la position neutre entre chacune d'entre-elles. La consigne était de coder de manière aussi naturelle que possible, malgré la situation de lecture.

Dans CLeLfPC, 1031 transitions ont été annotées :

* A1A3 : 242,58 (96,45)

* M1M2 : 241,59 (98.41)

* M1A1 : 233,02 (155.11), soit 96,06% de A1A3

* A1M2 : 8,58 (137.76), soit 3,54% de A1A3

On constate ici une durée identique entre la réalisation acoustique et la transition de la main, essentiellement due au fait que la réalisation acoustique est plus courte. Par rapport au cas général, le début de la transition est nettement anticipée, tandis que l'arrivée à la position n'est que très peu de temps après le début de la réalisation acoustique.

## Session 'texte'

Cette session portait sur l'enregistrement d'un texte complet, affiché à l'écran par blocs de phrases. La consigne était identique à celle des phrases isolées : lire et coder le plus naturellement possible. Le corpus contient 1216 transitions pour cette session :

* A1A3 : 220,89 (94.05)

* M1M2 : 225,07 (96.86)

* M1A1 : 238,0 (160.69), soit 107,75% de A1A3

* A1M2 : -12,96 (145.09), soit -5,87% de A1A3

On observe que la réalisation acoustique est encore plus courte ici avec une moyenne à 220 millisecondes. Comme précédemment pour les phrases, on a ici une durée de transition égale à la durée de la réalisation acoustique. Encore plus que pour les phrases, le début de la transition est nettement anticipé, et ici, l'arrivée au point cible s'effectue avant la réalisation acoustique.

## Discussion

Ces résultats montrent un effet intéressant de la consigne sur l'anticipation de la position de la main. En particulier, lorsque la consigne consiste à montrer le code dans un but pédagogique, l'arrivée de la transition est décalée : elle est nettement retardée par rapport à un codage effectué de façon plus naturelle.
## Par locuteur

<table><thead><tr><th rowspan="2">Codeur :</th><th colspan="2">CH</th><th colspan="2">VT</th><th colspan="2">AM</th><th colspan="2">ML</th><th colspan="2">LM</th></tr><tr><th>N</th><th>μ (σ)</th><th>N</th><th>μ (σ)</th><th>N</th><th>μ (σ)</th><th>N</th><th>μ (σ)</th><th>N</th><th>μ (σ)</th></tr></thead><tbody><tr><td>A1A3</td><td>466</td><td>227,95<br>(97,3)</td><td>611</td><td>233,31<br>(98,05)</td><td>517</td><td>238,35<br>(98,07)</td><td>606</td><td>292,32<br>(111,77)</td><td>595</td><td>211,45<br>(84,25)</td></tr><tr><td>M1M2</td><td>466</td><td>212,07<br>(98,03)</td><td>611</td><td>202,91<br>(73,38)</td><td>517</td><td>265,92<br>(108,85)</td><td>606</td><td>303,38<br>(107,98)</td><td>595</td><td>221,45<br>(79,3)</td></tr><tr><td>M1A1</td><td>466</td><td>212,52<br>(152,06)<br>93,23%<br>de A1A3</td><td>611</td><td>200,98<br>(116,67)<br>86,14%<br>de<br>A1A3</td><td>517</td><td>275,16<br>(173,4)<br>115,44%<br>de A1A3</td><td>606</td><td>241,84<br>(175,07)<br>82,73%<br>de A1A3</td><td>595</td><td>249,12<br>(143,84)<br>117,82%<br>de A1A3</td></tr><tr><td>A1M2</td><td>466</td><td>-0,47<br>(135,94)<br>-0,21%<br>de A1A3</td><td>611</td><td>1,95<br>(118,11)<br>0,83%<br>de<br>A1A3</td><td>517</td><td>-9,24<br>(154,03)<br>-3,88%<br>de A1A3</td><td>606</td><td>61,54<br>(146,32)<br>21,05%<br>de A1A3</td><td>595</td><td>-27,7<br>(133,14)<br>-13,1%<br>de A1A3</td></tr></tbody></table>

Le rapport M1A1/A1A3 est en général proche de 100% (à plus ou moins 18%), indiquant que la durée de la transition manuelle est alignée celle de l'unité acoustique. Cependant, on observe des variations selon les codeurs :

* Pour ML, M1A1 ne représente que 82,73% de A1A3, ce qui indique une transition manuelle plus rapide que la durée de la production phonétique.

* A contrario, chez AM et LM, M1A1 est supérieur à A1A3 (115 et 118% respectivement), indiquant une transition plus lente que la durée de la production phonétique.

La valeur A1M2, qui traduit le temps restant de la transition manuelle pour atteindre la cible par rapport au début de la production acoustique, est assez différente selon les codeurs :

* Chez LM, A1M2 est fortement négatif (-27,7 ms, soit -13,1% de A1A3), donc une arrivée très anticipée à la position de la clé.

* Chez CH et AM, A1M2 est également négatif (-0,47 ms et -9,24 ms), donc le mouvement manuel anticipe également l'acoustique.

* Chez ML, A1M2 atteint 61,54 ms, soit 21,05% de A1A3, indiquant une transition qui termine pendant la production sonore.

Les durées des transitions manuelles M1M2 sont globalement proches des durées acoustiques A1A3, avec une variabilité légèrement supérieure. Les codeurs diffèrent dans leurs stratégies : certains réduisent la durée de transition (M1M2 < A1A3), d'autres prolongent la durée de la transition manuelle (M1M2 > A1A3). Les transitions sont parfois terminées avant le début de l'articulation (A1M2 négatif), et parfois pendant, suggérant une coordination flexible entre le mouvement et la parole. Les valeurs de M1A1 élevées indiquent des différences inter-codeurs notables dans l'anticipation du mouvement. Par ailleurs, un écart-type faible chez un codeur signifie qu'il est cohérent avec lui-même, alors qu'un écart-type élevé indique une plus grande flexibilité ou incohérence selon le contexte. Dans ces résultats, VT et LM semblent être les plus stables, tandis qu'AM et ML présentent plus de variabilité.

Cette analyse montre qu'il existe des stratégies individuelles dans la synchronisation entre transitions de position et parole, montrant la grande flexibilité du codage en LfPC.
# Distributions des transitions de clés, depuis et vers la position neutre

## Première clé : depuis neutre vers une position du visage

Nous obtenons 439 transitions observées dans les données annotées :

* A1A3 : 292,74 (119,34)

* M1M2 : 436,91 (174,28)

* M1A1 : 466,55 (179,52), soit 159,37% de A1A3

* A1M2 : -29,64 (165,72), soit -10,13% de A1A3

Les durées des clés dans ce sous-ensemble sont significativement plus longues que la moyenne. On observe une augmentation de 21,4% pour la durée acoustique (A1A3) par rapport au cas général des clés en contexte. Le mouvement de la main est largement allongé : M1M2 est 80,7% plus long que dans les cas précédents, indiquant une transition plus longue. On constate également une anticipation extrême du mouvement : M1 commence bien avant A1, et la main atteint sa position avant le début de la parole. La main est donc dissociée de son contexte acoustique en se déplaçant pendant le silence qui précède la parole. Cette transition montre un schéma de production plus préparé et moins simultané, avec une hiérarchisation forte entre la mise en place de la main et l'articulation.

## Dernière clé : depuis une position du visage vers neutre

Pour cette transition, il n'y a pas de son prononcé, seulement un déplacement de la main vers la position neutre. A1 représente donc le début du silence. Nous obtenons 442 transitions observées dans les données annotées :

* M1M2 : 401,78 (152,16)

* M1A1 : -31,34 (452,81)

* A1M2 : 433,13 (461,57)

La durée de la transition vers la position neutre (M1M2) est assez longue, comparée à celle des autres transitions vers les positions du visage, mais reste dans un ordre de grandeur similaire à la transition du neutre vers la première position de la main. Le mouvement de la main est légèrement anticipé, comme l'indique la valeur négative de M1A1. Cependant, l'écart-type particulièrement élevé montre une variabilité importante dans l'amorce de cette transition. Ces résultats indiquent que les mouvements vers la position neutre sont beaucoup plus variables et anticipés que les autres transitions où des phonèmes sont prononcés. Ceci s'explique probablement par une moindre contrainte temporelle dans ce contexte particulier où aucun son n'est prononcé.

## Cas de la 2e clé d'un énoncé

Dans le système expert que nous avons conçu et implémenté dans SPPAS 4.22, nous avions émis l'hypothèse que les 2 premières clés après un silence étaient plus anticipées que dans le cas général. Nous avons implémenté une anticipation progressivement dégressive de la position M1. Les résultats de la section précédente permettent de confirmer qu'effectivement la première clé est largement anticipée.

Nous obtenons les moyennes suivantes pour les 236 occurrences de transitions vers la deuxième clé :

* A1A3 : 262,6 (113,83)

* M1M2 : 251,81 (106,45)

* M1A1 : 253,72 (139,98), soit 96,62% de A1A3
* A1M2 : -1,89 (134,94), soit -0,72% de A1A3

Nous obtenons les moyennes suivantes pour les 2559 autres transitions de clés (depuis et vers neutre exclues) :

* A1A3 : 239,54 (100,97)

* M1M2 : 240,9 (101,11)

* M1A1 : 234,08 (156,48), soit 97,72% de A1A3

* A1M2 : 6,82 (141,51), soit 2,85% de A1A3

Au sein d'un énoncé, la durée acoustique de la deuxième clé est plus courte que celle de la première, mais reste supérieure à celle des clés suivantes. Cela indique une accélération progressive de la prononciation des sons formant les clés après un silence initial. Concernant le mouvement de la main, on observe une évolution marquée. Pour la première clé, la durée de transition M1M2 était nettement plus longue que la durée acoustique A1A3. Pour la deuxième clé, cette différence s'atténue : la durée de M1M2 devient légèrement inférieure à celle de A1A3. Ensuite, pour les clés suivantes, M1M2 et A1A3 tendent à s'équilibrer. Ce phénomène suggère que le mouvement de la main, d'abord très préparé avant la première clé, s'adapte rapidement au rythme global de l'énoncé. En ce qui concerne le point M1, son anticipation reste constante entre la deuxième clé et les suivantes, représentant environ 97% de A1A3. Cela indique que, dès la deuxième clé, le schéma d'anticipation de la main se stabilise et devient similaire à celui du reste de l'énoncé. Enfin, pour la première clé, la main arrive en place avant même le début de l'articulation. Pour la deuxième, elle atteint sa position quasiment en même temps que la production acoustique. Ensuite, pour les clés suivantes, l'arrivée de la main se produit après le début de l'articulation.

Ces résultats confirment l'hypothèse initiale selon laquelle les premières clés d'un énoncé sont plus anticipées que les suivantes. La première clé est marquée par une forte anticipation gestuelle et une durée acoustique plus longue. Dès la deuxième clé, on observe une transition vers un rythme plus fluide. Le mouvement manuel s'intègre progressivement à l'enchaînement des clés, stabilisant son schéma d'anticipation et réduisant son avance sur l'articulation. Cela souligne un ajustement progressif, mais rapide, du timing moteur et acoustique, visant une synchronisation optimisée à mesure que l'énoncé se développe.

## Rapport entre distance et temps

La question que nous nous posons ici est de savoir si l'on observe des différences de temps de transition lorsque l'on reste sur la même position par rapport à un changement. Cette étude exclut les transitions depuis et vers la position neutre, déjà présentée dans une section précédente.

Nous disposons de 237 cas dans lesquels la position de la main reste inchangée :

* A1A3 : 257,05 (89,09)

* M1M2 : 265,95 (126,77)

* M1A1 : 228,9 (200,05), soit 89,05% de A1A3

* A1M2 : 37,02 (159,07), soit 14,4% de A1A3

Il y a ainsi 2558 transitions vers une position différente :

* A1A3 : 240,05 (103,33)

* M1M2 : 239,58 (98,67)

* M1A1 : 236,37 (150,44), soit 98,47% de A1A3

* A1M2 : 3,22 (138,86), soit 1,34% de A1A3
L'analyse de ces transitions met en évidence une différence notable entre les cas où la position de la main reste identique et ceux où elle change. Toutefois, cette différence ne se manifeste pas dans la durée du mouvement de la main M1M2, qui reste globalement équivalente à la durée acoustique A1A3 dans les deux situations.

Ces résultats montrent que lorsqu'une clé est réalisée sans changer de position, le mouvement manuel est moins anticipé et se termine plus tard après l'articulation. Cela peut s'expliquer par le fait qu'aucune correction spatiale importante n'est nécessaire (simplement un va-et-vient), permettant une plus grande flexibilité temporelle. En revanche, lorsque la position change, l'anticipation du mouvement est plus marquée, probablement pour assurer une bonne coordination entre la main et la parole.

## Algorithme de synchronisation : position de la main-son

Les résultats présentés dans les sections précédentes permettent d'établir un modèle de synchronisation entre la parole (instants A1 et A3) et la transition de la main vers la position cible (instants M1 et M2). Ce modèle peut être mis en œuvre à l'aide de l'algorithme suivant, implémenté dans SPPAS 4.24 :

```
if from_neutral:
    m1 = a1 - (a3a1 * 1.60)
    m2 = a1 - (a3a1 * 0.10)
elif to_neutral:
    m1 = a1 - 0.03
    m2 = m1 + 0.37
else:
    if 'C':
        m1 = a1 - (a3a1 * 1.60)
        m2 = a1 - (a3a1 * 0.30)
elif 'V':
    m1 = a1 - (a3a1 * 2.40)
    m2 = a1 - (a3a1 * 0.60)
else:
    m1 = a1 - (a3a1 * 0.80)
    if 2nd_key:
        m2 = a1
    else:
        m2 = a1 + (a3a1 * 0.11)
```

## Conclusion

Les résultats obtenus soutiennent l'hypothèse selon laquelle les premières clés d'un énoncé sont anticipées plus fortement que les suivantes. La première clé se distingue par une anticipation marquée de la main et une durée acoustique prolongée. À partir de la deuxième clé, une transition vers un rythme plus fluide est observée, avec une intégration progressive des mouvements de la main dans la séquence des clés. Cela entraîne une stabilisation du schéma d'anticipation et une réduction de l'avance sur l'articulation. Ces résultats mettent en évidence un ajustement rapide mais progressif du timing moteur et acoustique, optimisant la synchronisation au fil de l'énonciation.

L'analyse a également révélé que la synchronisation main-son varie considérablement en fonction de la structure des clés. Les clés 'C' ou 'V' présentent une anticipation de la position de la main plus marquée que les clés 'CV'. Les résultats indiquent des durées plus longues et une anticipation plus importante que dans les études précédentes. L'ensemble des résultats montre de fortes déviations standard, révélant une grande variabilité dans l'anticipation de la main.

L'analyse a mis en évidence des stratégies individuelles dans la coordination des transitions de position de positions. Certains codeurs raccourcissent la transition (M1M2 < A1A3), tandis que d'autres l'allongent (M1M2 > A1A3). Les transitions peuvent débuter avant ou pendant l'articulation.
Une différence apparaît également entre les transitions où la position de la main reste inchangée et celles nécessitant un déplacement. Dans le premier cas, le mouvement de la main est moins anticipé et se termine plus tard après l'articulation. À l'inverse, lorsqu'un changement de position est requis, l'anticipation du mouvement augmente pour assurer une meilleure coordination main-parole. Toutefois, la durée du mouvement (M1M2) reste similaire à celle de l'articulation (A1A3) dans les deux situations.

L'étude a également examiné l'effet des consignes données aux codeurs. Lorsqu'ils devaient « démontrer le code à un apprenant », la durée d'articulation (A1A3) était plus longue, avec une plus grande variabilité et une transition M1M2 légèrement prolongée. En revanche, lorsqu'ils devaient « coder naturellement », l'articulation était plus courte et la transition M1M2 coïncidait avec A1A3, débutant plus tôt pour atteindre la position cible avant l'articulation. Ces résultats montrent que l'anticipation de la main est influencée par l'objectif pédagogique du codage.

L'ensemble de ces résultats illustre la flexibilité élevée du codage en LfPC.

## Références bibliographiques

Paul Duchnowski, David S. Lum, Jean C. Krause, Matthew G. Sexton, Maroula S. Bratakos, and Louis D. Braida (2000). *Development of Speechreading Supplements Based in Automatic Speech Recognition*. IEEE Transactions on Biomedical Engineering, vol. 47, no. 4, pp. 487-496. doi: 10.1109/10.828148.

Virginie Attina Dubesset (2005). *La langue française parlée complétée (LPC) : production et perception*. PhD Thesis of INPG Grenoble, France.

PDF

<figure><img src="image_2.png" /></figure>

Noureddine Aboutabit (2008). *Reconnaissance de la Langue Française Parlée Complétée (LPC) : décodage phonétique des gestes main-lèvres*. PhD Thesis of INPG Grenoble, France.

HAL

<figure><img src="image_3.png" /></figure>

Brigitte Bigi (2015). *SPPAS - MULTI-LINGUAL APPROACHES TO THE AUTOMATIC ANNOTATION OF SPEECH The Phonetician*. Journal of the International Society of Phonetic Sciences, Journal of ISPhS/International Society of Phonetic Sciences, 111-112 (ISSN:0741-6164), pp.54-69.

HAL

<figure><img src="image_4.png" /></figure>

## Contributeurs

**Annotation du corpus** : Léa Delaporte (juillet/août 2024)

**Développement logiciel & analyses** : Brigitte Bigi (LPL)
# À propos

* Rédaction du document : Brigitte Bigi

* Licence du document : GNU documentation libre - FDL 1.3

* URL de ce document : https://auto-cuedspeech.org/wp3l2.html

* Copyright 2025 Brigitte Bigi, CNRS, Laboratoire Parole et Langage, France

* Dernière mise à jour : 14 février 2025

FIRAH

RECHERCHE
APPLIQUÉE SUR
LE HANDICAP

APPLIED
DISABILITY
RESEARCH

Projet financé par la FIRAH (2023-2026)

<figure><img src="image_5.png" /></figure>

UNDR 2309 · CNRS · AMU
PAROLE ET
LANGAGE

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

Copyright © Brigitte Bigi, CNRS 2023-2024