# Automatic Cued Speech / LfPC automatisée

<figure><img src="image_1.png" /></figure>

## La réalité augmentée au service des personnes sourdes

## Livrable WP4 - L2 : Position des voyelles

### Introduction

#### Objectifs

Dans le cadre du développement d'un système de génération automatique du codage, la troisième étape consiste à modéliser la trajectoire de la main. Cette modélisation repose sur la prédiction de sa position, de son angle et de sa taille par rapport au visage du locuteur, image par image, dans la vidéo. Ce livrable porte sur l'étude de la position des voyelles et leur implémentation dans le système SPPAS.

#### Approche globale

Dans un premier temps, des experts ont défini les positions des voyelles en fonction d'un visage théorique. Ces positions ont ensuite été exprimées en fonction des 68 points de repère faciaux extraits grâce au système de détection *Face landmarks* de SPPAS.

Aucune variabilité n'a été introduite dans l'estimation de ces coordonnées. Lorsqu'une position doit être atteinte, l'extrémité du doigt cible (index ou majeur, selon la forme de la main) est directement assignée aux coordonnées préétablies dans l'image correspondante. De même, la taille de la main est toujours proportionnelle à la hauteur du visage et reste constante. La trajectoire suivie entre ces positions est une ligne droite à vitesse constante. En revanche, différents modèles d'angle ont été implémentés (voir WP4 - L1).

> Ce livrable analyse les coordonnées observées dans des données annotées et décrit les modèles proposés pas SPPAS.

### Nomenclatures
Dans ce document, les coordonnées dans le plan 2D sont exprimées selon les axes des abcisses x et ordonnées y, comme cela est conventionnellement fait dans une image :

<figure><img src="image_2.png" /></figure>

Le visage du locuteur est représenté par un ensemble de 68 points dont les coordonnées sont obtenues automatiquement avec SPPAS en utilisant successivement les annotations "Face detection", "Face Identity" et "Face landmarks", comme illustré ci-dessous :

<figure><img src="image_3.png" /><figcaption>Illustration de la détection du visage ("Face detection") et des points de repère faciaux ("Face landmarks").</figcaption></figure>

Dans la suite de ce document, nous utilisons la nomenclature suivante pour désigner les différentes positions des voyelles :

* pommette : "b" (cheekbone), voyelles : [2], [e~]

* menton : "c" (chin), voyelles : [E], [O], [u]

* bouche : "m" (mouth), voyelles : [i], [a~], [O~]

* côté du visage : (side), voyelles : [a], [@], [9], [o]

* gorge : (throat), voyelles : [y], [e], [9~]

Il est à noter que la position neutre, utilisée lorsque les codeurs ne parlent pas, ne fait pas partie de cette étude.

## Image de référence

Une image de référence d'un visage "neutre" a été créée afin d'y reporter les coordonnées observées, de les rendre comparables et de les analyser. Il s'agit d'une image de 1000x1000 pixels, sur laquelle sont placés les 68 points de repère du "Face landmarks". Ces coordonnées permettent de situer précisément les points de repère du visage, comme illustré ci-dessous :
<table><thead><tr><th>Index</th><th>x</th><th>y</th></tr></thead><tbody><tr><td>0</td><td>0</td><td>165</td></tr><tr><td>1</td><td>2</td><td>300</td></tr><tr><td>2</td><td>15</td><td>435</td></tr><tr><td>3</td><td>40</td><td>570</td></tr><tr><td>4</td><td>90</td><td>695</td></tr><tr><td>5</td><td>170</td><td>805</td></tr><tr><td>6</td><td>260</td><td>905</td></tr><tr><td>7</td><td>375</td><td>980</td></tr><tr><td>8</td><td>500</td><td>1000</td></tr><tr><td>9</td><td>625</td><td>980</td></tr><tr><td>10</td><td>760</td><td>905</td></tr><tr><td>11</td><td>830</td><td>805</td></tr><tr><td>12</td><td>910</td><td>695</td></tr><tr><td>13</td><td>960</td><td>570</td></tr><tr><td>14</td><td>985</td><td>435</td></tr><tr><td>15</td><td>998</td><td>300</td></tr><tr><td>16</td><td>1000</td><td>165</td></tr><tr><td>17</td><td>99</td><td>70</td></tr><tr><td>18</td><td>170</td><td>15</td></tr><tr><td>19</td><td>250</td><td>0</td></tr><tr><td>20</td><td>330</td><td>20</td></tr><tr><td>21</td><td>410</td><td>55</td></tr><tr><td>22</td><td>590</td><td>55</td></tr><tr><td>23</td><td>680</td><td>20</td></tr><tr><td>24</td><td>750</td><td>0</td></tr><tr><td>25</td><td>820</td><td>15</td></tr><tr><td>26</td><td>910</td><td>70</td></tr><tr><td>27</td><td>500</td><td>150</td></tr><tr><td>28</td><td>500</td><td>240</td></tr><tr><td>29</td><td>500</td><td>330</td></tr><tr><td>30</td><td>500</td><td>420</td></tr><tr><td>31</td><td>390</td><td>480</td></tr><tr><td>32</td><td>445</td><td>500</td></tr></tbody></table>

<figure><img src="image_4.png" /><figcaption>Représentation imagée des 68 points de repères faciaux utilisés dans SPPAS.</figcaption></figure>

Coordonnées (x,y) des 68 points de repère faciaux utilisés dans SPPAS.
<table><thead><tr><td>Index</td><td>x</td><td>y</td></tr></thead><tbody><tr><td>33</td><td>500</td><td>510</td></tr><tr><td>34</td><td>555</td><td>500</td></tr><tr><td>35</td><td>620</td><td>480</td></tr><tr><td>36</td><td>200</td><td>160</td></tr><tr><td>37</td><td>255</td><td>132</td></tr><tr><td>38</td><td>315</td><td>132</td></tr><tr><td>39</td><td>370</td><td>170</td></tr><tr><td>40</td><td>255</td><td>185</td></tr><tr><td>41</td><td>315</td><td>185</td></tr><tr><td>42</td><td>630</td><td>170</td></tr><tr><td>43</td><td>685</td><td>132</td></tr><tr><td>44</td><td>745</td><td>132</td></tr><tr><td>45</td><td>800</td><td>160</td></tr><tr><td>46</td><td>745</td><td>185</td></tr><tr><td>47</td><td>685</td><td>185</td></tr><tr><td>48</td><td>302</td><td>633</td></tr><tr><td>49</td><td>375</td><td>610</td></tr><tr><td>50</td><td>445</td><td>600</td></tr><tr><td>51</td><td>500</td><td>605</td></tr><tr><td>52</td><td>555</td><td>600</td></tr><tr><td>53</td><td>625</td><td>610</td></tr><tr><td>54</td><td>698</td><td>633</td></tr><tr><td>55</td><td>625</td><td>705</td></tr><tr><td>56</td><td>555</td><td>745</td></tr><tr><td>57</td><td>500</td><td>750</td></tr><tr><td>58</td><td>445</td><td>745</td></tr><tr><td>59</td><td>375</td><td>705</td></tr><tr><td>60</td><td>328</td><td>635</td></tr><tr><td>61</td><td>445</td><td>645</td></tr><tr><td>62</td><td>500</td><td>650</td></tr><tr><td>63</td><td>555</td><td>645</td></tr><tr><td>64</td><td>672</td><td>635</td></tr><tr><td>65</td><td>555</td><td>677</td></tr><tr><td>66</td><td>500</td><td>682</td></tr><tr><td>67</td><td>445</td><td>677</td></tr></tbody></table>
# Données utilisées pour l'étude

Pour plus d'informations sur les annotations effectuées, voir le livrable WP1 - L4 de ce projet. En résumé, les transitions de position des quatre sessions impliquant cinq locutrices-codeuses ont été annotées manuellement. De plus, pour chaque vidéo du corpus, nous avons automatiquement extrait :

1. les 68 points de référence du visage,

2. les 21 points de référence de la main (voir WP4 - L1).

## Etat de l'art

Dans la thèse de V. Attina (2005), le recueil du corpus a été effectué en collant des pastilles sur la main codeuse et sur le visage afin de servir de repères pour l'analyse des positions des voyelles. Nous reportons ci-après la figure représentant la capture et la figure obtenue pour l'analyse. Il est dit dans cette thèse : "Nous pouvons voir sur la Figure 55 les ellipses de dispersion des positions cibles pour les deux types de transition [#y] et [#a]. La position « côté » du [a], qui n'a pas de support fixe sur le visage, est beaucoup plus dispersée que la position « cou » du [y]."

<figure><img src="image_5.png" /><figcaption>Figure 19. Photo de la locutrice-codeuse lors de l'enregistrement avec les positions des pastilles colorées sur la main et sur le visage.</figcaption></figure>

<figure><img src="image_6.png" /><figcaption>Figure 55. Ellipses de dispersion à un écart-type des positions cibles spatiales « côté » codant le [a] et « cou » codant le [y] pour la codeuse GB dans les transitions [#y] et [#a]. Les positions ont été calculées à partir de la position de la pastille du dos de la main (référencée dans le repère sur la lunette) au moment d'atteinte de position cible M2. La position moyenne de la pastille est indiquée dans chaque ellipse par une croix « x ».</figcaption></figure>

Figures 19 page 107, et figure 55 page 176 de la thèse Attina (2005)

N. Aboutabit (2008) a étendu ce travail d'analyse des positions des voyelles dans le but de créer un système de classification automatique. Il a obtenu les positions illustrées par la figure que nous reportons ci-après (à noter : les positions correspondent à un codage de la main gauche), sans en effectuer d'analyse.

<figure><img src="image_7.png" /><figcaption>FIG. 6.2 – Ellipses de dispersion d'ordre 2 (écart type égal à 2) des différentes positions tracées à partir des coordonnées x et y de la pastille du doigt directeur pour les données issues de l'échantillon d'apprentissage.</figcaption></figure>

## Différents modèles des positions des voyelles

### Modèle 1 : positions théoriques
# Description

Les positions de ce modèle ont été établies en s'appuyant sur l'illustration des clés du code de l'ALPC ⚙️. Les positions des voyelles de cette illustration ont ensuite été reportées sur l'image du visage de référence. Nous avons ainsi obtenu les coordonnées des positions qui ont ensuite été exprimées relativement aux 68 points de repères faciaux. De cette manière, ces positions peuvent être justement estimées sur des visages de forme et de taille différentes de celle de référence.

Jusqu'à la version 4.24 de SPPAS, ces coordonnées correspondaient à celles du système prototype (c.f. article publié à la conférence JEP'24 ⚙️). Ces valeurs ont ensuite été vérifiées et ajustées, notamment pour la bouche, car les experts avaient noté des erreurs de placement dans les vidéos générées.

# Positions des voyelles

## Position 'm'

Cette position se situe près du coin de la bouche. Pour l'axe des abscisses (x), la distance entre le point cible et la bouche doit tenir compte de l'orientation gauche/droite du visage. Cela est fait en utilisant un point du bord du visage (x₄). Il faut aussi tenir compte de l'ouverture (largeur) de la bouche, ce qui est fait en utilisant le point le plus à droite (x₄₈). Pour les ordonnées, il faut simplement tenir compte de la position de la bouche dans le visage et de son ouverture (en hauteur), ce qui peut être fait avec un seul point (y₆₀).

$$ \bullet \quad x_m = x_{48} - | (x_{48} - x_4) / 4 | $$

$$ \bullet \quad y_m = y_{60} $$

## Position 'b'

Cette position est située sur la pommette. L'axe des abscisses (x) est calculé à partir d'un point du bord du visage (x₄) et du coin de l'oeil (x₃₆), pour garantir un positionnement stable en cas d'orientation gauche/droite du visage. L'axe des ordonnées (y) est basé sur les bords du visage pour éviter une trop grande variation verticale.

$$ \bullet \quad x_b = x_4 + | (x_{36} - x_0) / 2 | $$

$$ \bullet \quad y_b = y_1 - | (y_1 - y_0) / 3 | $$

## Position 'c'

Cette position correspond au menton. L'axe des abscisses (x) est directement donné par le centre du menton. L'axe des ordonnées (y) est ajusté en fonction de la distance entre le menton et la bouche, ce qui permet d'avoir une position cohérente indépendamment de la taille de la mâchoire.

$$ \bullet \quad x_c = x_8 $$

$$ \bullet \quad y_c = y_8 - | (y_8 - y_{57}) / 5 | $$

## Position 's'

Cette position est située sur le côté du visage. L'axe des abscisses (x) est déterminé à partir du bord du visage, avec une correction basée sur sa largeur. L'axe des ordonnées (y) prend en compte la hauteur du visage entre le point de référence de la mâchoire et un point légèrement plus bas, pour obtenir une position stable lors d'une inclinaison du visage.

$$ \bullet \quad x_s = x_0 - | (2 \times (x_8 - x_0)) / 3 | $$

$$ \bullet \quad y_s = y_4 - | (y_4 - y_3) / 2 | $$

## Position 't'

Cette position correspond à la gorge, à la pomme d'Adam. L'axe des abscisses (x) est directement donné
par le centre du menton. L'axe des ordonnées (y) est calculé à partir de la distance entre le menton et la bouche, de manière à garder une cohérence avec la morphologie du visage, et/ou une inclinaison du visage vers le bas.

$$ \text{■ } x_t = x_8 $$

$$ \text{■ } y_t = y_8 + |(1.2 \times (y_8 - y_{57}))| $$

<figure><img src="image_8.png" /></figure>

Représentation imagée des 5 positions des voyelles utilisées dans le modèle 1 de SPPAS

## Synthèse du modèle 1

Ce premier modèle de positionnement des voyelles dans le cadre de la Langue française Parlée Complétée (LfPC) repose sur une approche théorique, s'inspirant directement de l'illustration des clés du code fournie par l'ALPC. L'objectif principal est de proposer un cadre de référence stable et adaptable, permettant de positionner les voyelles de manière cohérente sur différents visages, indépendamment de leur forme ou de leur taille.

L'utilisation des 68 points de repère faciaux fournis par SPPAS est cruciale pour atteindre cet objectif. Ces points permettent de définir une géométrie faciale précise, servant de base au calcul des coordonnées des voyelles. En exprimant les positions des voyelles relativement à ces points de repère, nous nous assurons que le modèle s'adapte dynamiquement aux variations individuelles des visages.

Les formules de calcul des positions des voyelles, bien que basées sur des observations théoriques, ont été conçues pour être robustes et intuitives. Elles prennent en compte des éléments clés de la morphologie faciale, tels que la position et la largeur de la bouche, la distance entre les yeux et le menton, ou encore la hauteur du visage. Cette approche permet de minimiser les variations dues aux différences de morphologie et d'assurer une certaine stabilité dans le positionnement des voyelles. Cependant, il est important de noter que ce modèle théorique présente certaines limitations. Les positions des voyelles sont basées sur une interprétation visuelle de l'illustration de l'ALPC, qui peut être subjective. Dans les versions antérieures de SPPAS, ce modèle a servi de base au système prototype, mais des ajustements ont été nécessaires suite aux retours d'experts. Ces ajustements, notamment pour la position de la bouche, soulignent l'importance de confronter le modèle théorique à des données empiriques et de l'affiner en conséquence.

## Modèle 2 : faible variation

Après visionnage des vidéos générées par le premier modèle, les experts du projet ont proposé les ajustements suivants des positions, par rapport au modèle 1 :

$$ \text{■ } x_b = x_4 + |(x_{36} - x_0)| / 6 $$

$$ \text{■ } y_b = y_1 $$
- $x_s = x_0 - 2 \times |(x_8 - x_0)| / 3$

- $y_s = y_4$

Les ajustements apportés par les experts au modèle 1 se concentrent sur les positions 'b' (pommette) et 's' (côté du visage), car ces positions étaient les plus problématiques dans le modèle initial. L'ajustement de l'axe des abscisses ($x_b$) réduit la distance entre le point de la pommette et le bord du visage. Les experts ont également jugé que la position verticale de ces voyelles étaient trop haute. En résumé, le modèle 2 représente une version affinée du modèle 1, intégrant les retours d'expérience des experts pour améliorer la précision du positionnement des voyelles.

Nous avons également défini une "zone acceptable" plus ou moins étendue selon la position, bien qu'elle ne soit pas utilisée par SPPAS.

<figure><img src="image_9.png" /></figure>

Représentation imagée des 5 positions des voyelles utilisées dans le modèle 2 de SPPAS

## Modèle 3 : coordonnées mesurées dans un échantillon

Comme pour le modèle 3 de l'angle de la main, les coordonnées de ce modèle ont été établies en sélectionnant des images extraites des vidéos du corpus CLeLfPC. Trois images par position, représentant différentes codeuses et différentes formes de la main, ont été sélectionnées par les experts du projet.

Comme pour le modèle 1, les coordonnées ont été manuellement transposées en calcul relatif par rapport aux points du visage de référence. La valeur retenue est la moyenne (arrondie). Les valeurs relevées puis transposées sont indiquées dans le tableau ci-après.
<table><thead><tr><th>Forme</th><th>Position</th><th>x</th><th>y</th></tr></thead><tbody><tr><td>1</td><td>b</td><td>64</td><td>375</td></tr><tr><td>2</td><td>b</td><td>141</td><td>425</td></tr><tr><td>6</td><td>b</td><td>60</td><td>370</td></tr><tr><td>7</td><td>b</td><td>145</td><td>339</td></tr><tr><td>8</td><td>b</td><td>-15</td><td>397</td></tr><tr><td>3</td><td>c</td><td>349</td><td>836</td></tr><tr><td>4</td><td>c</td><td>461</td><td>967</td></tr><tr><td>5</td><td>c</td><td>393</td><td>944</td></tr><tr><td>6</td><td>c</td><td>499</td><td>927</td></tr><tr><td>7</td><td>c</td><td>488</td><td>904</td></tr><tr><td>1</td><td>m</td><td>309</td><td>710</td></tr><tr><td>4</td><td>m</td><td>215</td><td>742</td></tr><tr><td>5</td><td>m</td><td>233</td><td>653</td></tr><tr><td>6</td><td>m</td><td>213</td><td>656</td></tr><tr><td>8</td><td>m</td><td>304</td><td>713</td></tr><tr><td>2</td><td>s</td><td>-337</td><td>753</td></tr><tr><td>3</td><td>s</td><td>-622</td><td>726</td></tr><tr><td>4</td><td>s</td><td>-453</td><td>667</td></tr><tr><td>6</td><td>s</td><td>-331</td><td>774</td></tr><tr><td>7</td><td>s</td><td>-415</td><td>370</td></tr><tr><td>1</td><td>t</td><td>543</td><td>1429</td></tr><tr><td>3</td><td>t</td><td>339</td><td>1305</td></tr><tr><td>4</td><td>t</td><td>505</td><td>1382</td></tr><tr><td>5</td><td>t</td><td>448</td><td>1272</td></tr><tr><td>6</td><td>t</td><td>434</td><td>1573</td></tr></tbody></table>

Coordonnées observées sur une sélection de 25 images et transposées

Ces valeurs permettent d'obtenir les coordonnées (x,y) moyennes, les écart-types ci-dessous :
* b : moyenne (79, 381), écart-type (66, 32)

* c : moyenne (438, 916), écart-type (65, 50)

* m : moyenne (255, 695), écart-type (48, 39)

* s : moyenne (-432, 658), écart-type (118, 166)

* t : moyenne (454, 1392), écart-type (78, 119)

<figure><img src="image_10.png" /><figcaption>Représentation imagée des 5 positions des voyelles utilisées dans le modèle 3 de SPPAS</figcaption></figure>

Le modèle 3 s'appuie ainsi sur des mesures directes effectuées sur un échantillon d'images sélectionnées du corpus CLeLfPC, offrant une perspective empirique par rapport aux modèles théoriques précédents. Les coordonnées moyennes obtenues à partir de cet échantillon révèlent des différences notables par rapport au modèle 2, affiné par les experts.

La position 'b' (pommette) est globalement plus éloignée du centre du visage en abcisses tandis que la hauteur est abaissée par rapport à celle du modèle 2. La position 'c' (menton) est un peu plus haute et plus excentrée par rapport au modèle 2. La position 'm' (bouche) est légèrement plus basse que dans le modèle 2. La position 's' (côté du visage) quant à elle est significativement plus éloignée du visage, et un peu plus haute. Enfin, la position 't' (gorge) s'avère plus basse que dans le modèle 2, se rapprochant de la pomme d'Adam.

En résumé, le modèle 3, basé sur des observations empiriques, tend à placer les voyelles plus basses, à l'exception de la position 's', qui est plus haute. Ces différences soulignent l'écart potentiel entre les modèles théoriques ou ajustés par des experts et les données issues d'observations directes, quand bien même celles-ci ont été sélectionnées par les experts.

# Résultats des modèles 1 à 3

## Exemples de vidéos codés
Modèle 1

<figure><img src="image_11.png" /></figure>

Modèle 2

<figure><img src="image_12.png" /></figure>

Modèle 3

<figure><img src="image_13.png" /></figure>

Analyse des positions observées dans le corpus
Nous avons collecté et analysé un grand nombre de données pour déterminer comment les codeurs indiquent les voyelles. Nous avons extrait 3769 valeurs et, après avoir filtré les données aberrantes, nous avons conservé 3752 valeurs pour notre analyse.

## Statistiques sur l'ensemble des données

<table><thead><tr><td>Position</td><td>Nombre</td><td>Moyenne</td><td>Écart-type</td></tr></thead><tbody><tr><td>b</td><td>230</td><td>(144,397)</td><td>(70, 92)</td></tr><tr><td>c</td><td>529</td><td>(425,888)</td><td>(112, 76)</td></tr><tr><td>m</td><td>676</td><td>(260,682)</td><td>(79, 91)</td></tr><tr><td>s</td><td>1750</td><td>(-193,635)</td><td>(241,233)</td></tr><tr><td>t</td><td>584</td><td>(435,1419)</td><td>(143,223)</td></tr></tbody></table>

Statistiques par position pour toutes les données

<figure><img src="image_14.png" /></figure>

Positions cibles (3752 coordonnées)

Les figures suivantes illustrent chacune des positions, avec une ellipse représentant l'écart-type et une autre ellipse correspondant à deux fois l'écart-type, cette dernière couvrant généralement environ 95 % des valeurs.

<figure><img src="image_15.png" /></figure>

Positions cible 'b' (pommette)

<figure><img src="image_16.png" /></figure>

Positions cible 'c' (menton)

<figure><img src="image_17.png" /></figure>

Positions cible 'm' (bouche)

<figure><img src="image_18.png" /></figure>

Positions cible 's' (côté)

<figure><img src="image_19.png" /></figure>

Positions cible 't' (gorge)

Representation des coordonnées par position

En comparant ces statistiques avec les modèles précédents, on observe que les positions 'c', 'm' et 't' convergent vers des valeurs similaires. En revanche, les positions 'b' et 's' présentent des variations plus importantes, soulignant la complexité de leur modélisation. La grande variation de la position 's' indique une forte disparité dans les productions.

## Statistiques par condition d'enregistrement

La session "syllabes"
<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>34</td><td>(133, 391)</td><td>(58, 45)</td></tr><tr><td>c</td><td>24</td><td>(467, 923)</td><td>(51, 37)</td></tr><tr><td>m</td><td>38</td><td>(263, 676)</td><td>(47, 54)</td></tr><tr><td>s</td><td>35</td><td>(-472, 656)</td><td>(218, 125)</td></tr><tr><td>t</td><td>25</td><td>(478, 1381)</td><td>(61, 138)</td></tr></tbody></table>

Statistiques par position pour la session "syllabes"

<figure><img src="image_20.png" /></figure>

Positions cibles de la session des syllabes
(156 coordonnées)

## La session "mots et expressions"

<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>45</td><td>(127, 385)</td><td>(62, 53)</td></tr><tr><td>c</td><td>96</td><td>(409, 890)</td><td>(81, 87)</td></tr><tr><td>m</td><td>145</td><td>(253, 676)</td><td>(57, 54)</td></tr><tr><td>s</td><td>279</td><td>(-253, 722)</td><td>(253, 248)</td></tr><tr><td>t</td><td>135</td><td>(441, 1421)</td><td>(95, 250)</td></tr></tbody></table>

Statistiques par position pour la session "mots"

<figure><img src="image_21.png" /></figure>

Positions cibles de la session des mots et expressions (695 coordonnées)

## La session "phrases"
<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>76</td><td>(147, 392)</td><td>(72, 54)</td></tr><tr><td>c</td><td>164</td><td>(423, 878)</td><td>(95, 53)</td></tr><tr><td>m</td><td>223</td><td>(272, 684)</td><td>(85, 102)</td></tr><tr><td>s</td><td>704</td><td>(-200, 595)</td><td>(214, 213)</td></tr><tr><td>t</td><td>231</td><td>(455, 1360)</td><td>(142, 204)</td></tr></tbody></table>

Statistiques par position pour la session "phrases"

<figure><img src="image_22.png" /><figcaption>Positions cibles de la session des phrases
(1395 coordonnées)</figcaption></figure>

## La session "texte"

<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>112</td><td>(151, 422)</td><td>(77, 118)</td></tr><tr><td>c</td><td>239</td><td>(432, 890)</td><td>(132, 85)</td></tr><tr><td>m</td><td>267</td><td>(258, 683)</td><td>(83, 100)</td></tr><tr><td>s</td><td>698</td><td>(-167, 649)</td><td>(241, 240)</td></tr><tr><td>t</td><td>199</td><td>(405, 1478)</td><td>(170, 226)</td></tr></tbody></table>

Statistiques par position pour la session "texte"

<figure><img src="image_23.png" /><figcaption>Positions cibles de la session du texte
(1506 coordonnées)</figcaption></figure>

Les conditions "texte" et "phrases" montrent des écart-types plus élevés, tandis que "mots" et "syllabes" sont plus bas. Cela indique une plus grande dispersion des données, suggérant une moins grande précision ou une plus grande variabilité dans le positionnement des voyelles lors de tâches plus complexes. Cela suggère que la condition influence la précision de la position, probablement car le débit plus rapide affecte la précision du mouvement. Le débit et l'intention pédagogique semblent donc influencer la précision de la position des voyelles.

Nous observons en effet que :

* La position 'b' (pommette) montre une variabilité croissante avec la complexité de la tâche, avec les écarts-types les plus élevés dans la condition "texte".

* La position 'c' (menton) présente également une variabilité croissante, en particulier pour l'axe des abscisses.

* La position 'm' (bouche) suit une tendance similaire, avec une variabilité accrue dans les conditions "phrases" et "texte".

* La position 's' (côté du visage) présente une très forte variabilité dans toutes les conditions.

* La position 't' (gorge) présente une forte variabilité sur les ordonnées, et cette variabilité augmente avec la complexité de la tâche.
Les tâches ayant pour consigne une lecture la plus naturelle possible, impliquent un débit de parole plus rapide, ce qui peut entraîner une moins grande précision dans les mouvements de la main. L'intention pédagogique, présente dans les conditions "mots" et "syllabes", pourrait également contribuer à une plus grande précision. Lorsque les codeurs sont invités à montrer le code comme s'ils l'enseignaient, ils peuvent être plus attentifs à la précision de leurs mouvements.

Dans tous les cas, la position sur le côté est très variable, ce qui indique qu'elle est la plus difficile à stabiliser, comme V. Attina (2005) y faisait déjà référence. On observe en outre que la position à la gorge est elle-aussi très variable sur les ordonnées, ce qui indique que la hauteur de la main est difficile à stabiliser.

L'analyse des données par condition révèle des variations intéressantes dans le positionnement des voyelles, suggérant que la nature de la tâche influence la précision et la variabilité des mouvements.

## Statistiques par locuteur

### La locutrice-codeuse 'CH'

<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>35</td><td>(84, 424)</td><td>(48, 195)</td></tr><tr><td>c</td><td>105</td><td>(308, 916)</td><td>(97, 76)</td></tr><tr><td>m</td><td>106</td><td>(200, 684)</td><td>(45, 123)</td></tr><tr><td>s</td><td>365</td><td>(-230, 775)</td><td>(190, 209)</td></tr><tr><td>t</td><td>90</td><td>(409, 1419)</td><td>(152, 363)</td></tr></tbody></table>

Statistiques par position pour la locutrice "CH"

<figure><img src="image_24.png" /><figcaption>Positions cibles de CH (689 coordonnées)</figcaption></figure>

### La locutrice-codeuse 'VT'
<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>67</td><td>(180, 365)</td><td>(51, 33)</td></tr><tr><td>c</td><td>137</td><td>(487, 892)</td><td>(114, 83)</td></tr><tr><td>m</td><td>129</td><td>(260, 709)</td><td>(61, 70)</td></tr><tr><td>s</td><td>375</td><td>(26, 601)</td><td>(163, 198)</td></tr><tr><td>t</td><td>105</td><td>(466, 1341)</td><td>(64, 160)</td></tr></tbody></table>

Statistiques par position pour la locutrice "VT"

Positions cibles de VT (806 coordonnées)

## La locutrice-codeuse 'AM'

<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>32</td><td>(34, 379)</td><td>(46, 69)</td></tr><tr><td>c</td><td>91</td><td>(363, 905)</td><td>(52, 44)</td></tr><tr><td>m</td><td>129</td><td>(186, 698)</td><td>(42, 70)</td></tr><tr><td>s</td><td>221</td><td>(-294, 791)</td><td>(197, 218)</td></tr><tr><td>t</td><td>113</td><td>(385, 1582)</td><td>(60, 126)</td></tr></tbody></table>

Statistiques par position pour la locutrice "AM"

Positions cibles de AM (582 coordonnées)

## La locutrice-codeuse 'ML'

<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>31</td><td>(225, 371)</td><td>(53, 38)</td></tr><tr><td>c</td><td>92</td><td>(499, 845)</td><td>(64, 42)</td></tr><tr><td>m</td><td>152</td><td>(347, 654)</td><td>(47, 34)</td></tr><tr><td>s</td><td>448</td><td>(-253, 470)</td><td>(213, 149)</td></tr><tr><td>t</td><td>148</td><td>(537, 1242)</td><td>(83, 105)</td></tr></tbody></table>

Statistiques par position pour la locutrice "ML"

Positions cibles de ML (871 coordonnées)
## La locutrice-codeuse 'LM'

<table><thead><tr><th>Position</th><th>Nombre</th><th>Moyenne</th><th>Écart-type</th></tr></thead><tbody><tr><td>b</td><td>46</td><td>(168, 454)</td><td>(32, 38)</td></tr><tr><td>c</td><td>104</td><td>(452, 870)</td><td>(68, 47)</td></tr><tr><td>m</td><td>140</td><td>(286, 669)</td><td>(53, 126)</td></tr><tr><td>s</td><td>379</td><td>(-210, 629)</td><td>(292, 230)</td></tr><tr><td>t</td><td>129</td><td>(354, 1538)</td><td>(200, 131)</td></tr></tbody></table>

Statistiques par position pour la locutrice "LM"

<figure><img src="image_25.png" /><figcaption>Positions cibles de LM (695 coordonnées)</figcaption></figure>

## Interprétation des résultats

L'analyse des données par locuteur révèle une variabilité significative dans le positionnement des voyelles, confirmant l'hypothèse de différences inter-individuelles. Bien que la structure fondamentale du code LfPC reste stable, la manière dont chaque codeur l'applique présente des variations notables.

Les écarts-types, en particulier pour les positions 's' (côté du visage) et 't' (gorge), montrent une dispersion importante des données, indiquant une hétérogénéité dans la manière dont chacun des codeurs codent ces deux positions. Les moyennes varient également d'un codeur à l'autre, bien que dans une moindre mesure, ce qui suggère que chaque codeur a sa propre interprétation du code LfPC.

* La position 'b' (pommette) présente une variabilité modérée, avec des écarts-types allant de 32 à 53 pour l'axe des abscisses et de 33 à 195 pour l'axe des ordonnées. Ce dernier écart-type élevé est celui de la codeuse CH, et il est le seul à fortement s'éloigner des autres.

* La position 'c' (menton) est relativement stable, avec des écarts-types plus faibles, ce qui indique une plus grande cohérence dans la manière dont les codeurs codent cette position.

* La position 'm' (bouche) présente également une variabilité modérée, avec des écarts-types similaires à ceux de la position 'b'.

* La position 's' (côté du visage) est la plus variable, avec des écarts-types élevés pour les deux axes, ce qui confirme l'hétérogénéité observée précédemment.

* La position 't' (gorge) a elle aussi une forte variabilité sur les ordonnées seulement.

L'analyse des données par locuteur met en évidence la stabilité du code LfPC, qui se traduit par une cohérence globale dans le positionnement des voyelles. Cependant, elle révèle également des variations inter-individuelles significatives, en particulier pour les positions 's' et 't'.

## Nouveau modèle possible

Sur la base des analyses faites précédemment, il est possible de définir les valeurs à utiliser pour le modèle 4.
$$ \bullet x_b = x_4 + |(x_{36} - x_0) / 3.7| $$

$$ \bullet y_b = y_1 + |(y_2 - y_1) / 1.4| $$

$$ \bullet x_c = x_8 - |(x_8 - x_6) / 3.2| $$

$$ \bullet y_c = y_8 - |(y_8 - y_{57}) / 2.2| $$

$$ \bullet x_m = x_{48} - |(x_{48} - x_4) / 5| $$

$$ \bullet y_m = y_{60} + |(y_{60} - y_4) * 0.8| $$

$$ \bullet x_s = x_0 - |(x_8 - x_0) / 2.6| $$

$$ \bullet y_s = y_4 - |(y_4 - y_3) / 2| $$

$$ \bullet x_t = x_8 - |(x_8 - x_6) / 3.6| $$

$$ \bullet y_t = y_8 + |(y_8 - y_{33}) * 0.85| $$

<figure><img src="image_26.png" /><figcaption>Représentation imagée des 5 positions des voyelles utilisées dans le modèle 4 de SPPAS</figcaption></figure>

En résumé, le modèle 4, basé sur une analyse statistique exhaustive, confirme certaines tendances observées dans les modèles précédents, tout en révélant des variations significatives, notamment pour la position 's'.

## Exemple de vidéo codée avec ce modèle

<figure><img src="image_27.png" /></figure>

## Accès et utilisation du système
Les modèles proposés sont distribués sous les termes de la licence GNU GPL v3. Ils font partie du logiciel SPPAS. Les modèles 1 et 2 sont disponibles depuis la version 4.22, tandis que les modèles 3 et 4 ont été intégrés dans la version 4.25 : https://sppas.org/ .

Pour obtenir le codage de ce système sur la démo proposée dans SPPAS, il est possible d'utiliser
l'interface graphique de SPPAS, ou la commande en ligne suivante :

> python sppas/bin/cuedspeech.py -I demo/demo.mp4 -l fra --createvideo=

Il faut ajouter l'option "facepos" pour choisir le numéro du modèle comme décrit dans ce document.
Cette commande permet de créer trois fichiers : deux fichiers de description au format XML qui
contiennent l'ensemble des informations prédites par le système, ainsi que la vidéo codée
automatiquement.

Contributeurs

Développement logiciel : Brigitte Bigi (LPL)

Analyse des données : Brigitte Bigi (LPL)

Expertise du codage : Datha

À propos

■ Rédaction du document : Brigitte Bigi

- Licence du document : GNU documentation libre - FDL 1.3

■ Copyright 2025 Brigitte Bigi, CNRS, Laboratoire Parole et Langage, France

■ URL de ce document : https://auto-cuedspeech.org/wp4l2.html

■ Dernière mise à jour : 31 mars 2025

FIRAH
RECHERCHE
APPLIQUÉE SUR
LE HANDICAP

APPLIED
DISABILITY
RESEARCH

Projet financé par la FIRAH (2023-2026)

<figure><img src="image_28.png" /></figure>

UNIV.7309 - CNRS - AMU
PAROLE ET
LANGAGE

<figure><img src="image_29.png" /></figure>

<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /></figure>

amU
Aix Marseille Université
<figure><img src="image_32.png" /></figure>

Copyright © Brigitte Bigi, CNRS 2023-2025