# Efficacité de la reconnaissance automatique de phonèmes sur une tâche de production de pseudo-mots

Maëlys Leiçarrague, Tuan Nguyen, Alain Ghio, Julien Pinquier, Muriel Lalain, Virginie Woisard, Clémence Devoucoux, Corinne Fredouille, Mathieu Balaguer

► To cite this version:

Maëlys Leiçarrague, Tuan Nguyen, Alain Ghio, Julien Pinquier, Muriel Lalain, et al. Efficacité de la reconnaissance automatique de phonèmes sur une tâche de production de pseudo-mots. 10èmes Journées de Phonétique Clinique, Jun 2025, Sète, France. hal-05142338

HAL Id: hal-05142338

https://hal.science/hal-05142338v1

Submitted on 3 Jul 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Efficacité de la reconnaissance automatique de phonèmes sur une tâche de production de pseudo-mots

Maëlys Leiçarrague(1,2), Tuan Nguyen(3), Alain Ghio(4), Julien Pinquier(1), Muriel Lalain(4), Virginie Woisard(5,6), Clémence Devoucoux(6), Corinne Fredouille(3), Mathieu Balaguer(1)

(1) IRIT, Université de Toulouse, CNRS, Toulouse, France – (2) Centre de Formation Universitaire en Orthophonie, Faculté de Santé, Université de Toulouse, France –

(3) Avignon Université, Laboratoire Informatique d'Avignon, France – (4) Aix-Marseille Univ, CNRS, LPL, UMR 7309, Aix-en-Provence, France –

(5) UT2J, Laboratoire de Neuro-Psycho-Linguistique, Toulouse, France – (6) Hôpital Larrey, CHU de Toulouse, France

## INTRODUCTION

* Les traitements du cancer oral / oropharyngé induisent des modifications anatomiques

* Ces altérations affectent la production de la parole au niveau segmental [1]

* Elles motivent l'analyse des liens entre **anatomie et reconnaissance des phonèmes** [2]

* Les **systèmes automatiques de décodage acoustico-phonétique** permettent cette analyse

* Leur **efficacité** doit être évaluée dans un contexte de parole pathologique [3]

## OBJECTIF

Étudier l'**efficacité*** de la reconnaissance automatique phonémique sur une tâche de production de pseudo-mots après cancer oral / oropharyngé

*Efficacité* = reconnaissance par rapport à une cible, malgré les erreurs de production / perception, et non par rapport à une référence humaine

## MÉTHODE

80 sujets traités pour un cancer oral / oropharyngé

Enregistrements de lecture
(liste de 52 pseudo-mots)

Par 3 systèmes

Par 4 experts

Transcriptions phonémiques
automatiques

Transcriptions phonémiques perceptives
en temps réel

* TDNN-HMM

* Transformer CTC

* Transformer CTC fine-tuné

+ Score de sévérité du trouble de parole

<figure><img src="image_2.png" /></figure>

**Statistiques** : test de Friedman puis comparaison paire à paire (Durbin-Conover)

1 Comparaison de l'efficacité des 4 systèmes entre eux (3 automatiques et 1 perceptif)

2 Comparaison de l'efficacité des 4 systèmes selon les groupes de sévérité

Métriques d'efficacité de reconnaissance (Conditions : pseudo-mots isolés et sans doublon)

* PER (Taux d'erreur de phonèmes)
  ⇒ **Proportion d'erreurs**

$$PER = \frac{\text{Délétions} + \text{Substitutions} + \text{Insertions}}{\text{nombre de phonèmes total du pseudomot cible}}$$

* PPD (Score de déviation phonologique [4])
  ⇒ **Sévérité des erreurs**

$$PPD = \frac{\text{Nombre de traits phonologiques d'écart moyen par phonème entre la reconnaissance et la cible}}{\text{nombre de traits phonologiques d'écart moyen par phonème}}$$

Métriques faibles (moyennes proches de 0) = Meilleure efficacité de reconnaissance

Corpus final :
79 sujets
4107 pseudo-mots
(exclusions)

## RÉSULTATS

### 1 Comparaison de l'efficacité des 4 systèmes entre eux

<table><thead><tr><th>Systèmes</th><th>PER</th><th>PPD</th></tr></thead><tbody><tr><td>TDNN-HMM</td><td>0,59</td><td><strong>1,54</strong></td></tr><tr><td>Transformer CTC</td><td>0,70</td><td>1,83</td></tr><tr><td>Transformer CTC fine-tuné</td><td><strong>0,52</strong></td><td>1,76</td></tr><tr><td>Transcription humaine</td><td><strong>0,24</strong></td><td><strong>0,44</strong></td></tr></tbody></table>

Différence significative entre les PER et PPD de tous les systèmes (p < 0,001)

Comparaison des métriques d'efficacité de reconnaissance des 4 systèmes

<figure><img src="image_3.png" /></figure>

### Meilleure efficacité de reconnaissance

* PER et PPD les plus faibles : **Transcription humaine**

Parmi les systèmes automatiques

* PER le plus faible : **Transformer CTC fine-tuné**

* PPD le plus faible : **TDNN-HMM**

### 2 Comparaison de l'efficacité des 4 systèmes selon les groupes de sévérité

<table><thead><tr><th>Sévérité</th><th>Systèmes</th><th>PER</th><th>PPD</th></tr></thead><tbody><tr><td rowspan="4">0-6<br>(n = 30)</td><td>TDNN-HMM</td><td>0,77</td><td><strong>2,15</strong></td></tr><tr><td>Transformer CTC</td><td>0,86</td><td>2,28</td></tr><tr><td>Transformer CTC fine-tuné</td><td><strong>0,68</strong></td><td>2,36</td></tr><tr><td>Transcription humaine</td><td><strong>0,36</strong></td><td><strong>0,63</strong></td></tr><tr><td rowspan="4">7-10<br>(n = 36)</td><td>TDNN-HMM</td><td>0,42</td><td><strong>1,01</strong></td></tr><tr><td>Transformer CTC</td><td>0,57</td><td>1,43</td></tr><tr><td>Transformer CTC fine-tuné</td><td><strong>0,37</strong></td><td>1,21</td></tr><tr><td>Transcription humaine</td><td><strong>0,15</strong></td><td><strong>0,25</strong></td></tr><tr><td rowspan="4">0-9<br>(n = 18)</td><td>TDNN-HMM</td><td>0,69</td><td><strong>1,87</strong></td></tr><tr><td>Transformer CTC</td><td>0,79</td><td>2,07</td></tr><tr><td>Transformer CTC fine-tuné</td><td><strong>0,61</strong></td><td>2,09</td></tr><tr><td>Transcription humaine</td><td><strong>0,29</strong></td><td><strong>0,51</strong></td></tr><tr><td rowspan="4">10<br>(n = 48)</td><td>TDNN-HMM</td><td>0,28</td><td><strong>0,63</strong></td></tr><tr><td>Transformer CTC</td><td>0,47</td><td>1,13</td></tr><tr><td>Transformer CTC fine-tuné</td><td><strong>0,24</strong></td><td>0,77</td></tr><tr><td>Transcription humaine</td><td><strong>0,12</strong></td><td><strong>0,20</strong></td></tr></tbody></table>

### Meilleure efficacité de reconnaissance selon la sévérité

* PER et PPD les plus faibles : **troubles peu sévères (7-10)** pour automatique et humain

* Automatique **converge vers l'humain quand on isole les sujets peu sévères (10)**

## DISCUSSION

* Les **systèmes de décodage acoustico-phonétique automatiques** appliqués à la parole après cancer sont **moins efficaces que les experts humains**

* Causes possibles : **architecture des systèmes → insertions fréquentes ; entraînement sur de la parole « saine » ; événements sonores dans le signal ; pas d'effet de restauration phonémique (contrairement aux humains) ; ...**

* Perspectives : poursuivre la réflexion sur le **lien entre les erreurs retrouvées et les déficits analytiques des patients**

## RÉFÉRENCES

[1] Mlynarek, A., Rieger, J., Harris, J., O'Connell, D., Al-Qahtani, K., Ansari, K., Chau, J., & Seikaly, H. (2008). Methods of functional outcomes assessment following treatment of oral and oropharyngeal cancer: review of the literature. *Journal of Otolaryngology - Head & Neck Surgery*, 37(1), 2–10. https://doi.org/10.2310/7070.2008.1001

[2] Lazarus, C. L., Husaini, H., Anand, S. M., Jacobson, A. S., Mojica, J. K., Buchbinder, D., & Urken, M. L. (2013). Tongue Strength as a Predictor of Functional Outcomes and Quality of Life after Tongue Cancer Surgery. *Annals of Otology, Rhinology & Laryngology*, 122(6), 386–397. https://doi.org/10.1177/000348941312200608

[3] Halpern, B. M., Feng, S., van Son, R., van den Brekel, M., & Scharenborg, O. (2022). Low-resource automatic speech recognition and error analyses of oral cancer speech. *Speech Communication*, 141, 14–27. https://doi.org/10.1016/j.specom.2022.04.006

[4] Ghio, A., Lalain, M., Rebourg, M., Marczyk, A., Fredouille, C., & Woisard, V. (2022). Validation of an Intelligibility Test Based on Acoustic-Phonetic Decoding of Pseudo-Words: Overall Results from Patients with Cancer of the Oral Cavity and the Oropharynx. *Folia Phoniatrica et Logopaedica*, 74(3), 209–222. https://doi.org/10.1159/000519427