# Impact des sources de parole sur la prise de décision des modèles pour l'évaluation des troubles de la parole

Tuan Nguyen, Corinne Fredouille, Alain Ghio, Mathieu Balaguer, Virginie Woisard

► To cite this version:

Tuan Nguyen, Corinne Fredouille, Alain Ghio, Mathieu Balaguer, Virginie Woisard. Impact des sources de parole sur la prise de décision des modèles pour l'évaluation des troubles de la parole. 10èmes Journées de Phonétique Clinique, Jun 2025, Sète, France. hal-05189209

HAL Id: hal-05189209

https://hal.science/hal-05189209v1

Submitted on 29 Jul 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Impact des sources de parole sur la prise de décision des modèles pour l'évaluation des troubles de la parole

Tuan NGUYEN<fnref n="1" />

Corinne FREDOUILLE<fnref n="1" />

Alain GHIO<fnref n="2" />

Mathieu BALAGUER<fnref n="3" />

Virginie WOISARD <fnref n="3" />,<fnref n="4" />,<fnref n="5" />

L'évaluation automatique des troubles de la parole a attiré l'attention de la communauté informatique (Shahin et al., 2019) ces dernières années. Malgré de bonnes performances, la plupart des travaux se concentrent sur l'optimisation de modèles neuronaux pour la précision sans analyser et comprendre le processus décisionnel sous-jacent. Le type de parole en entrée peut par exemple influencer significativement le comportement du modèle. Comprendre cet impact pourrait fournir des informations précieuses en termes d'évaluation automatique des troubles de la parole. Il pourrait également permettre de mieux comprendre le processus d'évaluation humaine (Woisard et al., 2013) et le rendre plus précis et objectif. L'objectif de ce travail est d'explorer comment différents types de parole influencent les décisions des modèles automatiques et d'analyser les évaluations d'experts humains pour mieux comprendre leur prise de décision.

Dans ce cadre, nous avons adopté une architecture basée sur un modèle Wav2Vec2 dédiée à la tâche de reconnaissance automatique de la parole (Nguyen et al., 2024). Cette architecture a été adaptée pour l'évaluation automatique de la qualité de la parole en termes de sévérité et d'intelligibilité. Le système a été appris en utilisant le corpus C2SI (Woisard et al., 2021), corpus de parole produite par des patients atteints de cancer ORL et présentant par conséquent

<footnote n="1">¹LIA, Avignon Université, Avignon</footnote>

<footnote n="2">²Aix-Marseille Univ, LPL, CNRS, Aix-en-Provence</footnote>

<footnote n="3">³IRIT, Université de Toulouse, CNRS, Toulouse INP, Toulouse</footnote>

<footnote n="4">⁴IUC Toulouse, CHU Toulouse, Service ORL de l'Hôpital Larrey, Toulouse</footnote>

<footnote n="5">⁵LNPL, UR 4156, Toulouse Université, Toulouse</footnote>
des troubles de la parole. Ces derniers ont été évalués par 6 experts humains en termes de sévérité et d'intelligibilité (Balaguer et al., 2019). Pour analyser l'impact du type de parole sur le comportement d'un modèle, nous avons utilisé deux types de discours : parole spontanée (description d'image) et parole lue, et une combinaison des deux. Par ailleurs, sept systèmes ont été entraînés, chacun sur la base des scores fournis par un expert (6 systèmes) et sur la moyenne de ces scores.

Tous les modèles ont été évalués sur la parole lue du corpus SpeeCOmco (même protocole d'enregistrement que C2SI - Balaguer et al., 2023) pour prédire les scores de sévérité et d'intelligibilité. Les résultats sont obtenus via validation croisée à 10 blocs.

<table><caption>Tableau 1. Résultats, en termes d'erreur quadratique moyenne (MSE ± écart-type), de l'évaluation des modèles de troubles de la parole avec différents types de parole utilisés pour l'apprentissage et différentes évaluations d'experts via validation croisée à 10 blocs.</caption><thead><tr><th></th><th>Parole spontanée↓</th><th>Parole lue↓</th><th>Combinaison↓</th></tr></thead><tbody><tr><td colspan="4">Évaluation de l'intelligibilité (MSE ± écart-type)</td></tr><tr><td>Expert 1</td><td>3,28 ± 0,49</td><td>2,52 ± 0,59</td><td>3,39 ± 0,45</td></tr><tr><td>Expert 2</td><td>2,34 ± 0,28</td><td>2,13 ± 0,32</td><td>2,58 ± 0,46</td></tr><tr><td>Expert 3</td><td>3,76 ± 0,56</td><td>1,62 ± 0,08</td><td>1,75 ± 0,28</td></tr><tr><td>Expert 4</td><td>1,76 ± 0,31</td><td>1,56 ± 0,5</td><td>3,15 ± 1,06</td></tr><tr><td>Expert 5</td><td>1,97 ± 0,4</td><td>1,68 ± 0,38</td><td>2,08 ± 0,43</td></tr><tr><td>Expert 6</td><td>5,25 ± 0,52</td><td>4,16 ± 0,3</td><td>4,7 ± 0,43</td></tr><tr><td>Average</td><td>1,18 ± 0,41</td><td>0,52 ± 0,14</td><td>0,8 ± 0,52</td></tr><tr><td colspan="4">Évaluation de la sévérité (MSE ± écart-type)</td></tr><tr><td>Expert 1</td><td>2,34 ± 0,31</td><td>2,5 ± 0,39</td><td>3,67 ± 0,45</td></tr><tr><td>Expert 2</td><td>4,2 ± 0,24</td><td>5,05 ± 0,96</td><td>6,92 ± 1,56</td></tr><tr><td>Expert 3</td><td>2,06 ± 0,1</td><td>3,09 ± 0,66</td><td>2,27 ± 0,36</td></tr><tr><td>Expert 4</td><td>2,8 ± 0,15</td><td>2,15 ± 0,17</td><td>3,09 ± 0,58</td></tr><tr><td>Expert 5</td><td>3,1 ± 0,4</td><td>3,15 ± 1,25</td><td>2,65 ± 0,6</td></tr><tr><td>Expert 6</td><td>3,09 ± 0,23</td><td>2,89 ± 0,24</td><td>3,2 ± 0,38</td></tr><tr><td>Average</td><td>1,26 ± 0,22</td><td>1,43 ± 0,36</td><td>0,92 ± 0,16</td></tr></tbody></table>

Comme le montre le tableau 1, les résultats diffèrent selon le type de parole en entrée pour l'apprentissage des modèles de prédiction. Concernant la prédiction des scores d'intelligibilité, les modèles à base de parole lue surpassent à la fois les modèles à base de parole
spontanée et parole combinée, quelle que soit l'évaluation des
experts utilisée, individuelle ou moyenne. Cela suggère que, pour
l'évaluation de l'intelligibilité, les experts humains se fient à des
informations pour lesquelles la parole lue utilisée seule semble
suffisante pour une bonne prédiction automatique.

En revanche, la tâche de sévérité montre davantage de variation dans les résultats. Bien que les modèles à base de parole combinée et de parole spontanée surpassent ceux à base de parole lue en termes de score moyen, les performances au niveau des experts individuels sont plus variables. Cela semble indiquer que, contrairement à l'intelligibilité, l'évaluation de la sévérité repose sur un processus plus complexe, davantage dépendant de l'expert, basé sur un éventail plus large d'informations nécessitant de la parole spontanée.
Références bibliographiques

Balaguer, M., Boisguérin, A., Galtier, A., Gaillard, N., Puech, M., & Woisard, V. (2019). Jugement d'altération de l'intelligibilité et de sévérité d'un trouble de la production de la parole séquellaire d'un cancer de la cavité buccale ou de l'oropharynx. *Annales françaises d'Oto-rhino-laryngologie et de Pathologie Cervico-faciale, 136*(5), 347-352.
https://doi.org/10.1016/j.aforl.2019.01.002

Balaguer, M., Pinquier, J., Farinas, J., & Woisard, V. (2023). Development of a holistic communication score (HoCoS) in patients treated for oral or oropharyngeal cancer: Preliminary validation. *International Journal of Language & Communication Disorders, 58*(1), 39--51.
https://doi.org/10.1111/1460-6984.12766

Nguyen, T., Fredouille, C., Ghio, A., Balaguer, M., & Woisard, V. (2024, May). Exploring Pathological Speech Quality Assessment with ASR-Powered Wav2Vec2 in Data-Scarce ContextExploring Pathological Speech Quality Assessment with ASR-Powered Wav2Vec2 in Data-Scarce Context. *Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)*, 6935--6944.

Shahin, M., Zafar, U., & Ahmed, B. (2019). The automatic detection of speech disorders in children: Challenges, opportunities, and preliminary results. *14*(2), 400--412. 10.1109/JSTSP.2019.2959393

Woisard, V., Astésano, C., Balaguer, M., Farinas, J., Fredouille, C., Gaillard, P., Ghio, A., Gisuti, L., Laaridh, I., Lalain, M., Lepage, B., Mauclair, J., Nocaudie, O., Pinquier, J., Pouchoulin, G., Puech, M., Robert, D., & Roger, V. (2021). C2SI corpus: a database of speech disorder productions to assess intelligibility and quality of life in head and neck cancers. *Language Resources and Evaluation, 55*(1), 173--190.
https://doi.org/10.1007/s10579-020-09496-3

Woisard, V., Espesser, R., Ghio, A., & Duez, D. (2013). De l'intelligibilité à la compréhensibilité de la parole, quelles mesures en pratique clinique ? *Revue de Laryngologie Otologie Rhinologie, 134*(1), 27-33.