# Analyse des performances de systèmes de reconnaissance automatique de la parole spontanée après cancer oral ou oropharyngé

Mathieu Balaguer, Julien Pinquier, Jérôme Farinas, Virginie Woisard

► To cite this version:

Mathieu Balaguer, Julien Pinquier, Jérôme Farinas, Virginie Woisard. Analyse des performances de systèmes de reconnaissance automatique de la parole spontanée après cancer oral ou oropharyngé. Institut de Recherche en Informatique de Toulouse. 9èmes Journées de Phonétique Clinique (JPC 2023), Jun 2023, Toulouse, France. , Actes des 9èmes Journées de Phonétique Clinique : "Prendre la mesure de la parole", pp.175-178, 2023. hal-04132317

HAL Id: hal-04132317

https://hal.science/hal-04132317

Submitted on 19 Jun 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Analyse des performances de systèmes de reconnaissance automatique de la parole spontanée après cancer oral ou oropharyngé

Mathieu BALAGUER¹
Julien PINQUIER¹
Virginie WOISARD²,³
Jérôme FARINAS¹

¹IRIT, Université de Toulouse, CNRS, Toulouse INP, UT3, Toulouse, France

² Hôpital Larrey, Hôpitaux de Toulouse, France

³Laboratoire de Neuro-Psycho-Linguistique LNPL, Université Toulouse II, France

**Contexte** : L'analyse de la parole spontanée après cancer est essentielle en clinique, car il s'agit de la situation de production la plus « écologique » (Knuijt et al., 2017, Prins & Bastiaanse, 2004). Elle nécessite de pouvoir s'appuyer sur une transcription fiable. Actuellement, les systèmes de reconnaissance automatique de parole facilitant la transcription sont entraînés sur la parole typique, et prennent mal en compte les spécificités de la parole après cancer (Balaguer et al., 2021). Or, une reconnaissance lexicale plus juste permettrait des analyses plus précises du discours des patients, et l'accès à de nouvelles informations sur la dynamique psychosociale des patients.

**Objectifs** : Étudier les performances de systèmes de reconnaissance automatique de parole (RAP) au niveau du mot appliqués à la parole spontanée après cancer.

**Méthodes** : La parole spontanée de 12 patients traités pour un cancer oral ou oropharyngé a été enregistrée au cours d'un entretien. Une minute a été transcrite au niveau orthographique par un orthophoniste expert et deux sujets naïfs, sur l'hypothèse qu'un système entraîné sur de la parole typique aurait un comportement plus proche d'un auditeur naïf par réduction des effets d'expertise (Fex, 1992). Une transcription automatique au niveau du mot a été réalisée
# Analyse des performances de systèmes de reconnaissance automatique de la parole spontanée après cancer oral ou oropharyngé

Mathieu Balaguer (1), Julien Pinquier (1), Jérôme Farinas (1), Virginie Woisard (2,3)

(1) IRIT, Université de Toulouse, CNRS, UT3, Toulouse, France – (2) CHU Larrey, Toulouse, France – (3) Laboratoire de Neuro-Psycho-Linguistique LNPL, Université Toulouse II, France

## Introduction

Analyse de la **parole spontanée** des patients traités pour un
cancer de la cavité buccale ou de l'oropharynx

* Essentielle en clinique courante : situation de production la plus « écologique » [1,2]

* Mais nécessite de pouvoir s'appuyer sur une transcription fiable

### Systèmes de reconnaissance automatique de parole (RAP)

* Utiles pour

* Faciliter la transcription

* Autoriser des analyses plus précises et complètes du discours des patients : niveaux lexical, sémantique, discursif...

* Accéder à de **nouvelles informations sur la dynamique psychosociale** des patients.

* Mais sont entraînés sur la parole typique

* Mauvaise prise en compte des spécificités de la parole après cancer

* Taux d'erreurs mots très élevé [3]

## Objectif

Étudier les performances de systèmes de reconnaissance automatique de parole au niveau du mot, appliqués à la parole spontanée après cancer.

## Matériel et méthode

Enregistrements (entretiens semi-dirigés) de la parole spontanée de 12 patients

<figure><img src="image_2.png" /></figure>

### Comparaisons statistiques (tests de Wilcoxon)

* Performances des systèmes de RAP entre eux (1a – chez un expert – et 1b – chez les naïfs)

* Comparaison des résultats automatiques à la référence perceptive (2a – CRDNN, 2b – TDNNf et 2c – Whisper) pour savoir si le système (entraîné sur de la parole typique) se rapproche davantage d'une reconnaissance « experte » ou « naïve » ? [7]

* Critères de jugement (HTK [8]) : nombre moyen de mots correctement reconnus par le système (H), nombre moyen de délétions (D), de substitutions (S), d'insertions (I), exactitude = $\frac{100 \times (H-I)}{H+S+D}$ et pourcentage de mots corrects = $\frac{100 \times H}{H+S+D}$

## Résultats

12 patients (âge médian : 65 ans, EIQ 12,75)

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

### 1 Performances des systèmes de RAP

Comparaison des performances des systèmes de RAP
(Deux barres de couleur différente indiquent une différence significative au seuil de 5 % entre les paramètres représentés ; test de Wilcoxon)

<figure><img src="image_6.png" /></figure>

<table><thead><tr><th rowspan="2"></th><th colspan="4">Expert (1a)</th><th colspan="4">Naïfs (1b)</th></tr><tr><th>H</th><th>D</th><th>S</th><th>I</th><th>H</th><th>D</th><th>S</th><th>I</th></tr></thead><tbody><tr><th>CRDNN</th><td>20</td><td>39,83</td><td>18,33</td><td>0,5</td><td>18,83</td><td>32,58</td><td>18,42</td><td>0,75</td></tr><tr><th>TDNNf</th><td>14,33</td><td>26,67</td><td>37,17</td><td>1,75</td><td>13,54</td><td>22,04</td><td>37,5</td><td>2,21</td></tr><tr><th>Whisper</th><td>32,83</td><td>15,92</td><td>29,42</td><td>8</td><td>29,42</td><td>10,25</td><td>31</td><td>9,83</td></tr></tbody></table>

### Meilleures performances de reconnaissance de parole par Whisper

* Exactitude significativement meilleure que le TDDNf (p=0,004 chez l'expert et p=0,007 chez les naïfs) mais différence non significative avec le CRDNN (p>0,08)

* Pourcentage de mots corrects reconnus significativement meilleur que le TDNNf (p<0,01) et que le CRDNN (p<0,003)

* Nombre de mots correctement reconnus significativement plus élevé (p<0,02), nombre de délétions significativement plus faible qu'avec les deux autres systèmes (p<0,003)

* Nombre d'insertions significativement plus élevé qu'avec les autres systèmes (p≤0,05)

Malgré tout, dans le meilleur système (Whisper) : **taux d'erreurs mots très élevé** = 76,47 %

<figure><img src="image_7.png" /></figure>

### 2 Comparaison des performances selon le profil expert/naïfs de l'examinateur

Les valeurs données correspondent aux valeurs *p* du test de Wilcoxon (en gras, les valeurs *p* significatives au seuil de 5 %).

<figure><img src="image_8.png" /></figure>

## Discussion

### Étude exploratoire

* **Architecture** des systèmes de RAP et **taille de leur corpus d'entraînement** (sur parole typique) **influencent** les performances de RAP après cancer

* **Exactitude faible** dans tous les cas

### Perspectives

* Valider les résultats sur un **échantillon plus large**

* Étudier les **performances** des systèmes en **sous-groupes par sévérité** du trouble de parole

* Adapter les **modèles acoustiques** de parole typique à la parole pathologique pour améliorer l'exactitude

* À terme : réaliser des **analyses de contenus du discours** informant sur la **dynamique psychosociale** des patients

## Références

[1] Knuijt, S., Kalf, J. G., van Engelen, B. G. M., de Swart, B. J. M., & Geurts, A. C. H. (2017). The Radboud Dysarthria Assessment: Development and Clinimetric Evaluation. *Folia Phoniatrica et Logopaedica*, 69(4), 143–153. https://doi.org/10.1159/000484556

[2] Prins, R., & Bastiaanse, R. (2004). Analysing the spontaneous speech of aphasic speakers. *Aphasiology*, 18(12), 1075–1091. https://doi.org/10.1080/02687030444000534

[3] Balaguer, M. (2021). Mesure de l'altération de la communication par analyses automatiques de la parole spontanée après traitement d'un cancer oral ou oropharyngé. Thèse de doctorat, Université Paul Sabatier Toulouse III. https://theses.hal.science/tel-03557511

[4] Heba, A. (2021). Reconnaissance automatique de la parole à large vocabulaire : des approches hybrides aux approches End-to-End. Thèse de doctorat, Université Paul Sabatier Toulouse III. https://tel.archives-ouvertes.fr/tel-03616588

[5] Gelin, L., Daniel, M., Pinquier, J., & Pellegrini, T. (2021). End-to-end acoustic modelling for phone recognition of young readers. *Speech Communication*, 134, 71–84. https://doi.org/10.1016/j.specom.2021.08.003

[6] Radford, A., Wook, J., Tao, K., Greg, X., Christine, B., & Ilya, M. (2021). Robust Speech Recognition via Large-Scale Weak Supervision. *Openai.Com*. https://doi.org/10.48550/arXiv.2212.04356

[7] Fex, S. (1992). Perceptual evaluation. *Journal of Voice*, 6(2), 155-158

[8] Young, S., Evermann, G., Gales, M., Hain, T., Kershaw, D., Liu, X. (Andrew), Moore, G., Odell, J., Ollason, D., Pover, D., Ragni, A., Valtchev, V., Woodland, P., & Zhang, C. (2015). The HTK Book (for HTK Version 3.5, documentation alpha version) (Issue December). Cambridge University Engineering Department.
par plusieurs systèmes de RAP (Tableau 1). La boîte à outils HTK (Young et al., 2015) a permis d'obtenir des scores de comparaison avec les transcriptions des experts puis avec les naïfs. Des tests de comparaison 2 à 2 (test de Wilcoxon) ont été menés pour comparer les performances des systèmes entre eux, puis les performances de chaque système selon l'expertise du juge humain (expert vs naïfs).

<table><caption>Tableau 1. Systèmes de RAP étudiés</caption><thead><tr><td>Système</td><td>Architecture</td><td>Corpus d'entraînement (heures)</td></tr></thead><tbody><tr><td>CRDNN</td><td>End-to-end Convolutional Recurrent Deep Neural Network (Heba et al., 2021)</td><td>LibriSpeech (960 h)</td></tr><tr><td>TDDNf</td><td>Time-Delay Neural Network factorisé – Hidden Markov Model (Gelin et al., 2021)</td><td>CommonVoice (147 h)</td></tr><tr><td>Whisper (Open AI)</td><td>Transformer Seq2seq (Radford et al., 2022)</td><td>Multilingue (117.113 h)</td></tr></tbody></table>

Résultats : Whisper présente une exactitude significativement meilleure (p=0,004) que le TDNNf bien que restant faible (taux d'erreurs mots = 76,47 % par rapport à l'expert !), et un pourcentage de mots corrects, un nombre de mots corrects et de délétions significativement meilleurs que les deux autres systèmes (p<0,05), tant en comparaison avec l'expert qu'avec les naïfs. En revanche, le nombre d'insertions et de substitutions est significativement plus élevé que pour le CRDNN (Tableau 2).

<table><caption>Tableau 2. Comparaison des systèmes de RAP selon le profil expert/naïf de l'examineur (en gras, la meilleure valeur par métrique)</caption><thead><tr><th rowspan="2"></th><th colspan="3">Expert</th><th colspan="3">Naïfs</th></tr><tr><th>CRDNN</th><th>TDNNf</th><th>Whisper</th><th>CRDNN</th><th>TDNNf</th><th>Whisper</th></tr></thead><tbody><tr><td>Exactitude Ex = <sup>100 × (H-I)</sup>⁄<sub>H+S+D</sub></td><td>21,17 %</td><td>13,79 %</td><td><strong>23,53 %</strong></td><td>21,07 %</td><td>13,40 %</td><td><strong>27,43 %</strong></td></tr><tr><td>Pourcentage de mots corrects P<sub>corr</sub> = <sup>100×H</sup>⁄<sub>H+S+D</sub></td><td>21,88 %</td><td>16,33 %</td><td><strong>37,87 %</strong></td><td>22,11 %</td><td>16,33 %</td><td><strong>36,44 %</strong></td></tr><tr><td>Nombre de mots correctement reconnus (H)</td><td>20</td><td>14,33</td><td><strong>32,83</strong></td><td>18,83</td><td>13,54</td><td><strong>29,42</strong></td></tr><tr><td>Nombre de délétions (D)</td><td>39,83</td><td>26,67</td><td><strong>15,92</strong></td><td>32,58</td><td>22,04</td><td><strong>10,25</strong></td></tr><tr><td>Nombre de substitutions (S)</td><td><strong>18,33</strong></td><td>37,17</td><td>29,42</td><td><strong>18,42</strong></td><td>37,50</td><td>31</td></tr><tr><td>Nombre d'insertions (I)</td><td><strong>0,5</strong></td><td>1,75</td><td>8</td><td><strong>0,75</strong></td><td>2,21</td><td>9,83</td></tr></tbody></table>
Les systèmes présentent des performances globalement similaires, que leur référence de comparaison soit un expert ou les naïfs. Seul Whisper semble avoir une transcription plus proche de celle des naïfs avec une exactitude significativement plus élevée comparativement aux experts (Tableau 3).

<table><caption>Tableau 3. Comparaison des performances de chaque système de RAP selon le profil expert/naïf de l'examenateur (p-value, test de Wilcoxon : en gras, les p-values significatives au seuil de 5 %, les valeurs de chaque système sont à retrouver dans le Tableau 2)</caption><thead><tr><td>Système</td><td>CRDNN</td><td>TDNNf</td><td>Whisper</td></tr></thead><tbody><tr><td>Exactitude</td><td>0,84</td><td>0,16</td><td><strong>0,049</strong></td></tr><tr><td>Pourcentage de mots corrects</td><td>0,5</td><td>0,75</td><td>0,18</td></tr><tr><td>Mots corrects</td><td><strong>0,02</strong></td><td><strong>0,02</strong></td><td><strong>0,003</strong></td></tr><tr><td>Délétions</td><td><strong>0,02</strong></td><td><strong>0,02</strong></td><td><strong>0,004</strong></td></tr><tr><td>Substitutions</td><td>0,28</td><td>0,24</td><td>0,14</td></tr><tr><td>Insertions</td><td>0,16</td><td>0,66</td><td>0,11</td></tr></tbody></table>

Conclusion : Cette étude exploratoire montre que l'architecture des systèmes de RAP et la taille de leur corpus d'entraînement (sur parole typique) influencent les performances de reconnaissance de la parole après cancer. Toutefois, l'exactitude reste faible. Cela montre la nécessité d'adapter les modèles acoustiques à la parole cancérologique pour permettre des analyses plus précises du discours informant sur la dynamique psychosociale des patients et l'ajustement des stratégies thérapeutiques. Ces résultats préliminaires devront être étudiés sur un échantillon plus large, notamment pour analyser l'effet de la sévérité du trouble de parole sur les performances de reconnaissance.

Références bibliographiques

Balaguer, M. (2021). Mesure de l'altération de la communication par analyses automatiques de la parole spontanée après traitement d'un cancer oral ou oropharyngé. Thèse de doctorat, Université Paul Sabatier Toulouse III. https://theses.hal.science/tel-03557511

Fex, S. (1992). Perceptual evaluation. *Journal of Voice*, 6(2), 155-158

Gelin, L., Daniel, M., Pinquier, J., & Pellegrini, T. (2021). End-to-end acoustic
modelling for phone recognition of young readers. *Speech Communication*,
134, 71–84. https://doi.org/10.1016/j.specom.2021.08.003

Heba, A. (2021). *Reconnaissance automatique de la parole à large vocabulaire : des approches hybrides aux approches End-to-End* [Université Paul Sabatier Toulouse III]. https://tel.archives-ouvertes.fr/tel-03616588

Knuijt, S., Kalf, J. G., van Engelen, B. G. M., de Swart, B. J. M., & Geurts, A. C. H. (2017). The Radboud Dysarthria Assessment: Development and Clinimetric Evaluation. *Folia Phoniatrica et Logopaedica*, 69(4), 143–153. https://doi.org/10.1159/000484556

Prins, R., & Bastiaanse, R. (2004). Analysing the spontaneous speech of aphasic speakers. *Aphasiology*, 18(12), 1075–1091. https://doi.org/10.1080/02687030444000534

Radford, A., Wook, J., Tao, K., Greg, X., Christine, B., & Ilya, M. (2021). Robust Speech Recognition via Large-Scale Weak Supervision. Openai.Com. https://doi.org/10.48550/arXiv.2212.04356

Young, S., Evermann, G., Gales, M., Hain, T., Kershaw, D., Liu, X. (Andrew), Moore, G., Odell, J., Ollason, D., Pover, D., Ragni, A., Valtchev, V., Woodland, P., & Zhang, C. (2015). The HTK Book (for HTK Version 3.5, documentation alpha version) (Issue December). Cambridge University Engineering Department.