Apprentissage profond pour l’analyse de la parole pathologique : étude comparative entre modèles CNN et à base de transformers (2024)

Abstract: Les cancers des voies aérodigestives supérieures (VADS) ont un impact significatif sur la capacité des patients à s’exprimer, ce qui affecte leur qualité de vie. Les évaluations actuelles de la parole pathologique sont subjectives, justifiant le besoin de méthodes automatiques et objectives. Un modèle auto-supervisé basé sur Wav2Vec2 est proposé pour la classification de phonèmes chez les patients atteints de cancer des VADS, visant une amélioration des taux de bonne classification et une meilleure discrimination des caractéristiques phonétiques. Les impacts des paramètres d’affinage, des données de pré-entraînement, de la taille du modèle et des données d’affinage sont explorés. Nos résultats montrent que l’architecture Wav2Vec2 surpasse une approche basée sur un CNN, et montre une corrélation significative avec les mesures perceptives. Ce travail ouvre la voie à une meilleure compréhension de la parole pathologique, via une représentation auto-apprise de la parole, très pertinente pour des approches d’interprétation à destination des cliniciens.

## introduction les cancers des voies aérodigestives supérieures (vads) affectent les voies respiratoires et digestives supérieures, notamment la cavité buccale, le pharynx, le larynx, la cavité nasale et les glandes salivaires. le traitement de ce cancer, que ce soit par radiothérapie, chimiothérapie et/ou chirurgie, peut impacter significativement la parole des patientes et patients qui en souffrent. la difficulté à communiquer avec les autres a ainsi un impact négatif sur leur qualité de vie. évaluer correctement la parole qu'ils ou elles produisent, en identifiant le niveau d'altération et ce qui la rend atypique est essentiel pour les aider au mieux lors de séances de rééducation. malheureusement, les métriques couramment utilisées telles que la sévérité ou le niveau d'intelligibilité sont subjectives et susceptibles d'être mal évaluées, même par des experts @xcite . par ailleurs, ces métriques n'apportent aucune information, outre un score, sur la nature des dégradations mesurées. proposer une manière automatique d'évaluer la parole pathologique est essentiel pour pouvoir baser les stratégies de rééducation sur des évaluations objectives et non biaisées. récemment, des modèles auto-supervisés ont montré leur succès dans la capture de concepts phonétiques et de diverses caractéristiques de la parole. dans (tom @xcite , les auteurs ont montré que les modèles wav2vec2 sont capables d'apprendre certains concepts phonétiques et qu'ils modélisent correctement le lieu et le mode d'articulation. certaines recherches se sont concentrées sur l'utilisation de ces modèles pour évaluer automatiquement le niveau de sévérité de la parole @xcite @xcite . bien que la détection d'une maladie et son évaluation quantitative soit importante, nous pensons qu'il est tout aussi important d'expliquer les résultats de ces modèles. en effet, leur explicabilité permet de cibler leurs faiblesses, et ainsi d'accroître la confiance que les cliniciens peuvent avoir en ces systèmes. jusqu'à présent, un nombre limité d'études se sont concentrées sur l'interprétabilité de ces modèles. dans @xcite , un modèle prédictif de la sévérité de la parole dysarthrique a été entraîné, en incorporant une couche bottleneck dans un réseau neuronal à couches entièrement connectées pour améliorer l'interprétabilité. en effet, un apprentissage par transfert a été utilisé pour apprendre des étiquettes interprétables cliniquement issues de la classification de darley @xcite . leurs résultats montrent une amélioration de la précision de l'évaluation de la dysarthrie, avec des justifications basées sur des caractéristiques interprétables. une extension de ce travail @xcite a évité les étiquettes perceptives (nécessitant une annotation experte et coûteuse en temps des enregistrements utilisés pour l'entraînement et les tests des modèles) en formant la couche interprétable autour de quatre caractéristiques acoustiques liées à la dysarthrie et extraites automatiquement. l'utilisation de shap (shapley additive explanations @xcite ) a permis d'analyser la contribution de chaque caractéristique acoustique à la prédiction finale. des avancées récentes ont aussi démontré l'efficacité de l'utilisation de la métrique goodness of pronunciation, en utilisant la partie d'extraction de caractéristiques -figée -du modèle wav2vec2, suivi d'un classifieur de phonèmes @xcite . leur approche montre l'impact relatif de chaque phonème sur le score prédit de sévérité. une autre méthodologie a été utilisée dans @xcite en utilisant un réseau neuronal convolutif (cnn) pour la classification de phonèmes. la méthode ncd (neuro-concept detector) liée à la métrique anps (artificial neuron-based phonological similarity) permettent une interprétation des scores de sévérité et d'intelligibilité prédits, en terme d'altérations de la parole produite par des patients, via l'association des neurones du classifieur aux traits phonétiques qu'ils détectent. notre travail vise à étendre cette interprétation en remplaçant le cnn par un modèle auto-supervisé basé sur l'architecture complète de wav2vec2. cette modification a pour objectif de fournir de meilleurs taux de bonne classification, mais aussi d'apporter ultérieurement une description plus nuancée et plus riche des caractéristiques phonétiques de la parole pathologique. en plus du changement d'architecture du modèle, ce travail examinera l'impact du choix des corpus de pré-entraînement des modèles wav2vec2 disponibles à la communauté, de la taille de ces modèles, de l'étape d'affinage et des corpus utilisés lors de celle-ci sur le choix d'un modèle auto-supervisé pour la tâche visée de classification de phonèmes. cette exploration est cruciale pour optimiser les performances du modèle sur des corpus variés, contribuant à la robustesse et à la capacité de généralisation de notre approche. ainsi, une analyse détaillée des confusions entre phonèmes sera menée pour valider la capacité de généralisation de nos modèles sur d'autres ensembles de données. ensuite, nous analyserons la corrélation entre les taux de bonne classification de phonèmes et les mesures perceptives obtenues auprès d'experts sur la parole de patients ayant bénéficié de soins suite à un cancer des vads. cette approche d'évaluation multidimensionnelle fournira une évaluation complète du modèle auto-supervisé proposé, démontrant son potentiel pour une analyse précise et cliniquement pertinente de la parole pathologique. ## corpus pour entraîner et évaluer nos modèles pendant l'entraînement, nous nous sommes appuyés sur un sous-ensemble de bref @xcite et de common phone @xcite . pour tester nos modèles une fois affinés, nous nous sommes basés sur bref-int et c2si @xcite . le corpus bref est un corpus de 120 locuteurs français lisant des extraits du journal le monde. les enregistrements ont eu lieu dans les années 90, avec des personnes recrutées dans la région parisienne. un sous-ensemble équilibré en termes de phonèmes de ce corpus a été créé pour garantir que les modèles affinés ne présentent pas de biais envers un phonème spécifique. il est composé de plus de trois millions de trames de 127 ms, chacune centrée sur un phonème français ou un silence. nous utilisons également l'ensemble de données bref-int, un sous-ensemble également équilibré en termes de phonèmes que nous utiliserons en phase de test. ces ensembles sont identiques à ceux utilisés dans @xcite . le corpus common phone est un corpus équilibré en termes de genre, multilingue et aligné phonétiquement, dérivé du projet common voice de mozilla. seuls les enregistrements en français ont été utilisés dans ce travail. nous avons également équilibré cet ensemble de données en termes de phonèmes et de genre pour assurer l'impartialité de nos modèles affinés du point de vue de ces derniers. le corpus c2si comprend 87 patients traités pour un cancer buccal ou oropharyngé, ainsi que 41 contrôles sains (hc). les patients et les hc ont été enregistrés à l'iuct oncopole, à toulouse, france. les patients ont été confrontés à plusieurs tâches : /a/ tenu, lecture de phrases, lecture de passages de texte (lec), production de pseudo-mots (dap) ainsi que diverses autres tâches prosodiques. à l'aide des enregistrements de certaines de ces tâches, des experts ont évalué la sévérité (degré d'altération du signal de parole) et l'intelligibilité de la production de parole des patients sur une échelle de 0 -forte altération -à 10 -discours parfait ; l'intelligibilité étant définie ici comme "la capacité d'un auditeur à reconnaître les mots et/ou les sons de la parole produite par le locuteur" @xcite . les enregistrements des tâches lec et dap sont utilisés pour tester nos modèles. ils seront désignés ici par c2si-lec et c2si-dap. pour correspondre à la sélection effectuée dans un travail précédent, nous testerons nos modèles sur 24 hc (parmi les locuteurs à disposition, tous n'ayant pas réalisé les deux tâches c2si-lec et c2si-dap), tous enregistrés dans les mêmes conditions. nous confronterons nos résultats aux évaluations perceptives incluant 82 patients parmi les 87 -5 patients n'ont pas été évalués par les experts. le tableau 1 détaille le nombre de trames alignées sur les phonèmes utilisés pour chaque corpus, ainsi que le nombre d'heures qu'elles représentent. étant donné que certaines trames se chevauchent, ce nombre d'heures est supérieur à la somme des durées des enregistrements. cependant, cette valeur reflète ce que le modèle voit en entrée. tous les corpus mentionnés ci-dessus sont alignés phonétiquement avec 31 phonèmes et un silence. ces 31 phonèmes comprennent quatre archi-phonèmes : /ê/ = {e, e}, /û/ = {oe, ø}, /ô/ = {o, o}, et /µ/ = { oe, ẽ}. l'utilisation de ces archi-phonèmes permet de neutraliser les oppositions de voyelles moyennes. ## conclusion dans ce travail, nous avons montré qu'un modèle basé sur wav2vec2 surpasse un cnn dans la classification des phonèmes, tout en préservant certaines spécificités linguistiques, telles qu'un accent régional. nos résultats valident non seulement l'efficacité de l'approche basée sur wav2vec2, mais soulignent également l'importance de prendre en compte l'architecture du modèle et la diversité des données d'entraînement pour des performances optimales. les travaux futurs incluent l'application du concept de ncd développé dans @xcite pour analyser les couches cachées de notre architecture affinée, et analyser comment ce nouveau modèle influence la détection des traits phonétiques, qui sont cruciaux pour expliquer les phonèmes prédits. à son tour, cette interprétabilité est nécessaire pour avoir une analyse objective de la parole d'un patient, ce qui améliorerait les techniques de rééducation mises en place par les cliniciens.