Comment l’oreille humaine perçoit-elle la somnolence dans la parole ? Une analyse rétrospective d’études perceptuelles. (2024)

Abstract: La somnolence bénéficierait d’être mesurée dans des configurations écologiques, par exemple grâce à des enregistrements de parole. Pour évaluer la faisabilité de sa détection à partir de la parole par l’audition humaine, deux études perceptuelles précédentes ont produit des résultats contradictoires. Une façon de comprendre ce désaccord aurait pu être d’étudier sur quelles caractéristiques de la parole les annotateurs ont basé leur estimation, mais aucune étude n’a collecté cette information.Nous avons donc choisi d’extraire des descripteurs acoustiques des enregistrements annotés, et d’entraîner des modèles d’apprentissage automatique simples et explicables à reproduire l’annotation de chaque annotateur. Ensuite, nous mesurons la contribution de chaque caractéristique à la décision de chaque modèle, et identifions les plus importantes. Nous effectuons ensuite un regroupement hiérarchique pour dessiner les profils des annotateurs, en fonction des caractéristiques sur lesquelles ils s’appuient pour identifier la somnolence.

## introduction contexte. l'hypersomnie est un fardeau majeur à la fois pour la santé publique @xcite et la santé personnelle, en lien avec des troubles métaboliques, cardiovasculaires, neurologiques et psychiatriques, augmentant le risque d'invalidité et de mortalité @xcite . en raison de sa forte prévalence dans la population générale (jusqu'à une personne sur trois @xcite ), les cliniciens ont besoin d'outils pour mesurer le niveau de somnolence de leurs patients aussi régulièrement que possible, dans des conditions écologiques (par exemple, à domicile), de manière passive (c'est-à-dire sans tâche dédiée). à cet égard, les enregistrements vocaux et de parole sont un candidat de choix : leur collecte est implémentée dans tous les smartphones, ils peuvent être enregistrés dans des configurations passives, et ils ont déjà été liés à de multiples troubles @xcite , y compris la somnolence. précédents travaux. en effet, la détection de la somnolence à l'aide d'enregistrements vocaux a déjà été au centre de deux challenges interspeech en 2011 et 2019, reposant respectivement sur le sleep language corpus (slc) @xcite et le corpus sleep @xcite . les deux corpus sont étiquetés avec une mesure subjective (questionnaire d'auto-évaluation) @xcite , l'échelle de somnolence de karolinska (kss) @xcite . le meilleur système du challenge interspeech 2011 a atteint un score de rappel moyen non pondéré (unweighed average recall, uar) de 71.7% @xcite sur la classification binaire de la somnolence. sur le corpus sleep, la tâche du défi interspeech 2019 était d'estimer le degré de somnolence. les gagnants du challenge ont atteint une corrélation de spearman ρ = 0.387 entre l'estimation produite par leur système et la vérité terrain @xcite . cette approche simple n'a jamais été surpassée dans des approches plus récentes utilisant les dernières techniques d'apprentissage profond (par exemple, ρ = 0.325 dans @xcite , ρ = 0.367 dans @xcite , ρ = 0.365 dans (egas-lópez et al., 2022) ou ρ = 0.383 dans @xcite ). plus récemment, un nouveau grand corpus enregistré dans des conditions écologiques à l'aide de smartphones a été introduit : le corpus voiceome @xcite . l'équipe ayant développé ce corpus a rapporté un score f1 de 81.3% sur la classification binaire de la somnolence, mesurée par l'échelle de somnolence de stanford @xcite . parallèlement à ce travail se concentrant sur la somnolence à court terme, il est notable de mentionner nos précédents travaux sur le multiple sleep latency test corpus (msltc), contenant des enregistrements vocaux de patients hypersomniaques de la clinique du sommeil du chu de bordeaux étiquetés avec à la fois la somnolence subjective à court et à long terme (questionnaires) et physiologique (latence de sommeil mesurée par électroencéphalographie). avec ces données, nous avons atteint des scores d'uar supérieurs à 75% sur la détection de trois symptômes liés à la somnolence dans cette population @xcite . limites. au cours de la dernière décennie, la plupart des recherches utilisant ces corpus se sont concentrées sur le développement d'algorithmes d'apprentissage automatique pour estimer la somnolence à partir des enregistrements de parole contenus dans ces corpus. en revanche, très peu d'attention a été accordée à l'élucidation du lien entre la somnolence et le comportement vocal. depuis le travail fondateur de @xcite , très peu d'études ont cherché à clarifier les mécanismes sous-jacents à l'expression de la somnolence dans la parole. parallèlement à ce travail d'apprentissage automatique, deux études perceptuelles ont récemment été menées sur le corpus sleep pour déterminer si l'oreille humaine peut estimer la somnolence à partir d'échantillons de parole. ces deux études, basées sur 99 échantillons du corpus sleep, ont produit des résultats contradictoires : l'étude de huckvale et al., impliquant 26 annotateurs, a conclu qu'il était possible de reconnaître la somnolence dans les enregistrements du corpus @xcite . en revanche, notre étude de réplication, basée sur les annotations de 30 annotateurs naïfs, a obtenu des résultats moins enthousiastes @xcite . puisque les participants de l'étude menée par huckvale et al. étaient anglophones natifs et ceux de notre étude de réplication parlaient français, une explication à cette divergence entre les études aurait pu être expliquée par des différences dans les caractéristiques de la parole utilisées par les annotateurs pour estimer la somnolence, mais aucune de ces études n'a collecté de tels retours. objectif. l'objectif de cet article est d'identifier, a posteriori, les caractéristiques de la parole sur lesquelles les annotateurs se sont appuyés pour identifier la somnolence en réanalysant les données des deux études perceptuelles précédentes sur le corpus sleep @xcite . pour ce faire, sur la base d'un ensemble minimal de descripteurs extraits des enregistrements audio, nous avons entraîné plusieurs systèmes d'apprentissage automatique pour reproduire les annotations (un système d'apprentissage automatique de "clonage" par annotateur). les caractéristiques extraites et le système d'apprentissage automatique ont été choisis simples et parfaitement explicables, permettant l'extraction et l'interprétation de l'importance relative de chaque caractéristique de parole dans l'imitation des annotateurs. cette technique nous permet de dresser des profils d'annotateurs, déterminés en fonction de la manière dont ils identifient la somnolence à partir des enregistrements vocaux. ## méthode un aperçu de notre méthode est représenté dans la figure 1 . corpus et échantillons audio. nous nous concentrons dans cet article sur les deux études perceptuelles impliquant le corpus sleep @xcite . le corpus entier contient plus de 16.464 échantillons de 915 sujets germanophones, enregistrés sur différentes tâches inconnues @xcite . tous les échantillons sont inférieurs à cinq secondes, avec une durée moyenne de 3.87 secondes. ces échantillons ont été annotés en utilisant l'échelle de somnolence de karolinska (kss) @xcite , un questionnaire mesurant la somnolence subjective instantanée @xcite utilisant une échelle de lickert à 9 points. les deux études perceptuelles ont utilisé le même sous-ensemble de 99 échantillons du corpus sleep, 9 pour familiariser les annotateurs avec la tâche (un pour chaque niveau de somnolence), et 90 (dix pour chaque niveau de somnolence) pour l'expérience elle-même. notre analyse se concentre sur les 90 échantillons utilisés pour l'expérience. annotateur n°1/56 y1: annotation de l'échantillon 1/90 y2: annotation de l'échantillon 2/90 y90: annotation de l'échantillon 90/90 . . . descripteurs (@xmath0: estimation de y1 1 étude perceptuelle 2 performance du système ϱ(y,ŷ) 3 4 descripteurs les plus importants . . . ŷ2: estimation de y2 ŷ90: estimation de y90 études perceptuelles et annotateurs. lors des deux études perceptuelles, les annotateurs étaient invités à estimer la somnolence de l'orateur à partir des enregistrements audio en utilisant une kss à 9 points. les échantillons étaient dans le même ordre pour les deux études, et les annotateurs ne pouvaient pas revenir en arrière. les deux études sont arrivées à des conclusions différentes : alors que les annotations de l'étude de huckvale et al. @xcite , après application d'un algorithme de 'sagesse des foules' (wisdom of the crowd), ont donné des performances très convaincantes (ρ = 0.72 entre l'estimation et la vérité terrain), les annotateurs de notre étude de réplication @xcite n'ont pas atteint les mêmes performances (ρ = 0.41). de plus, notre étude est la seule à avoir collecté les caractéristiques de chaque annotateur. celles-ci incluaient leur genre (13f/17m), la sensibilité musicale (@xmath1; @xmath2, et leur compréhension de la langue allemande (« au moins un peu », @xmath3; « pas du tout », @xmath4. les autres caractéristiques de chaque étude sont décrites en détail dans un autre article @xcite . caractéristiques vocales. puisque le sous-corpus sélectionné du corpus sleep contient peu d'échantillons par annotateur (90), et pour permettre l'interprétation des profils des annotateurs identifiés, nous nous sommes limités à 46 descripteurs extraits des enregistrements vocaux. ils incluent la moyenne et l'écart type des caractéristiques de bas niveau (@xmath5, extraits à l'aide de la boîte à outils opensmile @xcite . ## conclusion et perspectives en entraînant des algorithmes d'apprentissage automatique à reproduire les annotations d'une étude perceptuelle sur la somnolence, nous avons pu identifier les caractéristiques sur lesquelles les annotateurs se sont appuyés pour produire cette évaluation ; et ainsi indirectement les indices qu'ils ont utilisés pour estimer la somnolence. nous avons identifié six caractéristiques, liées à la stabilité de l'énergie (shimmer et pics d'énergie), le hnr, la variabilité de la fréquence fondamentale (pente de f0), et le ratio et la durée des segments voisés et non-voisés. nos prochains travaux se concentreront sur l'inclusion d'autres dimensions telles que les pauses de lecture @xcite ou la réalisation phonétique @xcite dans l'imitation du comportement d'annotation dans ces études perceptuelles.