Détection de la somnolence objective dans la voix (Objective sleepiness detection through voice ) (2020)

Abstract: Le suivi des patients souffrant de maladies neuro-psychiatriques chroniques peut être amélioré grâce à la détection de la somnolence dans la voix. Cet article s’inspire des systèmes état-de-l’art en détection de la somnolence dans la voix pour le cas particulier de patients atteints de Somnolence Diurne Excessive (SDE). Pour cela, nous basons notre étude sur un nouveau corpus, le corpus TILE. Il diffère des autres corpora existants par le fait que les sujets enregistrés sont des patients souffrant de SDE et que leur niveau de somnolence est mesuré de manière subjective mais aussi objective. Le système proposé permet détecter la somnolence objective grâce à des paramètres vocaux simples et explicables à des non spécialistes.

## introduction l'un des défis majeurs actuels du diagnostic et du traitement des maladies neuro-psychiatriques chroniques est la quantification des symptômes et le suivi des patients afin d'adapter leur traitement et de détecter précocement les risques de rechute. une telle surveillance est possible en milieu écologique grâce à des dispositifs médicaux connectés (mesurant par exemple le poids, la pression sanguine ou l'activité physique) mais des informations pourtant cruciales telles que la fatigue ou la somnolence sont difficiles à mesurer par ces dispositifs. des entretiens fréquents entre les médecins et les patients sont nécessaires, mais la quantité grandissante de patients ne permet pas un suivi régulier et personnalisé. par ailleurs, les entretiens ne permettent pas de mesurer les variations des symptômes en réponse au traitement lorsque les patients sont à domicile. ainsi est née l'idée de proposer aux patients un suivi à domicile en utilisant un médecin virtuel. des études précédentes ont montré que l'utilisation d'un tel médecin virtuel est bien accepté par les patients @xcite . nous désirons compléter l'analyse des réponses aux questions posées par le médecin virtuel en y ajoutant l'analyse de paramètres vocaux. en effet, il semble désormais possible de détecter des indices dans la voix permettant d'évaluer l'état des locuteurs pour des tâches de suivi ou de diagnostic médical @xcite . cette méthode présente de nombreux avantages, puisqu'elle n'est pas invasive et ne nécessite ni de capteurs spécifiques ni de processus complexe de calibration. de plus, elle peut être mise en place dans des environnements variés et permet un suivi régulier et non restrictif des patients. si des études précédentes ont montré qu'il est possible d'estimer la somnolence subjective dans la voix @xcite @xcite , la plupart étaient basées sur le sleepy large corpus @xcite qui ne contient que des enregistrements de sujets sains. plus récemment, le corpus sleep @xcite , élaboré pour le challenge interspeech 2019, ouvre la voie à l'utilisation de l'apprentissage profond pour la détection de la somnolence dans la voix grâce à sa taille importante (16462 échantillons). cependant, il est lui aussi composé d'enregistrements de sujets sains dont la somnolence est évaluée de manière subjective. puisque notre objectif est d'estimer la somnolence objective de patients souffrant de somnolence diurne excessive (sde), les précédents corpus ne correspondent pas à nos besoins. en effet, la somnolence est uniquement mesurée par le questionnaire médical subjectif karolinska sleepiness scale @xcite ) -kss) ; les enregistrements sont effectués sur des tâches extrêmement variées allant de la production de voyelles tenues à la lecture de textes divers, en allemand et anglais, rendant les échantillons difficilement comparables ; les sujets enregistrés sont des sujets sains, alors que nous souhaitons suivre à domicile des patients souffrant de sde, pour lesquels les somnolences subjectives et objectives ne corrèlent pas @xcite . pour résoudre ce problème nous avons donc enregistré notre propre corpus, le corpus tile (mslt corpus en anglais) @xcite , enregistré à la clinique du sommeil du centre hospitalier universitaire de bordeaux. nous présentons ici un système de détection de la somnolence objective de patients souffrant de sde, grâce à des traits spécifiques de leur voix. la collaboration avec des médecins exige que les paramètres vocaux extraits des échantillons audios soient interprétables et reliés à un phénomène physiologique. en conséquence, plutôt que de mettre au point un système complexe, nous cherchons à étudier si de bonnes performances de classification peuvent être obtenues avec des paramètres vocaux simples et facilement interprétables. cet article est organisé comme suit. la section 2 présente brièvement le corpus utilisé. nous présentons dans la section 3 les paramètres vocaux élaborés pour cette étude et dans la section 4 notre méthodologie de classification. la section 5 présente et discute les résultats. enfin, une conclusion et des perspectives sont proposées dans la section 6. ## description du corpus le corpus utilisé dans cette étude est une version augmentée du corpus tile @xcite . enregistré à la clinique du sommeil au centre hospitalier universitaire de bordeaux, il comprend actuellement les enregistrements de 99 patients ayant des plaintes de somnolence diurne excessive (sde). il est basé sur le test itératif de latence d'endormissement -tile @xcite , durant lequel les patients font cinq siestes espacées de deux heures à partir de neuf heures du matin. les patients sont largement phénotypés et différentes caractéristiques physiques sont collectées pour chaque patient. ces données sont complétées par les réponses à des questionnaires médicaux subjectifs de dépression, de fatigue et de somnolence à long terme. le principal avantage de ce corpus réside dans le fait qu'il associe à chaque échantillon audio à la fois une valeur de somnolence subjective (échelle de somnolence de karolinska @xcite ) -kss) et une valeur objective mesurée par eeg (temps d'endormissement à chaque sieste, appelée "valeur de tile" dans la suite). les patients sont assignés à la classe somnolent (s) ou non-somnolent (ns) suivant si la valeur de la moyenne des tile sur les 5 itérations est inférieure ou supérieure à 8 minutes, limite médicale pour le diagnostic de la narcolepsie @xcite (tile @xmath0: sl : 4,8 @xmath1,0 min ; nsl : 13,6 @xmath2,3 min). la même limite de 8 minutes est utilisée pour étiqueter les échantillons, indépendamment du label du locuteur. les enregistrements vocaux sont collectés durant la lecture d'un texte, qui est différent à chaque itération du test mais qui est le même pour tous les patients à session constante. afin d'éviter une trop grande valence émotionnelle et pour avoir une grammaire et un vocabulaire simple, nous avons proposé aux sujets cinq textes, extraits du petit prince, d'environ 230 mots (moyenne : 229 mots, écart-type : 16,4 mots). des statistiques concises du corpus sont présentées dans le tableau 1. nous redirigeons le lecteur vers @xcite ## description des paramètres vocaux notre étroite collaboration avec des médecins impose que les paramètres vocaux extraits des échantillons audio soient facilement interprétables et reliés à des phénomènes physiologiques. dans ce but, nous extrayons des paramètres avec deux granularités temporelles. d'une part, des paramètres provenant des échantillons en entier, en utilisant soit la détection automatique de segments vocaliques @xcite ou la détection automatique de segments voisés grâce à l'extraction de fréquence fondamentale @xcite . d'autre part, nous calculons des paramètres sur chaque segment voisé pour caractériser la régularité de la production d'harmoniques. ces paramètres sont ensuite moyennés sur chaque échantillon. ## description de la méthodologie de classification contrairement aux précédents travaux sur la détection de la somnolence dans la voix @xcite @xcite , le but de celui-ci n'est pas d'estimer la somnolence instantanée du locuteur mais une somnolence à plus long terme. le tile est un test reconnu médicalement pour le diagnostic de la narcolepsie @xcite . lorsque la moyenne des valeurs de tile des 5 siestes est inférieure à 8 minutes, le sujet est diagnostiqué comme narcoleptique. même si la majorité de nos patients souffrent de maladies différentes de la narcolepsie (principalement d'hypersomnie idiopathique), nous choisissons de conserver la valeur limite de 8 minutes pour distinguer locuteurs somnolents (s) et non-somnolents (ns), et ainsi obtenir une vérité terrain. pour estimer cette classe somnolence du locuteur, nous attribuons une classe (s ou ns) à chacun de ses cinq échantillons vocaux, indépendamment les uns des autres, avec la même limite de 8 minutes utilisée pour le label des locuteurs. nous entraînons ensuite un classificateur à calculer les probabilités d'appartenance à la classe s et à la classe ns des échantillons (notés resp. p i et p i pour le ième échantillon de chaque locuteur). en moyennant les probabilités des cinq échantillons d'un même locuteur, nous obtenons ainsi sa probabilité moyenne d'appartenir à chacune des classes p moy (et p moy pour les ns). en prenant ensuite le maximum entre p moy et p moy , la classe du locuteur est déterminée. cette procédure est résumée dans la figure 1 . la méthodologie pour calculer les probabilités d'appartenance aux classes de somnolence à partir des paramètres vocaux est similaire à celle exposée dans @xcite . afin d'avoir des résultats pertinents au regard de la faible taille du corpus, nous appliquons la méthode du leave one speaker out cross validation : à chaque itération de la validation croisée, un locuteur est exclu pour servir de test. le résultat de sa classification est additionné dans une matrice de confusion globale, sur laquelle est calculée le taux de précision (unweighted accuracy recall -uar). le reste des locuteurs est divisé en deux sous-corpus d'entraînements (80%) et de développement (20%), équilibrés en valeurs de tile moyenne, en sexe et en âge, afin de pouvoir déterminer les paramètres vocaux et les paramètres du classificateur les plus pertinents. par ailleurs, le jeu de données étant déséquilibré, la base d'entraînement est augmentée grâce à la méthode smote implémenté dans le module python scikit learn @xcite . lors de chaque itération de la validation croisée, la même procédure est appliquée :