Acquisition et reconnaissance automatique d’expressions et d’appels vocaux dans un habitat. (Acquisition and recognition of expressions and vocal calls in a smart home) (2016)

Abstract: Cet article présente un système capable de reconnaître les appels à l’aide de personnes âgées vivant à domicile afin de leur fournir une assistance. Le système utilise une technologie de Reconnaissance Automatique de la Parole (RAP) qui doit fonctionner en conditions de parole distante et avec de la parole expressive. Pour garantir l’intimité, le système s’exécute localement et ne reconnaît que des phrases prédéfinies. Le système a été évalué par 17 participants jouant des scénarios incluant des chutes dans un Living lab reproduisant un salon. Le taux d’erreur de détection obtenu, 29%, est encourageant et souligne les défis à surmonter pour cette tâche.

## introduction le vieillissement rapide de la population des pays industrialisés représente l'un des défis majeurs du 21e siècle. en effet, en france, on estime que le nombre de personnes âgées (pa) de plus de 60 ans représentera 28,4% de la population en 2020 (9,4% auront plus de 75 ans) et 32,6% en 2060 (16,2% auront alors plus de 75 ans) @xcite . ceci est à mettre en relation avec l'espérance de vie sans incapacité qui a diminué pour être 61,9 ans en france en 2010, ce qui reste dans la moyenne de l'ue @xcite . lorsqu'une pa perd son autonomie, l'assistance d'un tiers devient nécessaire, celui-ci est généralement désigné sous le terme d'« aidant ». ce rôle est en fait souvent tenu par un ensemble d'acteurs représentés majoritairement par la famille proche, en général le conjoint ou les enfants, qui doivent assumer les soins. par ailleurs, cette augmentation du nombre de retraités aura un impact très important sur la société et les finances publiques à travers les régimes de retraite et la sécurité sociale @xcite . le défi posé dès maintenant à notre société est de permettre à nos aînés de pouvoir vivre de façon autonome et confortable aussi longtemps que possible en toute quiétude alors même que le nombre de jeunes pouvant contribuer à leur support sera en constante actes de la conférence conjointe jep-taln-recital 2016, volume 1 : jep diminution. avec l'âge, le risque de chute croît. environ 30% des personnes de plus de 65 chutent chaque année et ces chutes peuvent engendrer un fort taux de mortalité, morbidité et de souffrance pour les personnes âgées et leurs familles, elles augmentent par ailleurs la pression sur le coût social induit par une hospitalisation ou les soins médicaux (who regional office for europe, 2004). d'autres phénomènes tels que les risques de crise cardiaques, arthrose etc. peuvent être des facteurs réduisant l'autonomie des personnes âgées et conduisent à un placement en institut spécialisé alors même que les personnes concernées peuvent encore posséder un degré d'autonomie suffisant pour vivre chez elles. l'une des principales raisons de ce placement restant la crainte d'un accident non signalé lorsque la personne est seule chez elle. la détection des situations de détresse telles que les chutes, les immobilisations involontaires ou encore les évanouissements est un enjeu important pour soutenir la vie autonome des personnes âgées. une solution communément proposée s'articule autour de capteurs cinématiques portés par la personne, ce qui constitue une contrainte dans la vie de tous les jours, avec des risques d'oubli voire même le refus de les porter car il sont jugés stigmatisants ou sans bénéfice immédiat @xcite . l'interface vocale peut constituer une alternative car ce type de technologie a atteint la maturité suffisante pour être utilisé ici tout en libérant la contrainte du port permanent des capteurs sur soi @xcite . un exemple type est celui d'un système de dialogue adapté à la personne. par exemple, @xcite ont développé un système pers (personal emergency response system) de dialogue vocal pour réagir à un appel spécifique d'urgence et décider de la réponse à apporter par une série de réponses fermées (« oui » et « non »). un autre exemple est apporté par le projet robocare @xcite dans lequel un robot roulant comportant un écran d'ordinateur affichant un visage animé (avatar) a été conçu pour interagir spontanément avec l'utilisateur afin de lui signaler un danger ou répondre à une question. dans cet article nous présentons une approche permettant d'assister des personnes âgées dans leur maison par l'identification automatique d'appels vocaux, notamment dans le cas de situations de détresse où l'usage de la parole est encore possible. une partie des résultats sont présentés dans @xcite ; la seconde partie résulte d'expériences effectuées sur un nouveau corpus. les défis à relever pour rendre une telle application possible sont nombreux @xcite . premièrement le cas d'application consiste à reconnaître de la parole distante puisque les microphones ne sont pas portés par la personne. ceci implique de la parole atténuée, potentiellement réverbérée voire bruitée par d'autres sources sonores. deuxièmement, la voix d'intérêt dans cette application présente de nombreuses différences avec la voix typique qui est celle des applications de reconnaissance automatique de la parole (rap) grand public, ces différences sont introduites par les modifications dues aux effets de l'âge du locuteur, à la situation fortement émotive dans laquelle il se trouve ainsi que l'occurrence de certaines pathologies. à ceci s'ajoute le manque de connaissance et de corpus réels sur l'appel de détresse. les quelques études sur le sujet ont porté sur les urgences téléphoniques @xcite qui n'incluent pas nécessairement de personnes âgées. dans notre étude nous nous intéressons au cas particulier de la parole distante et expressive. l'objectif de l'étude est de mettre en place un système de reconnaissance automatique de la parole (srap) à l'état de l'art et de tester ses performances sur ce type de parole. nous nous plaçons dans la situation où une pa est seule chez elle et possède un système de télé-lien social utilisant un microphone sans qu'aucun capteur ne soit porté par cette personne. afin de recueillir un corpus d'étude réaliste, nous avons enregistré un ensemble de participants représentatifs de notre cible (au niveau de l'âge) simulant des situations de détresses dans le living lab du laboratoire. ces situations ont été observées lors d'une étude socio-ethnographique. en effet, enregistrer de la véritable voix de détresse dans un habitat utilisable pour une expérience reste un défi méthodologique et éthique. dans un souci de respect de la vie privée, nous privilégions une approche in situ afin que la parole ne soit pas traitée par un serveur distant. par ailleurs, l'utilisation d'un vocabulaire restreint assure la certitude que l'identification se limite aux appels vocaux. cet article est organisé comme suit : la section 2 introduit les méthodes d'acquisition et de reconnaissance de la parole au sein de l'habitat ainsi que la méthode de détection des appels à l'aide. la section 3 présente les expériences et finalement les résultats sont discutés dans la section 4. ## méthode pour mettre en place un système de reconnaissance d'appels vocaux en situation de détresse, la première étape a consisté à étudier ces situation sur le terrain et à définir leur environnement typique ainsi que le lexique utilisé. cette étude est utile pour spécifier le système mais aussi pour mettre en place des scénarios de collecte de corpus. le système global de reconnaissance d'appels vocaux est présenté avant de développer la modélisation acoustique et la méthode de reconnaissance. ## discussion si nous comparons ces résultats avec ceux obtenus en utilisant le corpus de parole lue ad80, ils sont nettement inférieurs, le tem est 26,8% contre 14,5% @xcite . ceci peut s'expliquer par des différences notables entre les conditions d'enregistrement des 2 corpus : -ad80 est basé sur des enregistrements de locuteurs qui sont confortablement assis et en condition proche face au microphone, tandis que cirdo l'a été en condition distante, -le corpus cirdo a été enregistré avec des participants qui tombent sur le sol ou se trouvent bloqués sur le canapé. de plus, ils ont été encouragés à se mettre en situation et parler avec l'émotion qu'ils auraient ressentie dans ce type de situation. les enregistrements contiennent donc une parole expressive, mais ceci ne garantit pas totalement qu'elle l'aurait été de cette manière en condition réelle. par contre, si nous comparons maintenant ces résultats avec ceux obtenus en ligne avec cirdox et un srap utilisant @xcite et des modèles acoustiques de type gmm adaptés au locuteur, nous observons une amélioration notable @xcite . en effet le tem était 49,5% (contre 34%) et le ted 33% (contre 26,8%), ceci semble indiquer que des modèles plus élaborés, et qui prennent en compte plus de données d'apprentissage comme les sgmm, permettent une amélioration sensible des résultats de reconnaissance sur de la parole enregistrée en conditions difficile. si l'on observe le taux d'erreur au niveau des appels (ted), on observe qu'il est de 26.8% ; de plus, à l'exception d'un seul locuteur, le ted est toujours en dessous de 50% et inférieur à 20% pour 6 locuteurs. cela suggère qu'un appel à l'aide a de meilleures chances d'être détecté si le locuteur est en capacité de le répéter deux ou trois fois. cependant, si le système n'identifie pas le premier appel de détresse à cause de la voix altérée par l'émotion, il y a des chances que cette non-détection augmente encore l'émotion ressentie par la personne, ce qui aura pour conséquence une difficulté accrue pour le système de reconnaissance. dans le même ordre d'idée, ce corpus a été enregistré en conditions réalistes, mais ne reproduisant pas totalement la réalité : la production vocale des personnes âgées fragiles est difficilement reproductible par des personnes jeunes. il convient d'éviter au maximum la nécessité pour les personnes d'avoir à répéter un appel, il est donc important de poursuivre les efforts en vue de résoudre ces erreurs. ## conclusion et perspectives cette étude s'est focalisée sur la rap dans le cadre de maisons intelligentes et en conditions distantes et réalistes : des conditions très différentes de celles d'un corpus enregistré assis et proche du micro. en effet, le corpus cirdo constitué d'appels de détresse en parole distante et qui simulent des conditions réalistes (chutes, blocage sur un canapé) a été utilisé. le tem obtenu en sortie d'un système srap dédié était 36,3% au niveau des appels de détresse. cependant, grâce à un filtrage des hypothèse au niveau phonétique, plus de 70% des appels ont pu être détectés. ces résultats obtenus en conditions réalistes donnent une bonne idée des performances qui peuvent être obtenues avec un srap état de l'art dans ces conditions spécifiques avec des utilisateurs finaux. ces résultats on été obtenus dans des cas de situations de détresse, perturbées par les émotions ; ce type d'expérimentation pourra être étendu à d'autres situations où l'expressivité est particulièrement marquée. comme expliqué précédemment, les résultats obtenus doivent être améliorés afin que le système puisse être utilisé en « production ». deux axes peuvent être explorées, le premier pourrait être une adaptation des modèles acoustiques à la prosodie de la parole expressive. l'enregistrement du type de corpus nécessaire à cette adaptation est délicat car il doit se faire en conditions réelles, ce qui représente un inconvénient majeur. une autre piste serait la reconnaissance de répétitions à intervalles réguliers d'évènements phonétiquement similaires : même si la reconnaissance de la parole en tant que telle n'est pas bonne, cela peut être signe d'un problème à régler rapidement. ces travaux montrent la nécessité de procéder à des analyses basées sur des corpus enregistrés en conditions écologiques. il sont complémentaires à d'autres travaux sur la commande vocale de la domotique @xcite pour lesquels l'aspect parole expressive n'était pas prédominant mais qui ont montré la nécessité d'une adaptation au vocabulaire et aux tournures propres de chaque utilisateur au moyen d'une analyse lexicale.