Brevet FR3085221A1 — publié le 20200228

Système multimédia comportant un équipement matériel d'interaction homme-machine et un ordinateur Domaine de l'invention La présente invention concerne le domaine des systèmes multimédias d'interaction homme-machine, destinés notamment à des applications de jeux, de simulation, de formation ou d'apprentissage. Dans le domaine de la formation et de l'apprentissage, de tels systèmes mettent souvent en oeuvre une plateforme d'apprentissage (parfois appelée « environnement numérique d'apprentissage » et en anglais « learning management system - LMS -») qui gère un processus d'apprentissage ou un parcours pédagogique. Ce genre de système informatique propose un espace numérique de travail comprenant des tests d'évaluation qui sont soit soumis à validation par l'enseignant soit proposées comme activités de régulation en auto-évaluation. Dans le domaine des jeux vidéos, une application informatique gère le déroulement des scénarios en fonction des actions du joueur ou des joueurs pour les jeux partagés, selon des règles et processus prédéterminés prenant en compte uniquement les interactions physiques du ou des joueurs avec les commandes délivrant les signaux d'entrée de l'application de jeu. Récemment, les chercheurs ont établi l'importance de la prise en compte des compétences socio-émotionnelles qui contribuent à l'efficacité individuelle et collective des enseignements. L'éventail de qualités sous-entendues est très large : l'empathie, le respect de l'autre, la capacité de solliciter ou de prêter de l'aide, l'aptitude à ajuster ses - émotions aux situations ou à discerner celles d'autrui. L'Organisation mondiale de la Santé les définit comme ac un ensemble de capacités permettant à chacun d'adopter un comportement adaptable et positif pour répondre efficacement 5 aux exigences du quotidien ». L'invention concerne plus précisément la prise en compte des contextes émotionnels dans les systèmes multimédias d'interaction homme-machine. Etat de la technique 10 On connaît dans l'état de la technique la demande de brevet américain US20080254434 décrivant un serveur de système de gestion d'apprentissage hébergeant une interface logicielle exposant des fonctions pour traiter des activités d'apprentissage associées à des objets d'apprentissage 15 conformes présentés dans une application client participante ayant un premier adaptateur d'interface logicielle ; - une application tutorielle intelligente pour sélectionner et fournir des objets d'apprentissage pour présentation à un participant via l'application cliente 20 participante, l'application tutorielle intelligente comprenant un second adaptateur d'interface logicielle pour envoyer des commandes associées à l'objet d'apprentissage conforme, l'application tutorielle intelligente comprenant en outre un module logiciel de recherche et de sélection, un module 25 logiciel d'analyse de style d'apprentissage et un module logiciel de moteur de tutorat. Un autre document, la demande internationale W02008064431A1A, décrit un procédé et un système de surveillance des changements d'état émotionnel chez un sujet 30 sur la base des expressions du visage, s'appuyant sur la capture de premières puis des deuxièmes données d'image faciale du sujet à un premier puis à un deuxième instant, et le traitement des premières et deuxièmes données d'image faciale pour produire des données de changement d'état -3 émotionnel relatives au sujet pour la période comprise entre la capture des premières données d'image faciale et des deuxièmes données d'image faciale. Dans certains modes de réalisation, une suite de stimuli est appliquée au sujet et 5 des données de changement d'état émotionnel corrélées avec chaque stimulus sont acquises. Le procédé et le système peuvent être utilisés pour la modélisation des relations entre les réponses cognitives et émotionnelles. Les modèles et l'analyse des changements d'état émotionnel du sujet peuvent 10 être employés dans divers contextes tels que la prise de décisions en matière de gestion, de recrutement, d'évaluation, d'enseignement et d'exploration approfondie de données. On connaît aussi la demande de brevet US20140234816 15 décrivant un système éducatif basé sur un réseau pour fournir une éducation sociale et émotionnelle, comprenant : - un stockage informatique configuré pour stocker une pluralité de compétences pour des scénarios d'apprentissage socio-émotionnel et d'éducation pour la 20 pluralité de compétences ; - un ou plusieurs serveurs configurés pour permettre à l'un des scénarios de formation d'être présenté sur un dispositif utilisateur, dans lequel le ou les serveurs sont configurés pour recevoir une entrée d'un utilisateur 25 enfant en réponse à la présentation de l'un des scénarios de formation ; dans lequel le stockage informatique est configuré pour stocker l'historique d'un utilisateur enfant en visualisant les scénarios d'éducation, l'entrée de 30 l'utilisateur enfant pendant la présentation des scénarios d'éducation, et une évaluation des compétences de l'utilisateur enfant en compétences émotionnelles sociales; - et un module d'intelligence configuré pour évaluer les compétences de l'utilisateur enfant en matière de 35 compétences socio-émotionnelles, en partie sur la base de la -4- contribution de l'utilisateur enfant lors de la présentation des scénarios d'éducation. La demande de brevet US20080091515 décrit un procédé de formation de secouriste mettant en oeuvre la 5 présentation d'une pluralité d'agents logiciels activables et comportant une table de niveaux associés chacun à un comportement spécifique, et un contrôleur principal commandant l'édition d'un paramètre de niveau commandant la modification de l'état desdits agents logiciels caractérisé en ce qu'il 10 comporte l'enregistrement d'un niveau de consigne et des étapes intermittentes d'acquisition d'informations représentatives de l'état émotionnel dudit secouriste, la modification du niveau commandé par le contrôleur est diminué si le niveau mesuré est supérieur au niveau de consigne, et 15 augmenté si le niveau mesuré est inférieur au niveau de consigne. Inconvénients de l'art antérieur Les solutions de l'art antérieur ne permettent pas de prendre en compte dynamiquement la situation émotionnelle 20 de l'utilisateur (joueur, apprenti ou personne en formation) pour faire évoluer en temps réel le processus de jeu ou de formation. Solution apportée par l'invention Afin de remédier à cet inconvénient, l'invention 25 concerne selon son acception la plus générale un système multimédia comportant un équipement matériel d'interaction homme-machine et un ordinateur exécutant un programme commandant le déroulement de séquences audiovisuelles caractérisé en ce qu'il comporte en outre un moyen 30 d'acquisition sonore et/ou visuel associé, une caméra pour la capture d'images faciales et un programme d'ordinateur pour la caractérisation de l'état émotionnel par analyse automatique -5 d'un visage identifié sur lesdites images faciales et pour le paramétrage de l'enchaînement desdites séquences audiovisuelles. Selon des modes de réalisation particuliers de 5 l'invention, le système présente en outre une ou plusieurs des caractéristiques suivantes : - il comporte en outre un équipement matériel de simulation piloté par un calculateur en fonction de l'état du paramétrage de l'enchaînement desdites séquences 10 audiovisuelles ; - il comporte en outre un programme paramétrable de jeu interactif ; - ledit équipement matériel d'interaction homme-machine est constitué par un casque de réalité virtuelle ou de 15 réalité augmentée ; - ledit un programme d'ordinateur pour la caractérisation de l'état émotionnel comporte des moyens d'analyse de la partie non masquée du visage identifié. 20 L'invention concerne aussi un procédé multimédia pour la commande d'un équipement matériel d'interaction homme-machine comportant une étape de commande du déroulement de séquences audiovisuelle et des étapes de caractérisation de l'état émotionnel par analyse automatique d'un visage 25 identifié sur des images faciales capturées par une caméra. Avantageusement, le déroulement des séquences audiovisuelles est déterminé en temps réel par le résultat de la caractérisation de l'état émotionnel. De préférence, les paramètres de difficulté sont 30 déterminés en temps réel par le résultat de la caractérisation de l'état émotionnel. Selon une variante, l'activation d'aides numériques est déterminée en temps réel par le résultat de la caractérisation de l'état émotionnel. -6 Description détaillée d'un exemple non limitatif de l'invention La présente invention sera mieux comprise à la lecture de la description détaillée d'un exemple non limitatif 5 de l'invention qui suit, se référant aux dessins annexés où : - la figure 1 représente une vue schématique d'un système de simulation pour la formation aux gestions de réanimation cardio-pulmonaire ; - la figure 2 représente une vue schématique du 10 processus de reconnaissance des émotions. L'invention est décrite dans ce qui suit pour un exemple non limitatif d'application à la formation aux gestes de réanimation cardio-pulmonaire. 15 En cas d'arrêt cardiaque extra-hospitalier, une réanimation cardio-pulmonaire pratiquée par un témoin de l'événement est cruciale en termes de survie. Des compressions thoraciques et une défibrillation rapide sont les principaux déterminants de la survie après un arrêt cardiaque extra- 20 hospitalier, et plusieurs données montrent que la formation du grand public permet d'améliorer la survie à 30 jours et à 1 an. La formation du grand public à la réanimation de base est efficace pour améliorer le nombre de personnes 25 volontaires pour pratiquer une réanimation de base en situation réelle notamment dans les populations à haut risque (par exemple, dans les zones où il existe un risque élevé d'arrêt cardiaque mais un faible taux d'intervention par des témoins. 30 La formation est assurée généralement avec des mannequins permettant de mettre les stagiaires en situation pour s'exercer à la Réanimation Cardio-Pulmonaire. Ces mannequins présentent des repères anatomiques réalistes permettant d'entraîner les stagiaires à la pratique 35 des gestes de ventilation et compression simulées avec une -7 résistance correspondant à un adulte ou un enfant pour pratiquer et mémoriser les bonnes techniques. De tels mannequins peuvent être associés à des moyens de réalité virtuelle qui permettent d'immerger les stagiaires dans une 5 situation réaliste et leur apprendre les gestes opportuns face à un arrêt cardiaque en étant dans une scène où une personne est victime d'un arrêt cardiaque. Le système comprend un mannequin (1) présentant la forme et les dimensions d'un torse humain, un masque de 10 réalité virtuelle (2), une caméra (3) pour l'acquisition de la position du mannequin et des mains de l'opérateur en formation et un ordinateur (4) assurant le traitement des images capturées par la caméra (3) et générant le flux vidéo affiché par le masque de réalité virtuelle (2). 15 Le mannequin (1) est essentiellement de type connu. Il comporte une plaque supérieure rigide (10) présentant la conformation d'un torse humain et une plaque inférieure rigide (11). Un ressort de compression (12) est installé entre la plaque supérieure (10) et la plaque 20 inférieure (11) pour apporter au torse une résistance comparable à celle d'une cage thoracique humaine. Le mannequin comporte également un sac gonflable (13) permettant de simuler la reprise de la respiration. 25 Il comporte aussi une tête (14) présentant un orifice en forme de bouche (15) pour réaliser des simulations d'insufflation. Un capteur (16) relié à la plaque supérieure (10) mesure l'effort appliqué sur la cage thoracique par 30 l'intermédiaire d'une jauge de contrainte (18) et fournit une information concernant l'effort de compression exercé par l'opérateur, et permettant également d'estimer le risque de fracture de cote. La position des mains peut également être acquise 35 par l'intermédiaire de système de localisation en réalité -8 virtuelle (22, 23), par exemple les composants commercialisés sous le nom commercial de HTC Vive Tracker 2.0 communiquant avec une balise fixe délivrant les informations sur la position et l'orientation tridimensionnelle de chacun des 5 poignées de l'opérateur. Traitements d'image L'ordinateur (4) fournit un flux vidéo correspondant à une scène réaliste visualisée par l'opérateur grâce à un casque de réalité virtuelle (2) lui procurant une 10 perception immersive dans une ambiance simulant un contexte d'intervention. L'ordinateur calcule par ailleurs l'incrustation dans la scène d'ambiance d'un mannequin numérique, et recalcule en temps réel le repère des images de synthèse par 15 rapport à la position du mannequin réel pour replacer sur l'image de synthèse le mannequin numérique dans une position correspondant à la position du mannequin (1) par rapport à l'opérateur. La caméra (3) capte la position des mains et 20 l'ordinateur (4) analyse l'image des mains pour rechercher dans une bibliothèque d'images numériques une image d'un couple de mains conforme à la position des mains de l'opérateur, et pour commander l'orientation de l'image numérique du couple de main sélectionné par rapport au 25 mannequin numérique, pour la mettre en correspondance avec la position des mains sur le mannequin réel (1). Ainsi l'opérateur est plongé dans une ambiance totalement immersive, et non pas dans une ambiance de réalité augmentée, et retrouve sur l'écran d'affichage la combinaison 30 des images de synthèse de l'environnement, de l'image de synthèse du mannequin numérique ou l'image d'une véritable victime repositionné en prenant en compte la position du mannequin physique (1) et la position des mains par extraction d'une image de synthèse dans une base d'images numériques, et -9 repositionnées pour correspondre à la position des mains de l'opérateur. L'écran d'affichage du casque (2) affiche également des indications techniques, par exemple sur la fréquence et le 5 niveau des compressions, et sur la conformité des gestes de l'opérateur. La position de cette zone d'affichage n'est pas fixe par rapport au référentiel des images de synthèse de l'environnement, mais est déplacée en fonction de la position de la tête de l'opérateur et de la direction de la tête et de 10 l'orientation/direction du mannequin. Ainsi, il peut orienter la tête pour prendre connaissance des informations techniques, ou détourner la tête pour déplacer la zone d'affichage de ces informations en dehors de la zone visualisée. 15 Caméra d'acquisition des expressions faciales du stagiaire Une caméra (19) est intégrée au mannequin (1) pour capturer l'image du visage de l'opérateur et fournir des images dont l'analyse permet de déterminer son état émotionnel. 20 La caméra (19) capture l'image de l'opérateur et de son attitude et fourni des images faisant l'objet d'un traitement de caractérisation en fonction d'une base de données d'expressions faciales et d'un algorithme de 25 caractérisation tel que l'algorithme décrit dans la publication « Gil Levi et Tal Hassner. Reconnaissance des émotions dans la nature via les réseaux neuronaux convolutionnels et les modèles binaires mappés. Proc. Conférence internationale ACM sur l'interaction multimodale 30 (ICMI), Seattle, 2015 ». Ces informations sont exploitées pour commander le scénario de la formation et la sélection des séquences vidéos affichées sur le masque (2). 10- Détection des émotions Les images captées par la caméra (19) font l'objet d'un premier traitement par un module de détection de visage (100). Ce module est par exemple basé sur la méthode de Viola 5 et Jones de détection d'objet dans une image numérique, par un procédé d'apprentissage supervisé permettant de détecter des visages efficacement et en temps réel des objets dans une image. Le module (100) est par exemple constitué par une 10 application informatique basée sur des classificateurs Haar rectangulaires et la représentation intégrale d'une image d'entrée, tel que décrit dans l'article de PA Viola, MJ Jones paru dans International Journal of Computer Vision, vol. 57, non. 2, pp. 137-154, 2004, incorporé par référence. 15 Un exemple de détection de visage utilisant une méthode basée sur Viola-Jones a été implémenté dans une librairie de code libre disponible à l'adresse http://www.mathworks.com/matlabcentral/fileexchange/19912. 20 La deuxième étape (200) concerne l'extraction de caractéristiques faciales à partir de la zone de l'image correspondant au visage. Un exemple de traitement est décrit dans l'article « Srinivasan R, Golomb JD, Martinez AM. A Neural Basis of Facial Action Recognition in Humans. The 25 Journal of Neuroscience. 2016;36(16):4434-4442. doi:10.1523/JNEUROSCI.1704-15.2016. ». On procède ensuite à un traitement de classification par un module (300) de classification d'expression utilisant un classificateur du plus proche voisin 30 (NN) et la machine de vecteur de support (SVM), par exemple, comme décrit dans l'article « Vishnubhotla, S., Support Vector Classification. 2005, » ou l'article « Dasarathy, B. V., Normes du plus proche voisin (NN): NN Pattern Classification Techniques. 1991 », incorporés par référence. Une règle euclidienne-NN ou la règle cosinus-NN peuvent également être utilisées. La région faciale à modéliser est annotée automatiquement par une collection de points de repère. Un 5 vecteur de forme est donné par les coordonnées concaténées de tous les points de repère et peut être formellement écrit comme, s = (xl, x2, xL, yl, y2, yL) T, où L est le nombre des points de repère. Le modèle de forme peut être obtenu en appliquant 10 une analyse en composantes principales (PCA) sur l'ensemble des formes alignées. Après la création d'un modèle statistique d'apparence, un algorithme (400) est utilisé pour adapter le modèle statistique à une nouvelle image. Ceci détermine la 15 meilleure correspondance du modèle à l'image permettant de trouver les paramètres du modèle qui génèrent une image synthétique aussi proche que possible de l'image cible. Ce traitement permet d'associer les caractéristiques géométriques affectées lors de l'expression 20 des émotions. A titre d'exemples, lorsqu'ils sont surpris, les yeux et la bouche s'ouvrent largement, ce dernier résultant en un menton allongé. La tristesse s'exprime par un clignotement fréquent des yeux. Quand ils sont en colère, les sourcils ont 25 tendance à être attirés ensemble. Chaque image acquise par la caméra (19) est classée en temps réel en comparant ses paramètres avec un modèle correspondant à chaque expression. Les modèles pour chaque classe sont obtenus par une moyenne sur une succession 30 d'image, ou une médiane, sur le vecteur de paramètres de forme pour chaque expression. Les classificateurs sont de type expression 1 / expression 2, c'est-à-dire neutre / non-neutre, triste / non-triste, colère / non-colère, dégoûté / non-dégoûté, peur / -12- non-peur, surpris / non-surpris, et heureux / non-heureux, et de type expression / non-expression. Le résultat de ce traitement défini une combinaison de paramètres représentatifs de l'état émotionnel du stagiaire 5 ou du joueur. Ces paramètres sont exploités par le programme de simulation ou de jeu pour commander en temps réel le séquencement des interactions homme-machine. Par exemple, dans une application de simulation, 10 les paramètres émotionnels neutres commanderont la sélection de séquences plus difficiles. Des paramètres émotionnels de peur commanderont la sélection de séquences moins anxiogènes. Le but est de mettre le stagiaire ou le joueur dans des situations contextuelles variées, adaptées à améliorer sa 15 maîtrise des gestes dans des conditions proches des environnements réelles, en prenant en compte sa capacité d'apprentissage sous stress. 5 audiovisuelles caractérisé 1 - Système matériel d'interaction en ce qu'il comporte en équipement ordinateur séquences outre un 13- REVENDICATIONSmultimédia comportant un homme-machine et un exécutant un programme commandant le déroulement de moyen d'acquisition sonore et/ou visuel associé, une caméra pour la capture d'images faciales et un programme d'ordinateur pour la caractérisation de l'état émotionnel par analyse automatique d'un visage identifié sur lesdites images faciales 10 et pour le paramétrage de l'enchaînement desdites séquences audiovisuelles. 2 - Système multimédia selon la revendication 1 caractérisé en ce qu'il comporte en outre un équipement 15 matériel de simulation piloté par un calculateur en fonction de l'état du paramétrage de l'enchaînement desdites séquences audiovisuelles. 3 - Système multimédia selon la revendication 1 20 caractérisé en ce qu'il comporte en outre un programme paramétrable de jeu interactif. 4 - Système multimédia selon la revendication 1 caractérisé en ce que ledit équipement matériel d'interaction 25 homme-machine est constitué par un casque de réalité virtuelle ou de réalité augmentée. - Système multimédia selon la revendication précédente caractérisé en ce que ledit un programme 30 d'ordinateur pour la caractérisation de l'état émotionnel comporte des moyens d'analyse de la partie non masquée du visage identifié. -14- 6 - Procédé multimédia pour la commande d'un équipement matériel d'interaction homme-machine comportant une étape de commande du déroulement de séquences audiovisuelle et des étapes de caractérisation de l'état émotionnel par analyse 5 automatique d'un visage identifié sur des images faciales capturées par une caméra. 7 - Procédé multimédia selon la revendication 6 caractérisé en ce que le déroulement des séquences audiovisuelles est déterminé en temps réel par le résultat de la caractérisation de l'état émotionnel. 8 - Procédé multimédia selon la revendication 6 caractérisé en ce que les paramètres de difficulté sont 15 déterminés en temps réel par le résultat de la caractérisation de l'état émotionnel. 9 - Procédé multimédia selon la revendication 6 caractérisé en ce que l'activation d'aides numériques est 20 déterminée en temps réel par le résultat de la caractérisation de l'état émotionnel.