FR 3091603 A1 20200710 FR 1900118 A 20190107 Description Titre de l'invention : Système interactif [0001] L'invention concerne un système interactif avec un occupant d'un véhicule au- tomobile. L'invention concerne également un procédé d'interaction avec un occupant d'un véhicule automobile. [0002] Le passage à la voiture autonome présente de plus en plus de challenges quant à la création d'un véhicule empathique qui permettra de rendre la conduite et/ou le voyage plus agréable. Les progrès restants peuvent être regroupés en trois axes regroupant la sécurité, le confort et le divertissement. [0003] Des exemples de systèmes existant permettent d'évaluer l'état émotionnel d'un occupant d'un véhicule automobile. Il est en effet connu d'effectuer des mesures permettant de déterminer différents paramètres concernant un occupant, et ainsi en déduire une donnée représentative de son état émotionnel. [0004] De manière générale, les mesures peuvent être effectuées grâce à des dispositifs portables permettant de récolter des données telle que la conductivité de la peau, la température, ou encore le rythme cardiaque. Le système utilisé comporte si possible une caméra, par exemple de type GoPro® ou encore une webcam. Un tel dispositif permet d'effectuer une reconnaissance faciale de l'occupant et ainsi adapter le système interactif [0005] Dans les systèmes connus, les paramètres obtenus sont ensuite utilisés pour dé- terminer l'état émotionnel de l'occupant. Un modèle connu consiste à obtenir, à partir des différents paramètres, une cartographie de l'état émotionnel du passager. Ainsi, celui-ci peut, par exemple, être représenté par un point dans un espace à deux dimensions formé d'un axe des abscisses correspondant à la valence (qualité intrinsèquement agréable ou désagréable d'un stimulus ou d'une situation) et un axe des ordonnées correspondant à l'arousal (force du stimulus émotionnel). [0006] L'invention vise à améliorer les systèmes connus en proposant un système interactif permettant d'évaluer l'état émotionnel d'un occupant d'un véhicule, en utilisant un index émotionnel permettant de déterminer facilement le ou les stimuli à appliquer sur ledit occupant et ainsi avoir un impact sur la sécurité et/ou le confort et/ou le divertissement de ou des occupants du véhicule. [0007] L'invention a pour objet un système interactif avec un occupant d'un véhicule au- tomobile comportant: Système interactif avec un occupant d'un véhicule automobile comportant: un dispositif de mesure comprenant au moins un capteur agencé pour acquérir au moins un paramètre lié à l'occupant dudit véhicule, une unité de traitement embarquée agencée pour recevoir ledit paramètre et 2 définir une donnée représentative de l'état émotionnel dudit occupant au moyen dudit modèle, la donnée représentative correspondant à un point dans un espace bidimensionnel de caractérisation de l'état émotionnel de l'occupant. [0008] Cette invention est remarquable en ce qu'un index de confort émotionnel est calculé à partir de la donnée représentative et qu'au moins un actionneur est configuré pour activer au moins un stimulus multi sensoriel pour interagir avec l'occupant, ledit stimulus permettant de modifier l'état émotionnel dudit occupant. [0009] Selon un aspect de l'invention, l'index de confort émotionnel peut être calculé en utilisant la formule/ - E 'C/S 1 H , Cl étant l'index de confort de confort déterminé à un temps n. émotionnel et CISn étant un 1 71 score (le l'index 100101 Selon un aspect de l'invention, le score de l'index de confort est une fonction de la valence et de l'arousal. 100111 Selon un autre aspect de l'invention, le score de l'index de confort est calcifié à partir de la formule suivante : l n + 3 x a ), ) yn étant la valence et a, CiSr, - 2 l'amusai, CIS, étant un score d'index de confort déterminé à un temps n. [0012] Selon un aspect de n est compris entre 10 millisecondes et 300 milli- secondes. [0013] Selon un autre aspect de l'invention, les valeurs du score d'index de confort sont récoltées pendant une durée comprise entre 0,1 secondes et 30 secondes, particulièrement 0,1 secondes et 5 secondes. [0014] Selon un autre aspect de l'invention, les capteurs sont composés d'au moins un radar à ultra large bande et d'une caméra infrarouge. [0015] Selon un aspect de l'invention, le radar à ultra large bande a une fréquence comprise entre 10GHz et 1THz, en particulier entre 50GHz et 160GHz. [0016] Selon un aspect de l'invention, la caméra infrarouge détecte des longueurs d'onde comprises entre 0,7pm et 100 pm, en particulier entre 25pm et 100pm. [0017] Selon un aspect de l'invention, l'au moins un stimulus multi sensoriel est un parfum et/ou des huiles essentielles et/ou un nébuliseur et/ou un éclairage et/ou un son et/ou une musique et/ou une vibration et/ou un massage et /ou un flux d'air et/ou de la lumière. [0018] Selon un aspect de l'invention, le système interactif possède une boucle d'apprentissage permettant d'améliorer le traitement du modèle d'évaluation de l'émotion. [0019] Selon un aspect de l'invention, la boucle d'apprentissage permet de créer une base de données. 3 [0020] Selon un aspect de l'invention, le système interactif comporte au moins un moyen d'affichage, particulièrement une interface utilisateur. [0021] Selon un aspect de l'invention, l'au moins un moyen d'affichage peut être un dispositif portable, en particulier une montre et/ou des lunettes et/ou un bracelet et/ou une ceinture et/ou une chemise. [0022] Selon un aspect de l'invention, l'au moins un moyen d'affichage peut être un texte et/ou une couleur et/ou un son et/ou une vibration. [0023] Selon un aspect de l'invention, la donnée représentative est prétraitéc avant d'activer l'au moins un stimulus multi sensoriel. [0024] Selon un aspect de l'invention, la donnée représentative placée dans l'espace 3D va être corrélée à une ou plusieurs cartographies correspondant à différents stimuli. [0025] Selon un aspect de l'invention, le prétraitement consiste prendre en compte des données supplémentaires, en particulier la culture et/ou l'éducation de l'occupant et/ou la vie et expérience personnelle dudit occupant. et/ou l'âge et/ou le genre et/ou le type d'habillement. [0026] Selon un aspect de l'invention, les données supplémentaires peuvent être déterminées au moyen d'un système de mesures autonome permettant la mesure de la qualité de l'air et/ou de la pollution, et/ou des microparticulcs et/ou des allergènes et/ou de l'environnement sonore et/ou de l'environnement lumineux et/ou de la température et/ ou du taux d'humidité. [0027] Selon un aspect de l'invention, le modèle d'évaluation est créé au moyen d'une in- telligence artificielle. [0028] Selon un aspect de l'invention, le stimulus multi sensoriel permet une modification de l'état émotionnel de l'occupant. [0029] Selon un aspect de l'invention, le stimulus multi sensoriel permet une remédiation de l'état émotionnel de l'occupant. [0030] Selon un aspect de l'invention, le stimulus multi sensoriel permet une amplification de l'état émotionnel de l'occupant. [0031] Selon un aspect de l'invention, l'au moins un capteur peut être choisi parmi : une caméra, en particulier à infra rouges lointains et/ou à proches infra rouges et/ou dans le visible, un microphone, un dispositif portable, un capteur installé dans le véhicule en particulier un élément conducteur placé dans un siège et/ou dans un volant et/ou dans un accoudoir. [0032] Selon un aspect de l'invention, le système interactif peut comporter au moins une caméra à infra rouges lointains, plusieurs capteurs de signes vitaux et un microphone. [0033] L'invention concerne également un procédé d'interaction avec un occupant d'un véhicule automobile comportant les étapes consistant à : mesurer un paramètre lié à un occupant d'un véhicule au moyen d'au moins un capteur, analyser le paramètre au moyen d'une unité de traitement et déterminer une donnée représentative de l'état émotionnel de l'occupant, cette donnée correspondant à un score d'index de confort, calculer un index de confort émotionnel à partir dudit score d'index de confort, actionner un actionneur de manière à activer au moins un stimulus multi sensoriel pour interagir avec l'occupant, ledit stimulus permettant de modifier l'état émotionnel dudit occupant pour interagir avec ledit occupant en fonction de l'index de confort émotionnel.. [0034] [fig.1] : la figure 1 est un diagramme schématique d'au moins une partie du procédé selon l'invention, [0035] [fig.2] : la figure 2 est une représentation schématique d'un espace bidimensionnel AV utilisé dans une des étapes du procédé de la figure 1, [0036] [fig.3] : la figure 3 est une représentation schématique de l'étape d'analyse du procédé de la figure 1, [0037] [fig.4] : la figure 4 est une représentation schématique de l'étape d'analyse du procédé de la figure 1, [0038] [fig.5] : la figure 5 est une représentation schématique de la cartographie multi sen- sorielle utilisée dans le procédé de la figure 1, [0039] [fig.6] : la figure 6 est une représentation schématique de la construction de la car- tographie de la figure 5, [0040] Le système interactif proposé dans l'invention utilise un procédé possédant cinq étapes. Ces cinq étapes représentées schématiquement sur la [fig.1] consistent en : [0041] une étape de mesures M effectuée par un dispositif de mesure et pendant laquelle un ou plusieurs paramètres concernant le ou les occupants sont récoltés, [0042] une étape d'analyse A permettant de cartographier l'état émotionnel de l'occupant, [0043] une étape de calcul C lors de laquelle un index de confort émotionnel CI est déterminé, [0044] une étape d'action Ac lors de laquelle au moins un stimulus multi sensoriel est appliqué de manière à modifier l'état émotionnel du ou des occupants. Le ou les stimuli sont choisis en fonction de la valeur de l'index de confort émotionnel CI calculé dans l'étape précédente, [0045] une éventuelle étape d'information Int lors de laquelle l'occupant est infoimé de son état émotionnel et des stimuli appliqués. [0046] Lors de l'étape de mesure M, le dispositif de mesure va acquérir un ou plusieurs pa- ramètres décrivant le statut et donc l'état émotionnel de l'occupant (ce qui est décrit pour un occupant peut bien sûr être appliqué à plusieurs occupants du véhicule simultanément). Des paramètres décrivant l'environnement dans lequel se trouve l'occupant peuvent également être récoltés de manière à en déduire leur effet éventuel sur l'état émotionnel de l'occupant. [0047] Le dispositif décrit dans les paragraphes précédents est composé d'un ou plusieurs capteurs. Ces capteurs sont préférentiellement des capteurs embarqués dans le véhicule, comme par exemple une ou plusieurs caméras, des capteurs de signes vitaux, un ou plusieurs microphones ou encore des capteurs de contact. [0048] Dans un mode de réalisation préféré, les mesures sont effectuées par des caméras, en particulier des caméras infrarouges qui prennent des images dans le domaine infrarouge. Ces caméras sont dirigées vers les positions attendues des différents occupants du véhicule : siège conducteur, siège passager, banquette arrière, etc...En particulier, une ou plusieurs caméras très grand angle (par exemple de type « fisheye » ou « oeil de poisson » en français) peuvent couvrir plusieurs positions de façon simultanée. Les caméras infrarouges détectent préférentiellement des longueurs d'onde comprises entre 0,7pm et 100pm, préférentiellement 25pm et 100pm. [0049] Ces caméras comportent, avantageusement, des caméras infrarouges proches (« NIR » pour « Near Infra Red »), et/ou des caméras infrarouges lointains (« FIR » pour « Far Infra Red »). [0050] Les images issues des caméras infrarouges proches peuvent par exemple servir à délimiter la position, dimensions et mouvements de différentes parties du corps d'un occupant du véhicule. Les images issues des caméras infrarouges lointains peuvent par exemple servir à identifier les parties du corps de l'occupant échangeant le plus de chaleur avec l'habitacle, par exemple la tête et les mains, qui ne sont pas recouvertes de vêtements et apparaîtront ainsi plus chaudes. Les camera FIR et RGB NIR peuvent être fusionnées pour mieux identifier un endroit fixe sur la caméra RGB plus précise et le suivre sur la caméra FIR. [0051] Les images issues des caméras infrarouges proches peuvent par exemple servir à délimiter la position, dimensions et mouvements de différentes parties du corps d'un occupant du véhicule. Les images issues des caméras infrarouges lointains peuvent par exemple servir à identifier les parties du corps de l'occupant échangeant le plus de chaleur avec l'habitacle, par exemple la tête et les mains, qui ne sont pas recouvertes de vêtements et apparaîtront ainsi plus chaudes. [0052] Comme précisé ci-dessus, le dispositif de mesure permet également de déterminer l'environnement du ou des passagers, celui-ci pouvant influer sur son état émotionnel. Ainsi, des données telles que la température, l'intensité lumineuse, le bruit, la vitesse du véhicule, etc...vont pouvoir être récoltées. [0053] D'autres types de paramètres seront également récupérés au moyen d'autres capteurs. [0054] Le dispositif de mesure comporte au moins un microphone permettant d'enregistrer la voix du ou des passagers. 6 [0055] Le dispositif de mesure peut également comporter des biocapteurs pouvant détecter des paramètres tels que des composés organiques, des ions, des bactéries, etc... [0056] Le dispositif de mesure peut aussi être composé de capteurs de signes vitaux. Ceux-ci peuvent par exemple se présenter sous la forme de capteurs sans contact comme par exemple un radar, une caméra, ou encore des éléments portables (montre, chemise, bracelet, etc...). [0057] Des capteurs de signes vitaux en contact avec le passager peuvent également être utilisés. Ils se présentent, par exemple, sous la forme d'éléments conducteurs installés dans des parties du véhicule (accoudoir, volant, siège, etc...). Ces capteurs de signes vitaux mesurent des paramètres tels que le rythme et/ou la fréquence cardiaque, la fréquence et/ou l'amplitude respiratoire, la conductivité de la peau, les ondes cérébrales, etc... [0058] Un mode de réalisation préféré utilise un radar de courte portée à ultra large bande. La fréquence du radar peut par exemple être comprise entre 10GHz et 1THz, préférentiellement entre 50GHz et 160GHz. [0059] L'étape suivante d'analyse A consiste à évaluer et interpréter les paramètres obtenus lors de l'étape de mesure M. Ainsi ces paramètres vont être traduits en une donnée représentative facilement représentée dans un espace bidimensionnel ou espace 2D anvn de caractérisation de l'état émotionnel. Cet espace 2D est représenté sur la [fig.3]. Il est formé d'un premier axe correspondant à la valence vn et d'un deuxième axe correspondant à l'arousal an. [0060] La valence caractérise le niveau de plaisir ou de désagrément associé à une émotion alors que 1' arousal peut être défini comme étant l'intensité des affects et de la réponse générée par cette émotion. [0061] L'état de contrôle de l'individu peut aussi être évalué à partir de mesures faites sur le véhicule. On parle alors de dominance. L'espace utilisé est alors un espace tridimensionnel et non plus bidimensionnel. [0062] La [fig.3] illustre le placement de la donnée représentative décrite précédemment, dans l'espace bidimensionnel anvn. Cette donnée varie au cours du temps passé par l'occupant dans le véhicule. Ainsi, une première donnée représentative est fournie pour un temps tO alors que la donnée représentative correspondant au présent est illustrée par tactual. Des mesures en continu sont de préférence effectuées, de manière à obtenir la courbe représentée sur la [figure 3]. Toutefois, des mesures discrètes peuvent également être réalisées. [0063] L'état émotionnel de l'occupant en fonction du placement de la donnée repré- sentative sur l'espace 2D anvn peut alors être donné. [0064] Un exemple de la cartographie décrite précédemment, est représenté sur la [fig.4]. Cette cartographie de l'état émotionnel de l'occupant va ensuite être corrélée à une ou 7 plusieurs cartographies correspondant à différents stimuli. Ces stimuli sont basés sur les cinq sens : vue, odorat, goût, toucher, ouïe. Les cartographies correspondant à chacun des cinq sens sont représentées sur la figure 5. [0065] La cartographie des cinq sens s'effectue en trois étapes illustrées sur la [fig.6]. En effet, les réglages initiaux du véhicule peuvent être décrits comme étant ceux correspondant à l'état émotionnel primaire de l'occupant, c'est-à-dire un état émotionnel ou l'occupant réagi de manière primaire. [0066] La cartographie est ensuite modifiée en prenant en compte l'impact de la culture et/ ou de l'éducation de l'occupant. Cette étape peut, par exemple, être effectuée par apprentissage profond (ou « deep learning » en anglais), permettant d'obtenir un profil utilisateur pour chaque occupant. [0067] La dernière étape dans la construction de la cartographie, concerne l'impact de la vie personnelle et/ou de l'expérience de l'occupant. Cette étape se fait de préférence, par apprentissage statistique (ou « machine learning » en anglais) permettant ainsi d'adapter en temps réel la cartographie. [0068] L'étape de calcul C de l'index de confort émotionnel Cl est effectuée grâce à plusieurs mesures du score de l'index de confort CISn pouvant être déduit de la donnée représentative décrite précédemment et donc des valeurs de la valence v' et de l'amusai a' à un temps donné. [0069] Le score CIS,, est calculé à partir d'une fonction dont les variables sont la valence v' et l'arousal a,,,représentant respectivement le vécu positif ou négatif de l'occupant, ainsi que l'importance dudit vécu. [0070] Le score de l'index de confort CIS, peut être calculé à partir de la formule suivante : V 4- ( 3 x an) dans laquelle v,, est la valence, et a, est l'arousal. - n 2 100711 Cependant, le score de l'index de confort C1S' peut être calculé à partir d'une formule plus complexe fonction de la valence v' et de l'arousal an. 100721 L'index de confort émotionnel CI peut alors être calculé à partir de la moyenne de différents scores CIS' calculés pour des temps donnés. Celui-ci sc déduit de la formule suivante : [ n ers j dans laquelle CI est l'index de confort émotionnel CI - 11 et CISn est le sco e de l'index de confort obtenu à un temps n. [0073] Plusieurs évaluations successives, préférentiellement des évaluations effectuées de manière discrète, sont réalisées à partir de mesures faites dans le véhicule sur une durée pouvant, par exemple, être comprise, entre 0,1 sec et 5 sec. La période d'échantillonnage peut, par exemple, être comprise entre 10 millisecondes et 300 millisecondes. [0074] L'étape d'action Ac représentée sur la [fig.1], correspond à l'application d'un ou 8 plusieurs stimuli. Le choix du stimulus dépend de l'effet désiré. Après avoir calculé l'index de confort émotionnel comme expliqué précédemment, différents types d'actions peuvent être sélectionnées. [0075] Les stimuli multisensoriels utilisés peuvent, par exemple, être : [0076] Pour la vue : utilisation de l'éclairage intérieur avec différentes couleurs et/ou de dif- férentes intensités, [0077] Pour l'odorat : utilisation d'un diffuseur de parfum, d'huiles essentielles ou encore de phéromones, [0078] Pour le toucher : utilisation de panneaux radiants, nébulisation d'eau, utilisation de jets d'air chauds et/ou froids, [0079] Pour l'ouïe : sélection de musiques ou de bruits d'ambiance, [0080] Pour le goût : diffusion de parfum ou nébulisation pouvant créer des phéromones évoquant les cinq saveurs principales (salé, acide, amer, sucré, umami). [0081] Tl peut exister des moyens d'affichage permettant d'informer l'occupant sur son état émotionnel. Le système interactif peut posséder un ou plusieurs moyens d'affichage. Celui-ci peut se présenter, par exemple, sous la forme d'un dispositif portable, en particulier une montre et/ou des lunettes et/ou un bracelet et/ou une ceinture et/ou une chemise et/ou un téléphone portable. [0082] Le moyen d'affichage peut également se présenter sous la forme d'un texte et/ou d'une couleur et/ou d'un son et/ou d'une vibration. 9