Brevet FR3076927A1 — publié le 20190719

Description Titre de l'invention : Dispositif et procédé améliorés de commu- nication d'informations sonores à un utilisateur en réalité augmentée Domaine technique [0001] L'invention se situe dans le domaine de la communication d'informations sonores à un utilisateur en réalité augmentée. État de la technique antérieure [0002] On connaît des dispositifs pour communiquer des informations visuelles à un uti- lisateur en réalité augmentée. [0003] Ces dispositifs ont pour inconvénient de nuire à la concentration visuelle de la personne et de ne pas pouvoir être utilisés par des personnes déficientes visuelles. Exposé de l'invention [0004] Un but de l'invention est notamment de remédier à tout ou partie des inconvénients précités. [0005] Selon un premier aspect de l'invention, il est proposé un dispositif convenant à être porté par un utilisateur et agencé pour indiquer des informations sonores en réalité augmentée à l'utilisateur, comportant : . une centrale inertielle, dite de tête, agencée pour être portée par la tête de l'utilisateur et pour générer des données d'orientation relatives à la direction de la tête ; . un dispositif de capture d'image agencé pour capturer des images et générer au moins une image capturée, . une unité centrale de traitement configurée pour : . recevoir l'au moins une image capturée . analyser ladite au moins une image capturée au moyen d'un réseau de neurones pour reconnaître un ou plusieurs objets apparaissant dans l'image, . générer un espace virtuel et y placer une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus, . recevoir les données d'orientation, et . déterminer un signal binaural reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par l'une ou plusieurs sources virtuelles placées dans l'espace virtuel orienté à partir des données d'orientation reçues, . générer un signal audio comportant le signal binaural déterminé, 2 - une unité d'écoute agencée pour restituer le signal audio généré et destinée à être portée par la tête. [0006] Aussi, l'utilisateur a la sensation que les objets reconnus génèrent des sons. [0007] Ceci peut être utilisé pour indiquer à une personne malvoyante qu'il se présente un escalier devant elle. [0008] L'objet reconnu par le réseau de neurones peut aussi être un objet virtuel. Par exemple, le réseau de neurones peut détecter une différence de niveau, par exemple dans le métro entre le quai et les rails, et créer un objet virtuel de danger positionné le long de la différence de niveau. La personne malvoyante peut alors être prévenue, par une source sonore placée sur l'objet virtuel, du danger auquel elle est confrontée. [0009] Par extension, l'objet reconnu par le réseau de neurones peut être un texte, un obstacle ou encore une personne. [0010] Selon une possibilité le dispositif de capture d'image peut comprendre une ou plusieurs caméras. [0011] Les données d'orientation peuvent comprendre une ou plusieurs informations, notamment choisies parmi l'ensemble des angles de roulis, de tangage et de cap. [0012] Le réseau de neurones peut être de type YOLO (pour l'anglais You Only Look Once), pour la détection en temps réel d'objet. Le réseau de neurones YOLO exploite la puissance de l'apprentissage profond en intelligence artificielle (Deep Learning en anglais). [0013] L'unité d'écoute peut être notamment un casque stéréo. [0014] De préférence, l'unité d'écoute comporte des écouteurs à conduction osseuse. L'intérêt de la conduction osseuse est de permettre une écoute ouverte, c'est-à-dire sans obstruer le conduit auditif. Il est avantageux de ne pas obstruer le conduit auditif, notamment pour des personnes malvoyantes. Bien entendu, plus généralement, l'unité d'écoute peut comporter des écouteurs « ouverts », c'est-à-dire des écouteurs qui n'obstruent pas le conduit auditif. [0015] Selon une possibilité, l'unité centrale est en outre configurée pour déterminer un signal haptique à partir des données d'orientation, le dispositif comportant en outre des moyens de vibration configurés pour générer ledit signal haptique. [0016] L'unité centrale peut être en outre configurée pour générer une pluralité de signaux haptiques distincts, par exemple des vibrations distinctes, en fonction de des données d'orientation, de leur évolution, ou d'un retraitement de ces données. [0017] On peut par extension parler de « grammaire haptique » implantée dans l'unité centrale et qui comporte un ensemble de règles prédéterminées, et/ou évolutives, visant à associer des vibrations, ou séquences de vibrations, en fonction de données d'orientation, de leurs évolutions, ou d'un retraitement de ces données. [0018] De préférence, l'unité centrale peut être en outre configurée pour déterminer une 3 évolution de la position de l'utilisateur entre une première et une deuxième position, et pour déterminer un signal binaural modifié à partir de ladite évolution entre les deux positions, l'unité centrale de traitement pouvant en outre être configurée pour générer le signal audio à partir du signal binaural déterminé modifié. [0019] Avantageusement, l'unité centrale peut en outre être configurée pour déterminer le signal binaural modifié à partir d'une part du signal binaural déterminé dans la première position et d'autre part d'une amplification de l'évolution de la position de l'utilisateur entre les deux positions. Ainsi, l'utilisateur peut être rapidement réconforté ou contredit dans ses choix de déplacements par une amplification des variations de signaux binauraux entre deux déplacements. [0020] Selon un mode de réalisation avantageux, le signal audio peut en outre comprendre un signal d'indication de la proximité d'un objet d'intérêt avec un objet reconnu. Le signal d'indication peut être un signal audio, qui peut être généré par l'unité centrale, par exemple à partir de l'objet d'intérêt dans l'image capturée. L'objet d'intérêt peut avantageusement être la main de l'utilisateur. Cela permet d'aider l'utilisateur à rapprocher sa main de l'objet reconnu, par exemple au moyen d'indication verbale de type « chaud-froid » ou encore d'un son prédéterminé, notamment un son dont le volume augmente avec la diminution de la distance entre la main de l'utilisateur et l'objet reconnu. [0021] Avantageusement, l'unité centrale peut en outre être configurée pour déterminer des instructions vocales à partir des données d'orientation reçues et des un ou plusieurs objets reconnus, et pour ajouter les instructions vocales déterminées au signal audio. Des instructions vocales peuvent être du type «à 13 heures » ou encore «à 6 heures ». Les instructions vocales peuvent permettre de lever le doute sur la localisation de la source sonore virtuelle, et donc du cap, lorsque celle-ci est exactement devant, ou exactement derrière l'utilisateur. Les instructions vocales améliorent encore le guidage de l'utilisateur. [0022] Préférablement, le dispositif peut comporter en outre une centrale inertielle, dite de cou, agencée pour être portée au niveau du cou de l'utilisateur et générer des données d'orientations, la centrale inertielle de tête étant en outre configurée pour générer des données d'orientation et la centrale inertielle de cou étant en outre configurée pour générer des données d'orientation. [0023] Avantageusement, l'unité centrale de traitement peut être en outre configurée pour : - synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification, - rectifier, à partir dudit coefficient de rectification, les données d'orientations générées par la centrale inertielle de tête et les données d'orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les 4 données d'orientations de la centrale inertielle de tête et les données d'orientations de la centrale inertielle de cou. [0024] La synchronisation peut commencer par une phase de calibration de la centrale inertielle de tête. [0025] L'utilisateur peut se voire demander d'effectuer un mouvement particulier de tête, puis de rester immobile pendant quelques secondes. Le nord magnétique peut ainsi être trouvé (et stabilisé) par la centrale inertielle de tête. [0026] Lorsque que le nord magnétique est stabilisé, la centrale inertielle de cou peut être synchronisée sur cette valeur. De cette façon, les deux centrales inertielles peuvent disposer du même nord de référence. [0027] Au cours de l'utilisation, la centrale inertielle du cou peut devenir la centrale inertielle de référence. Lors d'une indication de direction donnée par la centrale inertielle de tête, celle-ci peut être corrigée en ajoutant/soustrayant la différence entre le nord indiqué par la centrale inertielle de cou, et le nord indiqué par la centrale inertielle de tête. [0028] Selon une possibilité avantageuse, l'unité centrale est agencée pour être portée par l'utilisateur. [0029] Selon une autre possibilité, l'unité centrale est disposée à distance de l'utilisateur. Le dispositif comporte alors des moyens de communication des données de position générées par la centrale inertielle de tête - éventuellement des données de position générées par centrale inertielle de cou - à destination de l'unité centrale et des moyens de communication du signal audio généré par l'unité centrale à destination de l'unité d'écoute. [0030] On comprend qu'il est aussi possible que le dispositif selon l'invention comporte deux, ou plus unités, centrale inertielle de tête, chacune étant destinée à être portée par un utilisateur et deux unités d'écoute, chacune étant destinée à être portée par l'un des utilisateurs, l'unité centrale étant configurée pour générer différents signaux audio à destination des différents utilisateurs. [0031] L'unité de positionnement géographique peut par exemple être un module de réception GPS, un module GALILEO ou encore un module GLONASS. [0032] Selon un deuxième aspect de l'invention, il est proposé un procédé d'indication d'informations sonores en réalité augmentée à un utilisateur, comportant : . une génération de données d'orientation par une centrale inertielle, dite de tête, agencée pour être portée par la tête de l'utilisateur et pour générer des données d'orientation relatives à la direction de la tête, . une capture par un dispositif de capture d'image d'au moins une image capturée, . une réception par un réseau de neurones de l'au moins une image capturée, - une analyse par le réseau de neurones de l'au moins une image reçue pour reconnaître un ou plusieurs objets apparaissant dans l'image, - un placement dans un espace virtuel, par l'unité centrale de traitement, d'une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus, - une réception des données d'orientation par l'unité centrale de traitement, - une détermination, par l'unité centrale de traitement, d'un signal binaural reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par les une ou plusieurs sources virtuelles, placées dans l'espace virtuel orienté à partir des données d'orientation reçues, - une génération, par l'unité centrale de traitement, d'un signal audio, comportant le signal binaural déterminé, - une restitution, par une unité d'écoute destinée à être portée par la tête, du signal audio généré. [0033] Selon un mode de réalisation, le procédé peut comporter une détermination par l'unité centrale d'un signal haptique à partir des données d'orientation et une génération dudit signal haptique à partir de moyens de vibration. [0034] De préférence, le procédé peut comporter en outre une détermination par l'unité centrale d'une évolution de la position de l'utilisateur entre une première et une deuxième position, et une modification par l'unité centrale du signal binaural déterminé à partir de ladite évolution entre les deux positions, la génération par l'unité centrale de traitement comportant le signal binaural déterminé modifié. [0035] Avantageusement, le signal binaural modifié peut être déterminé à partir d'une part du signal binaural déterminé dans la première position et d'autre part d'une amplification de l'évolution de la position de l'utilisateur entre les deux positions. Ainsi, l'utilisateur peut être rapidement réconforté ou contredit dans ses choix de déplacements par une amplification des variations de signaux binauraux entre deux déplacements. [0036] Dans un mode de réalisation préféré du procédé d'indication d'informations sonores en réalité augmentée, l'unité de traitement peut en outre être configurée pour générer le son binaural à partir d'au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l'une et/ou deux des oreilles de l'utilisateur. On peut par exemple utiliser des fonctions de transfert HRTF (pour l'anglais Head Related Transfer Function). [0037] Le procédé peut en outre mettre en oeuvre une centrale inertielle, dite de cou, agencée pour être portée au niveau du cou de l'utilisateur et générer des données d'orientations. [0038] Le procédé peut comporter en outre une génération de données d'orientation par la centrale inertielle de tête et une génération de données d'orientation par la centrale 6 inertielle de cou, l'unité centrale de traitement étant en outre configurée pour : - synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification, - rectifier, à partir dudit coefficient de rectification, les données d'orientations générées par la centrale inertielle de tête et les données d'orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d'orientations de la centrale inertielle de tête et les données d'orientations de la centrale inertielle de cou. [0039] Avantageusement, le procédé d'indication d'informations sonores en réalité augmentée peut en outre comporter un ajout d'instructions vocales au signal audio par l'unité centrale. [0040] Selon une possibilité, le procédé d'indication d'informations sonores peut comprendre une étape de nouvelle restitution par l'unité d'écoute des dernières instructions vocales et/ou du denier signal audio généré. L'étape de nouvelle restitution peut être déclenchée par appui d'un utilisateur sur une partie prédéterminée de l'unité d'écoute ou d'un dispositif fonctionnellement raccordé à l'unité d'écoute, par exemple un écran tactile d'un téléphone portable. C'est un mécanisme qui rend l'utilisateur décideur du moment auquel l'information lui est à nouveau donnée, ce qui tend ainsi à limiter la fatigue cognitive. [0041] Selon un troisième aspect de l'invention, il est proposé un produit programme d'ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d'une unité de calcul, comportant des instructions de code de programme qui, lorsqu'elles sont exécutées par l'unité de calcul, mettent en oeuvre les étapes d'un procédé selon le deuxième aspect de l'invention, ou l'un ou plusieurs de ses perfectionnements. Description des figures [0042] D'autres avantages et particularités de l'invention apparaîtront à la lecture de la des- cription détaillée de mises en oeuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels : [0043] [fig.1] la figure 1 représente schématiquement, un mode de réalisation d'un dispositif selon l'invention ; [0044] [fig.21 la figure 2 représente schématiquement un détail de deux étapes d'un mode de réalisation d'un procédé selon l'invention. Description de mode de réalisation [0045] Les modes de réalisation décrits ci-après n'étant nullement limitatifs, on pourra notamment considérer des variantes de l'invention ne comprenant qu'une sélection de 7 caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. [0046] Bien entendu l'invention n'est pas limitée au(x) mode(s) de mise en oeuvre décrit(s) et on peut y apporter des variantes de réalisation sans sortir du cadre de l'invention tel que défini par les revendications. [0047] Sur les figures, un élément apparaissant sur plusieurs figures conserve la même référence. [0048] En référence aux Figures 1 et 2, il est maintenant décrit en même temps un mode de réalisation d'un dispositif 1 selon l'invention et un procédé 100 d'indication d'informations sonores en réalité augmentée à un utilisateur. [0049] Le dispositif 1 comporte : - une centrale inertielle 2, dite de tête, agencée pour être portée au niveau de la tête de l'utilisateur ; - un dispositif de capture d'image 201 agencé pour capturer des images et générer au moins une image capturée 202; - un réseau de neurones 204 pour reconnaître un ou plusieurs objets 10 apparaissant dans l'image capturée 202; - une centrale inertielle 3, dite de cou, agencée pour être portée au niveau du cou de l'utilisateur ; - une unité centrale de traitement 4, ici un microprocesseur d'un smartphone, portée par l'utilisateur ; - une unité d'écoute 5, qui dans le mode de réalisation particulier comporte un amplificateur 6 et des écouteurs 7 à conduction osseuse. [0050] Le procédé 100 comporte : - une génération 102 de données d'orientation 8 relatives à la direction de la tête par la centrale inertielle 2 de tête, - une capture 301 par le dispositif de capture d'image 201 de l'image capturée 202, - une réception 302 par le réseau de neurones 204 de l'au moins une image capturée 202, - une analyse 303 par le réseau de neurones 204 de l'au moins une image reçue pour reconnaître un ou plusieurs objets 10 apparaissant dans l'image, - un placement 106 dans un espace virtuel, par l'unité centrale de traitement 4, 8 d'une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus, - une réception 108 des données d'orientation par l'unité centrale de traitement, - une détermination 112, par l'unité centrale de traitement, d'un signal binaural 11 reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par les sources virtuelles, placées dans l'espace virtuel orienté à partir des données d'orientation reçues, - une génération 104 de données d'orientation 9 par la centrale inertielle 3 de cou, - une réception 110, par l'unité centrale de traitement 4, des données d'orientation 9, - une détermination 112, par ladite unité centrale de traitement 4, d'un signal binaural 11 résultant d'une émission sonore par la source virtuelle 10, reçu au niveau des oreilles de l'utilisateur et à partir desdites données d'orientation reçues 8 et 9, - une génération 114, par ladite unité centrale de traitement 4, d'un signal audio 12, comportant le signal binaural 11 déterminé, - une amplification 116, par l'amplificateur 6, du signal audio 12 généré, - une restitution 118, par les écouteurs 7, dudit signal audio amplifié. [0051] Dans le mode de réalisation du dispositif 1, l'unité de traitement 4 est en outre configurée pour générer le son binaural 11 à partir d'au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l'une et/ou deux des oreilles de l'utilisateur. [0052] Dans le mode de réalisation du dispositif 1, l'unité de traitement 4 est en outre configurée pour déterminer un signal haptique à partir des données d'orientation. Le dispositif 1 comporte en outre des moyens de vibration (non représentés) et configurés pour générer ledit signal haptique. [0053] Par exemple, il peut exister un vibrateur porté sur le côté gauche de l'utilisateur et un vibrateur porté sur le côté droit de l'utilisateur. [0054] Lorsque la direction est situé plus à gauche que les données d'orientation, l'unité centrale peut être configurée pour mettre en vibration le vibrateur disposé du côté gauche de l'utilisateur. [0055] Lorsque la direction est situé plus à droite que les données d'orientation, l'unité centrale peut être configurée pour mettre en vibration le vibrateur disposé du côté droit de l'utilisateur. [0056] En référence à la figure 2, il est maintenant décrit plus précisément les deux sous- étapes 102 et 104 de génération de données d'orientations 8 et 9 par la centrale inertielle 2 de tête et la centrale inertielle 3 de cou. 9 [0057] Les sous-étapes 102 et 104 de génération des données d'orientations 8 et 9 com- prennent: - une génération 102' de données d'orientation 8' par la centrale inertielle 2 de tête, - une génération 104' de données d'orientation 9' par la centrale inertielle de cou, - une synchronisation 120 de la boussole de la centrale inertielle 2 de tête et de la boussole de la centrale inertielle 3 de cou et une détermination d'un coefficient de rectification 13, - une rectification 140, à partir coefficient de rectification 13, des données d'orientations 8' générées par la centrale inertielle 2 de tête et des données d'orientations 9' générées par la centrale inertielle 3 de cou, pour déterminer, respectivement, les données d'orientations 8 de la centrale inertielle 2 de tête et les données d'orientations 9 de la centrale inertielle 3 de cou. [0058] Par ailleurs, le procédé peut comporter une étape de détermination d'une évolution de la position de l'utilisateur, et une modification du signal binaural déterminé en fonction de ladite évolution, la génération par l'unité centrale de traitement comportant le signal binaural déterminé modifié. [0059] Lorsque l'utilisateur se déplace entre une première et une deuxième position, il existe une différence entre un signal binaural SP1 résultant d'une émission sonore par ladite source virtuelle, reçu au niveau des oreilles de l'utilisateur et à partir desdites données d'orientation reçues au niveau de la première position, et un signal binaural SP2 résultant d'une émission sonore par ladite source virtuelle, reçu au niveau des oreilles de l'utilisateur et à partir desdites données d'orientation reçues au niveau de la deuxième position. [0060] Toutefois, on comprend que si l'utilisateur ne se déplace que d'un mètre alors que le cap indiqué est virtuellement placé à 1 km de l'utilisateur, la différence entre le signal binaural SP1 et SP2 ne sera que très faible, et ne sera peut-être pas perceptible par tout utilisateur, surtout un utilisateur malentendant. [0061] Pour améliorer le fonctionnement du dispositif, il est proposé de déformer le signal SP2 en fonction de l'évolution de la position de l'utilisateur. [0062] Par exemple, si l'utilisateur se déplace d'un mètre selon la bonne direction, le signal SP2 sera modifié de sorte qu'il soit celui qui résulterait d'un déplacement correct de 10 mètres dans la bonne direction. Ceci peut être directement déterminé par l'unité centrale. [0063] A contrario, si l'utilisateur se déplace d'un mètre selon la mauvaise direction, le signal SP2 sera modifié de sorte qu'il soit celui qui résulterait d'un déplacement incorrect de 10 mètres dans une mauvaise direction. Ceci peut être directement déterminé par l'unité centrale. [0064] Ainsi, l'utilisateur peut être rapidement réconforté ou contredit dans ses choix de dé- placements par une amplification des variations de signaux binauraux entre deux déplacements. [0065] Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l'invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres. 11