Brevet FR3076709A1 — publié le 20190719

- 1 - Dispositif et procédé de communication d'informations sonores à un utilisateur en réalité augmentée Domaine technique L'invention se situe dans le domaine de la communication d'informations sonores à un utilisateur en réalité augmentée. État de la technique antérieure On connaît des dispositifs pour communiquer des informations visuelles à un utilisateur en réalité augmentée. Ces dispositifs ont pour inconvénient de nuire à la concentration visuelle de la personne et de ne pas pouvoir être utilisés par des personnes déficientes visuelles. Exposé de l'invention Un but de l'invention est notamment de remédier à tout ou partie des inconvénients précités. Selon un premier aspect de l'invention, il est proposé un dispositif convenant à être porté par un utilisateur et agencé pour indiquer des informations sonores en réalité augmentée à l'utilisateur, comportant : - une centrale inertielle, dite de tête, agencée pour être portée par la tête de l'utilisateur et pour générer des données d'orientation relatives à la direction de la tête ; - un dispositif de capture d'image agencé pour capturer des images et générer au moins une image capturée, - une unité centrale de traitement configurée pour : o recevoir l'au moins une image capturée - 2 - o analyser ladite au moins une image capturée au moyen d'un réseau de neurones pour reconnaître un ou plusieurs objets apparaissant dans l'image, o générer un espace virtuel et y placer une ou plusieurs sources 5 sonores virtuelles pour chacun des un ou plusieurs objets reconnus, o recevoir les données d'orientation, et o déterminer un signal binaural reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par l'une ou plusieurs sources virtuelles placées dans l'espace virtuel orienté à partir des 10 données d'orientation reçues, o générer un signal audio comportant le signal binaural déterminé, - une unité d'écoute agencée pour restituer le signal audio généré et destinée à être portée par la tête. Aussi, l'utilisateur a la sensation que les objets reconnus génèrent des 15 sons. Ceci peut être utilisé pour indiquer à une personne malvoyante qu'il se présente un escalier devant elle. L'objet reconnu par le réseau de neurones peut aussi être un objet virtuel. Par exemple, le réseau de neurones peut détecter une différence de niveau, 20 par exemple dans le métro entre le quai et les rails, et créer un objet virtuel de danger positionné le long de la différence de niveau. La personne malvoyante peut alors être prévenue, par une source sonore placée sur l'objet virtuel, du danger auquel elle est confrontée. Par extension, l'objet reconnu par le réseau de neurones peut être un texte, 25 un obstacle ou encore une personne. Selon une possibilité le dispositif de capture d'image peut comprendre une ou plusieurs caméras. Les données d'orientation peuvent comprendre une OU plusieurs informations, notamment choisies parmi l'ensemble des angles de roulis, de 30 tangage et de cap. Le réseau de neurones peut être de type YOLO (pour l'anglais You Only Look Once), pour la détection en temps réel d'objet. Le réseau de neurones - 3 - YOLO exploite la puissance de l'apprentissage profond en intelligence artificielle (Deep Leaming en anglais). L'unité d'écoute peut être notamment un casque stéréo. De préférence, l'unité d'écoute comporte des écouteurs à conduction 5 osseuse. L'intérêt de la conduction osseuse est de permettre une écoute ouverte, c'est-à-dire sans obstruer le conduit auditif. Il est avantageux de ne pas obstruer le conduit auditif, notamment pour des personnes malvoyantes. Selon un mode de réalisation avantageux, le signal audio peut en outre comprendre un signal d'indication de la proximité d'un objet d'intérêt avec un 10 objet reconnu. Le signal d'indication peut être un signal audio, qui peut être généré par l'unité centrale, par exemple à partir de l'objet d'intérêt dans l'image capturée. L'objet d'intérêt peut avantageusement être la main de l'utilisateur. Cela permet d'aider l'utilisateur à rapprocher sa main de l'objet reconnu, par exemple au moyen d'indication verbale de type « chaud-froid » ou encore d'un 15 son prédéterminé, notamment un son dont le volume augmente avec la diminution de la distance entre la main de l'utilisateur et l'objet reconnu. Avantageusement, l'unité centrale peut en outre être configurée pour déterminer des instructions vocales à partir des données d'orientation reçues et des un ou plusieurs objets reconnus, et pour ajouter les instructions vocales 20 déterminées au signal audio. Des instructions vocales peuvent être du type « à 13 heures » ou encore « à 6 heures ». Les instructions vocales peuvent permettre de lever le doute sur la localisation de la source sonore virtuelle, et donc du cap, lorsque celle-ci est exactement devant, ou exactement derrière l'utilisateur. Les instructions vocales améliorent encore le guidage de 25 l'utilisateur. Préférablement, le dispositif peut comporter en outre une centrale inertielle, dite de cou, agencée pour être portée au niveau du cou de l'utilisateur et générer des données d'orientations, la centrale inertielle de tête étant en outre configurée pour générer des données d'orientation et la centrale inertielle de 30 cou étant en outre configurée pour générer des données d'orientation. Avantageusement, l'unité centrale de traitement peut être en outre configurée pour : -4- - synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification, - rectifier, à partir dudit coefficient de rectification, les données d'orientations générées par la centrale inertielle de tête et les données d'orientations 5 générées par la centrale inertielle de cou, pour déterminer, respectivement, les données d'orientations de la centrale inertielle de tête et les données d'orientations de la centrale inertielle de cou. La synchronisation peut commencer par une phase de calibration de la centrale inertielle de tête. 10 L'utilisateur peut se voire demander d'effectuer un mouvement particulier de tête, puis de rester immobile pendant quelques secondes. Le nord magnétique peut ainsi être trouvé (et stabilisé) par la centrale inertielle de tête. Lorsque que le nord magnétique est stabilisé, la centrale inertielle de cou peut être synchronisée sur cette valeur. De cette façon, les deux centrales 15 inertielles peuvent disposer du même nord de référence. Au cours de l'utilisation, la centrale inertielle du cou peut devenir la centrale inertielle de référence. Lors d'une indication de direction donnée par la centrale inertielle de tête, celle-ci peut être corrigée en ajoutant/soustrayant la différence entre le nord indiqué par la centrale inertielle de cou, et le nord 20 indiqué par la centrale inertielle de tête. Selon une possibilité avantageuse, l'unité centrale est agencée pour être portée par l'utilisateur. Selon une autre possibilité, l'unité centrale est disposée à distance de l'utilisateur. Le dispositif comporte alors des moyens de communication des 25 données de position générées par la centrale inertielle de tête - éventuellement des données de position générées par centrale inertielle de cou - à destination de l'unité centrale et des moyens de communication du signal audio généré par l'unité centrale à destination de l'unité d'écoute. On comprend qu'il est aussi possible que le dispositif selon l'invention 30 comporte deux, ou plus unités, centrale inertielle de tête, chacune étant destinée à être portée par un utilisateur et deux unités d'écoute, chacune étant - 5 - destinée à être portée par l'un des utilisateurs, l'unité centrale étant configurée pour générer différents signaux audio à destination des différents utilisateurs. L'unité de positionnement géographique peut par exemple être un module de réception GPS, un module GALILEO ou encore un module GLONASS. 5 Selon un deuxième aspect de l'invention, il est proposé un procédé d'indication d'informations sonores en réalité augmentée à un utilisateur, comportant : - une génération de données d'orientation par une centrale inertielle, dite de tête, agencée pour être portée par la tête de l'utilisateur et pour générer des 10 données d'orientation relatives à la direction de la tête, - une capture par un dispositif de capture d'image d'au moins une image capturée, - une réception par un réseau de neurones de l'au moins une image capturée, 15 - une analyse par le réseau de neurones de l'au moins une image reçue pour reconnaître un ou plusieurs objets apparaissant dans l'image, - un placement dans un espace virtuel, par l'unité centrale de traitement, d'une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus, 20 - une réception des données d'orientation par l'unité centrale de traitement, - une détermination, par l'unité centrale de traitement, d'un signal binaural reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par les une ou plusieurs sources virtuelles, placées dans l'espace virtuel orienté à partir des données d'orientation reçues, 25 - une génération, par l'unité centrale de traitement, d'un signal audio, comportant le signal binaural déterminé, - une restitution, par une unité d'écoute destinée à être portée par la tête, du signal audio généré. Dans un mode de réalisation préféré du procédé d'indication d'informations 30 sonores en réalité augmentée, l'unité de traitement peut en outre être configurée pour générer le son binaural à partir d'au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l'une - 6 - et/ou deux des oreilles de l'utilisateur. On peut par exemple utiliser des fonctions de transfert HRTF (pour l'anglais Head Related Transfer Function). Le procédé peut en outre mettre en oeuvre une centrale inertielle, dite de cou, agencée pour être portée au niveau du cou de l'utilisateur et générer des 5 données d'orientations. Le procédé peut comporter en outre une génération de données d'orientation par la centrale inertielle de tête et une génération de données d'orientation par la centrale inertielle de cou, l'unité centrale de traitement étant en outre configurée pour : 10 - synchroniser la boussole de la centrale inertielle de tête et la boussole de la centrale inertielle de cou et déterminer un coefficient de rectification, - rectifier, à partir dudit coefficient de rectification, les données d'orientations générées par la centrale inertielle de tête et les données d'orientations générées par la centrale inertielle de cou, pour déterminer, respectivement, 15 les données d'orientations de la centrale inertielle de tête et les données d'orientations de la centrale inertielle de cou. Avantageusement, le procédé d'indication d'informations sonores en réalité augmentée peut en outre comporter un ajout d'instructions vocales au signal audio par l'unité centrale. 20 Selon un troisième aspect de l'invention, il est proposé un produit programme d'ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d'une unité de calcul, comportant des instructions de code de programme qui, lorsqu'elles 25 sont exécutées par l'unité de calcul, mettent en oeuvre les étapes d'un procédé selon le deuxième aspect de l'invention, ou l'un ou plusieurs de ses perfectionnements. Description des figures 30 - 7 - D'autres avantages et particularités de l'invention apparaîtront à la lecture de la description détaillée de mises en oeuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels : - la figure 1 représente schématiquement, un mode de réalisation d'un 5 dispositif selon l'invention ; - la figure 2 représente schématiquement un détail de deux étapes d'un mode de réalisation d'un procédé selon l'invention. Description de modes de réalisation 10 Les modes de réalisation décrits ci-après n'étant nullement limitatifs, on pourra notamment considérer des variantes de l'invention ne comprenant qu'une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante 15 pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention 20 par rapport à l'état de la technique antérieure. Sur les figures, un élément apparaissant sur plusieurs figures conserve la même référence. En référence aux Figures 1 et 2, il est maintenant décrit en même temps un mode de réalisation d'un dispositif 1 selon l'invention et un procédé 100 25 d'indication d'informations sonores en réalité augmentée à un utilisateur. Le dispositif 1 comporte : - une centrale inertielle 2, dite de tête, agencée pour être portée au niveau de la tête de l'utilisateur ; - un dispositif de capture d'image 201 agencé pour capturer des images et 30 générer au moins une image capturée 202; - un réseau de neurones 204 pour reconnaître un ou plusieurs objets 10 apparaissant dans l'image capturée 202; -8- - une centrale inertielle 3, dite de cou, agencée pour être portée au niveau du cou de l'utilisateur ; - une unité centrale de traitement 4, ici un microprocesseur d'un smartphone, portée par l'utilisateur ; 5 - une unité d'écoute 5, qui dans le mode de réalisation particulier comporte un amplificateur 6 et des écouteurs 7 à conduction osseuse. Le procédé 100 comporte : - une génération 102 de données d'orientation 8 relatives à la direction de la tête par la centrale inertielle 2 de tête, 10 - une capture 301 par le dispositif de capture d'image 201 de l'image capturée 202, - une réception 302 par le réseau de neurones 204 de l'au moins une image capturée 202, - une analyse 303 par le réseau de neurones 204 de l'au moins une image 15 reçue pour reconnaître un ou plusieurs objets 10 apparaissant dans l'image, - un placement 106 dans un espace virtuel, par l'unité centrale de traitement 4, d'une ou plusieurs sources sonores virtuelles pour chacun des un ou plusieurs objets reconnus, - une réception 108 des données d'orientation par l'unité centrale de 20 traitement, - une détermination 112, par l'unité centrale de traitement, d'un signal binaura111 reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par les sources virtuelles, placées dans l'espace virtuel orienté à partir des données d'orientation reçues, 25 - une génération 104 de données d'orientation 9 par la centrale inertielle 3 de cou, - une réception 110, par l'unité centrale de traitement 4, des données d'orientation 9, - une détermination 112, par ladite unité centrale de traitement 4, d'un signal 30 binaural 11 résultant d'une émission sonore par la source virtuelle 10, reçu au niveau des oreilles de l'utilisateur et à partir desdites données d'orientation reçues 8 et 9, -9- - une génération 114, par ladite unité centrale de traitement 4, d'un signal audio 12, comportant le signal binaural 11 déterminé, - une amplification 116, par l'amplificateur 6, du signal audio 12 généré, - une restitution 118, par les écouteurs 7, dudit signal audio amplifié. 5 Dans le mode de réalisation du dispositif 1, l'unité de traitement 4 est en outre configurée pour générer le son binaura111 à partir d'au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l'une et/ou deux des oreilles de l'utilisateur. En référence à la figure 2, il est maintenant décrit plus précisément les deux 10 sous-étapes 102 et 104 de génération de données d'orientations 8 et 9 par la centrale inertielle 2 de tête et la centrale inertielle 3 de cou. Les sous-étapes 102 et 104 de génération des données d'orientations 8 et 9 comprennent: - une génération 102' de données d'orientation 8' par la centrale inertielle 2 15 de tête et - une génération 104' de données d'orientation 9' par la centrale inertielle de cou, - une synchronisation 120 de la boussole de la centrale inertielle 2 de tête et de la boussole de la centrale inertielle 3 de cou et une détermination d'un 20 coefficient de rectification 13, - une rectification 140, à partir coefficient de rectification 13, des données d'orientations 8' générées par la centrale inertielle 2 de tête et des données d'orientations 9' générées par la centrale inertielle 3 de cou, pour déterminer, respectivement, les données d'orientations 8 de la centrale 25 inertielle 2 de tête et les données d'orientations 9 de la centrale inertielle 3 de cou. Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention. De plus, les différentes caractéristiques, 30 formes, variantes et modes de réalisation de l'invention REVENDICATIONS1. Dispositif (1) convenant à être porté par un utilisateur et agencé pour indiquer des informations sonores en réalité augmentée audit utilisateur, comportant : - une centrale inertielle (2), dite de tête, agencée pour être portée par la tête dudit utilisateur et pour générer des données d'orientation (8) relatives à la direction de ladite tête ; - un dispositif de capture d'image (201) agencé pour capturer des images et générer au moins une image capturée (202), - une unité centrale de traitement (4) configurée pour : o recevoir l'au moins une image capturée o analyser ladite au moins une image capturée au moyen d'un réseau de neurones (204) pour reconnaître un ou plusieurs objets (10) apparaissant dans l'image, o générer un espace virtuel et y placer une ou plusieurs sources sonores virtuelles pour chacun desdits un ou plusieurs objets reconnus, o recevoir lesdites données d'orientation, et o déterminer un signal binaural (11) reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par ladite une ou plusieurs sources virtuelles placées dans l'espace virtuel orienté à partir desdites données d'orientation reçues, o générer un signal audio (12), comportant le signal binaural déterminé, - une unité d'écoute (5) agencée pour restituer le signal audio généré et destinée à être portée au moins en partie par ladite tête. 2. Dispositif selon la revendication précédente, dans laquelle le signal audio comprend en outre un signal d'indication de la proximité d'un objet d'intérêt avec un objet reconnu. 3. Dispositif selon l'une quelconque des revendications précédentes, dans lequel l'unité centrale (4) est en outre configurée pour déterminer des instructions vocales à partir des données d'orientation reçues (8) et des un ou plusieurs objets reconnus, et pour ajouter lesdites instructions vocales 5 déterminées au signal audio (12). 4. Dispositif selon l'une quelconque des revendications précédentes, dans lequel l'unité d'écoute (5) comporte des écouteurs (7) à conduction osseuse. 10 5. Dispositif selon l'une quelconque des revendications précédentes de procédé, comportant en outre centrale inertielle (3), dite de cou, agencée pour être portée au niveau du cou de l'utilisateur et générer des données d'orientations (9), 15 la centrale inertielle (2) de tête étant en outre configurée pour générer des données d'orientation (8') et la centrale inertielle de cou étant en outre configurée pour générer des données d'orientation (9'), ladite unité centrale de traitement (4) étant en outre configurée pour : - synchroniser la boussole de la centrale inertielle de tête et la boussole 20 de la centrale inertielle de cou et déterminer un coefficient de rectification (13), - rectifier, à partir dudit coefficient de rectification, les données d'orientations générées par la centrale inertielle de tête et les données d'orientations générées par la centrale inertielle de cou, pour déterminer, 25 respectivement, les données d'orientations (8) de la centrale inertielle de tête et les données d'orientations (9) de la centrale inertielle de cou. 6. Dispositif selon l'une quelconque des revendications précédentes, dans lequel l'unité centrale de traitement (4) est agencée pour être portée par 30 l'utilisateur. -12 - 7. Procédé (100) d'indication d'informations sonores en réalité augmentée à un utilisateur, comportant : - une génération (102) de données d'orientation (8) par une centrale inertielle (2), dite de tête, agencée pour être portée par la tête de 5 l'utilisateur et pour générer des données d'orientation relatives à la direction de ladite tête, - une capture (301) par un dispositif de capture d'image (201) d'au moins une image capturée (202), - une réception (302) par un réseau de neurones (204) de ladite au moins 10 une image capturée, - une analyse (303) par ledit réseau de neurones de ladite au moins une image reçue pour reconnaître un ou plusieurs objets (10) apparaissant dans l'image, - un placement (106) dans un espace virtuel, par ladite unité centrale de 15 traitement (4), d'une ou plusieurs sources sonores virtuelles pour chacun desdits un ou plusieurs objets reconnus, - une réception (108) desdites données d'orientation par ladite unité centrale de traitement, - une détermination (112), par ladite unité centrale de traitement, d'un 20 signal binaural (11) reçu au niveau des oreilles de l'utilisateur résultant d'une émission sonore par ladite une ou plusieurs sources virtuelles, placées dans l'espace virtuel orienté à partir desdites données d'orientation reçues, - une génération (114), par ladite unité centrale de traitement, d'un signal 25 audio (12), comportant le signal binaural déterminé, - une restitution (118), par une unité d'écoute (5) destinée à être portée par ladite tête, dudit signal audio généré. 8. Procédé selon la revendication précédente, dans lequel l'unité de traitement 30 (4) est en outre configurée pour générer le son binaural (11) à partir d'au moins un paramètre décrivant une caractéristique physique de la boîte crânienne et/ou de l'une et/ou deux des oreilles de l'utilisateur. -13 - 9. Procédé selon l'une quelconque des revendications précédentes de procédé, mettant en outre en oeuvre une centrale inertielle (3), dite de cou, agencée pour être portée au niveau du cou de l'utilisateur et générer (104) des données d'orientations (9), 5 ledit procédé comportant en outre une génération (102') de données d'orientation (8') par la centrale inertielle (2) de tête et une génération (104') de données d'orientation (9') par la centrale inertielle de cou, ladite unité centrale de traitement (4) étant en outre configurée pour : - synchroniser (120) la boussole de la centrale inertielle de tête et la 10 boussole de la centrale inertielle de cou et déterminer un coefficient de rectification (13), - rectifier (140), à partir dudit coefficient de rectification, les données d'orientations générées par la centrale inertielle de tête et les données d'orientations générées par la centrale inertielle de cou, pour déterminer, 15 respectivement, les données d'orientations (8) de la centrale inertielle de tête et les données d'orientations (9) de la centrale inertielle de cou. 10. Procédé selon la revendication précédente, comportant en outre un ajout, par l'unité centrale, d'instructions vocales au signal audio. 20 11. Produit programme d'ordinateur, téléchargeable depuis un réseau de communication et/ou stocké sur un support lisible par ordinateur et/ou exécutable par un microprocesseur, et chargeable dans une mémoire interne d'une unité de calcul, comportant des instructions de code de 25 programme qui, lorsqu'elles sont exécutées par l'unité de calcul, mettent en oeuvre les étapes d'un procédé selon l'une quelconque des revendications précédentes de procédé.