Brevet FR3100636A1 — publié le 20210312

Système d’aide à l’orientation comprenant des moyens d’acquisition d’un environnement visuel réel ou virtuel, des moyens d’interface homme-machine non visuelle et des moyens de traitement de la représentation numérique dudit environnement visuel pour fournir un signal électrique de commande d’une interface non visuelle caractérisé en ce que - lesdits moyens d’interface homme-machine sont constitués par un bracelet présentant une zone haptique d’une surface comprise entre 60x60 millimètres et 150x150 millimètres, avec un ensemble de picots actifs de NxM ou N est compris entre 5 et 100 et M est compris entre 10 et 100 - lesdits moyens de traitement de la représentation numérique consistant à extraire périodiquement au moins un motif numérique d’activation impulsionnel d’un sous-ensemble des picots de ladite zone haptique. Figure pour l’abrégé : Fig. 1 Système d’aide à l’orientation Domaine de l’invention La présente invention concerne le domaine de l’aide à l’orientation de personnes des personnes souffrant de déficiences visuelles ou de personnes se déplaçant dans des environnements de très faible visibilité, par exemple des pompiers se déplaçant dans un bâtiment enfumé ou des militaires se déplaçant dans l’obscurité. On connaît différentes solutions, qui vont de l’assistance d’un chien-guide au marquage du sol par des bandes d’aide à l’orientation, l’implantation de balises sonores, ou encore de cannes permettant de détecter les obstacles. Plus récemment, on a aussi développé des applications GPS permettant aux aveugles et aux malvoyants de gagner en autonomie dans leurs déplacements, en leur donnant les rues, les points d’intérêt qui s’y trouvent, les carrefours, les arrêts de bus… Elles permettent à l’utilisateur de l’application GPS de recevoir en temps réel, par une notification orale sur leur smartphone, des indications sur les horaires de bus, leur donne l’arrêt et les mène à bon port une fois descendu du transport. Au fur et à mesure de son parcours, une information ad hoc est fournie pour que l’utilisateur ne se perde pas, évite les obstacles, ne rencontre pas de difficultés, monte dans le bon bus. On a aussi proposé d’utiliser la transmission d’information par un mode haptique, par exemple sous la forme d’un bracelet connecté. La technologie haptique utilise le sens du toucher pour faire passer une information. La société WearWorks propose un bracelet intelligent nommé "Wayband", pour guider les aveugles. L’utilisateur commence par télécharger une application sur un téléphone intelligent associée et énonce l'adresse souhaitée. Le bracelet relié à un système GPS guide l’utilisateur à destination. Quand l'utilisateur se trompe d'itinéraire, le bracelet vibre. Il cesse de vibrer une fois sur le droit chemin. Le langage tactile, sensible, plus intuitif et peu intrusif, soulage l'ouïe, sens sur-sollicité par les malvoyants. Une autre solution commercialisée par la société SUNU concerne un bracelet utilisant les ondes hautes fréquences, afin de faciliter l’écholocalisation dans l’espace. État de la technique On connaît dans l’état de la technique la demande de brevet US20090167677 concerne un bracelet comportant un ou plusieurs actionneurs haptiques pouvant être activés pour fournir une stimulation haptique à un porteur. Un dispositif électronique peut être en communication avec lesdits actionneurs haptiques par l'intermédiaire d'une connexion filaire et/ou sans fil. Le dispositif électronique peut être un dispositif distinct, ou le dispositif électronique peut être fixé amovible ou à demeure au bracelet. Un signal d'activation peut être envoyé à un unique actionneur haptique ou à des groupes de deux ou plus de deux actionneurs haptiques. On connaît aussi la demande de brevet internationale WO2016069476A1 décrivant des actionneurs disposés sur une bande destinée à devenir un dispositif électronique portable. La bande de cette solution de l’art antérieur : (a) un circuit flexible sur lequel est disposée une interface électrique avec le dispositif électronique portable et des rubans conducteurs servant à distribuer des signaux de commande reçus du dispositif électronique portable sur l'interface électrique à des positions prédéfinies du circuit flexible ; (b) des actionneurs en polymère électromécanique chacun étant monté au niveau d'une des positions prédéfinies et chacun étant connecté par les rubans conducteurs pour recevoir un ou plusieurs des signaux de commande ; (c) un revêtement de protection recouvrant le circuit flexible et les actionneurs. La demande de brevet américain US20150277563A1 décrit une interface utilisateur comprenant un bracelet avec un dispositif de contact d'éléments actifs, un module générateur de modèle pour définir un modèle physique et des capteurs pour déterminer au moins une orientation parmi le dispositif portable et l'emplacement du dispositif portable. Inconvénients de l’art antérieur Les solutions de l’art antérieur ne sont pas adaptées à transmettre une information riche et compréhensible sur un environnement visuel, sous une forme tactile. Les informations haptiques sont généralement trop sommaires et mal adaptées à la compréhension d’un environnement complexe d’une manière suffisamment complète pour constituer une réelle aide à l’orientation. Solution apportée par l’invention Afin de remédier à ces inconvénients, la présente invention concerne selon son acception la plus générale un système d’aide à l’orientation comprenant des moyens d’acquisition d’un environnement visuel réel ou virtuel, des moyens d’interface homme-machine non visuelle et des moyens de traitement de la représentation numérique dudit environnement visuel pour fournir un signal électrique de commande d’une interface non visuelle caractérisé en ce que - lesdits moyens d’interface homme-machine sont constitués par un bracelet présentant une zone haptique d’une surface comprise entre 60x60 millimètres et 150x150 millimètres, avec un ensemble de picots actifs de NxM ou N est compris entre 5 et 100 et M est compris entre 10 et 100 - lesdits moyens de traitement de la représentation numérique consistant à extraire périodiquement au moins un motif numérique d’activation impulsionnel d’un sous-ensemble des picots de ladite zone haptique. Avantageusement, lesdits moyens d’acquisition sont constitués par au moins un capteur d’images apte à être porté par le porteur dudit bracelet et des moyens de traitement pour générer une carte numérique de profondeur. Ce capteur d’image peut être constitué par une caméra stéréoscopique ou une caméra unique avec un traitement des images consécutives pour déterminer une carte de profondeur, ou encore un scanner 3D ou un lidar pour fournir un nuage de points. Selon un mode de mise en œuvre particulier, lesdits moyens de traitement de la représentation numérique sont calculés en fonction d’un modèle de représentation sélectionné à partir d’une série de modèles différenciés de représentation. Les différents modèles permettent de fournir des traitements adaptés à des contextes particuliers, par exemple la transmission d’information sur une trajectoire, ou une représentation haptique d’un environnement et de ses points d’intérêts, ou une perception des volumes environnants, et de permettre à l’utilisateur de sélection l’un de ces modes d’informations en fonction de ses besoins et de ses prédilections, ou encore d’automatiser la sélection par des algorithmes d’apprentissage. Selon une variante le système comporte en outre un serveur apte à communiquer avec chacun des équipements individuels pour recevoir les données géolocalisées d’acquisition de l’environnement numérique et d’enregistrement d’un modèle numérique géolocalisé dudit environnement, et pour transmettre ledit modèle numérique à un équipement individuel en fonction de sa position. Cette variante permet de réduire les traitements de calcul à partir des images acquises et de mutualiser les informations utiles entre les différents utilisateurs ayant parcouru des Selon un mode de mise en œuvre particulier, lesdits moyens de traitement de la représentation numérique sont configurés pour extraire périodiquement une séquence de motifs numériques d’activation impulsionnel successifs d’un sous-ensemble des picots de ladite zone haptique, pour fournir une information haptique progressive pendant un intervalle temporel. Selon une variante, l’un desdits motifs numériques consiste en une commande d’activation impulsionnelle d’un alignement de picots, formant avec un axe de référence dudit bracelet un angle correspondant à la direction de déplacement par rapport à la direction de référence dudit environnement visuel. Selon une autre variante, l’un desdits motifs numériques consiste en une commande d’activation impulsionnelle d’une configuration de picots correspondant à une projection dans le plan horizontal des points d’intérêts principaux de ladite représentation numérique dudit environnement visuel. Selon un mode de mise en œuvre particulier, le modèle de motif numérique d’activation impulsionnel d’un sous-ensemble des picots de ladite zone haptique est déterminé en fonction de l’appartenance de l’environnement visuel à une classe d’environnements pré-enregistrée. Avantageusement, le modèle de motif numérique d’activation impulsionnel d’un sous-ensemble des picots de ladite zone haptique est déterminé en fonction du niveau d’expérience de l’utilisateur. Description détaillée d'un exemple non limitatif de l'invention La présente invention sera mieux comprise à la lecture de la description détaillée d'un exemple non limitatif de l'invention qui suit, se référant aux dessins annexés où : La figure 1 représente une vue schématique de l’invention La figure 2 représente une vue de la surface intérieure du bracelet selon l’invention La figure 3 représente l’architecture fonctionnelle Description générale de l’architecture matérielle Les composants individuels du système selon l’invention comprennent un bracelet (1) porté sur l’avant-bras de l’utilisateur, ou éventuellement en position fémorale, une monture (2), dans l’exemple décrit sous la forme d’une monture de lunettes, munie de capteurs d’images, par exemple dans le prolongement de chaque branche pour fournir une image stéréoscopique. La monture (2) est munie d’un capteur de géoréférencement ou de géolocalisation, et/ou un module fournissant une indication de l’orientation de la monture par rapport au Nord magnétique. Ces différents éléments communiquent en mode Bluetooth BLE avec le téléphone intelligent (3) de l’utilisateur avec lequel ils sont appairés. Ce téléphone intelligent (3) assure une partie des traitements informatiques par l’intermédiaire d’une application et la communication avec un serveur via une communication radiofréquence de type 3G, 4G ou 5G.ou wifi. Bien entendu, le téléphone (3) peut être remplacé par un ordinateur, une tablette, et plus généralement un calculateur. Présentation du bracelet La figure 2 représente une vue d’un exemple de réalisation d’un bracelet pour la mise en œuvre de l’invention. Il est constitué par une coque souple (10) munis de courroies (11, 12, 13, 14) pour la fixation autour de l’avant-bras (ou éventuellement autour de la zone lombaire). Il comporte une matrice de 5x12 picots (15) activable chacun de manière impulsionnelle entre une position rentrée au repos, et en érection impulsionnelle pendant une fraction de seconde en cas d’activation d’un actionneur électromagnétique par un signal électrique. La configuration de cette surface haptique n’est pas limitée à une zone rectangulaire avec une répartition régulière des picots (15). Traitements numériques La première étape (100) consiste à acquérir deux flux d'images synchronisées à l’aide de deux capteurs décalés latéralement, sur la monture (2) de l’utilisateur. Ce couple de capteurs forme une caméra stéréoscopique caméra orientée vers la scène que l'utilisateur pourrait voir. Cette caméra est connectée par une liaison radiofréquence au téléphone intelligent (3) comportant une unité de calcul permettant le traitement (110) des images provenant des deux capteurs. Ce traitement permet de calculer la carte de profondeur à partir des deux images, ainsi que la position de la caméra dans l'espace. La caméra peut également être reliée à un ordinateur ou un téléphone intelligeant via une liaison sans fil, (bluetooth, WIFI,…) ou filaire. Un traitement d'images possible est une succession d'algorithme permettant d'extraire la cartographie de profondeur de la scène puis d'utiliser ce résultat avec les images associées gauche et droite pour en déduire le changement de position et d'orientation de la caméra entre deux instants consécutifs de prise de vue (typiquement séparés d'un soixantième de seconde). Deux processus interviennent ensuite. Tout d'abord un module logiciel (120) commande l'enregistrement d'images ou de caractéristiques visibles constituant des points d'intérêts, et l'enregistrement en mémoire de la position de la monture (2) à l'instant de l'observation de ces points. Ce module fournit une base de données de points d'intérêt qui est transmises par le téléphone (3) de l’utilisateur à un serveur, qui enregistre ces données géolocalisées dans une base de données partagée entre tous les utilisateurs. Le déclenchement d'un enregistrement d'une nouvelle entrée dans la base ainsi constituée a lieu de façon préférentielle en fonction d'un critère de recouvrement qui détermine la quantité d'information redondante avec les autres entrées de la base. D'autres critères peuvent être utilisés tel que le déclenchement manuel d'un enregistrement par l'utilisateur, le calcul d'une distance physique entre chaque position des points d'intérêt ou un laps de temps écoulé entre deux enregistrements. Une base de données E1 est ainsi construite. Elle contient un ensemble de positions de référence associées à des caractéristiques ou images. Elle sert également, pendant l'utilisation d’un système dans la même zone, à relocaliser la monture (2). Parallèlement, un module logiciel (140) calcule une carte de profondeur et les paramètres du système stéréoscopique sont utilisés pour générer un nuage de points, en projetant chaque pixel de l'image afin d'obtenir des coordonnées de points dans l'espace. Les points dans l'espace subissent ensuite un changement de repère en utilisant les informations relatives à la position du casque dans l'espace issues du module C1 d'odométrie afin de placer tous les points captés au cours de la phase d'initialisation dans un repère commun fixe. Ces ensembles de points sont fusionnés afin de créer un modèle dense (cartographie) de la zone d'opération tout en réduisant la quantité d'informations redondantes. Ce processus peut se faire par exemple en parcourant les ensembles de points et en fusionnant les points identifiés comme étant proches les uns des autres en fonction d'une distance ou encore en utilisant un volume de fonction de distance signée tronquée (Truncated Signed Distance Function -TSDF- Volume). Une étape ultérieure (150) consiste à générer un maillage dans l'ensemble de points en trois dimensions. Ce maillage est constitué de triangles reliés, modélisant les surfaces de la zone d'opérations. Cet ensemble de points (voxels) fait ensuite l’objet de traitements pour calculer des motifs d’activation des picots (15) du bracelet (1). Pour cela, le système comporte une bibliothèque de traitements différents. Un premier traitement (200) consiste à déterminer une direction de déplacement ou une trajectoire simplifiée, sous forme de segments consécutifs, calculés en fonction des voxels correspondant à des obstacles, et dont l’orientation est recalculée par rapport à la direction de la monture (2). Le résultat est un motif d’activation des picots, recalculé périodiquement, par exemple une fois par seconde, pour transmettre de manière haptique la direction ou la trajectoire à suivre. Un deuxième traitement (210) consiste à calculer une projection sur un plan horizontal des voxels pour déterminer une carte numérique à basse résolution (résolution conforme au nombre de picots), et à appliquer au bracelet des motifs impulsionnels correspondant à cette carte, orientée en fonction de la direction de la monture (2). Un troisième traitement (220) consiste à calculer des plans transversaux consécutifs, et à transmettre des séquences de motifs correspondant à des plans transversaux de basse résolution, avec une succession temporelle représentatif de l’espacement selon l’axe longitudinal, perpendiculaire à ces plans transversaux. On applique ainsi aux picots des salves de motifs espacés par des intervalles de repos, qui permettent à l’utilisateur de percevoir par la succession de sensations tactiles la conformation de son environnement. Un quatrième traitement (230) consiste à calculer une image basse définition en noir et blanc de l’image stéréoscopique, et à calculer un motif en fonction de cette image basse définition pour commander l’activation périodique des picots (15). La sélection de l’un des modes de traitement (200 à 230) est réalisée soit par l’utilisateur, par une commande manuelle ou vocale. Elle peut aussi être réalisée de manière automatique, en fonction du type d’environnement (densité d’obstacle, environnement déjà connu vs. environnement nouveau,…), ou en fonction du niveau d’apprentissage de l’utilisateur, certains des modes de traitement nécessitant une plus grande sensibilité et expérience que d’autres. Selon une variante, l’ordinateur bracelet sera connecté par câble, bluetooth ou wifi. La connexion de l’ordinateur aux serveurs se fera en wifi ou en 3G, 4G ou 5G. - Système d’aide à l’orientation comprenant des moyens d’acquisition d’un environnement visuel réel ou virtuel, des moyens d’interface homme-machine non visuelle et des moyens de traitement de la représentation numérique dudit environnement visuel pour fournir un signal électrique de commande d’une interface non visuelle caractérisé en ce que - lesdits moyens d’interface homme-machine sont constitués par un bracelet présentant une zone haptique d’une surface comprise entre 60x60 millimètres et 150x150 millimètres, avec un ensemble de picots actifs de NxM ou N est compris entre 5 et 100 et M est compris entre 10 et 100 - lesdits moyens de traitement de la représentation numérique consistant à extraire périodiquement au moins un motif numérique d’activation impulsionnel d’un sous-ensemble des picots de ladite zone haptique. - Système d’aide à l’orientation selon la revendication 1 caractérisé en ce que lesdits moyens d’acquisition sont constitués par au moins un capteur d’images apte à être porté par le porteur dudit bracelet et des moyens de traitement pour générer une carte numérique de profondeur. - Système d’aide à l’orientation selon la revendication 1 ou 2 caractérisé en ce que lesdits moyens de traitement de la représentation numérique sont calculé en fonction d’un modèle de représentation sélectionné à partir d’une série de modèles différenciés de représentation. - Système d’aide à l’orientation selon l’une des revendications précédentes caractérisé en ce qu’il comporte en outre un serveur apte à communiquer avec chacun des équipements individuels pour recevoir les données géolocalisées d’acquisition de l’environnement numérique et d’enregistrement d’un modèle numérique géolocalisé dudit environnement, et pour transmettre ledit modèle numérique à un équipement individuel en fonction de sa position. - Système d’aide à l’orientation selon selon l’une des revendications précédentes caractérisé en ce lesdits moyens de traitement de la représentation numérique sont configurés pour extraire périodiquement une séquence de motifs numériques d’activation impulsionnel successifs d’un sous-ensemble des picots de ladite zone haptique, pour fournir une information haptique progressive pendant un intervalle temporel. - Système d’aide à l’orientation selon selon l’une des revendications précédentes caractérisé en ce que l’un desdits motifs numériques consiste en une commande d’activation impulsionnelle d’un alignement de picots, formant avec un axe de référence dudit bracelet un angle correspondant à la direction de déplacement par rapport à la direction de référence dudit environnement visuel. - Système d’aide à l’orientation selon selon l’une des revendications précédentes caractérisé en ce que l’un desdits motifs numériques consiste en une commande d’activation impulsionnelle d’une configuration de picots correspondant à une projection dans le plan horizontal des points d’intérêts principaux de ladite représentation numérique dudit environnement visuel. - Système d’aide à l’orientation selon l’une des revendications précédentes caractérisé en ce que le modèle de motif numérique d’activation impulsionnel d’un sous-ensemble des picots de ladite zone haptique est déterminé en fonction de l’appartenance de l’environnement visuel à une classe d’environnements pré-enregistrée. - Système d’aide à l’orientation selon selon l’une des revendications précédentes caractérisé en ce que le modèle de motif numérique d’activation impulsionnel d’un sous-ensemble des picots de ladite zone haptique est déterminé en fonction du niveau d’expérience de l’utilisateur.