Brevet FR3066838A1 — publié le 20181130

La présente invention concerne les systèmes de réalité augmentée spatiale qui enrichissent l'environnement réel de l'utilisateur en y projetant directement des objets 3D virtuels grâce à un vidéo projecteur. Ces systèmes peuvent comprendre un ou plusieurs capteurs configurés pour capturer la géométrie de l'environnement. Ces systèmes peuvent comprendre un ou plusieurs capteurs configurés pour déterminer la position dans l'espace du visage de l'utilisateur. Ces systèmes comprennent un ou plusieurs projecteurs. L'image à projeter est déformée en fonction de la position de l'utilisateur et de la géométrie de l'environnement de façon à créer un trompe-l'oeil en temps réel du point de vue de l'utilisateur : l'utilisateur voit un objet virtuel en 3D depuis sa perspective. Il est connu de l'état de la technique un dispositif ayant fait l'objet de notre demande de brevet à l'INPI n°17 70276. Cette demande décrit une lampe de bureau portable pour la réalité augmentée spatiale fondée sur un picoprojecteur à focale ultra courte (picoprojecteur ultra short throw de throw ratio non supérieur à 0.5) placé en tête de la lampe, un capteur configuré pour capturer la géométrie de l'environnement placé en tête de la lampe, ainsi qu'un ensemble de caméras très grand angle - dites fisheye - infrarouges placées au bout de la base de la lampe configurées pour suivre la position du visage de l'utilisateur dans l'espace. Un ensemble de LEDs infrarouges éclaire l'environnement dans le domaine de longueur d'onde de l'infrarouge et ainsi réduit l'influence des conditions d'éclairage sur le suivi du visage de l'utilisateur permettant de créer l'illusion d'objets 3D. Ce dispositif a pour limite de reposer sur une architecture qui ne permet pas la polyvalence des capteurs : les caméras infrarouges au bout de la lampe ne peuvent pas observer la surface de travail de l'utilisateur. La présente invention vise à perfectionner la lampe décrite dans notre demande de brevet précédente, et propose une nouvelle architecture de lampe de bureau portable pour la réalité augmentée spatiale qui optimise le processus d'acquisition des données et réduit le nombre de caméras nécessaires pour créer l'expérience de réalité augmentée spatiale. Ce dispositif est composé d'un picoprojecteur à focale ultra courte (picoprojecteur ultra short throw de throw ratio non supérieur à 0.5), d'une caméra infrarouge très grand angle (fisheye) en haut de la lampe, d'une deuxième caméra infrarouge accolée à la première caméra et inclinée de façon à observer la surface de projection et à créer un système de vision stéréo avec la première caméra, ainsi que des LEDs infrarouges positionnées au niveau de la face avant de la lampe pour éclairer l'environnement dans le domaine de longueur d'onde de l'infrarouge. La première caméra observe avec un très grand champ de vision à la fois la surface de projection ainsi que le visage de l'utilisateur quelle que soit sa position lorsqu'il fait face à la lampe. La première caméra est polyvalente car elle permet à la fois le suivi du visage de l'utilisateur par l'image - quelle que soit sa position dans le demi espace délimité par la lampe - et l'analyse de la géométrie de la surface de projection. La lampe dont les capteurs se limitent à deux capteurs bas coûts : deux caméras infrarouges, est capable d'offrir une expérience complète de réalité augmentée spatiale : les 3066838 2 données de position du visage de l'utilisateur et les données de géométrie de l'environnement requises par la pipeline 3D de réalité augmentée spatiale sont connues en temps réel. Le présent dispositif de réalité augmentée spatiale peut intégrer un système de microphone. Le son est ensuite traité pour permettre des interactions vocales. Les interactions 5 de réalité augmentée spatiale combinées aux interactions vocales sont utilisées pour projeter un assistant intelligent virtuel en 3D. Le présent dispositif de réalité augmentée spatiale peut être embarqué dans un véhicule automobile et incrusté dans le tableau de bord de façon à créer une interface utilisateur projetée directement sur le tableau de bord. L'automobiliste interagit alors avec du contenu 3D comme 10 des vues GPS 3D ; ou encore une visualisation du véhicule en 3D qui permet d'avertir et localiser un problème du véhiculer en 3D comme la visualisation 3D d'une porte ouverte. Le dispositif permet de s'affranchir d'écrans qui contraignent la conception du panneau de bord et qui brisent le design épuré favorable au confort intérieur du véhicule. Le dispositif reste discret grâce à la compacité permise par la technologie à focale ultra courte (ultra short throw projector). 15 L'interface utilisateur est tactile même si le tableau de bord est de géométrie complexe grâce au système de vision stéréo de la lampe capable d'analyser la géométrie de l'environnement en temps réel. La projection est nette même si le tableau de bord est de géométrie complexe grâce à la technologie laser éventuellement utilisée (scanned laser pico projector). Les dessins annexés illustrent l'invention. 20 La figure 1 représente le dispositif portable de réalité augmentée spatiale composé de deux caméras infrarouges, de diodes infrarouges et d'un picoprojecteur à focale ultra courte. La figure 2 représente le dispositif de réalité augmentée spatiale dans une seconde configuration. La figure 3 représente le dispositif de réalité augmentée spatiale embarqué dans un véhicule 25 projetant du contenu 3D directement sur le panneau de bord de l'automobiliste. Une première caméra infrarouge très grand angle (fisheye) (103) placée en haut de la lampe est capable de suivre le visage de l'utilisateur dans l'espace avec un grand champ de vision quelle que soit sa position lorsque celui-ci fait face à la lampe. Un ensemble de LEDs infrarouges (104) éclaire l'environnement dans le domaine de longueurs d'onde de l'infrarouge. La caméra 30 fisheye infrarouge observe un environnement bien éclairé dans l'infrarouge et peut ainsi acquérir toutes les informations nécessaires pour un suivi robuste de la position du visage de l'utilisateur, même si l'environnement est sombre dans le visible. Une unité informatique est configurée pour gérer le système. Elle supporte des algorithmes de vision par ordinateur qui assurent le calcul de la position du visage de l'utilisateur dans l'espace en temps réel à partir des images de la 35 caméra fisheye. Le picoprojecteur à focale ultra courte (ultra short throw) (101) est constitué d'un système optique qui lui permet d'être de dimension principale verticale avec une illumination provenant 3066838 3 du haut du projecteur illuminant l'espace de travail, et qui permet à la lampe d'être la plus compacte et portable possible. Cette configuration verticale n'est pas la seule configuration fonctionnelle de la lampe. Celle-ci peut être couchée pour projeter sur un mur (figure 2). Comme dans la configuration 5 verticale, la caméra fisheye infrarouge (103) fait face à l'utilisateur dans la configuration couchée et assure le calcul de la position de son visage pour déformer l'image à projeter et créer l'illusion d'observer des objets 3D. Un gyroscope peut être intégré dans la lampe pour déterminer si l'utilisateur l'utilise en configuration verticale ou couchée. Dans la configuration couchée si une technologie de projection à focale variable est utilisée comme la technologie DLP, alors un 10 moteur peut déplacer les éléments optiques pour régler la focale automatiquement en fonction de la distance de la lampe au mur qui peut être mesurée par une approche par lumière structurée. Si la technologie laser est utilisée, alors l'image est nette quelle que soit la distance à la surface de projection et quelle que soit la complexité de sa géométrie. Une deuxième caméra infrarouge (102) est accolée à la première caméra (103) en haut de 15 la lampe de façon à créer un système de vision stéréo avec la première caméra. Elle n'est pas nécessairement de très grand angle et est inclinée pour observer la surface de projection. Ainsi les deux caméras observent la zone de projection et constituent ensemble un système de vision stéréo configuré pour calculer la géométrie de l'environnement. Les deux caméras sont calibrées ensemble : leurs images sont rectifiées de façon à obtenir des lignes épipolaires horizontales et 20 sont recadrées pour se concentrer sur la zone d'intérêt constituée par l'image de la surface de projection. La distance inter-axiale entre la première et la deuxième caméra est fixée et comprise entre 4 et 10 cm de manière à permettre une analyse précise de la surface de projection pour cet ordre de grandeur de la distance entre le système stéréo et la surface de projection. Le système de vision stéréo ainsi formé permet une reconstruction précise de la géométrie de la 25 surface de projection et en temps réel. Les données obtenues en temps réel de la géométrie de l'environnement permettent un très grand nombre d'interactions : la perception d'objet 3D en fonction de la surface de projection pour la réalité augmentée spatiale, mais aussi des interactions avec les mains de l'utilisateur pour le contrôle ou la manipulation des objets 3D. La géométrie de l'environnement peut également être calculée de façon précise en suivant 30 une approche par lumière structurée. Cette approche est plus précise que l'approche par vision stéréo car elle ne dépend pas de la présence d'éléments texturés parmi les objets de la surface de projection ; cependant elle a pour inconvénient de ne pas tourner en temps réel car elle mobilise le projecteur pendant une phase de projection des lumières structurées. Dans l'approche par lumière structurée, l'une des deux caméras et le picoprojecteur (101) constituent 35 un système stéréo. La caméra capture les images des lumières structurées projetées par le picoprojecteur. L'analyse et le décodage de ces images conduit au calcul de la géométrie de l'environnement. Ainsi dans cette approche, le picoprojecteur à courte focale est utilisé à la fois 3066838 4 pour reconstruire la géométrie de l'environnement de l'utilisateur pendant une phase d'initialisation, et à la fois pour projeter des objets virtuels dans l'environnement réel de l'utilisateur après la phase d'initialisation. L'unité informatique peut analyser les images pour réaliser une segmentation de la 5 géométrie capturée. Chaque objet 3D isolé par segmentation peut être suivi en temps réel par une ou les deux caméras grâce à des algorithmes de vision par ordinateur de suivi et cartographie (tracking and mapping). L'approche par lumière structurée permet la calibration du projecteur, c'est-à-dire le calcul de ses paramètres intrinsèques ; ainsi que la calibration de l'ensemble caméra - projecteur, 10 c'est-à-dire le calcul de la pose du projecteur par rapport à la pose de la caméra qui analyse les lumières structurées ; de façon à créer un unique système de coordonnées pour le picoprojecteur, les deux caméras et le monde virtuel. La lampe peut être composée d'un système de microphone ou de réseau de microphones (105), utilisé comme dispositif de commande vocale. Ce système permet à la lampe de projeter 15 un assistant intelligent virtuel en 3D qui interagit de façon personnelle avec l'utilisateur. Le dispositif peut être embarqué dans un véhicule automobile et incrusté dans le tableau de bord de façon à créer une interface utilisateur projetée directement sur le tableau de bord. L'automobiliste interagit alors avec du contenu 3D comme des vues GPS 3D (301) ; ou encore une visualisation du véhicule en 3D qui permet d'avertir et localiser un problème du véhicule en 20 3D comme la visualisation 3D d'une porte ouverte. Le dispositif permet de s'affranchir d'écrans qui contraignent la conception du panneau de bord et qui brisent le design épuré favorable au confort intérieur du véhicule. Le dispositif reste discret grâce à la compacité permise par la technologie à focale ultra courte (ultra short throw pico projector). L'interface utilisateur est tactile même si le tableau de bord est de géométrie complexe grâce au système de vision stéréo de la 25 lampe capable d'analyser la géométrie de l'environnement en temps réel. La projection est nette même si le tableau de bord est de géométrie complexe grâce à la technologie laser éventuellement utilisée (scanned laser pico projector). Le dispositif selon l'invention est particulièrement destiné à l'industrie de la maison intelligente et à l'industrie automobile. REVENDICATIONS1. Dispositif de réalité augmentée spatiale, comprenant un picoprojecteur à focale ultra courte (ultra short throw) (101) - de rapport de projection (throw ratio) non supérieur à 0.5 - et projetant un flux d'image sur la surface de travail sur laquelle est posé le dispositif, un premier système de capteurs configuré pour calculer la position du visage de l'utilisateur, et un deuxième système de capteurs configuré pour calculer la géométrie de l'environnement de l'utilisateur ; en déformant l'image à projeter en fonction de la position de l'utilisateur et de la géométrie de l'environnement pour donner l'illusion à l'utilisateur de percevoir des objets en 3 dimensions directement dans son environnement et d'interagir avec eux ; caractérisé en ce que le ledit premier système de capteurs est une unique caméra infrarouge très grand angle (fisheye) (103) située en haut du dispositif observant avec un très grand champ de vision à la fois la surface de projection et le visage de l'utilisateur quelle que soit sa position lorsqu'il fait face audit dispositif ; que ledit deuxième système de capteurs est une unique caméra infrarouge (102) accolée à la première caméra et inclinée de façon à observer la surface de projection et à créer un système de vision stéréo avec la première caméra, capable de calculer la géométrie de l'environnement en temps réel ; permettant de limiter le nombre de capteurs à deux capteurs bas coûts : deux caméras infrarouges, tout en constituant un dispositif portable qui offre une expérience complète de réalité augmentée spatiale : les données de position du visage de l'utilisateur et les données de géométrie de l'environnement requises par la pipeline 3D de réalité augmentée spatiale sont connues en temps réel par le dispositif. 2. Dispositif de réalité augmentée spatiale selon la première revendication, caractérisé en ce qu'il intègre un système de microphone (105) pour des interactions vocales, qui - combinées aux interactions de réalité augmentée spatiale - sont utilisées pour projeter un assistant intelligent virtuel en 3D. 3. Dispositif de réalité augmentée spatiale selon la première revendication caractérisé en ce qu'il soit embarqué dans un véhicule automobile de façon à créer une interface utilisateur projetée directement sur le tableau de bord, permettant à l'automobiliste de visualiser en 3D du contenu 3D comme des vues GPS 3D (301), et permettant de s'affranchir d'écrans qui contraignent la conception du panneau de bord et qui brisent le design épuré favorable au confort intérieur ; le dispositif étant discret car compact grâce à la technologie de picoprojecteur à focale ultra courte (ultra short throw) ; l'interface utilisateur étant tactile même si le tableau de bord est de géométrie complexe grâce audit système de vision stéréo capable d'analyser la géométrie en temps réel.35