Brevet FR3071650A1 — publié le 20190329

La présente invention concerne un procédé de réalité augmentée pour la visualisation de plats de restaurant ainsi qu'un dispositif pour la mise en oeuvre dudit procédé. Il est connu de l'état de la technique une application mobile appelée KabaQ (https://youtu.be/21FeT61o78s) permettant de visualiser des plats de restaurant en réalité augmentée. Cette solution a pour limite de contraindre l'utilisateur à porter un équipement : une tablette ou un smartphone. De plus l'utilisateur ne regarde pas directement l'environnement mais un écran, ce qui amoindrit l'immersion. La présente invention vise à pallier à ces inconvénients, et propose un nouveau procédé ainsi qu'un système permettant la visualisation de plats de restaurant sans contraindre l'utilisateur à porter un équipement - comme des lunettes de réalité augmentée sur le visage ou des écrans dans les mains - ; et directement dans son environnement. Le dispositif repose sur un système de projection permettant de projeter directement dans l'environnement de l'utilisateur des plats virtuels en 3 dimensions sans le contraindre avec des écrans. Un premier système de capteurs est configuré pour permettre le suivi de la position moyenne des yeux de l'utilisateur. Un éventuel deuxième système de capteurs est configuré pour permettre l'analyse de la géométrie de l'environnement. Le présent procédé reçoit les informations de position de l'utilisateur dans l'espace et les informations de géométrie de l'environnement. Il déforme l'image à projeter à la fois en fonction de la perspective de l'utilisateur et en fonction de la géométrie de l'environnement de façon à créer une illusion d'optique 3D en temps réel. L'utilisateur en déplaçant son visage peut voir le plat virtuel sous ses différentes perspectives en 3 dimensions à échelle réelle directement sur la table. Un système de capteurs est utilisé pour calculer la position et l'orientation des parties des squelettes des mains de l'utilisateur. Le présent procédé reçoit les informations de positions et orientations des mains de l'utilisateur pour créer une interface projetée tangible permettant à l'utilisateur de choisir le plat à visualiser. Le projecteur utilisé est un picoprojecteur à focale ultra courte (ultra short throw) pour maximiser la compacité et la portabilité du dispositif. Une unité informatique héberge les calculs suivant le procédé de la présente invention. Lesdits systèmes de capteurs, le picoprojecteur et l'unité informatique sont embarqués dans le même dispositif. Le dessin annexé illustre l'invention. La figure 1 représente la réalisation du procédé : il crée une illusion d'optique 3D pour la position de l'utilisateur permettant à l'utilisateur de voir le plat du restaurant virtuel comme s'il était réel directement sur la table du restaurant. Un picoprojecteur à focale ultra courte (ultra short throw) (101) projette les images directement dans l'environnement de l'utilisateur. Un système de capteurs (102) est configuré pour recevoir les données nécessaires au suivi de la position moyenne des yeux de l'utilisateur dans l'espace. Il peut être une caméra vidéo, ou une caméra stéréo ou un capteur de profondeur placé face à l'utilisateur. Le procédé comprend des algorithmes de 2 vision par ordinateur qui assurent le calcul de la position moyenne des yeux de l'utilisateur dans l'espace en temps réel à partir des données dudit système de capteurs. Un système de capteurs (102) peut être configuré pour recevoir les données nécessaires à capturer la géométrie de l'environnement. Il peut être le même que le système de capteurs pour suivre la position 5 moyenne des yeux de l'utilisateur dans l'espace ou un système différent. Il peut être une caméra stéréo, une simple caméra vidéo ou un capteur de profondeur observant la surface de projection. Le procédé comprend des algorithmes de vision par ordinateur qui assurent le calcul de la géométrie de l'environnement à partir des données des capteurs. Si le capteur est une caméra stéréo, alors les algorithmes de vision stéréo permettent le calcul de la géométrie de l'environnement. Ces algorithmes peuvent comprendre la mise en 10 correspondance des pixels des deux images et le calcul de la profondeur à partir des disparités obtenues. Un système de capteurs (102) est configuré pour recevoir les données nécessaires au calcul des positions et orientations des parties des squelettes des mains de l'utilisateur. Il peut être le même que le système de capteurs pour suivre la position moyenne des yeux de l'utilisateur dans l'espace ou un système différent. Il peut être une caméra stéréo infrarouge comme le Leap Motion. Le procédé comprend des 15 algorithmes de vision par ordinateur qui assurent la détection des mains de l'utilisateur et le calcul des positions et orientations des parties des squelettes des mains en temps réel à partir des données dudit système de capteurs. Ces algorithmes créent ainsi une interface projetée tangible permettant à l'utilisateur de choisir le plat virtuel (103) à visualiser. Le picoprojecteur ainsi que le ou les systèmes de capteurs sont calibrés ensemble. Une approche par 20 lumière structurée peut permettre la calibration du picoprojecteur, du ou des systèmes de capteurs (c'est-à- dire le calcul de leurs paramètres intrinsèques), ainsi que la calibration de l'ensemble capteur(s) - projecteur (c'est-à-dire le calcul de la position et orientation du picoprojecteur par rapport à la position et orientation de chaque capteur qui analyse les lumières structurées). La calibration permet de créer un unique système de coordonnées pour le picoprojecteur, le ou les capteurs et le monde virtuel. 25 Si la géométrie de l'environnement de l'utilisateur est complexe et contient par exemple une assiette, alors l'image à projeter par le picoprojecteur peut être rendue en deux passages. Dans un premier passage, un rendu est réalisé depuis la position du visage de l'utilisateur. La texture synthétisée est projetée depuis la position moyenne des yeux de l'utilisateur sur l'environnement capturé. Dans un deuxième passage, un rendu est réalisé depuis une caméra virtuelle placée à la position du picoprojecteur réel et ayant les mêmes 30 paramètres intrinsèques que le picoprojecteur réel. L'image de ce rendu est alors envoyée au picoprojecteur pour être projetée. Si la géométrie de l'environnement est simplement un plan de table, alors une unique homographie peut être utilisée pour déformer l'image à projeter. L'illusion d'optique 3D créée par le procédé de la présente invention repose sur plusieurs effets de profondeur dont l'effet perspective et l'effet de parallaxe. 35 Les plats de la carte du restaurant peuvent être scannés préalablement par photogrammétrie. La photogrammétrie consiste à créer des modèles numériques 3D à partir de photos prises sous différents points de vue. La présente invention offre à l'utilisateur la possibilité de voir les rendus sous ses différents 3 angles. Si le modèle numérique est créé par photogrammétrie, alors l'utilisateur voit exactement ce qu'il observerait si le plat était réel. Le procédé selon l'invention est particulièrement destiné à l'industrie REVENDICATIONS1. Procédé de réalité augmentée pour la visualisation de plats de restaurant, caractérisé en ce qu'il consiste en la réception de la position moyenne des yeux de l'utilisateur en temps réel, en la réception éventuelle de la géométrie de l'environnement de l'utilisateur, en la projection d'un flux d'image en temps réel, où chaque image est déformée en fonction de la position moyenne des yeux de l'utilisateur et de la géométrie de l'environnement de façon à donner l'illusion à l'utilisateur de percevoir les plats virtuels (103) en 3 dimensions, à échelle réelle, directement sur la table du restaurant, sous ses différents angles avec la bonne perspective. 2. Procédé selon la première revendication, caractérisé en ce qu'il consiste en la réception des positions et orientations des parties du squelette de la main de l'utilisateur pour créer une interface projetée tangible permettant à l'utilisateur de sélectionner le plat virtuel à visualiser en 3 dimensions. 3. Dispositif pour la mise en oeuvre du procédé selon la revendication 1 ou 2, caractérisé en ce qu'il comprend un picoprojecteur à focale ultra courte (ultra short throw) (101), une unité informatique configurée pour héberger les calculs suivant le procédé, un système de capteurs (102) configuré pour recevoir les données nécessaires au calcul de la position moyenne des yeux de l'utilisateur en temps réel, un système de capteurs (102) configuré pour recevoir les données nécessaires au calcul la géométrie de l'environnement de l'utilisateur, et un système de capteurs (102) configuré pour recevoir les données nécessaires à la détection des mains de l'utilisateur et au calcul des positions et orientations des parties des squelettes des mains de l'utilisateur en temps réel; le tout embarqué dans un unique dispositif portable.