FR 3071635 A1 20190329 FR 1870581 A 20180520 Description Titre de l'invention : Procédé créant une interface projetée tangible pour la sélection, la visualisation 3D et la commande des plats du menu directement depuis la table du restaurant, ainsi qu'un dispositif pour la mise en oeuvre du procédé. [0001] La présente invention concerne un procédé créant une interface projetée tangible pour la sélection, la visualisation en 3 dimensions à échelle réelle des plats du menu du restaurant directement sur la table, pour un ou plusieurs utilisateurs simultanément, ainsi que la commande des plats depuis la table du ou des utilisateurs, et un dispositif pour la mise en oeuvre dudit procédé. [0002] Il est connu de l'état de la technique une application mobile appelée KabaQ (https://youtu.be/21FeT61o78s) permettant de visualiser des plats de restaurant en réalité augmentée. Cette solution a pour limite de contraindre l'utilisateur à porter un équipement : une tablette ou un smartphone. De plus l'utilisateur ne regarde pas directement l'environnement mais un écran, ce qui amoindrit l'immersion. Enfin l'écran est placé entre les utilisateurs, ce qui diminue la convivialité recherchée dans un restaurant. [0003] Il est connu de l'état de la technique un procédé de réalité augmentée pour la visua- lisation de plats de restaurant ainsi qu'un dispositif pour la mise en oeuvre du procédé ayant fait l'objet de notre demande de brevet à l'INPI n'FR1771011, qui vise à pallier les inconvénients de l'application KabaQ. Le dispositif repose sur un système de projection à focale ultra courte (ultra short throw) et un système de capteurs permettant la visualisation de plats de restaurant en 3 dimensions sans contraindre l'utilisateur à porter un équipement - comme des lunettes de réalité augmentée sur le visage ou des écrans dans les mains - ; et directement dans son environnement : sur la table de l'utilisateur. Le procédé reçoit les des données nécessaires au calcul de la position du visage de l'utilisateur et déforme l'image à projeter en fonction de cette position de façon à créer une illusion d'optique 3D des plats en temps réel. L'utilisateur en déplaçant son visage peut voir le plat virtuel sous ses différentes perspectives en 3 dimensions, à échelle réelle et directement sur la table. Le procédé reçoit également les informations de points de contact entre la main et la surface de la table et crée une interface projetée tangible permettant à l'utilisateur de sélectionner le plat à visualiser. [0004] La présente invention vise à ajouter des caractéristiques à l'invention ayant fait l'objet de notre demande de brevet à l'INPI n'FR1771011. [0005] La présente invention crée une interface projetée tangible pour la sélection et la vi- sualisation en 3 dimensions à échelle réelle des plats du menu du restaurant di- 2 rectement sur la table. L'invention est fonctionnelle pour un ou plusieurs utilisateurs simultanément. Le procédé de la présente invention consiste en la réception des données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur, où l'image projetée est divisée en sections correspondant à l'espace devant chaque utilisateur, et où chaque image pour la section associée est déformée en fonction de la position de l'utilisateur correspondant pour créer l'illusion 3D. Le dispositif pour la mise en oeuvre du procédé embarque un système de capteurs configuré pour recevoir les données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur en temps réel. Le dispositif peut être placé en bout de table pour supprimer tout encombrement. [0006] De plus, le procédé reçoit les informations de la commande de chaque utilisateur, et les transmet vers les cuisines du restaurant, de sorte que chaque utilisateur puisse passer des commandes directement depuis sa table et à tout moment du repas. Le procédé transmet également l'emplacement de la table du ou des utilisateurs aux serveurs de façon à faciliter le service à table. Le dispositif pour la mise en oeuvre du procédé embarque un système électronique pour la transmission de ces informations en cuisine. [0007] Le procédé de la présente invention reçoit les informations électroniques de paiement et le dispositif embarque un terminal de paiement électronique. [0008] La présence d'un utilisateur à la table est détectée, ainsi que la position de la place occupée. La détection déclenche alors la projection de contenu sur la région de la table associée à la place occupée. Un système de capteur est configuré pour recevoir les données nécessaires à la détection d'un utilisateur se plaçant à la table en temps réel. [0009] Chaque utilisateur peut concevoir le plat qu'il souhaite : l'interface tangible lui permet de choisir les ingrédients. La déformation de la section de l'image projetée en fonction de la position de l'utilisateur correspondant lui permet de visualiser les plats personnalisés en 3 dimensions avec la bonne perspective. Elle lui permet également de comprendre les portions des plats. [0010] Le dessin annexé illustre l'invention. [0011] [fig.1] représente la réalisation du procédé : l'image projetée est partitionnée en quatre sections (105), correspondant à l'espace devant les quatre places disponibles de la table. Chaque section de l'image projetée est déformée en fonction de la position de l'utilisateur correspondant de façon à créer une illusion d'optique 3D pour cette position, lui permettant de voir le plat du restaurant virtuel (104) comme s'il était réel directement sur la table du restaurant. [0012] Un picoprojecteur à focale ultra courte (ultra short throw) (101) projette les images directement sur la table de l'utilisateur. La focale ultra courte permet d'obtenir un système compact et non encombrant. Le dispositif embarquant le picoprojecteur à 3 focale ultra courte peut être placé à l'extrémité de la table rendant sa présence très discrète sur la table. Le projecteur peut être de rapport de projection plus élevé et embarqué dans le dispositif fixé au plafond du restaurant. [0013] Un système de capteurs (102) est configuré pour recevoir les données nécessaires au suivi de la position moyenne des yeux de chaque utilisateur dans l'espace. Il peut être une caméra vidéo avec lentille grand angle, ou plusieurs caméras vidéo dont l'axe optique est dans la direction de chaque place possible à la table, ou une ou plusieurs caméras stéréo, ou un ou plusieurs capteurs de profondeur. Le procédé comprend des algorithmes de vision par ordinateur et d'apprentissage automatique (machine learning ) qui assurent le calcul de la position moyenne des yeux de chaque utilisateur dans l'espace en temps réel à partir des données dudit système de capteurs. [0014] Un système de capteurs (102) est configuré pour recevoir les points de contact de la surface plane de la table avec les mains. Il peut être un système émettant un plan de lumière infrarouge parallèlement au plan de table couplé à un capteur en haut du dispositif détectant les points lumineux correspondant aux réflexions du signal infrarouge avec les objets touchant la surface. Il peut également être un système reposant sur un procédé plus élaboré qui calcule les positions et orientations des membres de squelette des mains de chaque utilisateur. Ce système est par exemple une caméra stéréo infrarouge comme le Leap Motion, et le procédé comprend alors des algorithmes de vision par ordinateur et d'apprentissage automatique. Ce système de capteurs crée ainsi une interface projetée tangible permettant à chaque utilisateur de choisir le plat virtuel à visualiser en 3 dimensions. [0015] Le picoprojecteur ainsi que le ou les systèmes de capteurs sont calibrés ensemble. Une approche par lumière structurée peut permettre la calibration du picoprojecteur, du ou des systèmes de capteurs (c'est-à-dire le calcul de leurs paramètres intrinsèques), ainsi que la calibration de l'ensemble capteur(s) - projecteur (c'est-à-dire le calcul de la position et orientation du picoprojecteur par rapport à la position et orientation de chaque capteur qui analyse les lumières structurées). La calibration permet de créer un unique système de coordonnées pour le picoprojecteur, le ou les capteurs et le monde virtuel. [0016] Si la géométrie de l'environnement de l'utilisateur est complexe et contient par exemple une assiette, alors chaque section de l'image à projeter peut être rendue en deux passages. Dans un premier passage, un rendu est réalisé depuis la position du visage de l'utilisateur correspondant à la section. La texture synthétisée est projetée depuis la position moyenne des yeux de cet utilisateur sur l'environnement correspondant. Dans un deuxième passage, un rendu est réalisé' depuis une caméra virtuelle placée a' la position du picoprojecteur re'el et ayant les mêmes paramètres intrinsèques que le picoprojecteur réel. Les images de ce rendu pour chaque utilisateur 4 sont concaténées en une seule image, qui est envoyée au picoprojecteur pour être projetée. Si la géométrie de l'environnement est simplement un plan de table, alors une homographie pour chaque utilisateur à chaque image de rendu peut être calculée, puis utilisée pour déformer chaque section correspondante de l'image à projeter. [0017] L'illusion d'optique 3D créée par le procédé de la présente invention repose sur plusieurs effets de profondeur dont l'effet perspective et l'effet de parallaxe. [0018] Les plats de la carte du restaurant peuvent être scannés préalablement par photo- grammétrie. La photogrammétrie consiste à créer des modèles numériques en 3 dimensions à partir de photos prises sous différents points de vue. La présente invention offre à l'utilisateur la possibilité de voir les modèles en 3 dimensions sous tous ses angles avec la bonne perspective. Un modèle numérique créé par photogrammétrie permet ainsi à l'utilisateur qui utilise la présente invention de voir des détails photo-réalistes sous tous les angles. [0019] Les informations des plats commandés sont envoyées en cuisine par réseau sans fil ou par réseau filaire. Chaque utilisateur peut commander à n'importe quel instant un plat, ce qui est particulièrement adapté aux plats nécessitant d'être consommée juste après la préparation comme une glace ou une boisson chaude. L'emplacement de la table est également transmis en cuisine, de sorte que le serveur ne perd pas de temps à rechercher l'utilisateur dans le restaurant. Cette information est d'autant plus importante que le serveur n'a pas nécessairement rencontré l'utilisateur au moment de la commande car l'invention permet le passage de commande sans assistance du serveur. Chaque utilisateur peut procéder au paiement de sa commande depuis sa place assise en utilisant le terminal de paiement électronique (103). [0020] Un système de capteurs (102) est configuré pour détecter la présence d'un utilisateur à une table du restaurant, ainsi que la place occupée. Il peut être une caméra vidéo avec lentille grand angle, ou plusieurs caméras vidéo dont l'axe optique est dans la direction de chaque place possible à la table, ou une ou plusieurs caméras stéréo, ou un ou plusieurs capteurs de profondeur. Le procédé comprend des algorithmes de vision par ordinateur et d'apprentissage automatique qui assurent la détection à partir des données dudit système de capteurs. Si le dispositif utilisé est une caméra vidéo, alors le procédé peut reposer sur la méthode de détection de visage dans l'image de Viola et Jones ou sur une méthode de réseau neuronal convolutif. Si le dispositif est un capteur de profondeur, alors le procédé peut reposer sur la détection de points solides dans l'espace au-dessus de la place qui serait vide sans occupant. La détection déclenche alors la projection de contenu sur la région de la table associée à la place occupée. [0021] Un bouton interactif est projeté et permet d'allumer ou déteindre la projection. Lorsque la projection est éteinte, la table du restaurant est dégagée, non encombrée d'un quelconque écran et est ainsi non différenciable d'une table quelconque de restaurant. L'interface de la présente invention est ainsi non intrusive (non invasive). [0022] Des animations en 3 dimensions en lien avec le plat sélectionné sont projetées devant chaque utilisateur. Par exemple un petit personnage en 3 dimensions et animé raconte des histoires culinaires en relation avec le plat sélectionné par chaque utilisateur. Ce personnage peut être la mascotte de la marque du restaurant. Les animations en 3 dimensions fait patienter l'utilisateur pendant la préparation des plats. La déformation de la section de l'image projetée en fonction de la position de l'utilisateur correspondant lui permet de visualiser les animations en 3 dimensions avec la bonne perspective. [0023] Un système de capteurs (102) est configuré pour mesurer les émotions de chaque uti- lisateur. Il peut être une caméra vidéo avec lentille grand angle, ou plusieurs caméras vidéo dont l'axe optique est dans la direction de chaque place possible à la table, ou une ou plusieurs caméras stéréo, ou un ou plusieurs capteurs de profondeur. Le procédé comprend des algorithmes de vision par ordinateur et d'apprentissage automatique qui assurent le calcul des émotions de chaque utilisateur en temps réel à partir des données dudit système de capteurs. Les réactions émotives mesurées apportent des informations précises au restaurateur sur les comportements des utilisateurs par rapport au contenu projeté. Le restaurateur peut alors savoir quels plats ont du succès et peut prendre des décisions avec confiance. [0024] Chaque utilisateur peut concevoir le plat qu'il souhaite : l'interface tangible lui permet de choisir les ingrédients. La déformation de la section de l'image projetée en fonction de la perspective de l'utilisateur correspondant lui permet de visualiser les plats personnalisés, leurs portions, et de les évaluer. [0025] Le procédé selon l'invention est particulièrement destiné à l'industrie de la res- tauration et de l'hôtellerie.' 1/2 REVENDICATIONS1. Procédé créant une interface projetée tangible pour la sélection, la visualisation en 3 dimensions à échelle réelle des plats du menu du restaurant (104) directement sur la table du ou des utilisateurs, caractérisé en ce qu'il comprend une étape de réception de données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur, où l'image projetée est divisée en sections (105) correspondant à l'espace devant chaque utilisateur, et où chaque image pour la section associée est déformée en fonction de la position de l'utilisateur correspondant pour créer l'illusion 3D des plats. 2. Procédé selon revendication 1, caractérisé en ce qu'il comprend en outre une étape de réception d'informations d'une commande, et une étape de transmission desdites informations de commande vers les cuisines du restaurant, de sorte que chaque utilisateur puisse passer au moins une commande directement depuis sa table et à tout moment du repas. 3. Procédé selon la revendication 2, caractérisé en ce qu'il comprend en outre une étape de transmission de l'emplacement de la table du ou des utilisateurs aux serveurs, de façon à faciliter le service à table. 4. Procédé selon la revendication 2 ou 3, caractérisé en ce qu'il comprend en outre une étape de paiement électronique de ladite commande. 2/2 5. Procédé selon l'une quelconque des revendications 1 à 4, caractérisé en ce qu'il comprend en outre une étape de détection de la présence d'un utilisateur à la table, ainsi que la place occupée à la table, permettant de déclencher la projection de contenu sur la région de la table associée à la place occupée. 6. Procédé selon l'une quelconque des revendications 1 à 5, caractérisé en ce qu'il comprend en outre une étape de conception des plats par chaque utilisateur à partir du choix des ingrédients, où l'interface tangible permet la sélection des ingrédients, et où la déformation de la section de l'image projetée en fonction de la position de l'utilisateur correspondant lui permet de visualiser et d'évaluer les plats personnalisés en 3 dimensions et leurs portions. 7. Dispositif pour la mise en oeuvre du procédé selon l'une quelconque des revendications 1 à 6, embarquant un pico-projecteur à focale ultra courte (101), une unité informatique configurée pour héberger des calculs suivant ledit procédé, un système de capteurs configuré pour recevoir des données nécessaires à la détection des points de contact des mains de chaque utilisateur avec la surface de la table; caractérisé en ce qu'il embarque en outre un système de capteurs (102) configuré pour recevoir les données nécessaires au calcul de la position moyenne des yeux de chaque utilisateur en temps réel. 8. Dispositif selon la revendication 7, caractérisé en ce qu'il embarque en outre un système électronique de transmission des informations vers les cuisines du restaurant. 9. Dispositif selon la revendication 7 ou 8, caractérisé en ce qu'il embarque en outre un terminal de paiement électronique (103).