Brevet FR3068812A1 — publié le 20190111

La présente invention concerne un procédé pour l'essayage virtuel de bracelets, bagues et montres ainsi qu'un dispositif pour la mise en oeuvre dudit procédé. Il est connu de l'état de la technique les systèmes créant des illusions d'optique appelés fantôme de Pepper, ayant notamment fait l'objet de la demande de brevet US n°20120313839 Al. Ces systèmes utilisent plusieurs plaques de matériau semi-transparent comme du verre ou du plexiglas et des techniques de projection pour donner l'illusion d'objets 3D. Ces systèmes ont pour limite d'être encombrant et de créer un espace fermé délimité par les plaques, auquel l'utilisateur ne peut pas accéder. Cet espace crée une distance entre l'objet et l'utilisateur et limite les interactions possibles. Il est connu de l'état de la technique des lunettes de réalité augmentée permettant de visualiser des objets virtuels en 3D dans l'environnement. Ces systèmes ont pour limite de contraindre l'utilisateur à porter un équipement. La présente invention vise à pallier à ces inconvénients, et propose un nouveau procédé ainsi qu'un système permettant l'essayage de montres, bagues ou bracelets sans contraindre l'environnement de l'utilisateur et sans contraindre l'utilisateur à porter un équipement, comme des lunettes de réalité augmentée sur le visage. Le dispositif repose en effet sur un système de projection permettant de projeter directement dans l'environnement de l'utilisateur sans le contraindre avec des plaques semi-transparentes ou des écrans. Un premier système de capteurs est configuré pour suivre la position moyenne des yeux de l'utilisateur. Un deuxième système de capteurs est configuré pour analyser la géométrie de l'environnement comprenant la géométrie de n'importe quel objet dont le corps de l'utilisateur et ses mains. Le présent procédé reçoit les informations de position de l'utilisateur dans l'espace, les informations des positions et orientations des mains et poignets de l'utilisateur, et les informations de géométrie de l'environnement dont la main et le poignet. Il déforme l'image à projeter à la fois en fonction de la perspective de l'utilisateur et en fonction de la géométrie de l'environnement de façon à lui donner la sensation qu'il porte une montre en 3D ou un bracelet ou une bague. L'utilisateur en déplaçant son visage et donc sa perspective, ou en déplaçant sa main, peut voir le bijou sous toutes ses perspectives en 3 dimensions. Les dessins annexés illustrent l'invention. La figure 1 représente la réalisation du procédé dans la situation où l'utilisateur ne place pas sa main dans l'espace de projection : le procédé permet la visualisation de l'objet 3D créant l'illusion d'optique que l'objet flotte dans l'air pour la perspective de l'utilisateur. La figure 2 représente la réalisation du procédé dans la situation où l'utilisateur place son bras dans l'espace de projection : le procédé permet la visualisation de l'objet sur la main ou le poignet de l'utilisateur. Au moins un projecteur (101) est placé en hauteur et projette les images directement dans l'environnement de l'utilisateur. Plusieurs projecteurs peuvent être utilisés pour empêcher d'éventuelles occultations. 2 Un système de capteurs (102) est configuré pour capturer la géométrie de l'environnement et calculer les positions et orientations des mains et des poignets (202) de l'utilisateur. Ce système de capteurs est placé en hauteur. Il peut être au moins une caméra stéréo, au moins une simple caméra vidéo ou au moins un capteur de profondeur observant la surface de 5 projection. Le procédé comprend des algorithmes de vision par ordinateur qui assurent le calcul de la géométrie de l'environnement à partir des données des capteurs. Si le capteur est une caméra stéréo, alors les algorithmes de vision stéréo permettent le calcul de la géométrie de l'environnement. Ces algorithmes peuvent comprendre la mise en correspondance des pixels des deux images et le calcul de la profondeur à partir des disparités obtenues. Le procédé 10 comprend également des algorithmes de vision par ordinateur qui assurent la détection et le calcul des positions et orientations des membres du squelette des mains et des poignets en temps réel à partir des données dudit système de capteurs. Un système de capteurs est configuré pour suivre la position moyenne des yeux de l'utilisateur dans l'espace. Ce système peut être le même que le système de capteurs (102) 15 configuré pour capturer la géométrie de l'environnement. Il peut aussi être un deuxième système de capteurs (104) comme au moins une caméra vidéo, ou au moins un capteur de profondeur placé face à l'utilisateur. Le procédé comprend des algorithmes de vision par ordinateur qui assurent le calcul de la position moyenne des yeux de l'utilisateur (103) dans l'espace en temps réel à partir des données dudit système de capteurs. 20 Le ou les projecteurs ainsi que le ou les systèmes de capteurs sont calibrés ensemble. L'approche par lumière structurée peut permettre la calibration du ou des projecteurs, du ou des capteurs, c'est-à-dire le calcul de leurs paramètres intrinsèques ; ainsi que la calibration de l'ensemble capteur(s) - projecteur(s), c'est-à-dire le calcul de la position et orientation de chaque projecteur par rapport à la position et orientation de chaque capteur qui analyse les lumières 25 structurées ; de façon à créer un unique système de coordonnées pour le ou les projecteurs, le ou les capteurs et le monde virtuel. Un scénario d'essayage virtuel peut se composer de deux étapes. Dans une première étape, l'utilisateur ne place pas le bras dans la zone de projection et le procédé calcule une image 3D de l'objet (105) pour la perspective de l'utilisateur. Dans une deuxième étape, l'utilisateur 30 place son poignet ou sa main dans la zone de projection. Le procédé détecte la main ou le poignet et calcule une image 3D de façon à ce que l'utilisateur porte le bijou ou la montre (201) sur sa main ou son poignet depuis la perspective de l'utilisateur. Ce procédé peut s'étendre à n'importe quel objet d'un commerçant comme un parfum que l'utilisateur peut voir dans la paume de sa main. 35 Le procédé selon l'invention est particulièrement destiné à l'industrie REVENDICATIONS1. Procédé pour l'essayage virtuel des montres, bagues ou bracelets, caractérisé en ce qu'il consiste en la réception de la position moyenne des yeux de l'utilisateur (103), en la réception de la géométrie de l'environnement de l'utilisateur comprenant la géométrie de ses mains et poignets (202), en la réception des positions et orientations des membres du squelette des mains et des poignets, en la projection d'un flux d'image, où chaque image est déformée en fonction de la position moyenne des yeux de l'utilisateur et de la géométrie de l'environnement de façon à donner l'illusion à l'utilisateur de percevoir une montre (201), une bague ou un bracelet en 3 dimensions directement sur son poignet ou sa main depuis sa perspective. 2. Dispositif pour la mise en oeuvre du procédé selon la revendication 1, caractérisé en ce qu'il comprend au moins un projecteur (101), un système de capteurs (102 ou 104) configuré pour calculer la position moyenne des yeux de l'utilisateur, et un système de capteurs (102) configuré pour calculer la géométrie de l'environnement de l'utilisateur, détecter et calculer les positions et orientations des mains et poignets de l'utilisateur en temps réel.