Brevet FR3074325A1 — publié le 20190531

MANIPULATION D'OBJETS VIRTUELS DANS UN ENVIRONNEMENT IMMERSIF Domaine technique de l'invention La présente invention concerne un environnement immersif pour des éléments d'étude en réalité virtuelle. La présente invention concerne plus particulièrement un procédé de manipulation d'objet dans un environnement virtuel immersif. Etat de la technique L'avancement technologique actuel de la réalité virtuelle permet de projeter un opérateur au sein d'un univers virtuel dans lequel sont affichés divers contenus, par exemple un objet 3D ou tridimensionnel à étudier. Il est non seulement possible de visualiser différents contenus 3D mais également d'interagir avec ceux-ci en temps réel, ce qui ouvre la voie à bon nombre d'applications. La revue de projet numérique immersive par exemple se matérialise par l'utilisation de la réalité virtuelle comme un outil de contrôle et un support de discussion entre les différents interlocuteurs d'un projet. Dans le domaine automobile, des maquettes numériques de véhicules peuvent alors être utilisées par différents interlocuteurs dont des designers, des ingénieurs ou des ergonomes qui peuvent dialoguer lors de réunions immersives centrées sur la maquette numérique, ladite maquette servant de support de communication et d'échange de points de vue entre les différents métiers. Ladite maquette numérique permet également de vérifier que le modèle du véhicule respecte bien des critères d'architecture, d'ergonomie, de qualité perçue ou encore d'habitabilité entre autres. Alors que les maquettes physiques sont massivement utilisées jusqu'à présent, l'objectif actuel est de réduire drastiquement leur usage car elles sont couteuses et peu écologiques. Classiquement, on commande une maquette physique qui correspond à l'état du prototype à un instant donné. Après d'importants délais, la maquette est livrée mais elle peut être déjà périmée. Par contre, une maquette numérique est disponible plus rapidement, dans une version plus à jour et modifiable en temps réel ce qui permet une 2 plus grande réactivité de l'ensemble des acteurs et démontre l'intérêt de la maquette numérique. Un autre avantage est que contrairement aux maquettes physiques habituelles de véhicules qui sont souvent à l'échelle un quart, les maquettes virtuelles apparaissent 5 à l'échelle 1, ce qui signifie que l'opérateur peut se mettre dans la peau d'un utilisateur final et entrer dans l'habitacle. La visualisation d'architecture de véhicule automobile dans un environnement virtuel est donc un enjeu majeur chez les constructeurs automobiles car elle permet d'accélérer les processus de conception. On utilise généralement une salle immersive 10 qui permet de disposer d'un excellent rendu visuel et dans laquelle on déploie deux technologies pour la perception de la profondeur : la stéréovision qui exploite l'effet de disparité binoculaire et la capture et le suivi des déplacements ou « tracking » en anglais qui permet la parallaxe du mouvement. De façon générale, les objets dans une salle immersive sont posés ou circulent 15 sensiblement sur un plan et il n'est pas possible de bien appréhender toutes les caractéristiques de forme de l'objet virtuel que l'on étudie. Par exemple, il est impossible de manipuler ces objets afin de voir le dessous desdits objets. Dans le domaine des véhicules automobiles, les utilisateurs qui peuvent être des désigners, des concepteurs ou des ingénieurs peuvent voir et apprécier le dessus du véhicule au moins tout ce qui à 20 hauteur de leur vision avec naturellement tous les éléments de parois latérales dudit véhicule. Cependant ces utilisateurs ne peuvent pas de façon confortable voir des éléments de décoration agencés sur le toit du véhicule ou les éléments du dessous du véhicule. Ils ne peuvent avoir une vision complète du véhicule alors qu'ils disposent des plans et des données numériques. 25 Il existe donc un besoin de manipuler des objets dans un environnement virtuel immersif notamment pour des objets volumineux tels qu'une carrosserie de véhicule ou un véhicule lui-même. La publication US 2009/0177452-A1 propose un système de manipulation d'un objet dans un environnement virtuel, lequel objet est suivi par des détecteurs. Ledit objet est un outil pour une opération par exemple. 3 Un problème est le suivi par détection de l'outil et non des gestes de la main, ce qui réduit sensiblement le champ d'expériences proposé par cette publication. De plus, la pose de l'outil n'est pas prise en compte puis c'est l'outil qui est suivi et non la main elle-même. 5 Le but de l'invention est de remédier à ces problèmes et un des objets de l'invention est un procédé de manipulation d'objet dans un environnement immersif pour autoriser la saisie, la manipulation et la pose d'un objet. Présentation de l'invention La présente invention concerne plus particulièrement un procédé de manipulation 10 d'un objet virtuel dans un environnement immersif comprenant : -une salle immersive équipée de -un système de détection, -un système de projection d'images sur les parois de la salle, par un utilisateur portant : 15 -un système de suivi de la vision de l'utilisateur -un système de suivi des gestes de l'utilisateur, caractérisé en ce que le procédé comporte une phase de préhension définissant la préhension de l'objet virtuel, qui comprend une gestualité prédéterminée avec le deux mains de l'utilisateur. 20 De manière avantageuse, le procédé de manipulation d'objet virtuel permet de prendre et de mouvoir un objet virtuel dans un environnement virtuel immersif tel que le CAVE comprenant une salle immersive avec son dispositif de projection d'images sur les parois de ladite salle comprenant des projecteurs, son dispositif de suivi comprenant des caméras de détection, dans laquelle l'utilisateur est entré en portant un système de suivi 25 de vision, par exemple une paire de lunettes équipées d'un élément de suivi qui peut être une sphère disposée de façon médiane à la paire de lunettes, et un système de suivi des gestes et notamment des doigts à chacune des deux mains de l'utilisateur. Selon 4 l'invention, la reconnaissance de la préhension de l'objet virtuel est consécutive à la détection d'une gestualité prédéterminée des deux mains de l'utilisateur pour éviter des dysfonctionnements suite à des erreurs de gestes. De façon avantageuse, la prise à deux mains de l'objet virtuel permet également 5 sans difficultés d'imprimer des mouvements de translation ou de rotation audit objet selon différents axes. En effet, il est alors plus aisé de détecter les positions relatives entre les deux mains et ensuite de calculer les mouvements de l'objet virtuel. Selon d'autres caractéristiques de l'invention, - le système de suivi des gestes de l'utilisateur comprend des éléments de suivi 10 portés aux mains par l'utilisateur. De manière avantageuse, le système de suivi des gestes de l'utilisateur comprend des éléments de suivi portés aux mains par l'utilisateur. De ce fait, les positions spatiales des doigts de chacune des mains sont associés aux positions spatiales des éléments de suivi portés. Une phase de calibration peut avoir lieu pour préciser les 15 mouvements de pincements des doigts. - les éléments de suivis portés sont dans une liste comprenant des gants de suivi comportant au moins deux doigts susceptibles d'être suivis, des bagues de suivi adaptées à entourer le doigt de l'utilisateur. De manière avantageuse, les éléments de suivi portés à chacune des mains par 20 l'utilisateur peuvent une paire de gants de suivi formé par au moins deux embouts de suivi détectés par le système de suivi de la salle immersive. Lesdits éléments peuvent aussi être une bague avec des bras radiaux tenant une boule repérée et suivie par le système de suivi de la salle immersive. Il existe de nombreux éléments de suivi de doigts et la technologie pourra offrir 25 d'autres produits moins encombrants. -la phase de préhension comporte la détection de pincement de deux doigts d'une main. 5 De manière avantageuse, la phase de préhension comporte la détection par le système de suivi de la salle immersive du pincement de deux doigts d'une même main. Ladite main peut jouxter l'objet virtuel c'est-à-dire que la distance entre ladite main et l'objet virtuel est inférieure à un seuil de distance. Par exemple, ladite main peut être au 5 contact avec l'objet virtuel pour réduire les erreurs de détection. En effet, les coordonnées spatiales de la main peuvent être déduites des coordonnées spatiales des doigts et comparées ensuite avec les cordonnées spatiales de objet virtuel. La main doit donc être à proximité de l'objet virtuel ou à son contact pour préciser la volonté de préhension de l'objet virtuel puis les doigts doivent venir au pincement au contact l'un de l'autre. 10 -la phase de préhension comprend une étape de validation comportant la détection du pincement de doigts de chacune des deux mains qui jouxtent l'objet virtuel. De manière avantageuse, l'étape de préhension comprend une étape de validation de la préhension avec la détection du pincement des deux doigts de chacune des deux mains. Chacune des mains jouxte l'objet virtuel ou étant à proximité avec l'objet 15 virtuel. De cette façon, l'écart entre les deux mains est calculé et pris en valeur de référence pour les mouvements à venir. -la phase de préhension de l'objet comprend un ensemble de gestualités symboliques, chacune des gestualités symboliques est associée à un mouvement particulier de l'objet virtuel. 20 De manière avantageuse, la phase de préhension comprend un ensemble de gestualités symboliques, chacune de ces gestualités symboliques est associée à un mouvement particulier de l'objet virtuel. Les gestualités symboliques sont avantageusement intuitives - la phase de préhension autorise une vision d'agrandissement de l'objet virtuel 25 par une gestualité symbolique de grossissement. La phase de préhension autorise aussi de manière avantageuse d'obtenir un agrandissement de l'objet virtuel par une gestualité particulière, simple et intuitive avec les deux mains, chacune des mains présentant les deux doigts en pincement. 6 -la gestualité symbolique de grossissement est dans une liste comprenant un écartement des deux mains de l'utilisateur. De façon avantageuse, la gestualité consistant à écarter les mains et les bras est intuitive pour agrandir la vision de l'objet virtuel, chacune des mains présentant les 5 deux doigts en pincement. Cette gestualité est analogue à celle symbolique sur les ordinateurs portables actuels. -la phase de préhension est arrêtée à la détection du desserrage de deux doigts d'une main. De façon avantageuse, le desserrage des deux doigts d'une main est détecté par 10 le système de suivi de la salle immersive permet d'arrêter la phase de préhension. La gestualité liée à l'arrêt de la préhension est donc très simple. - la phase d'arrêt de manipulation laisse l'objet virtuel immobile dans sa dernière position spatiale précédant ladite phase d'arrêt. De manière avantageuse, la phase d'arrêt de la manipulation laisse l'objet virtuel 15 immobile dans sa dernière position précédant ladite phase d'arrêt. Ainsi, il est aisé de bouger l'objet virtuel dans les sens voulu, puis de l'immobiliser afin de percevoir visuellement tous les aspects dudit objet virtuel. Brève description des fiqures D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de 20 la description qui suit de modes particuliers de réalisation de l'invention donnés à titre d'exemples non limitatifs et représentés sur les dessins annexés, dans lesquels : -la figure 1 est une vue schématique de l'utilisateur dans un environnement virtuel immersif avec un objet virtuel. -la figure 2 est une vue schématique de la main avec le système de suivi des 25 gestes de l'utilisateur. -la figure 3 est une vue schématique de la manipulation de l'objet virtuel. 7 -la figure 4 est une schématique de la préhension de l'objet virtuel. -la figure 5 est vue d'un logigramme de représentation du procédé de manipulation. Description détaillée des fiqures 5 Dans la description qui va suivre, des chiffres de référence identiques désignent des pièces identiques ou ayant des fonctions similaires. On entend par les termes « 3D » le caractère spatial tridimensionnel. La figure 1 représente un environnement virtuel 100 immersif dans lequel est plongé un utilisateur 10. Ledit environnement virtuel immersif un « CAVE© » pour « Cave 10 Automatic Virtual Environment » en anglais. Cet environnement immersif est formé par une salle immersive 11 comprenant trois parois verticales 13 jointes disposées entre un plafond et un plancher et équipée de caméras et de capteurs de position 12 d'un utilisateur ici le conducteur aux coins du plafond et/ou du plancher de ladite salle et de projecteurs 14 pour diffuser sur les différentes parois 13 de ladite salle 11 des images 15 de l'environnement enregistrées dans une mémoire d'une unité de contrôle 15 afin de recréer de manière réaliste l'environnement de l'utilisateur. Lesdits capteurs 12 forment un système de détection 12s et les projecteurs 14 forment un système de projection 14s de la salle, lesdits systèmes sont reliés à ladite unité de contrôle 15. L'utilisateur 10 est introduit dans la salle immersive. 20 L'unité de contrôle 15 commande la projection en continu d'images d'environnement pour former l'environnement virtuel de l'utilisateur 10. L'environnement virtuel de l'utilisateur est apte à être modifié suivant la navigation dudit utilisateur ainsi que par les déplacements du point de vue de l'utilisateur. Pour pouvoir définir ledit point de vue, l'utilisateur peut être muni d'un système de suivi de la vision 16 qui est ici une 25 paire de lunettes comportant une boule de suivi 17 recouverte par exemple de feuille argentée, ladite boule de suivi étant susceptible d'être repérée par les capteurs 16 de la salle immersive. La position spatiale de la boule de suivi 17 peut alors être facilement détectée ainsi que la direction de la vision de l'utilisateur. 8 Les mouvements dans l'espace de la tête sont ainsi détectés également par les capteurs 12 de la salle immersive 11 afin de pouvoir définir le point de vue ainsi que le champ de vison de l'utilisateur 10. Les informations de détection par lesdits capteurs 12 sont ensuite transmises de manière préférentielle en temps réel par lesdits capteurs à 5 l'unité de contrôle 15 qui est apte à effectuer des calculs pour définir l'environnement virtuel 35 de l'utilisateur et de contrôler les projections des images par les projecteurs 14. On peut apercevoir l'environnement virtuel 35 par exemple sur les figures 3 et 4. Dans la salle immersive 11 est placé un objet virtuel 18 qui est ici un véhicule virtuel 18v qui peut être une image 3D d'un véhicule ou d'une maquette d'étude comme 10 dans notre exemple. Cet objet virtuel 18 « 3D » est obtenu dans la salle immersive 11 par la projection de flux vidéo sur les différentes parois 13 de la salle. Une séance d'examen de l'objet virtuel 18 peut alors être démarrée simplement. Selon l'invention, l'utilisateur dispose d'un procédé 200 de manipulation de l'objet virtuel 18 qui permet de valider la préhension de l'objet virtuel 18 puis la manipulation 15 dudit objet. Selon la figure 5, ledit procédé 200 comprend : -une phase de préhension 210 de l'objet virtuel qui comporte .une étape de validation 215 de la préhension, -une phase de manipulation 220, -une phase d'arrêt de la manipulation 230. 20 Comme on peut le voir sur les figures 1 et 2, l'utilisateur porte 10 aussi à ses deux mains un système de suivi des gestes 19. Ce système de suivi des gestes 19 comprend de manière préférentielle une paire de gants de suivi 20. Le gant de suivi comprend des embouts 21 reliés à une unité 22 fixée sur le revers de la main. Les embouts 21 de manière préférentielle sont au moins au nombre de deux et ils sont adaptés pour loger 25 les extrémités de doigts de la main de l'utilisateur ; selon le mode de réalisation présenté, les doigts comprennent au moins le pouce. Ainsi l'utilisateur 10 peut esquisser un mouvement de pincement 23 des doigts qui pourra être détecté par le système de détection 12s de la salle immersive 11 ; le pincement 23 de doigts consiste en un 9 rapprochement des doigts jusqu'au contact des extrémités libres desdits doigts, ici le pouce et un autre doigt portant chacun un embout 21 de suivi. Comme illustré par les figures 3 et 4, le procédé de manipulation d'objet virtuel selon l'invention comprend une phase de préhension 210 de l'objet virtuel. Ladite phase 5 de préhension comporte la détection de plusieurs gestualités différentes de la part de l'utilisateur. Ladite phase de préhension comporte en particulier une étape de validation 215 de la préhension de l'objet virtuel 18. Selon un mode de réalisation, cette étape de validation 215 comprend un critère 10 qui est le rapprochement des mains 30 de l'utilisateur 10 vers un contact avec l'objet virtuel 18, lesdites mains 30 jouxtant alors l'objet virtuel 18. On entend par jouxter le fait que les mains viennent à proximité de l'objet virtuel jusqu'à un contact éventuel. Les positions spatiales obtenues par détection des mains sont comparées aux positions spatiales connues de l'objet virtuel 18, aussi on peut calculer facilement des distances de 15 contacts entre les mains et l'objet virtuel. Lesdites distances doivent être inférieures à un seuil de distance pour confirmer la volonté de préhension de l'objet virtuel 18 par l'utilisateur 10. Le seuil de distance peut être de l'ordre de 1 à 3 m. L'étape de validation 215 de la préhension comprend un autre critère qui est la détection du pincement des doigts de la main et plus précisément des deux mains. 20 Ensuite, l'utilisateur 10 peut manipuler l'objet virtuel 18. En effet, la manipulation de l'objet virtuel 18 nécessite au moins deux points de préhension pour autoriser ensuite différents mouvements possibles de l'objet. Selon les figures 3 et 4, l'utilisateur a ainsi tendu les bras jusqu'au contact des mains avec l'objet virtuel et pincé les doigts de ses deux mains. La validation de la préhension de l'objet virtuel est effective. L'utilisateur peut alors 25 manipuler ledit objet virtuel 18. Selon la figure 4, l'utilisateur 10 soulève ses mains tout en gardant ses doigts 30 pincés. L'objet virtuel 18 est alors déplacé selon un mouvement depuis le plancher vers le plafond de la salle immersive. L'utilisateur peut manipuler l'objet virtuel avec les mouvements de ses mains tout en gardant ses doigts 30 en position de pincement 23. 10 En effet, la phase de manipulation 220 est arrêtée à la détection du défaut d'un critère de l'étape de validation 215 de la phase de préhension 210. Dans le mode de réalisation présenté, la manipulation est arrêtée à la détection du non pincement ou du desserrage des doigts d'au-moins une main. Dans la phase d'arrêt de manipulation 230, 5 l'objet virtuel reste immobile dans la dernière position spatiale précédant l'arrêt. L'utilisateur peut alors vérifier ou valider en visualisation certains aspects de l'objet virtuel 18 hors d'atteinte quand ledit objet est dans sa position normale ou initiale sur le plancher de la salle immersive. Par exemple, il pourra examiner visuellement le dessous du véhicule. 10 Lors de la phase de préhension, l'utilisateur peut effectuer différentes gestualités qui sont reconnues et associées à des modifications de l'objet virtuel. Parmi les gestualités reconnues, l'agrandissement de l'objet virtuel ou son rétrécissement peut être obtenu respectivement en écartant ou en rapprochant les mains 30 depuis l'écart initial des mains. On entend par écart initial des mains l'écart calculé 15 entre les mains suite à la détection des critères de l'étape de validation 215 de la phase de préhension 210, c'est-à-dire les mains 30 de l'utilisateur jouxtant l'objet virtuel 18 et un pincement des doigts de chacune des mains. De cette façon simple, l'utilisateur peut percevoir tous les détails désirés les différents aspects de l'objet virtuel. L'utilisateur peut faire mouvoir l'objet virtuel de différentes façons. Par exemple, 20 il peut incliner l'objet virtuel en effectuant une inclinaison de l'axe reliant se deux mains. Selon un autre exemple, il peut faire tourner l'objet virtuel autour d'un axe en déplaçant une main 30 autour de l'autre. De manière générale, les mouvements de l'objet virtuel manipulé suivent les mouvements relatifs des deux mains de l'utilisateur, étant entendu que cet utilisateur ne relâche pas dans la séquence de mouvements le pincement des 25 doigts dans chacune des mains. Lesdits mouvements relatifs tels que décrits précédemment sont dans un ensemble de gestualités symboliques reconnues par le procédé de manipulation, chaque gestualité symbolique est alors associé à un mouvement particulier de l'objet virtuel. Il est à noter que toutes les gestualités symboliques sont intuitives et ne demandent pas d'effort d'apprentissage. 11 Selon l'invention, le procédé de manipulation autorise également l'inscription de notes sur l'objet virtuel 18 manipulé. Le déplacement des doigts enfoncés dans les embouts du système de suivi des gestes est suivi par le système de détection 12s de la salle immersive laissant à l'utilisateur la possibilité d'inscrire des annotations ou des 5 marquages de zones de l'objet virtuel. Ces annotations ou marquages sont conservés et associés à la séance d'examen de l'objet virtuel. Selon l'invention, le procédé de manipulation autorise également pendant la séance d'examen des mesures de dimensions particulières de l'objet virtuel. En effet, le procédé comporte des outils de mesures de distance. L'utilisateur peut ainsi pointer les 10 deux extrémités d'un segment pour obtenir la longueur dudit segment. La valeur mesurée peut être ensuite affichée comme une annotation 3D avec l'objet virtuel. L'objectif est atteint : le procédé de manipulation permet de manipuler aisément un objet virtuel avec une gestualité très intuitive. La manipulation dudit objet virtuel permet une perception détaillée de l'objet virtuel et des fonctionnalités intéressantes et 15 nécessaires lors d'une séance d'examen d'un objet virtuel. Comme il va de soi, l'invention ne se limite pas aux seules formes d'exécution de cette prise, décrites ci-dessus à titre d'exemples, elle en embrasse au contraire toutes les variantes. Par exemple, l'étape de validation 215 peut prendre en compte les positions 20 relatives de la vision de l'utilisateur avec ses deux mains pour confirmer la volonté de préhension de l'objet virtuel par l'utilisateur. Par exemple aussi, la position des mains par rapport à l'objet virtuel peut être sans importance pour autoriser d'autres déplacements de l'objet REVENDICATIONS1. Procédé de manipulation (200) d'un objet virtuel (18) dans un environnement immersif (100) comprenant : -une salle immersive (11) équipée de -un système de détection (12s), -un système de projection (14s) d'images sur les parois (13) de la salle, par un utilisateur (10) portant : -un système de suivi de la vision (16) de l'utilisateur -un système de suivi des gestes (19) de l'utilisateur, caractérisé en ce que le procédé comporte une phase de préhension définissant la préhension de l'objet virtuel (18), qui comprend la détection des positions relatives entre les deux mains de l'utilisateur pour manipuler l'objet virtuel avec les deux mains (30) de l'utilisateur. 2. Procédé (200) selon la revendication 1, caractérisé en ce que le système de suivi des gestes (19) de l'utilisateur comprend des éléments de suivi (20) portés aux mains (30) par l'utilisateur. 3. Procédé (200) selon la revendication 2, caractérisé en ce que les éléments de suivis portés sont dans une liste comprenant des gants (20) de suivi comportant au moins deux doigts susceptibles d'être suivis, des bagues de suivi adaptées à entourer les doigts de l'utilisateur. 4. Procédé (200) selon l'une quelconque des revendications 1 à 3, caractérisé en ce que la phase de préhension comporte la détection de pincement (23) de deux doigts d'une main (30). 25 13 5. Procédé (200) selon la revendication 4, caractérisé en ce que la phase de préhension (210) comprend une étape de validation (215) comportant la détection du pincement (23) de doigts de chacune des deux mains (30) jouxtant l'objet virtuel. 6. Procédé (200) selon l'une quelconque des revendications 1 à 5, caractérisé en ce que la phase de préhension (210) de l'objet virtuel (18) comprend un ensemble de gestualités symboliques, chacune des gestualités symboliques est associée à un mouvement particulier- de l'objet virtuel (18). 7. Procédé (200) selon l'une quelconque des revendications 1 à 6, caractérisé en ce que la phase de préhension (210) autorise une vision d'agrandissement de l'objet virtuel par une gestualité symbolique de grossissement. 15 8. Procédé (200) selon la revendication 7, caractérisé en ce que la gestualité symbolique de grossissement est dans une liste comprenant écartement des deux mains (30) de l'utilisateur, chacune des mains gardant les doigts en pincement. 20 9. Procédé (200) selon l'une quelconque des revendications 4 à 8, caractérisé en ce que la phase de préhension est arrêtée à la détection du desserrage de deux doigts d'une main. 10. Procédé (200) selon la revendication 9, caractérisé en ce que la phase d'arrêt (230) de manipulation laisse l'objet virtuel (18) immobile dans sa dernière position spatiale précédant ladite phase d'arrêt. 11. Procédé (200) selon l'une quelconque des revendications 1 à 10, caractérisé en ce que le procédé autorise l'inscription d'annotations sur l'objet virtuel (18). 5 10 14 12. Procédé (200) selon l'une quelconque des revendications 1 à 10, caractérisé en ce que le procédé autorise la mesure de longueur de segments de l'objet virtuel (18).