Brevet FR3152622A1 — publié le 20250307

Procédé de guidage de l’orientation de la tête d’un utilisateur local portant un casque immersif HMD dans le cadre d’une collaboration à distance en réalité augmentée, ledit casque immersif comportant une caméra capturant une scène et transmettant l’image capturée à au moins un utilisateur distant, ledit procédé étant caractérisé en ce qu’il comprend une étape d’affichage automatique d’un élément graphique interactif incitant l’utilisateur local à réorienter sa tête, et donc son casque, lorsqu’un décalage est détecté entre ce que voit ledit utilisateur local et ce que voient les utilisateurs distants ; ledit décalage pouvant tolérer une marge d’erreur définie par rapport à une zone d’intérêt dans la scène observée ; l’élément graphique évoluant en fonction des mouvements de tête de l’utilisateur local et disparaissant lorsque le décalage disparait, autrement dit, lorsque la scène observée par les utilisateurs distants correspond à la scène regardée par l’utilisateur local. Procédé et système de guidage automatique de l'orientation de la tête d'un utilisateur local en réalité augmentée pour réaligner le champ de vision avec des utilisateurs distants La présente invention appartient au domaine général de la réalité augmentée AR ( Augmented Reality ), notamment de la collaboration à distance en réalité augmentée, et concerne plus particulièrement un procédé et un système de guidage automatique de l’orientation de la tête d’un utilisateur local en réalité augmentée pour réaligner ce que voit ledit utilisateur local avec ce que voient des utilisateurs distants. La présente invention trouve une application directe, mais non exclusive, dans l’assistance et/ou la formation à distance en industrie ou dans le domaine médical (chirurgie en réalité augmentée). Etat de l’art La réalité augmentée (RA) offre des avantages considérables pour les scénarios de collaboration à distance. Cependant, lors de l'utilisation d'un dispositif d’affichage monté sur la tête, dit HMD ( Head- Mounted Display ), les utilisateurs distants ne voient pas toujours exactement ce que les utilisateurs locaux regardent. Cela se produit lorsqu'il y a un décalage spatial entre le centre du champ de vision des caméras du HMD et le centre du champ de vision de l'utilisateur. Un tel décalage peut limiter la capacité des utilisateurs distants à voir les objets qui les intéressent, ce qui crée une confusion et entrave la collaboration. En effet, voir ce que les autres utilisateurs voient, font et dans quel contexte est une caractéristique essentielle de la collaboration. Cela est d'autant plus important lorsque les utilisateurs ne sont pas localisés, par exemple dans les scénarios d'assistance à distance. De nombreuses approches ont été explorées pour permettre aux utilisateurs de partager un point de vue depuis leur espace de travail, des appareils mobiles aux systèmes robotiques équipés de caméras en passant par d’autres types de dispositifs. Dans le présent document, nous nous concentrons sur la réalité augmentée avec des dispositifs HMD. La plupart des HMD sont équipés de caméras et laissent les mains de l'utilisateur libres. Il suffit de tourner la tête pour montrer aux utilisateurs distants l'espace de travail local dans une perspective à la première personne. Toutefois, cela ne signifie pas que les utilisateurs distants voient exactement la même chose que le porteur du HMD. Comme l'illustre les figures 1 et 2, il peut y avoir un écart non négligeable entre les deux. C'est par exemple le cas avec le HMD Hololens 2 de Microsoft : le centre du champ de vision FoV ( Field of View ) des caméras du HMD est plus élevé que le centre du FoV du porteur du HMD. Il en résulte une vue décalée pour les utilisateurs à distance, qui ne voient que partiellement l'objet principal de l'intérêt. Ce phénomène peut créer de la confusion et nuire à la collaboration entre les utilisateurs. S'il n'a pas d'impact significatif dans certains contextes d'application, le fait de ralentir la collaboration et de créer des malentendus peut être très problématique dans des contextes critiques tels que la téléassistance industrielle ou la chirurgie augmentée. Une solution pourrait consister à laisser les utilisateurs distants demander au porteur du HMD de réorienter sa tête afin de mieux voir la scène. Cela pourrait ralentir la collaboration et obliger les utilisateurs distants à guider le porteur du HMD vers un point de vue plus approprié. Une autre approche pourrait consister à permettre aux porteurs de HMD de visualiser ce que les utilisateurs distants peuvent voir, afin qu'ils puissent ajuster leur FoV en fonction des besoins. Néanmoins, cette approche fait peser sur le porteur du HMD le fardeau du contrôle et de l'adaptation du FoV. Bien qu'acceptable pour des tâches simples, cette charge supplémentaire n'est pas adaptée à des tâches mentalement exigeantes comme la chirurgie. Les paragraphes suivants résument les avancées récentes sur la réalité augmentée avec un HMD pour la collaboration à distance. Nous examinons également les techniques de guidage de l'attention et les indices d'activité partagés qui pourraient encourager un utilisateur local à ajuster son champ de vision pour les utilisateurs distants. Voir l'espace de travail local Il existe un grand nombre d'études sur la RA collaborative dans de nombreux domaines d'application, notamment la médecine, l'assistance à distance dans des contextes industriels, la gestion de projets et la gestion de projets, ou même l'éducation. Mais indépendamment du domaine d'application, les indices conversationnels tels que la voix et les gestes ne sont souvent pas suffisants pour permettre une collaboration à distance efficace. Le système doit également fournir aux utilisateurs distants un moyen de percevoir l'espace de travail local. Certains auteurs ont exploré l'utilisation d'appareils mobiles pour offrir une vue à la première personne de la scène aux utilisateurs distants. Cependant, cette approche oblige les utilisateurs locaux à tenir l'appareil d'une ou deux mains, ce qui n'est pas adapté à de nombreux contextes tels que la chirurgie augmentée ou la fabrication. Les HMD et autres dispositifs portés sur le corps permettent de partager une vue à la première personne de l'espace de travail tout en laissant les mains libres au porteur. Par exemple, certains auteurs ont proposé un système dans lequel une caméra à 360° est montée sur un HMD. Un tel système permet à l'assistant distant d'explorer l'ensemble du panorama de la scène, même si l'origine du point de vue est toujours liée à la tête de l'utilisateur local. Pour éviter ce problème, il existe un système basé sur une plateforme roulante avec des caméras pour permettre à un utilisateur distant d'explorer à distance l'espace de travail. Ce système est néanmoins conçu pour offrir un point de vue externe et indépendant de la scène. Il peut être difficile d'obtenir la vue exacte à la première personne de l'utilisateur local (vue « à travers les yeux ») en raison de la taille de la plateforme. Dans la présente invention, nous voulons que les utilisateurs distants aient la même vue que l'utilisateur local. Nous nous concentrons donc sur les HMD qui diffusent en temps réel la scène de réalité mixte. Guider explicitement le porteur du HMD Si les utilisateurs distants ne peuvent pas voir exactement ce qu'ils veulent, ils peuvent simplement guider l'utilisateur local vers un point de vue plus approprié. De nombreuses études antérieures se sont penchées sur les techniques de guidage pour ce type de scénario. Par exemple, les indices de guidage explicites peuvent être divisés en quatre catégories principales : les techniques basées sur un pointeur, les croquis et les annotations, les gestes de la main et les techniques basées sur un modèle d'objet. Les trois premières catégories sont fréquentes, en particulier les annotations. Cependant, les techniques de modèles d'objets sont moins fréquentes. Cette catégorie regroupe les études dans lesquelles un modèle virtuel des objets de la tâche est partagé avec l'utilisateur local pour illustrer des étapes complexes. Par exemple, certains auteurs ont proposé d'utiliser des répliques virtuelles de pièces de moteur pour faciliter les tâches d'assemblage. Au-delà de ces quatre catégories, une autre distinction peut être faite : l'intention de 1) guider l'attention vers une cible spécifique (par exemple, un objet) ou 2) encourager l'utilisateur local à adopter un point de vue donné sur la scène. De nombreuses études ont examiné les techniques de RA et les visualisations pour guider l'attention vers un objet ou un lieu. Certaines techniques se concentrent également sur des cibles hors écran pour compenser le FoV limité des dispositifs de RA. Au contraire, certaines études antérieures ont travaillé sur des techniques permettant de guider l'attention vers un autre point de vue. Des auteurs ont par exemple proposé un système de RA avec des bras virtuels extensibles pour aider le porteur du HMD à se positionner correctement dans l'espace de travail. D’autres auteurs ont proposé une technique de visualisation pour guider un utilisateur vers un ensemble contraint de positions et d'orientations. Indépendamment de ces catégorisations, il est important de garder à l'esprit les aspects cognitifs liés aux techniques de guidage explicite. Par exemple, il a été observé que la direction du guidage pouvait avoir une influence sur l'interaction et la charge cognitive des participants. L'influence de la référence spatiale sur l'attention visuelle et la charge de travail a été étudiée et a révélé que le guidage égocentrique du point de vue peut être plus efficace que le guidage allocentrique. Dans la présente invention, nous supposons que le fait de laisser les utilisateurs distants guider explicitement l'utilisateur local pour ajuster le FoV ralentit la collaboration et augmente la charge cognitive. Nous souhaitons plutôt étudier des techniques automatiques, sans intervention des utilisateurs distants. En outre, nous nous concentrons uniquement sur le guidage égocentrique. Partage implicite d'indices d'activité Afin d'éviter les commentaires explicites des utilisateurs distants, des études antérieures ont exploré les indices implicites. Le partage d'indices d'activité peut aider le porteur du HMD à comprendre quand il doit ajuster le FoV au point d'attention actuel de son collaborateur. De nombreuses études considèrent le regard comme un indice implicite prometteur pour communiquer l'activité et les intentions. Par exemple, des auteurs ont étudié le partage du regard et l'influence de la sensibilisation de l'utilisateur distant au partage du regard. D’autres ont comparé le regard et le regard de la tête, tandis que d’autres encore ont également comparés avec un repère FoV. Bien que le « head-gaze » soit plus lent que le « eye-gaze », il peut également être jugé plus utile, plus facile à utiliser et moins déroutant. D'autres auteurs ont exploré la combinaison de modalités, avec un système basé sur des gestes 2,5D partagés et le regard. Dans la présente invention, les indices implicites exigent que le porteur du HMD les surveille pour suivre l'activité des utilisateurs distants. Nous émettons l'hypothèse que cela peut causer des distractions et augmenter la charge cognitive du porteur du HMD. Notre objectif est de décharger le système de cette tâche. De cette manière, nous espérons que le porteur du HMD pourra mieux se concentrer sur sa tâche et n'ajuster le FoV qu'en cas de besoin au lieu de surveiller l'activité des collaborateurs. La présente invention vise à pallier tout ou partie des inconvénients de l’art antérieur exposés ci-avant en proposant des techniques d’orientation automatique de la tête, dites AHO. Les techniques AHO sont des techniques de guidage automatique de l'orientation de la tête en RA avec un HMD. Leur objectif est d'encourager un utilisateur local de HMD à ajuster l'orientation de sa tête pour permettre aux utilisateurs distants d'avoir le FoV approprié de la scène. Au lieu de s'appuyer sur les actions de l'utilisateur, l’invention propose une approche automatisée. Les techniques AHO sont des techniques de RA conçues pour encourager automatiquement les utilisateurs portant le HMD à ajuster l'orientation de leur tête. De cette manière, les utilisateurs distants peuvent voir correctement les parties saillantes de la scène. Une approche de détection et de guidage automatique facilite le travail de l'utilisateur local portant le HMD. L'automatisation présente des avantages par rapport au fait de laisser les utilisateurs gérer entièrement les ajustements du champ visuel. Une approche automatique distrait moins les utilisateurs. Le niveau d'intrusion et d'occlusion visuelle est acceptable pour encourager le porteur du HMD à ajuster rapidement le FoV sans trop affecter la tâche principale à effectuer. L’un des principe de l’invention est la variation des niveaux de l’occlusion visuelle et l’ancrage des repères visuels. A cet effet, l’invention a pour objet un procédé de guidage de l’orientation de la tête d’un utilisateur local portant un casque immersif HMD dans le cadre d’une collaboration à distance en réalité augmentée, ledit casque immersif comportant une caméra capturant une scène et transmettant l’image capturée à au moins un utilisateur distant, ledit procédé étant caractérisé en ce qu’il comprend une étape d’affichage automatique d’un élément graphique interactif incitant l’utilisateur local à réorienter sa tête, et donc son casque, lorsqu’un décalage est détecté entre ce que voit ledit utilisateur local et ce que voient les utilisateurs distants ; ledit décalage pouvant tolérer une marge d’erreur définie par rapport à une zone d’intérêt dans la scène observée ; l’élément graphique évoluant en fonction des mouvements de tête de l’utilisateur local et disparaissant lorsque le décalage disparait, autrement dit, lorsque la scène observée par les utilisateurs distants correspond à la scène regardée par l’utilisateur local. Présentation des dessins Les figures sont données à titre purement illustratif pour une meilleure compréhension de l’invention sans en limiter la portée. Les différents éléments peuvent être représentés de manière schématique et ne sont pas nécessairement à l’échelle. Sur l’ensemble des figures, les éléments identiques ou équivalents portent la même référence numérique. Il est ainsi illustré en : [Fig. 1] : art antérieur. [Fig. 2] : Exemple de désalignement du champ de vision dans un environnement collaboratif avec un HMD de réalité augmentée ; a) vue d'ensemble de l'espace de travail complet ; b) vision de l'utilisateur local portant le HMD ; c) vision de l'utilisateur distant voyant le flux vidéo du casque. Le champ de vision est décalé verticalement, masquant partiellement la scène augmentée. [Fig. 3] : Vue d'ensemble des techniques AHO proposées. Exemple où l'utilisateur local doit réaligner le FoV vers la droite pour que les utilisateurs distants puissent mieux voir la scène. Description détaillée de modes de réalisation Il convient de noter que certains éléments techniques bien connus de l’homme du métier sont ici rappelés pour éviter toute insuffisance ou ambiguïté dans la compréhension de la présente invention. Techniques proposées pour le guidage AHO Le principal facteur qui a influencé la conception des techniques AHO est le compromis entre l'attention de l'utilisateur et l'urgence du déplacement du champ visuel. Nous voulions que le porteur du HMD puisse ajuster le FoV rapidement et précisément en cas de besoin. Cependant, créer une occlusion visuelle et attirer l'attention de l'utilisateur pourrait avoir un impact significatif sur la tâche en cours. Le niveau d'intrusion, regroupant l'occlusion visuelle et la distraction, est donc devenu notre premier axe de conception. Le deuxième axe que nous avons pris en compte est la différence de référence spatiale des indices de guidage. D'une part, les repères visuels ancrés sur le FoV du HMD (ci-après dénommés FoV-anchored) sont toujours visibles pour l'utilisateur mais peuvent rapidement créer un encombrement visuel. D'autre part, les repères ancrés dans le monde sont ancrés spatialement dans la scène, mais peuvent se trouver en dehors du champ visuel augmenté du HMD. En combinant nos deux axes, nous avons conçu trois techniques AHO : Tar- getZone, HeadAvatar et Mask. Ces techniques sont illustrées dans la [Fig. 3]. TargetZone : l'objectif de la technique TargetZone est de limiter l'occlusion visuelle. Lorsqu'un déplacement du champ visuel est nécessaire, un carré rouge vide et une flèche bleue apparaissent au centre du champ visuel de l'utilisateur (repères ancrés dans le champ visuel). La flèche bleue indique la direction du déplacement du champ visuel à effectuer et pointe vers une visière bleue dans le champ visuel de l'utilisateur, la scène (repère ancré dans le monde). L'utilisateur doit simplement aligner le carré rouge (comme pour une tâche de repérage en 2D) avec la visière pour atteindre un point de vue adapté aux utilisateurs distants. Une fois ce point de vue atteint, les repères visuels disparaissent. HeadAvatar : cette technique consiste à afficher un modèle de tête virtuelle face à l'utilisateur (repère ancré dans le champ visuel). L'orientation de la tête et une flèche bleue indiquent le mouvement à effectuer pour obtenir une orientation adéquate de la tête. Ces deux repères sont adaptés en temps réel en fonction des mouvements de l'utilisateur. Cette technique ne comporte pas d'indice ancré dans le mot. Néanmoins, nous avons émis l'hypothèse que l'affichage d'un modèle de tête pourrait être plus explicite et plus clair que des indices abstraits comme dans TargetZone, ce qui pourrait aider les utilisateurs malgré un niveau d'intrusion plus élevé. Masque : nous avons conçu la technique du masque pour étudier comment nous pourrions contraindre les utilisateurs à ajuster le FoV dès que possible. Pour ce faire, nous masquons la quasi-totalité du champ visuel augmenté par un masque orange opaque lorsque la technique se déclenche. Seule une zone circulaire centrée sur le point de vue cible est visible (repère ancré dans le monde). Si l'utilisateur est loin de ce point de vue (zone en dehors du FoV du HMD), une petite zone circulaire sur le côté est laissée visible pour indiquer dans quelle direction l'utilisateur doit tourner la tête (FoV-anchored cue). Pour éviter de créer une trop grande dis- traction, le masque apparaît progressivement. De plus, nous avons choisi une couleur orange foncé pour trouver un compromis acceptable entre l'opacité et la luminosité. Un aspect important des techniques AHO est leur déclenchement automatique. Déterminer l'objet actuel qui intéresse les utilisateurs et si les utilisateurs de la télécommande ont une vue appropriée de cet objet est une tâche complexe. La réalisation de cette détection de manière robuste et en temps réel n'entre pas dans le cadre de la présente invention. Néanmoins, il est possible d'obtenir une approximation en utilisant des indices d'activité tels que le regard du porteur du HMD. En outre, chaque HMD affecté par le désalignement du champ visuel a un décalage fixe qui peut être calculé ou au moins approximé de manière empirique. Un repère ancré dans le monde est nécessaire pour indiquer précisément où tourner la tête. Dans l'ensemble, la TargetZone est la technique AHO qui a permis d'obtenir le meilleur compromis entre l'occlusion visuelle, la vitesse et la précision. Pour atteindre ce dernier objectif, il semble qu'une majorité d'utilisateurs préfèrent voir la position exacte qu'ils doivent atteindre lorsqu'ils tournent la tête. Nous avons observé cela malgré le fait que 1) l'amplitude du mouvement de la tête était limitée dans notre étude et 2) les participants n'avaient pas besoin d'un haut niveau de précision pour valider un réalignement du FoV (les cibles cachées que nous avons utilisées pour la projection des rayons de la tête avaient une taille confortable). La faible sensation de précision rapportée pour HeadAvatar suggère que les indices ancrés dans le FoV sont moins efficaces et préférés que les indices ancrés dans le monde pour guider les participants vers un nouveau point de vue. Des techniques automatisées évitent d'oublier le réalignement du FoV. La technique de référence non automatisée SharedCursor a permis d'obtenir de bonnes performances et un sentiment de précision tout en minimisant le niveau d'intrusion. Cependant, ce dernier aspect peut être une arme à double tranchant puisque la moitié des participants ont oublié une ou plusieurs fois de réaligner leur FoV pendant les essais. Le repère passif basé sur les données implicites de l'utilisateur distant peut parfois ne pas suffire. Si la charge cognitive de l'utilisateur local est suffisamment élevée, le réalignement du champ visuel peut être oublié. Au contraire, nous n'avons pas observé d'oubli avec les trois techniques AHO. Bien sûr, ces trois techniques ont créé plus d'occlusions visuelles et ont fait apparaître des repères visuels au centre du FoV. Il serait intéressant de les comparer à une version alternative de SharedCursor dans laquelle un indice visuel ou audio serait déclenché pour attirer l'attention de l'utilisateur lorsqu'un réalignement du FoV est nécessaire. Dans l'ensemble, nous encourageons donc les concepteurs à ne pas se contenter d'indices passifs liés aux données implicites des utilisateurs distants. Les techniques automatisées et l'occlusion visuelle momentanée peuvent être plus efficaces pour permettre aux utilisateurs distants de voir pleinement la partie saillante de la scène et faciliter la coopération. Forcer un réalignement immédiat du FoV peut être acceptable. L’invention suggère également qu'il est possible de forcer un réalignement immédiat du champ visuel. Avec la technique du masque, tous les participants ont fini par réaligner le plus rapidement possible leur champ visuel. Bien sûr, cette approche oblige les utilisateurs à interrompre leur tâche et cache partiellement leur environnement. Néanmoins, malgré l'occlusion visuelle extrême, la contrainte imposée par Mask n'a pas toujours été perçue négativement par les participants. Ne pas laisser de choix peut parfois être perçu comme plus simple. Nous émettons l'hypothèse que le simple fait d'encourager un changement de FoV peut laisser plus de liberté aux utilisateurs, mais aussi plus de charge cognitive puisqu'ils doivent déterminer eux-mêmes l'équilibre entre leur tâche en cours et la nécessité d'aider les utilisateurs distants à voir la scène. L'automatisation peut donc être appliquée à deux stades : 1) la détection du besoin de réalignement du FoV et 2) la contrainte immédiate d'effectuer ce réalignement. En fonction du contexte, de la tâche et du profil de l'utilisateur, forcer un réalignement immédiat pourrait donc être considéré comme une option appropriée. Il ressort de la présente description que certains éléments non essentiels peuvent être modifiés, remplacés ou supprimés sans pour autant sortir du cadre de l’invention. [Fig. 1] [Fig. 2] 0