Brevet FR3086423A1 — publié le 20200327

« Procédé et système de visualisation en réalité augmentée » Domaine de l'invention La présente invention concerne un système d'affichage visuel 5 d'informations sur des objets réels pour des applications de réalité augmentée dans l'industrie, notamment pour la conception, la fabrication, l'assemblage ou la maintenance d'équipements techniques. Différents systèmes de réalité augmentée sont connus pour étendre la perception de la réalité visuelle, et notamment des systèmes de 10 visualisation par un écran de visualisation, une tablette ou des lunettes de réalité augmentée affichant une combinaison de capture de l'image de l'objet réel et de données sous forme d'image numérique de la maquette virtuelle de l'objet associé. Ces solutions de réalité augmentée permettent d'améliorer l'efficacité des 15 étapes de travail manuel dans la fabrication, l'assemblage et la maintenance et, en même temps, la qualité du travail. La transmission précise d'informations, par exemple l'état de planification numérique (modèle CAO) directement à un équipement, rend la transmission complexe et sujette à erreur des plans de construction en utilisant des modèles et 20 d'autres instruments de mesure dispensables. Une comparaison de variance visuelle peut être réalisée à tout moment et de manière intuitive pour un utilisateur. De plus, des instructions de travail, par exemple des instructions pas-à-pas, peuvent être mises à disposition directement sur l'objet de travail ou dans le champ de vision de l'utilisateur, c'est-à-dire exactement 25 là où elles sont réellement nécessaires. Des scénarii typiques d'application de l'invention comprennent des systèmes d'assistance d'ouvriers pour afficher des instructions d'assemblage et de maintenance et des informations pour l'assurance qualité. Par exemple, les positions d'assemblage ou les trous de forage peuvent être marqués avec précision 30 ou des points de soudure ou des supports à vérifier peuvent être identifiés. Le système est également adapté pour fournir une assistance au personnel d'entretien sur place par des experts non-résidents. - 2 - État de la technique On connaît dans l'état de la technique le brevet américain US9436993 décrivant un système de réalité augmentée comprenant un système de traitement d'image ; un premier module d'imagerie, comprenant une ou plusieurs caméras, en communication avec le système de traitement d'image, dans lequel le système de traitement d'image est configuré pour : - recevoir des données d'image secondaires provenant d'un second dispositif d'imagerie ; - segmenter lesdites données d'image secondaires pour déterminer une première surface d'intérêt ; - recevoir des données d'imagerie en temps réel à partir du premier module d'imagerie, les données d'imagerie en temps réel provenant de la ou des caméras comprenant des images d'une ou plusieurs : une seconde surface d'intérêt, un marqueur d'ancrage, et une orientation de la surface, une pluralité de marqueurs précoces ou tardifs, et des outils ; - calculer une transformation d'enregistrement de la première surface d'intérêt par rapport à la seconde surface d'intérêt en utilisant un ou plusieurs parmi : le marqueur d'ancrage, la pluralité de marqueurs précoces ou tardifs, ou la seconde surface ; - calculer un emplacement de suivi du premier module d'imagerie par rapport à la première surface d'intérêt en utilisant un ou plusieurs des éléments suivants : le marqueur d'ancrage, la pluralité de marqueurs précoces ou tardifs, la seconde surface ou des caractéristiques sur la seconde surface ; et - créer une image améliorée en combinant des informations provenant des données d'imagerie en temps réel avec des informations correspondantes calculées à partir des données d'image secondaires sur la base de l'emplacement du premier module d'imagerie. Pour assurer une parfaite synchronisation du référentiel de l'image 30 virtuelle et d'un objet réel, il est connu par la demande de brevet EP 2715662 un procédé de localisation d'une caméra et de reconstruction 3d dans un environnement partiellement connu. Ce procédé 3 de localisation d'une caméra et de reconstruction 3D de l'environnement statique dans lequel elle évolue comporte un objet d'intérêt dont le modèle 3D est connu qui comprend les étapes suivantes : - a/ calcul d'une pose initiale de la caméra dans l'environnement et d'une 5 reconstruction initiale, - b/ calcul de la pose de la caméra pour chaque nouvelle image par appariement de primitives 3D de l'environnement avec des primitives 2D de ladite image et reconstruction de primitives 3D de l'environnement par triangulation, 10 - c/ optimisation simultanée des poses de la caméra et des primitives 3D par minimisation d'une erreur de reprojection sur plusieurs images. Le modèle 3D est une description géométrique de l'objet d'intérêt, l'erreur de reprojection ne comporte que deux types de termes, un premier type de termes lié à des primitives contraintes par le modèle 3D et un 15 deuxième type de termes lié à des primitives de l'environnement autre que l'objet, et l'étape d'optimisation comprend une sous-étape d'association des primitives à l'environnement ou au modèle 3D. Inconvénients de l'art antérieur Les solutions de l'art antérieur ne sont pas totalement satisfaisantes, car 20 elles ne permettent pas de visualiser les informations de réalité augmentées sur les parties masquées de l'objet réel, par exemple par l'interposition entre la caméra et l'objet de la main de l'opérateur, du bras d'un robot, ou d'un outil de traitement. Dans les solutions de l'art antérieur, les informations numériques 25 apparaissent en superposition, non pas avec l'objet, mais avec l'image de l'élément interposé entre la caméra et l'objet, ce qui enlève toute utilité de ces informations. Solution apportée par l'invention L'invention vise à remédier à ces inconvénients. À cet effet, selon un premier aspect de l'invention, il est proposé un procédé de visualisation d'une image combinant une image d'un objet réel provenant d'un système de capture vidéo avec des informations 4 numériques provenant d'un modèle tridimensionnel de l'équipement, comportant : - un traitement de recalage en temps réel d'un repère dudit modèle tridimensionnel avec un repère du système de capture vidéo, un 5 repère de l'objet de l'objet réel, et - un affichage d'une partie au moins desdites informations numériques en incrustation sur l'image capturée par ledit système de capture vidéo. Le procédé selon l'invention comporte en outre une étape initiale 10 d'enregistrement de la texture de référence de l'objet réel. Le procédé selon l'invention comporte en outre une étape d'analyse des images transmises par le système de capture vidéo. Le modèle tridimensionnel peut être enregistré sur tout support d'enregistrement, local tel qu'un dispositif portable, par exemple un 15 téléphone ou une tablette, ou distant, par exemple sur un serveur numérique. Selon l'invention, l'étape d'analyse comporte : - une génération d'une image de synthèse à partir d'une part de l'image capturée, et d'autre part du modèle tridimensionnel de l'équipement 20 texturé à partir de la texture enregistrée, - une étape de calcul d'une image composite par mélange de l'image de synthèse et de l'image capturée. L'image de synthèse peut comporter des information numériques supplémentaires, par exemple des étiquettes. 25 Lors de l'étape de calcul de l'image composite par mélange, l'image de synthèse peut être appliquée au-dessus de l'image capturée, avec une transparence supérieure à un seuil prédéterminé. Le seuil prédéterminé peut, par exemple, être de 50 °/0. Selon un deuxième aspect de l'invention, il est proposé un système 30 comportant : - un système de capture vidéo, - un support d'enregistrement comportant une maquette virtuelle, 5 - un équipement réel associé à la maquette numérique, - un module de visualisation configuré pour mettre en oeuvre l'étape initiale et l'étape d'analyse selon le premier aspect de l'invention, ou l'un ou plusieurs de ses perfectionnements. 5 Selon un troisième aspect de l'invention, il est proposé un produit programme d'ordinateur, chargeable directement dans la mémoire interne d'un ordinateur, comprenant des portions de code de logiciel pour l'exécution des étapes du procédé de visualisation selon le premier aspect de l'invention, ou l'un ou plusieurs de ses perfectionnements, lorsque ledit 10 programme est exécuté sur un ordinateur. Présentation des figures D'autres données, caractéristiques et avantages de la présente invention apparaîtront à la lecture de la description de mises en oeuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur 15 lesquels : - la figure 1 est un schéma d'un système selon l'invention, la figure 2 est un schéma d'une image partiellement occultée avec un procédé selon l'art antérieur, la figure 3 est un schéma d'un procédé selon l'invention, 20 - la figure 4 est un schéma d'une image obtenue avec le procédé selon l'invention. Description des modes de réalisation Les modes de réalisation décrits ci-après n'étant nullement limitatifs, on pourra notamment considérer des variantes de l'invention ne comprenant 25 qu'une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails 30 structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. 6 Il est maintenant décrit conjointement à la fois un mode de réalisation d'un système selon l'invention et un procédé selon l'invention. La figure 1 illustre un mode de réalisation d'un système 100 selon l'invention. 5 Il est schématiquement représenté un objet réel 200. Un système de capture vidéo 300 peut capturer une ou plusieurs images de l'objet réel 200 et produire des images capturées Ic. Un serveur d'information numérique 400 est schématiquement représenté sur la figure 1. Le serveur d'informations numérique comporte 10 un enregistrement d'un modèle tridimensionnel de l'objet réel 200. Le serveur d'informations numériques 400 est configuré pour générer des informations numériques In. On comprend que le modèle tridimensionnel pourrait être enregistré sur un autre support d'enregistrement qu'un serveur numérique, par exemple 15 sur un dispositif portable, tel qu'un téléphone ou une tablette. Un calculateur 500 est schématiquement représenté sur la figure 1. Le calculateur 500 est configuré pour : recevoir l'image capturée Ic par le système de capture vidéo 300, recevoir des informations numériques In relatives à l'objet réel 200 et générées par le serveur d'informations 20 numériques 400, combiner l'image reçue avec les informations reçues. Le calculateur 500 est en outre configuré pour mettre en oeuvre un traitement de recalage en temps réel d'un repère 402 du modèle tridimensionnel avec un repère 302 du système de capture vidéo 300 et un repère 202 de l'objet de l'objet réel 200. 25 Le calculateur 500 est aussi configuré pour générer une image Ig comportant une partie au moins des informations numériques en incrustation sur l'image capturée par ledit système de capture vidéo 300. Il est en outre illustré sur la figure 1 un dispositif de visualisation 600. Le dispositif de visualisation 600 est configuré pour afficher l'image Ig générée 30 par le calculateur 500. L'image Ig peut être visualisée par un superviseur (non représenté) aux fins de contrôler divers paramètres de l'objet réel 200. 7 On comprend que lorsqu'un utilisateur U intervient sur l'objet, une partie de son corps peut s'interposer entre l'objet réel 200 et le système de capture vidéo 300. Sur l'image capturée Ic par le système de capture vidéo 300, une partie 5 de l'objet réel 200 est alors masquée par la partie du corps de l'utilisateur qui est interposée. La figure 2 illustre l'image Ig affichée par le dispositif de visualisation 600, lorsque deux doigts D1, D2 de l'utilisateur U sont interposés entre le système de capture vidéo 300 et l'objet réel 200. On 10 note également la présence de l'information, en réalité augmentée, de la taille de l'objet, de 5 cm dans l'exemple représenté. L'information de taille de l'objet provient des informations numériques In. En ce cas, le superviseur ne peut pas contrôler en temps réel l'état de l'objet réel 200 une partie au moins de l'objet est masqué. 15 Le procédé selon l'invention comporte : - une étape initiale Ei d'enregistrement d'une texture de référence de l'objet réel, et - une étape d'analyse de l'image capturée IC par le système de capture vidéo 300. 20 Dans l'exemple représenté sur la figure 2, on note que l'objet réel comporte une texture 204 en pointillé. La texture enregistrée est notée T200. L'étape d'analyse Ea comporte : - une génération d'une image de synthèse à partir d'une part de 25 l'image capturée, et d'autre part du modèle tridimensionnel de l'équipement texturé à partir de la texture enregistrée, - une étape de calcul d'une image composite par mélange de l'image de synthèse et de l'image capturée. La figure 3 illustre une image Icomp calculée par l'étape de calcul. 30 On observe que sur l'image Icomp, les zones préalablement masquées par les doigts de l'utilisateur ont été remplacées en utilisant le modèle tridimensionnel de l'équipement et la texture enregistrée T200. Ainsi, les - 8 - zones ont été remplacées en utilisant le modèle tridimensionnel augmenté au préalable de la texture enregistrée T200. Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces 5 exemples sans sortir du cadre de l'invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l'invention REVENDICATIONS1. Procédé de visualisation d'une image combinant une image (Ic) d'un objet réel (200) provenant d'un système de capture vidéo (300) avec des informations numériques (In) provenant d'un modèle tridimensionnel de l'équipement, comportant : - un traitement de recalage en temps réel d'un repère (402) dudit modèle tridimensionnel avec un repère (302) du système de capture vidéo et un repère (202) de l'objet de l'objet réel, et - un affichage d'une partie au moins desdites informations numériques en incrustation sur l'image capturée par ledit système de capture vidéo, caractérisé en ce qu'il comporte en outre : - une étape initiale (Ei) d'enregistrement de la texture (T200) de référence dudit objet réel, et - une étape d'analyse (Ea) des images transmises par le système de capture vidéo, ladite étape d'analyse comportant : - une génération d'une image de synthèse à partir d'une part de l'image capturée, et d'autre part du modèle tridimensionnel de l'équipement texturé à partir de la texture enregistrée, - une étape de calcul d'une image composite par mélange de l'image de synthèse et de l'image capturée. 2. Procédé selon la revendication précédente, comportant en outre une superposition desdites informations numériques sur l'image composite ainsi calculée. 3. Procédé de visualisation selon l'une quelconque des revendications précédentes, dans lequel lors de l'étape de calcul de l'image composite par mélange, l'image de synthèse est appliquée au-dessus de l'image capturée, avec une transparence égale à un seuil prédéterminé. - 10 - 4. Système comportant : - un système de capture vidéo, - un support d'enregistrement comportant une maquette virtuelle, 5 - un équipement réel associé à la maquette numérique, - un module de visualisation configuré pour mettre en oeuvre l'étape initiale et l'étape d'analyse selon l'une quelconque des revendications précédentes de procédé de visualisation. 10 5. Produit programme d'ordinateur, chargeable directement dans la mémoire interne d'un ordinateur, comprenant des portions de code de logiciel pour l'exécution des étapes du procédé de visualisation selon l'une des revendications précédentes, lorsque ledit programme est exécuté sur un ordinateur. 15