Brevet FR3099279A1 — publié le 20210129

Description Titre de l'invention : Procédé de détermination d'une carte de normales à partir d'images par photométrie stéréo non calibrée [0001] Domaine technique [0002] La présente invention concerne un procédé de détermination d'une carte de normales à partir d'une pluralité d'images 2D par photométrie stéréo non calibrée. Technique antérieure [0003] Le domaine de la photométrie stéréo s'attelle à extraire des informations géo- métriques à partir d'un jeu d'images obtenu d'un même point de vue où pour chaque image, la scène statique capturée est observée dans des conditions d'éclairage différentes La photométrie stéréo présente un fort intérêt dans le domaine de la création artistique, car les résultats qui en découlent permettent à un artiste de se focaliser sur la modification de la matière (et donc son originalité) plutôt que sur la création intégrale de cette dernière, évitant ainsi un long processus où des étapes fastidieuses sont souvent de rigueur. [0004] On distingue deux grandes classes de méthodes dites de photométrie stéréo : celles de type calibré où les informations de lumières (i.e. direction et intensité) sont connues pour chaque image, et celles dites non calibrées où les informations de lumières sont inconnues et font donc partie des variables à résoudre (les autres variables étant le champs de normales). [0005] Les approches calibrées, bien que plus simple à la résolution d'un point de vue ma- thématique, présentent la forte contrainte du besoin de déterminer les informations concernant les données relatives à la lumière ou l'éclairage. Cette étape est complexe et nécessite en général du matériel spécifique (par exemple une boule réfléchissante à placer dans la scène à capturer) combiné à des logiciels dédiés à l'extraction de ces informations. Les résultats manquent souvent de précision, impactant ainsi négativement les résultats obtenus. [0006] Le document W02008/066368 concerne un procédé et un appareil destinés à un modelage tridimensionnel qui utilise le principe de vision stéréo avec un système d'éclairage intégré afin de permettre la restauration en profondeur sans connaissance préalable de la réflexion de la surface. Le procédé comprend diverses étapes initiales de calibrage stéréo et radiométrique et des procédés de rectification destinés à obtenir des résultats précis. En outre, une technique stéréo active est appliquée afin de restaurer des cartes à profondeur dense simplement à partir de quelques images stéréo. Cette technique est une combinaison des rapprochements classiques et de la pho- 2 tométrie stéréo et se base sur la propriété de réciprocité de la réflexion qui considère une répartition superficielle arbitraire de la réflexion. Cette propriété particulière est obtenue si l'objet à restaurer a été acquis dans des conditions d'éclairage spécifiques préalablement prévues. La technique stéréo active est suivie de l'application d'un procédé de calibrage de la carte en profondeur. Le procédé comprend également un processus d'acquisition d'images destiné à obtenir des jeux d'images nécessaires au calibrage, à la rectification et aux procédés de restauration tridimensionnelle. Le procédé et le dispositif sont relativement complexes du fait des étapes de calibrages devant être mises en oeuvre. [0007] Il existe donc un besoin pour un procédé de détermination de caractéristiques d'images permettant de s'affranchir de contraintes de matériel, tout en permettant l'obtention de résultats fiables, de façon simple et rapide. [0008] Pour pallier ces différents inconvénients, l'invention prévoit différents moyens techniques. Résumé de l'invention [0009] Tout d'abord, un premier objectif de l'invention consiste à prévoir un procédé permettant d'améliorer la productivité des artistes pour la création d'objets ou dc scènes dans le domaine de la création artistique, par exemple pour des jcux vidéo ou des films. [0010] Un autre objectif de l'invention consiste à prévoir un procédé permettant de dé- terminer les caractéristiques d'images sans devoir utiliser dc matériel spécifique pour effectuer les prises de vues dc ces images. [0011] Pour ce faire, l'invention prévoit un procédé de détermination d'une carte de normales à partir d'une pluralité d'images 2D par photométrie stéréo non calibrée, comprenant les étapes consistant à : i) recevoir un jeu d'au moins trois images avec différentes conditions d'éclairage non calibrées (ou non connues); ii) préparer les données des images reçues afin de les rendre compatibles pour un traitement destiné à des données Lambertiennes dénuées d'ombres; iii) extraire un champ dc Normales intermédiaires et un champ de Lumières intermédiaires issus d'une décomposition en valeurs singulières de la Matrice I contenant les données des images ; iv) déterminer six coefficients mineurs de l'inverse de la transformation linéaire à appliquer au champ de Normales afin de le rendre intégrable ; v) modifier le champ de Normales afin de rendre sa surface induite intégrable à l'aide des six coefficients mineurs et d'une trtuisformation de bas relief généralisé (GBR) quelconque, soit les trois valeurs déterminant la dernière colonne de la matrice 3 décrivant l'inverse de la transformation linéaire à appliquer au champ de Normales ;(on pose par exemple les trois valeurs égales à 1) vi) extraire des Maxima de Réflectance Diffuse Lambertienne (LDRM) ; vii) déterminer l'ambiguïté de bas relief généralisée (GBR ambiguity) basée sur les LDRM en utilisant une approche statistique; viii) appliquer la GBR aux champs de Normales intermédiaires et de Lumières intermédiaires ; ix) normaliser les Normales du champ de Normales intermédiaire. [0012] L'utilisation d'une approche par photométrie stéréo non calibrée permet à un artiste de sc dispenser des étapes de calibration des lumières pour se focaliser uniquement sur la capture de la scène avec un matériel commun (par exemple un appareil photo de téléphone). Pour éviter que le modèle équationnel soit trop complexe, la présente méthode décrit une approche de photométrie stéréo non calibrée où la matière est considérée comme Lambertienne. Par ailleurs, pour simplifier d'avantage le modèle, on considère les lumières comme étant directionnelles et la scène comme étant dénuée d'ombres. Bien que ces prérequis soient rarement réunis dans la réalité, les essais réalisés ont permis d'obtenir des résultats d'un haut niveau qualitatif. De plus, l'approximation de rang faible appliquée aux données d'entrée permet de satisfaire au plus proche de ces prérequis et ainsi d'obtenir des résultats d'autant plus qualitatifs. [0013] De plus, étant dans un contexte d'outils de création de matière digitale (texture, image, matériau ou autre), un des objectifs vise à minimiser et optimiser l'utilisation des ressources mémoires ainsi que calculatoires afin de rendre la méthode disponible et attrayante au plus grand éventail d'utilisateurs possible dans des conditions de productivité avantageuses. [0014] A l'étape vii, l'approche statistique est de préférence de type "online" à défaut d' « offline », c'est à dire que la convergence peut arriver et arrive en pratique bien plus tôt de par le traitement des données (soient les GBR locales issues de l'intersection des segments 2D) au fur et à mesure avec une heuristique quant à la convergence (variance de la GBR en dessous d'un certain seuil). [0015] Selon divers modes de réalisation avantageux, l'étape de préparation des données comporte une ou plusieurs des phases suivantes: une phase de conversion des données d'images en flottant, une phase de linéarisation des données, une phase de conversion des valeurs RGB en valeurs de luminance, une phase de vectorisation des images en tant que colonnes d'une matrice I, une phase d'approximation de rang faible, de préférence proche de trois, afin de respecter les prérequis Lambertiens et d'absence d'ombres des images [0016] De manière avantageuse, l'approche statistique de l'étape de détermination de l'ambiguïté de bas relief généralisée (GBR ambiguity) est basée sur une pluralité de ré- solutions analytiques locales de la GBR avec détection de la convergence lorsque la distribution de l'ensemble des GBR locales satisfait une loi de distribution normale. [0017] Cette approche est relativement simple, particulièrement rapide et procure des résultats fiables et précis. L'utilisation des histogrammes permet d'avoir une faible complexité mémoire. [0018] Selon un mode de réalisation avantageux, le procédé comprend une étape préalable de transformation des données d'images d'entrée en niveaux de gris. [0019] Le procédé étant fonctionnel avec des images sans coloration, cette étape permet d'élargir le domaine d'application à l'univers des images couleurs, en prévoyant une étape simple et rapide pour rendre ces images compatibles. [0020] De manière avantageuse, le jeu d'images d'entrée comprend au moins trois, et plus préférentiellement au moins huit images. [0021] Cc mode de réalisation permet, dans la mesure où l'échantillonnage de la lumière est distribué dans de façon uniforme relativement à la scène, de garantir un niveau de qualité suffisant pour un grand nombre de cas d'utilisation, et pour une grande partie des images utilisables. [0022] Selon un exemple de réalisation, les données résultantes de carte de Normales sont utilisées pour générer un rendu 3D de l'image d'entrée. [0023] Cc mode de réalisation est particulièrement utile par exemple dans le domaine de la création artistique. Il permet par exemple de s'inspirer d'objets courants pour les intégrer à une oeuvre en cours d'élaboration. [0024] Selon un autre exemple, les données résultantes de carte de Normales sont utilisées pour générer une carte de Hauteurs de l'image d'entrée. [0025] Ce mode de réalisation permet de rajouter du micro-détail (hautes fréquences) à la matière sans perturber la géométrie sous-jacente. (Normal mapping). Le « displacement mapping » permet d'ajouter du macro-détail (basse fréquence) à la matière en perturbant la géométrie sous-jacente. [0026] Selon encore un exemple de réalisation, les données résultantes de carte de Normales sont utilisées pour compléter les données de description d'un matériau défini de façon procédurale pour utilisation sur une texture ou une image digitale. Brève description des dessins [0027] Tous les détails de réalisation sont donnés dans la description qui suit, complétée par les figures 1 à 23, présentées uniquement à des fins d'exemples non limitatifs, et dans lesquelles: Fig.1 [0028] [fig.HLa figure 1 illustre un exemple d'un jeu de données de photométrie stéréo (sous ensemble de 8 images en lieu des 40 images originelles prétraitées par l'application d'une méthode de minimisation de rang). Fig.2 100291 Ifig.21 La figure 2 illustre un exemple de carte de normales en vue vectorielle obtenue par le procédé selon l'invention à partir des données illustrées dans l'exemple de la fleure 1. Fig.3 [0030] [fig.3] La figure 3 illustre un exemple de carte de hauteur extraite de la carte de normales de la figure 2. Fig.4 [0031] [fig.4] La figure 4 illustre un exemple de différents rendus 3D prenant en entrée la carte de hauteur de la figure 3. Fig.5 [0032] [fig.5] La figure 5 est un organigramme fonctionnel montrant un exemple de dé- roulement des principales étapes d'un procédé de détermination d'une carte de normales selon l'invention. Fig.6 [0033] [fig.6] La figure 6 est un organigramme fonctionnel montrant un exemple d'étape de préparation de données. Fig.7 [0034] [fig.7] La figure 7 est un organigramme fonctionnel montrant un exemple d'étape d'extraction de normales et de lumières. Fig.8 [0035] [fig.8] La figure 8 est un organigramme fonctionnel montrant un exemple d'étape de calcul de transformation linéaire d'un champ dc normales par imposition dc la condition d'intégrabilité dc surface. Fig.9 [0036] [fig.9]. La figure 9 est un organigramme fonctionnel montrant un exemple d'étape de modification de champs intermédiaires de normales et de lumières par imposition de la condition d'intégralité de surface. Fig.10 [0037] [fig.l0] La figure 10 est un organigramme fonctionnel montrant un exemple d'étape de calcul des Maxima de Réflectance Diffuse Lambertienne (LDRM) pour un jeu d'images de photométrie stéréo. Fig.11 [0038] [fig.11[ La figure 11 est un organigramme fonctionnel montrant un exemple d'étape de résolution de l'ambiguïté de Bas Relief Généralisé (GBR) basée sur les Maxima de Rétlectance Diffuse Lambertienne (LDRM). 6 Fig.12 100391 Ifig.121 La figure 12 est la suite de l'organigramme fonctionnel de la figure Il. Fig.13 [0040] [fig.11] La figure 13 est un organigramme fonctionnel montrant un exemple d'application d'une GBR à des champs intermédiaire de normales et de lumières. Fig.14 [0041] [fig.14] La figure 14 est un organigramme fonctionnel montrant un exemple d'étape de calcul de normalisation d'un champ intermédiaire de normales. [0042] Les figures 15 à 23 illustrent des exemples d'étapes préparatoires pour la mise en oeuvre du procédé. Fig.15 [0043] [fig.1.5] La figure 15 est un organigramme fonctionnel montrant un exemple d'étape de calcul d'un masque des Maxima de Rétlectance Diffuse Lambertienne (LDRM) pour une image. Fig.16 [0044] [fig.16] La figure 16 est un organigramme fonctionnel montrant un exemple d'étape de calcul d'un segment 2D (u,v) pour des GBR. Fig.17 [0045] [fig.17] La figure 17 est un organigramme fonctionnel montrant un exemple d'étape de calcul de l'intersection de deux segments 2D. Fig.18 [0046] [fig.18] La figure 18 cst un organigramme fonctionnel montrant un exemple d'étape de calcul dc lambda d'un point dc segment 2D d'unc LDRM. Fig.19 [0047] [fig.19] La figure 19 est un organigramme fonctionnel montrant un exemple d'étape d'initialisation d'une classe d'histogramme. Fig.20 [0048] [fig.20] La figure 20 est un organigramme fonctionnel montrant un exemple d'étape d'ajout d'une valeur à une classe d'histogramme. Fig.21 [0049] [ig.21] La figure 21 est un organigramme fonctionnel montrant un autre exemple d'étape d'initialisation d'un histogramme. Fig.22 [0050] [fig.22] La figure 22 est un organigramme fonctionnel montrant un autre exemple d'étape d'ajout d'une valeur à un histogramme. Fig.23 [0051] [fig.23] La figure 23 est un organigramme fonctionnel montrant un exemple d'étape 7 de calcul d'une médiane d'un histogramme. [0052] Description des modes de réalisation [0053] La présente méthode décrit une approche de photométrie stéréo non calibrée où la matière est considérée comme Lambertienne, les lumières étant considérées comme étant directionnelles et la scène étant dénuée d'ombres. Bien que ces prérequis soient rarement réunies dans la réalité, la méthode en pratique se comporte étonnamment de façon satisfaisante d'un point de vue qualité des résultat. [0054] La figure 1 illustre un exemple d'un jeu d'images obtenu d'un même point de vue (c'est-à-dire avec une position unique de la caméra). Pour chacune des images, la scène statique capturée est observée dans des conditions d'éclairage différentes. [0055] Les figures 2, 3 sont des cartes de normales en mode vectoriel et de hauteurs obtenues à partir des images de la figure I en appliquant le procédé selon l'invention. [0056] La figure 4 illustre un exemple de différents rendus 3D basés sur la technique dite dc « displaccment mapping » prenant en entrée la carte de hauteur de la figure 3, chaque image montrant une variation du point de vue ainsi que de l'illumination dc la scène. [0057] La figure 5 illustre, de façon schématique, les principales étapes permettant la mise en oeuvre du procédé de détermination d'une carte de normales à partir d'une pluralité d'images 2D par photométrie stéréo non calibrée. L'étape I consiste à recevoir un jeu d'au moins trois images avec différentes conditions d'éclairage non calibrées. L'étape 2, parfois optionnelle, consiste à préparer les données des images reçues afin de les rendre compatibles pour un traitement destiné à des données Lambertiennes dénuées d'ombres. L'étape 3 consiste à extraire un champ de Normales intermédiaires et un champ de Lumières intermédiaires issus d'une décomposition en valeurs singulières de la Matrice I contenant les données des images. [0058] Ensuite, à l'étape 4, il s'agit de déterminer six coefficients mineurs de l'inverse dc la transformation linéaire à appliquer au champ de Normales afin de le rendre intégrable. Ceci permet, à l'étape 5, dc modifier le champ dc Normales afin de rendre sa surface induite intégrable à l'aide des six coefficients mineurs et d'une GBR quelconque, soit les trois valeurs déterminant la dernière colonne de la matrice décrivant l'inverse de la transformation linéaire à appliquer au champ de Normales. [0059] L'étape 6 consiste ensuite à extraire des Maxima de Réflectance Diffuse Lam- bertienne (LDRM), pour pouvoir, à l'étape 7, déterminer l'ambiguïté de bas relief généralisée (GBR ambiguity) basée sur les LDRM en utilisant une approche statistique. Enfin, l'étape 8 consiste à appliquer la GBR aux champs de Normales intermédiaires et de Lumières intermédiaires, et l'étape 9 à normaliser les Normales du champ de Normales intermédiaire. 8 [0060] Les cartes de normales obtenues permettent par exemple de compléter la description d'un matériau, et/ou de calculer une carte de hauteurs, et/ou de réaliser une édition basée sur l'image de la géométrie, etc. [0061] Des exemples de calculs permettant d'effectuer les opérations requises à chacune des étapes 1 à 9 sont illustrées aux figures 6 à 14. [0062] Des exemples de calculs permettant d'effectuer les opérations utiles pour préparer les données à traiter sont illustrées aux figures 15 à 24. [0063] MISE EN OEUVRE [0064] La mise en oeuvre des différents modules du système de photométrie stéréo préa- lablement décrit est avantageusement réalisée au moyen d'instructions de processeur ou commandes, permettant aux modules d'effectuer la ou les opérations spécifiquement prévues pour le module concerné. Les instructions de processeur peuvent être sous la forme d'un ou plusieurs logiciels ou modules de logiciels mis en oeuvre par un ou plusieurs microprocesseurs. Le ou les modules et/ou le ou les logiciels sont avantageusement prévus dans un produit programme d'ordinateur comprenant un support d'enregistrement ou medium d'enregistrement utilisable par un ordinateur et comportant un code programmé lisible par un ordinateur intégré dans ledit support ou medium, permettant à un logiciel applicatif son exécution sur un ordinateur ou autre dispositif comportant un ou plusieurs microprocesseurs tel qu'une tablette. [0065] Selon diverses variantes de réalisation, le microprocesseur, tout comme la mémoire de travail avec les instructions peuvent être centralisés pour tous les modules ou encore être agencés de façon externe, avec connexion aux différents modules, ou encore être répartis localement de façon à ce qu'un ou plusieurs modules disposent chacun d'un microprocesseur et/ou d'une mémoire de travail. [0066] 9 [Revendication I] [Revendication 2] [Revendication 3] REVENDICATIONSProcédé de détermination d'une carte de normales à partir d'une pluralité d'images 2D par photométrie stéréo non calibrée, comprenant les étapes consistant à : i) recevoir un jeu d'au moins trois images avec différentes conditions d'éclairage non calibrées ; ii) préparer les données des images reçues afin de les rendre compatibles pour un traitement destiné à des données Lambertiennes dénuées d'ombres; iii) extraire un champ de Normales intermédiaires et un champ de Lumières intermédiaires issus d'une décomposition en valeurs singulières de la Matrice I contenant les données des images ; iv) déterminer six coefficients mineurs de l'inverse de la transformation linéaire à appliquer au champ de Normales afin de le rendre intégrable ; v) modifier le champ de Normales afin de rendre sa surface induite intégrable à l'aide des six coefficients mineurs et d'une transformation de bas relief généralisé (GBR) quelconque, soit les trois valeurs déterminant la dernière colonne de la matrice décrivant l'inverse de la transformation linéaire à appliquer au champ de Normales ; vi) extraire des Maxima de Réflectance Diffuse Lambertienne (LDRM) ; vii) déterminer l'ambiguïté de bas relief généralisée (« GBR ambiguity ») basée sur les LDRM en utilisant une approche statistique; viii) appliquer la GBR aux champs de Normales intermédiaires et de Lumières intermédiaires ; ix) normaliser les Normales du champ de Normales intermédiaire. Procédé de détermination d'une carte de normales selon la revendication 1, dans lequel l'étape de préparation des données comporte une phase de conversion des données d'images en flottant, une phase de linéarisation des données, une phase de conversion des valeurs RGB en valeurs de luminance, une phase de vectorisation des images en tant que colonnes d'une matrice I, et une phase d'approximation de rang faible, de préférence proche de trois, afin de respecter les prérequis Lambertiens et d'absence d'ombres des images. Procédé de détermination d'une carte de normales selon l'une quelconque des revendications 1 ou 2, dans lequel l'approche statistique de l'étape de détermination de l'ambiguïté de bas relief généralisée (GBR ambiguity) est basée sur une pluralité de résolutions analytiques 10 [Revendication 4] [Revendication 5] [Revendication 6] [Revendication 7] [Revendication 8] locales de la GBR avec détection de la convergence lorsque la distribution de l'ensemble des GBR locales satisfait une loi de distribution normale. Procédé de détermination d'une carte de normales selon l'une quelconque des revendications 1 à 3, comprenant une étape préalable de transformation des données d'images d'entrée en niveaux de gris. Procédé de détermination d'une carte de normales selon l'une quelconque des revendications 1 à 4, dans lequel le jeu d'images d'entrée comprend au moins huit images. Procédé de détermination d'une carte de normales selon l'une quelconque des revendications 1 à 5, dans lequel les données résultantes de carte de Normales sont utilisées pour générer un rendu 3D de l'image d'entrée. Procédé de détermination d'une carte de normales selon l'une quelconque des revendications 1 à 5, dans lequel les données résultantes de carte de Normales sont utilisées pour générer une carte de Hauteurs de l'image d'entrée. Procédé de détermination d'une carte de normales selon l'une quelconque des revendications 1 à 5, dans lequel les données résultantes de carte de Normales sont utilisées pour compléter les données de description d'un matériau défini de façon procédurale pour utilisation sur une texture ou une image digitale.