INPI-France/Brevets-Francais-2024-Chunked huggingface dataset:
Le dispositif électronique comprend des moyens de calculs pour générer un nuage de points global NP G comprenant l’ensemble des points des différents ensembles générés par exemple dans le cas de l’utilisation de deux dispositifs optiques ENS 31 , ENS 32 . Un intérêt est d’obtenir un nuage de points le plus complet possible représentatif du corps de l’individu 9. Le nuage de points global NP G est notamment établi après qu’une calibration des dispositifs optiques soit réalisée et qu’au moins une transformation de chaque nuage de points acquis NP 1 , NP 2 soit réalisée pour opérer les nuages de points dans un même référentiel.
Selon un mode de réalisation du procédé de l’invention, le dispositif électronique est configuré pour réaliser différentes opérations suivantes : application d’une fonction de transfert basée sur une configuration de calibration des différents dispositifs optiques 3 vis-à-vis d’un référentiel de référence du système 1 ; corrélation entre les différents ensembles de points afin de déterminer un sous-ensemble de points en commun et un sous-ensemble de points non partagés par les différents nuages de points ; optionnellement, contrôle d’erreurs de calibration d’un dispositif optique 3 ; détermination d’un nuage de point global NP G comprenant l’ensemble des points des différents ensembles de points générés ENS 1 , ENS 2 par chaque dispositif optique 3.
Cette étape de lavage est avantageusement réalisée à une température comprise entre -5 et 40°C, préférentiellement entre 0 et 30°C. L’homme du métier saura ajuster la température de manière à ne pas solubiliser les cristaux du sel de potassium d’acide 2-acrylamido-2-méthylpropane sulfonique.
Les cristaux du sel de potassium d’acide 2-acrylamido-2-méthylpropane sulfonique obtenus à l’issue de cette étape 4) optionnelle peuvent être isolés de la solution de lavage par une étape de séparation liquide/solide, sous la forme d’une composition C 2 .
Etape 5 ) du p rocédé de fabrication de la forme cristalline du sel de potassium :
Autres étapes du p rocédé de fabrication de la forme cristalline du sel de potassium :
Pendant le procédé de fabrication, c’est-à-dire pendant les étapes 1) à 5), et quelle que soit l’étape, il est possible d’introduire au moins un inhibiteur de polymérisation de manière à éviter l’éventuelle polymérisation de l’acide 2-acrylamido-2-méthylpropane sulfonique ou de son sel. Cet inhibiteur peut être choisi de manière non limitative parmi l’hydroquinone, le paraméthoxyphénol, le phénotiazine, le 2,2,6,6-tétraméthyl(pipéridin-1-yl)oxyl, le 4-hydroxy-2,2,6,6-tétraméthyl(pipéridin-1-yl)oxyl, les dérivés de phénylène diamines, ou leurs mélanges.
Ce dispositif comprenant : un dispositif de captation optique monoculaire pour obtenir une image monoculaire en couleurs dans des conditions d’observations réelles ; un module de correction colorimétrique de l’image monoculaire en couleurs basé sur un modèle d’apparence couleur inversible, de manière à fournir une image corrigée en couleurs dans des conditions d’observation de référence, de sorte que la perception des couleurs dans l’image corrigée en couleurs soit identique à la perception des couleurs dans l’image monoculaire en couleurs acquise dans les conditions d’observations réelles; et un module de génération d’une carte de profondeur configuré pour appliquer un réseau de neurone convolutif à l’image corrigée en couleurs.
Le dispositif selon l’invention peut en outre comporter l’une ou plusieurs des caractéristiques optionnelles suivantes, selon toute combinaison techniquement possible : un module de filtrage quaternionique linéaire guidé par une image de référence configuré pour filtrer l’image monoculaire en couleurs de manière à obtenir une image filtrée comprenant des données de texture de l’image monoculaire en couleurs ; et un module de soustraction configuré pour soustraire l’image filtrée de l’image corrigée en couleurs.
L’invention vise aussi, dans au moins un mode de réalisation, un engin de mobilité autonome comprenant un dispositif selon l’invention tel que décrit ci-avant.
L’invention vise aussi un programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur, caractérisé en ce qu’il comprend des instructions pour l’exécution des étapes d’un procédé d’estimation de profondeur d’une image monoculaire tel que décrit ci-avant, lorsque ledit programme est exécuté sur un ordinateur.
L’invention vise également un moyen de stockage d'informations, amovible ou non, partiellement ou totalement lisible par un ordinateur ou un microprocesseur comportant des instructions de code d'un programme d'ordinateur pour l'exécution des étapes du procédé d’estimation de profondeur d’une image monoculaire selon l’invention comme décrit ci-dessus.
Brève description des figures L’invention sera mieux comprise à l’aide de la description qui va suivre, donnée uniquement à titre d’exemple et faite en se référant aux dessins annexés dans lesquels : illustre schématiquement un procédé d’estimation selon un mode de réalisation de l’invention ; illustre schématiquement un exemple de dispositif pour mettre en œuvre le procédé selon la ; illustre schématiquement un exemple de réalisation de l’étape de correction colorimétrique mise en œuvre dans le procédé d’estimation selon la ; illustre schématiquement un exemple de réalisation de l’étape de filtrage mise en œuvre dans le procédé d’estimation selon la ; illustre schématiquement un exemple de réalisation d’un dispositif pour mettre en œuvre le procédé selon l’invention ; illustre un exemple d’architecture d’un dispositif adapté à mettre en œuvre le procédé selon un mode de réalisation de l’invention ; illustre schématiquement un robot terrestre dans lequel le dispositif selon l’invention est mis en œuvre ; et illustre schématiquement un drone dans lequel le dispositif selon l’invention est mis en œuvre.
Description détaillée de l’invention En référence à la , un procédé E100 d’estimation de la profondeur d’une image monoculaire va être à présent décrit selon un mode de réalisation de l’invention.
Le procédé E100 comprend une étape d’obtention E0 d’une image monoculaire I0 en couleurs, par exemple selon le format RGB (de l’anglais « Red Green Blue »). Cette image monoculaire I0 est acquise dans des conditions d’observations dites réelles, par exemple au moyen d’une caméra monoculaire ou de tout autre dispositif optique monoculaire, tel qu’une lunette de vision monoculaire. Dans d’autres modes de réalisation (non illustrés), la caméra 0 sera configurée pour fournir une séquences d’images monoculaires.
Le procédé E100 comprend en outre une étape de correction colorimétrique E1, lors de laquelle l’image monoculaire I0 est corrigée de manière à fournir une image corrigée en couleurs I1. Cette correction est telle que la perception des couleurs dans l’image corrigée I1 dans des conditions d’observations de référence soit identique à la perception des couleurs de l’image monoculaire I0 dans les conditions d’observations réelles. Cette étape de correction colorimétrique E1 sera décrite plus en détails en référence à la .
Lors d’une étape de génération E4 et plus particulièrement lors d’une sous-étape E4.1, une carte de profondeur réduite I4.1 est générée à partir de l’image corrigée en couleurs I1. Cette carte de profondeur est qualifiée de réduite étant donné qu’elle dispose d’une résolution inférieure à celle de l’image monoculaire I0 ou de l’image corrigée en couleurs I1.
Grâce à l’ajustement de colorimétrie opéré lors de l’étape de correction colorimétrique E1, la profondeur monoculaire estimée dans la carte de profondeur réduite I4.1 ne dépend pas des conditions d’observations réelles. Cette correction est particulièrement avantageuse pour assurer la cohérence des couleurs d’une paire d’images stéréoscopiques obtenue à partir de l’image monoculaire I0 pour l’apprentissage auto-supervisé de réseaux neuronaux.
Le procédé E100 peut être complété par les étapes optionnelles suivantes regroupées sur la par un cadre en traits pontillés.
Lors d’une étape de filtrage E2, l’image monoculaire I0 est filtrée de manière à fournir une image filtrée I2 qui correspond à l’image monoculaire I0. Un des objectifs du filtrage est d’obtenir une image I2 en haute fréquence, dite image « passe haut », dans laquelle les textures et/ou les bordures de l’objet sont bien définies, i.e. mieux définies que dans l’image monoculaire d’origine I0. Une fois que les textures et éventuellement les bordures des différents objets constitutifs de l’image sont obtenues, une meilleure estimation de la profondeur monoculaire peut être obtenue pour chaque objet dans l’image. Cette étape de filtrage E2 sera décrite plus en détails en référence à la .
Lors d’une étape de soustraction E3, l’image corrigée en couleurs I1 est soustraite à l’image filtrée I2, de manière à obtenir une carte de textures I3 de l’image monoculaire I0. La carte de textures I3 est une image corrigée en couleurs dans laquelle les textures de l’image monoculaire I0 sont mises en évidence.
Le procédé E100 comprend en outre une étape de génération E4 lors de laquelle au moins une carte de profondeur améliorée est déterminée. Plus particulièrement, cette étape E4 comprend une sous-étape E4.2 lors de laquelle une carte de profondeur résiduelle I4.2 est générée sur la base de la carte de profondeur réduite I4.1 et de la carte de textures I3. L’étape de génération E4 sera décrite plus en détails en référence à la .
Le procédé E100 comprend en outre une étape d’addition E5, lors de laquelle la carte de profondeur réduite I4.1 est ajoutée à la carte de profondeur résiduelle I4.2, de manière à fournir une carte de profondeur finale I5 d’une résolution au moins égale à celle de l’image monoculaire I0 fournie lors de l’étape E0.
La notation 3 est utilisée lorsque l’on décrit un dispositif optique de manière générale. Le système de l’invention 1 peut comprendre une pluralité de dispositifs optiques 3, notamment plus de deux dispositifs optiques 3 afin d’augmenter la résolution de l’image 3D, la vitesse de traitement ou encore assurer un meilleur champ de vision. Toutefois, l’invention peut être mise en œuvre avec un unique un dispositif optique 31.
Dans le cas où plusieurs dispositifs optiques 3 sont utilisés, de manière préférée ils sont disposés à une certaine distance l’un de l’autre. Ils peuvent être soient rendus solidaires l’un de l’autre, par exemple, par une tige de maintien ou par un rack de positionnement, soient être non contraint l’un de l’autre afin de permettre une disposition libre de chaque dispositif optique 31, 32 dans l’espace.
Les deux dispositifs optiques 3 sont préférentiellement agencés au sein d’une pièce sur des meubles de manière à orienter leur optique vers un espace libre de ladite pièce dans lequel un individu 9 portant un casque de réalité virtuelle 6 évoluera.
L’invention peut être mise en œuvre selon différentes configurations d’agencement du ou des dispositifs optiques 3. Selon un mode de réalisation, le dispositif optique 31 peut être agencé dans l’espace ou bien être fixé au casque de réalité virtuelle 6 de manière à acquérir l’image d’un autre utilisateur. Dans ce cas, ce dispositif optique 31 peut être également utilisé en combinaison avec un autre dispositif optique 32 agencé dans un espace tel ou bien même il peut être également fixé sur le casque 6 et orienté de manière à acquérir des images des bras ou plus généralement des parties du corps de l’individu 9 portant le casque 6.
Chaque dispositif optique 3 est configuré pour générer une image 3D d’un corps humain d’un individu 9. Cette image 3D est appelée également dans la suite de la description vue partielle. Il est entendu que chaque dispositif optique 3 ne peut acquérir qu’une partie du corps humain d’un individu 9 à un instant donné. Ainsi, lorsque plusieurs dispositifs optiques 3 sont utilisés, l’utilisation des données de différentes vues partielles VP 1 , VP 2 permet d’augmenter la surface de corps modélisable d’un individu 9 portant le casque de réalité virtuelle 6.
La décrit un exemple de procédé dans lequel une vue partielle VP 1 acquise par un dispositif optique 31 de l’invention.
La représente le cas où au moins deux dispositifs optiques sont agencés pour acquérir différentes vues partielles en temps réel. VP 1 sont les vues partielles acquises en temps réel par le dispositif optique 31 et VP 2 sont les vues partielles acquises en temps réel par le dispositif optique 32.
L’invention vise à reconstruire l’intégralité du corps d’un individu à partir d’au moins une vue partielle VP 1 . Ces vues partielles sont acquises préférentiellement simultanément et en continu afin de produire un modèle de corps en temps réel. Un avantage de l’invention est de tirer parti d’un réseau de neurones entrainé de sorte que la reconstruction d’un modèle complet de corps humain soit générée à partir d’un minimum d’une vue partielle. D’autres réalisations dans lesquelles 3, 4, 5 ou 6 vues partielles acquises simultanément permettent de reconstruire un modèle de corps d’un individu 9.
Selon un exemple de réalisation, les dispositifs optiques sont synchronisés entre eux au moyen d’une horloge et d’un signal émis préalablement de l’un à l’autre. Cette synchronisation permet notamment de déclencher des acquisitions coordonnées de vues partielles d’un individu 9. D’autres moyens de synchronisation peuvent être mis en œuvre, par exemple par l’intermédiaire d’un boitier externe qui envoie un signal de synchro à chaque dispositif optique. Le signal envoyé peut l’être à l’initialisation du procédé ou peut être émis de manière régulière.
Selon un mode de réalisation, les acquisitions sont horodatées afin d’associer à une vue partielle une date. Cette association permet notamment de coordonner la combinaison des nuages de points construits à partir des images de chaque optique ou d’apporter des facteurs correctifs si les dates sont légèrement décalées.
Acquisition d’une vue partielle Dans le cadre de la présente invention, une image 3D ou une vue partielle peut être définie par un ensemble d’images d’un même sujet, au moins deux images, permettant de générer une information de profondeur dudit sujet. Selon un exemple, l’image 3D peut être une image stéréoscopique, c’est-à-dire une paire d’images, telle que deux vues dites gauche et droite, réalisée par deux capteurs optiques prenant une même scène à partir de deux points de vue légèrement distants. Le spectre d’une telle image peut être dans le visible ou dans l’infrarouge. Dans ce cas, une image 3D peut être une paire d’images couleur ou infrarouges. Selon un autre exemple, une image 3D peut également s’entendre comme une image qui est directement associée à une carte de profondeur, selon un autre exemple, une image 3D peut s’entendre comme un nuage de points représentant un échantillonnage d’une surface tridimensionnelle obtenue à partir d’images acquises d’un sujet. L’image 3D peut également comprendre d’autres informations, en plus des points, telles que des informations de couleurs. Selon un mode de réalisation, l’image 3D comprend une image 2D et une information de profondeur estimée par un algorithme d’estimation de profondeur. Selon un mode de réalisation, l’image 3D comprend une image 2D et un maillage tridimensionnel calculé selon le procédé de l’invention.
Plus généralement, on nomme une image 3D ou une vue partielle : une image 2D à laquelle est combinée une information numérique permettant de construire une représentation tridimensionnelle d’une surface dans l’espace. Cette information numérique peut être une seconde image, une carte de profondeur ou toute autre donnée calculée permettant de construire un nuage de points dans l’espace à partir d’une image 2D.
Selon un mode de réalisation, chaque dispositif optique 3 comprend une paire de caméras permettant de générer une carte de profondeur de l’image acquise. Lorsqu’un dispositif optique comprend au moins deux capteurs, cela suffit au procédé de l’invention pour générer un maillage tridimensionnel à partir d’un unique dispositif optique 3. Selon un exemple de réalisation, les caméras sont des caméras infrarouges. Les caméras infrarouges offrent des résolutions permettant de dresser une carte de profondeur dont la précision permet de restituer des différences de reliefs de la surface d’un corps d’un individu situé à une distance comprise entre quelques centimètres et 3m, voire 4m, des dispositifs optiques 31, 32.
Dans le cas où le dispositif optique 3 est monté sur le casque virtuel 6 pour acquérir des images du propre corps de l’individu 9 portant ledit casque, par exemple ses bras ou ses mains, la distance peut être de quelques centimètres.
Selon une méthode, des images 2D acquises d’un même objet depuis deux points de vue d’un même dispositif optique 3 dont on connait l’agencement peuvent être combinées selon des techniques connues pour obtenir une carte dite « de profondeur » ou « de distance ».
Selon un exemple de réalisation, chaque dispositif optique 3 comprend 3 caméras dont une paire de caméras infrarouges et une caméra couleur.
Traitement du nuage de points et calcul des descripteurs de forme
Selon un premier mode de réalisation, l’image 3D, ou plus spécifiquement le nuage de points, générée à partir d’une vue partielle acquise d’un dispositif optique est directement utilisé comment entrée dans le réseau de neurones.
Selon un autre mode de réalisation lorsque différents dispositifs optiques 3 sont utilisés conjointement, l’image 3D obtenue par combinaison d’une pluralité de vues partielles, tel que le nuage de points global NP G obtenu, est directement utilisée comme entrée d’un réseau de neurones appelé CNN 1 . Dans cette réalisation, le nuage de points peut se résumer à l’ensemble des points, chaque point étant caractérisé par ses coordonnées dans l’espace 3D dans un référentiel de référence. Ce référentiel de référence peut être un des 4 référentiels définis à savoir R 0 , R 1 , R 2 ou R 3 .
Selon une alternative lorsque différents dispositifs optiques 3 sont utilisés, les deux nuages de points NP 1 et NP 2 sont directement utilisés en entrée du réseau de neurones CNN 1 sans nécessairement calculer un nuage de points global NP G . Plus généralement, lorsqu’une pluralité de nuage de points est calculée simultanément par une pluralité de dispositifs optiques 3, dans cet exemple, ils peuvent définir des entrées distinctes du réseau de neurones CNN 1 .
Selon un second mode de réalisation, un calculateur est configuré pour réaliser une opération visant à calculer des informations topologiques locales de chaque point d’un nuage NP 1 ou du nuage de points global NP G . Un intérêt est de construire des vecteurs d’entrée du réseau de neurones comportant des données géométriques supplémentaires. Ce mode de réalisation permet de calculer des descripteurs de forme locaux en chaque point du nuage de points NP 1 , NP 2 ou NP G . Selon un mode de réalisation, un graphe connecté est obtenu à partir du maillage des points. La méthode consiste à associer à chaque point du graphe connecté des attributs issus de calculs effectués sur la matrice d’adjacence du graphe connecté. Cela correspond au calcul de fonctions appliquées à chaque point, dont ses coordonnées, et leur voisinage de manière à générer des descripteurs de forme, ou coefficient de forme.
Un avantage des descripteurs de forme est de caractériser une topologie locale de la surface à un point du premier graphe G 1 . Lorsque le corps d’un individu 9 bouge ou change au cours du temps, la surface du corps est considérée comme un objet déformable dont les transformations sont non isométriques. Les descripteurs de forme permettent de générer en chaque point des caractéristiques propres qu’il est possible de retrouver grâce au procédé de l’invention après une déformation.
Selon un premier mode de réalisation, les descripteurs de forme peuvent être calculés à partir de fonctions appliquées localement au point considéré. Selon un mode de réalisation, au moins un descripteur de forme locale et/ou un descripteur de forme globale sont définis. Les descripteurs peuvent être du type : « Wave Kernel Signature » ou « Heat Kernel Signature » ou « Gaussian Curvature ». Un avantage est de définir des descripteurs de forme à partir d’une analyse spectrale de la région au voisinage d’un point du nuage de points ou du graphe issu du nuage de points. Un avantage est l’utilisation simplifiée d’équations ou d’opérateurs normalisés dont le traitement numérique peut être optimisé.
Selon un second mode de réalisation, les descripteurs de forme sont calculés automatiquement à chaque point du nuage de points NP 1 , NP 2 ou NP G par un réseau de neurones configuré pour les calculer automatiquement. Cette sortie d’un premier réseau de neurones permet de définir une entrée d’un second réseau de neurones CNN 1 . Ainsi, le premier réseau de neurones serait configuré pour calculer des descripteurs de forme en chaque point du nuage de points acquis pour enrichir les entrées du second réseau de neurones CNN 1 , ledit second réseau de neurones CNN1 étant configuré pour calculer un modèle de corps humain MOD_S selon l’une des méthodes décrites ci-après.
Utilisation d’un réseau de neurones entrainé Le dispositif électronique de l’invention comprend au moins une mémoire et un calculateur pour calculer un modèle de corps humain MOD_S à partir d’un réseau de neurones entrainé. L’implémentation du réseau de neurones entrainé peut être réalisée de sorte qu’il traite, en entrée, des vecteurs comportant les coordonnées de chaque point du nuage de points et éventuellement des attributs décrivant des descripteurs de forme précédemment calculés associés auxdits points lorsque le second mode de réalisation est mis en œuvre.
D’autres implémentations du réseau de neurones peuvent être réalisées dans le cadre de l’invention de sorte qu’il traite plus généralement, en entrée, des données décrivant une image 3D. Il peut s’agir, par exemple, des données caractérisant la carte de profondeur. Ainsi l’exemple, des données décrivant un nuage de points est un mode de réalisation de l’invention.
Le réseau de neurones peut être entrainé de différentes manières de sorte qu’en sortie il produise soit directement un nouveau nuage de points ou un graphe dans la mesure ou les points sont liés entre eux, soit des coefficients permettant de configurer un modèle de corps paramétrique MOD_P. Ainsi, les coefficients produits en sortis définissent une configuration ou un paramétrage d’entrée d’un modèle de corps paramétrique MOD_P. Il est donc possible d’entrainer et donc de configurer le réseau de neurones de sorte à adapter la sortie de ce dernier au terme de l’opération de régression.
Un exemple de modèle de corps MOD_S est représenté à la d’un corps d’un individu.
Dans les deux cas d’exemple, selon un mode de réalisation, le réseau de neurones CNN 1 est entrainé à partir d’un ensemble de vues partielles {VPA i } i Ɛ [1 ;N] définissant différentes vues de différents corps humains d’individus.
Selon un premier exemple, chacune de ces vues partielles peut être définie par une image 3D, telle qu’un nuage de points comportant une pluralité de points, l’image 3D étant définie par exemple par un ensemble de points ayant des coordonnées et possiblement des données relatives à leur voisinage tel que des liens, des références, un ordonnancement, etc. Lorsque le réseau de neurones CNN 1 est entrainé pour reconstruire en sortie un maillage tridimensionnel de points, le modèle de régression est supervisé par des données décrivant des maillages tridimensionnels.
Selon un second exemple, chacune de ces vues partielles peut être définie par ensemble de paramètres dits coefficients de forme et coefficients d’articulation. Lorsque le réseau de neurones CNN 1 est entrainé pour générer et prédire en sortie des coefficients définissant des paramètres d’entrée d’un modèle paramétrique, le modèle de régression est supervisé par un type de données décrivant dans ce cas des coefficients permettant de générer un modèle de corps. La construction du modèle de corps peut être réalisée dans un second temps à partir d’un modèle de corps paramétrique dans lequel les coefficients obtenus au terme de la régression peuvent être utilisés.