Brevet FR3162302A1 — publié le 20251121

Le procédé (200), mis en œuvre par ordinateur, comprend : - une acquisition d’un texte descripteur d’apparence (205); - une génération d’au moins une image décorative (207) par un outil d’intelligence artificielle générative (206) commandé par une requête déterminée (2052) par ledit texte descripteur (205) ; - une acquisition (2010) d’un flux d’image (202) ; - une détection d’une région d’intérêt dans le flux d’image (203) ; - une génération d’un visuel de réalité augmentée comportant un masque (204) apte à être superposé dans un suivi continu sur la région d’intérêt dans le flux d’image (202), et incorporant (208) ladite au moins une image décorative (207) ; - une fourniture d’un flux d’image transformé (210) comprenant le flux d’image et le visuel de réalité augmentée superposé au flux d’image. Figure pour l’abrégé : Fig 2 Invite d'écriture pour des apparences de beauté en réalité augmentée Des modes de mise en œuvre concernent un procédé mis en œuvre par ordinateur capable de générer un visuel de réalité augmentée de façon commandé par une requête exprimée dans un texte descripteur. Il existe des statistiques qui montrent que 74% des personnes issues de la génération Z (usuellement définie comme les personnes nées approximativement entre 1995 et 2005) utilisent quotidiennement une application de réalité augmentée, et qui montrent que 64% des consommateurs d’application de réalité augmentée pensent que cela leur permet d’être plus créatifs. Dans le monde de la beauté (c’est-à-dire par exemple le monde de la mode, du cosmétique, et de l’apparence) la réalité augmentée peut avoir plusieurs utilités et différents cas d’usages, notamment : La réalité augmentée appliquée à la beauté peut en effet engendrer de l’idéation, c’est-à-dire un processus créatif de production, en permettant l’exploration et le prototypage de nouveaux codes dans des styles et apparences virtuels. La réalité augmentée appliquée à la beauté peut servir à la révélation de concepts de styles et de modes futurs, avant de passer à une production grande échelle, en offrant à un public des expériences inspirantes d’essais virtuels. La réalité augmentée appliquée à la beauté peut servir de moyen de communication au sujet d’une marque, en offrant une expérience immersive et marquante, par exemple dans le cadre du lancement d’un produit, d’un thème saisonnier, etc... Classiquement, les filtres de réalité augmenté sont accessibles dans des systèmes en ligne de banque de donnée, usuellement via des applications du type bibliothèques dont les contenus sont conçus et imposés par le fournisseur du service et en quantité limité. Or, dans les usages de réalité augmentée, en particulier dans le contexte du cosmétique et de la beauté, l’inspiration créative est grande et les envies et les préférences sont relativement subjectives, de sorte que les utilisateurs peuvent souffrir de frustrations lorsqu’ils ne trouvent pas l’offre qui correspond à leur envie créative. Il existe donc un besoin de remédier à ce problème de frustration et de proposer une liberté presque sans limite à la créativité d’un utilisateur dans son expérience de réalité augmenté appliquée à la beauté. A cet égard, il est proposé un procédé, mis en œuvre par ordinateur, comprenant : - une acquisition d’un texte descripteur d’apparence ; - une génération d’au moins une image décorative par un outil d’intelligence artificielle générative commandé par une requête déterminée par ledit texte descripteur ; - une acquisition d’un flux d’image ; - une détection d’une région d’intérêt dans le flux d’image ; - une génération d’un visuel de réalité augmentée comportant un masque apte à être superposé dans un suivi continu sur la région d’intérêt dans le flux d’image, et incorporant ladite au moins une image décorative ; - une fourniture d’un flux d’image transformé comprenant le flux d’image et le visuel de réalité augmentée superposé au flux d’image. Par exemple, la région d’intérêt est un visage. Selon un mode de mise en œuvre, ladite requête est déterminée par ledit texte descripteur, et par au moins une contrainte introduite automatiquement dans la requête pour imposer au moins une caractéristique esthétique prédéterminée à ladite image décorative. Selon un mode de mise en œuvre, ladite au moins une contrainte introduite dans la requête comporte au moins l’une des contraintes suivantes : modèle abstrait ; pas de photoréalisme ; pas de contours détaillés ; pas d’angles forts. Selon un mode de mise en œuvre, ladite au moins une contrainte introduite dans la requête comporte au moins l’une des contraintes suivantes : des références de couleurs ; des références à un thème connu tel qu’une marque, un produit, un événement culturel. Selon un mode de mise en œuvre, la génération du visuel de réalité augmentée comprend en outre une simulation réaliste d’un maquillage ayant la teinte d’une couleur sélectionnée dans ladite image décorative. Selon un mode de mise en œuvre, le procédé comprend en outre une fourniture d’un objet numérique comprenant le visuel de réalité augmenté apte à être superposé dans un suivi continu sur une région d’intérêt d’un flux d’image tiers. Il est également proposé un programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé défini ci-avant. Il est également proposé un support lisible par ordinateur comprenant des instructions qui, lorsqu’elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé défini ci-avant. Selon un autre aspect, il est proposé un objet numérique comprenant des données numériques représentative du visuel de réalité augmenté généré par le procédé défini ci-avant, extrait dudit flux d’image transformé, ou apte à être superposé dans un suivi continu sur une région d’intérêt d’un flux d’image tiers. D’autres avantages et caractéristiques de l’invention apparaîtront à l’examen de la description détaillée de modes de mise en œuvre, nullement limitatifs, et des dessins annexés, sur lesquels : FIG. 1 FIG. 1 FIG. 1 FIG. 1 FIG. 1 FIG. 2 FIG. 3 FIG. 3 FIG. 3 FIG. 4 FIG. 4 FIG. 5 illustrent des modes de mise en œuvre de l’invention. Les figures 1A à 1E illustrent le parcours d’un utilisateur d’une application, c’est-à-dire un programme d’ordinateur, capable de générer un visuel de réalité augmentée de façon commandée par une requête exprimée par l’utilisateur, par exemple dans un texte descripteur. L’application est mise en œuvre par un ordinateur tel qu’un téléphone multifonction, une tablette tactile, un ordinateur de bureau, comportant au moins un écran d’affichage, éventuellement tactile, tel qu’un écran à diode électroluminescentes « LED » éventuellement organiques « OLED » ; un moyen de saisie de texte tel qu’un clavier physique, un clavier émulé sur écran tactile ou un microphone associé à un moyen de transcription voix-texte ; au moins un capteur d’image tel qu’un capteur de caméra, préférablement une caméra frontale adapté à un affichage autoportrait (ou « selfie » selon la contraction usuelle des termes anglosaxons « self » et « photography ») ; des moyens de traitement aptes à commander les opérations de l’ordinateur comportant au moins un microprocesseur. La FIG. 1 illustre une phase d’accroche, dans laquelle une proposition claire et précise d’un exemple du type de requête EXMP que l’utilisateur pourra soumettre est présentée. Cela permet d’obtenir un effet d’accroche permettant d’éveiller la curiosité de l’utilisateur et l’inciter à poursuivre son utilisation de l’application. La FIG. 1 illustre une phase de guidage, dans laquelle des recommandations simples sont données pour aider l’utilisateur à effectuer les bons réglages de l’ordinateur et à donner à l’application les autorisations d’accès aux périphériques requis, tels que la caméra frontale. Lorsque l’accès est donné, l’application peut par exemple afficher un flux vidéo continu VIS du champ de vision de la caméra frontale. Dans des conditions normales d’utilisation, pouvant notamment être précisées dans les recommandations, le visage de l’utilisateur est présent dans le champ de vision de la caméra frontale. La FIG. 1 illustre une phase de saisie dans laquelle une invite d’écriture PRMPT est donné à l’utilisateur, afin de lui permettre d’exprimer son inspiration en matière de look et d’apparence, par une courte phrase renseignée avec le moyen de saisie de texte. L’invite d’écriture PRMPT pourra par exemple être précédée de l’indication d’une ligne directrice, permettant de fixer le contexte d’utilisation de l’application. Par exemple, l’indication de la ligne directrice pourra être exprimée sous la forme d’un début de phrase tel que « Je veux un maquillage inspiré par… » ou « Je veux la composition d’un style inspiré par… » de sorte que le texte saisi termine la phrase ainsi amorcée. On notera que dans la phase de saisie, l’utilisateur bénéficie d’une liberté presque sans limite pour exprimer sa créativité. Par exemple, l’utilisateur pourra écrire « un champ de petites fleurs exotiques roses ». La FIG. 1 illustre une phase de création numérique dans laquelle l’application utilise des ressources d’intelligence artificielle générative afin de concevoir une apparence (un look) basée sur le texte saisi en quelques secondes. Un message d’incitation à la patience PAT, par exemple « chargement… », peut être affiché pendant la durée de la phase de création, éventuellement accompagné d’une animation apte à donner le sentiment qu’un processus complexe est en cours d’exécution pour l’utilisateur. La FIG. 1 illustre une phase d’affichage dans laquelle les utilisateurs peuvent visualiser en réalité augmentée le look choisi VIS_AR, en continu dans le flux d’image de la caméra autoportrait. La réalité augmentée est la superposition d’éléments numériques virtuels dans un flux d’image représentatif d’une réalité, par exemple une scène vue dans le champ de vision d’un capteur d’image, en temps réel. Les éléments numériques virtuels FLR sont incrustés dans le flux d’image de manière à les représenter dans une perspective correspondant à celle qu’ils auraient s’ils étaient présente dans la scène du réel. Dans l’exemple susmentionné « un champ de petites fleurs exotiques roses » une pluralité de petites fleurs exotiques, d’une ou plusieurs variété(s), ayant différents des nuances de roses, peuvent orner le visage de l’utilisateur, affichées d’une manière à donner l’illusion que les fleurs sont délicatement posées sur le visage. En particulier des régions du visage adaptés à une ornementation esthétiquement plaisante, par exemple sur le contour des yeux, peuvent être identifiées et privilégiées. L’utilisateur peut essayer un autre look basé sur une autre inspiration, et recommencer le parcours des phases de saisie, de création numérique, et d’affichage, décrites ci-avant en relation avec les figures 1C à 1E. Un objet numérique peut aussi être extrait de la phase d’affichage, sur commande de l’utilisateur, par exemple afin d’être partagé dans un environnement numérique tel qu’un réseau social, un jeu vidéo, ou encore un univers virtuel (parfois nommé « métavers »). L’objet numérique est par exemple un cliché de photographie saisi dans l’affichage continu du flux vidéo incorporant le contenu augmenté, ou un clip animé de durée brève. En alternative, l’objet numérique peut aussi être un contenu 3D (trois dimensions), par exemple un fichier contenant le visuel de réalité augmenté apte à être superposé dans un flux d’image tiers. Le flux d’image tiers peut par exemple être obtenu par acquisition vidéo d’une scène réelle à un autre instant, dans le cadre d’une autre mise en œuvre de réalité augmentée. En alternative le flux d’image tiers peut être lui aussi virtuel, tel que par exemple une représentation d’un avatar choisi pour personnifier l’utilisateur dans un environnement numérique tel qu’un réseau social, un jeu vidéo, un univers virtuel quelconque. La FIG. 2 illustre le procédé 200 permettant de générer le visuel de réalité augmenté de façon commandé par la requête exprimée dans un texte descripteur, mis en œuvre par l’application décrite ci-avant en relation avec les figures 1A à 1E. Ainsi, le procédé 200, mis en œuvre par ordinateur, débute avec une phase de démarrage 201 comportant par exemple les phases d’accroche et de guidage décrites précédemment en relation avec les figures 1A et 1B. Ainsi, le capteur d’image 2010 (la caméra frontale) est commandé de manière à acquérir un flux d’image 202 et transmettre les données d’images du flux aux moyens de traitement logiciels 203 du procédé 200. Les moyens de traitement logiciel intègrent notamment un accès à un moteur de génération de réalité augmentée (« moteur AR ») 203, capable de détecter une région d’intérêt dans les images du flux, et de créer un modèle 3D de cette région à partir du flux d’image. En particulier, le moteur de réalité augmentée 203 est adapté à identifier et modéliser un visage humain (en tant que zone d’intérêt). La modélisation 3D peut par exemple être faite par indentification de points de références sur le visage, également appelés « traceurs » (usuellement « trackers » en anglais), dont l’ensemble compose un maillage 3D. Le maillage 3D peut permettre de définir des points d’ancrage à une adjonction d’un contenu virtuel 204. Le contenu virtuel est supporté par un objet numérique 3D rattaché au maillage 3D du modèle, l’objet numérique pouvant être appelé masque 204 dans le cas d’un modèle de visage. Différents types de masques peut être générés, par exemple des masques localisés sur le contour de chaque œil, des masques recouvrant transversalement les deux yeux, des masques occupant une plus grande partie du visage, par exemple une portion du visage ou l’intégralité du visage, enfin les masques peuvent être symétriques (par exemple dans la même orientation que la symétrie du visage) ou asymétrique. Par exemple, le choix du modèle de masque pourra être fait aléatoirement à chaque mise en œuvre du procédé. En alternative, le modèle de masque pourra être choisi en fonction de l’image générée 207 (voir ci-après), par exemple en fonction d’une identification d’une étendue d’éléments individuels faite dans l’image 207, ou en fonction d’une identification d’une symétrie particulière ou d’une asymétrie particulière dans l’image, correspondant à un modèle de masque. Le moteur de réalité augmenté pourra par exemple se baser sur des moyens existants fournissant des services appropriés aux fonctions exprimées ci-avant, tels que les outils de noms commerciaux « ModiFace » ou « 8thWall ». Sommairement, l’outil ModiFace est un moteur de réalité augmenté spécialisé dans le domaine de la beauté, et est notamment en mesure de construire des traceurs extrêmement précis et léger en termes de traitement de données, et offre des rendus très fidèles à la réalité en s’adaptant automatiquement aux différents éclairages et tons de peau notamment. Sommairement, l’outil 8thWall est un moteur de réalité augmentée, conçu pour offrir à des développeurs tiers les outils nécessaires pour créer des expériences de réalité augmenté immersives et réalistes dans un service web (en ligne), avec une grande liberté de développement et de compatibilité. Parallèlement ou antérieurement aux étapes de génération du masque de réalité augmenté 203 et 204, le procédé 200 comprend la phase de saisie 205 décrite précédemment en relation avec la FIG. 1 . Ainsi, la saisie du texte de l’utilisateur dans l’invite d’écriture permet au procédé d’acquérir un texte prévu pour exprimer la description d’une apparence souhaitée, appelé à cet égard texte descripteur d’apparence. A partir du texte descripteur d’apparence, le procédé comprend une génération d’une requête 2052, incluant avantageusement un ajout de contraintes 2051 (voir ci-après en relation avec les figures 3A-3C) au texte descripteur d’apparence, afin de commander un outil d’intelligence artificiel générative 206 apte à générer une image (appelé image décorative) à partir de la requête 2052. En d’autres termes, le procédé 200 comporte une génération d’au moins une image décorative 207 par un outil d’intelligence artificielle générative 206 commandé par ladite requête déterminée par ledit texte descripteur. L’outil d’intelligence artificielle générative d’images pourra par exemple se baser sur des moyens existants fournissant des services appropriés à cet fonction, tels que les outils de noms commerciaux « Dall-E 3 » ou « Midjourney » ou « Stable Diffusion » ou « gettyimages », ou « Bria AI ». Ces exemples mettent en œuvre des algorithmes d’intelligence artificielle du type grand modèle de langage (usuellement « LLM » pour « Large Langage Models » en anglais) qui génèrent des images qui correspondent à un texte exprimé en langage naturel. L’image 207 ainsi généré par la requête basée sur du texte descripteur d’apparence, comporte un contenu visuel décoratif représentatif de l’inspiration que l’utilisateur à communiquée. Le contenu visuel décoratif de l’image est incorporé 208 dans le masque de réalité augmentée. Avantageusement, on pourra par exemple identifier et isoler certains éléments de l’image générée pour les incorporer dans le masque de réalité augmentée 204. Ainsi, le masque de réalité augmenté 204 généré afin d’épouser virtuellement le visage de l’utilisateur dans le flux d’image, est affiché dans le flux d’image de manière à montrer le visuel décoratif de l’image générée en fonction de ladite requête 2052. En d’autres termes, on a formé un visuel de réalité augmenté 210 adapté pour agrémenter le visage de l’utilisateur dans une esthétique qui suit l’inspiration d’apparence que l’utilisateur a exprimée dans la phase de saisie 205. A cet égard, un flux d’image transformé comprenant le flux d’image initial 202 et le visuel de réalité augmentée 210 superposé au flux d’image 202 est fourni. Optionnellement et de façon avantageuse, le visuel de réalité augmentée superposé au flux d’image 202 peut comprendre en outre une simulation réaliste d’un maquillage 2071 ayant la teinte d’une couleur sélectionnée 2070 dans ladite image décorative 207. On se réfère désormais aux figures 3A à 3C. Les figures 3A à 3C illustrent des exemples d’adjonction de contraintes 2041 dans la génération de la requête 2042, sur la base du texte descripteur d’apparence 204. Au moins une contrainte 2041 est introduite automatiquement dans la requête 2042 pour imposer au moins une caractéristique esthétique prédéterminée à ladite image décorative ; par exemple les contraintes 2041 peuvent comprendre au moins l’une des contraintes suivantes : modèle abstrait ; pas de photoréalisme ; pas de contours détaillés ; pas d’angles forts. Les contraintes sont élaborées afin de conserver un résultat cohérent transmettant la signification du texte descripteur d’apparence. Les contraintes élaborées permettent d’éviter les images photoréalistes et les éléments trop détaillés, et de conserver quelque chose d’assez abstrait mais toujours esthétiquement attrayant pour être adapté à un ornement du visage. D’une part, il est proposé une approche « pré-scriptum » d’une contrainte placée avant le texte descripteur d’apparence, pour imposer une orientation dans le style et l’esthétique, par exemple « modèle abstrait de ». D’autre part, il est proposé en combinaison ou en alternative, une approche « post-scriptum » pour exclure ou éviter des caractéristiques d’images non-désirées, par exemple : « non-photoréaliste », « pas de contours détaillés », « pas d’angles forts ». La FIG. 3 illustre un exemple en nuances de gris d’une image en couleur 207 générée par une requête reprenant sans contrainte le texte descripteur d’apparence saisi par l’utilisateur, dans le cas où ce texte est « fleurs sauvages roses et violettes ». La FIG. 3 illustre un exemple en nuances de gris d’une image en couleur 207 générée par une requête reprenant le texte descripteur d’apparence saisi par l’utilisateur « fleurs sauvages roses et violettes », en y ajoutant les contraintes post-scriptum « non-photoréaliste, sans contours détaillés, sans angle fort ». La FIG. 3 illustre un exemple en nuances de gris d’une image en couleur 207 générée par une requête reprenant le texte descripteur d’apparence saisi par l’utilisateur « fleurs sauvages roses et violettes », en y ajoutant les contraintes post-scriptum « non-photoréaliste, sans contours détaillés, sans angle fort », et la contrainte pré-scriptum « modèle abstrait de ». On pourra remarquer que l’image de la FIG. 3 est la plus adaptée du point de vue esthétique à une utilisation dans l’application mise en œuvre par le procédé décrit en relation avec la FIG. 2 , décrite en relation avec les figues 1A à 1E. Ce type de contrainte pré-scriptum et post-scriptum peuvent être implémentés par des méthode d’adaptation bas-niveau (usuellement « LoRA » pour « Low-Rank Adaptation » en anglais), c’est-à-dire des techniques d’apprentissage pour l’ajustement fin des modèles d’intelligence artificielle générative, qui apportent de légères modifications (nommées checkpoints) aux modèles initiaux. Les figures 4A et 4B illustrent des exemples de résultats de visuels de réalités augmenté 210 générés avec d’autres contraintes 2041 dans la requête 2042 commandant la génération de l’image décorative 207. L’image décorative 207 peut être guidée pour être plus illustrative ou plus abstraite, plus saturée ou pastel, par exemple selon un univers ou un code stylistique associé à une marque ou un produit. Mais en outre, d’autre éléments textuels, plus explicites et riches de sens, peuvent être contraindre la requête, comme par exemple des références de couleurs ou des références à un thème connu, pour correspondre à l’esthétique d’une marque spécifique, d’un produit spécifique ou selon un événement culturel saisonnier ayant un univers identifiable tel qu’halloween ou noël. La FIG. 4 illustre un exemple en nuance de gris d’un visuel de réalité augmenté 210 générés avec des contraintes 2041 dans la requête 2042 commandant la génération de l’image décorative 207 dans un thème gothique avec des couleurs foncées et brillantes. Le texte descripteur initialement saisi pourrait être dans cet exemple « lune dans les nuages ». La FIG. 4 illustre un exemple en nuance de gris d’un visuel de réalité augmenté 210 générés avec des contraintes 2041 dans la requête 2042 commandant la génération de l’image décorative 207 suivant un thème floral avec des couleurs claires et mattes, soit « pastel ». Le texte descripteur initialement saisi pourrait être dans cet exemple « fleurs sauvages ». On pourra remarquer que les visuels de réalité augmenté 210 des figures 4A et 4B comprennent en outre une simulation réaliste de maquillages, notamment du far à joues et du rouge à lèvre, ayant des teintes choisies dans les couleurs de ladite image décorative. La FIG. 5 illustre des exemples de dessins d’eye-liner (crayon à yeux) pouvant être proposé comme simulation réaliste de maquillages ayant des teintes choisies dans les couleurs de l’image décorative. En particulier il est avantageux de sélectionne la couleur foncée principale de l’image décorative générée, et de l’appliquer aux lèvres et aux eye-liners. Les formes des traits de crayon sont prédéfinies sélectionnées aléatoirement lors de la simulation de maquillage 2071. Il est également proposé de sélectionner des eye-liners, des couleurs et des textures fidèles à une marque, correspondant à des références de couleurs réelles pour des produits réels de la marque. Procédé (200), mis en œuvre par ordinateur, comprenant : - une acquisition d’un texte descripteur d’apparence (205); - une génération d’au moins une image décorative (207) par un outil d’intelligence artificielle générative (206) commandé par une requête déterminée (2052) par ledit texte descripteur (205) ; - une acquisition (2010) d’un flux d’image (202) ; - une détection d’une région d’intérêt dans le flux d’image (203) ; - une génération d’un visuel de réalité augmentée comportant un masque (204) apte à être superposé dans un suivi continu sur la région d’intérêt dans le flux d’image (202), et incorporant (208) ladite au moins une image décorative (207) ; - une fourniture d’un flux d’image transformé (210) comprenant le flux d’image et le visuel de réalité augmentée superposé au flux d’image. Procédé selon la revendication 1, dans lequel la région d’intérêt est un visage (VIS). Procédé selon l’une des revendications 1 ou 2, dans lequel ladite requête (2052) est déterminée par ledit texte descripteur (205), et par au moins une contrainte (2051) introduite automatiquement dans la requête (2052) pour imposer au moins une caractéristique esthétique prédéterminée à ladite image décorative (207). Procédé selon la revendication 3, dans lequel ladite au moins une contrainte (2051) introduite dans la requête (2052) comporte au moins l’une des contraintes suivantes : modèle abstrait ; pas de photoréalisme ; pas de contours détaillés ; pas d’angles forts. Procédé selon l’une des revendications 3 ou 4, dans lequel ladite au moins une contrainte (2051) introduite dans la requête (2052) comporte au moins l’une des contraintes suivantes : des références de couleurs ; des références à un thème connu tel qu’une marque, un produit, un événement culturel. Procédé selon l’une des revendications 1 à 5, dans lequel la génération du visuel de réalité augmentée (210) comprend en outre une simulation réaliste d’un maquillage (2071) ayant la teinte d’une couleur sélectionnée (2070) dans ladite image décorative (2070). Procédé selon l’une des revendications 1 à 6, comprenant en outre une fourniture d’un objet numérique comprenant le visuel de réalité augmenté (210) apte à être superposé dans un suivi continu sur une région d’intérêt d’un flux d’image tiers. Programme d’ordinateur comprenant des instructions qui, lorsque le programme est exécuté par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé (200) selon l’une quelconque des revendications 1 à 7. Support lisible par ordinateur comprenant des instructions qui, lorsqu’elles sont exécutées par un ordinateur, conduisent celui-ci à mettre en œuvre le procédé (200) selon l’une des revendications 1 à 7. Objet numérique comprenant des données numériques représentative du visuel de réalité augmenté généré par le procédé (200) selon l’une des revendications 1 à 7, extrait dudit flux d’image transformé, ou apte à être superposé dans un suivi continu sur une région d’intérêt d’un flux d’image tiers.