Brevet FR3133261A1 — publié le 20230908

Titre : Essai de style avec D es GAN invers É s Le transfert de coiffure est coriace en raison des différences de structure de cheveux dans les cheveux sources et cibles. L’optimisation latente des coiffures par orthogonalisation (LOHO) est une approche basée sur l’optimisation utilisant l’inversion GAN pour remplir des détails manquants de la structure des cheveux dans l’espace latent pendant le transfert de coiffures. Les cheveux sont décomposés en trois attributs : la structure perceptive, l’aspect et le style plus fin, et inclut des pertes sur-mesure pour modéliser chacun de ces attributs indépendamment. L’optimisation à deux stades et l’orthogonalisation de gradient permettent une optimisation désenchevêtrée de l’espace latent des trois attributs de cheveux. En utilisant LOHO pour la manipulation d’espace latent, les utilisateurs peuvent synthétiser de nouvelles images photoréalistes en manipulant des attributs de cheveux, individuellement ou conjointement, en transférant les attributs souhaités à partir de coiffures de référence. Figure pour l’abrégé : 1 Essai de style avec Des GAN inversÉs Domaine Cette demande concerne l’amélioration du traitement informatique, du traitement de l’image et des réseaux neuronaux pour le traitement de l’image et plus particulièrement des systèmes, procédés et techniques d’essai de style avec des GAN inversés, en particulier l’essai de coiffure. Contexte Le traitement informatique des images à l’aide de réseaux neuronaux a ouvert de nouvelles voies pour la simulation des effets. Les progrès des réseaux antagonistes génératifs (GAN pour Generative Adversarial Networks) permettent la synthèse à la fois conditionnelle [15, 32] et inconditionnelle [19] d’images photoréalistes. En parallèle, des travaux récents ont permis une manipulation impressionnante de l’espace latent par l’apprentissage de représentations de particularités désenchevêtrées [26], permettant une manipulation des images globale et locale photoréaliste. Cependant, la manipulation contrôlée des attributs des images synthétisées tout en maintenant le photoréalisme reste un défi à relever. Résumé Le transfert de style, dont le transfert de coiffure, pose problème en raison de différences de structure dans les objets sources et les objets cibles tels que les cheveux. Dans un mode de réalisation, l’optimisation latente des coiffures par orthogonalisation (LOHO pour Latent Optimization of Hairstyles via Orthogonalization) est une approche basée sur l’optimisation utilisant l’inversion GAN pour remplir des détails manquants de la structure des cheveux dans l’espace latent pendant le transfert de coiffure. Les cheveux sont décomposés en trois attributs : structure perceptive (par exemple la forme), aspect et style plus fin, et inclut des pertes sur-mesure pour modéliser chacun de ces attributs indépendamment. L’optimisation à deux stades et l’orthogonalisation de gradient permettent une optimisation désenchevêtrée de l’espace latent des trois attributs de cheveux. En utilisant LOHO pour la manipulation de l’espace latent, les utilisateurs peuvent synthétiser de nouvelles images photoréalistes en manipulant des attributs de cheveux, individuellement ou conjointement, en transférant les attributs souhaités à partir de coiffures de référence. Dans un mode de réalisation, l’approche LOHO (par exemple l’optimisation à deux stades et l’orthogonalisation de gradient pour désenchevêtrer l’optimisation de l’espace latent des attributs de style) est généralisable à d’autres transferts de style tels que les vêtements. L’invention porte sur un procédé pour effectuer un transfert de style en utilisant l’intelligence artificielle (IA), le style comprenant une pluralité d’attributs de style, le procédé comprenant : le traitement d’une pluralité d’images comprenant une première image ( I 1 ), une deuxième image ( I 2 ) et une troisième image ( I 3 ) en utilisant un cadre de réseau d’intelligence artificielle (IA) comprenant un générateur de réseau antagoniste génératif (GAN) et une optimisation à deux stades pour produire une image synthétisée ( I G ) comprenant une identité représentée par la première image ( I 1 ) et un style déterminé à partir d’au moins un attribut de style représenté par la deuxième image ( I 2 ) et au moins un attribut de style représenté par la troisième image ( I 3 ) ; dans lequel le cadre de réseau est configuré pour optimiser un espace latent du modèle GAN pour effectuer le transfert de style tout en désenchevêtrant l’au moins un attribut de style représenté par I 2 et l’au moins un attribut de style représenté par I 3 . Dans un mode de réalisation particulier, I G comprend une région d’identité, une région de style et une région d’arrière-plan et dans lequel, à un premier stade selon une fonction objectif pour optimiser l’espace latent, le cadre de réseau est configuré pour : reconstruire l’identité représentée par I 1 dans la région d’identité de I G ; et reconstruire l’au moins un attribut de style représenté par I 2 dans la région de style de I G . Dans un mode de réalisation particulier, à un second stade selon la fonction objectif, le cadre de réseau est configuré pour : transférer respectivement chacun de l’au moins un attribut de style représenté par I 3 à la région de style de I G . Dans un mode de réalisation particulier, le cadre de réseau est configuré pour retoucher la région d’arrière-plan après le transfert de style. Dans un mode de réalisation particulier, le cadre de réseau est configuré pour effectuer une orthogonalisation de gradient dans l’optimisation à deux stades pour désenchevêtrer l’au moins un attribut de style représenté par I 2 et l’au moins un attribut de style représenté par I 3 . Dans un mode de réalisation particulier, le style est une coiffure ; l’au moins un attribut de style représenté par I 2 est un attribut de forme et de structure de cheveux ; l’au moins un attribut de style représenté par I 3 est i) un attribut d’aspect et ii) un attribut de style plus fin. Dans un mode de réalisation particulier, le générateur GAN est défini à partir d’un GAN pré-entraîné configuré pour un transfert de style. Dans un mode de réalisation particulier, l’optimisation à deux stades optimise des pertes comprend : une perte de reconstruction d’identité ( L f ) ; une perte de reconstruction de la forme et de structure des cheveux ( L r ) ; une perte d’aspect ( L a ) ; et une perte de style plus fin ( L s ). Dans un mode de réalisation particulier, L f et L r sont optimisés au premier stade sans optimiser L a et L s ; et L f , L r , L a et L s sont optimisés au second stade où L r est optimisé par orthogonalisation de gradient pour éviter une concurrence entre les attributs d’aspect et de style plus fin de I 2 avec ceux de I 3 . [Figs. 1A, 1B, 1C, 1D, 1E] Les Figs. 1A, 1B, 1C, 1D et 1E sont des images 100, 102, 104, 106 et 108 illustrant des échantillons de transfert de coiffure synthétisés selon un mode de réalisation. La est un cadre d’une structure de réseau à deux stades avec un mélange d’arrière-plan selon un mode de réalisation. La est un tableau d’images montrant l’effet de l’optimisation à deux stades selon un mode de réalisation. La est un tableau d’images montrant un effet de l’orthogonalisation de gradient (GO) selon un mode de réalisation. [Figs. 5A, 5B] Les Figs. 5A et 5B sont des graphiques montrant un effet de la GO selon un mode de réalisation. La est un tableau d’images montrant une comparaison qualitative de MichiGAN et LOHO selon un mode de réalisation. La montre un tableau d’images d’exemples représentant l’édition d’attributs individuels selon un mode de réalisation. La montre un tableau d’images d’exemples représentant l’édition d’attributs multiples selon un mode de réalisation. [Figs. 9A, 9B] Les Figs. 9A et 9B sont des tableaux d’images montrant des exemples de désalignement selon un mode de réalisation. [Figs. 10A, 10B] Les Figs. 10A et 10B sont des tableaux d’images montrant des exemples de report de détails de cheveux selon un mode de réalisation. Procédé pour effectuer un transfert de style en utilisant l’intelligence artificielle (IA), le style comprenant une pluralité d’attributs de style, le procédé comprenant : le traitement d’une pluralité d’images comprenant une première image ( I 1 ), une deuxième image ( I 2 ) et une troisième image ( I 3 ) en utilisant un cadre de réseau d’intelligence artificielle (IA) comprenant un générateur de réseau antagoniste génératif (GAN) et une optimisation à deux stades pour produire une image synthétisée ( I G ) comprenant une identité représentée par la première image ( I 1 ) et un style déterminé à partir d’au moins un attribut de style représenté par la deuxième image ( I 2 ) et au moins un attribut de style représenté par la troisième image ( I 3 ) ; dans lequel le cadre de réseau est configuré pour optimiser un espace latent du modèle GAN pour effectuer le transfert de style tout en désenchevêtrant l’au moins un attribut de style représenté par I 2 et l’au moins un attribut de style représenté par I 3 . Procédé selon la revendication 1, dans lequel I G comprend une région d’identité, une région de style et une région d’arrière-plan et dans lequel, à un premier stade selon une fonction objectif pour optimiser l’espace latent, le cadre de réseau est configuré pour : reconstruire l’identité représentée par I 1 dans la région d’identité de I G ; et reconstruire l’au moins un attribut de style représenté par I 2 dans la région de style de I G . Procédé selon la revendication 2, dans lequel, à un second stade selon la fonction objectif, le cadre de réseau est configuré pour : transférer respectivement chacun de l’au moins un attribut de style représenté par I 3 à la région de style de I G . Procédé selon la revendication 3, dans lequel le cadre de réseau est configuré pour retoucher la région d’arrière-plan après le transfert de style. Procédé selon l’une quelconque des revendications 1 à 4, dans lequel le cadre de réseau est configuré pour effectuer une orthogonalisation de gradient dans l’optimisation à deux stades pour désenchevêtrer l’au moins un attribut de style représenté par I 2 et l’au moins un attribut de style représenté par I 3 . Procédé selon l’une quelconque des revendications 1 à 5, dans lequel : le style est une coiffure ; l’au moins un attribut de style représenté par I 2 est un attribut de forme et de structure de cheveux ; l’au moins un attribut de style représenté par I 3 est i) un attribut d’aspect et ii) un attribut de style plus fin. Procédé selon la revendication 6, dans lequel le générateur GAN est défini à partir d’un GAN pré-entraîné configuré pour un transfert de style. Procédé selon la revendication 6 ou 7, dans lequel l’optimisation à deux stades optimise des pertes comprenant : une perte de reconstruction d’identité ( L f ) ; une perte de reconstruction de la forme et de structure des cheveux ( L r ) ; une perte d’aspect ( L a ) ; et une perte de style plus fin ( L s ). Procédé selon la revendication 8, dans lequel : L f et L r sont optimisés au premier stade sans optimiser L a et L s ; et L f , L r , L a et L s sont optimisés au second stade où L r est optimisé par orthogonalisation de gradient pour éviter une concurrence entre les attributs d’aspect et de style plus fin de I 2 avec ceux de I 3 .