Brevet FR3114423A1 — publié le 20220325

Diffusion de connaissances avec préservation des relations sémantiques pour une conversion d'image à image L’invention concerne des générateurs basés sur un GAN utiles pour exécuter des conversions d'image à image. Des systèmes et des procédés définissent, par l'intermédiaire d'un conditionnement, un modèle de GAN appris qui présente un générateur appris qui est réduit à partir d'un modèle de GAN d’apprentissage (et d'un générateur) en utilisant la diffusion de connaissance. Une perte de diffusion de connaissance des relations sémantiques est utilisée pour transférer des connaissances sémantiques d'une couche intermédiaire du modèle d’apprentissage à une couche intermédiaire au modèle appris. Des générateurs appris ainsi définis sont stockés et exécutés par des dispositifs mobiles tels que des téléphones intelligents et des ordinateurs portables pour effectuer des expériences de réalité augmentée. Des effets sont simulés sur des images, comprenant des effets de maquillage, capillaires, d'ongles ainsi que de simulation d'âge. Figure pour l'abrégé : figure 11 DIFFUSION DE CONNAISSANCES AVEC PRESERVATION DES RELATIONS SEMANTIQUES POUR UNE CONVERSION D'IMAGE A IMAGE La demande est relative à un traitement d'image utilisant un apprentissage automatique et à la création d'une réalité augmentée par l'intermédiaire d'un traitement d'image. Arrière-plan Des réseaux antagonistes génératifs (GAN) ont montré un potentiel significatif s'agissant de la modélisation de distributions en haute dimension de données d'image, en particulier dans le cas de tâches de conversion d'image à image. Toutefois, en raison de la complexité de ces tâches, les modèles de l'état de la technique contiennent souvent une quantité considérable de paramètres, avec pour conséquence une grande taille de modèle et un long temps d'inférence. Les applications pratiques de consommateur (utilisateur) qui incorporent des tâches de conversion d'image à image sont souhaitables et populaires. A titre d'exemple, des applications de maquillage virtuel en temps réel offrent aux utilisateurs une expérience interactive de réalité augmentée avec un haut degré de préservation de l'identité et un réalisme détaillé. Idéalement, les utilisateurs souhaiteraient bénéficier d'un aperçu de produits de maquillage (par exemple du rouge à lèvres ou du fard à paupières) sans les essayer réellement. En outre, des essais virtuels offrent aux utilisateurs la liberté d'ajuster les attributs pertinents du produit (par exemple la couleur et la brillance) en fonction de leurs préférences personnelles. Il est donc souhaitable de disposer de modèles basés sur des GAN à utiliser sur des dispositifs d'utilisateur typiques tels que des téléphones intelligents ('smartphones'), des tablettes, etc. pour satisfaire les demandes des utilisateurs et améliorer l'expérience des utilisateurs. Résumé Dans un mode de réalisation, un nouveau procédé applique la diffusion des connaissances de concert avec la diffusion d'une matrice de préservation des relations sémantiques. Dans un mode de réalisation, cette matrice, dérivée d'un encodage de caractéristiques de l'enseignant, aide le modèle d'étudiant (ou appris, les deux termes étant utilisés indifféremment dans la description et les revendications) à apprendre de meilleures relations sémantiques. Contrairement aux procédés de compression existants conçus pour des tâches de classification, dans un mode de réalisation, le procédé s'adapte ici bien à la tâche de conversion d'image à image sur des GAN en stabilisant l'apprentissage avec le guidage. Dans un mode de réalisation, des générateurs basés sur des GAN exécutent des conversions d'image à image. Des modèles de GAN se caractérisent par de grandes capacités de stockage et exigences d'utilisation de ressources de telle sorte qu'ils soient trop grands pour être déployés directement sur des dispositifs mobiles. Des systèmes et des procédés définissent, par l'intermédiaire d'un conditionnement, un modèle de GAN d'étudiant qui présente un générateur d'étudiant (ou appris, les deux termes étant utilisés indifféremment dans la description et les revendications) qui est réduit à partir d'un modèle de GAN d'enseignant (et d'un générateur) en utilisant la diffusion des connaissances. Il est à noter que le terme d’apprentissage est aussi utiliser pour désigner le terme enseignant, les deux termes étant utilisés indifféremment dans la description et les revendications. Dans un mode de réalisation, une perte de diffusion de connaissance des relations sémantiques est utilisée pour transférer des connaissances sémantiques d'une couche intermédiaire de l'enseignant (par exemple une dernière couche d'un composant d'encodeur du générateur d'enseignant) à une couche intermédiaire de l'étudiant (par exemple une dernière couche d'un composant d'encodeur du générateur d'étudiant). Dans un mode de réalisation, des générateurs d'étudiant ainsi définis sont stockés et exécutés par des dispositifs mobiles tels que des téléphones intelligents et des ordinateurs portables pour effectuer des expériences de réalité augmentée. Des effets sont simulés sur des images, comprenant des effets de maquillage, capillaires, d'ongles ainsi que de simulation d'âge et analogues. La est une illustration d'une approche actuelle telle qu'elle est enseignée ici comparée à une approche connue selon un mode de réalisation. La est une illustration d'une vue d'ensemble d'un dispositif d'instruction suivant un exemple. La est une représentation graphique d'une matrice de similarité sémantique en 5 échantillons. La est un réseau d'images pour la tâche cheval ↔ zèbre pour comparer la sortie d'un modèle d'enseignant, d'un modèle d'étudiant, d'un modèle antérieur et d'un modèle actuel suivant la présente divulgation en utilisant des exemples d'entrée sélectionnés. La est un réseau d'images pour la tâche pomme ↔ orange pour comparer la sortie d'un modèle d'enseignant, d'un modèle d'étudiant, d'un modèle antérieur et d'un modèle actuel suivant la présente divulgation en utilisant des exemples d'entrée sélectionnés. La est une rangée d'images pour la tâche cheval ↔ zèbre pour comparer la sortie d'un modèle d'enseignant, d'un modèle d'étudiant, d'un modèle antérieur et d'un modèle actuel suivant la présente divulgation en utilisant un exemple d'entrée sélectionné qui représente un exemple d'échec commun. La est un réseau d'images pour la tâche cheval ↔ zèbre pour comparer la sortie d'un modèle d'enseignant, d'un modèle d'étudiant, d'un modèle antérieur et d'un modèle actuel suivant la présente divulgation en utilisant un exemple d'entrée, le réseau comprenant des pairages d'une image respective et d'une partie agrandie de celle-ci pour une vue détaillée. La . est un réseau d'images pour 4 différents ensembles de données montrant une étude d'ablation dans le but de comparer la sortie de modèles de référence et de modèles actuels selon un ou plusieurs mode(s) de réalisation. Les Figs. 9 et 10 sont des réseaux d'images provenant d'études d'ablation respectives suivant des expériences d'architecture de réseau particulières. La est un schéma fonctionnel d'un système informatique selon un mode de réalisation. Le présent concept est mieux décrit à l'aide de plusieurs modes de réalisation de celui-ci, qui sont décrits ici en se référant aux dessins annexés, dans lesquels des repères numériques identiques désignent des caractéristiques similaires d'un bout à l'autre. On comprendra que le terme invention, tel qu'il est employé ici, a pour but de désigner le concept inventif qui sous-tend les modes de réalisation décrits ci-dessous et pas simplement les modes de réalisation eux-mêmes. On comprendra en outre que le concept inventif général n'est pas limité aux modes de réalisation illustratifs décrits ci-dessous et que la description qui suit devra être lue en gardant cela à l'esprit. Description détaillée 1. Introduction En bref, des réseaux antagonistes génératifs (GAN) [8] sont utiles dans une variété de tâches de traitement d'image comprenant les conversions d'image à image, mais il subsiste des défis à relever pour employer des GAN de ce type sur un dispositif cible tel qu'un dispositif mobile (par exemple sur un dispositif utilisateur de consommateur tel qu'un téléphone intelligent ou une tablette). Avant tout les modèles de GAN sont essentiellement trop grands pour être déployés directement sur des dispositifs mobiles qui présentent des capacités de stockage et de calcul limitées. Deuxièmement, l'application de procédés de compression existants conçus pour des réseaux neuronaux convolutionnels discriminants classiques ne fonctionnent pas bien parce que les GAN sont assez différents de ces modèles quant à leur structure et leur schéma de formation. Troisièmement, le modèle comprimé doit préserver un niveau de performance similaire comparativement au modèle original en termes de fidélité des images générées et être plus petit et suffisamment plus rapide pour que celui-ci puisse être exécuté sur un dispositif cible. Des techniques de diffusion de connaissances sont connues pour transférer des connaissances d'un modèle d'enseignant à un modèle d'étudiant, où le modèle d'étudiant est souvent choisi comme étant une version plus étroite ou moins profonde du modèle d'enseignant. Les problèmes se posent lorsque l'on souhaite appliquer une diffusion de connaissances traditionnelle (“ordinaire”) spécifiquement sur des GAN. Une diffusion de connaissances traditionnelle transfère une connaissance du modèle d'enseignant à partir de la sortie telle que la distribution de probabilités dans un but de classification. Dans le cas de GAN, les sorties, qui sont les images générées, ne peuvent pas assurer un guidage informatif pour la formation de l'étudiant. A la place, nous proposons de transférer la représentation intermédiaire, à la fin d'un composant d'encodeur, d'un modèle d'enseignant à un modèle d'étudiant. Etant donné que les modèles d'enseignant et d'étudiant sont formés séparément, leurs représentations intermédiaires se trouvent principalement dans des espaces latents différents (c'est-à-dire qu'ils présentent des nombres de canaux différents). Le défi consiste donc à faire coïncider correctement les deux espaces latents afin d'améliorer la diffusion des connaissances traditionnelles sur des GAN. Toutefois, des procédés tels que projeter des vecteurs d'un espace dans un autre sont souvent difficiles. Par conséquent, nous avons besoin d'un autre moyen pour comparer des vecteurs en provenance de l'espace latent de l'enseignant et de l'espace latent de l'étudiant. De façon plus détaillée, les GAN ont affiché un potentiel significatif pour modéliser des distributions en haute dimension de données d'image, sur une variété de tâches visuelles. Un grand nombre de ces tâches, telles que le transfert de style [31, 15] et la super-résolution [17], sont considérées comme étant des tâches de conversion d'image à image, dans lesquelles nous formons un modèle pour mapper des images d'un domaine à un autre. (On comprendra qu'une caractéristique importante dans une image définit un “attribut”, tel que les cheveux, la couleur, l'âge, le genre, l'expression du visage, etc. et qu'une “valeur d'attribut” est un exemple particulier d'une valeur d'un attribut (par exemple blond/noir/brun/roux, 20/50, mâle/femelle, heureux/triste/fâché, etc.). Un “domaine” est alors un ensemble d'images qui partagent une même valeur d'attribut. La communauté a connu le succès dans la recherche de solutions pour générer des images à haute fidélité [1, 26] et dans la gestion de données non appariées [31]. Le succès dans ces travaux a également conduit à une tendance populaire à développer des applications mobiles basées sur des modèles génératifs. Toutefois, peu de choses ont été entreprises pour rendre ces modèles efficaces sur des dispositifs mobiles. Par conséquent, les modèles de GAN de l'état de la technique sont souvent grands et lents sur des dispositifs périphériques limités en ressources. Par exemple, un modèle CycleGAN [31] a besoin de 2,69 secondes pour traiter une image d'une résolution de 256x256 sur un seul noyau d'UCT d'Intel® Xeon® E5-2686, où le modèle affiche une grandeur de 44M. Avec la réalisation de réseaux neuronaux convolutionnels (CNN), de nombreux travaux [9, 25, 14, 10, 13] pour réaliser des compressions de modèle ont été proposés en vue d'améliorer l'efficacité des modèles dans une variété de tâches de vision par ordinateur comprenant la classification, la détection d'objet et la segmentation sémantique. En 2016, Han et al. [9] ont proposé un dispositif en trois étapes qui réduit d'abord le modèle en coupant les connexions moins importantes et qui quantifie ensuite les poids et applique un encodage de Huffman. Ils ont réussi à réduire AlexNet [16] et VGG-16 [28] par 35x à 49x sur l'ensemble de données ImageNet [7]. Ce procédé, doté d'un dispositif d'apprentissage complexe, nécessite une grande quantité d'efforts manuels à chaque étape. Dans [25, 14], les efforts ont été consacrés à l'amélioration de l'efficacité du modèle via une re-conception des couches convolutionnelles en couches convolutionnelles séparables. Une re-conception de l'architecture de réseau nécessite souvent des experts du domaine pour explorer le grand espace de conception et réaliser une quantité significative d'expériences. Des travaux ultérieurs tels que [10, 13] ont exploité des techniques de recherche architecturale neuronale et d'apprentissage par renforcement pour réduire efficacement la quantité de ces efforts manuels en exécutant une réduction et une conception de réseau basées sur les prédictions d'un agent formé. Dans le cadre de résultats positifs obtenus dans la compression de réseaux pour des tâches de classification, des travaux de recherche [3, 24, 19] ont en outre étendu les techniques mentionnées ci-dessus à la détection d'objet et à la segmentation sémantique. Toutefois, les solutions précitées ne s'adaptent pas bien aux GAN, dans la mesure où les GAN demandent typiquement des quantités excessives de procédés de formation et d'efforts de conception manuels. La formation de réseaux antagonistes génératifs est habituellement plus difficile et moins stable en raison de la conception d'une stratégie de formation alternative pour le discriminateur et le générateur. Par conséquent, nous explorons des procédés qui non seulement améliorent l'efficacité des modèle mais qui assurent également un guidage pendant la formation. Hinton et al. [12] ont réinventé le concept de la diffusion des connaissances pour transférer la connaissance obscure d'un ensemble de modèle d'enseignant à un modèle d'étudiant unique, qui a démontré le potentiel de l'utilisation de la diffusion des connaissances dans la compression de modèles. Dans ce contexte, des informations inexplicites et intermédiaires telles que la distribution des probabilités en provenance du réseau de l'étudiant peuvent être exploités au moment de la formation pour guider l'étudiant. En raison de l'aspect intuitif de ce concept, la diffusion des connaissances rencontre naturellement notre objectif de compression d'un générateur de GAN avec une procédure de formation guidée. Dans un mode de réalisation, des technologies et des méthodologies appliquent la diffusion des connaissances à des tâches de conversion d'image à image et emploient une nouvelle approche pour diffuser des informations de relations sémantiques d'un enseignant à un étudiant. Dans un mode de réalisation, notre hypothèse est que, avec un tenseur de caractéristique donné, des pixels de caractéristique de la même classe sémantique peuvent présenter des motifs d'activation similaires alors que des pixels de caractéristique de classes sémantiques différentes peuvent être dissimilaires. Par conséquent, en se référant à la visualisation 100 dans la , dans un mode de réalisation, des relations sémantiques apprises dans un modèle d'enseignant sont transférées à un modèle d'étudiant. Dans un espace en haute dimension, un encodage de caractéristiques pour des pixels de la même classe sémantique peut se trouver plus près. La rangée inférieure montre comment la diffusion de connaissances traditionnelle agirait sur des tâches de conversion d'image à image. Par exemple, sur la tâche cheval à zèbre, des tenseurs de caractéristique de chevaux peuvent se trouver plus près tout en étant éloignés d'autres pixels d'arrière-plan, tels que le ciel et la pelouse, dans un espace en haute dimension. Un modèle d'enseignant bien formé est capable de mieux capturer ces corrélations parmi différents pixels sémantiques à la fois au niveau de l'ensemble de données et au niveau de l'image. Nous apporterons également une preuve pour étayer cette intuition. Dans un mode de réalisation, un nouveau procédé d'application de la diffusion de connaissances dans la compression de générateurs de GAN à des tâches de conversion d'image à image comprend la diffusion de relations sémantiques. Des similarités par paire de pixels du modèle d'étudiant sont formées dans un cadre supervisé par l'enseignant. En outre, le potentiel de ce procédé est démontré de façon expérimentale sur 5 ensembles de données de référence de conversion d'image à image différents. Nos résultats, tant sur le plan qualitatif que sur le plan quantitatif, montrent de façon évidente que notre procédé forme le modèle d'étudiant au même niveau et quelquefois meilleur que le modèle d'enseignant original. 2. Technique connexe 2.1 GAN pour conversion d'image à image De concert avec le succès des GAN pour modéliser des données en haute dimension, des tâches de conversion d'image à image sont dominées de nos jours par des GAN en raison de la supériorité des GAN dans la génération d'images de haute fidélité et de l'extensibilité sur différents domaines de données. Dans [15], les auteurs ont proposé un modèle connu comme Pix2pix qui applique des GAN conditionnels à des tâches de conversion d'image à image par paire telles que le transfert à partir de croquis/étiquettes sémantiques à des photos. Une technique suivante CycleGAN [31], qui aborde les tâches de conversion d'image à image non appariées entre deux domaines, a proposé de construire deux générateurs pour transférer des images dans les deux directions et infliger une perte de cohérence de cycle supplémentaire pendant la formation. StarGAN [5] a en outre étendu le capacité de CycleGAN à la conversion multi-domaine en ajoutant un vecteur d'attribut spécifique au domaine l'entrée pendant la formation des générateurs. 2.2 Diffusion de connaissances préservant les relations sémantiques Un long chemin d'efforts a été parcouru pour transférer des connaissances d'un modèle d'enseignant à un modèle d'étudiant. Hinton et al. [12] ont réinventé le concept de la diffusion des connaissances dans lequel un seul modèle d'étudiant apprend les connaissance auprès d'un ensemble de modèles formés séparément. Comparativement à une sortie à chaud, les information contenues à l'intérieur d'un logit souple de l'enseignant fournissent des connaissance plus concrètes et aident à guider la formation d'un modèle d'étudiant. En plus des tâches de classification, cette idée a également été largement adoptée dans de nombreuses tâches de vision par ordinateur telles que la détection d'objet et la segmentation sémantique [2, 20]. On a observé récemment que la relation de classe d'apprentissage améliore la performance des modèles de façon non triviale face à différents problèmes. Un grand nombre de techniques [4, 23, 22, 29] ont affiché des progrès sur le plan de l'application de la similarité et de l'apprentissage relationnel dans un environnement de diffusion de connaissances. Dans [22] et [23], il est démontré par les deux qu'une corrélation parmi des instances peut être transférée et bien apprise dans un modèle d'étudiant par l'intermédiaire d'un apprentissage à similarité géométrique de multiples instances. Dans [29], il est démontré empiriquement que des motifs d'activation similaires apparaîtront sur des images de la même classe (par exemple un chien). Sur la base de cette observation, il est proposé de guider l'étudiant avec une matrice de similarité d'instances d'image calculées comme le produit extérieur de l'encodage de caractéristiques de l'enseignant de certaines couches. Toutefois, sur les tâches de conversion d'image à image, des relations image par image ne fournissent pas d'informations complètes étant donné qu'il s'agit typiquement d'images provenant de la même classe (par exemple des chevaux, des zèbres). Des modèles de corrélation similaires pourraient-ils exister parmi les pixels sémantiques ? Dans cette technique, nous explorons l'idée de retenir la relation sémantique pixel par pixel dans le modèle d'étudiant, en transférant cette connaissance à partir de l'enseignant. 2.3 Compression de modèles sur des GAN Les tâches de conversion d'image à image réalisées en utilisant des modèles génératifs sont essentiellement différentes des tâches de classification réalisées avec des modèles discriminants. Les approches traditionnelles de compression de modèles sont conçues pour des tâches de classification, qui ne s'adaptent pas bien aux GAN de façon triviale. Une autre technique [27] a consacré ses efforts à comprimer des modèles de GAN à l'aide d'une stratégie coévolutionnaire des deux générateurs dans CycleGAN [31], avec comme résultat un procédé qui élimine efficacement les filtres convolutionnels redondants. Toutefois, le maintien de la qualité des images générées en commandant le taux de compression des modèles ainsi que d'autres hyper-paramètres nécessite un effort externe. Dans cette technique, nous avons pour but de réduire la quantité d'effort nécessaire pour le réglage des hyper-paramètres et pour obtenir une meilleure qualité d'image tout en réalisant une compression efficace en transférant des connaissances sémantiques à partir d'un modèle d'enseignant bien formé. 3. Procédés Dans un mode de réalisation, l'efficacité des GAN est améliorée en utilisant la diffusion des connaissances dans la compression du générateur. Comme cela est discuté dans l'introduction, la formation de GAN est compliquée. En plus de la perte de diffusion de connaissances ordinaire, nous séparons chaque générateur en un encodeur et un décodeur et nous formulons une perte de préservation sémantique qui est basée sur l'encodage de caractéristiques effectué par l'encodeur. Dans la , nous présentons une vue d'ensemble schématique 200 d'une stratégie de diffusion en préservant les relations sémantiques. La est simplifiée dans la mesure où elle montre la stratégie de diffusion de connaissances en relation avec la formation d'un seul modèle d'étudiant (par exemple son générateur) en utilisant un modèle d'enseignant préformé (par exemple son générateur) pour exécuter une conversion d'une image d'un premier domaine spatial ou premier espace de domaine dans un second/deuxième espace de domaine ou second/deuxième domaine spatial (par exemple de zèbres à des chevaux). Dans une structure CycleGAN, par exemple, un second modèle d'étudiant et un modèle d'enseignant préformé correspondant sont également formés simultanément (bien que non montrés) pour convertir une image du premier espace de domaine dans le deuxième espace de domaine (par exemple de chevaux à zèbres). Les fonctions connues connexes (pertes) pour une telle formation d'image à image (par exemple en utilisant CycleGAN ou une autre architecture) ne sont pas non plus montrées. Seules les caractéristiques de l'aspect de diffusion des connaissances sont illustrées par souci de simplicité. Dans une structure Pix2Pix, par exemple, la paire de modèles unique (par exemple les modèles d'enseignant et d'étudiant avec les générateurs respectifs de la ) est applicable. On comprendra que les modèles d'étudiant et d'enseignant présentent la même architecture de réseau générale avec l'étudiant réduit par rapport à l'enseignant. Les modèles d'enseignant et d'étudiant sont définis suivant une architecture de réseau commune (c'est-à-dire identique) en termes de blocs de construction et de connexions. “Blocs de construction” désigne des unités de traitement telles que des blocs de sous-échantillonnage, des blocs résiduels et des blocs de sur-échantillonnage utilisés dans le réseau. “Connexions” désigne comment chaque couche/bloc de construction est connecté(e)/acheminé(e). Le modèle d'étudiant est une version à l'échelle réduite du modèle d'enseignant en termes de largeur, de profondeur ou à la fois de largeur et de profondeur. La largeur désigne le nombre de filtres dans chaque couche. La profondeur désigne le nombre de blocs résiduels dans le réseau. Par exemple, un modèle d'enseignant désigné par Resnet9, ngf64 signifie qu'il présente une profondeur résiduelle de 9 et une largeur de filtre de 64. Donc un exemple de modèle d'étudiant pourrait être désigné par Resnet6, ngf16, où la largeur et la profondeur sont mises à l'échelle. Un autre exemple est Resnet9, ngf32 où la largeur est préservée mais la profondeur est mise à l'échelle. De façon formelle, un coefficient de mise à l'échelle peut être introduit afin de caractériser les deux modèles S et T en prenant en compte que les nombres des largeur et profondeur sont typiquement limités à des nombres entiers (par exemple des entiers positifs) et peuvent présenter d'autres contraintes: où à la fois sont des facteurs de mise à l'échelle applicables. Au niveau d'une couche intermédiaire, nous représentons des relations sémantiques en calculant des similarités d'activation par paire sur des pixels de l'encodage de caractéristiques et nous transférons la connaissance par l'intermédiaire d'une perte de diffusion sur les matrices de similarité. Cette perte peut être ajoutée en plus à la perte de diffusion traditionnelle sur les images générées finales. La matrice d'activation de relations sémantiques est calculée comme le produit extérieur de l'encodage de caractéristiques. Une perte de diffusion est utilisée pour comparer la matrice d'activation de l'enseignant et la matrice de l'étudiant. Dans cette section, nous discuterons des détails relatifs à la manière avec laquelle nous appliquons la diffusion de connaissances ordinaire et la diffusion avec préservation sémantique sur des GAN. 3.1 Diffusion de connaissances ordinaire sur des GAN Dans la diffusion des connaissances traditionnelle (par exemple, telle qu'elle est utilisée sur des modèles discriminants plutôt que sur des modèles génératifs), la tâche est formulée de la façon suivante: où désigne la réalité de terrain pour l'entrée et désignent la sortie du modèle d'étudiant et la sortie du modèle d'enseignant, respectivement. est le nombre d'entrées et est un hyper-paramètre pour réaliser l'équilibre entre une sortie d'enseignant et la réalité de terrain. L'équation (1) encourage le réseau à minimiser deux termes: 1) la perte entre la réalité de terrain et la sortie de l'étudiant, et 2) la perte entre la sortie de l'enseignant et la sortie de l'étudiant. La seconde partie de la fonction objective est conçue pour aider l'étudiant à apprendre des connaissances inexplicites sur différentes tâches. Par exemple, sur une tâche de classification, des logits souples avec commande de la température sont adaptés entre l'étudiant et l'enseignant pour encourager l'étudiant à imiter l'enseignant. Dans le cadre de la formation antagoniste générative, un exemple d'approche pour appliquer la diffusion des connaissances consisterait à introduire un autre algorithme de jeu minimax entre les images générées par l'enseignant et celles générées par l'étudiant : où les indices désignent des composantes de l'enseignant et de l'étudiant. est le discriminateur pour la sortie de l'étudiant et les images réelles alors que différencie la sortie de l'étudiant et celle de l'enseignant, et sont des images réelles en provenance de chaque classe respective. Des techniques antérieures [31, 15] ont montré les avantages de mélanger un objectif de GAN avec d'autres pertes traditionnelles telles que L1. Par conséquent, nous appliquons la diffusion de connaissances ordinaire en calculant une perte de reconstruction traditionnelle comparant la sortie de l'enseignant et celle de l'étudiant. Par exemple, dans CycleGAN [31], la perte originale est pondérée parmi deux perte de GAN et une perte de cohérence de cycle. Nous ajoutons la perte de diffusion uniquement à la perte de cohérence de cycle qui est une perte de norme L1. Notre cadre de diffusion de connaissances ordinaire présente l'objectif suivant: où désignent des générateurs pour le transfert de classe de style , respectivement. Par conséquent, sont des images de reconstruction générées par l'enseignant. Les notations sont adaptées à partir de [31]. Nous appliquons également des cadres similaires à la formation de Pix2Pix [15]. La fonction objective détaillée pour Pix2Pix est décrite dans la description supplémentaire ci-dessous. 3.2 Perte de préservation sémantique Notation. Nous considérons un générateur G comme étant composé de deux parties: un encodeur qui encode les images d'entrée et un générateur qui décode et génère les images de sortie. Nous désignons comme étant l'image de sortie de la entrée . Matrice d'activation des relations sémantiques. Tung & Mori [29] ont démontré de façon intéressante des motifs d'activation distincts parmi des instances d'image de classes différentes par rapport à des instances d'image de la même classe. Toutefois, sur les tâches de conversion d'image à image, moins d'informations sont contenues dans une corrélation d'instances étant donné qu'elles proviennent typiquement de la même classe (par exemple des chevaux, des oranges). Notre hypothèse est qu'une similarité et une dissimilarité pourraient pareillement être présentes dans l'encodage de caractéristiques de différents pixels sémantiques, ce qui est également plus informatif sur les tâches de conversion d'image à image. Une perte de diffusion peut être introduite dans le but de pénaliser la différence entre une similarité encodée d'un enseignant et celle d'un étudiant. Nous représentons cette matrice d'activation par le produit extérieur de l'encodage de caractéristiques , qui est similaire à [30, 29]. Ici, nous définissons l'encodage de caractéristiques comme étant la matrice de sortie du exemple d'image au niveau de la dernière couche de l'encodeur : où désignent la hauteur et la largeur de l'encodage de caractéristiques alors que indiquent le nombre de canaux, respectivement. Nous utilisons une taille de lot de 1. Nous calculons ensuite les matrices d'activation des relations sémantiques comme étant le produit extérieur de , suivi par une normalisation L2 rangée par rangée. Nous apportons plusieurs preuves pour étayer notre intuition s'agissant des matrices d'activation des relations sémantiques dans la Fig. 3. La Fig. 3 est un réseau de représentations graphiques 300 pour renforcer l'interprétabilité du mappage des similarités sémantiques. Des pixels sont groupés et alignés ensemble sur la base de leur classe sémantique. Des couleurs plus brillantes (les tons plus clairs dans l'échelle des gris) indiquent une corrélation plus élevée. Le modèle d'enseignant affiche une similarité pour des pixels sémantiques à l'intérieur de la même classe sémantique (matrices diagonales par blocs) et une dissimilarité entre des classes sémantiques différentes (matrices o-diagonales par blocs). Ceci coïncide avec notre hypothèse, où le modèle d'enseignant affiche des relations sémantiques plus claires que le modèle d'étudiant. En se référant à la Fig. 3, nous échantillonnons 5 images de cheval et de zèbre à partir d'un ensemble de données COCO [18] qui fournit des masques de segmentation de la réalité de terrain, et nous générons toutes les matrices d'activation correspondantes de l'enseignant et de l'étudiant par l'équation 7. Nous groupons les valeurs par pixels de la même classe sémantique afin de montrer clairement les différents motifs d'activation. Les motifs bloc par bloc clairs dans le modèle d'enseignant indiquent que les pixels de la même classe sémantique sont nettement plus similaires comparativement à des pixels de classes différentes. D'autre part, ce motif est moins observable dans le modèle d'étudiant appris sans diffusion. Cette découverte empirique étaye solidement notre hypothèse qu'il existe certains motifs de relations qui peuvent être transférés explicitement d'un réseau enseignant à un réseau étudiant. Deuxièmement, la matrice d'activation est indépendante du nombre de canaux dans la caractéristique , ce qui permet d'éviter la difficulté de l'introduction d'une perte de caractéristique manuelle pour faire coïncider dans des espaces de caractéristiques différents. Nous définissons notre perte de diffusion avec préservation sémantique comme étant la perte L1 entre deux matrices d'activation: Lors d'expériences préliminaires, nous avons également essayé une perte L2 dans la mise en œuvre d'une coïncidence de deux matrices mais nous n'avons observé aucune amélioration significative. Notre objectif global est alors, Où désignent les générateurs de chaque direction, respectivement, et sont des hyper-paramètres. 4. Expériences 4.1 Différents ensembles de données de conversion d'image à image Configuration. Pour illustrer l'efficacité de notre procédé sur une compression de GAN, nous avons évalué qualitativement et quantitativement celui-ci sur 5 ensembles de données de conversion d'image à image de référence comprenant cheval ↔ zèbre, été ↔ hiver, pomme ↔ orange, tigre ↔ léopard et étiquette de paysage urbain ↔ photo. Nous avons suivi l'implantation et la configuration CycleGAN à partir de l'implantation PyTorch officielle pour réaliser une comparaison juste. (L'implantation PyTorch officielle de CycleGAN est disponible à l'URL suivante : github.com/junyanz/pytorch-CycleGAN-and-pix2pix). Spécifiquement, le générateur d'enseignant superpose une couche convolutionnelle 7x7 à intervalle 1, deux couches convolutionelles 3x3 à intervalle 2, six ou neuf blocs résiduels, deux couches convolutionnelles transposées 3x3 à intervalle 2 et une couche convolutionnelle 7x7 à intervalle 1 finale de façon séquentielle. Le générateur d'étudiant présente la même architecture que le générateur d'enseignant mais est plus étroit pour chaque couche d'un facteur de 2 ou 4 en fonction des ensembles de données formés sur ceux-ci. Etant donné que les générateurs de l'enseignant et de l'étudiant partagent la même structure dans les parties de sous-échantillonnage et de sur-échantillonnage, nous utilisons le nombre de blocs résiduels et le nombre de filtres dans la première couche convolutionnelle pour spécifier l'architecture du générateur. Cette convention définit à la fois la profondeur et la largeur du modèle. Spécifiquement, nous utilisons Resnet9, ngf64 et Resnet9, ngf16 (un facteur d'échelle de 4) comme notre paire majeure de modèles d'enseignant et d'étudiant pour tous les ensembles de données excepté l'ensemble de données cheval ↔ zèbre, où Resnet9, ngf32 (un facteur d'échelle de 2) est utilisé pour le modèle d'étudiant. On comprendra que le “9” dans Resnet9 fait référence au nombre de blocs résiduels comme cela est indiqué ci-dessus (6 ou 9), et le paramètre ngfNN fait référence à un cadre pour un nombre NN de filtres dans la première couche du générateur. On comprendra qu'il existe un équilibre entre la mise à l'échelle et la performance. Des expériences peuvent être entreprises pour effectuer une réduction à partir du modèle d'enseignant, surveiller une ou plusieurs mesure(s) de performance pour l'étudiant (par exemple exécuter une comparaison entre l'étudiant et l'enseignant) et choisir un facteur d'échelle qui produit une mesure de performance d'étudiant souhaitée. Etant donné que l'ensemble de données paysages urbains est par nature un ensemble de données apparié composé des images photographiques de vue de rues et de leurs étiquettes de segmentation sémantique correspondantes, nous avons également effectué des expériences dans une structure Pix2Pix. La structure Pix2Pix est similaire à la structure CycleGAN en termes de configuration pour réaliser la diffusion des connaissances. Les générateurs de l'enseignant et de l'étudiant dans nos expériences Pix2Pix présentent une structure UNet [15]. La structure UNet offre un seul un degré de liberté pour réduire le modèle (entre l'enseignant et l'étudiant), qui est la largeur. Voir aussi la description supplémentaire. Dans les deux modes de réalisation CycleGAN et Pix2Pix décrits ici, le réseau discriminateur suit la structure du discriminateur PatchGAN [15]. Pour tous les ensembles de données (les modes de réalisation respectifs), les modèles ont été formés et évalués sur des images de résolution 256x256. On comprendra que l'utilisation d'un modèle d'enseignant existant, tel qu'un modèle disponible publiquement ou en privé, n'est pas requise mais est avantageuse dans la mesure où ils sont essentiellement préformés pour la tâche souhaitée. Métriques d'évaluation quantitative. Nous adoptons Frechet Inception Distance (FID) [11] sur les ensembles de données cheval ↔ zèbre, été ↔ hiver, pomme ↔ orange et tigre ↔ léopard. FID calcule les 2 distances de Wasserstein entre des cartes des caractéristiques extraites par le réseau original à partir d'images générées et réelles. Comme mesure de la distance, un score inférieur est préféré pour une corrélation plus élevée entre des images synthétiques et réelles. Sur l'ensemble de données étiquette de paysage urbain ↔ photo [6], nous utilisons le score FCN pour suivre le procédé d'évaluation utilisé par Isola et al. [15]. Le procédé utilise le réseau FCN-8s, un classificateur sémantique préformé, pour noter des photos synthétiques avec des métriques d'évaluation de segmentation standard à partir du repère paysages urbains comprenant la précision de pixel moyenne, la précision de classe moyenne et l'intersection sur union (IoU) de classe moyenne. Comparaison quantitative. Dans le Tableau 1, nous énumérons nos expériences réalisées sur 4 ensembles de données non appariés formés en utilisant CycleGAN. Nous comparons nos résultats avec deux techniques antérieures [27, 21] quant à la réduction et aux différents paramétrages de notre conception. Comme référence au taux de compression, nous montrons un tableau qui reprend la taille des modèles calculés, le nombre de paramètres, l'utilisation de la mémoire et le nombre de FLOP dans le Tableau 2. h → z z → h s → w w → s a → o o → a t → l l → t Enseignant 84,01 136,85 76,99 74,39 132,37 130,72 76,68 77,60 Etudiant 94,95 141,64 76:47 74,90 132,99 137,10 93,98 89,37 ThiNet [21] 189,28 184,88 81,06 80,17 - - - - Coévolutionnaire [27] 96,15 157,90 79,16 78,58 - - - - KD ordinaire 106,10 144,52 80,10 79,33 127,21 135,82 82,04 87,29 KD intermédiaire 97,20 143,43 77,75 74:67 126,90 133,16 86,82 92,99 + SP 90,65 143,03 78,75 76,21 125,90 132,83 81,53 86,52 + SP 2 directions 86:31 140:15 76,59 75,69 121:17 132:83 81:17 80:75 Dans le Tableau 1, les valeurs FID pour les références/originaux sont montrées dans les rangées supérieures alors que les valeurs pour les variations des présents procédés sont montrées dans les rangées inférieures. Nous avons réalisé des expériences sur les ensembles de données cheval à zèbre (h → z, z → h), été à hiver (s → w, w → s), pomme à orange (a → o, o → a), et tigre à léopard (t → l, l → t). Le plus bas est le meilleur. Coévolutionnaire [27] et ThiNet [27] appliquent tous les deux une réduction alors que coévolutionnaire est spécifiquement conçu pour comprimer CycleGAN et que ThiNet est un procédé de réduction qui est adapté à partir de la tâche de classification. Pour établir une comparaison juste avec coévolutionnaire et ThiNet, les modèles comparés ci-dessus présentent des tailles de modèle ainsi que des exigences de calcul similaires (voir le Tableau 2). Modèle Taille (MB) # Paramètres Mémoire (MB) FLOP ResNet 9blocs, ngf 64 (T) 44 11,38M 431,61 47,22G ThiNet [21] 11 (75%↓) - - - Coévolutionnaire [27] h ↔ z 10 (77%↓) - - 13,06G (72%↓) Coévolutionnaire [27] s ↔ w 7,6 (83%↓) - - 10,99G (77%↓) Coévolutionnaire [27] paysages urbains 12 (73%↓) - - 16,45G (65%↓) ResNet 9blocs, ngf 32 (S1) 11 (75%↓) 2,85M (75%↓) 216,95 (50%↓) 12,14G (74%↓) ResNet 9blocs, ngf 16 (S2) 2,8 (94%↓) 0,72M (94%↓) 109,62 (75%↓) 3,20G (93%↓) Dans le Tableau 2, on peut voir les résultats des calculs et du stockage pour des modèles sur des expériences majeures où T est l'enseignant et S1, S2 sont des références d'étudiant respectives. Nos modèles réalisent une performance supérieure dans toutes les tâches avec une taille de modèle et un calcul plus petits/similaires comparativement à coévolutionnaire et ThiNet. Nous choisissons S1 sur h ↔ z et S2 sur le reste de l'ensembles de données. Le choix est effectué sur la base de l'écart entre la performance de référence de l'enseignant et celle de l'étudiant. Nous explorons les variations de nos procédés sur CycleGAN en réalisant les expériences suivantes: 1) nous introduisons une perte de diffusion intermédiaire sur la fausse image générée par le premier générateur dans le cycle, en calculant une différence de norme L1 entre l'image générée de l'enseignant et celle de l'étudiant. Nous notons celle-ci comme un KD intermédiaire. 2) Nous expérimentons avec une perte de préservation des relations sémantiques dans deux parties du cycle. “Préservation sémantique (SP)” indique que nous appliquons seulement la perte de diffusion sémantique au premier générateur du cycle (c'est-à-dire dans l'équation (9)). “SP 2 directions” indique que nous avons appliqué la perte de diffusion sémantique aux deux générateurs dans le cycle. '+' indique qu'elle a été ajoutée en plus du KD ordinaire. Bien que la totalité des modèles comparés soient parvenu à une performance similaire sur l'ensemble de données s ↔ w, notre procédé réalise une performance nettement supérieure à celle des autres procédés sur le reste des ensembles de données. L'ajout de nos pertes de diffusion proposées sur les deux générateurs amplifie la performance de façon significative par rapport à la diffusion de connaissances ordinaire, avec la possibilité de surpasser le modèle d'enseignant original sur certaines tâches. Nous en apporterons en outre une preuve visuelle dans les discussions ultérieures. Toutefois, concernant la tâche été à hiver (s ↔ w), nous n'observons pas de gain de performance et nous soupçonnons que la raison en est que le modèle d'étudiant de référence diffère à peine numériquement du modèle d'enseignant. L'espace et la connaissance permettant qu'il se produise une amélioration sont limités. De façon supplémentaire, nous avons réalisé des expériences sur l'ensemble de données paysages urbains et le score FCN est indiqué dans le Tableau 3. De façon intéressante, nous notons une augmentation considérable du score FCN lors de l'application du procédé proposé mais une qualité d'image seulement similaire ou légèrement supérieure comparativement au modèle original est observée (voir la description supplémentaire). Nous pensons que notre perte de préservation sémantique proposée réagit fortement à cet ensemble de données de segmentation sémantique, en rendant les pixels plus reconnaissables d'une façon sémantique. Précision de pixel moyenne Précision de classe moyenne IoU de classe moyenne Enseignant 0,592 0,179 0,138 Etudiant 0,584 0,182 0,129 ThiNet [21] 0,218 0,089 0,054 Coévolutionnaire [27] 0,542 0,212 0,131 Les nôtres 0,704 0,205 0,154 Résultats qualitatifs Dans cette section, nous présentons des observations visuelles sur les images générées à partir de nos modèles et de modèles de référence. Pour comparer nos résultats avec [27], nous avons également généré des images en utilisant nos modèles sur leurs images d'entrée sélectionnées affichée dans la . Donc la est un réseau d'images 400 pour comparer la sortie d'un modèle d'enseignant, d'un modèle antérieur selon [27] et d'un modèle actuel suivant la présente divulgation. La rangée supérieure affiche une image d'entrée de cheval et des images de zèbre générées en utilisant les modèles respectifs. La rangée inférieure affiche une image d'entrée de zèbre et des images de cheval générées en utilisant les modèles respectifs. De façon évidente, les images générées en utilisant le modèle actuel (la colonne d'extrême droite dans la ) contiennent un cheval/zèbre plus réaliste et réduisent les artéfacts à un minimum dans l'arrière-plan. Dans la discussion ci-dessus, nous mentionnons le potentiel du modèle d'étudiant à surpasser l'enseignant en ajoutant notre perte de préservation sémantique proposée, avec une preuve chiffrée dans le Tableau 1. Le signal d'extra-guidage en provenance des activations de préservation sémantique par paire de l'enseignant non seulement encourage l'étudiant à apprendre davantage de relations intra-pixels à l'intérieur d'une image spécifique mais également la compréhension sémantique de l'ensemble de la population d'apprentissage. En outre, ce procédé accélère l'apprentissage des discriminateurs à capter plus de détails dès le stade précoce. L'incorporation des deux effets permet même au modèle d'étudiant de surpasser le modèle d'enseignant dans certains cas. La est un réseau d'images 500 pour comparer des sorties. Dans la , nous montrons 2 exemples significatifs de la tâche pomme ↔ orange où notre procédé proposé obtient des résultats exceptionnellement supérieurs. Une texture claire et réaliste est générée en utilisant notre procédé, surpassant même l'enseignant. La est un réseau d'images 600 pour comparer des sorties. Un exemple intrigant que nous montrons dans la est issu d'un cas d'échec commun de CycleGAN, où il y a de multiples objets à transférer. Toutefois, notre procédé réalise une amélioration notable en convertissant plus d'objets dans les images générées - plus de zèbres sont modifiés en chevaux. Une autre découverte intéressante de notre procédé proposé est que nous observons une préservation de détails et de textures significativement meilleure dans différentes tâches. La est un réseau d'images 700 comprenant des parties agrandies pour comparer des sorties. Dans la , un œil plus détaillé et réaliste est préservé de l'image d'entrée de cheval à l'image générée de zèbre. Nous fournissons également des exemples dans un réseau d'images 800 à partir de différents ensembles de données dans la à la manière d'une étude d'ablation. Des exemples issus de multiples ensembles de données comparent les résultats dans des modèles de référence avec la variante de nos procédés. 4.2 Architectures différentes Nous apportons également la preuve que notre procédé est extensible à d'autres types de structure de réseau. Sur la tâche cheval à zèbre, nous remplaçons le générateur Resnet9 par Resnet6 à la fois pour le modèle d'enseignant et le modèle d'étudiant. L'évaluation FID est montrée dans Tableau 4 où les valeurs FID pour le générateur Resnet6 sur l'ensemble de données cheval ↔ zèbre sont indiquées. Notre procédé présente encore la meilleure amélioration par rapport aux autres mais pas d'une façon aussi significative que dans le cas du Resnet9. Nous supposons que la coupure de 3 blocs résiduels de l'encodeur nuit au pouvoir expressif du modèle d'enseignant d'extraire davantage de relations sémantiques, ce qui limite la quantité de connaissance à transporter lors du procédé de formation. Nous avons également effectué des expériences supplémentaires sur des données appariées en utilisant UNet [15]. Celles-ci sont réalisées sur l'ensemble de données paysages urbains par un mappage d'étiquettes sémantiques à des photos de vues de rues. Le générateur UNet fournit une structure d'encodeur-décodeur, qui encode l'entrée à travers 8 couches convolutionnelles 4x4 à intervalle 2 et qui décode à travers 8 couches convolutionnelles transposées 4x4 à intervalle 2. Des connexions de type saut sont utilisées d'une façon UNet régulière. Enseignant Etudiant KD intermédiaire KD ordinaire + SP + SP 2 directions h → z 88,27 109,93 107,04 105,49 108,71 105,51 z → h 143,08 144,01 142,63 146,26 141,50 141,90 Précision de pixel moyenne Précision de classe moyenne IoU de classe moyenne Enseignant 0,757 0,235 0,191 Etudiant 0,710 0,219 0,169 KD ordinaire 0,742 0,224 0,182 + SP couche 2 0,743 0:230 0,183 + SP couche 3 0:770 0,229 0,183 Pour les générateurs Resnet, la sortie d'encodage de l'enseignant depuis une couche de goulot d'étranglement avec une résolution spatiale de 64x64 est diffusée pour guider la formation de l'étudiant. Etant donné que l'encodeur d'UNet sous-échantillonne l'entrée à une résolution spatiale de 1x1 au niveau de la couche de goulot d'étranglement, les informations sémantiques spatiales souhaitées manquent au niveau de la couche de goulot d'étranglement. Par conséquent, nous choisissons de diffuser la matrice d'activation de relations sémantiques au niveau de la couche 2 et de la couche 3, qui présentent une dimension spatiale de 64x64 et de 32x32, respectivement. Nous montrons les résultats du score FCN dans le Tableau 5, où les résultats du score FCN pour différents modèles sur l'ensemble de données paysages urbains à l'aide d'une formation Pix2Pix sont indiqués. L'encodage de caractéristiques extrait de la couche 2 d'UNet256 présente une résolution spatiale de 64x64, et celui extrait de la couche 3 présente une résolution spatiale de 32x32. Dans un mode de réalisation, la précision de pixel moyenne la plus élevée avec la diffusion se situe au niveau de la couche 3 mais les résultats sont similaires pour l'IoU de classe moyenne au niveau des deux couches. Un taux de compression de modèle ainsi que des résultats visuels détaillés sont indiqués dans la description supplémentaires. 5. Description supplémentaire 5.1 Fonction objective de diffusion des connaissances pour une expérience Pix2Pix Diffusion de connaissances ordinaire. La structure CycleGAN implique deux générateurs et une perte de cohérence de cycle donnée selon la tâche. La structure Pix2Pix convertit dans une seule direction avec une conversion formée avec des données appariées d'une façon supervisée. Par analogie avec la manière avec laquelle la diffusion de connaissances ordinaire est appliquée à une tâche de classification, la fonction objective dans la structure Pix2Pix se préente sous la forme suivante : où est une perte de norme L1 entre les étiquettes de la réalité de terrain et les images générées, est le coefficient d'équilibrage pour , et α est l'hyper-paramètre à pondérer entre l'étiquette réelle et l'étiquette de l'enseignant. Diffusion des connaissances avec préservation sémantique. Construite sur l'objectif de diffusion de connaissances ordinaire, la perte de diffusion de connaissance avec préservation sémantique est directement ajoutée à la fonction objective ci-dessus : 5.2 Tailles des modèles et résultats des calculs pour l'expérience Pix2Pix Le modèle d'enseignant et le modèle d'étudiant utilisés dans les expériences Pix2Pix avec les statistiques de calcul et de stockage sont montrés dans le Tableau 6. Dans un mode de réalisation, le choix est effectué sur la base de l'espace entre la performance de référence de l'enseignant et de l'étudiant. Modèle Taille (MB) # Paramètres Mémoire (MB) FLOP UNet256, ngf 64 (T) 208 54,41M 51,16 2,03G UNet256, ngf 16 (S) 11 (95%↓) 3,40M (94%↓) 13,91 (73%↓) 0,14G (93%↓) 5.3 Résultats qualitatifs sur les paysages urbains Sur l'ensemble de données paysages urbains, nous avons effectué à la fois des expériences de conversion d'image appariées et non appariées, par l'intermédiaire d'une formation Pix2Pix et CycleGAN, respectivement. Les images de vues de rues synthétiques converties à partir de leurs masques sémantiques de concert avec des masques de segmentation d'instances générés FCN-8s sont montrés dans la et la . La est un réseau d'images 900 provenant d'une étude d'ablation qui montre des images de vues de rues générées avec des masques segmentés FCN-8s par l'entremise d'une formation CycleGAN sur l'ensemble de données paysages urbains. L'image générée par notre procédé (la dernière colonne) réduit de façon significative les artéfacts comparativement à l'image générée de l'étudiant. Bien que l'enseignant génère une image plus réaliste, nous observons que notre modèle préserve la classe sémantique des pixels par rapport au masque d'entrée. Par exemple, dans le coin supérieur droit, l'image générée par l'enseignant comprend des bâtiments dans la région désignée des arbres. La est un réseau d'images 1000 provenant d'une étude d'ablation qui montre des images de vues de rues générées avec des masques segmentés FCN-8s via une formation Pix2Pix sur l'ensemble de données paysages urbains. Parmi tous les masques générés, notre modèle (la dernière colonne) montre le masque de segmentation le plus distinct avec les frontières claires de chaque classe sémantique. Par exemple, à la droite des masques segmentés, nous observons une amélioration significative au niveau de la frontière entre la bande verte et le trottoir. 5.4 Détails des expériences Tous les modèles sont formés sur des images d'entrée 256x256 avec une taille de lot de 1 et sont optimisés en utilisant Adam [32], un algorithme d'optimisation de taux d'apprentissage adaptatif pour la formation de réseaux neuronaux profonds. Les autres cadres pour la formation de GAN sont les mêmes que CycleGAN et Pix2Pix. Les ensembles de données cheval ↔ zèbre, été ↔ hiver et pomme ↔ orange sont téléchargés en utilisant le script fourni par CycleGAN. L'ensemble de données cheval ↔ zèbre avec une image échantillon de masque de segmentation, qui est utilisée pour tracer des matrices de similarité sémantiques, est téléchargé à partir de COCO [18]. L'ensemble de données tigre ↔ léopard est obtenu auprès d'ImageNet [7] en utilisant les mots clés tigre et léopard. L'ensemble de données paysages urbains est téléchargé à partir du site web officiel (URL: cityscapes-dataset.com). L'implantation du score FID est adaptée à partir d'une version de port PyTorch de son implantation officielle (URL: github.com/mseitzer/pytorch-fid). Le calcul du score FCN est fourni dans l'implantation Torch officielle de Pix2Pix (URL: github.com/phillipi/pix2pix). Dans la formation de diffusion de connaissances ordinaire, nous fixons et α = 0:05 pour toutes les expériences. est fixé à 0,9 dans cheval ↔ zèbre, à 0,5 dans été ↔ hiver, à 0,8 dans pomme ↔ orange, à 0,2 dans tigre ↔ léopard et à 0,2 dans paysages urbains pour les expériences de conversion non appariées. Dans les expériences de conversion appariées, est fixé à 1 et est fixé à 100. 6. Application(s) Dans des modes de réalisation respectifs, des modèles basés sur un GAN comprenant des générateurs pour effectuer une conversion d'image à image de manière à réaliser l'un quelconque parmi un transfert de style collection, une transfiguration d'objet, un transfert de saison, une amélioration de photo ou tout autre effet de traitement d'image. A titre d'exemple, du maquillage, des cheveux, des ongles ou d'autres effets sont appliqués à une image source, convertissant l'image source d'un premier espace de domaine (par exemple où l'effet souhaité est absent) dans un second espace de domaine présentant l'effet souhaité. Une conversion d'image à image est capable de simuler d'autres effets, par exemple par l'entremise d'une formation appropriée. Dans un mode de réalisation, ces effets sont appliqués à la peau et/ou aux cheveux (humains). Dans un exemple, un effet de simulation d'âge est appliqué, dans le but de simuler un effet d'âge sur une image faciale d'une personne. Dans un mode de réalisation, des modèles comprenant des générateurs pour effectuer une conversion d'image à image sont incorporés dans un procédé (par exemple une application) ou un dispositif de calcul ou un système implémenté sur un ordinateur de manière à réaliser une expérience de réalité virtuelle, de réalité augmentée et/ou de réalité modifiée. Dans un mode de réalisation, un utilisateur est autorisé à utiliser un téléphone intelligent ou une tablette, etc. équipé(e) d'un appareil photographique, et de prendre un égoportrait ('selfie') (ou une vidéo), et un générateur, en temps réel, applique l'effet souhaité tel qu'une reproduction ou une autre présentation par le téléphone intelligent ou la tablette. Un modèle comprenant un générateur qui est comprimé suivant le présent enseignement peut être chargé et exécuté sur des téléphones intelligents ou des tablettes de consommateur couramment disponibles (par exemple des dispositifs cibles). Des expériences ont été effectuées en utilisant une configuration matérielle de dispositif: Intel® Xeon® CPU E5-2686 v4 @ 2,30GHz, profilée avec seulement 1 noyau et 1 chaîne. Comme cela est indiqué, le modèle d'enseignant a été défini avec Resnet9 et ngf64 comme références. Le nouveau modèle d'étudiant a été défini avec Resnet9 et ngf16. La taille du modèle d'enseignant était de 44MB et celle de l'étudiant de 2,8MB. Le temps d'inférence pour l'enseignant était de 2,69 secondes et de 0,43 seconde pour l'étudiant. Plus de résultats comparatifs sont affichés dans le Tableau 2. Un exemple de l'utilisation de GAN est montré et décrit dans la demande de brevet U.S. du demandeur numéro 16/683.398, déposée le 14 novembre 2019 et intitulée “Système et procédé de réalité augmentée par conversion d'une image en utilisant des réseaux antagonistes génératifs à cohérence de cycle conditionnels (ccGAN)”. Dans un mode de réalisation, des technologies et des méthodologies divulguées comprennent des procédés et des systèmes relatifs au développeur pour définir (par exemple à l'aide d'un conditionnement) un modèle d'étudiant comprenant un générateur pour réaliser une conversion d'image à image qui maintient la connaissance sémantique pixel par pixel déterminée par un modèle d'enseignant configuré pour la même tâche. Le modèle d'étudiant est une forme comprimée du modèle d'enseignant, qui réduit les paramètres, l'encombrement et le temps d'inférence d'exécution par rapport au modèle d'enseignant. Des procédés et des systèmes relatifs à l'utilisateur sont également montrés, par exemple lorsque le modèle d'étudiant (par exemple le générateur) est utilisé à un temps d'exécution pour traiter une image en vue d'une conversion d'image à image. Dans un mode de réalisation, en plus des aspects de dispositif de calcul de développeur (par exemple utilisé au temps de formation) et de cible (utilisé au temps d'inférence), l'homme du métier comprendra que des aspects de produit de programme d'ordinateur sont divulgués, où des instructions sont stockées dans un dispositif de stockage non transitoire (par exemple une mémoire, un CD-ROM, un DVD-ROM, un disque, etc.) afin de configurer un dispositif de calcul pour exécuter l'un quelconque des aspects de procédé divulgués ici. Des aspects relatifs à des systèmes d'e-commerce sont également montrés et décrits. Dans un mode de réalisation, un dispositif de calcul d'utilisateur est configuré comme un dispositif de calcul de client par rapport au système d'e-commerce. Le système d'e-commerce, par exemple, stocke un programme d'ordinateur pour un dispositif de calcul de client de ce type. Le système d'e-commerce comprend alors un produit de programme d'ordinateur comme composant de celui-ci, ledit produit stockant des instructions qui, lorsqu'elles sont exécutées par le (par exemple une unité de traitement du) dispositif de calcul de client, configure un dispositif de calcul de client de ce type. Ces aspects, ainsi que d'autres, vont apparaître clairement. La Fig. 11 est un diagramme fonctionnel d'un système informatique 1100. Dans un mode de réalisation, le système informatique 1100 comprend une pluralité de dispositifs de calcul qui, dans un mode de réalisation, comprennent des serveurs, des ordinateurs développeurs (PC, ordinateurs portables, etc.) ainsi que des dispositifs mobiles tels que des téléphones intelligents et des tablettes, etc. On peut voir un environnement de formation de modèle de réseau 1102 comprenant des composants matériels et logiciels pour définir et configurer, par exemple via un conditionnement, un modèle d'étudiant basé sur un GAN 1104 qui comprend un générateur d'étudiant 1106 (le générateur ). Le modèle d'étudiant 1104 (et le générateur d'étudiant 1106) sont conditionnés en utilisant des techniques de diffusion de connaissances par l'intermédiaire d'un modèle d'enseignant basé sur un GAN 1108 qui comprend un générateur d'enseignant 1110 (le générateur ). Le modèle d'enseignant (et le modèle d'étudiant) sont configurés pour exécuter une tâche de traitement d'image telle qu'une conversion d'image à image. Dans un mode de réalisation, le conditionnement transfère les connaissances sémantiques développées pour le modèle d'enseignant 1108 au modèle d'étudiant 1104 en utilisant une perte de préservation de connaissances sémantiques (une forme de perte de diffusion est ajoutée à une perte de diffusion traditionnelle entre les sorties (images) d'enseignant et d'étudiant). Les connaissances sémantiques, développées dans une couche intermédiaire du modèle d'enseignant 1108 (par exemple le générateur ) sont transférées à une couche intermédiaire en utilisant la perte de préservation de connaissances sémantiques. Le modèle d'enseignant et le modèle d'étudiant sont définis suivant une architecture de réseau commune. Le modèle d'étudiant est réduit par rapport au modèle d'enseignant, par exemple pour réduire la taille et/ou les exigences de ressources de traitement afin de permettre l'utilisation du générateur sur un dispositif cible tel que l'un des dispositifs mobiles 1110, 1112 (par exemple 1110) du système 1100. Dans un mode de réalisation, l'environnement de formation de modèle de réseau 1102 emploie un modèle d'enseignant qui est préformé pour la tâche de traitement d'image. Le modèle d'enseignant 1108 est préformé par exemple en utilisant un ensemble de données d'image 1114 qui est stocké sur un serveur de données 1116. Dans un mode de réalisation, le modèle d'enseignant 1108 est un modèle développé “en interne”. Dans un mode de réalisation, le modèle d'enseignant 1108 est disponible publiquement par exemple par l'intermédiaire d'une licence libre. L'ensemble de données peut être développé et disponible de façon similaire. Selon le type de tâche de traitement d'image et d'architecture de réseau (par exemple supervisé), la formation est supervisée et l'ensemble de données est annoté conformément à ladite formation. Dans d'autres scénarios, la formation n'est pas supervisée et les données sont définies en conséquence. Dans un mode de réalisation, le générateur d'étudiant 1106 génère ou est incorporé dans une application de réalité augmentée (AR) 1120. Bien que cela ne soit pas montré, dans un mode de réalisation, l'application est développée en utilisant un dispositif de calcul développeur d'application pour des dispositifs cibles particuliers qui incorporent des composants matériels et logiciels particuliers, en particulier une configuration de système d'exploitation. Dans un mode de réalisation, l'application AR 1120 est une application native qui est configurée pour une exécution dans un environnement natif spécifique tel que celui qui est défini pour un système d'exploitation (et/ou un matériel) particulier. Dans un mode de réalisation, l'application AR 1120 se présente sous la forme d'une application basée sur un navigateur, par exemple, configurée pour une exécution dans un environnement de navigateur du dispositif cible. Dans un mode de réalisation, l'application AR 1120 est distribuée (par exemple téléchargée) par des dispositifs d'utilisateur tels que les dispositifs mobiles 1110 et 1112. Des applications natives sont souvent distribuées par l'intermédiaire d'un serveur de distribution d'application 1122 (par exemple un “Magasin” géré par un service tiers), bien que ceci ne soit pas nécessaire. Dans un mode de réalisation, l'application AR 1120 est configurée de manière à offrir à un utilisateur une expérience de réalité augmentée (par exemple par l'intermédiaire d'une interface). Par exemple, un effet est appliqué à une image par l'intermédiaire d'un traitement effectué par le générateur d'étudiant 1106. Le dispositif mobile comprend un appareil photographique (non montré) pour capturer une image (par exemple une image fixe ou une image vidéo, qu'il s'agisse d'un égoportrait ou non). L'effet est appliqué à l'image, par exemple, à l'image vidéo, en temps réel (et est affichée sur un dispositif d'affichage du dispositif mobile) afin de simuler un effet sur un utilisateur lorsque la vidéo est capturée. Etant donné que la position de l'appareil photographique a changé, l'effet est appliqué en réponse à l'image ou aux images de la vidéo ainsi capturée dans le but de simuler la réalité augmentée. Dans un mode de réalisation, les dispositifs de calcul sont couplés pour communiquer par l'intermédiaire d'un ou de plusieurs réseau(x) (par exemple 1122), comprenant des réseaux sans fil ou autres, des réseaux publics ou autres, etc. A titre d'exemple, mais sans limitation, un système d'e-commerce 1124 est basé sur la toile et comprend une application basée sur un navigateur AR 1120A comme composant d'un service d'e-commerce qui est fourni par le système d'e-commerce 1124. Le système d'e-commerce 1124 comprend un dispositif de calcul configuré et une banque de données 1126 (par exemple une base de données ou une autre configuration). La banque de données 1126 stocke des données relatives à des produits, des services, ainsi que des information connexes (par exemple des techniques pour appliquer un produit). La banque de données 1126 ou tout autre dispositif de stockage de données (non montré) stocke des règles de recommandation ou d'autres formes de recommandations sur les produits et/ou services, etc. afin d'aider un utilisateur à choisir parmi les produits et les services disponibles. Les produits et les services sont présentés par l'intermédiaire d'une interface d'expérience d'utilisateur qui est affichée sur un dispositif de calcul (mobile) de l'utilisateur. On appréciera le fait que le système d'e-commerce 1124 est simplifié. Dans un mode de réalisation, une application AR basée sur un navigateur 1120A (ou l'application AR 1120) procure une expérience client de réalité augmentée de manière à simuler un produit, une technique ou un service fourni(e) ou facilité(e) par le système d'e-commerce 1124. On comprendra que l'application AR 1120, dans le mode de réalisation, est également configurée de manière à réaliser des services d'e-commerce, par exemple par l'intermédiaire d'une connexion à un service d'e-commerce 1124. A titre d'exemple, mais sans limitation, un produit comprend un produit cosmétique (par exemple du maquillage), un produit antivieillissement ou de rajeunissement, et un service comprend un service cosmétique, un service antivieillissement ou un service de rajeunissement. Un service comprend un traitement ou une autre procédure. Le produit ou le service est relatif à une partie d'un corps humain telle qu'un visage, des cheveux ou des ongles. Dans un mode de réalisation, un dispositif de calcul (tel que le dispositif mobile 1112) configuré de la sorte fournit donc une unité d'effet facial comprenant un circuit de traitement configuré de manière à appliquer au moins un effet facial à l'image source et à générer une ou plusieurs instance(s) virtuelle(s) d'une image source à effet appliqué (par exemple affichée) sur une interface d'e-commerce du dispositif de calcul qui est facilité par le système d'e-commerce. Dans un mode de réalisation, l'unité d'effet facial utilise le générateur d'étudiant basé sur un réseau antagoniste génératif (GAN) qui est décrit ici pour produire l'image source à effet appliqué. Dans un mode de réalisation, le dispositif de calcul fournit une unité d'expérience d'utilisateur comprenant un circuit de traitement pour déterminer au moins un produit ou un service à partir de la banque de données 1126 et pour générer une ou plusieurs instance(s) virtuelle(s) d'une recommandation sur une interface d'e-commerce pour acheter des produits ou des services. Dans un mode de réalisation, ledit au moins un produit est associé à un effet facial respectif et l'unité d'effet facial applique l'effet facial respectif de manière à réaliser une expérience d'essai virtuelle. Dans un mode de réalisation, l'unité d'expérience d'utilisateur est configurée de manière à présenter une interface d'utilisateur graphique (par exemple basé sur un navigateur, ou autre) qui fonctionne avec le dispositif de calcul et le système d'e-commerce 1124. Dans un mode de réalisation, le système d'e-commerce 1124 est donc configuré de manière à fournir l'application AR à exécuter par des dispositifs de calcul de client tels qu'un dispositif mobile (par exemple 1112) et est configurée de façon coopérante pour offrir des services d'e-commerce au dispositif de calcul de client afin de faciliter les recommandations (de produits/services) pour une simulation AR par l'intermédiaire du dispositif de calcul de client et de faciliter les achats. Donc, n'importe lequel des dispositifs de calcul, mais en particulier les dispositifs mobiles, fournissent un dispositif de calcul pour convertir une image d'un premier espace de domaine à un second espace de domaine. Le dispositif de calcul comprend une unité de stockage qui contient un générateur d'étudiant basé sur un réseau antagoniste génératif (GAN) qui est configuré de manière à convertir des images du premier espace de domaine au second espace de domaine, le générateur réduit par rapport à un générateur d'enseignant basé sur un GAN étant également configuré de manière à convertir des images du premier espace de domaine au second espace de domaine. Dans un mode de réalisation, le générateur présente une configuration (qui est par exemple conditionnée) pour maintenir une connaissance des relations sémantiques déterminée pour le générateur . Dans un mode de réalisation, le dispositif de calcul comprend une unité de traitement qui est configurée de manière à (par exemple par l'intermédiaire de l'application AR 1120): recevoir l'image; transmettre l'image au générateur de manière à obtenir une image convertie; et produire l'image convertie pour la présentation. La configuration du générateur est conditionnée en utilisant une perte de diffusion de connaissance des relations sémantiques par rapport au générateur afin de transférer la connaissance des relations sémantiques déterminée pour le générateur au générateur . Le générateur et le générateur sont définis suivant une architecture de réseau commune. Le générateur est réduit en termes de largeur, de profondeur ou à la fois de largeur et de profondeur par rapport au générateur , où la largeur désigne un nombre de filtres dans chaque couche et la profondeur désigne un nombre de blocs résiduels dans l'architecture de réseau commune. Dans un mode de réalisation, l'unité de traitement est configurée de manière à produire l'image convertie dans une interface de réalité augmentée afin de simuler un effet appliqué à l'image. Dans un mode de réalisation, l'effet comprend l'un quelconque parmi un effet de maquillage, un effet capillaire, un effet d'ongles et un effet de simulation d'âge appliqué à l'image. Par exemple, l'image comprend une partie applicable (par exemple le visage, les cheveux, les ongles ou une partie du corps) d'un sujet tel qu'un utilisateur du dispositif. Dans un mode de réalisation, la connaissance des relations sémantiques est transférée d'une couche intermédiaire du générateur à une couche intermédiaire du générateur . Dans un mode de réalisation, la configuration du générateur est conditionnée de telle sorte que: dans chacun du générateur et du générateur , au niveau d'une couche intermédiaire respective pendant le conditionnement, les relations sémantiques sont représentées par des matrices de similarité qui sont définies en calculant des similarités d'activation par paire sur des pixels d'un encodage de caractéristiques respectif exécuté par le générateur et le générateur ; et la connaissance est transférée par l'intermédiaire de la perte de diffusion de connaissance des relations sémantiques sur les matrices de similarité. Dans un mode de réalisation, la configuration de générateur est conditionnée en ajoutant la perte de diffusion de connaissance des relations sémantiques en plus à une perte de diffusion traditionnelle sur des images générées finales du générateur et du générateur . Une matrice d'activation de relations sémantiques respective est calculée comme un produit extérieur de l'encodage de caractéristiques respectives et la perte de diffusion de connaissance des relations sémantiques compare les matrices d'activation de relations sémantiques respectives du générateur et du générateur . Dans un mode de réalisation, un dispositif de calcul tel que le dispositif mobile 1110 est configuré de manière à exécuter un procédé conformément à l'aspect de dispositif de calcul ainsi décrit. D'autres aspects apparaîtront clairement, tels que les aspects de produit de programme d'ordinateur. L'environnement de formation de modèle de réseau 1102 fournit un dispositif de calcul qui est configuré de manière à exécuter un procédé tel qu'un procédé pour configurer par conditionnement un générateur d'étudiant basé sur un GAN. Dans un mode de réalisation, le procédé comprend la configuration à l'aide d'un conditionnement d'un générateur d'étudiant basé sur un réseau antagoniste génératif (GAN) pour convertir des images d'un premier espace de domaine dans un second espace de domaine, le générateur réduit par rapport à un générateur d'enseignant basé sur un GAN étant configuré de manière à convertir des images du premier espace de domaine dans le second espace de domaine, dans lequel le générateur est conditionné en utilisant la diffusion des connaissances afin de maintenir une connaissance des relations sémantiques déterminée pour le générateur ; et la fourniture du générateur à utiliser par un dispositif de calcul pour convertir une image. Un aspect connexe de dispositif de calcul et de produit de programme d'ordinateur apparaîtra clairement de concert avec d'autres aspects. 7. Conclusions Il est décrit, dans différents modes de réalisation, une compression de modèles de GAN par l'intermédiaire de procédés, de systèmes et de techniques qui portent sur la diffusion de connaissances traditionnelle. La connaissance des relations sémantiques est transférée d'un modèle d'enseignant à un modèle d'étudiant sélectionné, ledit modèle d'étudiant générant des images plus détaillées et présentant une meilleure texture après un apprentissage explicite des relations entre les pixels tout en utilisant la diffusion des connaissances pour réduire de façon significative la taille ainsi que les exigences de calcul du modèle. Grâce à des expériences réalisées sur 5 différents ensembles de données et 3 architectures différentes (par exemple des modes de réalisation), il a été démontré de façon quantitative et qualitative que les procédés, systèmes et techniques proposés aident à amener un réseau étudiant précédemment incompétent au niveau de son enseignant, avec la capacité de générer des images à un niveau de qualité considérablement plus élevé. En outre, l'application de procédés, systèmes et techniques basés sur la diffusion des connaissances soulage de la charge de commander le taux de réduction et de structurer soigneusement le modèle réduit, ce qui offre également davantage de liberté dans le choix du modèle. Une implantation pratique peut inclure l'une quelconque ou la totalité des caractéristiques décrites ici. Ces aspects, caractéristiques et différentes combinaisons, ainsi que d'autres, peuvent être exprimés sous la forme de procédés, d'appareils, de systèmes, de moyens pour exécuter des fonctions, des produits de programme, ainsi que sous d'autres formes, en combinant les caractéristiques décrites ici. Un certain nombre de modes de réalisation ont été décrits. Néanmoins, on comprendra que différentes modifications peuvent être apportées sans sortir de l'esprit et de la portée des procédés et des techniques décrits ici. En outre, d'autres étapes peuvent être prévues, ou des étapes peuvent être éliminées, dans les procédés décrits, et d'autres composants peuvent être ajoutés aux ou enlevés des systèmes décrits. Par conséquent, d'autres modes de réalisation sont inclus à l'intérieur de la portée des revendications qui suivent. D'un bout à l'autre de la description et des revendications du présent fascicule, les termes “comprendre” et “contenir” ainsi que les variantes de ceux-ci signifient “comprenant mais sans limitation”, et ils ne sont pas destinés à exclure, et n'excluent pas, d'autres composants, entiers ou étapes. Des particularités, des entiers, des caractéristiques ou des groupes décrits en conjonction avec un aspect particulier, un mode de réalisation particulier ou un exemple particulier de l'invention doivent être compris comme étant applicables à n'importe quel autre aspect, mode de réalisation ou exemple, sauf incompatibilité avec celui-ci. La totalité des caractéristiques divulguées ici (comprenant l'ensemble des revendications, abrégé et des dessins annexés), et/ou la totalité des étapes de chaque procédé ou processus divulgué, peuvent être combinées dans n'importe quelle combinaison, à l'exception de combinaisons dans lesquelles au moins certaines de ces caractéristiques et/ou étapes sont mutuellement exclusives. L'invention n'est pas limitée aux détails de tout exemple ou mode de réalisation qui précède. L'invention s'étend à toute nouvelle caractéristique ou à toute nouvelle combinaison des caractéristiques divulguées dans le présent fascicule (comprenant l'ensemble des revendications, l'abrégé et les dessins annexés) ou à toute nouvelle étape ou à toute nouvelle combinaison des étapes de tout procédé ou processus divulgué. Références 1. Brock, A., Donahue, J., Simonyan, K.: Large scale GAN training for high fidelity natural image synthesis. In: International Conference on Learning Representations (2019) 2. Chen, G., Choi, W., Yu, X., Han, T., Chandraker, M.: Learning efficient object detection models with knowledge distillation. In: Guyon, I., Luxburg, U.V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., Garnett, R. (eds.) Advances in Neural Information Processing Systems 30, pp. 742-751. Curran Associates, Inc. (2017), URL: papers.nips.cc/paper/6676-learning-efficient-object-detection-models-with-knowledge-distillation.pdf 3. Chen, Y., Yang, T., Zhang, X., Meng, G., Pan, C., Sun, J.: Detnas: Backbone search for object detection (2019) 4. Chen, Y., Wang, N., Zhang, Z.: Darkrank: Accelerating deep metric learning via cross sample similarities transfer. In: Thirty-Second AAAI Conference on Artificial Intelligence (2018) 5. Choi, Y., Choi, M., Kim, M., Ha, J.W., Kim, S., Choo, J.: Stargan: Unified generative adversarial networks for multi-domain image-to-image translation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp.8789-8797 (2018) 6. Cordts, M., Omran, M., Ramos, S., Rehfeld, T., Enzweiler, M., Benenson, R., Franke, U., Roth, S., Schiele, B.: The cityscapes dataset for semantic urban scene understanding. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 3213-3223 (2016) 7. Deng, J., Dong, W., Socher, R., Li, L.J., Li, K., Fei-Fei, L.: Imagenet: A large-scale hierarchical image database. In: 2009 IEEE conference on computer vision and pattern recognition. pp. 248-255. Ieee (2009) 8. Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., Bengio, Y.: Generative adversarial nets. In: Advances in neural information processing systems. pp. 2672-2680 (2014) 9. Han, S., Mao, H., Dally, W.J.: Deep compression: Compressing deep neural network with pruning, trained quantization and human coding. In: Bengio, Y., Le-Cun, Y. (eds.) 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings (2016), URL: arxiv.org/abs/1510.00149 10. He, Y., Lin, J., Liu, Z., Wang, H., Li, L.J., Han, S.: Amc: Automl for model compression and acceleration on mobile devices. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 784-800 (2018) 11. Heusel, M., Ramsauer, H., Unterthiner, T., Nessler, B., Hochreiter, S.: Gans trained by a two time-scale update rule converge to a local nash equilibrium. In: Advances in neural information processing systems. pp. 6626-6637 (2017) 12. Hinton, G., Vinyals, O., Dean, J.: Distilling the knowledge in a neural network. arXiv preprint arXiv:1503.02531 (2015) 13. Howard, A., Sandler, M., Chu, G., Chen, L.C., Chen, B., Tan, M., Wang, W., Zhu, Y., Pang, R., Vasudevan, V., et al.: Searching for mobilenetv3. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 1314-1324 (2019) 14. Howard, A.G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., Andreetto, M., Adam, H.: Mobilenets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861 (2017) 15. Isola, P., Zhu, J.Y., Zhou, T., Efros, A.A.: Image-to-image translation with conditional adversarial networks. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 1125-1134 (2017) 16. Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep convolutional neural networks. In: Advances in neural information processing systems. pp. 1097-1105 (2012) 17. Ledig, C., Theis, L., Huszar, F., Caballero, J., Cunningham, A., Acosta, A., Aitken, A., Tejani, A., Totz, J., Wang, Z., et al.: Photo-realistic single image super-resolution using a generative adversarial network. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 4681-4690 (2017) 18. Lin, T., Maire, M., Belongie, S.J., Hays, J., Perona, P., Ramanan, D., Dollar, P., Zitnick, C.L.: Microsoft COCO: common objects in context. In: Fleet, D.J., Pajdla, T., Schiele, B., Tuytelaars, T. (eds.) Computer Vision - ECCV 2014 - 13th European Conference, Zurich, Switzerland, September 6-12, 2014, Proceedings, Part V. Lecture Notes in Computer Science, vol. 8693, pp. 740-755. Springer (2014). URL: doi.org/10.1007/978-3-319-10602-1_48 19. Liu, C., Chen, L.C., Schroff, F., Adam, H., Hua, W., Yuille, A.L., Fei-Fei, L.: Auto-deeplab: Hierarchical neural architecture search for semantic image segmentation. In: The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (June 2019) 20. Liu, Y., Chen, K., Liu, C., Qin, Z., Luo, Z., Wang, J.: Structured knowledge distillation for semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 2604-2613 (2019) 21. Luo, J.H., Wu, J., Lin, W.: Thinet: A filter level pruning method for deep neural network compression. In: Proceedings of the IEEE international conference on computer vision. pp. 5058-5066 (2017) 22. Park, W., Kim, D., Lu, Y., Cho, M.: Relational knowledge distillation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 3967-3976 (2019) 23. Peng, B., Jin, X., Liu, J., Li, D., Wu, Y., Liu, Y., Zhou, S., Zhang, Z.: Correlation congruence for knowledge distillation. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 5007-5016 (2019) 24. Redmon, J., Farhadi, A.: Yolov3: An incremental improvement. arXiv preprint arXiv:1804.02767 (2018) 25. Sandler, M., Howard, A., Zhu, M., Zhmoginov, A., Chen, L.C.: Mobilenetv2: Inverted residuals and linear bottlenecks. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 4510-4520 (2018) 26. Shaham, T.R., Dekel, T., Michaeli, T.: Singan: Learning a generative model from a single natural image. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 4570-4580 (2019) 27. Shu, H., Wang, Y., Jia, X., Han, K., Chen, H., Xu, C., Tian, Q., Xu, C.: Co-evolutionary compression for unpaired image translation. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 3235-3244 (2019) 28. Simonyan, K., Zisserman, A.: Very deep convolutional networks for large-scale image recognition. In: International Conference on Learning Representations (2015) 29. Tung, F., Mori, G.: Similarity-preserving knowledge distillation. In: Proceedings of the IEEE International Conference on Computer Vision. pp. 1365-1374 (2019) 30. Zagoruyko, S., Komodakis, N.: Paying more attention to attention: Improving the performance of convolutional neural networks via attention transfer. arXiv preprint arXiv:1612.03928 (2016) 31. Zhu, J.Y., Park, T., Isola, P., Efros, A.A.: Unpaired image-to-image translation using cycle-consistent adversarial networks. In: Proceedings of the IEEE international conference on computer vision. pp. 2223-2232 (2017) 32. Diederik P. Kingma and Jimmy Lei Ba. Adam: A method for stochastic optimization. arXiv:1412.6980v9 (2014) Dispositif de calcul pour convertir une image d'un premier domaine spatial dans un deuxième domaine spatial, le dispositif de calcul comprenant : - une unité de stockage mémorisant un générateur appris basé sur un réseau antagoniste génératif (GAN) configuré de manière à convertir des images du premier domaine spatial dans le deuxième domaine spatial, le générateur appris étant réduit par rapport à un générateur d’apprentissage basé sur un réseau antagoniste génératif également configuré de manière à convertir des images du premier domaine spatial dans le deuxième domaine spatial, le générateur appris présentant une configuration qui maintient une connaissance des relations sémantiques déterminée pour le générateur d’apprentissage ; et - une unité de traitement configurée de manière à: - recevoir l'image; - transmettre l'image au générateur appris de manière à obtenir une image convertie; et - produire l'image convertie pour présentation. Dispositif de calcul selon la revendication 1, dans lequel la configuration du générateur appris est conditionnée en utilisant une perte de diffusion de connaissance des relations sémantiques par rapport au générateur d’apprentissage afin de transférer la connaissance des relations sémantiques déterminée pour le d’apprentissage au générateur appris . Dispositif de calcul selon la revendication 1, dans lequel l'unité de traitement est configurée de manière à réaliser l'image convertie dans une interface de réalité augmentée afin de simuler un effet appliqué à l’image ; et dans lequel l'effet est l'un quelconque parmi un effet de maquillage, un effet capillaire, un effet d'ongles et un effet de simulation d'âge appliqué à l'image contenant une partie applicable d'un sujet. Procédé, comprenant les étapes suivantes : - configurer par conditionnement un générateur appris basé sur un réseau antagoniste génératif (GAN) afin de convertir des images d'un premier domaine spatial dans un deuxième domaine spatial, le générateur appris étant réduit par rapport à un générateur d'apprentissage basé sur un réseau antagoniste génératif (GAN) configuré de manière à convertir des images du premier domaine spatial dans le deuxième domaine spatial, dans lequel le générateur appris est conditionné en utilisant la diffusion de connaissance de manière à maintenir une connaissance des relations sémantiques déterminée pour le générateur d'apprentissage , et - fournir le générateur appris à utiliser par un dispositif de calcul pour convertir une image. Procédé selon la revendication 4, dans lequel le générateur appris est conditionné en utilisant une perte de diffusion de connaissance des relations sémantiques par rapport au générateur d'apprentissage pour transférer la connaissance des relations sémantiques déterminée pour le générateur d'apprentissage au générateur appris . Procédé selon la revendication 5, dans lequel le procédé conditionne le générateur appris de telle sorte que : dans chacun du générateur appris et du générateur d'apprentissage , au niveau d'une couche intermédiaire respective pendant le conditionnement, des relations sémantiques sont représentées par des matrices de similarité définies en calculant des similarités d'activation par paire sur des pixels d'un encodage de caractéristiques respectives exécuté par le générateur appris et le générateur d'apprentissage , et la connaissance est transférée par l'intermédiaire de la perte de diffusion de connaissance des relations sémantiques sur les matrices de similarité. Dispositif de calcul, comprenant : - une unité d'effet facial comprenant un circuit de traitement configuré de manière à appliquer au moins un effet facial à une image source et à générer une ou plusieurs instance(s) virtuelle(s) d'une image source à effet appliqué sur une interface d'e-commerce, l'unité d'effet facial utilisant un générateur appris basé sur un réseau antagoniste génératif (GAN) pour convertir des images d'un premier domaine spatial dans un deuxième domaine spatial dans lequel ledit au moins un effet facial est appliqué, le générateur appris étant réduit par rapport à un générateur d’apprentissage basé sur un GAN également configuré de manière à convertir des images du premier domaine spatial dans le deuxième domaine spatial. Dispositif de calcul selon la revendication 7, comprenant en outre: - une unité d'expérience d'utilisateur comprenant un circuit de traitement configuré de manière à déterminer au moins un produit à partir d'une banque de données stockant des produits et à générer une ou plusieurs instance(s) virtuelle(s) d'une recommandation de produit sur une interface d'e-commerce pour acheter des produits; dans lequel ledit au moins un produit est associé à un effet facial respectif et l'unité d'effet facial applique l'effet facial respectif de manière à réaliser une expérience d'essai virtuelle. Produit de programme d'ordinateur comprenant un dispositif de stockage non transitoire stockant des instructions qui, lorsqu'elles sont exécutées par un dispositif de calcul de client, configurent le dispositif de calcul de client de manière à comprendre : - une unité d'effet facial comprenant un circuit de traitement configuré de manière à appliquer au moins un effet facial à une image source et à générer une ou plusieurs instance(s) virtuelle(s) d'une image source à effet appliqué sur une interface d'e-commerce, l'unité d'effet facial utilisant un générateur appris basé sur un réseau antagoniste génératif (GAN) pour convertir des images d'un premier domaine spatial dans un deuxième domaine spatial dans lequel ledit au moins un effet facial est appliqué, le générateur appris étant réduit par rapport à un générateur d'apprentissage basé sur un réseau antagoniste génératif (GAN) également configuré de manière à convertir des images du premier domaine spatial dans le deuxième domaine spatial. Produit de programme d'ordinateur selon la revendication 9, dans lequel les instructions configurent en outre le dispositif de calcul de client de manière à comprendre : - une unité d'expérience d'utilisateur comprenant un circuit de traitement configuré de manière à déterminer au moins un produit à partir d'une banque de données stockant des produits et à générer une ou plusieurs instance(s) virtuelle(s) d'une recommandation de produit sur une interface d'e-commerce pour acheter des produits; dans lequel ledit au moins un produit est associé à un effet facial respectif et l'unité d'effet facial applique l'effet facial respectif de manière à réaliser une expérience d'essai virtuelle.