# Les GANs : stimulateurs de créativité en phase d'idéation

## GANs: Creativity simulators in the ideation phase

Xavier Marsault¹,* et Hong Minh-Chau Nguyen¹

¹UMR MAP 3495, équipe Aria, ENSAL, 69512 Vaulx-en-Velin, France

**Résumé.** Présentée dans le passé comme une approche visant à imiter l'intelligence biologique, l'adaptation et l'évolution dans la résolution de problèmes, l'intelligence artificielle (IA) mobilise massivement la communauté scientifique, et se redéfinit constamment dans ses ambitions, voire son essence même, surpassant les précédents modèles analytiques, prédictifs et génératifs en parallèle avec une constante et rapide évolution des équipements de calcul dédiés. Si l'IA excelle depuis quelques années dans la résolution de problèmes touchant de nombreux champs de l'activité humaine, ses applications aux domaines architectural et urbain n'en sont qu'aux balbutiements. Mais depuis 2017, l'IA générative est convoquée pour répondre à des objectifs non quantifiables ou difficilement mesurables (comme l'esthétique) et stimuler la créativité des concepteurs, et ses algorithmes, en particulier les GANs, commencent à être mis à profit pour l'aide à la conception en phase d'idéation architecturale.

**Mots clés.** Intelligence artificielle, generative adversarial networks, architecture, créativité, idéation.

**Abstract.** Presented in the past as an approach aiming at imitating biological intelligence, adaptation and evolution in problem solving, artificial intelligence (AI) is massively mobilizing the scientific community, and is constantly redefining itself in its ambitions, even in its very essence, surpassing previous analytical, predictive and generative models in parallel with a constant and rapid evolution of dedicated computational equipment. While AI has excelled for some years in solving problems in many fields of human activity, its applications to the architectural and urban fields are still in their infancy. But since 2017, generative AI has been called upon to meet non-quantifiable or difficult-to-measure objectives (such as aesthetics) and to stimulate the creativity of designers, and its algorithms, particularly GANs, are beginning to be put to good use in the design assistance phase of architectural ideation.

**Keywords.** Artificial intelligence, generative adversarial networks, architecture, creativity, ideation.

<footnote>* Corresponding author: xavier.marsault@aria.archi.fr</footnote>
# 1 Introduction sur l'intelligence artificielle et la créativité

La notion d'intelligence artificielle (IA) apparaît dans les années 1950, presque dix ans après la conception des premiers modèles de réseaux de neurones artificiels (ANN) inspirés de travaux sur la biologie [27]. Le machine learning (ML) est une branche majeure de l'IA touchant à l'apprentissage de modèles à partir des données pour résoudre des problèmes, si possible de manière autonome. S'y distinguent les modèles du deep learning (DL), basés sur des réseaux de neurones artificiels groupés en couches connectées formant une architecture de type graphe. Chaque neurone est activé par des connections pondérées par des poids synaptiques. L'entraînement d'un réseau consiste en l'ajustement itératif et long des valeurs de ces poids.

Cet ensemble de couches permet la mémorisation hiérarchique et profonde de corrélations ou de dépendances entre de très nombreuses données, y compris de nature hétérogène. Selon LeCun, le succès du DL vient de cette spécificité, qui s'adapte au fait que le monde est compositionnel [19]. Son point fort est d'apprendre souvent nettement mieux que les précédents modèles, en croisant de nombreuses données : modèles plus fins => analyses plus fiables, données générées plus fidèles. Le DL permet d'aborder plus sereinement ce qui a trait aux domaines du complexe, du subjectif, sans besoin impératif d'explicitation, ce qui peut rendre ses productions difficiles à comprendre et à accepter par rapport aux modèles classiques, ou au contraire déboucher sur de nouvelles perspectives en termes de créativité. Au-delà du sens commun attribué à ce mot, de nombreux travaux de recherche scientifiques ont été réalisés sur cette vaste question, dont un exposé dépasse le cadre de cet article. Néanmoins, soulignons en quelques aspects saillants.

Historiquement, la conceptualisation commence avec la théorie de Whitehead sur la créativité et le changement [43], qui oblige à penser en référence à quatre critères qui font toujours autorité. La nouveauté fait référence au degré de différence entre un stimulus et ce que l'observateur a vu/expérimenté auparavant [43]. Le caractère surprenant, non nécessairement corrélaté à la nouveauté, fait référence au degré de désaccord d'un stimulus avec les attentes. Contrairement à la nouveauté et à la surprise, qui reposent sur des comparaisons de similitudes et de différences entre stimulus, la complexité est une propriété intra-stimulus qui augmente avec le nombre d'éléments indépendants dans un stimulus. Enfin, l'ambiguïté désigne le conflit entre les informations sémantiques et syntaxiques d'un stimulus, ou à des significations multiples, potentiellement incohérentes.

Deux courants historiques théorisent ensuite autour de l'activité créative [40]. La N- créativité, utilisée dans la psychologie et l'éducation, est une façon de vivre et d'agir dans le monde inhérente à toute activité, à moins qu'elle ne soit contrainte. Elle va de pair avec le concept d'intelligence basé sur une recherche attentive. La G-créativité, plus adaptée à l'intelligence artificielle est basée sur le pouvoir de générer une nouveauté de valeur, et se distingue des processus de connaissance et de résolution de problèmes. Dans le domaine de l'IA, cette question a été explorée plus récemment. Negrotti a suggéré que l'IA peut traiter l'intelligence et la créativité des machines comme un intérêt en soi, plutôt que comme une façon de comprendre l'intelligence humaine ou l'activité créative [44]. Colton, met l'accent sur le rôle de la perception et de la cognition dans le processus de création [42]. Il suggère trois critères qu'un système créatif devrait avoir : la capacité de produire des artefacts nouveaux (imagination), la capacité de générer des artefacts de qualité (compétence) et la capacité d'évaluer sa propre création.

Enfin, l'idéation est définie comme un processus qui consiste à générer un large éventail d'idées sur un sujet donné, sans tentative de les juger ou de les évaluer. L'utilisation de références architecturales dans le cadre d'un projet est une démarche commune en phase d'idéation. Ce qui va nous permettre d'interroger l'emploi des GANs dans la représentation
de l'architecture. Car ce sont bien des représentations de l'architecture qui sont manipulées par des GANs et non des projets définis par un ensemble coordonné et cohérent de documents. Dans la suite de cet article, nous expliquons l'usage créatif des GANs et leurs multiples possibilités d'exploration, notamment pour comprendre intuitivement (plus que techniquement) la notion clé d'espace latent associée à un réseau neuronal profond (section 2.2). Naviguer dans l'espace latent de nombreuses références picturales vient en effet favoriser ce processus d'idéation en conception architecturale et offrir une nouvelle dimension à la créativité du concepteur.

## 2 État de l'art sur les GANs (Generative Adversarial Networks)

Les GANs représentent l'avancée la plus intéressante de ces dix dernières années en matière de *DL*. Inventés en 2014 par Goodfellow et son équipe [10], ils ont défini un nouveau cadre pour les modèles génératifs hyper-réalistes et expressifs. Même s'ils s'appliquent souvent à la génération, à la resynthèse et à l'édition d'images, et ont particulièrement progressé sur la synthèse de visages, les GANs sont utilisés aussi pour la translation de domaines et la génération de vidéos. Bien que plusieurs moyens de contrôler le processus génératif des GANs aient été trouvés, leurs capacités de synthèse sont encore mal connues et très étudiées.

L'entraînement d'un GAN met en œuvre un scénario de type théorie des jeux (fig. 1) avec compétition d'un modèle génératif G (qui capture la distribution d'échantillons réels) et d'un modèle discriminatif D (qui estime la probabilité qu'un échantillon provienne des données d'entraînement plutôt que de G) – G et D étant entraînés simultanément par deux réseaux multicouches. Puisque G et D ont des objectifs opposés (d'où le terme adversarial), cela se modélise par un équilibre. Par exemple, dans le cas des images, G tente de tromper D en produisant des images de plus en plus réalistes (sur l'ensemble des fréquences de la distribution), grâce aux corrections apportées par les résultats de D, et D essaie de démasquer G. De manière générique, l'espace latent Z d'un GAN désigne un vecteur de paramètres en entrée influant sur G. Une bonne synthèse sur les GANs et leur fonctionnement se trouve dans [12].

<figure><img src="image_1.png" /><figcaption>Fig. 1. Schéma conceptuel d'un GAN.</figcaption></figure>

### 2.1 Amélioration significative des GAN au fil des ans

De 2014 à 2021, la littérature scientifique autour des GANs et de leurs applications s'est copieusement enrichie, en même temps que se sont progressivement réglés des problèmes
d'instabilité, de convergence et de mémoire, et que se sont accrues leur qualité et leurs capacités sémantiques.

En 2016, Deep Convolutional GAN (DCGAN) [26] se présentait comme une application aux GANs des réseaux convolutifs profonds (CNN), démontrant des capacités d'apprentissage non supervisé et des propriétés arithmétiques vectorielles intéressantes pour la manipulation des qualités sémantiques des échantillons générés. DCGAN a servi par la suite de base de départ à de nombreuses architectures. Wasserstein GAN (W-GAN) [3] se concentrait sur les moyens de mesurer finement la proximité entre la distribution du modèle et la distribution réelle, et d'être plus stable à l'entraînement de G et D que DCGAN. En 2017, BEGAN (Boundary Equilibrium GAN) [39] introduit une nouvelle façon de contrôler le compromis entre la diversité des images et la qualité visuelle. Il propose une méthode équilibrant G et D pendant l'apprentissage. Contrairement aux GANs traditionnels qui nécessitent un entraînement alterné de D et G, ou un pré-entraînement de D, BEGAN ne nécessite aucun de ces deux éléments pour un entraînement stable. Progressive GAN (PG-GAN) [15] introduit une méthodologie progressive pour accélérer et stabiliser l'apprentissage de G et D et réduire la variation des images générées. En partant d'une faible résolution, il ajoute de nouvelles couches qui modélisent des détails de plus en plus fins au fur et à mesure de l'apprentissage. SD-GAN (Semantically Decomposed GAN) [7] présente un schéma conjoint d'apprentissage des codes latents par paires identité / observation. En fixant la partie identité des codes latents, SD-GAN génère plusieurs versions du même objet, et en fixant la partie observation, il parcourt la multitude d'objets tout en maintenant les aspects contingents tels que l'éclairage et la pose.

Les GANs conditionnels (cGANs) offrent une flexibilité remarquable pour résoudre des problèmes génératifs contraints, comme la génération d'images avec des attributs particuliers. Avec un cGAN, on envoie des informations précises, appelées labels de classe, à G et à D pour cadrer leur production de données. Les applications les plus connues concernent la translation d'images pix2pix [14], pix2pixHD [32], et qui consiste à traduire des images d'un domaine X vers un autre domaine Y (ex : vieillissement de visages, coloration de films, transformation saisonnière). Une application importante de cette technique est le semantic GAN, avec notamment : SPADE [25], opérant une synthèse d'image conditionnée par une image label avec des classes sémantiques, ou GauGAN : une application de sketching temps réel qui génère des images de paysages réalistes à partir de dessins d'utilisateurs. Les papiers les plus récents sur les semantic GANs se trouvent dans [20, 28].

StyleGAN2. Emprunté à la littérature sur le transfert de style<fnref n="2" />, StyleGAN2 [16] a fait un grand pas dans le monde des GANs. Il offre un contrôle beaucoup plus large et intuitif de la synthèse d'image par des modifications ou des mélanges de différents styles et d'échelles, et un espace latent plus informatif. Il propose : 1) une architecture pour G qui conduit à une séparation non supervisée et automatiquement apprise des attributs de haut niveau et de la variation stochastique dans les images générées ; 2) une normalisation de G pour

<footnote n="2">² Le transfert de style est une des applications les plus créatives du DL, qui met en évidence ses capacités et ses représentations internes. Il permet de récupérer par exemple le style d'une image et de le restituer à n'importe quelle autre image. Les combinaisons de contenus et de styles possibles font émerger des résultats uniques souvent créatifs. On peut : transférer la manière de peindre d'un artiste à des images d'architecture [8, 30] ; créer des bâtiments avec un certain style, voire même un mélange de styles. On peut aussi convoquer son utilisation via un conditional GAN, pour appliquer un « contexte stylistique » : avec cycleGAN [36], ce type d'approche s'étend à des collections entières sans appariements individuels et en mode non-supervisé, ce qui le rend très puissant, surtout si l'on veut saisir le style compositionnel d'un architecte à partir de l'ensemble de ses oeuvres. Dans [40], les auteurs ont proposé une variante d'un GAN pour générer de l'art avec des caractéristiques créatives autour de la notion de style.</footnote>
encourager un meilleur conditionnement dans la mise en correspondance des codes latents avec les images ; 3) un mécanisme de taux d'augmentation adaptatif de D permettant au code StyleGAN2-ada [17] d'être presque aussi performant avec seulement quelques milliers d'images pour la base d'apprentissage (clé de succès en architecture, où l'on peine souvent à obtenir massivement de la donnée).

## 2.2 Rôle fondamental des espaces latents

Un des points forts du DL est sa capacité à adresser un ensemble Z de variables de contrôle et de manipulation au sein d'un réseau multicouche (fig.1), appelé *espace latent*, dans lequel se trouve une forme de représentation comprimée des données. C'est aussi un continuum dont la dimension paramétrique peut être assez élevée (512 paramètres pour StyleGAN2). On peut alors considérer une image générée comme un moment figé de cet espace fluide. Par exemple, StyleGAN2 offre la possibilité d'opérer une translation entre deux points de cet espace (*deep-morphing*) ou un mélange de styles entre deux images apprises (fig.2). Toutefois, une condition nécessaire est de disposer d'un remplissage suffisant de cet espace, ce qui nécessite au minimum d'avoir entraîné le GAN sur un dataset de taille suffisante (4000 échantillons pour StyleGAN2-ada).

En phase d'idéation, l'interactivité est une composante à part entière de la phase générative : la manipulation de ces espaces permet la (re)synthèse et l'édition d'images produites. A titre d'exemple, la figure 6 montre une exploration locale de l'espace latent autour d'un même objet, montrant la richesse générative d'un GAN. Cette exploration libre de vastes possibilités morphologiques et stylistiques autour d'un même concept structurel régi par de multiples paramètres associés de manière complexe dans l'espace latent est réellement un atout en phase d'idéation.

*De l'interprétation sémantique à l'édition.* Les variables de l'espace latent sont apprises de manière auto-supervisée, et certaines présentent un intérêt sémantique (caractéristiques signifiantes qu'il faut nommer). Mais dans un GAN, le vecteur Z est si fortement enchevêtré et peu structuré qu'on parvient difficilement à isoler les composantes de Z associées à des représentations spécifiques observées. De nombreuses travaux sont menés sur ce domaine en plein essor [29]. Mais on peut aller plus loin, grâce à l'inversion du GAN, qui consiste à apprendre le mapping inverse du générateur, c'est-à-dire la projection de données de l'utilisateur dans l'espace latent. Un état de l'art assez complet est consultable dans [34]. La réédition d'image par inversion du GAN est une technique puissante pour transférer dans l'espace latent l'approximation d'une image et explorer la capacité générative autour d'un concept importé. Ces approches vont conduire à une formalisation sémantique semi-supervisée qui devrait intéresser les architectes puisqu'elle va leur permettre de sélectionner, nommer et trier des propriétés implicitement apprises dans l'espace latent, puis d'éditer des objets réels en manipulant ces propriétés comme de simples variables en modélisation paramétrique [1, 20, 31, 37, 38].

## 3 Utilisation des GANs en phase d'idéation

Depuis 2019, les GANs excellent dans la génération d'environnements bâtis originaux : plans, façades et perspectives urbaines, et la qualité des productions s'améliore chaque année (section 2.1). Nous incluons en 3.2, 3.3 et 3.4 nos contributions.
## 3.1 Génération de plans

Huang et Zheng ont appliqué pix2pixHD pour reconnaître des dessins d'architecture et générer des plans d'appartements [13]. Chaillou et Nauata ont exploré la génération de plans d'étage pour produire des espaces fonctionnels et rationnels basés sur des styles spécifiques (baroque, victorien...). Chaillou, dans sa thèse, a développé un générateur de plans d'architecture en entrainant pix2pix sur des styles spécifiques (baroque, la maison en rangée, maison victorienne...) [6]. En s'inspirant des cGAN décrits par Huang et Zheng, il crée l'outil *ArchiGAN* en décomposant le processus en trois étapes successives qui sont réalisées par des réseaux indépendants : génération de l'empreinte, découpage en pièces (avec des fonctions définies), ajout du mobilier. Nauata n'en est resté qu'à l'étape II, mais l'a traitée de manière vectorielle avec des graph-GANs [22]. Dans une autre perspective, Zhang [35] a collecté des plans architecturaux et des dessins de sections, puis a appliqué StyleGAN pour entraîner des réseaux spécifiques et générer des images de troncature servant à construire des modèles 3D voxélisés avec une résolution de 1024x1024x1024.

## 3.2 Génération de façades

Les premiers travaux de type Deep Facade [21, 23] ont utilisé des algorithmes supervisés de type cGAN (pix2pix), dont les premiers résultats ont été réalisés sur un dataset parisien de 800 façades 2D de faible résolution. Dans [4], Bachl et al. ont cherché à générer des images de façades contenant les caractéristiques stylistiques de certaines villes - en tirant parti des avantages des cGANs pour générer des façades urbaines pour des villes connues avec de plus grands datasets, ce qui permet d'accéder à un espace latent assez continu et réaliser des morphing inter-villes avec peu d'artefacts. De notre côté, nous avons utilisé StyleGAN2 sur le *dataset de la Rue Monge* à Paris, pour mettre en évidence la capacité de ce GAN à traiter des images issues de collections très hétérogènes. Puis nous avons généré des résultats avec la fonctionnalité de style-mixing (fig. 2), en jouant sur le nombre de couches conservées, pour moduler des détails géométriques et texturaux.

<figure><img src="image_2.png" /><figcaption>**Fig. 2.** Exemples de style-mixing entre plusieurs façades, avec StyleGAN2.</figcaption></figure>
## 3.3 Génération de perspectives urbaines

Michael Hasey, architecte chercheur de l'université Carnegie Mellon, a travaillé à l'intersection des GANs et de l'environnement bâti. Ses travaux en 2019, « *Gan-Itecture* », ont révélé leur potentiel pour produire de nouvelles images d'architecture (fig. 3). Il avait déjà noté que « l'IA permet d'identifier les couches les plus profondes de motifs et de phénomènes qui sous-tendent des conceptions architecturales préexistantes réussies ». En effet, les images produites par les GANs tentent de restituer la complexité organisée apprise dans une collection hétérogène, en combinant des détails multi-échelles, structurels et stylistiques provenant de nombreuses sources. Elles peuvent contribuer à stimuler la créativité des architectes via le développement d'un imaginaire numérique neuro-mimétique. Désormais, avec des datasets de plusieurs dizaines de milliers d'images représentant des projets d'architecture, cette éponge à complexité nourrit la sérendipité, comme jamais auparavant avec des systèmes génératifs non supervisés. Les images produites sont souvent source d'inspiration, à condition de ne pas oublier que le processus apprend à partir de ce qu'on lui donne, donc fournit en somme une synthèse des intentions implicites de l'auteur du dataset. Ce point est crucial !

Dans cet esprit, nous avons commencé des expérimentations avec StyleGAN2 qui, bien que restant dans le domaine 2D, offre une nouvelle possibilité de mélanger les styles de différentes sources et d'obtenir des images de très bonne qualité. Nous avons utilisé la variante StyleGAN-ada pour entraîner le GAN sur deux jeux de données réduits, en partant d'abord d'images de projets de fin d'étude d'étudiants (période 2009-2019), complétés par des images de projets d'architectes pour obtenir plus d'échantillons.

<figure><img src="image_3.png" /><figcaption>**Fig. 3.** Résultats obtenus en 2019 avec un GAN par l'architecte Michael Hasey sur un corpus de bâtiments de Zaha Hadid.</figcaption></figure>

Le premier dataset (1650 images) est destiné à l'apprentissage et à la création de coupes longitudinales (fig. 4), et le second (1700 images) à la génération de perspectives architecturales et urbaines originales et plausibles, dans leur environnement bâti et paysager (fig. 5). De toute évidence, StyleGAN2 comprend implicitement la notion de perspective et de profondeur de scène, comme cela a été remarqué dans [24]. Il semble capturer la structure globale et générer des types originaux de bâtiments : tours, façades allongées et paysages urbains, résultant en des images plus réalistes et plus nettes que celles des expériences précédentes de Hasey. En outre, il favorise des rendus éthérés et complexes, permettant des représentations non photoréalistes graphiquement stimulantes pour un architecte. Un pas de plus devrait être franchi avec l'utilisation de StyleGAN3 [18].
<figure><img src="image_4.png" /><figcaption>**Fig. 4.** Revisite de travaux de fin d'études d'étudiants : 22 échantillons parmi 2000 coupes longitudinales générées avec StyleGAN2-ada (résolution 512x512).</figcaption></figure>

## 3.4 Interprétation sémantique

Pour créer une édition paramétrique interactive ou une translation dans l'espace latent en phase d'idéation, nous avons testé SeFa [29], la méthode d'inversion la plus aboutie offrant une interprétation sémantique. Nous l'avons d'abord appliquée à des façades 2D, où les paramètres architecturaux significatifs, théoriquement en nombre restreint, ont du mal à être révélés. Avec les perspectives urbaines et les coupes longitudinales, la taille de nos jeux de données (1700 échantillons) est loin d'être suffisante pour remplir l'espace latent. Nous attendions des caractéristiques plus claires quant aux directions latentes trouvées. Or, SeFa est une méthode non supervisée pour les directions interprétables, ce qui peut expliquer pourquoi nous sommes limités. Puisque pour l'architecture, en particulier la façade, il y a des paramètres signifiants que nous voulons pouvoir exhiber, un traitement plus poussé des ensembles de données est envisageable, par exemple avec StyleSpace [33] ou GANSpace [11]. Il nous faut souligner la difficulté de ce type de démarche qui impliquera de tester plusieurs codes d'inversion, avant d'obtenir des résultats probants.
<figure><img src="image_5.png" /><figcaption>**Fig. 5.** Perspectives urbaines originales (30 échantillons parmi 11000, résolution 512 x 512) générées avec StyleGAN2-ada.</figcaption></figure>

## 4 Deep learning et créativité

La plupart des architectes rencontrent souvent des difficultés à formaliser les concepts qu'ils utilisent pour mettre en pratique leur créativité et leur jugement subjectif. Face à cela, l'idée courante est de structurer l'activité de conception d'abord sur une démarche d'optimisation afin d'assurer la rationalité des solutions et rendre explicites les caractéristiques conceptuelles de l'intentionnalité. C'est la démarche de la causalité, de l'explicitation et de la performance, qui a culminé dans le design génératif. Mais, ni le modèle transformationnel (caractérisé par un phasage séquentiel des activités de conception), ni le design génératif (optimisant les paramètres d'un modèle de projet) ne sont adaptés aux caractéristiques d'un processus créatif. Leur principe repose sur la traduction de spécificités fonctionnelles et conceptuelles en spécifications structurelles et géométriques pour aboutir aux spécifications constructives d'un objet. Plutôt rigides, ces approches rendent très difficile l'application de stratégies incertaines et la manipulation d'objets flous, comme les croquis ou les brouillons.
Depuis leur apparition en 2014, les GANs constituent un très grand pas en avant par rapport aux précédentes méthodes génératives. Véritables éponges à complexité, ils ont – grâce à leur immense dimensionnalité paramétrique – la capacité de « sortir des sentiers battus » tout en restant fidèles à des « identités » ou à des « signatures ». Bien plus qu'un divertissement intelligent, « les GANs amplifient massivement le potentiel créatif d'un architecte d'une manière presque entièrement inexplorée où l'homme et la machine se complètent, ce qui n'a peut-être jamais été tenté auparavant » (Michael Hasey). Ce tournant de la conception ouvre de nouveaux espaces de créativité, actuellement basés sur des représentations préexistantes, jouant avec des archétypes structurels et graphiques présents dans les supports de projets, et favorisant une réelle prise en compte de critères subjectifs, esthétiques ou plastiques. Les architectes y trouveront certainement plusieurs intérêts :

- la capacité à capturer implicitement les règles qui définissent l'essence d'un style donné – que ce soit pour les bâtiments, les façades ou les plans d'étage – leur permettant d'automatiser le processus fastidieux de mise en œuvre de règles de conception architecturale (structurelles et fonctionnelles). Ces techniques peuvent également être utilisées pour l'apprentissage, la conversion et la transposition de styles architecturaux.

- un énorme potentiel pour aider la conception architecturale et urbaine avec une grande variété (en quantité et qualité) et pertinence de solutions (en qualité et faisabilité), dépassant de loin les limites du paramétrique, lequel a tendance à générer des motifs répétitifs débouchant souvent sur une qualité architecturale faible, assez uniforme. Or, la puissance des GANs est surprenante pour apprendre des styles de composition et les restituer dans des instances totalement inédites ( et variations, fig.6).

- leurs productions peuvent certainement aider à comprendre comment fonctionnent certains mécanismes de l'imagination et de la créativité humaine. En 2002, Gero posait la question : « Un algorithme peut-il être créatif ? » [9]. On peut beaucoup apprendre en obervant le fonctionnement des GANs et la façon dont ils puisent dans des sources variées (que l'on choisit librement) la matière pour composer « à leur manière » des objets qui souvent surprennent. La compréhension du fonctionnement de notre cerveau associant l'hémisphère droit (intuition, émotions, sens esthétique) et l'hémisphère gauche (raisonnement, calcul, logique, optimisation) permet de mieux aborder le nouvel enjeu méthodologique lié à l'hybridation du *deep learning* et du *design génératif*, qui a pour but de renforcer la créativité dans ses deux composantes intuitive et adaptative.

- enfin, s'il y a une part de rêve dans l'exploration du DL génératif, le sujet est très sérieux, et mérite de sensibiliser la communauté architecturale. La matière est techniquement difficile à aborder, mais les résultats parlent souvent d'eux-mêmes et interpellent fortement.
<figure><img src="image_6.png" /><figcaption>**Fig. 6.** Exploration locale de l'espace latent : thème et variations autour d'un même concept structurel (30 échantillons générés avec StyleGAN2-ada, résolution 512 x 512).</figcaption></figure>

# 5 Conclusions et perspectives

À l'ère bien installée du big data, peut-être nous faut-il considérer une nouvelle source de créativité dans l'exploration judicieuse de la capacité de l'IA à générer de manière relativement autonome des expressions originales de la forme architecturale, sans connaissance sémantique a priori. Nous venons de voir que des approches génératives commencent à identifier, quantifier et combiner les éléments déterminants de nombreux styles architecturaux et paysagers, afin de produire de manière quasi non-supervisée des représentations architecturales très originales et bien intégrées dans leurs sites. De plus, il est envisageable d'utiliser les GANs pour des problèmes génératifs formulés sur la base de contraintes ou de propriétés descriptives, en travaillant sur une autre forme d'expressivité des espaces latents, lesquels ont la capacité de compacter ces contraintes. Il « suffirait » d'analyser où s'y projettent ces contraintes ou propriétés.

Soulignons toutefois trois difficultés actuelles de l'IA générative :

**GAN basés directement sur des modèles 3D.** La généralisation des réseaux de DL aux données 3D non euclidiennes (maillages, nuages de points, graphes) est un terrain d'étude récent qui rencontre encore des difficultés essentiellement topologiques, liées à la manière dont on formule les opérations de convolution. Les graph-GANs, issus des avancées récentes en matière de geometric DL, plus difficiles d'accès et donc largement sous-exploités dans nos domaines de travail, devraient apporter de grands progrès, car ils ont la capacité de générer des objets dont la structure est composée à partir d'opérations codées dans un graphe. Les possibilités de création de formes sont encore restreintes, et le problème reste largement ouvert [2, 5].

**Limites épistémologiques.** Les réseaux neuronaux profonds captent du sens implicitement, mais pas sur le mode de la causalité : ils n'expliquent pas, mais relient seulement de manière très complexe. Comme le dit Xavier Soule, architecte : « L'IA ne produit pas de concept : elle régresse à partir des données dont elle quantifie les corrélations au seul argument de leur densité signifiante ». Seules une labellisation et une sémantisation peuvent aider à créer du sens explicite. L'humain reste le superviseur. La question n'est pas de remplacer l'expertise humaine par l'IA, puisque c'est d'abord sur l'expertise humaine que l'IA peut se développer. Le terme AI « augmented intelligence » semble plus adéquat au sens où il ne cherche pas à opposer l'homme et la machine, mais à en souligner la complémentarité. Pour le reste, les capacités humaines à conceptualiser et à posséder un
sens commun (propres à la conscience) semblent effectivement très au-delà de ce que les réseaux neuronaux artificiels peuvent actuellement réaliser.

*Questions juridiques*. Une autre préoccupation concerne la paternité ou le droit d'auteur d'une œuvre issue d'un GAN. Problème aujourd'hui sans solution, puisque la complexité générative multiéchelle et multisource rend très compliquée l'analyse de causalité. De ce fait, il est probable que les architectes seront certainement réticents à soumettre leurs travaux et renoncer à leurs droits d'auteur sur un ensemble de données devenues accessibles à tous. Certains considèreront-ils cela comme un acte de plagiat si la machine ne fait que créer de nouvelles œuvres qui s'appuient fortement sur les œuvres existantes, mais avec une subtilité qui rend les traces peu perceptibles ? Telles sont les questions transdisciplinaires qui taraudent notamment les juristes, avant d'ennuyer les architectes... dès qu'ils en auront pris conscience. Les réponses à ces questions sont complexes et posent un défi totalement nouveau. Elles se posaient autrement à l'époque des systèmes experts, où elles étaient plus faciles à trancher.

Références

1. R. Abdal, Y. Qin, P. Wonka, Image2StyleGAN++: How to Edit the Embedded Images? (KAUST University Research, 2020)

2. E. Ahmed, A. Saint, A. Shabayek, K. Sherenkova, R. Das, G. Gusev et D. Aouada, *A survey on Deep Learning Advances on Different 3D Data Representations* (University of Luxembourg, 2019)

3. M. Arjovsky, S. Chintala et L. Bottou, Wasserstein GAN. ArXiv:1701.07875 [Cs, Stat] (2017)

4. M. Bachl et D.C. Ferreira, City-GAN: Learning architectural styles using a custom Conditional GAN architecture, arXiv:1907.05280v2 [cs.CV] (2020)

5. M. Bronstein, J. Bruna, T. Cohen, P. Velickovic, *Geometric Deep Learning : Grids, Groups, Graphs, Geodesics, and Gauges* (2021)

6. S. Chaillou, AI + Architecture - Towards a New Approach, Thesis of Harvard University (2019)

7. C. Donahue, Z.C. Lipton, A. Balsubramani et J. McAuley, Semantically decomposing the latent spaces of generative adversarial networks, ICLR (2018)

8. L.A. Gatys, L. Ecker, M. Bethge, A Neural Algorithm of Artistic Style, arXiv:1508.06576v2 [cs.CV] (2015)

9. J.S. Géro, Computational models of creative designing based on situated cognition, *Creativity and Cognition*, *ACM Press*, pp. 3-10 (2002)

10. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair, A. Courville, Y. Bengio, Generative Adversarial Networks, *Advances in Neural Information Processing Systems* 27 (2014)

11. E. Härkönen, A. Hertzmann, J. Lehtinen, S. Paris, GANSpace: Discovering Interpretable GAN Controls (2020)

12. Y. Hong, U. Hwang, J. Yoo et S. Yoon, How Generative Adversarial Networks and Their Variants Work : An Overview, *ACM Computing Surveys* (2019)

13. W. Huang, H. Zheng, Architectural drawings recognition and generation through machine learning, in: Recalibration Imprecision Infidelity - Proc. 38th Annu. Conf. Assoc. Comput. Aided Des. Archit. ACADIA 2018, pp. 156–165 (2018)
14. P. Isola, J-Y. Zhu, T. Zhou, A. Efros, Conditional Image-to-Image Translation with Conditional Adversarial Networks, Proc. CVPR 2017 (2018)

15. T. Karras, S. Laine, T. Aila, J. Lehtinen, Progressive growing of GANs for improved quality, stability and variation, ICLR (2018)

16. T. Karras, S. Laine, T. Aila, A Style-Based Generator Architecture for Generative Adversarial Networks, Proc. CVPR (2019)

17. T. Karras, M. Aittala, J. Hellsten, S. Laine, J. Lehtinen and T. Aila, Training Generative Adversarial Networks with Limited Data, NeurIPS (2020)

18. T. Karras, M. Aittala, J. Hellsten, S. Laine, E. Harkonen, J. Lehtinen and T. Aila, Alias-Free Generative Adversarial Networks, arXiv:2106.12423v1 (2021)

19. Y. LeCun, Qu'est-ce que l'intelligence artificielle (Collège de France, 2016)

20. H. Ling, K. Kreis, D. Li, S.W. Kim, A. Torralba and S. Fidler, EditGAN: High-Precision Semantic Image Editing, arXiv:2111.03186v1 [cs.CV] (2021)

21. H. Liu, J. Zhang, J. Zhu et S.C.H. Hoi, Deep FACADE: a deep learning approach to facade parsing (2017)

22. N. Nauata, S. Hosseini, K.H. Chang, H. Chu, C.Y. Cheng et Y. Furukawa, House-GAN++ : Generative Adversarial Layout Refinement Network towards Intelligent Computational Agent for Professional Architects, CVPR (2021)

23. D. Newton, Generative Deep Learning in Architectural Design, Technol. Archit. + Des., vol. 3, no. 2, pp. 176–189 (2019)

24. X. Pan, B. Dai, Z. Liu, C.C. Loy et P. Luo, Do 2D GANs know 3D shape ? Unsupervised 3D shape reconstruction from 2D image GANs, ICLR (2021)

25. T. Park, M.Y. Liu, T.C. Wang et J.Y. Zhu, Semantic Image Synthesis with Spatially-Adaptive Normalization, NVIDIA Research (2019)

26. Radford, L et Metz, S. Chintala, Unsupervised representation learning with deep convolutional GANs, ICLR (2016)

27. J. Schmidhuber. Deep Learning in Neural Networks : An Overview. IDSIA Switzerland (2014)

28. E. Schönfeld, V. Sushko, D. Zhang, J. Gall et B. Schiele, A. Khoreva, You only need adversarial supervision for semantic image synthesis, Proc. ICLR (2021)

29. Y. Shen et B. Zhou, Closed-Form Factorization of Latent Semantics in GANs, Proc. CVPR (2021)

30. J. Silvestre, Y. Ykeda et F. Guena, Artificial imagination of architecture with deep convolutional neural network, Proc. CAADRIA, pp. 881–890 (2016)

31. Tov, Y. Alaluf, Y. Nitzan, O. Patashnik et D. Cohen-Or, Designing an Encoder for StyleGAN Image Manipulation, arXiv:2102.02766v1 [cs.CV] (2021)

32. T-C. Wang, M-Y. Liu, J-Y. Zhu, A. Tao, J. Kautz et B. Catanzaro, High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs, Proc. CVPR (2018)

33. Z. Wu, D. Lischinski et E. Shechtman, StyleSpace Analysis: Disentangled Controls for StyleGAN Image Generation, arXiv:2011.12799v2 [cs.CV] (2020)

34. W. Xia, Y. Zhang, Y. Yang, J-H. Xue, B. Zhou et M-H. Yang, 2021, GAN Inversion : a Survey, Proc. CVPR (2021)

35. H. Zhang, 3D Model Generation on Architectural Plan and Section Training through Machine Learning, Technologies, 7, **82**; doi:10.3390/technologies7040082 (2019)
36. J-Y. Zhu, T. Park, P. Isola et A. Efros, Unpaired image-to-image translation using Cycle-Consistent Adversarial Networks (2018)

37. J. Zhu, Y. Shen, D. Zhao, B. Zhou, In-Domain GAN Inversion for Real Image Editing (2020)

38. P. Zhu, R. Abdal, Y. Qin, J. Femiani et P. Wonka, Improved StyleGAN Embedding: Where are the Good Latents ? (2021)

39. D. Berthelot, T. Schumm et L. Metz, BEGAN: Boundary Equilibrium Generative Adversarial Networks. arXiv:1703.10717v4 [cs.LG] (2017)

40. Still, M. d'Inverno, A History of Creativity for Future AI Research, Proceedings of the Seventh International Conference on Computational Creativity (2016)

41. Elgamma, B. Liu, M. Elhoseiny et M. Mazzone, CAN: Creative Adversarial Networks Generating “Art” by Learning About Styles and Deviating from Style Norms, Eighth International Conference on Computational Creativity (ICCC), Atlanta (2017)

42. S. Colton. Creativity versus the perception of creativity in computational systems. In *AAAI spring symposium: creative intelligent systems*, volume 8 (2008)

43. Whitehead, *Process and Reality* (New York: The Free Press, 1978)

44. M. Negrotti, M. Alternative intelligence. In Negrotti ed., *Understanding the Artificial : On the Future Shape of Artificial Intelligence*, 55–75. Londres: Springer-Verlag (1991)