目的に応じたジェネレ−ティブデザイン AI の体系化
Systematization of generative design AI according to purpose○大野耕太郎 *1，池之上慎吾 *2, 山田悟史 *3
Kotaro ONO*1,Shingo IKENOUE*2,and Satoshi YAMADA*3*1 立命館大学 理工学研究科

環境都市専攻博士前期課程Undergraduate, Dept. of Architecture and Urban Design, Ritsumeikan Univ.
*2 立命館大学 理工学部建築都市デザイン学科
Dept. of Architecture and Urban Design, Ritsumeikan Univ.
*3 立命館大学 理工学部建築都市デザイン学科

任期制講師・博士（工学）Lecturer, Dept. of Architecture and Urban Design, Ritsumeikan Univ., Dr.Eng.
キーワード：人工知能；AI；GAN
Keywords:Artiﬁcial Intelligence(AI) ;Generative adversarial networks(GAN)
1. はじめに近年自動運転車や言語解析といった様々な分野において Deep Learning を用いた人工知能 (AI) 技術に対する関0,0.21,0.56,0.34....

generator

100 次元のランダムノイズ Z

生成器

生成画像心が高まっている。特に近年発展している技術として敵GAN は 生 成 器（generator） と 判 別 器（discriminator）
生成器の役割は与えられた画像に対して、元画像とは異なる画像を生成することである。判別器の役割は、生成された画像が本物かどうかを判別し、偽物画像を判別することである。GAN ではこの両者を、生成器が出力した画像に対して判別器が返す誤差が小さくなるように学習をさせる。2 つのネットワークが交互に学習を行い全体としての誤差を減らしていく学習の仕組みから敵対的生成ネットワークと呼ばれている。
GAN の仕組みを応用した技術は多様化しており、これらの手法は生成内容やネットワーク構造に特徴を持つため使用目的により使い分ける必要がある。そこで本稿では、GAN の派生技術を用いたコンテンツ生成型 AI の試行

random noiz z

Generator Network[100,1,1]

ConvTranspose2D [65536,1,1]
BatchNorm2D

ConvTranspose2D [32,128,128]
BatchNorm2D

ReLU

Reshape1: 本物画像判定器

本物画像対性生成ネットワーク (GAN)1) がある。という２つのニューラルネットワークで構成されている。

0: 偽物画像

discriminator

ReLU[256,16,16]

ConvTranspose2D [16,256,256]
BatchNorm2D

ConvTranspose2D [128,32,32]
BatchNorm2D

ReLU
ConvTranspose2D [3,256,256]

ReLU

Sigmoid

ConvTranspose2D [64,64,64]
BatchNorm2D

Output Image

ReLU[3,256,256]

図１ DCGAN の概念図とジェネレーターのネットワーク図
京都街並み

エディンバラ街並みと、建築分野における適用可能性の提案を行うことを目的とする。具体的には「DCGAN2)」「pix2pix3)」「CycleGAN4)」の 3 種を用いた検証を行う。なお各モデルにおいて生成画像のサイズは 256 × 256 ピクセルの RGB 画像とし、モデルの生成には DeepLearning のフレームワークであるPytorch4) を用いた。
2. DCGAN

図 2 街並み教師画像一例
サン・ピエールの教会

ロンシャンの礼拝堂

サヴォア邸

2.1 DCGAN の概要とネットワーク構造の説明
DCGAN は従来の GAN 手法に対して畳み込みニュートラルネットワークを適用することで学習がより進みやすくするようにした技術である。DCGAN ではプーリング層を用いず、生成器においてアップサンプリングを行う際に分数
日本建築学会情報システム技術委員会
第 42 回情報･システム･利用･技術シンポジウム論文集， 184-187 ， 2019 年 12 月，東京
Proceedings of the 42nd Symposium on Computer Technology of Information ，Systems and Applications ， AIJ ， 184-187 ， Dec. ， 2019 ， Tokyo

図 3 ル・コルビュジェ建築物教師画像一例－ 184 －

京都+エディンバラ的にストライドする逆畳み込み層 (DeConvolution) を用いるといった特徴を持つ。
図 1 に DCGAN の概念図と生成器のネットワーク構造を示す。まず 100 次元のランダムな値 ( ベクトル ) から生成器での畳み込みを介して RGB の 3 チャンネルを持った画像が生成される。判定器側では生成器で作られた画像と、教師画像として用いられた画像とを畳み込みを介して 0( 偽物 ) から 1( 本物 ) までの値を出力し、判定を行う。

図 4 街並みデザイン演算結果一例
サン・ピエール＋サヴォア

サン・ピエール＋ロンシャン

３作品デザイン演算

DCGAN では生成器に与えるベクトル同士の四則演算による画像形成が可能である。本稿では n 次元ベクトル化したデザイン同士を演算することで新たなデザインを生成することをデザイン演算と呼称する。
デザイン演算による画像生成

図 5 建築物デザイン演算結果デザイン演算の例として、街並み画像の演算とル・コ

Generator Network (Res-Net)
Input Image[3,256,256]

Conv2D[64,256,256]

ど、教師画像の特徴を継承しつつも、新しいデザイン性を持った画像が生成できていることがわかる。
DCGAN では不足している教師データの生成のようなタス

Conv2D

BatchNorm2D[128,128,128]

Conv2D

思いつかないようなデザインを生成することで、デザイ

BatchNorm2D
ReLU

ReLU

ConvTranspose2D [64,256,256][256,64,64]

ReLU

BatchNorm2D
ConvTranspose2D [128,128,128]

shortcut connection

で紹介する CycleGAN は画像を変換して新たな画像を作る

ReLU

・・・・・

Resnet block[256,64,64]

習し画像を生成したが、本章で紹介する pix2pix と次章

Resnet block

DCGAN では 100 個の潜在変数から教師画像の特徴量を学Resnet block

Resnet block

3. pix2pix
2.1 pix2pix の概要とネットワーク構造の説明[256,64,64]

Inside Resnet block

Resnet block×9

LeakyReLU

BatchNorm2D

Conv2D[512,32,32]

LeakyReLU

Conv2D

BatchNorm2D[256,32,32]

LeakyReLU

BatchNorm2D

LeakyReLU

Conv2D[128,64,64]

図６にネットワーク図、図 7 に pix2pix の概念図を示

Conv2D

定器側の学習に PatchGAN3) を用いる。

[64,128,128]

り、生成器側の学習に Residual Network(Res-NET)8)、判Input Image

その発展形である pix2pixHD7) 型のネットワーク構造を取[6,256,256]

ネットワークを持つ AI である。従来の pix2pix の手法では U-NET6) 型のネットワークが取られていたが、本稿では[3,256,256]

BatchNorm2D

ReLU

クを行うことが多いが、デザイン演算といった人間にはン発散ツールとしての使用法もある。

Tanh

Conv2D

ReLU

OutputBatchNorm2D[3,256,256]

Conv2D
BatchNorm2Dには粗い部分が見受けられるものの、屋根や柱の形状な

Output Image

Conv2D
BatchNorm2D

生成画像を見ると、画像の情報量が多い街並み生成画像

Conv2D図 2・図３に示す。生成画像の一例を図 4・図 5 に示す。

[1] MeanSquared Error

ルビュジェの作品の演算を行なった。教師画像の一例を[1,32,32]

2.2

トワークである。この際に教師画像 A と教師画像 B のペ

Discriminator Network (Patch GAN)
図 6 Pix2Pix CycleGAN ネットワーク図しては京都の街並みと、住宅の材質である。教師画像に

ア、教師画像 A と教師画像 A を生成器に投げて作られた用いた画像の一例を図 2 と図 10 に示す。これらの教師画変換画像 B のペアの２つを学習し誤差を減らしていく。

像を画像処理を行いエッジのみを残した線画画像を教師

pix2pix の注意点として、学習に用いるペアのデータセッ

画像 A、元の写真を教師画像 B とし、AtoB の変換を学習トが必ず何かしらの法則性 ( 位置関係など ) を持って対した。

す。pix2pix は、ある画像 A に対してそれに対となる画像
B をデータセットとして AtoB の状態変化を学習するネッになっていなければ上手く画像を生成することができな

教師画像には用いていないが教師画像と同じ属性を持いことがある。

つ画像を入力した際の生成画像の例を図 11 に、教師画像

2.2 pix2pix による線画着色 AI の作成にも用いておらず、教師画像の属性とも異なる画像を入

pix2pix を用いた画像変換の例として本稿では線画から力した際の生成画像の例を図 10 に示す。それぞれ上段画像を着色する AI の作成を試行した。具体的な対象物とが入力画像、下段が生成画像である。生成画像を見ると、

報告 H66－ 185 －京都学習モデル

木学習モデル

ガラス学習モデル

レンガ学習モデル

図 7 教師画像と属性が異なる対象物を入力した際の pix2pix 線画着色画像一例
木造ガラス造京都学習モデル

レンガ造

木学習モデル

ガラス学習モデル レンガ学習モデル

図 8 住宅材質別教師画像一例

Real A & Real B

教師画像
Adiscriminator

教師画像
B判定器

教師画像
AGenerator
A→B

0: Fake
1:RealReal( 出力が 1) となるように学習

変換画像
B

Fake( 出力が 0) となるように学習

discriminator

1:Realリアリティのある着彩を行うことができる可能性がある。

図 9 Pix2Pix 概念図 (A → B 変換の場合 )AA 判定器

教師画像
ACycle Consistency Loss
再変換画像
AGenerator
A←B

B→A 生成器
Generator
A→B
0: Fake
1:Realdiscriminator

A

変換画像
AA 判定器

CycleGAN B to A

3.1 CycleGAN の概要とネットワーク構造の説明

A→B 生成器
Generator
A←B

pix2pix では画像変換を行う際に必ず何かしらの規則
変換画像
B

discriminatorB

0: Fake
1:Real性をもって対応した教師画像のペアを用いて学習を行う必要があった。CycleGAN も pix2pix と同様に画像の変換

B 判定器

CycleGAN A to Bを行うネットワークであり、使用する生成器と判定器のネットワーク構造は同じく図 6 のような形をとる。しかしながら、pix2pix と CycleGAN は生成器や判定器の使用再変換画像
B

構成の違いにより、特徴に違いを持つ。CycleGAN の特徴
Cycle Consistency Loss

教師画像B

B→A 生成器

図 10 CycleGAN 概念図

報告 H66

3. CycleGAN

Generator
A→BA→B 生成器

で、細かい部分の塗りにはまだ課題があるといえる。
習させることで、3D モデルのレンダリング画像のようなReal A & Fake B
discriminatorと空の境界などを塗り分けすることができている。一方
今後多様な素材や建築物の画像を pix2pix に大量に学

0: Fake

判定器

1:Real画像を生成することができていることがわかる。また教師画像とは異なる属性を持つ画像を投げた際にも、建物生成器 A→B

0: Fake

図 11 住宅材質学習 Pix2Pix 線画着色画像一例
教師画像と同じ属性を持つ画像を入力した際には詳細にdiscriminator
Bとして、教師画像を全体を通して画像のどの部分を変換
0: Fake
1:RealB 判定器

すればよいのかを学習していくような構造になっており、教師画像を 1 枚づつペアにしていなくても画像の変換を行うことができる点 ( アンペア学習 ) がある。図 10 に
CycleGAN の概念図を示す。CycleGAN は Generator が 2 つ－ 186 －ル・コルビュジェ→ザハ・ハディド変換

ザハ・ハディド→ル・コルビュジェ変換

図 12 街並み CycleGAN 変換結果一例
ヘイダルアリエフセンター

ギャラクシー SOHO

リバーサイドミュージアム

エディンバラ→京都変換

京都→エディンバラ変換

図 13 ザハ・ハディド建築物教師画像一例と Discriminator が 2 つあり、それぞれ AtoB 変換と BtoA
変 換 と 判 定 を 行 う。 こ れ と は 別 に CycleGAN で は Cycle
Consistency Loss と呼ばれる誤差の学習を行う。これは生成器によって生成された画像を逆方向の生成器に投げることによって再生成された画像と元の教師画像とを比較した際に生じる誤差を減らすことで変換を詳細に進め

図 14 街並み CycleGAN 変換結果一例ていく仕組みである。こうした複雑なネットワークを介[ 参考文献 ]1)Ian J Goodfellow,Jean Pouget-Abadie,MehdiMirza,BingXu,David Warge-Farley,Sherjil Ozair,AaronCouville,Yoshua
Bengio: Generative AdversarialNets,https://arxiv.org/abs/1406.2661,2014,62)Alec Radford,Luke Metz,Soumith Chintal:Unsupervised
Representation Learning with Deep Convolutional
Generative Adversarial Networks,https://arxiv.org/abs/1511.06434,2015,113)P h i l l i p I s o l a , J u n - Y a n Z h u , T i n g h u i Z h o u , A l e x e iA.Efros:Image-to-Image Translation withConditional Adversarial Networks,https://arxiv.org/
abs/1611.07004,2016,114)Jun-Yan Zhu,Taesung Park,Phillip Isola,Alexei A.
Efros:Unpaired Image-to-Image Translation using CycleConsistent Adversarial Networks,https://arxiv.org/
abs/1703.10593,2017,3
5)PyTorch HP : https://pytorch.org/
6)Olaf Ronneberger,Philipp Fischer,Thomas Brox:UNet Convolutional Networks for Biomedical Image
Segmentation,https://arxiv.org/abs/1505.04597,2015,5
7)Ting-Chun Wang Ming-Yu Liu Jun-Yan Zhu Andrew Tao Jan
Kautz Bryan Catanzaro:High-Resolution Image Synthesis andSemantic Manipulation with Conditional GANs,https://arxiv.
org/pdf/1711.11585,2017,118)Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun:DeepResidual Learning for Image Recognition,https://arxiv.org/
abs/1512.03385,2015,129)池之上慎吾 , 大野耕太郎 , 山田悟史：非建築物を学習したファサードデザイン AI −デザインソースを学習した Deep Learning によるデザイン AI − , 第 41 回情報・システム利用・技術シンポジ
ウム論文集10)大野耕太郎 , 山田悟史：Deep Learning を用いた画像生成 AIの建築都市デザイン分野への適用可能性 , 第 40 回情報・システ
ム利用・技術シンポジウム論文集 ,pp246-249,2018,12

して CycleGAN ではアンペア学習でも画像間の変換の特徴を掴むことができる。
3.2 CycleGAN による画像変換の検証
CycleGAN による画像変換の例として、街並み画像の変換とル・コルビュジェとザハ・ハディドの作品 (3 作品 )間の変換を行った。教師画像の一例を図 2、図 3、図 13に示す。街並み画像の変換例を図 14 に、建築家の作品の変換例を図 12 に示す。それぞれ上段が入力画像、下段が生成画像である。生成画像を見ると、入力画像の外形をに基づいて高い精度で画風を変換できていることがわかる。また DCGAN のデザイン演算とは異なり、生成画像には複数のデザイン要素は見られなかった。
上記のように CycleGAN では高い精度での画像変換が可能であり、教師画像のモチーフを生かした画像生成に
より DCGAN とはまた異なるデザイン発散が可能になる。
CycleGAN によるより詳細な生成検証については池之上らによる参考文献 9 を参照。
4. まとめ3 種類の GAN を用いたネットワークの説明と建築分野への適用可能性について言及を行った。今後生成画像の精度向上や他種の GAN などを検証していく予定である。

報告 H66－ 187 －