関西地区

教育システム情報学会 2021年度学生研究発表会

GAN による簡略デザインを詳細デザインに変換する
建物デザイン支援システム
Building Design Support System
converting Simple Design to Detailed Design using GAN

高岡 椋雅*1，曽我 真人*2
Ryoga TAKAOKA*1，Masato Soga*2*1*2 和歌山大学システム工学部インタラクションデザイン研究室*1*2Interaction Design Lab., Faculty of Systems Engineering, Wakayama University
Email: s236148@wakayama-u.ac.jp
あらまし：GAN の派生技術である Pix2Pix は画像から画像への変換を可能にする．また風景画を描く際，現実に存在する建物を参考にすることが多いが，思ったような建物を探すのには時間を要する．そこで本研究ではシステム利用者にラベル画像を描画してもらうことでリアリティのある建物画像を生成するデザイン支援システムの構築と生成された画像の精度の評価を行う．
キーワード：敵対的生成ネットワーク，Pix2Pix，画像生成，建物，デザイン支援

1.

はじめにアニメーションやゲームなどの作品には風景が描かれる．作品において風景は作品の世界観を創る重要な要素であり，その風景は実際に存在する景観が参考にされ，描かれることも多い．特に建物や街並みといった風景はクリエイターにとって必要な場面が多いが，思ったような建物を探すのにも，一からデザインアイデアを考えるのにもかなりの時間を要する．参考資料があればアイデアを生み出しやすくはなるが，実際に存在しない物の参考資料を探すのは困難である．
また近年注目されている画像生成技術の一つに敵対的生成ネットワーク（Generative AdversarialNetwork，以下 GAN）がある．GAN は生成器であるGenerator と識別器である Discriminator の二つのニューラルネットワークから構成されており，生成器が偽のデータを生成し，その偽のデータを受け取った識別器が偽物か本物かを見分ける学習を行うことで，本物に近い偽のデータを生成できるというものである．この特徴を活かした GAN による画像生成が幅広く行われている．その GAN の派生技術である
Pix2Pix⁽¹⁾は入力画像から出力画像へのマッピングを学習する条件付き敵対的生成ネットワークであり，画像から画像への変換を可能にする．

2.に描画してもらうことにより，システムの利用者が意図した雰囲気の建物デザインを可能な限り単純な描画方法で生成できるようにすることが目的である．

3.

関連研究

関連研究⁽²⁾では，学習モデルに DCGAN（DeepConvolutional GAN）を用いることで，解像度やリアリティに課題はあるものの，実際の街並みと近似な印象を被験者に抱かせる街並み画像の生成が可能となっている（図 1）．しかし DCGAN は生成される画像がすべて学習データと AI 次第になってしまい，第三者が意図したような建物のデザインを生成することは困難である．それに対し，本研究では Pix2Pixを用いることにより，条件となるラベル画像を入力させることで，それを基にした建物の画像を生成することが可能である．これにより，利用者が意図したような建物のデザインを生成することも可能である．

研究目的

前述した Pix2Pix による画像生成を用いてデザインアイデアを生み出すことで，人がデザインアイデアを考える時間を短縮し，効率化を図ることが可能であると考えた．そこで本研究では，風景の中でも複雑である建物のデザインに着目し，クラス分類されたラベル画像のように色だけで表現された簡略デザインを，Pix2Pix によって学習させたモデルを用いることによって，詳細な建物のデザインに変換する
建物デザイン支援システムの構築を目的とした．ラベル画像のような簡略デザインをシステムの利用者

図1

4.

関連研究において生成された街並み画像システムの概要

4.1 学習させたモデル
学習モデルには Pix2Pix を使用し，データセットには The CMP Facade Database⁽³⁾を使用して，建物の115

関西地区

教育システム情報学会 2021年度学生研究発表会

外観のラベル画像と実画像のペアのデータセットを学習させた（図 2）．学習の際には，256×256 の画像サイズのラベル画像とノイズベクトルを生成器に入力して画像を生成する．その生成した画像とラベル画像のペア、実画像とラベル画像のペアを識別器に入力することで本物かを示す確率値を算出し，これを生成器と識別器に適用する．これらの学習を繰り返すことにより，建物のラベル画像を詳細な建物の画像に変換することが可能となる．

図2

実画像とラベル画像のペアの例

4.2 構築したシステム
システムの利用者は画面上部に表示されているパレットツールを用いて描画する．パレットにある 12
色各々に建物を構成する要素が対応付けられている．
対応付けされている建物を構成する要素は，Background，Wall，Door，Window，Sill，Head，Shutter，Balcony，Trim，Cornice，Column，Entrance の 12 種類である．各々の色の中に表示されている英単語がその色に対応した建物を構成する要素である．
システム使用の流れとしては，画面左側にパレッ
トにある色で四角形を描画し，そのラフ画を，学習させた Pix2Pix のモデルを通すことにより，画面右側に描画されたラフ画を基にした詳細な画像をリアルタイムで出力するというシステムである（図 3）．

主に描画方法，出力された画像についてのアンケー
トの回答に焦点を当てて本システムについて考察する．
描画方法についてのアンケートでは，線画で描画するよりも容易で使いやすいという点で肯定的な意
見を多くもらった．本システムは単色の四角形のみで描画するという描画方法であることから，単純かつ容易な描画方法を実現できたのだと考える．また，この描画方法でも自身が意図した雰囲気の画像を出力できるという点でも肯定的な意見を多くもらった．これらから描画方法におけるシステムの目的である，システムの利用者が意図した雰囲気の建物デザインを単純な描画方法で生成するという目的は達成できたと言える．
出力された画像についてのアンケートでは，建物のデザインアイデアに活用できそうだが，ぼやけていてわかりづらいところがあるという意見をもらった．また日本建築の建物デザインも出力できるようにしてほしいという意見ももらった．本システムでは，学習させたデータセットが外国の建物に偏っていたため，生成された画像も外国の建物デザインに偏ってしまっていた．これらから，より個人の目的に合った建物デザインを生成するため，学習モデル及びデータセットを見直す必要があると考える．

6.

まとめ

本研究では GAN の派生技術である Pix2Pix を用いた建物デザイン支援システムの構築と評価実験を行った．評価実験では描画方法については問題がなかったが，出力された画像については課題が見つかった．確かに，建築様式は日本建築やギリシャ建築，ローマ建築など多種多様であり，建物のデザインも各々の雰囲気が異なる．本システムの現状だと典型的な建物のデザインは出力できるものの，意図した建築様式の雰囲気を反映させたデザインは出力できない．この課題を改善するには，スタイル変換の手法が必要であり，学習モデル及びデータセットを見直す必要がある．
参考文献

図3

ラフ画の描画で詳細な画像が出力される画面

5.

評価実験

(1) Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros:“Image-to-Image Translation with Conditional
Adversarial Networks”, arxiv（2016）(2) 大野 耕太郎, 山田 悟史,“Deep Learning を用いた画像生成 AI のデザイン分野への適用可能性”, 日本
建築学会・情報システム技術委員会第 41 回情報・シ
ステム・利用・技術シンポジウム,（2018）(3) Radim Tylecek, Radim Sara:“Spatial Pattern Templates
for Recognition of Objects with Regular Structure”, Proc.
GCPR（2013）

評価実験では 12 名の被験者に本システムを使用してもらい、アンケートを回答してもらった。アン
ケート内容は 5 段階評価 10 項目，自由記述 3 項目，描画方法についてのアンケート 3 項目，出力された画像についてのアンケート 3 項目である。ここでは116