関西地区

教育システム情報学会 2023年度学生研究発表会

StyleGAN2 を用いた建物の特徴変換手法の提案
Proposal of Building Feature Conversion Method using StyleGAN2
高岡 椋雅*1, 曽我 真人*2
Ryoga TAKAOKA*1, Masato SOGA*2*1 和歌山大学大学院システム工学研究科*1Graduate School of Systems Engineering, Wakayama University*2 和歌山大学システム工学部*2 Faculty of Systems Engineering, Wakayama University
Email: s236148@wakayama-u.ac.jp
soga@wakayama-u.ac.jp
あらまし：先行研究では，システム利用者が単純な描画方法で描画した簡略デザインから詳細な建物デザインを生成するデザイン支援システムの構築と評価を行った．一方，意図した建築様式を反映させたデザインは出力できない．そこで，本研究では StyleGAN2 フレームワークを用いて，建物デザインの特徴を変換する手法を検討し，元の建物画像の構造を維持しつつ，建築様式などの目的の特徴のみを適用した建物デザインの生成を行う．
キーワード：建物，建築様式，画像生成，デザイン支援，StyleGAN2

1.

はじめに

2.

アニメーションやゲームなどの作品には世界観があり，各々の作品の世界観に合った風景が必要である．そのような作品で描かれる風景は実際に存在する景観が参考にされ，描かれることが多い．特に景観に含まれる建築物は作品の世界観を創る重要な要素であり，作品に世界観に沿った建物デザインが必要である．しかし，建物を描こうとした場合，思ったような建物デザインを探したり，一からデザインアイデアを考えたりするにはかなりの時間を要してしまう．
先行研究では，画像変換が可能な Pix2Pix を用いて，単純な描画方法で描画した簡略デザインから詳細な建物デザインを生成する建物デザイン支援シス
テムを構築し，評価を行った．先行研究の評価におけるアンケートの結果から，課題点として意図した建築様式を反映させたデザインが出力できない点が挙げられた．これは，先行研究のシステムでは生成される建物デザインが西洋の建物デザインに偏ってしまっている点，また描画した簡略デザインに応じて生成される建物デザインの雰囲気は変化するが，一つの簡略デザインに対して一つの建物デザインしか生成できない点が要因であると考えられる．
上記の課題を解決するために，建物デザインを特定の特徴を持つ建物デザインに変換する手法が必要であると考える．建物の特徴とは，具体的には建築様式や装飾，色合いのことである．この特徴変換により，一つの建物デザインから複数の各々が異なる特徴を持った建物デザインを生成でき，生成する建物デザインに多様性を生み出すことで，利用者の目的に合った建築様式の建物デザインを提案することが可能であると考える．この建物デザインの特徴を変換する手法を検討することが本研究の目的である．

提案手法

2.1 提案手法の構成
StyleGAN2⁽¹⁾のフレームワークを用いて，建物デザインの特徴を変換する手法を提案する．提案手法の構成を図 1 に示す．StyleGAN2 の構造を基にして，学習モデルに建物画像のデータセットを学習させる．
その学習させたモデルを用いることにより，入力となる建物画像を潜在変数 w，目的の特徴を持つ建物画像を潜在変数 w´へマッピングする．潜在変数は 14×512 のベクトルであり，この潜在変数を用いて画像変換を行う．潜在変数 w をネットワークの解像度の低い層から入力する際に，潜在変数 w の代わりに目的の特徴を持つ建物画像の潜在変数 w´に入れ替え，特定の解像度の層から最終出力である 256×256の層にかけて入力することにより，元の建物画像に目的となる建物の特徴を適用し，変換した建物画像を生成することが可能である．
この潜在変数 w´を入力する各層に対して，生成画像の建物の要素に与える影響の調査を行い，元の建物画像の構造を維持しつつ，建築様式などの特徴のみを適用した建物デザインの生成を目指す．

図 1 提案手法の構成

89

関西地区

教育システム情報学会 2023年度学生研究発表会

評価実験

2.2 学習データセット

3.

1） 建物の外観画像データセット
解像度 256×256 の様々な特徴を持つ建物の外観画像 654 枚からなるデータセットを用いた．
2） LSUN Church データセット⁽²⁾
解像度 256×256 の教会の外観画像 126227 枚が含まれるデータセットである．このデータセットを学習させた事前学習モデルを元としてファインチューニングを行うことにより，学習させる建物画像の生成モデルが生成する画像の品質の向上を図った．

本実験は，変換画像における建物の構造の維持，目的の建物の特徴の適用，品質を評価することを目的とし，被験者 14 人に各画像番号(1)から(10)に変換した建物画像を提示し，知覚的に 5 段階で評価する
主観評価と構造的類似度を測る SSIM を用いて定量的に評価する客観評価を行った．主観評価の各項目における 5 段階評価の平均値を表 1 に示す．また，客観評価にて変換元の建物画像と変換後の建物画像間の SSIM をヒートマップで可視化したものを図 4に示す．ヒートマップの赤の画素が類似度の低い部分，青の画素が類似度の高い部分である．赤の画素が窓周りやコーニスにのみに現れているのがわかる．

2.3 建物の要素と潜在変数の対応関係
変換元の建物画像の構造を維持しつつ，建築様式などの目的の特徴のみを適用した建物デザインを生成するため，目的の特徴を持つ建物画像の潜在変数を入力する各層に対して，生成される建物の要素に与える影響の調査を行った．調査の結果から，建物の要素と潜在変数 w の対応関係を可視化したグラフを図 2 に示す．建物の特徴のみを変換するために潜在変数を入力する層は，装飾や色合いのみの変換が可能な w5 から w13 の層であると考察する．この結果を基に建物の特徴の変換を行う．

表 1 主観評価による各項目の評価値
画像番号
構造の維持 特徴の適用 変換品質
(1)
4.14
4.64
4.14(2)
4.50
4.14
4.07(3)
4.71
4.07
4.07(4)
4.21
4.71
3.71
(5)
4.71
3.42
4.14(6)
3.00
4.64
4.14(7)
3.35
3.64
4.14(8)
2.71
4.14
3.78(9)4.07
4.5
3.42(10)
4.28
4.28
4.07

図 2 建物の要素と潜在変数 w の対応関係
2.4 対応関係を基にした変換結果
Source A の建物画像に Sorce B の建物の特徴を適用し，生成した建物画像の結果を図 3 に示す．2.3
節の調査結果に基づき，w0 から w4 には Sorce A，w5 から w13 には Sorce B の潜在変数を入力している．Sorce A の建物の構造を維持しつつ，Sorce B の建物の特徴が Sorce A の建物に反映されており，窓周りの装飾や色合いに Sorce B の特徴が現れていることがわかる．

図 4 SSIM の可視化結果

4.

まとめ

本研究では変換元の建物画像の構造を維持しつつ，建築様式などの目的の特徴のみを適用した建物デザインの生成を行った．主観評価の結果，建物上部の生成における不安定さが課題となったが，建物の特徴の適用においては高い評価が得られた．また，客観評価の結果，SSIM を用いた可視化により，建物の構造を維持しつつ，装飾などの特徴のみを適用できていることが確認できた．今後は生成の不安定さを改善するため，学習データを見直す必要があると考える．
参考文献(1) Tero Karras, Samuli Laine, Miika Aittala, Timo Aila,
Janne Hellsten, Jaakko Lehtinen, “Analyzing andImproving the Image Quality of StyleGAN”, CVPR
（2020）(2) LSUN(church), Kaggle,
https://www.kaggle.com/datasets/ajaykgp12/lsunchurch

図 3 建物の特徴を変換した画像

90