3 種の深層学習を用いた建築デザインの参照関係の可視化と近似性の解釈
Visualization of Reference Relationships and Interpretation of Approximation ofArchitectural Design Using Three Types of Deep Larning○越智 広樹 *1, ○谷川 奈央 *1, 山田 悟史*2
Hiroki OCHI*1, Nao TANIKAWA *1, Satoshi YAMADA*2*1 立命館大学 理工学部 建築都市デザイン学科
Undergraduate, Department. of Architecture and Urban Design, Ritsumeikan University.

* 立命館大学 理工学部 建築都市デザイン学科 任期制講師・博士（工学)2Lect, Dept. of Architecture and Urban Design, Ritsumeikan University. Dr.Eng
キーワード：深層学習 ; 建築デザイン ; 画像分類 ; データビジュアライゼーション
Keywords: deep learning; architectural design; image classification; data visualization.

1. はじめに

データビジュアライゼーションはグラフなどの情報の視覚的な表現のことである。また、天気予報も位置情報ことで価値ある知見へと昇華させることを目的とする。
以下に具体的な手法を示す。

を用いたビジュアライゼーションの一種である。このよ

2. 研究概要

多くの場面で活用されている。その理由として、情報が学習で画像分類を行った際の出力に着目する。具体的に報として伝達可能な点が挙げられる。近年では機械学習作成し、その入力画像に対する出力である正解クラス以うにデータビジュアライゼーションは日常生活において持っている特徴を瞬時に多くの人に理解可能な視覚的情などを利用した高度なデータビジュアライゼーションも盛んに行われている。これにより、ただの大量のデータを価値ある知見に昇華することができる。そのため、従来とは異なる特徴や視点を見出せる可能性もある。

本研究においても数値データを視覚化することで傾向や規則性を見出すことを目的としている。今回は対象の建築家の作品の参照関係の可視化（ビジュアライゼーション ) を試みる。

本研究における利点が２つある。1 つ目は既存の建築作

本研究では、建築家間の類似度判定の指標として深層は、対象建築家の作品の特徴を学習させた画像分類 AI を外のクラス（以下、他クラスと表記）への推測値を利用する。この値は入力がそれぞれのクラスに属し得る度合いを示しており、そのうち他クラスへの値は、入力が部分的に他クラスの特徴に近しいことを示している。その値を集約することでクラス間の特徴量の近似性を表せると考え、データビジュアライズを活用して表現し分析を行った。

2.1. データセット

データセットの元となる画像はスクレイピングによっ品の評価に ' 参照された ' という新たな視点を与えることて Yahoo! 検索（画像）〔https://search.yahoo.co.jp/image〕

参照関係を見出せる可能性があるためである。２つ目は後、AI による各建築家の作品の特徴抽出が正しく行われができるという点である。これは深層学習により新たな各企業の建築デザインデータベースを形成することが可能になるという点である。企業のデータ類はクラウド化され企業内に共有されることが一般的になった。しかし、建築デザイン分野においては人に直接、または膨大な資料の中から確認をするという状況が続いている。そこで、各企業で建築デザインのアーカイブを作成し、分類しての検索結果に表示されるサムネイルから収集した。そのるように、独自で設定した条件に従い画像の選定を行った（画像選定条件は図 1 内に記載 )。この際、建築物の角度や種類は統制していないが、これは建築家の特徴を包括的に抽出することを目的としている。また、調査の対象には世界的に著名とされる 3 名の建築家に加え、ここ10 年でプリツカー賞を受賞した 10 の建築家・建築家集団 1)管理することができれば手早くデザイン引用をすることを選出し、合計 13 のクラスを定義した。上記の手法で集え、企業の実績を簡単に整理、継承することができると比率で学習用と検証用に分割した。ただし、本研究は今建築デザインでは用途別に分類・系統化されているこを目的としているため、汎用性の調査に用いるテストデーができると考えた。これにより日々の業務の効率化に加考えられる。とが多い。しかし、今回は深層学習によりデザイン類似別に分類することを目指す。その出力結果を可視化する
日本建築学会情報システム技術委員会
第 44 回情報･システム･利用･技術シンポジウム論文集， 439-442 ， 2021 年 12 月，京都
Proceedings of the 44th Symposium on Computer Technology of Information ，Systems and Applications ， AIJ ， 439-442 ， Dec. ， 2021 ， Kyoto

めた画像群から各クラス無作為に 250 枚を選出し、8:2 の回収集したデータセット内でのクラス間の近似性の抽出タは不要と判断した。その後、後述の学習モデルの入力

サイズ (224 × 224) になるように、画像の形状の比率を保っ－ 439 －

Alejandro Aravena 2016

Balkrishna Doshi 2018

Frank Lloyd Wright

Grafton Architects 2020

Lacaton & Vassal 2021
Shigeru Ban2014

Arata Isozaki

2019Frei Otto

2015

Toyo Ito2013

Wang Shu2018 クラス , 建築家・建築集団名
プリツカー賞受賞年の順で記載

Mies van der RoheLe Corbusier

ランダムに抽出
Randomly extracted

最適化関数 /scheduler/ 初期学習率

Calcualate the similarity from the values other than the correct

250 枚の画像
データセット・カラー画像・文字を含んでいない
・画像内の対象建築物の全体に占める割合が目測でおよそ 50% 以下
・写り込んでいる人物の全体に占める割合が目測でおよそ５％以下
・過度にデフォルメされていない模型や CG 画像

total number of images collected under conditions

・学習済みモデル使用なし
・転移学習・ファインチューニング

×

出力の正解クラス以外の値から類似度を算出

RCR Arquitectes 2017

条件をもとに収集した画像の総枚数 :5617 枚・AlexNet・ResNet50
・VGG16answer of the output

chord graph を作成し結果を可視化
create chord graphs and visualize results

合計 13 クラス
13 classes in total

ノードが円周上に配置されエッジの太さがノードとノードの繋がりの強さを示す

node are placed on the circumference,the thickness of theedge indicates the strength of the connection betweeen
the nodes

Figure 1 Overall flow of this research

1 Alejandro Aravena

2 Lacaton & Vassal

3 Balkrishna Doshi

4 Shigeru Ban

5 Flank Lloyd Wright

6 Frei Otto

7 Grafton Architects

8 Arata Isozaki

9 Toyo Ito

10 Le Corbusier

11 Mies Van der Rohe

12 RCR Arquitectes

13 Wang Shu

Figure 2 Image example of each class

画像の URL リスト左上のものから記載
Image URL list from the top left

たままを値 0 でパディングした。図 2 に編集後の画像を3 種のモデルに対し、それぞれ、学習済みモデル不使用、習用画像には左右反転処理を施した。

を適用した計 9 種類の学習条件を設定した。この時 epoch

学習には画像認識モデルのタや最適化関数、scheduler を変更させ様々な学習条件を一部示す。また、学習前に Data Augmentation として学
2.2. 学習モデル

AlexNet2), ResNet503),

VGG16 を利用した。これら 3 種のモデルは全ての学習
4)

モデルが同じ結果を示すかどうかは不明であり、アンサンブル学習的観点から採用した。これらを複数の条件下で学習させた結果を比較し、それぞれ最も高い精度を示した条件における出力を後述のビジュアライゼーション

転移学習 6)、ファインチューニング 7) の 3 種類の学習方法

数はいずれも 100 とし、学習率などのハイパーパラメー設定した。条件の一覧は表 1 に示す。このうち各モデルで最も高い精度を示した条件の学習モデルを建築家間の近似性の抽出に利用する。
2.4 推論値の処理と解釈

2.3 で学習させたモデルを利用して入力画像に対する推に利用した。この際、分類時に対象が建築となっている論値を取得する。推論値は入力画像が各クラスに属し得2.3 学習条件

り除いてから同一クラスごとに合算してから出力するこ

かは CAM5) を利用して確認をした。

条件の設定は検証の過程で 2 度行った。1 度目は 2.2 の報告 H59る度合いを示す値である。そのため正解クラスの値を取とで、入力クラスの各クラスに対する特徴量の近似性を－ 440 －

AlexNetResNet500.7

train0.50204060800.60.50.6

valid0.4

1000.52.01.61.51.202040608

0010080

0.00.00

転移学習

20406080

100020406080

転移学習

30

pred

ReduceLR

注4 )0 1 2 3 4 5 6 7 8 9 10 1112

pred0StepLR

Figure 3 Learning transition and Summary tableof the best pattern in each learningmodel

ReduceLR
StepLR
ReduceLR

SGD
StepLR

VGG162010
0 1 2 3 4 5 6 7 8 9 10 1112

SGD

学習済みモデル使用なし

40pred

注2 )

AdamW

10050

0 1 2 3 4 5 6 7 8 9 10 1112

注3 )ファインチューニング

0.25
0StepLR

学習済みモデル使用なし

0.750.50

注1 )

AdamW

1.000.4

初期学習率 epoch0.001
500
0.0001
0.001
100
0.001
0.0001200
0.00001
0.001
0.0001100
0.001
0.0001200
0.001
0.00010.001
0.001
0.0001100
0.00001
0.001
0.001
0.0001
300
0.001
500
0.0001
300
0.001
200
0.0001
150
0.001
0.001
0.001
0.0001
0.001
0.001
100

scheduler

ファインチューニング

100correct

121110 9 8 7 6 5 4 3 2 1 008

60

1.25

0.206

40

1.50

0.604

20

1.75

0.8

02

0100

1.0

0.5

SGD

0.4

1.4

1.0

転移学習

0.7

AlexNet

0.6

最適化関数

学習済みモデル使用なし

0.8

0.8

0.7

学習タイプ

0.9

0.9

0.8

Table 1 Learning conditions and their achievements

1.0ResNet

0.90.0VGG16

1.01.0ファインチューニング

ReduceLR
注5 )ReduceLR(patience=5)
AdamW
注6 )
ReduceLR(mode=max)
注7 )ExponenrialLR
注8 )CosineAnnealingWarmRestarts

0.0001

正答率 損失0.5030 1.9114
0.1461 2.5254
0.7385 1.2430
0.7415 1.1324
0.7153 1.1407
0.6184 1.2783
0.7461 1.1704
0.7153 1.1814
0.0769 2.5649
0.7307 1.0967
0.1646 0.2446
2.4874 2.271
0.6169 1.2982
0.7784 0.7905
0.7476 0.9028
0.3938 2.29190.7876 0.7789
0.6215 1.7552
0.8092 0.8324
0.5707 1.7278
0.5707 1.6260
0.5569 1.8695
0.5538 1.6363
0.6369 1.2251
0.7923 0.8785
0.7476 0.8750
0.4246 2.1649
0.7892 0.8486
0.5138 2.6077
0.8076 0.8121
0.8030 0.9219
0.8015 0.8628
0.7984 0.9286
0.8123 0.9136

示す値と見なした。この際、後述の chord graph への変換に使用した 3 種のモデルからの出力データを元にアンサンから 1 の範囲に値が収まるように調整した。

ラスごとの出力を予想スコアとし、その分布とスコアの合に適した形になるように出力に softmax 関数を適用して 02.5 ビジュアライゼーション

ネットワークグラフ "chord graph"( コードグラフ ) を作ブル的に考察を行う。この際、予想クラスに対する正解ク計値の分布を考察に利用する。

スコアの合計に関しては、まず Ludwig Mies van der成する。コードグラフは各ノードの繋がりを表現するグラRohe（以下 Mies と表記）は各モデルにおいても各ノーライブラリーLe Corbusier（以下 Corbusier と表記）は ResNet 時にエッフである。コードグラフ作成のために python の holoviews8)を使用する。今回は得点のエッジを重みにもつグラフを作成する。つまり、各クラス間の得点はコードグラフ上において各ノードに接続するエッジの太さに反映される。エッジが太くなるほど近似性が高いことを示している。

3 結果と考察
3.1 結果

表 1 に今回実施した学習条件とその成果一覧をまとめた。図 3 に各学習モデルにおいて最高精度が出力され た 際 の 学 習 推 移、 画 像 の 分 類 集 計 結 果 を ま と め た。

AlexNet ではファインチューニング、最適化関数 SGD，scheduler:ReduceLR，初期学習率 0.001 のパターンにおいて 0.7461 ,ResNet50 ではファインチューニング、最適化
関数 AdamW,scheduler:ReduceLR, 初期学習率 0.0001 のパドから入るエッジが太く、特に AlexNet で顕著であった。
ジが太く、それ以外のモデルにおいても一定の太さを保持している。このようにモデル間で差はあるが、各クラスとも共通する特徴量を有することを示している。この結果はMies と Corbusier が同年代に活動した近代建築を代表する建築家であり、多くの建築家に影響を与えたとする言説と一致する。次に、上記の 2 名と同様に近代建築の巨匠とされる Frank Lloyd Wright（以下 Wright と表記）についてはいずれのモデルにおいても目立ったエッジが確認できず、今回の対象の中では独特な特徴量を持つことを示している。これは Wright が有機的建築を設計の主軸にしていたためと考えられる。他、特質できる点として GraftonArchitects は全てのグラフにおいてもエッジが太く、他クラスと共通する特徴量を持っているという発見があった。
個々のクラス内では、スコアの分布から 3 種のモデル

ターンにおいて 0.8092 ,VGG16 ではファインチューニンで一貫する特徴量の近似性は表 2 のように示された。こRestarts, 初期学習率 0.0001 において 0.8123 と 7 割から 8Mies」,「Shigeru Ban - Toyo Ito」,「RCR Arquitectes -グ、 最 適 化 関 数 AdamW,scheduler:CosineAnnealingWarm割ほどの精度を獲得することができた。その結果におけるコードグラフが図 4 である。
3.2 考察図 4 で示した 3 種のコードグラフと、コードグラフ作成

報告 H59の 中 で も 特 に「Arata Isozaki - Toyo Ito」,「Corbusier -Mies」,「Corbusier – Shigeru Ban」は互いにスコアが高く、特に近しい特徴量を有することが示唆される。特にスコア合計時に着目した三大巨匠に関しては Corbusier と Miesの特徴量が近しく、Wright は上記 2 名とは特徴量的には－ 441 －AlexNetResNet

Figure 4 chord graph generated from each learning modelVGG16

Table 2 correct answer class with the highest
predicted score for each class
予想クラス

正解クラス

Alejandro Aravena

Le Corbusier

Lacaton & Vassal

Shigeru Ban, Toyo Ito

Balkrishna Soshi

RCR Arquitectes, Frank Lloyd WrightFrank Lloyd Wright

Arata Isozaki, RCR Arquitectes

Grafton Architects

Arata Isozaki, Wang Shu, Le Corbusier

Toyo Ito

Arata Isozaki, Shigeru Ban

SHigeru Ban

Toyo Ito, Le Corbusier

Frei Otto

Toyo Ito

Arata Isozaki
Le Corbusier

Toyo Ito, Shigeru Ban

Mies van der Rohe, Shigeru Ban

Mies van der RoheLe Corbusier, RCR Architectes, Lacaton & Vassal

Wang Shu

Arata Isozaki

RCR Arquitectes

RCR Arquitectes, Mies van der Rohe

離れていることが示されている。また、既知の関係性を有する事例として Corbusier の元で働いていた Doshi が挙げられるが、スコアの分布上では形態としての特徴量の近似性は低い結果となった。
4 おわりに

本研究では、画像分類モデルにおける出力に着目し、chord graph によってビジュアライズすることで、複数の建築家間における特徴量の近似性を分析した。結果としては、一般的に知られている建築家間の関係性に沿った特徴量の近似性を発見したほか、従来では見出されていない建築家間に共通する特徴量が存在することが示唆された。一方で今回はモデルの過学習を抑えることができておらず、無統制の画像の分類という観点においては分類精度に課題が残る結果となった。加えて、交差検証などの実施も課題としてあげられる。今後の展望としては、学習精度を向上に加え、他モデルの使用や分類器における出力のメカニズムを踏まえた分析などを通して、結果の妥当性を向上させることを考えている。

なお、今回作成したコードグラフは以下のリンクおよび、図 4 内の QR コードより確認が可能である。

[http://satoshi-bon.jp/2021/10/01/approximation/]

報告 H59[ 注釈 ]
注 1) 確率的勾配降下法に基づく最適化関数
注 2) Adam の重みに関するものを書き換えたもの
注 3) 指定された epoch ごとに学習率を任意の割合で減衰させる
注 4) 学習の中で最小の損失が任意の回数（デフォルトは 10) 以上更新されなかった場合、学習率を減衰させる
注 5) 注 4) のにおける回数を 5 に変更したもの
注 6) 注 4) において損失の代わりに正答率を基準にしたもの
epoch
注 7)( 任意の値 )**で学習率を更新するもの
注 8) 半周期分の余弦波を一定の倍率で波長を引き延ばし、連続させるかたちで学習率を推移させるもの[ 参考文献 ]1) The Pritzker Architecture Prize Laureates, The Pritzker ArchitecturePrize, The Hyatt Foundation, 2021.9.27, https://www.pritzkerprize.
com/laureates
2) Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton:ImageNet
Classification with Deep Convolutional Neural Networks, NIPS'12
Proceedings of the 25th International Conference on NeuralInformation Processing System - Volume 1,pp.1097-1105,2012.12
3) Keiming He, Xiangyu Zhang, Shaoquing Ren,Jian Sun: Deep
Residual Learning for Image Recognition, IEEE Conference on
computer vision and pattern recognition, pp. 770-778, 2016
4) Karen Simonyan, Andrew Zisserman: Very deep convolutional
networks for large-Scale image recognition, arXiv 1409.1556, 20155) Ramprasaath R. Selvaraju, Michael Cogswell, AbhishekDas,RamakrishnaVedantam, Devi Parikh, Dhruv Batra:Grad-CAM:
Visual Explanations from Deep Networks via Gradient-based
Localization, arXiv:1610.02391v4, 2019
6) Chuanqi Tan, Fuchun Sun, Tao Kong, Wenchang Zhang, ChaoYang, Chunfang Liu:A survey on Deep Transfer Learning,arXiv:1808.01974,2018
7) Zhizhong Li, Derek Hoiem: Learning without Forgetting,arX
iv:1606.09282,2017
8) Chord, Holoviews, Anaconda Inc, 2021.9.29, https://holoviews.org/
reference/elements/bokeh/Chord.html
9) 大野耕太郎 , 山田悟史 , 宗本晋作 , 細波哲也 : Deep Learningを用いた街並み画像に対する平均訪問推定意欲推定 AI の作成と検証 , 日本建築学会大会学術講演梗概集 ,pp.119-pp.120,
2020, 910) Sasank Chilamkurthy: transfer learning for computer vision
tutoreal,PyTorch,2021.9.30, https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html－ 442 －