立命館大学大学院 理工学研究科 2020 年度 修士論文梗概

マルチモーダル深層学習を用いた街並み画像に対する人間の振る舞い予測- 注視傾向予測及び結果を付与した多次元データによる訪問意欲予測を対象に –環境都市専攻 建築都市デザインコース 6143190004-0 大野 耕太郎( 指導教員 山田 悟史 )1．はじめに

表1

学習データセットに用いる街並み一覧
City

回答数

訪問意欲度合正規化ラベルい分野で研究されている。画像を例にすれば深層学

1America

New York

25/46

0.543478

0.570777

2

Australia

Melbourne

15/46

0.326086

0.276414

習の特徴は，画像の意味を表現する特徴量と因果関

3

CanadaSt John's

18/45

0.4

0.376497

係自体を AI が学習することにある。この特徴を活4Czech

Prague38/45

0.844444

0.978306

5

England

37/450.822222

0.948216

かし，様々な分野で既存の結果を上回る成果が報告

6Hong Kong

15/44

0.340909

0.2964847

Italy

LondonMong Kok
Firenze

36/42

0.857142

0.995501

8Japan

Kyoto

37/43

0.860465

1

可能性を提示している。これら多くは非構造な画素

9Japan

Osaka

7/43

0.166666

0.060547

値を用いて分類・推定を行っているが，画像を用い

10

JapanTokyo

5/41

0.121951

011

MexicoGuanajuato

30/41

0.731707

0.825652

深層学習を基盤とする人工知能（AI）技術が幅広されており，筆者らも既往研究で感性に対する適用

Class

Country

12Peru

Cusco

28/41

0.682926

0.759600

うな視点から提案されている学習モデルに「マルチ13Portugal

Porto

31/42

0.738095

0.834302

14Russia

Moscow

31/42

0.738095

0.834302

モーダル深層学習」がある。

15

Scotland

Edinburgh

35/42

0.833333

0.963261

16

South Africa Cape Town

25/43

0.581395

0.622119

17

Korea

Seoul

17/44

0.386363

0.358033
0.635002

ることには限界があり，また合理的でない。このよ

上記の先端的な深層学習モデルの建築・都市分野に対する適用可能性は高い。それは，人間も「視覚」「聴覚」「嗅覚」といった複数の情報や，経験から形成される対象に対する認知も含めて高次元的に意思

18

Spain

Barcelona

26/44

0.590909

19

TaiwanChiufen

22/44

0.5

0.511904

20

Thailand

Bangkok

13/44

0.295454

0.234935

21

ArabDubai

28/44

0.636363

0.696550

入力画像決定をしているからである。このような可能性の中

注視点ヒートマップ画像

スケッチ画像で本研究が着目しているのは「デザインに対する人間の振る舞い予測」である。視覚を通して抱く印象・感性はデザインの重要な目的関数であるが，視覚を

図1

注視点ヒートマップ画像とスケッチ画像一例

通して認識する空間と印象・感性という複雑な関係

被験者実験を行い，マルチモーダル学習に用いるは，学術的にも実務的にも未解明な部分が残る。

注視点情報の取得及び街並み画像を見た際の集団の以上より，本研究では街並みの画像を対象に，訪街路に対する集団の訪問意欲の度合を算出した ( 表問意欲を推定する AI の作成と注視点情報という人1)。また同時にスケッチ画像の取得も行う有効回答間の生理反応を情報付与に用いたマルチモーダル深として各 910 枚分のデータセットを得た ( 図 1) ※ 2。

層学習による AI の作成を検証する。

2.3

深層学習モデルの説明

図 2 に本研究で用いる深層学習モデルのネット
2．研究概要ワーク図を示す。深層学習において高い精度を誇

2.1るモデルとして知られる「VGG」を参考に縦 200 ピ

学習データセット

データセットとして研究に用いる街並み画像は， クセル , 横 338 ピクセルの RGB 画像から畳み込み
大都市や観光地から選定した表 1 に示す 21 街路か ニューラルネットワーク (CNN) を介し，0( 訪問しら作成した 2100 枚である※ 1。

たくない ) ～ 1( 訪問したい ) までの範囲で街並み

2.2

画像に対する訪問意欲の度合いを推定する回帰学習

被験者実験による注視点とスケッチの取得

Human Behavior Prediction for Cityscape Images Using Multimodal Deep Learning- For prediction of gazing tendency and prediction of willingness to visit using multi-dimensional data with resultsONO Kotaro

型のモデルを作成した。
2.4

2.5.2 注視点傾向を予測する AI

街並みの印象・感性評価推定 AI の作成

筆者らによる事前検証

1)

注視点情報の取得には専用のデバイスを用いてにより，VGG ベース深層キャリブレーションによる視線推定を行う必要があ

学習モデルでの「街路名分類」「個人の訪問意欲のり，大量のデータセットを作成するのは困難である。

分類・推定」において高い精度での分類・推定が可

また，街並みの画像というデザイン要素を観た際の能であることを確認した。そこで，追加検証として人間の注視傾向という生理反応の予測にはいまだ不集団の街並みに対する訪問意欲の度合い推定 AI の明瞭な点も多く存在する。そこで本章では街並み画作成の可否を検証する。学習データは左右反転に像から，その画像に対する注視傾向を予測する AIよる水増しを行った街並み画像 4200 枚である※３

。 の作成を検証する。注視点画像の生成には画像変換

1000epoch の学習を行い，正解ラベル ( 正規化されを行う深層学習アルゴリズムとして広く用いられるた訪問意欲の度合い ) と AI の推定値との平均二乗pix2pix3) を使用する※５。

誤差 (MSE) を損失関数として使用する。また，作成

2.5.3 注視点予測結果を用いたマルチモーダル学習

したモデルの精度検証には，MSE が最も小さかった

最後に，被験者実験には用いられていない画像をモデルを用いる ( 以下，最良モデルと呼称 )。

含む，左右反転で水増しを行った街並み画像 4200

2.5 注視点情報を付与したマルチモーダル学習枚に対し，pix2pix によって作成された注視傾向予通常の画像を用いた集団の訪問意欲の度合いの推測画像を情報付与したマルチモーダル学習を行う。

定が可能であることを確認したのちに，被験者実験デバイスによる詳細な注視点の計測を行わずに予測によって得られた注視点情報を画像に追加情報としされた注視点データにおいても，本研究が提唱するて付与したマルチモーダル深層学習を検証する。情マルチモーダル学習が有効かを確認する。1820 枚報の付加の手法として，「画像への注視点情報マスでの学習時と同様に，1000epoch 学習を行いマスキキング処理」「RGB 画像に注視点情報を加えた次元ング・次元追加の２パターンと，4200 枚通常画像追加」の２パターンを検証する。図３に情報付与のモデルの最良モデルを比較する。

イメージ図を示す。「画像への注視点情報マスキン
グ処理」では，注視点画像を元の街並み画像にマス３．検証結果クイメージとして追加することで，人間が注視して3.1いる領域を AI が特徴量として学習する。また，衣川らの研究

2)

集団の訪問意欲の度合い推定 (4200 枚 )図３に通常画像学習モデルでの 1000epoch 学習をでは Google ストリートビューの RGB行った際の学習の推移と，最も誤差が小さかったモ画像に対し，深度情報 (D) をアルファチャンネルとデル ( 以下最良モデルと呼称 ) でのプロット図を示する RGBD4 次元情報を用いた都市の景観評価を分類す。学習の推移では，300epoch 付近で収束がみらする AI を作成し，３次元情報と比較した際に次元れ，最良モデルの平均二乗誤差 (MSE) は 0.0197 だっ

追加モデルでは一定の効果があることを示していた。Pearson の積率相関係数 (PRCC) を用いて被験る。そこで本研究では，深度情報よりも人間の感性者 (Human) と再正規化を行った AI の推定値を比較評価と直接的な関係性を持つと考えられる注視点情した結果，相関係数 0.8890 となり，画像に対する報を街並み画像に次元追加した精度向上を試みた。

推定モデルの構築に成功した。一方で , 誤差の絶対2.5.1 被験者実験画像を用いたマルチモーダル学習値の平均である平均絶対誤差 (MAE) は 0.0791 とな

まず注視点情報が得られた 910 枚の街並み画像を左右反転し，1820 枚の画像に対して集団の訪問意り画像単体では平均± 8% 程度の誤差があった。
3.2 マルチモーダル学習 (1820 枚 )欲の度合いを AI 学習時のラベルとして付与する。

図５～図７に 1820 枚学習モデルでの情報付与パ

通常画像を用いたモデルを加えた３パターン作成

ターン別の，学習の推移と最良モデルでのプロッ

し，1000epoch 学習時の最良モデルを用いた比較・ト図を示す。MSE の結果では，次元追加モデルでは考察を行うことで本手法の有効性を検証する※４。

0.0247 と通常画像学習モデルよりも 2 割程度の減Dropout (0.25)

ReLU

MaxPooling2D

1.0

0.08

0.8
0.60.06

AI

0.04

Verification data

0.02

[12,20,64]

ReLU

Conv2D [1,1]

Conv2D [1,1]

ReLU

MaxPooling2D[24,41,64]

ReLU

Conv2D [1,1]

Conv2D [1,1]

ReLU

MaxPooling2D[49,83,64]

Conv2D [1,1][98,167,64]

ReLU

MaxPooling2D[98,167,32]

0.10

0.00

100

Dropout (0.25)

MaxPooling2D

Outputsigmoid

Linear

Flatten

ReLU

Conv2D [1,1]

Conv2D [1,1]

ReLU

Dropout (0.25)

MaxPooling2D

ReLU

ReLU

図5200 300 400 500 600 700 800 900 1000

epoch

308

MSE

0.0300MAE

Error

1.00.080.8[1][7680]

0.02
0.00

図6+
注視点画像 1 チャンネル

Error

AI

0.04

Verification data

0.02

MAE

0.08

200 300 400 500 600 700 800 900 1000

epoch

MSE

0.0197MAE

0.6

1.00.8Human

0.6807

PRCC

0.6

Verification data

0.02
0.00

0.4

0.20.1209

1.0AI

Training data
0100

200 300 400 500 600 700 800 900 1000

epoch

931

MSE

0.02470.4
0.2
0.00.0MAE

0.40.20.60.0860

PRCC

1.00.8Human0.8661

1820 枚次元追加モデルでの学習推移 ( 左 ) と散布図 ( 右 )入力画像

Grad-CAM

注視点

スケッチ画像０value0.40.2Training data932

0.05120.00.00.80.60.06

Best epochMSE

0.40.10

図70.80.08100630

Best epoch

1.00.10

図4次元追加 4 チャンネル0.8230

PRCC

1820 枚マスキングモデルでの学習推移 ( 左 ) と散布図 ( 右 )0.04

注視点情報付与の概要図 ( 上段 : マスキング 下段 : 次元追加 )0epoch0.06

入力画像 (RGB3 チャンネル )0.00

200 300 400 500 600 700 800 900 1000

Error

マスキング画像

注視点マスク画像

入力画像

図3100Best epoch+

1.0

0.80.2Training data
00.6

Human0.6AI0.04

ネットワーク図0.40.20.0972

0.10

Verification data

[3,5,128][6,10,128][6,10,128][12,20,128]

図20.00.01820 枚通常学習モデルでの学習推移 ( 左 ) と散布図 ( 右 )0.06

Grad-CAM
使用層

0.40.2Training data
0Best epochConv2D [1,1]

Conv2D [1,1]

HWC[196,334,32][200,338,3]

Input Image

Conv2D [5,5]

Error

１

Class19

0.0
0.0

0.2

0.0791

0.40.6

Human

PRCC

0.81.00.8861

図8
入力画像

Grad-CAM の出力結果に合わせた画像処理の一例
マスキング画像

Grad-CAM( マスキング )Grad-CAM( 次元追加 )反応
強度
大4200 枚通常画像学習モデルでの学習推移 ( 左 ) と散布図 ( 右 )少が見られた。また PRCC でも 0.8230 から 0.8661と 0.04 の 向 上 が，MAE で は 0.0972 か ら 0.0860 と小１2％近い減少が確認できた。次元追加モデルには

図9Grad-CAM を用いたマルチモーダル学習時 AI 注目領域一例

一定の効果があるといえる。その一方でマスキング

表2100epoch ごとの Grad-CAM 結果と注視点情報との PRCC 平均

モデルでの数値は，すべてにおいて通常画像学習モデルの結果を下回った。
また，3 パターンにおける AI の注目領域を，可100200300
400500600700800
900
10000.0225 -0.0179 -0.0119 -0.0240 -0.0073 0.0116 -0.0107 -0.0173 -0.0055 -0.0139
マスキング 0.6374 0.6414 0.5975 0.5893 0.5763 0.5594 0.5347 0.5558 0.5301 0.5476
次元追加 0.2652 0.2617 0.1570 0.1279 0.1163 0.1504 0.1851 0.1234 0.0686 0.0989
epoch

通常画像

なっており，可視化結果を見ると通常画像学習モデ

視 化 手 法 の 一 種 で あ る Grad-CAM を 用 い て 分 析ルとマスキングモデルを合わせたような領域に着目を行った。可視化には図 8 のように正規化されたしており，広く特徴量の伝達を行った結果，学習の6*10 サイズのデータを用いる。図９に Grad-CAM の向上につながってた可能性が考えられる。

結果一例を，表 2 に 100epoch ごとの Grad-CAM 結果

3.3 pix2pix による注視傾向予測4)と注視点情報との PRCC 平均を示す。PRCC はマスキ

図 10 に pix2pix によって生成された注視傾向予ングモデルが 0.5 程度と高い値をとった。次元追加

測画像の一例を示す。実際の注視点画像と比較すモデルでは，通常画像と比較して PRCC の値が高くると，近しい位置に推定をすることができている。

入力画像 (realA)

注視点 (realB)

注視点予測画像 (fakeB)

Error

1.0

0.10

0.08

0.80.06

0.6

Verification data

0.04

図 10 pix2pix による注視点予測画像生成結果一例

0.020.00

AI0.2

Training data
0100

200 300 400 500 600 700 800 900 1000

epoch

Best epoch

図 12906

MSE0.0283

0.080.8AI
Verification data

0.02推移を見ると，PRCC 平均値は 0.50 付近で安定し，300epoch で 0.5517 となった。
3.4 マルチモーダル学習（4200 枚）
図 12, 図 13 に pix2pix 最良モデルで 4200 枚の街並み画像に注視点情報を付与し，マルチモーダル学習を行った際の学習の推移と最良モデルでのプロット図を示す。1820 枚画像モデルと同様に次元追加モデルでは PRCC 結果 0.9024 など，1820 精度の向上が確認された。一方，1820 枚画像学習モデルでの情報付与時の学習効果よりは低い結果となった。
pix2pix の予測精度に依存していると考えられる。

0.8

1.00.8399

PRCC0100

200 300 400 500 600 700 800 900 1000epoch

図 13827

MSE0.0180

0.40.2Training data

Best epoch

測画像と実際の画像との PRCC の箱ひげ図を示す。

0.6Human0.60.06

図 11 に 300epoch までの 30epoch ごとの注視傾向予0.44200 枚マスキングモデルでの学習推移 ( 左 ) と散布図 ( 右 )1.00.00

0.20.0899

0.100.04

pix2pix30epoch ごとの注視点画像との相関係数箱ひげ図

0.00.0MAEError

図 110.4

0.00.0MAE

0.20.0682

0.40.6

Human

PRCC

0.8

1.00.9024

4200 枚次元追加モデルでの学習推移 ( 左 ) と散布図 ( 右 )いる。被験者実験で得られた集団の訪問意欲の度合いを正規化することで 0 ～ 1 までの値に直し，学習時のラベルとして付与した ( 表 1)。また，同一のクラス ( 街路 ) である街並み画像すべてに同一ラベルを付けた。
※ 4） 学習時には画像のランダムシャッフルを行い，学習用画像75%, 検証用画像 25% に分割した。また，通常画像モデル，マスキングモデル，次元追加モデルともに同じ条件で学習を行うためにシード値を固定し，同じ画像が選ばれるようにした。
※ 5） pix2pix はコンテンツ生成型の AI 技術である GAN( 敵対的生成ネットワーク ) の一種である。画像 A と画像 B のペアで学習することで AtoB の画像変換が可能である。
※ 6） Grad-CAM では画像を入力した際の対象層の特徴量マップと勾配値を計算することで重みづけを行い，分類を行う際に，どのフィルタを重視したのかを計算する。フィルタ枚数分の結果を合計し正規化することで，AI 注目領域を可視化することができる。本研究では図２で示されるネットワーク中の矢印で示す ReLu 層（6*10 サイズ，フィルタ 128 枚）における出力を行う。なお事前検証において 4200 枚通常画像学習モデル
においてスケッチ・注視点情報との比較結果を以下に示す。
入力画像Grad-CAM( 通常画像 )注視点

スケッチ画像反応強度
大４．まとめ
３パターンの検証の結果から，注視点情報を次元追加したマルチモーダル深層学習で一定の成果を得た。情報付与の種類や方法を追加検証することで，さらなる精度の上昇が可能かを今後の課題とする。
注釈※ 1） 画像が単一の建築物・地面・空に占められることのないように配慮しながら Google Earth のストリートビューを用いて街路の範囲内からランダムに作成した。枚数は既往事例と予備実験を参考に 1 街路 100 枚とした。
※ 2） 被験者実験は建築系学生 100 名（男性 69 名，女性 31 名）を対象に実施した。画像をモニター越しに 30 秒間見てもらい「訪問したい」あるいは「訪問したくない」の２択で回答してもらった。この際モニターにマーカーを設置し，注視点計測デバイス用いて注視点の取得も行う。その後，被験者は街並み画像を隠した状態で２分間の記憶に基づくスケッチを行う。
被験者１名あたり，10 枚の街並み画像に対して回答を行った。
※ 3） 学習用画像 75%(3150 枚 )，検証用画像 25％ (850 枚 ) に分割し，反転前と反転後の画像が学習時に混在しないようにして

Grad-CAM ー注視点情報
Average PRCC：0.0268

Grad-CAM ースケッチ画像 注視点情報ースケッチ画像
Average PRCC：0.0139
Average PRCC：0.2168

小Grad-CAM と注視点画像・スケッチ画像の比較

参考文献
Grad-CAM ー注視点情報
Grad-CAM ースケッチ画像, 大野耕太郎：DeepLearning注視点情報ースケッチ画像
を用いた印象評価推01) 山田悟史
Average PRCC：0.0268
Average PRCC：0.0139
Average PRCC：0.2168
定 AI の作成と検証 , 日本建築学会計画系論文集 , 第 84 巻 , 第759 号，pp987-995,2019.502) Hina Kinugawa, Atsushi Takizawa：Deep Learning Modelfor Predicting Preference of Space by Estimating theDepth Information of Space using Omnidirectional
Images，Proceedings of the 37th eCAADe and 23rd SIGraDi
Conference, 2, Porto, Portugal, pp.61-68, 2019.903) Ramprasaath R. Selvaraju, Michael Cogswell, Abhishek Das,
Ramakrishna Vedantam, Devi Parikh, Dhruv Batra:Grad-CAM:
Visual Explanations from Deep Networks via Gradient-based
Localization,arXiv:1610.02391, 2016.1004) Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A.
Efros:Image-to-Image Translation with Conditional
Adversarial Networks,arXiv:1611.07004, 2016.11