光学衛星画像の時空間畳み込み
ニューラルネットワークによる地震被害の判別

⼭梨⼤学 ⼤学院総合研究部
〇宮本 崇
濱崎 泰知

研究背景

2

被害分布情報の把握体制
 実務上は，各公的機関による現地確認などの情報を集約
 研究段階では，震度などの情報に基づく間接的な即時被害推定

衛星による撮影画像からの災害被害の検知 光学衛星画像やSAR衛星画像の活⽤ 地滑り，⽕⼭，洪⽔，津波，…
 建物1棟単位のミクロな被害検出には，解像度等の問題から研究途上2015年ネパールゴルカ地震による斜⾯崩壊域の抽出 （⼟⽥ 他，2016） 2008年中国四川地震：区画単位での被害量の分類（松岡・能島：2010） 2016年熊本地震：約65%（ 越村ら，2017）

被害分布の把握には，建物単位での評価を⾼精度化することが課題

本研究の⽬的と狙い

3

研究⽬的：
光学衛星画像に対する深層学習⼿法の適⽤による，⼤地震時における1棟単位での住宅被害の⾃動判別⼿法の開発
１．光学衛星画像からの個別住宅画像の抽出⼿法の開発
２．抽出された住宅画像に対する，被害判定のための深層学習モデルの開発と検証→

・1棟単位での住宅被害分布を即座かつ直接的に検知する技術を実装
・災害被害の全体像の把握を迅速化し，災害直後の対応の効率化を図る

利⽤する⼿法の概要
ニューラルネットワーク（NN) 演算結果のリレーを繰り返し，最終的な出⼒値を得るシステム
勾配降下法による最適化

 回帰や分類問題などへ応⽤
 訓練データに対する誤差の最⼩化→

未知のデータへの性能の発揮が期待される

深層学習
 ネットワーク構造の深層化・複雑化により，モデルの分類・推定精度を⼤きく向上させたNN
 各種課題を克服する知⾒の蓄積により，2010年代に急速に発展

深層化上の課題

対応する要素技術

過学習

ドロップアウト・正則化・データ拡張

勾配消失

事前学習・活性化関数の⼯夫

計算量の増⼤GPGPUの利⽤・最適化アルゴリズムの⾼度化

提案システムの開発プロセス

5（１）地理空間情報との統合処理による住宅画像の抽出
 データベースから各住宅の形状・位置座標を抽出
 衛星画像から，該当する座標を包含する矩形領域を抽出（２）畳込みニューラルネットによる住宅画像の被害分類
 被災前後の画像を⼊⼒とした3D（空間2D+時間1D）畳み込み
 倒壊・⾮倒壊の2値分類

・地理空間情報を援⽤した，検出→分類への置き換え
・畳み込みニューラルネットによる⾼精度な分類

光学衛星画像による被災後の益城町撮影画像（2016/4/29撮影，1.5m分解能）

⼩画像の抽出アルゴリズム

6
latmax都市モデル（ゼンリン）

latminlonmin

住宅構造物の抽出・外形座標の取得

構造物を包含する矩形領域の設定

構造物の外形座標

lonmax矩形領域の設定

広域画像への矩形領域の重ね合わせ

⼩画像⽚の抽出
衛星画像との重ね合わせ

⼩画像の抽出訓練データの構築

7

データセット 熊本県益城町，抽出後の建物⼩画像1296枚（震災前/震災後の2時期）
 訓練データ：被害住宅画像254枚，無被害住宅画像253枚
 回転4パターン×反転2パターン→8倍（4,056枚）にデータ拡張
 テストデータ：全壊画像254枚，無被害画像536枚
交差検証法を実施

解析条件

悉皆調査の結果と分析の対象範囲

畳み込みニューラルネットワークの設計 2時期の画像がinput→

8

空間2D/時間1Dの３D畳み込み層を利⽤

 単純な画像差分を含む，時間⽅向の画像変化の特徴を捉えることを期待 フィルタサイズによって時間⽅向に畳み込むタイミングを調整できるため，最初に差分（などの特徴）をとるのか，空間⽅向で抽象化してから差分（など）を取るのかを調整可能
 時間次元を（RGBと同様の）特徴次元とみなす⼿法とは計算過程が異なる(input) =𝑋
n: batch ID
t: time index
h, w: spatial position
c: RGB channel index

震災前後の2時期画像

時空間テンソルの構築

𝑍,

Dense3

Dense2

Dense 1

max pool3

conv2

max pool1→空間2D＋時間1Dの3次元畳み込みモデル

conv1

 被災前・被災後の2枚の画像を利⽤

conv3

⿊⽊ 他：2016年熊本地震による益城町の建物被害と⻲裂，
2017年度⽇本地理学会春季学術⼤会要旨集より

 全９層max pool2→

𝑍

3D畳み込みの定式化,·𝐹𝑏畳み込みニューラルネットワークの設計
 2時期の画像がinput→

9

空間2D/時間1Dの３D畳み込み層を利⽤

 単純な画像差分を含む，時間⽅向の画像変化の特徴を捉えることを期待 フィルタサイズによって時間⽅向に畳み込むタイミングを調整できるため，最初に差分（などの特徴）をとるのか，空間⽅向で抽象化してから差分（など）を取るのかを調整可能
 時間次元を（RGBと同様の）特徴次元とみなす⼿法とは計算過程が異なる(a)2D画像の畳み込み→1フィルタにつきoutputは2D(b)特徴次元を持つ2D画像の畳み込み→1フィルタにつきoutputは2D(c)時間次元を持つ3Dデータの畳み込み→1フィルタにつきoutputは3D（時間⽅向の情報が保持される）
Du Tran et al, 2015 IEEE ICCV, 2015 に基づき作成

光学衛星画像の例

10光学衛星画像の例

11

検証結果：光学衛星画像

12震災後の画像のみを⽤いた場合

震災前後の画像を⽤いた3D畳み込み

 汎化精度 最⼤約68%

 汎化精度 最⼤約75%

 500epoch後の正解率

 500epoch後の正解率

 被害あり 136/254棟(約54％） 被害あり161/254棟(約63％） 被害なし 342/536棟(約63％) 被害なし341/536棟(約64％)検証結果：光学衛星画像

13震災前後の画像を⽤いた3D畳み込み

3D畳み込みによって約8%精度が向上

 汎化精度 最⼤約75%
 500epoch後の正解率■ 計算時間# 学習：114.58秒（0.23秒 /epoch）

 被害あり161/254棟(約63％）

 学習後の推定：0.1秒（12.8 マイクロ秒/1棟）

 被害なし341/536棟(約64％)

Dense3

Dense2

Dense 1

max pool3

conv3

max pool2

conv2

max pool1

conv1＃CUDA7×TensorFlow1.4によるシングルGPU計算

検証結果：光学衛星画像

14

ROC曲線による性能の検証「被害あり」の判定基準を調節した際の，以下の2値の変化を検証した曲線
 検出率：被害構造物を正しく識別した⽐率
 空振り率：被害ありと判別したが，実際には被害がなかった⽐率
 時間次元を加えた畳み込みによって，
 e.g. 空振り率40%に対して検出率75%

検出率

震災後の画像のみを⽤いた場合よりも性能が向上

・点線は，ランダムに選択した場合・線が左上に膨らむほど，良いモデル

空振り率

まとめ
光学衛星画像に対する深層学習⼿法の適⽤による，1棟単位での地震被害の⾃動判別⼿法の開発
 GISデータと連携した住宅画像の抽出
 深層学習⼿法による被害・無被害判別の⾼精度化

今後の⽅針 計算モデルの改良による更なる⾼精度化 震度情報，地盤情報などの統合
 多数時期の撮影画像の利⽤
 SAR衛星に対する適⽤性の検証

15