発災前後の画像情報を用いた転移学習による斜面崩壊地の抽出に関する研究
防災・復興システム研究室
1． はじめに災害発生時は, 状況に即した判断・対応が求められる. 電気・ガス・水道といったインフラの被災は災害復旧・支援活動や社会経済活動を直接阻害する要因であるため, 被害状況の迅速な把握が重要である. 特に電力網は日本全体に張り巡らされ, 一部はアクセスが容易でない山間地域に存在する. これら地域では, 定期的な巡視・点検・メンテナンスの他に地震や豪雨など自然災害発生時に鉄塔やその周辺で斜面崩壊の有無を調査することになる. 調査は現地に赴いての目視に依存しており, 被災概要であっても迅速に知ることは難しい.
発災後にアクセスが困難な地域の状況を迅速に知る手段の一つとして深層学習の活用が報告されている. 本研究においても深層学習に着目し, 目視での被害調査が困難な場所での斜面崩壊地の迅速な把握を試みた.

図 1 発災前画像

2． 研究の流れ
本研究では深層学習を用いて斜面崩壊地の検知を行うために以下の流れで研究を進めた.
・独自に構成した深層学習モデルと SqueezeNet を利用し転移学習を行ったモデルで斜面崩壊地の判別結果を比較する.
・複数の事前学習済みモデルを用いて転移学習を行い, それぞれの崩壊地と非崩壊地の判別性能を比較する.
・より広い領域を持つ画像において転移学習を用いた斜面崩壊地の検知を行い, 検知結果を評価する.

3． 教師データ
3.1 使用したデータ
2004 年 10 月 23 日に発生した新潟県中越地震を対象とした. 発災前の画像としてオルソ処理済みのQuickBird 画像（2003 年 9 月 5 日撮影, 画素サイズ50cm), 発災後の画像として空中写真のデジタルスキャン画像（2004 年 10 月 24 日撮影, 345 シーン）から生成したオルソモザイク画像（画素サイズ50cm）を用いた. 発災前画像を図 1 に, 発災後画像を図 2 に示す.
本研究で利用する深層学習モデルの入力層は 3 バンドである. そのため発災前の緑, 発災後の緑, 発災後の赤の 3 バンドをそれぞれ赤バンド, 緑バンド,青バンドにいれた発災前後画像を作成した. これは発災後画像と発災前画像が重なる領域を持つ. 発災
前後画像を図 3 に示す.
教師データを作成する際に国土地理院が作成した被害状況図を参考にして, 崩壊地の目視判読を行った.

図 2 発災後画像

図 3 発災前後画像

高田竜司

3.2 教師データ
発災前後の画像と国土地理院が作成した被害状況図（国土地理院, 2004）を参考に, 崩壊地を目視判読した. 新潟県中越地震の斜面崩壊の特徴を調査した関口ら（2006）は, 発生した斜面崩壊の大部分が表層崩壊と報告している. そこで本研究では, 処理を単純化するため, 斜面崩壊（表層）や, 斜面崩壊（樹木崩壊）などの崩壊地の形態を区別せず, すべて崩壊地として扱った.
つぎに, 判読結果をもとに崩壊地ラベル画像を作成した. 崩壊地ラベル画像の作成領域は QuickBird
画像とオルソモザイク画像の重複する領域とした.
本研究では発災前画像と発災後画像から作成した発災前後画像を 25m 四方(50pixel 四方)のパッチに分けたものを教師データとして利用した. また, このパッチ内にどの程度崩壊地を含んでいるかによってパッチにラベルをつけた. パッチ内の崩壊地の割合が50%前後のパッチは崩壊地・非崩壊地の判断がつきにくいため, 本研究では 4.3 の広い領域を持つ画像への転移学習の適用の評価用データを除いて利用しなかった. 表 1 に本研究で利用したデータ拡張前のデータセットを示す.

ったモデルで表 2 の学習データを学習し, 評価データを判別した結果を表 4 に示す.
表 3 独自に構築した深層学習モデルで評価データを判別した結果

表 4 SqueezeNet で転移学習したモデルで評価データを判別した結果

表 1 本研究で利用したデータセットとその数
データ数
パッチ内使用した章
崩壊地の割合 (データ拡張前)
崩壊地
非崩壊地

100％6574.170％

1347

4.20％

657

4.1

30％

1347

4.2

4． 結果
4.1 深層学習と転移学習を用いた斜面崩壊地の検知結果比較
この実験では独自に構成した深層学習モデルとSqueezeNet を利用して転移学習を行ったモデルで崩壊地と非崩壊地の判別を行い, 結果を比較した.
深 層 学 習 モ デ ル に は 独 自 に 構 成 し た 15 層 のConvolutional Neural Network(以下 CNN)を用いた.
データセットは表 1 に示したうち, パッチ内の崩壊地の割合が 100%のものとパッチ内の崩壊地の割合が 0%のものを利用した. このデータに上下左右の反転や回転を加えたデータを足し, データ拡張を行った. 最終的にこの実験で利用したデータ数を表2 に示す.
表 2 4.1 のデータ拡張後の教師データ数

表 2 の学習データで独自に構築した深層学習モデルを学習し, 評価データを判読した結果を 表 3に示す. また, SqueezeNet を利用して転移学習を行

表 3 と表 4 を比較すると, 独自に構築したモデルの方が非崩壊地の再現率が高く, 崩壊地の再現率と正解率は SqueezeNet をもとに転移学習を行ったモデルの方が高くなっている. 大きく崩壊した場所の中でも, 樹木などを含んでいる崩壊地において誤判別が多かった. また, 誤判別された崩壊地特徴として影領域に存在する崩壊地という特徴もみられた. 独自に構築したモデルと転移学習を行ったモデルの非崩壊地の再現率の差が 1.9%であるのに対し, 崩壊地の再現率は転移学習を行ったモデルの方が 12%高かったことから, 今回利用しているデータセット
では転移学習を行ったモデルの方が崩壊地を精度良く判別できていることがわかる.

4.2 複数の学習済みモデルを用いた崩壊地抽出結果の比較
同じ教師データを利用した場合であっても, 転移学習を用いることにより独自に構成した深層学習モデルよりも崩壊地を精度良く判別できることが分かったため , AlexNet(Krizhevsky et, al., 2012),GoogLeNet(Szegedy et, al., 2014), VGG16(Simonyan et, al., 2015), SqueezeNet(Indola et,al., 2016)の 4 つの事前学習済みモデルを用いて判別と結果の比較を行う. これらのモデルはImageNet
Large-Scale Visual Recognition
Challenge で上位 2 位以内の優秀な成績を収めたモデルである.
本実験での利用した学習用と評価用データセッ
トのデータ数を表 5 に示す.

表 5 複数モデルの比較用教師データ数

4 つの事前学習済みモデルを用いて転移学習を行い, 評価データを判別した結果を表 6 に示す. 表 6を見ると 4 つの NN の正解率は 85%前後となり,NN 間の差はほぼ見られない. 一方, 再現率は崩壊地で 74～81%, 非崩壊地で 89～93%と NN によりに差が見られる.
表 6 複数モデルの判別結果比較

SqueezeNet

崩壊地
80.2

非崩壊地
88.9

崩崩

非非非非崩崩崩崩崩１１１84.7

１１１１１１

AlexNet

76.6

90.6

83.8

GoogLeNet

81.4

89.9

85.7

VGG-16

74.4

93.1

84.0

非崩壊地と判別された崩壊地と既往研究(関口ら, 2006)との対応

崩左上から3パッチx3パッチ(75mx75m)単位で判別結果を調べる

5パッチ以上

正解率(%)

4 つの NN で学習, 評価した際, 非崩壊地と誤判別された崩壊地 104 パッチのオリジナルデータ 44
パッチについて関口ら(2006)の斜面崩壊の分布と照合した(表 8.5). その果, 75.0%(33/44)が地すべり A であった. 4 つの NN で誤判別された地すべり
A の例を表 7 に示す.関口ら(2006)は地すべり A では, 破砕されずに滑落した移動土塊や樹木がしばしばみられた, としている(地すべり B は滑落面の平面系が地すべり A と比較して直線状や不明瞭なもので, 傾斜が急な地すべり地). このことから, 可視画像情報だけでは地滑り A のような崩壊地を誤判別する可能性が高い. 誤判別を減らすには, 可視画像情報に加え DSM などの高さ情報を用いた解析が有用であると考えられる.
表 7

評価用領域内のパッチをそれぞれ判別

4パッチ以下再現率(%)

モデルのため, 対象としている発災前後画像の南北方向に4 等分したうちの 1 つを評価用領域とし, 残りの3/4 を学習用領域とした. データ拡張後の学習用のデータ数は崩壊地が 1992 パッチ, 非崩壊地が 2008パッチとなった. この学習用データで GoogLeNetを用いて転移学習を行った. 評価用領域から崩壊地を検知する方法を図 4 に示す.
図 4 の方法で作成された斜面崩壊地検知画像を
図 5 に示す.はこの画像内の画素値 0~9 を数字が大きくなるほど色が濃くなるように表示している.

崩壊地と判別された場
所が多いほど色が濃くなる画像ができる

77行218列の行列
対応する場所に代入

図 4 実画像への適用

図 5 斜面崩壊地検知画像

評価領域の全パッチを学習データと同じように,パッチ内の崩壊地の割合が 70%以上のものを崩壊地, パッチ内に崩壊地を含まないものを非崩壊地とし, 転移学習後のモデルでパッチごとに判別した結果の混同行列を表 8 に示す. また, 斜面崩壊地検知画像と対応するパッチのラベルを正解としたときの混同行列を表 9 に示す.
表８

評価領域のパッチごとの判別結果分類されたクラス
崩壊地 非崩壊地

4.3 実画像への適用
4.2 では 4 つの事前学習済みモデルを用いた転移学習の結果を比較することで, 4 つの事前学習済みモデルの中で GoogLeNet が最も崩壊地を精度よく判別できることが分かった. そのため GoogLeNetを用いた転移学習をこれまでのパッチ単位の判別ではなく, より広い領域を持つ画像に適用した. そ再現率(%)

真の崩壊地

2356179.4

クラス

非崩壊地 3092

12928

80.7

正解率(%)

80.7

表 9 斜面崩壊地検知画像と対応するパッチのラベルを正解としたときの混同行列
評価用パッチのラベル

斜面崩壊地検知画像
画素値

崩壊地

非崩壊地

再現率(%)

1以上

192

100

65.8

０

1967

13844

87.6

正解率(%)

87.2

表 8 と表 9 を比較すると, 表 9 の非崩壊地の再現率が表 8 よりも高くなっており, 表 9 の崩壊地の再現率が表 8 よりも低くなっている. これは広い領域で多数決により崩壊地と非崩壊地を分けたことで誤判別された非崩壊地の影響が少なくなったからであると考えられる. 崩壊地については面積の小さい崩壊地が斜面崩壊地検知画像ではうまく検知できなかったため, 崩壊地の再現率が下がったと考えられる.
5． まとめ本研究では 2004 年 10 月 23 日に発生した新潟県中越地震を対象とし, 発災前後の可視画像情報から深層学習を利用して斜面崩壊地の検知を試みた.
予備実験として独自に構築した深層学習モデルと SqueezeNet を利用して転移学習を行ったモデルについて発災前後の画像から斜面崩壊地を判別した結果を比較した. その結果, 崩壊地の再現率と正解率は転移学習を行ったモデルの方が高くなり, 非崩壊地の再現率は独自に構築した深層学習モデルの方が高くなった. 本研究では崩壊地の再現率を高くすることで崩壊地の取りこぼしを少なくしたい
ため, 本研究の実験では同じ教師データを利用したときに崩壊地の再現率が高くなる転移学習を利用した. また, 転移学習を利用する際に事前学習済みモデルでの崩壊地抽出性能に差があるかを調べるため, AlexNet, GoogLeNet, VGG-16, SqueezeNet の4 つのモデルを用いて転移学習を行い, 結果を比較した. その結果, GoogLeNet の正解率と崩壊地の再現率が最も高くなり, VGG-16 の非崩壊地の再現率が最も高くなった.
最後に GoogLeNet を用いて, これまで行っていたパッチ単位での検知ではなく広い領域を持つ画像からの斜面崩壊地の検知を試みた. その結果, パッチ単位での検知よりも崩壊地の再現率は低くなったが非崩壊地の再現率は高くなった. これは広い領域で検知を行ったことで, 面積の小さい崩壊地を検知することが難しくなったことや, 誤判別された非崩壊地の影響が少なくなったことによるものであると考えられる. また, 誤判別された非崩壊地には, 発災後画像では斜面崩壊が発生しているように見えるが国土地理院作成の被害状況図では崩壊地とされていない場所が存在した. このような場所を,発災後オルソ画像を作成する際に利用した空中写真スキャン画像から確認したところ, 斜面崩壊が起こっている可能性が高いことが確認できた.
本研究全体を通して誤判別された崩壊地は主に影領域に存在する崩壊地が多いことが分かった. 本
研究では可視画像情報のみを用いたことで影領域に存在する崩壊地がうまく検知できなかったため,高さなどほかの情報を教師データとして利用することで崩壊地をより検知できると考えられる.
参考文献
Iandola, F, N., Han, S., Moskewicz, M, W., Ashraf,K., Dally, W, J., Keutzer, K., 2016. AlexNet-lexel
accuracy with 50x fewer parameters and <0.5MB
model size, arXiv:1602.07360
Krizhevsky, A., Sutskever, I., Hinton, E, G., 2012.
ImageNet classification with deep convolutional
neural networks, In NIPS, 1106-1114
Simonyan, K., Zisserman, A., 2015. Very deep
convolutional networks for learge-scale image
recognition, arXiv:1409.1556
Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S.,
Anguelov, Dr., Erhan, D., Vanhoucke, V., Rabinovich,A., 2014, Going deeper with convolutions,
arXiv:1409.4842v1
関口辰夫，佐藤浩，2006．新潟県中越地震における斜面崩壊の特徴と分布，日本地すべり学会誌，
46(3),142-154.