ALB 点群データを援用した河川航空写真の深層学習による地被分類法の検討

1 正会員

吉田圭介 1・谷口

小島崇 2・永田

岡山大学大学院准教授

純一 2・潘 是均 3
貴美久 3・渡邊 明英 2

環境生命科学研究科（〒700-8530 岡山市北区津島中 3-1-1）

E-mail: yoshida.k@okayama-u.ac.jp (Corresponding Author)
2 正会員

株式会社東京建設コンサルタント
3 学生会員

環境防災研究所（〒170-0004 東京都豊島区北大塚 1-15-6）

岡山大学大学院

環境生命科学研究科（同上）河道の地被分類は河川の治水や水環境の研究や実務において重要な基礎資料である．近年では豪雨による河川災害が危惧され，特に，地先単位の洪水疎通能力の評価において河積や，河道内の植生の高さおよび密生度が必要となり，例えば航空レーザー測深(ALB)データの更なる利用が期待される．本研究では岡山
県旭川下流の国管理の約 4.5km の区間を対象に，ALB 計測時に撮影される航空写真を活用し，ALB 点群データから得られる植生高とレーザー点数を組み合わせることで新たな深層学習による地被分類方法を開発した．解析の結果，航空写真だけよりも ALB 点群データを併用することで，竹林・樹木と草本の分類性能が向上した．しかし，時期の異なるデータセットを相互に学習や推論に用いると，落葉などの影響で樹木と草本の分類性能が低下することが分かった．

Key Words: Riparian land-cover classification, ALB, deep learning, semantic segmentation

1. はじめに
日本国内の河川では撹乱減少等の要因で河道の樹林化が進行している 1), 2)．河道の樹林化は，洪水疎通能力の低下や偏流に伴う局所洗掘といった治水上の課題のみならず，河川固有の生態系を大きく変化させるなど環境上の問題もある．また，近年では我が国
では豪雨災害が頻発し，河道の維持管理においては特に，樹林化に伴う河積や流下能力の再評価，加えて樹林化対策としての樹木伐採や河床切下げの治水効果を適切に検討する必要がある．そのため，課題解決にあたっては河道内の地被・植生分布だけでなく，地形や樹高・密生度の分布といった河道の定量的な物理環境情報を得るために，長い河道区間を定期的にモニタリングすることが望まれる．
著者等はこれまで航空レーザー測深(ALB)を用いて河道の物理環境計測を行い，水陸連続の河床高分布，地被分類および樹木の密生度の分布について検討してきた 3), 4) ．地被分類に関しては未だ開発途上ではあるが，原理的には概ね数 m の平面解像度で推定する枠組みができつつある．ALB 計測は今後，河川の縦横断測量で標準的に実施されるため，以前にも増して河道の維持管理の様々な用途で ALB データが活用されることが期待される．
一方，より簡便なモニタリング手法として近年ではドローン(UAV)を用いた物理環境計測が行われている．齋藤ら 5)は UAV 写真と標高データ(DSM)に対して CNN 深層学習を行い，砂州上のヤナギの幼木を検出する手法を提案した．また，百瀬ら 6)は UAV 写
真，DSM 及び植生指数 NDVI に対してランダムフォレスト法を用いて地被分類を試みた．また最近では
UAV や航空写真に対して深層学習を適用し，地物の分類を試みる研究が積極的に行われている 7)．
しかし，一般に UAV 等による画像情報は地被の分類問題には適しているが，ALB に比べて河道の定量的な物理環境の評価は困難であり，先に掲げた課題解決には十分とは言えない可能性がある．そこで，本図-1 対象河川の区間（右図の一点鎖線が研究対象範囲）

表-1 旭川下流河道内の植生種
分類

木
本類

草本類

種類
ｼﾞｬﾔﾅｷﾞ，ｱｶﾒﾔﾅｷﾞ
アキニレ
オニグルミ
ムクノキ
アベマキ
ヌルデ
センダン
ハリエンジュ
桃，蜜柑，柿などの樹木
ﾖｼ，ｵｷﾞ，ｽｽｷ
ツルヨシ
ヒメガマ
オオブタクサシナダレスズメガヤ
ノイバラ(a)果樹園の樹木(9/13)(b)竹林(9/13)(c)ヤナギ(9/13)(d)ｼﾅﾀﾞﾚｽｽﾞﾒｶﾞﾔ(5/8)(e)ツルヨシ(5/8)(f)カワラハハコ(不明)

人工芝など
モウソウチク竹林

マダケ

図-2 河道内の植生種の一例

メダケ

研究では ALB による地被分類性能の向上を目標として，岡山県旭川下流の国管理の約 4.5km の区間を対象に，ALB 計測時に撮影される航空写真を活用し，ALB 点群データと組み合わせることで新たな深層学習による地被分類方法を開発した．特に，本研究では従来の ALB 計測データのみの場合 4)と，写真と ALBデータを組み合わせた場合を比較し，その有効性について検討する．

2. 研究対象河川
図-1 に本研究で対象とする岡山県の旭川流域の概要を示す．旭川の幹川流路延長は 142km，流域面積は 1810km2 である．国直轄区間は旭川の 17.4km と，旭川の放水路である百間川の 17.4km である．この区間では平均河床勾配は 1/670 である．本研究の対象区間は旭川本川の 13.2km から 17.7km とした．この区間は概ね，セグメント 2-1 に相当する．
表-1 には検討対象領域（図-1）に繁茂する植生種の一例を示した．これらは既往の現地調査結果や河川水辺の国勢調査を基に作成した．ここでは流水抵抗の観点から，植生を竹林，木本類及び草本類と簡易に分類した．対象区間内には多種多様な植生が繁茂している様子が伺える．なお，表中の植生は調査年を問わず概ね対象区間で目視により確認されている．
図-2 は著者らが現地踏査の際に撮影した写真（括弧内は撮影月日，図-1 に箇所を図示）の一部を示す．
対象領域の砂州上にはヤナギや竹林が密生するが，2018 年 7 月の西日本豪雨の際には樹木や草本は多く流出し，また国直轄区間の上流部では洪水疎通能力を高める目的で樹木群は伐採された．本研究の対象
期は 2017 年であり，樹林化河道を対象とする．

図-3 ALB 計測時のデジタル空中写真3. 地被・植生分類の手法と検討条件(1) 計測データと前処理
ALB 計測は 2017 年 3 月と 11 月に旭川下流部の国直轄区間において，Leica Geosystems 社のLeica Chiroptera
II を用いて実施した．表-2 に機器仕様と計測諸元，および計測時の河川水質を示す．両計測では高水敷，河床形状，植生状況を細かく再現するために，50％以上の重複区間を設けた計測航路を設定し，陸部で約 8 点/m2，水部で約 2 点/m2 の密度の計測を行った．ALB 計測時には航空機に搭載されたデジタルカメラによって直下の写真が撮影された（図-3）．ALB 計測での航路は概ね河道に沿って複数設けられる．そのため，それぞれの航路の飛行には時間差があり，雲量や日射の相違から写真には明暗が現れる．また，3 月には樹木は落葉し，11 月の写真とは樹木群の色合いは異なって見える．ALB 計測データや写真は複数の平面領域に分割して保存され，1 つの領域は縦750m×横 1000m（画素換算で縦 7500pixel×横 10000pixelになる．以下の解析では計算負荷を減じるため，画像解像度は 0.2m/pixel とした．なお，計測時の河川水質は良好で，この区間では測深に問題はなく，最深部の水深は約表-2 ALB 計測で用いた機器の仕様と計測諸元
項目
機器仕様

計測仕様

図-4 ALB 点群データの前処理(ボクセル化)の概念図

写真仕様
河川水質

近赤外
緑
近赤外
レーザー照射数(万発/秒)
緑
対地高度(m)
飛行速度(km/h)
近赤外
計測点密度(1/m2)
緑
解像度(cm/pixel)
レーザー波長帯(nm)

濁度（度）*

計測年月2017.03 2017.11
1,064
515
14.8
3.5
500
220
111
9.0
18.0
2.0
4.0
102.93.2*：国土交通省水文水質データベース（旭川，乙井手堰）

表-3 ALB データ(近赤外)によるクラスタリング
間引き後の ALB データ
点数 (2 m×2m) n0～45～1213～
植生高 l(m)図-5 ALB による地被分類結果(2017 年 11 月)5.5m であった．
本計測で得られた地上のレーザー点群は上記の重複の影響で，航路の両側で密度が高い．次に示す地被・植生分類のために，図-4 のように 1 辺 0.5m のボクセルを用いて対象領域を 3 次元空間に分割し，1 つのボクセルに 1 点のレーザー点が入るように点群の間引き処理を行った 3)．
(2) ALB 点群データを用いた地被・植生分類
検討対象領域に格子幅 2 m の平面二次元の正方格子（2 m メッシュ，黒太線）を作成した．次に，2 mメッシュの上部に存在する，上記(1)で得られた間引き後のレーザー点数 n を計算した．さらに，各メッシュに存在する ALB 点群に対し，地盤以外を捉えた
最も高い計測点から地盤を捉えた最も低い計測点を差し引いた値を植生高 l として計算した．その後，これら 2 つの情報 n と l を用いて，河道内の地被・植生分類を行った．本研究では地被を水部，裸地，竹林，草本，木本の 5 種類に分類する．表-3 には本研究で用いた閾値を示した．また，樹木の領域に対して，下層点数の割合を考慮し，竹林の領域を推定した 4)．図-5 は図-2 に対応する地被・植生種分布の結果である．

0.3m 未満
0.3m 以上

水部

裸地
草本

木本

(3) 航空写真を用いた深層学習
本研究では計測時に併せて撮影された航空写真画像に対して，機械学習の一種である深層学習を利用して地被・植生分類を試みる．ここでは画素単位での分類を行う Semantic Segmentation 法を採用し，モデルには DeepLabV3+8)を採用した．
図-6 には解析フロー構成を示した．
DeepLabV3+で扱える画像サイズにするため，解析では先ず，航空写真を縦 320×横 320 の画素の小領域の画像群に分割する．
その後，DeepLabV3+では各小画像に対して従来型の UNet9)で利用されるようなエンコーダー・デコーダー構造を用いて RGB 画像の粗視化とその逆変換を行い，画像内の特徴抽出を行う．従来モデルとの相違は Atrous Spatial
Pyramid Pooling (ASPP)と呼ばれる異なるレートの拡張畳み込み積分を行うことで，より効率的に特徴抽出が可能となっている点である．なお，本研究で扱うのは分類問題であるため，深層学習の出力層では事前に定めた各分類ラベルに対する確率値が画素毎に計算される．以上の画像処理の過程は図-6 では[Input RGB image] → [DeepLabV3+ module] → [Output1 Class]で示される．
Semantic Segmentation の学習においては，解析する人間が正解である教師データ（各画素に対するラベリング，正しいと思われる分類結果の情報）を与える．図-7 は図-2 に対応するラベリング結果である．現状，このデータは航空写真に対する目視による確認作業に加えて，現地踏査を普段から行う別の人間が正誤を判断する．深層学
習ではこの正解データを用いて，ニューラルネットワーク上の全てのパラメータを最適化する．

図-6 空中写真の深層学習のプロセス(DCNN 部には物体認識のためのモデル Xception10)を採用した)した．解析条件は付加した ALB データ（点数，植生高）を組合せて構成した．学習ではバッチサイズを4，エポック数を 400 とした．また過学習を防ぐため，データ拡張を行った．これらは精度を向上させるため，試行錯誤で決定した．その結果，学習した画像情報に対しては全てのラベルで 95%程度以上の再現性を確保した．以下の考察では図-7 の正解データを真値とし，解析結果の評価を行う．

4. 結果と考察
図-7 深層学習で用いる正解データ(2017 年 11 月)(4) ALB 計測の点群データと航空写真の併用
本研究では航空写真の画像情報に加えて，ALB 計測で得られるレーザー点数 n と植生高 l の情報を深層学習に用いる方法も検討した．図-6 の解析フロー
において，DeepLabV3+の出力直前の RGB の 3 チャンネル情報の解析結果に加えて，レーザー点数と植生高の 2 チャンネル情報を連結する．
(5) 解析条件
表-4 は深層学習の解析条件である．2017 年 11 月のデータでは，検討領域の上部を学習領域としてネットワークモデルとそのパラメータ群を作成し，検討領域の下部を推論領域とした（図-7）．これら 2 つの領域には 5 種類の地被状態（分類対象ラベル）の全てが存在する．また，同年 3 月では全て推論領域と(1) ALB 単体による推定結果
表-5 は ALB データのみでの分類結果である．推定範囲は対象全域である．列方向に正解ラベル，行方向に ALB の推定ラベルとし，正解ラベルに対する割合(%)を ALB データの 2m 解像度に合わせて示した．
対角成分が優位であり，推定が概ね適切に行われている．一方，竹林と木本，草本と裸地が比較的多く誤って認識される傾向が理解できる．点群や高さ情報のみから分類を判定することが要因と考えられる．
(2) 深層学習 Case1, Case2 における推定結果
図-8 は Case1 の推論結果である．図の上部は学習済
み領域の再現結果，下部は学習後の推論領域の再現結果である．正解データと比較すると概ね分類がされているが，詳細を確認すると推論結果では竹林や木本が消失し，また，裸地と草本がうまく分離されていない箇所が散見される．
表-6 と表-7 は Case1 と Case2 の推論結果（0.2m 解像度の画素単位）について，ラベル毎に表-5 と同様に整表-4 解析条件
Case

画像撮影年月1

2017.112

2017.113

2017.0342017.03

学習データ

用途

RGB 画像のみ
RGB 画像レーザー点数 n
植生高 l
RGB 画像のみ
RGB 画像レーザー点数 n
植生高 l

学習と推論
学習と推論
推論のみ
推論のみ

表-5 解析結果（百分率，ALB と正解の比較）
2m 解像度
正解ラベル
竹林
木本
草本
水部
裸地
ALB 竹林
54.2
15.2
1.2
0.1
3.7
推定 木本
35.6
56.8
14.4
0.3
8.4
ラベ 草本
5.8
14.2
57.2
0.8
18.7
ル
2.8
2.3
3.7
94.2
4.3
水部
1.6
11.4
23..5
4.5
64.9
裸地
Total
100
100
100
100100

理したものである．表-6 の Case1 では概ね，上記(1)の ALB 成果と同様な傾向が見られるが，木本と草本の区別が十分ではない．一方で，表-7 の Case2 では
ALB の高さやレーザー点数情報を与えることで全体的に数値が改善される．上記(1)の ALB 成果とは解像度の相違はあるものの，この結果から，色情報から草本と木本を判断することが比較的困難であり，ALBの高さ情報が有効に働いて推定精度を向上させることが分かる．
(3) 深層学習 Case3, Case4 における推定結果
表-8 と表-9 は Case3 と Case4 の推論結果について，ラベル毎に表-5 と同様に整理したものである．上記の結果(2)とは異なり，木本と草本・裸地の分類性能が良くない．この要因として図-9 に示すとおり，学習時の 11 月とは異なり，推論時の 3 月では樹木の葉は落ちて幹や枝だけとなるためと推察される．また，落葉後の樹木が直下の草本と誤認された可能性がある．さらに，水部に関しては写真撮影時の日射の関係（図-2 参照）で水面の色合いが異なり，誤って推定されたものと理解できる．ALB データの付与は精度をやや向上させるが上記(2)ほどでない．

5. 結論
本研究では岡山県旭川下流の国管理の約4.5kmの区間を対象に，ALB計測時に撮影される航空写真を活用し，ALB点群データと組み合わせることで新たな深層学習による地被分類法を開発した．2017年3月と11月のALB成果物を解析した結果，次の知見を得られた．(1) 写真画像の深層学習では竹林・木本と草図-8 推論結果(Case1，2017 年 11 月)
表-6 解析結果（百分率,深層学習と正解の比較,Case1）
0.2m 解像度
正解ラベル
竹林
木本
草本
水部
裸地
53.0
1.5
0.5
0.00.1
深層 竹林
28.9
57.5
5.3
0.9
1.3
学習 木本の13.6
33.9
83.5
1.818.1
草本
推定 水部
4.3
6.3
1.5
96.6
1.7
ラベ 裸地
0.2
0.8
9.2
0.7
78.6
ル
Total
100
100
100100100
表-7 解析結果（百分率,深層学習と正解の比較,Case2）
0.2m 解像度
正解ラベル
竹林
木本
草本
水部裸地
66.6
3.9
0.7
0.0
0.2
深層 竹林
24.8
65.4
6.0
1.8
1.8
学習 木本の7.6
26.3
86.6
3.4
20.9
草本
推定 水部
1.0
3.8
0.9
93.2
1.4
ラベ 裸地
0.0
0.6
5.9
1.6
75.4
ル
Total
100
100
100
100
100
表-8 解析結果（百分率,深層学習と正解の比較,Case3）
0.2m 解像度
正解ラベル
竹林
木本
草本
水部
裸地
51.9
1.7
0.0
1.6
0.0
深層 竹林
4.8
12.0
0.8
1.6
0.1
学習 木本の
32.0
63.5
74.1
22.4
27.6
草本
推定 水部
0.8
2.1
0.4
67.5
0.9
ラベ 裸地
10.4
20.6
24.6
6.9
71.3
ル
Total
100100100100100

本，裸地と草本がうまく分類されていない箇所が散見された．(2) 画像に加えて，同時期のALBの植生高とレーザー点数を深層学習に利用した結果，竹林・木本と草本の分類性能が向上した．(3) 時期の異なる
航空写真やALBデータを相互に深層学習・推論に用いると，落葉や日射の影響で，木本や水部の分類性能は低下することが分かった．
謝辞：本研究では国土交通省岡山河川事務所および株式会社パスコより，河川情報およびALBデータの提供を受けた．また，河川財団・河川基金および科学研究費助成・基盤研究(C) (18 K04370)による援助を受表-9 解析結果（百分率,深層学習と正解の比較,Case4）
0.2m 解像度
正解ラベル
竹林
木本
草本
水部
裸地
61.0
7.4
0.4
0.10.1
深層 竹林
24.1
32.4
2.7
1.3
1.9
学習 木本の8.941.367.7
22.1
22.5
草本
推定 水部
0.1
0.90.1
43.7
0.5
ラベ 裸地
5.9
17.9
29.1
32.7
74.4
ル
Total
100100100100100

けた．記して謝意を表する．
参考文献
1) 宮本ら：河川の樹林化課題に対する研究の現状と将来展
望，河川技術論文集，第 19 巻，pp.44-446, 2013．
2) 土木学会水工学委員会環境水理部会編：環境水理学，第6 章 3 節，pp.233-230, 2015.
3) 吉田ら：ALB を用いた河道地形計測の精度検証と流況解析の改善効果の検討，土木学会論文集 B1(水工学) ,Vol.73, No.4, I_565-I_570, 2017.
4) 吉田ら：航空レーザー測深を用いた河道の植生種分布の判定手法の検討，土木学会論文集 A2（応用力学），Vol.
73, No. 2 (応用力学論文集 Vol. 20), I_607-I_618, 2017．
5) 齋藤ら：UAV 及び深層学習を用いた植生の自動判別による河道維持管理手法の開発，土木学会論文集 B1(水工学) , Vol.74, No.4, I_829-I_834, 2018.
6) 百瀬ら：ウェーブレット変換と機械学習を用いた UAV
河川空撮画像の地被分類手法の検討, 土木学会論文集
B1(水工学), Vol.74, No.5, I_607-I_612, 2018.
7) Zhang, X. et al.: How Well do deep learning-based methods
for land cover classification and object detection perform onhigh resolution remote sensing imagery?, Remote Sensing,Vol.20, No.3, 417, 2020.
8) Chen, L. et al.: Encoder-Decoder with Atrous Separable

図-9 航空写真に写った樹木群落（15KP 右岸側の中州付近，左：2017 年 3 月，右：2017 年 11 月）
Convolution for Semantic Image Segmentation, The
European Conference on Computer Vision, pp.801-818,2018.
9) Ronneberger，O. et al.:U-Net: Convolutional Networks for
Biomedical Image Segmentation, Medical Image Computing
and Computer-Assisted Intervention, pp.234-241, 2015.
10) Chollet, F.: Xception: Deep Learning with Depthwise
Separable Convolutions, Proc. of the IEEE Conference on
Computer Vision and Pattern Recognition (CVPR), pp. 12511258, 2017.
(Received June 30，2020)(Accepted August 28，2020)

ALB-ASSISTED DEEP LEARNING OF AERIAL PHOTOGRAPHSFOR LAND-COVER CLASSIFICATION IN RIVERS
Keisuke YOSHIDA, Junichi TANIGUCHI, Shijun PAN,Takashi KOJIMA, Kimihisa NAGATA and Akihide WATANABE
Land cover classification (LCC) map in rivers is one of the important fundamental materials forhydraulic research works and practical tasks in terms of both flood control and water environment
conservation. Recently, massive flooding because of heavy rainfall motivates hydraulic engineers toestimate the flow capacity at local river sections accurately by re-evaluating the LCC map of the crosssectional area, vegetation height, and vegetation density, using useful remote sensing methods such as
airborne laser bathymetry (ALB). For this work, we developed a new methodology for land coverclassification (water area, bare ground, herbaceous species, arborous species, and bamboo grove) in rivers.
We used an image processing technique of deep convolutional neural networks (DCNNs) for aerial
photographs taken during ALB measurements in conjunction with the dataset of laser point cloud andvegetation height (digital surface model data minus digital terrain model data). We applied our method totwo flights of ALB measurement data (in March 2017 and November 2017) for the 4.5 km-long lower
reach of the Asahi River. Results showed that our method predicts the LCC map more accurately in caseof support of the ALB dataset, especially for detection of herbaceous species, compared with predictions
using aerial photographs only. However, if we use different season dataset for learning and prediction
processes, classification performance is degraded largely for arborous species because of defoliation.