UAV・AIを活用した河川巡視の高度化
よしおか吉岡さゆり

おがた

小百合1・尾方

1国際航業株式会社

東京事業所

こうへい

りん

浩平1・林

うてい

しもの雨亭1・下野ともひろ友裕1（〒183-0057 東京都府中市晴見町2-24-1）

近年，出水による水災害が頻発しており，適切な河川維持管理が求められている中，小型無人航空機（UAV）等で取得した大量の撮影画像を効率的に処理することができる人工知能（AI）
技術の進展が著しく，本技術活用による河川監視の効率性・効果向上が期待されている．本開発では，低コストで早期の実装を念頭に，効率的・効果的な河川の状態把握を目的に，従来の河川巡視項目のうち人工物を対象に，UAV撮影画像や航空機による空中写真から，AI技術における深層学習の一つである「物体検出」及び「領域分割」を用い，不法投棄や舗装箇所亀裂等の自動検出手法と，不法な土地改変の兆しを自動抽出する手法を開発した．
Key Words : 河川巡視，UAV, 深層学習, 物体検出, 領域分割, 河川監視システム開発の第一段階では，異常・変状に対し，最適な撮影方法（UAVの対地高度，撮影アングル等）を検討した．第二段階では，取得した多量のUAV撮影画
近年，出水による浸水被害が相次いでおり，堤防像（ビックデータ）から，AIによる異常検出の自動決壊や河川氾濫等による水害を防止又は軽減するためには，河川（河道や河川管理施設）の維持管理を化を検証し，自動検出に適した画像と学習データの仕様を設定した．なお，AIは目視による河川監視の適切に行う必要がある．
河川監視は，河道流下断面の確保や堤防等の施設要・不要を推定するスクリーニングとしての位置付けである．第三段階では，現在のAI技術では自動検の機能維持，河川区域等の適正な利用，河川環境の整備と保全等に関して設定される河川維持管理目標出が不適な項目・対象について，画像閲覧ツールをの達成に向けて，河道や河川管理施設の状態把握を構築した．
行うものである．従来，日常的な河川の状態把握は，河川監視は，人工物，自然物，河川利用・行為に「河川巡視規定例」1) に基づき，巡視員が車両や船大別できる．AIによる異常箇所の自動抽出には，膨舶で定期的に河川を巡回し，目視確認により異常及大な学習データが必要なため，本開発では，河川監び変化等を発見し，概括的な河川状況を把握するが， 視項目のうち，学習データ作成が可能なゴミ等の不目視確認には下記の課題がある．
法投棄や不法な土地改変（掘削，仮土砂仮置き等）等をAIによる異常自動検出を対象とした（図-1）．
・巡視員により異常の判断基準が異なり，巡視の河川監視項目
質の一貫性に欠ける・車両等通行可能経路からの可視範囲しか確認で人工物
自然物
河川利用・行為
きず，堤外民有地や広大な河川敷，アクセス異常変状
異常変状異常ルート未整備箇所，植生密生箇所等の不可視箇所が存在する
河川監視
UAV撮影画像のUAV＋AI（深層学習）
UAV＋SfM解析
手法の開発
目視視認・作業効率が低い
・出水後調査や水上巡視での巡視員の安全確保
図-1 河川監視項目別の異常・変状監視手法

１．研究開発の背景と目的・概要

これらの課題に対し，本開発では，中小河川を含む全国の河川に広く適用できる，汎用性の高い河川監視手法の確立を目的とし，UAVからの空撮により河川情報を死角無く効率的に取得し，そのビッグデータ（河川情報）から，河川の異常・変状を自動検出する技術を研究・検証した．

２．検討内容(1) UAVによる河川情報の取得
AIによる異常箇所の自動抽出に最適な撮影画像仕様を検証するために，複数の飛行・撮影条件の画像－121－

を取得するため，天竜川水系三峰川及び荒川水系荒川を実証河川として，UAVを用いて撮影し、河川情報を取得した（表-1）．
天竜川水系三峰川においては，従来の河川巡視項目全般を対象に最適な飛行・撮影仕様の検証を目的に実施した．都市河川である荒川水系荒川は，広大な河川敷があり，堤防天端等からの視野が確保されている特性を考慮し，船上巡視の代替や目視困難箇所の監視に目標を絞って実施した．
撮影機体は，UAV活用による河川監視を広く普及させるため，現時点で汎用的な機種であるInspire2（DJI社），PHANTOM4 Pro（DJI社）を用いた．
表-1

UAVによる撮影での実証項目

項目
撮影アングル（俯角）
地上解像度（対地高度）

内容
90度，75度，60度，45度
約1cm，1.5cm，2cm，2.5cm，3cm，3.5cm，4cm（約35m～140m）

撮影時間帯の太陽高度10～35度a）AIによるゴミ等不法投棄の自動抽出
三峰川のUAV撮影画像から白いビニルゴミの学習
データを3,166個，荒川のUAV撮影画像から2,774個作成し，地上解像度・撮影アングルを区別せず，モデルの学習を行った上で検証した．
なお，AIによる異常の自動抽出精度の評価には，下記の再現率，適合率，F値の3指標を用いた．

b）AIによる堤防天端亀裂の自動抽出
三峰川のUAV撮影画像から堤防天端の亀裂の学習
データを3,457個作成し，モデルの学習を行った上で，地上解像度・撮影アングル別の検出結果を定性的に評価した．
検出結果を図-3に示す．撮影アングル別では，45度では，地上解像度2cm及び3cmにおいては亀裂を概ね抽出できているのに対し，地上解像度4cmでは抽出できていない．60度では，全ての地上解像度で亀裂を概ね抽出できている．75度では，地上解像度2cmは概ね抽出できているのに対し，地上解像度3cm及び4cmでは，抽出漏れが多く見られた．
抽出漏れの要因として，撮影アングル60度に対し，抽出漏れの多い撮影アングル75度では輝度値が低い．
結論として，前項のゴミ等不法投棄の抽出と同様に，現時点でのAI技術レベルでは，堤防天端等の舗装箇所の亀裂等の自動抽出には，地上解像度3cm以下且つ輝度の高い画像の取得が望ましい．
2cm

3cm

4cm

度

45

検出無し
度

・再現率：実際に存在する物体の数のうち，正しく判断されている数の割合．再現率が低いほど，モデルの検出漏れが多い．
・適合率：モデルの正確性を評価する指標．モデ
ルが正しいと判断した物体のうち，実際に正しく判断されている物体の数の割合．適合率が低いほど，物体を誤検出した回数が多い．
・F値：再現率と適合率のバランスを表す指標．
再現率と適合率の調和平均によって算出される像度2㎝では，撮影角度によらず，F値80%以上を示した．地上解像度3㎝においても，撮影角度によらず概ねF値70%～80%以上を示したのに対し，地上解
像度4cmでは三峰川と荒川で逆の傾向がみられ，今回活用した学習データと現時点のモデルでは，地上解像度4cmでの異常抽出が安定していない．
結論として，現時点でのAI技術レベルでは，ゴミ等不法投棄の異常自動抽出には，地上解像度3cm以下の画像取得が望ましい．

60

度

7545度

F値（％）

100
8087.091.5
82.1

60度

75度

89.1
83.0

91.0

88.7
71.6

60

図 -3

64.3

40
200
2.0

3.0

4.0

地上解像度（cm）
図-2 ゴミ自動抽出精度（三峰川の例）

三峰川を例とした検証結果を図-2に示す．地上解

地上解像度・撮影アングル別の亀裂検出結果（赤：検出枠）(2) AIによる異常箇所の自動抽出a) 深層学習モデルと学習モデル作成
AIによる不法投棄や不法な土地改変の自動抽出手
法 に つ い て ， 不 法 投 棄 は 「 物 体 検 出 （ objectdetection ） 」 ， 不 法 な 土 地 改 変 は 「 領 域 分 割（semantic segmentation）」を活用した．
異常箇所を自動抽出する検証データは，UAV撮影画像を基本とするが，現時点では不足しているUAV撮影画像での「異常」に関する学習データ画像を補－122－

完し，一定の精度を確保するために，既存の河川維持管理支援システム（RiMaDIS）に蓄積されている地上撮影写真を活用する方針とした．
なお，不法な土地改変は面的な情報であるため，より面的な情報を取得できる航空機による空中写真（地上解像度25cm）を用いて検証した．
b)ゴミ・亀裂の自動抽出
深層学習におけるゴミ等不法投棄の早期確認のための「物体検出」モデルとして，UAV撮影画像と地上撮影写真の双方に学習させ，UAV撮影画像に適用
す る 最 適 な モ デ ル を 確 認 す る た め ， DetNet とRetinaNet2)3)を検証した．評価は，早期実装に向けて，モデルによる計算速度，計算環境構築の容易性，検出精度の観点から行うこととし，それぞれについて複数条件（撮影アングル，地上解像度）のUAV撮影画像について，学習と検証，プログラム改良を繰り返し，画像仕様別の抽出精度の差を確認した．
検証の結果，両モデルともに，ビニルゴミを検出出来ているが，精度は高くない．DetNetでは検出漏れが多く確認され，RetinaNetでは誤検出が多い傾向がみられた（図-4）．
誤検出の種類としては，白い石，車両，ビニルハウスや水しぶき等のゴミの表面色と類似する白い物体が多い．地上解像度や撮影アングル別で顕著な違いは確認されなかった．

誤検出であっても異常を含んでいる場合，人による現地確認の一次フィルタリングへの活用を想定できることから，検出漏れの多いDetNetより誤検出の多いRetinaNetの方が現場での有用性は高い．
結論として，学習データに地上撮影写真の活用も念頭に置いた本研究開発においては，速い計算速度と容易な計算環境構築，また検出精度の観点からRetinaNetを活用することとした．
次に，UAV撮影画像より学習データを作成し，RetinaNetで学習させ，物体検出モデルを開発した．
天端道路上の亀裂・亀甲は形状が多様であるため，亀裂・亀甲の位置を形状に応じて検出することが課題である．そこで，まず学習データのアノテーション作成方法を検討するために，アノテーション作成方法を3条件（①50×50 pixelで作成，②200×200pixelで作成，③線状亀裂・亀甲形状に合わせて作成）で行った上でモデルを作成し，検出結果を比較し定性的に評価した．
アノテーション方法別の検出結果を図-5に示す．
条件③で学習させた検出結果は，概ね検出できており，亀裂形状に応じて検出枠形状も変化しており，条件①②での検出結果よりも，亀裂の位置特定が容易であると判断される．
結論として，亀裂のアノテーションは，亀裂形状に合わせた作成が望ましい．
c)不法行為区域の自動抽出
DetNet領域分割は，不法行為（土地占用，盗掘，伐採，緑枠：土砂等仮置き，土地形状変更等）の兆しの早期検出抽出結果が目的である．河川区域外のデータ検出を回避するため，河岸維持管理法線（防護ライン）データを範囲境界として使用する．ただし，防護ラインデータが整備されていない中小河川等への適用を念頭に，第一段階として河川区域の領域分割，第二段階として不法行為の区域の領域分割の2ステップとして検証した．本開発では異なる解像度画像の特長マップ
RetinatNetから情報を抽出することにより認識精度が向上する
赤枠：GSCNNにてモデルを構築した4)．
抽出結果
なお，不法行為区域の視覚的定義として，重機の活用且つグラウンド等地表面露出した人為裸地と設定し，学習データを作成した．
まず，第一段階として，空中写真及び河川区域のマスク画像のペア画像を学習データ（図-6）とし，GSCNNモデルで学習させ，河川区域の領域分割モデルを開発し，性能検証した．その結果（図-7），図-4 DetNetとRetinaNetでのビニルゴミ抽出結果（地上堤防が明瞭な場所は，高精度に河川区域を抽出でき
解像度1.5cm，撮影アングル45度の場合）る一方，堤防道路が無く，または橋梁などの構造物に堤防が遮蔽され画像から視認できない箇所では，河川区域の抽出精度が低下する傾向がある．また，河川敷地の幅が分割画像のサイズを超えた場合，学習データが少ないことから，認識精度は低下した．
学習データを増やすことで性能向上が期待できるが，不法行為区域抽出のフィルタとしての活用が目的であるため，現状の河川区域推定精度にて要求仕
図-5 アノテーション方法別検出結果（左から条件①②③） 様を満たしていると判断した．

－123－

図-6 学習データ（左：空中写真，右：マスク画像）
図-9 閲覧ツール３．ガイドライン（案）の作成
開発成果を踏まえ，UAVを活用した河川監視方法を整理したガイドライン（案）を作成した．作成にあたっては，河川管理者が従来の河川巡視，点検，詳細調査等の河川監視行為においてUAVの活用により，効率的・効果的な河川管理に寄与することを目的に，現場条件や目的に応じた情報を取得できる手法を容易に選定・選択できる手順書とした．

図-7 河川区域の分割結果（赤：正解，青：AI）

次に，不法行為（土地占用，盗掘，伐採，土砂等仮置き，土地形状変更等）の抽出を対象に，空中写
真及び人為裸地のマスク画像のペア画像を学習デー
タとし，GSCNNモデルで学習させ，不法行為区域の領域分割モデルを開発し性能検証した．AIによる
人為裸地の自動抽出精度の評価には，IoU（Intersect
４．今後の河川監視-ion over Unionの略称：領域の集合における領域の本開 発は国土 交通省が 推進す る河川管 理の DX共通部分）を用いた．
（デジタルトランスフォーメーション）の一環であ
その結果，重機を活用したような人為裸地についる．河川の状態把握においてUAVとAI活用等が進み，て，IoU：9割以上の精度で領域分割された（図-8）． 異常・変状等のデータが蓄積されていくことにより，結論として，AIによる不法行為（土地占用，盗掘， 下記の効果が期待される．
伐採，土砂等仮置き，土地形状変更等）の兆しの自動抽出（区域区分）には，地上解像度25cm以下の画・河川の不可視箇所の削減
像で可能であり，UAVのみならず航空機による空中・巡視員の負担軽減・安全性向上
写真の解像度に対しても適用可能である．
・巡視結果の品質の統一
今後，学習データと異なる条件（撮影時期，日射・全体コスト削減（今後：定量評価）の相違，河川規模・被覆の性質等）のデータ適用における抽出精度の確保については，学習済みモデル
また，地方公共団体が管理する中小河川延長が膨の汎用性能が課題である．
大であることから，これまで十分に状態把握ができ
グラウンド

グラウンド

施工現場

図-8 土地改変区域（人工裸地）の検出結果（黒線）ていない河川巡視等の未実施区間について，状態監視区間の拡張検討に寄与するものと期待できる．
今後は，UAV撮影画像や異常通出結果等の膨大な情報を一元的に管理するための仕組みや，学習用データを集約する仕組みの検討が必要である．
謝辞：本開発は，国土交通省の「革新的河川技術プロジェクト」の一環として実施した．ここに記し感謝の意を表する．

(3) 自動抽出以外の異常・変状確認手法
学習データ作成が不適である自然物，河川利用・参考文献
行為等の監視方法として，「二時期の撮影画像の目
1) 国土交通省：河川巡視規定例について，2011．
視確認」，「三次元地形データでの変状確認方法」
2) Lin, T., Goyal, P., Girshick, R., He, K., Dollár, P : Focalを開発した．
loss for dense object detection. The IEEE International
Conference on Computer Vision (ICCV), pp.2999–3007,
前者は，飛行計画に基づき一定のコース，高度，2017.
角度で撮影された単写真は概ね同じ画角となるため，
3)
Lin, T., Dollar, P., Girshick, R., He, K., Hariharan, B.,
それらの目視比較により，自然物や河川利用の変化
Belongie, S : Feature Pyramid Networks for Object
を把握するための閲覧ツールを開発した（図-9）．
Detection. The IEEE Conference on Computer Vision and
後者は，空中写真の活用により自然物の変状としPattern Recognition (CVPR), 2017.て面積や大凡の体積（材積，土砂移動量等）の把握
4) Takikawa, T., Acuna, D., Jampani, V., Fidler, S : Gatedが可能であり，UAV撮影画像からオルソ画像や三次SCNN: Gated Shape CNNs for Semantic Segmentation, The
元点群データ作成・動態解析が，SfM解析により可IEEE International Conference on Computer Vision (ICCV),
能なことは既往実績より証明されている技術である．
pp.5229-5238, 2019.

－124－