AI を用いた UAV 砂防巡視点検結果からの変状箇所の自動抽出
むらかみともややまのとおるは た まさ ゆ き

あらきよしのりか わ い め ぐ み

村上智哉 1・山野亨 1・秦雅之 1・ 荒木義則 1・河井恵美 1
APE1
PP

P

AE

APE

PAE

APE

PAE

APE

PAE

APE

中電技術コンサルタント株式会社（〒734-8510 広島県広島市南区出汐 2-3-30）

砂防関係施設点検では，UAV を活用することで，目視点検と比較して迅速性や安全性が向上するものと考えられる．また，UAV 撮影画像の整理に AI 画像解析技術を活用することで，さらなる作業効率化が期待される．本稿は，桜島の巡視点検を対象として，UAV 空撮動画から砂防関係施設や周辺斜面の変状箇所を自動抽出する AI プロトタイプモデルを構築し，変状の自動抽出について試行したものである．その結果，目視による変状確認を行う前の一次抽出において十分な有効性があると判断できた．一方で，誤検出や見逃しの発生も少なからず確認されたことから，
UAV 砂防巡視点検において AI を活用するための今後の課題を整理し，解決策を提案した．
Key Words : 砂防施設点検, UAV 点検, AI, 物体検出

１．はじめに

２．UAV による砂防施設点検の概要

桜島には，直轄砂防事業の対象河川が 11 河川あり，降灰や土石流により，河川毎の土石流発生頻度やそれに伴う土砂堆積，砂防設備の変状（摩耗，損傷，除石等）が異なっている．現状は，月 1 回の頻度で実施 し て い る 巡 視 点 検 ［ 徒歩 巡 視 ・ UAV （ Unmanned
Aerial Vehicle：無人航空機）撮影動画］から変状箇所を人海戦術で確認しているが，対象範囲が広く，変状確認の迅速化・効率化が求められている．
本稿では，桜島における渓流や砂防関係施設の変状確認を迅速かつ効率的に行うため，UAV による空撮動画から自動的に変状を抽出する AI（ArtificialIntelligence：人工知能）プロトタイプモデル(図-1)を構築し，AI の有効性の検討を行った結果について報告する．

砂防関係施設を維持管理するための点検は，砂防関係施設点検要領（案）1) より，点検計画に基づいて点検と健全度評価を行う「定期点検」，出水や地震時に実施する「臨時点検」，必要に応じて実施する「詳細点検」の 3 種類に区分されている．従来は，砂防施設点検の方法は徒歩による目視点検が基本であったが，本要領の令和 2 年 3 月版以降から，UAV 点検も目視点検と同等の情報が得られるものとして位置づけられており，全国的にも砂防施設点検に UAV を活用する手法の検討が進められている．
UAV による砂防施設点検を行う主なメリットとしては，広範囲に渡って迅速に点検可能であることや，急斜面や高所での作業を安全に実施できることが挙げられる．

３．砂防関係施設点検における AI 活用方法の検討

図-1

UAV 動画から変状を自動抽出する
AI モデルのイメージ(1) 検討対象とする点検の種類
現在，桜島では，砂防関係施設点検要領（案）に準じた定期点検，臨時点検，詳細点検に加えて，それらの点検とは別に，月 1 回の頻度で巡視点検が実施されている．巡視点検では，施設の各部位の詳細な変状の確認や健全度評価などは実施されておらず，直轄河川全域における砂防施設やその周辺における変状の有無等を簡易的に調査する内容となっている．
AI による変状抽出を行うために対象とする点検は，実施頻度が高いものの方が AI による作業効率化や見逃し軽減の効果が高く，また，教師データも得やすいことが期待されることから，桜島で実施されている点検のうち最も高頻度（月 1 回）で実施されており，簡易的に流域全体の変状を確認することを目的としている「巡視点検」とした。
また，AI により自動検出する対象は，既知の変状の詳細な進行度合い（変状レベル）でなく，新規で生じた大きな変状の有無とした．なお，ここで見つけた変状については，別途改めて調査員による詳細な現地確認を行うことを想定している．
(2) 適用する AI 技術の検討
AI とは，ソフトウェア等を用いて，人間の知能と同様の機能を人工的に再現するものである．近年は，飛躍的にコンピュータの処理能力が向上しているほか，ストレージ技術の発展やインターネットの普及により，ビッグデータの蓄積・入手が容易になった．
これに伴い，ビッグデータを処理するために AI 自身が学習する仕組みである「機械学習」が急速に進化してきた．その主役となっているのが，機械学習の一つである「ディープラーニング(深層学習)」である．
AI による主な画像解析技術には，ディープラーニング技術の一種，畳み込みニューラルネットワーク（CNN）の応用技術である①画像分類，②物体検出，③セグメンテーションが挙げられる（表-1，図-2）．
本検討では，桜島の巡視点検において UAV の自律飛行により渓流内の動画を撮影して変状を把握しようとしていることに鑑み，上記の 3 種類の画像解析技術のうち，「②物体検出」の技術を活用して，UAV で撮影した動画から変状を検出する AI プロトタイプモデルの構築を行うこととした．

No.
①②
③

表-1 CNN による主な応用技術
CNN の応用技術
概 要
画像一枚単位でクラスを判
画像分類
定する
画像内のどの位置に何のク物体検出ラスが存在するか判定する
セグメンテーシ
画像内のピクセル別にクラョンスを判定する(3) 抽出対象とする変状の種類
桜島における既往の巡視点検で見つかった変状を分類すると，変状の種類は大きく 6 種類（①陥没，護岸背面洗掘，②崩壊，渓岸・法面侵食，③土砂・流木堆積，④施設破損，⑤不法投棄，⑥その他）に分類される．これらの変状から，UAV による撮影動画により判別可能な規模の変状のうち，AI 学習のための複数の教師データを確保できたのは「①陥没，護岸背面洗掘（以降，「陥没等」と言う）」及び「②崩壊，渓岸・法面侵食（以降，「崩壊・侵食等」と言う）」の 2種類であった．このため，UAV 撮影動画からの AI を用いた変状抽出の対象は，「陥没等」(図-3)及び「崩壊・侵食等」(図-4)の 2 種類とした．

陥没箇所

図-3

陥没等の変状（教師データ）事例

崩壊箇所

図-4

崩壊・侵食等の変状（教師データ）事例

４．UAV による巡視点検の試行
桜島での UAV による巡視点検は，表-2 に示す飛行諸元で飛行計画を立案し，UAV 自律飛行による砂防巡視点検を試行した．使用機体は，実際に点検業者が実施することを想定し，汎用性を踏まえて小型汎用機(DJI PHANTOM 4 Pro)を採用した．
巡視点検の試行結果より，
UAV 空撮動画から目視で変状箇所を抽出したところ，最小で 1 辺約 0.3m 程度

図-2

CNN による応用技術イメージ（床固工の摩耗検出）表-2 砂防巡視点検の飛行諸元
対地高度100m
飛行速度7m/s
撮影角度(俯角)
往路：30°，復路：90°

の変状(図-5)までは抽出可能であった．

陥没(約 0.3m×1m)図-5

UAV 動画から目視により抽出できた変状の例

５．AI プロトタイプモデルの試行
桜島の巡視点検における渓流や砂防施設の変状確認を迅速かつ効率的に行うため，変状抽出の AI モデルを構築し，その有効性を検証した．
なお，前述の通り，桜島で AI により抽出可能な変状の種類は限定的であり，また，一定の精度を確保するためには教師データ数が不足していることに鑑
みて，ここで構築する AI モデルはプロトタイプモデルと位置付けた．
(1) AI プロトタイプモデルの概要
AI プロトタイプモデルの試行にあたり，物体検出アルゴリズムである「YOLOv52)」を採用した．YOLOv5
は，物体の領域認識とクラス判定を同時に行う手法であり，処理速度が速いという特徴がある．
本検討では，今後，UAV による巡視点検を行う複数の業者が点検実施の際に都度 AI による判定を行うことを想定している．今回の AI プロトタイプでは，検出用プログラムとして，YOLOv5 で提供されているスクリプト（detect.py）を利用した．しかし，本ス
クリプトは CUI(Character User Interface)でコマンドを入力して実行する必要があり，CUI に慣れていない人にとっては操作が難しいと考えられる．したがって，操作性向上のために，detect.py を起動するGUI(Graphical User Interface)プログラムを作成した．作成した GUI プログラムの画面例を図-6 に示す．図-6 より，AI により変状箇所を抽出したい動画ファイルを指定するだけで，プログラムを動かすことができるようになった。なお，本プログラムは，UAV で撮影した動画だけでなく，静止画や内蔵カメラ，YouTube 動画でも利用することができるように利用用途の拡張性を考慮したものとした．
(2) 教師データの設定
AI モデルの構築において，変状の自動検出に一定程度の精度を確保するためには，過去の調査結果 3)に示された学習データと識別率の関係から，学習データ 1,000 枚で 75％程度の識別率を得られることが示されている．そこで，本業務においても 1,000 枚以上の教師データを準備することを目標とした．
しかしながら，桜島の AI モデル構築に使用できる教師データ（既往の動画データ）は過去 2 年分のものしか存在しない状況であった．
このため，既往の巡視点検における動画データから図-7 に示す手順で，合計 141 枚の教師データを作成したのち，全ての画像を 9 回コピーして，最終的に 1,410 枚の学習用データセットを得た．

UAV 空撮動画②変状があるキャプチャ画像を目視で選択する(合計 47 枚)

図-7GUI プログラムの画面③データセットの画像を左右反転および上下反転する(合計 141 枚)

動画データからの教師データ作成イメージ(3) AI プロトタイプモデルの試行結果と有効性確認
構築した AI プロトタイプモデルを用いて，本業務で撮影した UAV 動画から，「陥没等」及び「崩壊・侵食等」の検出を試行した．動画からの AI プロトタイ
プモデルによる変状抽出について，その精度を正検出率，誤検出率，見逃し率の 3 つの評価指標で評価し，AI プロトタイプモデルの有効性を検討した．
評価指標の整理結果（表-4）より，今回構築した
表-4

図-6

①ビデオのフレームごとにキャプチャ画像を作成する(合計 7,216 枚)

AI プロトタイプモデルの精度評価
評価指標※
検出対象
正検出率
誤検出率
見逃し率
陥没等
88.0%
12.0%
48.8%
崩壊・浸食等
67.7%
32.3%
3.6%
※正検出率：変状を検出した回数のうち，検出が正しかった回数の割合
誤検出率：変状を検出した回数のうち，検出が誤っていた回数の割合
見逃し率：全変状のうち，検出できなかった変状の割合

陥没を正しく検出崩壊を正しく検出小さな陥没の見逃し崩壊と類似した渓床部を検出

図-8

AI モデルによる陥没検出結果（上：陥没を正しく検出，下：小さな陥没（水色枠内）を見逃し）

AI プロトタイプモデルは，陥没等については高確率で正しく検出できている(正検出率 88.0％)ものの，見逃しが多く発生している(見逃し率 48.8％)．この見逃しの多くは，河床の石礫と判別が難しい小さな陥没であった．AI による陥没検出の事例を図-8 に示す．一方，崩壊・侵食等については，陥没等と比べて見逃しは少ない（見逃し率 3.6％）が，誤検出が比較的多く発生している（誤検出率 32.3％）．この誤検出の多くは，崩壊と類似した渓床部を崩壊と認識して検出したものであった．AI による崩壊検出の事例を図-9 に示す．

図-9

AI モデルによる崩壊検出結果（上：崩壊を正しく検出，下：崩壊と類似した渓床部を検出）

P

点検計画立案D

巡視点検実施・結果整理AI モデルによる変状抽出C
人の目による変状確認

点検結果更新６．おわりに毎年A試行の結果，現状の AI プロトタイプモデルは，崩壊･陥没等の典型的な事例を比較的精度よく検出できていることから，目視による変状確認を行う前の一次抽出(現地確認箇所の絞り込み)において十分に有効性があると判断できる．しかしながら，現状では小さな陥没等の見逃し，特徴の類似した地形等の誤検出が発生している．これらの課題については，今後も UAV を活用した巡視点検による動画撮影を行い，教師データを蓄積し，AI プロトタイプモデルに追加学習させていく PDCA サイクル(図-10)を回すことにより，精度向上が図れると考えられる．
また，今回構築した AI プロトタイプモデルは，UAV撮影動画を再生しながら変状を自動で検出するものであり，変状検出結果の静止画の自動切り出しや一覧表作成等といった点検結果整理を効率化するための機能は実装していない．このため，今後は，さらなる点検作業の効率化を図るための検討を行っていく必要がある．

PDCA
サイクル

教師データ抽出・蓄積※1

一定期間毎※2

AI モデルの更新※1 教師データに巡視点検以外，他地域のデータを追加すること変状抽出の対象を拡大することも検討※2 モデル更新は，一定期間(2～3 年程度)毎に点検とは別の業務で実施することを想定

図-10 AI を活用した巡視点検効率化の PDCA サイクル

謝辞：本業務の遂行にあたり適切なご指導と多大なご協力をいただいた国土交通省 九州地方整備局 大隅河川国道事務所の関係各位に深謝の意を表する次第である．
参考文献
1) 国土交通省砂防部保全課: 砂防関係施設点検要領（案）,
令和4年3月．
2) Glenn Jocher: ultralytics/yolov5,
https://github.com/ultralytics/yolov5
3) 国立研究開発法人産業技術総合研究所: 機械学習品質
評価・向上技術に関する報告書,2021.