令和6年度砂防学会研究発表会概要集

P-38

機械学習による砂防堰堤の変状の自動抽出
株式会社エイト日本技術開発○海原荘一・八木笙太

国土交通省関東整備局日光砂防事務所
1.はじめに
一般的に砂防施設は山間部にあり，点検作業の効率化や安全確保のため，UAV を活用する試み例えば 1)が行われており，従来の点検者が直接現場を確認する方法の方が効率な場所以外では，今後は点検時の映像データで砂防施設の変状を抽出することが求められる。また，点検結果判定の DX 化として，コンクリート製の砂防堰堤を対象とし，機械学習により砂防施設のひび割れの抽出 2)や，水通し天端の摩耗 3)，石積ブロックの欠損4)の抽出の検討が行われている。
砂防施設の変状抽出のための機械学習モデルを構築するには，変状の生じた砂防施設の映像が多数必要となる。しかし，実際にモデル構築のため，変状が生じた砂防堰堤の映像を数多く求めるのは容易ではなく，UAV で変状抽出に適した距離で撮影された変状のある施設となると数は絞られる。また，多方面から映像を集めるとなると版権の問題が生じる。
本稿では UAV による変状箇所の映像だけでなく，UAV 映像よりも入手しやすい，従来の地上からの施設点検の写真も活用して，石積堰堤の断面欠損を対象に，変状抽出モデルを検討・検証した結果を報告する。

(a)オリジナル画像(b)回転の例(c)回転の例(d)ノイズ付与の例(e)ガンマ補正の例(f)輝度変化の例

2.検討に用いたデータ
2.1 モデル構築の対象とする砂防施設の変状の種別
日光砂防事務所管内で生じている砂防施設の変状は「洗掘」，「水通し天端磨耗」，「石積/石張の欠損」，「水叩きの摩耗」であるが，その中でも最も多い変状は，「石積/石張の欠損」であり，教師データを多く確保でき機械学習モデルを構築しやすいという観点から，自動抽出の対象とする変状は，「石積/石張の欠損」とした。
2.2 モデル構築に使用したデータ
管内における既存の UAV による石積/石張の欠損の映像は 13 枚のみであったことから，UAV によらない通常の施設点検写真の中で，UAV で撮影可能なアングルで撮影された石積/石張の欠損を追加し，合わせて 44枚の画像を基にモデルを検討することとした。
機械学習による変状抽出モデルの構築のデータセッ
トとしては数が少ないため，図-1 のように画像の水平反転，垂直反転，水平垂直反転に加え，回転/平行移動，ぼかし，ノイズ付与，色相変化，ガンマ値変化(コントラスト変化)，輝度変化処理による手法を用い，データ拡張（教師データを増やすこと）のため，前述の元の 44枚の映像から 20 倍の 880 枚の教師データ用の画像を作成した。なお，オリジナルデータはモデル検証用に用いるため，モデル構築には使用していない。変状抽出の機械学習モデルの構築に必要となる，変状範囲情報については，各画像の石積/石張の欠損の生じている範囲を矩形で囲んでデータを作成した（アノテーションと呼ばれるラベル付け作業）。図-2 にその事例を示す。
3.変状抽出モデルの構築
変状抽出モデル（画像解析でいう物体検出モデル）には，画像解析手法の主流である CNN(畳み込みニューラルネット ワー ク法) に基 づく物体 検出 モデル であ る

坂本哲弥・穐田雄高・石丸昌史・木下篤彦

図-1 ぼかしや回転、ノイズ付与などによる教師データ拡張のための画像の作成例(a)砂防堰堤水通しの変状範囲の指定例
教師データとして砂防堰堤水通しの石積の欠損範囲を指定(b)砂防堰堤袖部の変状範囲の指定例
教師データ
として砂防堰堤袖部の石積の欠損範囲を指定

図-2 教師データ作成におけるアノテーションの例（石積/石張の欠損の範囲を矩形で設定(緑の範囲)）- 411 -

「Faster-RCNN」を使用した。Faster-RCNN は入力から結果出力まで１つのモデルとなっており，検出対象の物体なのか，背景なのかを学習するモデルであり，処理速度も速いのが特徴である 5)。
4.構築したモデルの検証と結果
4.1 教師データに用いたオリジナルデータでの検証
教師データに用いた水平反転等々によるデータ拡張の基になっている画像データを検証用データとして，「石積/石張の欠損」が抽出できるかを検証した。なお，モデル構築の教師データにはこの基データは使用していない。
教師データの基になっているオリジナルデータを入力した場合の変状抽出結果としては，ほぼ正確に「石積/石張の欠損」の範囲が抽出されており（図-3），例示した事例以外の検証結果においても，その抽出範囲も教師データとほとんど変わらない範囲を示していた。さ
らに，「石積/石張の欠損」の生じていない場所を抽出しているようなこともなく，教師データに近い画像に対する検証結果としては，変状抽出の精度はかなり高いモデルであるといえる。
4.2 汎化性能の確認構築したモデルの汎用性を確認するため，インターネット上で公開されている「石積/石張の欠損」の映像を用いた検証を行った。図-4 は緑枠が検証用に石積の欠損箇所として定義した箇所，赤枠が判定結果であるが，予測結果内に赤枠が全く見られないことから，変状と定めた箇所全てを全く認識できていないという結果となった。そこで，この判定モデルは，教師データに過剰適合した状態（過学習）であるといえる。
5.おわりに本検討では数十枚の画像を基に，データ拡張のため画像編集で加工した約 20 倍の多数の教師データを作成し，石積/石張りの欠損を抽出する機械学習モデルを構築したが，過学習の状態であることが明らかとなった。
機械学習モデルを構築する場合，教師データが少ないケースでは様々な方法でデータ拡張を行う必要があるが，汎化性能がかなり低いモデルとなる可能性があることに留意する必要がある。しかし，数千枚といったレベルで同じ変状種別の映像を収集するのは容易ではないことから，このような変状抽出モデルは，特定の箇所の変状の領域拡大の判定に用いるといった使い方を模索していく必要があると考えられる。

(a) 作成したモデルでの石積欠損の抽出事例（その 1）
作成したモデルで石積の欠損と判断した範囲

教師データとして指定した石積の欠損の範囲(b) 作成したモデルでの石積欠損の抽出事例（その 2）作成したモデルで石積の欠損と判断した範囲

教師データとして指定した石積の欠損の範囲

図-3 オリジナルデータでの検証結果の例(緑色は学習用データで欠損箇所として設定した範囲，赤は構築したモデルで欠損箇所として抽出した範囲，両者はほぼ同じである。)(a)公開されている画像での検証事例（その 1）
モデルの検証のため教師データ作成に使っていない映像の石積の欠損として指定した範囲※ 作成したモデルで石積の欠損と判断した範囲はなし。
出典 https://www.naganogiken.co.jp/2017/09/07/case3/(b)公開されている画像での検証事例（その 2）

参考文献 1)国土交通省近畿地方整備局大規模土砂災害対策技術センター：UAV の自律飛行による 砂防関係施設の自動巡視・点検 に関する手引き，2023. 2)向本ら：UAV を用いた砂防施設におけるひび割れ箇所の可視化技術に関する研究，AI・データサイエンス論
文集，3 巻，J2 号，p.714-723，2022. 3)中西ら：AI 画
像解析等を活用した砂防施設点検の高度化に向けた取り組み，令和 5 年度砂防学会研究発表会概要集，p.34，2023. 4)古木ら：UAV 及び AI 画像解析技術を活用した砂防施設点検の高度化に向けた試み，令和 5 年度
砂防学会研究発表会概要集，p.19-20，2023 4)NPO 法人
AI 開発推進協会：物体検出 Faster R-CNN，https://qiita.com/DeepTama/items/0cb9ca2d35c200deed37

モデルの検証のため教師データ作成に使っていな
い映像の石積の欠損として指定した範囲※ 作成したモデルで石積の欠損と判断した範囲はなし。
出典：https://www.mlit.go.jp/river/sabo/isidumi/isidumientei_taiou.pdf

図-4 公開されているデータでの検証事例（緑は石積/石張の欠損としてアノテーションしているところ，赤囲みは判定，結果的に過学習の影響で全く判定できていない）- 412 -