デジタル完結・自動化原則に対応したドローンを用いた全自動型インフラ点検技術の開発
お お た けいいち

太田敬一1
1日本工営（株）中央研究所（〒300-1259 茨城県つくば市稲荷原2304）

一昨年度末に閣議決定された「デジタル社会の実現に向けた重点計画」には,デジタル社会の実現に向けた原則,いわゆる「デジタル原則」が示され,デジタル処理での自動化,完結を基本とする方針が示されている.また近年インフラ点検等での利用が進むドローンに関し,昨年12月に法規制の変更がなされ,これまで原則禁止であった第三者の上空での目視外飛行が解禁,今後それに伴う利用用途の拡大が見込まれる.このような背景を踏まえ,このデジタル原則への対応を目指したサービスとして,ドローンの自動飛行による点検対象物の撮影,画像解析,および アセット計画の策定までを自動化する全自動型インフラ点検技術を開発したので報告する.
Key Words : 全自動，ドローン，強調画像解析，劣化診断，アセット計画

１．はじめに(1) 本検討の背景と目的
AIやIoTなどの先端的なデジタル技術を活用したサービスは年々発展し,それにより我々の仕事のやり方や形態はここ数年で目覚ましく変化している.
建設コンサルタント業界だけみても,設計の自動化やロボティクスの活用による点検作業などが導入され,従来は人がやっていたことをコンピュータやロボットが効率よく自動的に処理している.その一方で人は創造性の高い仕事に従事させる等,デジタル技術は社会の労働力人口の減少を補う役割を果たすと同時に,人の働き方に変化を与えている.
このようにデジタル技術による自動化は,労働力人口の減少という社会課題の解決の一助となり,また人が創造的で効率性の高い持続可能な働き方を実現できるよう,それに向けた変革を与える正の側面を有する.
一方でデジタル技術の導入は,とかく技術面や制度面での不備が付きもので,特に制度面において自動化を実現するための手続きに時間を要し,実現しないことがある.例えば本稿で取り扱うドローンについては,昨年12月の法改正でレベル4が解禁された
1).しかしながら申請には飛行の安全性を担保する様々な条件をクリアする必要があり ,日常的にドローンを目視外で飛行させるには,制度面および技術面も含め改善が必要である.
「デジタル原則」は,デジタル処理で完結,自動化を基本とすること,デジタルシフトへ組織文化の醸成を進めることが示されている2).先に示したように現状では技術、制度面での不備や不足があるものの,先ずはデジタル技術による自動化の取り組みを進めながら,関係機関のデジタルへの意識改革を進め,その上で必要な環境整備を進めたいとの狙いに見える.
つまり完全な自動化を目指すより,可能なところから自動化を進めながら,ルールや環境を整備し,デジタル処理での自動化,完結を進める方針である.
このような背景を踏まえ,デジタル原則への対応を目指したサービスとして, ドローンの自動飛行による点検対象物の撮影,画像解析,および アセット計画の策定まで自動化する全自動型インフラ点検技術を開発したので報告する.
(2) 全自動型インフラ点検技術の開発の概要
全自動型のインフラ点検技術は,①ドローンの自動飛行による撮影,②撮影した画像データを用いた画像解析,および③画像解析結果を用いたアセット計画の作成,これらの工程を連続的に処理できるよう自動化することである.図-1はその流れを示したものである.
先ず,ドローンの自動飛行による撮影は,操縦者が現地へ赴くことなくインターネットを介した遠隔操作でドローンを操作し,画像データを自動的にクラウドへ保存する機能で,省力化や省人化に役立つものである.
次の画像解析は,クラウドに保存された画像デー

解析、診断VIS 処理①点検写真の取得
インターネットを経由しUAV を遠隔操作し写真を取得する

アセット計画②劣化箇所の自動抽出
画像内の凹凸を強調表示し、ひび割れの視認性を向上させる
図-1③診断結果に基づくアセット計画の作成

全自動型インフラ点検の流れ

タを用いて,画像に映された微細なひび割れ等を強調した処理を行い,AIと組み合わせて劣化箇所を抽出する.従来の属人的な処理ではなく,アプリケーションを介して自動処理する.
最後に抽出した結果から劣化診断を行い,診断結果に基づきアセット計画を作成する.取り扱うインフラの多様性を踏まえ,この部分はカスタマイズできるようにしている.
なおここで示したドローンの遠隔操作は,市販のドローンを利用し改造した.また画像解析は,東京理科大学と弊社で共同開発した技術である.遠隔操作のためのドローンの改造のノウハウ, 画像解析,それらを組み合わせた技術は,本サービスのコアな部分である.

ドローンには上空利用可能なSIMカードを搭載した.
このようなドローンの遠隔操作の技術は,現在,携帯大手のキャリアのみから提供されているが4),この後に示す画像解析やアセット計画の作成と組み合わせた弊社独自のサービスとして開発を進めるため,自社開発とした.
なお,現行の航空法ではドローンを完全な目視外で飛行させる際の条件は厳しく,当面は現場に補助者を配置した運用を想定している.また現在,ドローンを格納し自動充電するポートが発売されつつあり,今後はこれらを利用することで,完全な遠隔操作が可能となると想定している.

２．ドローンの遠隔操作による点検写真の撮影(1) 遠隔操作
一般的なドローンにはインターネットを介した遠隔操作の機能は無く,通常,撮影に際しては有資格の操縦者が現地へ赴くことになる.定期的なインフラの点検の撮影に対し,作業の効率化を進めるには,操縦者が現地へ行く代わりに遠隔地からの自動操作が役立つ.そこで市販のドローンを改造し,現地にはドローンのみを置き,遠隔操作で自動飛行させる機能を実装した.この機能は全自動型のインフラ点検の開発には,必須である.
改造に際しては,社内外への水平,横展開がスムーズに行われるよう,市販のドローンを用いた.図-2は開発に使用したドローンである3).
改造により,ドローンの離陸,上昇,前後左右への移動,離陸箇所への着陸,および搭載したカメラの操作と撮影は,インターネットに接続したパソコンから実行できるようにした.また飛行ルートとルート上に設定したカメラの動作を記録したプログラムを遠隔操作で実行し,離陸,自動飛行とカメラによる撮影,着陸までを自動で処理するようにした.
改 造 は , ド ロ ー ン を 販 売 す る メ ー カ の SDK（Software Development Kit）を用いて開発した.
またインターネットを介した遠隔操作を行うため,図-2

開発に使用したドローン(2) クラウドへの画像データの保存
カメラで撮影した画像データは,機体に具備したSDカードに記録される.通常,このデータはカードを抜き,データをパソコンへ保存するという人手を介した作業となり,タイムリな処理の障害となる.
これを自動化するため,機体の高度のデータを使い機体が着陸したことを検知すると,SDカードの画像データを自動的にクラウドへ保存するようにした.
なお画像データは特に動画の場合,数ギガバイトのサイズとなることもあり,ファイルサイズの大きなデータを確実に保存するために,飛行中ではなくドローンが着陸を検知した後に処理する方法とした.
使用した市販のドローンには,光学20倍ズーム可能なカメラが搭載されている.ズームカメラは点検対象に近接することなく遠方から撮影できる等,点検には有意である.一方,機体はGNSSデータを利用して飛行するが,GNSSデータを利用した単独測位の位置精度の影響により、実際の飛行は予定したルートに対し数メートルずれる場合がある.位置ずれが生じると、特にズームカメラの画像にその影響は顕著に表れ、再現性の無い画像となる.そこで飛行中はGNSSによる単独測位で飛行するのではなく、常にRTK測位に基づく位置情報を得て飛行するドローンを利用することとした。その結果,飛行はRTK測位の精度で担保され,再現性のある画像の撮影が可能となった5).
以上のドローンの技術開発により,インターネットを介した遠隔操作で自動撮影ができ,画像データをクラウドへ自動的に保存する仕組みが実装できた.
またRTK測位を有するドローンの利用で,自動飛行中は位置ずれなくズームカメラを利用しても,点検対象のインフラの撮影が行える.これによりインフラの点検に対し,ドローンを用いた全自動型の点検の開発への目途が得られた.の結果を用いてTFC処理した結果で,ひび割れ部は紫色に分類されている.右図はそのひび割れ部のみを抽出し元画像と重畳表示した結果である.

元画像
図-3

VIS処理後
VIS処理結果(左:元画像,右:VIS処理結果)

10ｸﾗｽ分類生成画像

紫色のひび割れ部抽出３．VIS&TFCによる強調画像解析と劣化箇所の検出(1) VIS&TFCについてドローンの自動飛行で撮影した画像から劣化箇所を抽出するため,東京理科大学と当社で共同開発した画像解析のソフトウエア「VIS&TFC」を用いて画像解析を行った.「VIS&TFC」は,劣化箇所を強調し表示するため,AI等を利用し撮影した映像から劣化箇所を直接抽出するより見落とし無く処理できる有意な方法である.
「VIS&TFC」は,人間の目の錯視・錯覚を利用し,微細なひび割れ等を強調して表示する「VIS」と,画像のカラー情報の濃度値をクラス分けする「TFC」で構成されている.VISは”Visual illusion basedImage feature enhancement System”（錯視誘発画像 特 徴 強 調 シ ス テ ム ） ,TFC は ”Target and nontarget image Feature area Classification
algorithm”（対象画像特徴＆非対象画像特徴領域内分類アルゴリズム）の略称で,それぞれの解析技術
は東京理科大学が特許を取得しており6)7),両者を統合しソフトウエア化している8).
VISは,対象の画像を分散処理し,抽出した特徴部分にエンボス加工し,画像の特徴部分を強調処理し表示するものである.人間の目の錯覚・錯視を利用したもので,このソフトウエアでは擬似的に光を8方向に回転させて照射して強調処理し,視認性を向上させている.図-3は左図の元画像に対し,VIS処理後の結果を示したものである.
TFCは,VISで処理した画像の明るい部分と暗い部分を10クラスに自動で分類する機能である.分類後,特定のクラスを強調表示させることが可能で,例えばひび割れを示すクラスのみを抽出し,元画像と重畳表示させれば,元画像上でのひび割れの分布を明示でき分かりやすい.図-4の左図は図-3のVIS処理後

図-4

TFC処理結果(左:TFC処理結果,右:抽出結果)(2) VIS&TFCによる劣化箇所の抽出
ドローンで撮影した画像データに対し,VIS&TFCによる強調画像解析の例を図-5,図-6に示した.図-5はトンネル壁面を撮影した結果,図-6は砂防堰堤に生じた亀裂を撮影した結果である.いずれの結果も元画像よりもひび割れ等が鮮明に見え視認性が向上しており,その結果,損傷個所を抽出しやすい.
このような強調画像解析の自動化するため ,ドローンの着陸後に画像データがクラウドへ自動的に保存されることをトリガーにし,クラウド上で強調画像解析を実行し,図-5等に示した結果が保存されるようにした.画像データは静止画,動画共に取り扱えるようにした.これにより,ドローンの自動飛行から強調画像解析までを自動で行えるようになった.
ドローン撮影映像

図-5

VIS処理結果

トンネル壁面の撮影映像とVIS処理結果

のフェーズのカスタマイズは必至と考えられるため,先ずは弊社がこれまで開発したアセット計画を作成する.これにより,ドローンの自動飛行による点検対象物の撮影,撮影した画像を用いた強調画像解析,劣化箇所の抽出と劣化診断に基づくアセット計画作成
までの一連の過程を連続的に全自動で処理する全自動型インフラ点検技術となる.

VIS処理結果

５．今後の課題
ドローン撮影映像
図-6

砂防堰堤の撮影映像とVIS処理結果

この後,この処理結果を用いて,AIを用いた劣化箇所を抽出する.図-7は,物体検知を行うAIの学習モデ
ルを用いて,ドローンで撮影した映像を使い,図-5のトンネル壁面の漏水個所を抽出した結果の例である.
本検討ではこの画像に代え,強調画像解析の結果を用いることで,この画像より明瞭に劣化箇所を抽出できる.またドローンで撮影した定期的な画像デー
タを使い,強調画像解析によりひび割れの経時変化を把握できる.
このように強調画像解析とAIを組み合わせた劣化箇所の抽出と,劣化の進展の結果を用いて,次のフェーズにて劣化診断を行い、アセット計画を作成する.

図-7

ドローンの撮影映像を用いた漏水個所の抽出例

４．診断結果に基づくアセット計画作成
ドローンを用いた全自動型の点検の最後のフェー
ズでは,強調画像解析とAIを組み合わせた劣化箇所の抽出結果や,既存の点検結果等を用いて,点検対象のインフラの劣化診断を行い,インフラの維持管理に必要なアセット計画を作成する.
対象のインフラの多様性や規模等を鑑みれば,こ国土交通省九州地方整備局川辺川ダム砂防事務所
発注の「川辺川流域無人航空機渓流点検方法検討業
務」では,「VIS&TFC」によるドローンの撮影画像を解析し,砂防堰堤に生じた亀裂の視認性が向上すること,従来型の点検作業よりも短時間で撮影できる等を確認した. 本検討で示したドローンを用いた全自動型の点検の実務展開の事例として,ドローンによる撮影と強調画像解析の組み合わせによる有効性を確認した事例である.
今後,こうした事例を通じ,本技術の有効性を検証しながら,我々建設コンサルタントが取り扱う河川、上下水、トンネル分野等で取り扱うコンクリート構造物や、道路路面や空港の滑走路等のインフラへの展開,機能の拡充を図る予定である.
参考文献
1) 「 無 人 航 空 機 レ ベ ル 4 飛 行 ポ ー タ ル サ イ ト 」
https://www.mlit.go.jp/koku/level4/index.html（2023年7月13日参照）
2) デジタル庁ホームページ「デジタル社会の実現に向けた重点計画」https://www.digital.go.jp/ policies/priority-policy-program（2023年7月13日参照）
3) 「DJI Matrice300RTK」https://enterprise.dji.com/
matrice-300（2023年7月13日参照）
4) 「KDDI Smart Droneホームページ」https://kddi.
smartdrone.co.jp/airframe/（2023年7月13日参照）
5) 太田敬一：RTK-GNSS を用いた UAV での繰り返し写真撮影に関する検討, 第56回地盤工学研究発表会概要集,
13-5-3-05,2021年7 月
6) 小島尚人，永倉佑一：画像特徴合成動画生成装置，画像特徴合成動画生成方法，及びプログラム，特許第5246770号，2013.
7) 小島尚人，金子和弘，二宮 建，広田健一：画質改善画像生成装置，画像の画質改善方法，及びプログラム，
特許第5769295号，2015.
8) 古木宏和：リアルタイムで見たい変状の強調・検出する : VIS&TFCによる施工現場や品質管理の効率化,土木施工 64 (4), 70-73, 2023