橋梁類似画像検索 AI の活用に関する研究
柏貴裕 1・宮﨑文平 2・竹末直樹 3

1,2,3 法人正会員

株式会社三菱総合研究所 スマート・リージョン本部（〒100-8141 東京都千代田区永田町 2 丁目 10-3）
E-mail: takahiro_kashiwa@mri.co.jp

i-Construction、インフラ分野の DX 等の政策が進む中で、インフラの維持管理に対する新技術の開発が加速している。特に AI の活用には期待が大きく、画像を用いた異常・損傷検知等をはじめとして技術開発が盛んに進められている。各地で実証実験等も実施されているが、完全な AI は存在せず誤検出や見落としは避けられない。AI の実装を進めるためには精度が不完全であることを前提とした使い方の創出が必要である。本検討においては、橋梁の類似画像検索 AI を開発し、業務への活用可能性について検証した。
具体的には、直轄橋梁の定期点検データを活用し、点検画像を入力すると、画角、模様、色味等から類似画像を検索するソフトウェアを開発し、活用が想定されるユースケースを整理した。
キーワード：維持管理、AI、直轄橋梁定期点検データベース、類似画像、点検調書

1. はじめに建設業で人工知能（AI）等の情報技術を活用した技術開発が広く進んでいる。国土交通省では、2015年頃から建設生産システム全体の生産性向上を図る i-Constructionを推進してきた。さらに 2020 年からは「インフラ分野

2. 橋梁維持管理における AI 活用・実装の制度設
計の必要性 及び橋梁類似画像検索 AI の目的
橋梁の維持管理に対する AI の活用に向け、多くの大学・研究機関で様々な技術開発が盛んに進められている。のデジタルトランスフォーメーション（DX）」を打ち既往の取組の多くは、畳み込みニューラルネットワーク（Convolutional Neural Network）等の深層学習により、画出し、データとデジタル技術を活用して社会資本や公共像を用いて異常・損傷検知等を行うものである。具体的

サービス、さらには建設業の業務や働き方の変革を目指には、損傷画像とその種類や損傷箇所等を示す情報（アしている。

ノテーション）の組合せを教師データとして学習するこ

建設生産システムの中でも、維持管理は特に新技術のとで、新しい画像が与えられた際、その画像の損傷の種開発が盛んな分野である。高度経済成長期に整備された類等を推測して返す。導入する手法により、損傷の種類大量の社会基盤施設が老朽化を迎えており、点検に対すや損傷の程度等の分類（Classification）、損傷の大まかなる需要は年々増大している。一方で、橋梁の維持管理に位置の検出（Detection）、各画像ピクセルに対する損傷
対して AI 等の情報技術を実際に活用した事例は少なく、 の種類等の判断（Segmentation）等に分かれるが、教師社会実装は途上段階である。

データの学習によりパターンを認識し、新たな画像に対三菱総合研究所は、国土技術政策総合研究所（国総研） する結果を返すという意味では変わらない。
からの受託業務において、直轄橋梁の定期点検データとAI を活用し、点検画像を入力すると画角、模様、色味

こうした異常・損傷検知の技術は、現場作業の効率化・高度化の観点から、大きな期待がよせられてきた。

等から類似画像を検索するソフトウェア（以下、「橋梁類似画像検索 AI」という）の試作品を開発した。本稿

しかしながら、AI を活用するにあたっては、AI の不完は国総研の許諾を得て、橋梁類似画像検索 AI の開発目的・機能等を紹介するとともに、橋梁類似画像検索 AI見落としと、損傷のない箇所に対する損傷の誤検出との双方がゼロであるような「完全な AI」の構築は不可能の活用が想定されるユースケースについて整理を行ったである。

全性に留意する必要がある。理論上、検出すべき損傷のそこで AI の結果が完全ではないことを前提に、実際ものである。
なお、本稿の内容は著者（三菱総合研究所）の見解であり、必ずしも国総研の見解を示すものではない。の橋梁の維持管理業務において、技術者が出力結果を吟味し精査することが可能な形で AI を活用・実装するこ- 91 -とができる制度設計が必要であると考えられる。餘久保

対する類似画像のさらなる絞り込みを実施できるように

1)

ら が指摘するように、AI 等の技術が向上したとしても、 することを目指した。構築にあたっては、全国の点検結適切な知識と技能を有する技術者が責任をもって、構造果を取りまとめた直轄橋梁定期点検データベースから、物全体の健全性の「診断」に関わる。最終的な判断は技工種・部材種別・損傷の種類・損傷画像等を利用するこ術者が下すことを前提に、維持管理の各種業務に対し部ととした。

分的に画像計測技術（AI を含む）等の技術を活用することで、維持管理業務における事前の調査検討の省力化、 3. 橋梁類似画像検索 AI（試作品）の構築
さらには AI の補助を受けた技術者自身の診断能力の向(1) データセット上（human in the loop）が期待できる。
直轄橋梁定期点検データベースは、Microsoft Access のまた、国土交通省では、全国の過去の直轄管理橋梁にデータベースファイル（MDB）の形式で、地方整備おける定期点検データを、統一フォーマットの電子ファ局・事務所ごとに管理されている。テーブル名・フィーイルとして取りまとめている（以下「直轄橋梁定期点検ルド名等が基準により統一されているため、全国のデータを 1 つのデータベースとして取りまとめて処理を行っデータベース」という）。このデータは、国総研におけデータの種類は限られており、特に点検現場で記録された。本稿における橋梁類似画像検索 AI では、令和元年
度、全国 8 地方整備局（含北海道開発局）・97 事務所のている損傷画像の活用は十分ではなかった。今後、このデータを利用した（欠損のあったデータは利用していな豊富なデータベースを用い、橋梁維持管理の高度化・省い）。表-2 に、部材種別、損傷の種類ごとの画像枚数の集計結果を示す。損傷画像全 175,161 枚の中には、同一る橋梁損傷事例の研究等に活用されてきたが、活用する力化につながるソフトウェアの構築が期待される。
本稿では、既存の異常・損傷検知のアプローチとは異なり、AI の結果が不完全であることを前提に、技術者の高度な判断を支援するための情報を AI が提供するソの画像を別名で保存している画像もあり、重複を除くと96,606 枚となる。
データベースに記録された損傷の種類の画像以外にも、フトウェアを構築した。具体的には、入力画像に類似し入力画像に類似する画像は存在し得ると考えられることた画像を過去の点検結果から複数枚検索するソフトウェから、検索対象データは損傷の種類で絞り込まず、コンアを開発した。入力画像に対する損傷の有無・種類等をクリートの全損傷の画像を検索対象とした。なお、チョ断定的に示すのではなく、類似画像の候補を複数表示す

ーク・ノギスの映り込みの有無や、画角・画質による、ることで、技術者が自らの知見に基づき、AI の結果に検索対象データの取捨選択は実施していない。

表-2 工種・部材種別、損傷の種類ごとの損傷画像枚数
出所）三菱総合研究所作成

工種：部材種別／損傷の種類
ひびわれ
剥離・鉄筋露出
漏水・遊離石灰うき
変形・欠損
補修・補強材の損傷
漏水・滞水
床版ひびわれ変色・劣化
遊間の異常
定着部の異常異常なたわみ抜け落ち
異常な音・振動
その他
NON
計

上部構造
：主桁

上部構造
：横桁

27,137
20,529
6,655
6,125
3,339
2,567
1,13076736917562128
16,485
8,035
83,396

8,414
4,145
7,819
1,43396277710
65
0
86
0
0
0
1,367
6,529
30,302

下部構造
橋脚：
柱部壁部
7,494
799
648
483
191
1,131
380
0
8
0
0
0
0
0
1,016
530
12,680- 92 -

下部構造
橋台：
翼壁
1,250
438
384
216
63
21
44
0
1
0
0
0
0
0
311
507
3,235

下部構造
橋台：
竪壁
16,273
6,105
4,519
3,564
1,300
547
3,762
0
145
0
0
0
0
0
8,799
534
45,548

計割合

60,56832,01620,025
11,821
4,989
4,543
5,387
767
588
175
148
12
8
1
17,978
16,135
175,161

34.6%
18.3%
11.4%
6.7%
2.8%
2.6%
3.1%
0.4%
0.3%
0.1%
0.1%
0.0%
0.0%
0.0%
10.3%
9.2%
(100%)

4. 橋梁類似画像検索 AI（試作品）の機能(2) 入力画像

構築した橋梁類似画像検索 AI（試作品）は、以下の 3

一般的な橋梁部材の材料である、コンクリートの損傷を撮影した画像を対象と想定した。中でも、特に発生頻度つの機能を備えている。の高い損傷について見落としを防ぐ観点から、「ひびわ(1) 類似画像の検索・表示・絞り込みれ」「剥離・鉄筋露出」「漏水・遊離石灰」のある画像を主なターゲットと想定した。本稿で作成した橋梁類似画像検索 AI の試作品では、全 14 種類の損傷に対し検索複数枚検索表示し絞り込む機能である。この機能は、①過去の点検結果の中から、類似の損傷を有する画像をが可能である。工種・部材種別としては、参照頻度の高いと考えられる 5 つの箇所（表-2 表頭に記載）を想定し類似画像の検索・表示、②損傷の種類や損傷の程度による類似画像の絞込み、の 2 つに区分される。

た。
なお、直轄橋梁定期点検データベースを AI に適用し①類似画像の検索・表示を行うソフトウェア（Windows 環境で動作する exe ファイル）の画面構成の概要をやすいデータ形式とするよう、テーブルの結合・点検結

図-5 に示す。左側のボックスで入力画像（類似画像を検果と損傷写真の紐づけ再整理等の前処理を実施した。

索する画像）を選択すると、画角、模様、色などをもとに、検索対象データの中から類似画像を検索して表示す(3) 類似画像検索のアルゴリズムる。

類似画像を検索するためのアルゴリズムとして、
Yang et al.の方法 2)を利用することとした（図-4）。

入力画像を選択してから数秒～数十秒程度で、図-5 の通り類似画像の候補が 1 位から順に、サムネイルの形でこの方法では、まず検索対象データにおける画像の特表示される。サムネイルには、検索された画像の工種・徴量を事前に抽出する。特徴量抽出の過程において、そ部位部材、含まれる損傷の種別や損傷の程度を表示してれぞれの画像における画角、模様、色味等の諸要素が勘案され、類似画像検索の判断材料となる。Revaud et al.のいる。検索結果は、スクロールにより複数表示することができ、その結果を CSV ファイルで出力することも可手法 3) に倣い、特徴量抽出に当たって利用したモデルと能である。

して、類似探索問題向けに学習されたネットワーク
ResNet-101 を利用し、特徴量を 2048 サイズの特徴ベクト

検索結果画面で、利用者がサムネイルの中から画像を選択すると、入力画像と選択した類似画像が横並びで表ルで表現した。

示される。拡大した画像は、マウスを用いて移動、ズー

新規画像を入力した際には、その画像に対しても特徴ムイン・ズームアウトを行うことも可能である。画面の量を抽出し、検索対象データの特徴量と類似性を判断す

下部には、地方整備局・事務所、橋梁番号、撮影年月日、る。後述のソフトウェアでは、特徴量の類似性の高い画所見、メモ等の代表的な情報を表示している。

像が上位となるよう、類似画像を検索し表示する。

②類似画像の絞込みも同ソフトウェア内で実施可能である。図-5 左側のタブにて、損傷の種類・損傷の程度をチェックボックスで複数選択し、検索結果を絞り込むことができる。

出所）Yang et al.2)を基に三菱総合研究所作成
図-4 類似画像検索のアルゴリズム

出所）三菱総合研究所作成
図-5 類似画像の検索・表示・絞り込み（ソフトウェアの検索結果画面）- 93 -

(2) 検索結果に関する頻度分布の集計
検索・表示した複数の類似画像について、定期点検結果における損傷の種類・損傷の程度等の頻度分布を自動的に集計する機能である。

出所）三菱総合研究所作成
図-7 定期点検結果（点検調書）の参照

出所）三菱総合研究所作成
図-6 検索結果に関する集計

判定結果の頻度分布の集計は、(1)のソフトウェアとは別途作成した Excel シート（マクロ）で表示すること出所）三菱総合研究所作成ができる（図-6）。画像の検索結果（CSV ファイルで出

図-8 過去の点検日時の確認力）を用いて、損傷の種類、損傷の程度の評価、対策区分の判定結果の頻度分布を、自動的に集計することが可

4. ユースケース検討能である。

前述の通り、AI 等の技術が向上したとしても、橋梁の維持管理においては構造物全体の健全性の「診断」に(3) 定期点検結果（点検調書）の参照関わるのは、適切な知識と技能を有する技術者である。

検索・表示した各画像の撮影された橋梁の点検結果を、 その際技術者は、機械・ソフトウェアの出力結果（AI点検調書の形で出力する機能である。の出力結果等）だけでなく、その他工学的諸条件・環境

国総研では、直轄橋梁定期点検データベースを読み込み、橋梁番号から道路橋全体の定期点検結果を点検調書

要因等を勘案した上で、技術者自身の判断により「診断」を行う。橋梁類似画像検索 AI についてもこのことを前の形で出力するソフトウェア（定期点検・カルテ入力シ

提に、維持管理における実際の業務プロセスにおいて、ステム）を保有している。また(1)のソフトウェアでは、 点検結果の参照作業を省力化するようなユースケースを類似画像の検索結果に、その画像が撮影された橋梁の橋想定している。

梁番号を掲載している。定期点検・カルテ入力システムに橋梁番号を入力することで、橋梁類似画像検索 AI でたとえば管理者が橋梁点検を発注する際、管理者は受注者の成果物（定期点検結果）を照査し、必要な質が担検索された画像の点検結果を、点検調書の形で出力する

保されていない成果物に対しては差戻を行う必要がある。

ことができる（図-7）。
なお、2014 年に道路橋に対する 5 年に 1 度の近接目視定期点検結果の照査の際、不適当と思われる診断結果の画像に対し橋梁類似画像検索 AI を用いることが考えら点検が義務化されたため、2021年現在、複数回の点検がれる。診断結果が過去の定期点検結果の傾向から著しく実施済である橋梁が多い。そこで、直轄橋梁定期点検デ外れている場合、受注者（点検技術者）に診断理由の説ータベースの内容を読み取り、橋梁番号を入力すると過去の点検日時を確認することができる Excel シートを構明を要求する。診断結果の修正が必要ない場合はその旨築した（図-8）。これにより、類似画像として検索され成果物の差戻を行うことが考えられる。各管理者が同じた橋梁で複数回定期点検が実施されている場合には、当ツールを用いて照査を行うことにより、管理者によらず該道路橋について実施されたすべての点検調書を参照す診断の質が安定するようになると考えられる。

ることが可能となる。

また、受注者が橋梁点検を行う際、橋梁類似画像検索
AI を用いて現場で撮影した画像に類似する画像を検索受注者に申告させ、万が一受注者が説明に窮する場合、し、画像群として表示することが考えられる。技術者が判定に悩むような損傷について、現場の損傷に類似する- 94 -

損傷に対する過去の点検結果を点検台帳で参照可能できるようになり、点検者の「診断」の参考となる画像・点検結果取得の省力化につながると考えられる。

5. まとめ
本稿ではまず、維持管理においては AI の結果が完全ではないことを前提に、維持管理の実際の業務においてAI の活用・実装を進めるための制度設計や、技術者が出力結果を吟味できるような AI の構築が必要である点を確認した。その上で、直轄橋梁定期点検データベースを用いて、橋梁の点検画像を入力し類似画像を探し出せるようなソフトウェア（橋梁類似画像検索 AI）を作成し、活用が想定されるユースケースの整理を行った。
今後維持管理業務において AI の実装を促進するにあたっては、AI を業務で活用できる制度設計の具体化を行う必要がある。たとえば各種ドキュメント類（橋梁定期点検要領等）における AI 活用の規定、AI 導入に係る管理者と受注者（点検技術者）との費用分担あり方等について議論を行う必要がある。
また、実際に利用する発注者や受注者（点検技術者）の要望等を反映して、より実際の業務に利用しやすいAI に改善する必要があると認識している。今後、橋梁類似画像検索 AI を実際の維持管理業務において試行し、今後利用者の声を踏まえながら、利用者からの要望を踏まえ機能等の見直し、併せて維持管理業務における AI活用のユースケースを具体化することが重要であると考えられる。
参考文献
1)

餘久保陽, 白戸真大: 道路構造物の点検・監視の高度化と省力化に向けた取組み, 土木技術資料, Vol.62-10,
2020.

2)

Yang, F., Hinami, R., Matsui, Y., Ly, S. and Satoh, S.: Efficient Image Retrieval via Decoupling Diffusion intoOnline and Offline Processing, Proc. of the AAAI Conference on Artificial Intelligence, Vol.33, 2019.

3)

Revaud, J., Almazan, J., Sampaio, R. and Roberto, C.:
Learning with Average Preci-sion: Training Image Retrieval with a Listwise Loss, Conference: The IEEE International Conference on Computer Vision (ICCV) at: Seoul,South Korea, 2019.

- 95 -