超高解像度カメラとAIを用いた橋梁を中心としたコンクリート構造物の戦略的次世代型点検システムの開発と維持管理計画の策定支援

金沢大学 理工研究域 地球社会基盤学系
准教授 藤生 慎戦略的次世代型点検支援システムの提案
システム1
現場における橋梁の損傷撮影

システム2
遠隔地における橋梁の損傷診断

撮影者

点検現場

遠隔地

写真による診断
損傷あり複数の診断者
 点検スキルに依存せずに撮影可能
 容易・安価に撮影可能
写真アップロード

撮影のインストラクション

写真・診断サポート情報の提供

診断結果の提供

b．損傷の診断支援

a．データの蓄積
学習 診断結果のバラツキを抑制可能
 統一された基準で診断可能

損傷写真
橋梁台帳
GIS情報
診断結果

 支援情報による点検・診断員の負担軽減
 技術継承が可能になり人材育成が容易
 国内だけでなく海外の橋梁も支援可能

システム3 クラウドサーバー・診断支援システム

効率性・迅速性・正確性・客観性・統一性を担保した点検・診断システム

戦略的次世代型点検支援システム

写真撮影実験 使用カメラ ： Phase One Industrial社製のiXU-RS 1000 AERIAL CAMERAS
解像度：1億画素（11608×8708）の写真の撮影が可能．
ダイナミックレンジ：84db以上（明暗差が大きくても撮影可能）

 対象橋梁 ： 石川県羽咋市管理の橋梁のRC橋脚．
撮影時間：10分（三脚設置など現場での準備時間も含む）．
撮影距離：約17m（画像分解能0.9mm/pixel）．

 定期点検 ： 2017年11月に橋梁点検車を使用し近接目視点検を実施

使用カメラ（1億画素）

撮影状況

画像目視点検環境の構築
PC上で橋脚全景画像の拡大縮小を行い，目視によってひびわれであると視認できたものに関して，赤色でトレースできる環境構築z
1億画素の画像を表示

z
拡大・縮小・移動を操作

＋

広い範囲

詳細な部分

自動ひび割れ判定システム
ひび割れ判定フロー

概要

時間

Step1

 部材全体を1億画素カメラで撮影．
撮影時間
 現場から自動ひび割れ判定システム
10分に画像を送信．

Step2

 1億画素画像を256ピクセル四方のメッシュに自動分割．
（縦34メッシュ，横45メッシュ）

Step3

Step4

 各メッシュに対してAIがひび割れ判定
し，自動でひび割れ箇所に色付け． 所要時間
※AI：4万枚の画像を200万枚に水増しした学習データを使用し,CNNを用いて学習.

 ひび割れ判定を行った画像（メッシュ）を合成し，ひび割れ箇所が色付けされた部材全体画像の作成．

5分

近接目視点検結果

赤色：0.2㎜のクラック，青色：0.1㎜のクラック

近接目視点検結果とＡＩによるクラック検出の比較

 ＡＩにより近接目視点検結果の約80％を検出可能（ピクセル単位）
 幅と長さも算出することが可能

近接目視点検の結果との比較

近接目視点検の結果

AIによる自動検出の結果
 ＡＩにより近接目視点検結果の約80％を検出可能（ピクセル単位）
 幅と長さも算出することが可能

使用カメラ【使用したUAV】
名称： Inspire１
飛行時間： 約20分程度
Inspire1【使用した赤外線カメラ】
名称： DJI Zenmuse XT
解像度 ： 約33万画素（640×512）
検出素子：非冷却 VOX マイクロボロメータ
Zenmuse XT

撮影方法：パッシブ赤外線法
浮きがある場合は，背面に空気層が介在し，健全部に比べて暖まりやすく冷めやすい特徴を有しているため，熱画像で温度差として表示される．

撮影方法

UAVを用いて，対象物に接近し撮影（対象物との距離：約10m）

コンクリート浮きの検出【撮影時間】
2018年10月
14：50
【天気】
晴れ
【気温】
19.5℃
【1日の気温差】
6.4℃【撮影距離】
10m

近接目視点検で浮きと判断された箇所が周りのコンクリートの温度に比べ，明らかに高くなっており，浮きの発生を視認することが可能コンクリート橋脚の経時的な温度変化
 浮きが発生している箇所と汚れの箇所を赤外線画像から識別するために，それぞれの箇所の温度の経時変化の特徴を把握．
 撮影位置を固定して，経時的にコンクリート橋脚の温度の変化を観測．
【撮影時間】 2018年11月 09：30 （10.8℃） ～15：20（12.3℃）【天気】 晴れ【1日の気温差】 10.5℃【撮影距離】 32m

9:30時点

コンクリートが暖まった状態から冷めていく過程での，浮きの箇所（赤メッシュ）と汚れの箇所（青メッシュ）のRGBヒストグラムの特徴を分析

ひびわれ判定モデルの作成
判定モデルの作成フロー
Step1

Step2

Step3

訓練データの取得

概要

オープンデータ https://data.mendeley.com/datasets/5y9wdsg2zt/1
ひびわれあり ひびわれなし

2万枚

2万枚

訓練データの水増しモデルの学習

水増し後の訓練データ
ひびわれあり ひびわれなし
100万枚

100万枚

入力データ
Step４

※型枠跡・Pコン跡含まない

出力結果

256
pixel

CNN
GoogⅬeNet
出力結果

ひびわれ判定モデル

ひびわれ発生確率0～100％
14

3.1

ASMを適用したひびわれ発生箇所の精度向上

David W. Scottがヒストグラムの改良する手法として提案

出典：David W. Scott, Effective Nonparametric Density Estimators in Several Dimensions, Ann. Statist.Volume 13, Number 3 (1985), 1024-1040.

1次元のヒストグラム

2次元のヒストグラム

ヒストグラムのビンの位置をずらして，重なったビンの値で平均値をとることで，真の分布に近づけることが可能
15

疑似ひびわれ画像生成による訓練データ水増し手法
GAN（Generative Adversarial Networks） ：生成モデル
ひびわれに適用

入力画像

生成モデルA
出力画像

従来手法

生成モデルB
出力画像

生成モデルC
出力画像

提案手法

GANにより疑似ひびわれ画像作成

VS
様々ひびわれ形状・コンクリートを再現
16

3.2

GANによる水増し手法による精度向上の効果検証

検証用画像

従来手法によるAI結果

提案手法によるAI結果

適合率

F値

ひびわれ検出精度の比較結果

GANを用いることでコンクリート面の配色やひびわれの黒の濃さや長さなど，様々な特徴が大きく異なる疑似ひびわれ画像を利用できたため，従来手法と比べて47ポイント高い精度が得られた．
17

4.2

RC床版の内部劣化と外観損傷の関係性の分析マイクロ波を走行しながら照射し，反射応答で内部劣化を診断
反射応答結果（床版表面-上部鉄筋-下部鉄筋）

内部劣化（土砂化・滞水・水平ひびわれなど）を診断

1章

2章

3章

4章

5章

S橋（2車線）の計測様子
6章

7章

18

4.2

RC床版の内部劣化の調査結果

55径間分のRC床版に対してスケルカによる内部劣化の調査を実施
28径間
内部劣化あり27径間
内部劣化なし内部劣化の発生位置

スケルカによって簡易に内部劣化の有無とその範囲を把握することが可能
19

LiDARデータによる損傷自動検出・手触り感検出モデルの開発

手触り感の表現点検現場Aにおける実証実験（ひびわれ自動検出結果）

近接目視によるひびわれ検出結果

SeeCrackによるひびわれ自動検出結果

近接目視で検出したひびわれ

AIで自動検出したひびわれ

SeeCrackのひびわれ自動検出機能によって近接目視点検で検出されたひびわれの96％を再現できている．
21

点検現場Bにおける実証実験（ひびわれ自動検出結果）

近接目視で検出したひびわれ

近接目視によるひびわれ検出結果

AIで自動検出したひびわれ

SeeCrackによるひびわれ自動検出結果

 SeeCrackのひびわれ自動検出機能によって近接目視点検で検出されたひびわれの92％を再現できている．
 過検出の中には，型枠跡や点検対象部位と背景の境界線の検出も含まれている．
22

VR-AIの活用ご清聴ありがとうございました