建設技術フォーラム
2022年11月16日（水）スマートフォンを利用した路面性状調査技術の開発と生産性向上へ向けた取り組み
東京大学大学院工学系研究科 教授 長山智則

関東地方整備局 技術シーズマッチングに関する公募「車両内設置カメラを利用した準リアルタイム広域路面ひび割れ率評価技術の開発」（R2-R3）「わだち掘れ簡易評価手法の開発と、MCI の自動算出による点検業務の生産性向上」（R4-）（東京大学，スマートシティ技術研究所，ニチレキ）
1

予断を許さない健康状態，自動化・省人化で生産性向上へ

A健全からE危機的までの5段階の健康診断
国道
都道府県道/政令指定市 市町村道 高速道路
舗装 C要注意
C要注意
D要警戒
B良好

インフラメンテナンス総合委員会
インフラ健康診断小委員会

舗装処方箋（要約）
・…舗装長寿命化計画/舗装維持修繕計画を作成し実行する。
・…路線の重要度などを考慮して…目視あるいは計測機器による方法で…
点検する。
・予防的な措置も含め損傷箇所の適切な修繕を行う。

➢ 予算・人的資源の制約の下，高規格道路の維持管理を遍く適用することは困難．
➢ 関東地整R1現場ニーズ：舗装点検を直営で実施．目視観測に手間とばらつき．
➢ 自動・省人で道路の状態を把握・予測して，早期対処．生産性向上へ
The University of Tokyo

Bridge &Wind Engineering Laboratory2簡易な路面評価技術の現状➢簡易な路面評価技術✓ スマートフォン等の利用✓ 車両動揺，路面画像，位置情報等✓ 高頻度，広域計測✓ 安価，汎用性✓ 国内外でシステム多数
道路付属施設点検：明瞭に画像上で判断できるものは得意．
パトロールデータから自動的に施設点検

ガードレール
変形/損傷
The University of Tokyo

ガードレール
腐食/植物遮蔽9割程度の再現率・適合度

標識不良
落石/落下物
スマートシティ技術研究所

縁石損傷
側溝蓋損傷
Bridge &Wind Engineering Laboratory3簡易な路面評価技術の現状➢簡易な路面評価技術✓ スマートフォン等の利用✓ 車両動揺，路面画像，位置情報等✓ 高頻度，広域計測✓ 安価，汎用性✓ 国内外でシステム多数➢「AI技術活用による路面性状検出について」（清野，スキルアップセミナー関東，2022）✓ ポットホールや亀甲状ひび割れの検出システムを複数選定し，試験走行により効果を検証✓ 検出率の高いシステムがある一方で，検出できないものもある➢「路面性状を簡易に把握可能な技術」の試験結果(四国地整，2018)✓ A（精度80％以上）からE(精度20％以下）まで様々➢簡易評価技術のコンセプトは浸透．しかし多くは精度，信頼性が限定的．
自動・省人化，生産性向上は具現化されていない．
The University of Tokyo

Bridge &Wind Engineering Laboratory4高信頼な簡易路面評価技術の開発
SIP第1期 インフラ維持管理・更新・マネジメント➢ 「インフラ予防保全のための大規模センサ情報統合に基づく路面・橋梁スクリーニング技術の研究開発と社会実装」（研究責任者：JIPテクノサイエンス家入正隆）
関東地方整備局

技術シーズマッチングに関する公募➢ R2-R3「車両内設置カメラを利用した準リアルタイム広域路面ひび割れ率評価技術の開発」➢ R4-「わだち掘れ簡易評価手法の開発と、MCI の自動算出による点検業務の生産性向上」（研究責任者：長山智則，参画機関：東京大学，スマートシティ技術研究所，ニチレキ）
解析アルゴリズムの進化

ハードウェアの進化

撮影

フレーム抽出自動鳥瞰変換ひび割れ
わだち掘れ

スマホ旧モデル

スマホ新モデル

スマホ1年の違い
The University of Tokyo

ポットホール．．．

物理スケール取得と合成
Bridge &Wind Engineering Laboratory5路面上の情報を用いた鳥瞰変換パラメータの自動推定
鳥瞰変換結果１．白線の平行条件→f

２．マンホールの長軸の傾き，扁平率→カメラの傾き𝜃

3．白線の向き→車線内位置𝑥0

The University of Tokyo

スマートシティ技術研究所，ニチレキとの共同研究

Bridge &Wind Engineering Laboratory6

路面の連続画像の合成

特徴量に基づいたレジストレーション
連続的鳥瞰変換The University of Tokyo𝑅11
𝐻 = 𝑅21𝑃1

𝑅12𝑅22𝑃2

𝑇1
𝑇2
1

路面の連続画像
Bridge &Wind Engineering Laboratory7

特徴点マッチングによる高度な繋ぎ合わせ・延長：35m
・繋ぎ合わせ鳥瞰図枚数：18枚

The University of Tokyo

スマートシティ技術研究所，ニチレキとの共同研究

Bridge &Wind Engineering Laboratory8特徴点マッチングによる高度な繋ぎ合わせ・延長：35m・繋ぎ合わせ鳥瞰図枚数：18枚

The University of Tokyo

スマートシティ技術研究所，ニチレキとの共同研究

Bridge &Wind Engineering Laboratory9

ひび割れ率の評価• ひび割れ検知

ひび割れ率（管理指標）
ひび割れ面積x100• ひび割れ率（％）＝≠

調査対象区間面積- 通常は20m単位- 50㎝メッシュ- ひび割れ本数
0本:1本:2本以上:- パッチング
0-25％:
25-75％:
75％以上:

0m2
0.15m20.25m20m20.125m2
0.25m2• 平面図への展開と，マス目毎の「分類」が必要
The University of Tokyo

Bridge &Wind Engineering Laboratory10

ひび割れ率の評価の仕組み
機械学習（分類）を利用した，定義通りのひび割れ率評価
教師画像ラベルが正しいことの確認

教師画像の作成

教師画像に基づくひび割れ率評価
H30-55
提案手法（鳥瞰変換）
路面性状測定車（正解値）

ひび割れ率

ひび割れなしLabelling Tool

ひび割れ1本Created by Python

距離ｍ
RMSE: 0.102

正確な教師画像に基づいて学習
224*224 pixel

Rank1

ひび割れ２本50cm x 50cm マス目
The University of Tokyo

スマートシティ技術研究所，ニチレキとの共同研究

Rank2

Rank3

Bridge &Wind Engineering Laboratory11機械学習によるひび割れ率推定
教師画像取得箇所とは別都道府県の画像に適用

路線 H 誤差9.9％

路線 I 誤差6.1％

適用結果
路線
路線 A
路線 B
路線 C
路線 D
路線 E
路線 F
路線 G
路線 H
路線 I
路線 J
路線 K
路線 L
路線 M
路線 N
路線 O

舗装タイプ
POPOAS
PO
POAS
ASAS
AS
AS
ASAS
POAS
AS

長さ (m)
1,015
1,000
900996496
1,000620
1,000
1,004
896
1,000
1,010
1,005
1,045
1,005

誤差RMSE(%)
2.7
4.0
5.3
3.3
9.5
4.7
3.0
9.9
6.1
2.9
8.8
6.4
30
0.6
1.7

透水性舗装の1路線で誤差が大きいもののそれ以外は10％以下の誤差．

The University of Tokyo

スマートシティ技術研究所，ニチレキとの共同研究

Bridge &Wind Engineering Laboratory12

長所１：遠方のひび割れ見落としがない

どこでも高解像度
クラック
見落とし物体検知に基づく方法

提案手法：複数の鳥瞰変換画像の合成提案手法では高解像度部分のみを合成し，遠方ひび割れも明瞭に
The University of Tokyo

Bridge &Wind Engineering Laboratory13

長所２：バウンディングボックスによる不整合が生じない
バウンディングボックス利用の物体検知：対象路面の形状や，細かなひび割れ形状を容易に反映できない．比較的ひび割れ率の高い路線では過大評価に繋がりやすい

ひび割れ無のマス目

提案手法：各マス目を個別に判別

物体検知：全体をひび割れと判定
提案手法によりひび割れ無のマス目を個別に判定可能
The University of Tokyo

Bridge &Wind Engineering Laboratory14

長所３：物理スケールの取得と検知漏れの削減

前方画像では画角の問
題により細長いポットホールの検知は困難

鳥瞰変換により①ポットホールは明瞭に②ポットホールの物理スケールを取得

鳥瞰変換

前方画像

The University of Tokyo鳥瞰図

Bridge &Wind Engineering Laboratory

画像処理結果の可視化➢ひび割れ率推定値を地図上に線の色として可視化．
➢ポットホール，ジョイント，マンホールはピン表示

ひび割れ率（線色） ポットホール検知結果（ピン，四角枠）

長野県内国道の可視化例
The University of Tokyo

Bridge &Wind Engineering Laboratory

16画像処理結果の可視化

対象箇所クリックにより，評価区間長（20m）の鳥瞰変換画像を表示．
ポットホール等も四角枠で表示

The University of Tokyo

Bridge &Wind Engineering Laboratory

17画像処理結果の可視化

対象ピンのクリックにより，対応する変状（ポットホール）の鳥瞰変換画像を表示．

The University of Tokyo

Bridge &Wind Engineering Laboratory

18

ひび割れ

専用車の性能確認試験に合格

GLOCAL-EYEZ搭載車両が2022年度路面性状自動測定装置の性能確認試験に「平たん性」および「ひび割れ」の両項目に同時合格 https://prtimes.jp/main/html/rd/p/000000003.000107939.html
2017年

2022年

路面性状を表す3要素：- 平たん性- ひび割れ率- わだち掘れ（開発中）
3要素揃うと舗装維持管理指数MCIベースの維持管理に準拠．知見蓄積活用可．路面性状調査・維持管理業務の生産性向上へ

SIPインフラの共同研究

スマートフォン搭載車両として初めて「平たん性」に合格

スマートシティ技術研究所，ニチレキとの共同研究

スマートフォン搭載車両として初めて「平たん性」「ひび割れ」に合格

現状の管理指標に対応．さらに，DXを活用して新たな管理指標や管理体系の提案も「パトロール」「日常管理」から定量的な「点検」へ．さらに「措置」まで．
The University of Tokyo

Bridge &Wind Engineering Laboratory

19国際展開に向けて中国の性能確認試験にも合格
試験概要
・試験名：道路測定装置性能確認試験
・試験対象：〇画像：ひび割れ率(正解値との相対誤差) 、撮影範囲、カメラ分解能（認識可能幅）、縦横相対誤差〇IRI(正解値との相対誤差)
・主催者：国家道路橋梁測定装置性能確認機関
・参加技術：GLOCAL-EYEZ
・使用車両とスマートフォン：Wuling Sunshine(軽自動車, レンタカー)、iPhone13

GLOCAL-EYEZ搭載車両：Wuling Sunshine
The University of Tokyo

試験道路（アスファルト舗装）

土木学会インフラマネジメント技術国際展開研究助成

Bridge &Wind Engineering Laboratory前方画像を利用したわだち掘れ評価
深さ(mm)

50m

100-10-20

車内カメラ
真値-30050100100150200200250300 幅(cm)

0050

100
100

150

200200250

300 幅(cm)

0050

100
100150200200250

300 幅(cm)

0050

100
100

150

200
200

250

300 幅(cm)

050

100

150

200

250

0

深さ(mm)

40m

100-10-20-3030m

進行方向距離（m）

深さ(mm)

10

わだち掘れ推定結果

0-20-30

深さ(mm)

20m-10-20-30

深さ(mm)

10m

0-20-3000m

深さ(mm)

横断方向(cm)

300 幅(cm)

300

-10

10200

300

010100

300

-10

100

300

100

200

300 幅(cm)
300

0-10

車内カメラ
真値

-20-30

0
050

100
100

150

200
200

250

300 幅(cm)300

平坦性/IRI，ひび割れ率，わだち掘れ，ポットホールをスマホにより評価．さらに．．．
The University of Tokyo

スマートシティ技術研究所，ニチレキとの共同研究

Bridge &Wind Engineering Laboratory21鳥瞰変換画像の合成による詳細な路面展開図作成と路面の時系列解析・予防保全
鳥瞰図の自動変換・解析手法
試験便覧法によるひび割れ率..
..

自動鳥瞰変換

...
.

画像連続化
変状箇所の場所特定

..
..

...
.

前方画像

鳥瞰図
■令和２年度 国土交通省関東地方整備局マッチング事業研究成果
https://www.ktr.mlit.go.jp/ktr_content/content/000835631.pdf

事後対応から予防保全への転換を実現

N＋〇月

点検指標

N月

時系列画像の高精度位置合わせ

The University of Tokyo

スマートシティ技術研究所，ニチレキとの共同研究

劣化予測

予防保全

時系列データ

時系列解析による劣化予測・予防保全

Bridge &Wind Engineering Laboratory

22

GPS誤差による位置ずれの補正

2022年3月

2021年10月

2021年3月

経時変化の評価に向けて

The University of Tokyo

Bridge &Wind Engineering Laboratory23

2022年3月

2021年10月

2021年3月

特徴点マッチングによる厳密な位置合わせ

The University of Tokyo

Bridge &Wind Engineering Laboratory24

2022年3月
2021年3月

特徴点マッチングによる厳密な位置合わせ

The University of Tokyo

Bridge &Wind Engineering Laboratory

25

時系列データ解析による劣化予測
ひび割れ交点数算出

ひび割れ縦横比算出

369

1.25

468

1.3

2022年3月

2021年3月

ひび割れ抽出

ひび割れ検知やひび割れ率にとどまらず，多様な観点の評価指標の経時分析による劣化予測の高度化，さらに，管理指標・管理体系の合理化へ

ホットホール発生

The University of Tokyo

Bridge &Wind Engineering Laboratory26

動揺計測に基づく平たん性評価：厳密なポストプロセスによる正確な計測
iDRIMS measurement

iPod touch

計測精度

GPS
Acceleration
Angular velocity+MoviePhotos
サンプリングタイミ
ングの変動を抑制加振サーボ型加速度計（レファレンス）

加速度(mg)

サーボ型加速度計とiPodTouch

振動台試験
時間(s)

生データ（リサンプリング前）
リサンプリング後

ポストプロセス

加速度(mg)サンプリングタイミングの時変動をリサンプリングにより補正
Before resample
Non-standard resampling with ID≠0after resample

SignalInitial delay (ID)⊿t (non-constant)

The University of Tokyo

Time

時間(s)

Bridge &Wind Engineering Laboratory27

動揺計測に基づく平たん性評価：厳密なポストプロセスによる正確な計測
iDRIMS measurement

iPod touch

計測精度

GPS
Acceleration
Angular velocity+
Movie

Photos
サンプリングタイミ
ングの変動を抑制

加振
サーボ型加速度計（レファレンス）

加速度(mg/ 𝐻𝑧)

サーボ型加速度計とiPodTouch

振動台試験
周波数（Hz）

生データ（リサンプリング前）
リサンプリング後

サンプリングタイミングの時変動をリサンプリングにより補正
Before resample
Non-standard resampling with ID≠0after resample

SignalInitial delay (ID)

リサンプリング理論を厳密に実装することで，Time高精度計測可能．産業用ジャイロと類似の性能⊿t (non-constant)
The University of Tokyo

加速度(mg/ 𝐻𝑧)

ポストプロセス

周波数（Hz）

Bridge &Wind Engineering Laboratory28

動揺計測に基づく平たん性評価

アルゴリズム開発特徴➢ 加速度に加えて角速度の利用．カルマンフィルタ，スムーサ （データ同化の一種）➢ 車両の違いと走行速度の違いの補正➢ マルチボディシミュレーションを利用したアルゴリズム改善・高精度化

車両モデル同定と路面逆推定

正確なプロファイル逆推定

特許：PCT/JP2019/044051
𝑥ሷ

カルマンフィルタ＋加速度𝑥ሷ＋角速度𝜃ሶ
＋最適化（GA)𝜃ሶ𝑦𝑟➢ センサ設置角度推定（独自アルゴリズム）

GLOCAL-EYEZ
The University of Tokyo

真値
推定値(前輪位置)推定値(後輪位置)

ノイズ15％のケース

𝑦𝑓ハーフカーモデル
パラメーター１０個

路面管理指標IRI(国際ラフネス指数)の正確な推定

真値
推定値(前輪位置)推定値(後輪位置)

制御理論，データ同化理論，最適化に基づいて正確でロバストな逆推定法を構築
Bridge &Wind Engineering Laboratory29

動揺計測に基づく平たん性評価
赤信号(路面性状測定車）

実測

赤信号

25/3
9 縦断形状比較

DRIMS
路面性状測定車
赤信号

IRI comparison

X: 9380
Y: 9.364

軽自動車
バン
Van-rear tire
路面性状測定車Light-vehicle-dashboard
98

IRI (mm/m)
IRI

8

X: 9180
Y: 8.54

true profiler

X: 2700
Y: 7.207

7

X: 1.004e+004
Y: 7.711

X: 6390
Y: 7.636

X: 5130
Y: 6.203

X: 6200
Y: 6.415

X: 7350
Y: 6.814
X: 6620
Y: 6.251

66
5

X: 2400
Y: 4.865

44
性能確認証書（2017）

322
1
1000

2000

2000

The University of Tokyo

3000

4000

4000

5000

6000
Distance(m)6000
距離 (m)

8000

9000

10000

Profiler-1
Profiler-2

路面性状測定車10.05

路面性状測定車2

0-0.1
7.2
0.1

7.25

7.3

7.35
Distance(km)

7.4

7.45

0.05

7.5
iDRIMS1iDRIMS2DRIMS1DRIMS20-0.05

専用車（路面性状測定車）の性能確認試験にスマホ
8000
10000
ベースで唯一合格
7000

0.1

青信号-0.05

X: 8640
Y: 7.175

Profile(m)プロファイル（ｍ）

10Profile(m)プロファイル（ｍ）

路面性状測定車停発車

-0.1
7.2

DRIMS
停発車

DRIMS
停発車
7.257.3

7.35
Distance(km)

7.4

7.45

7.5

11000

路面性状測定車とほぼ整合．停発車時はスマホのほうが高精度

Bridge &Wind Engineering Laboratory30振動ベースの路面評価

大規模実装と経時分析

大規模実装とクラウド解析

マップマッチング

SIP「インフラ予防保全のための大規模センサ情報統合に基づく路面・橋梁ス
クリーニング技術の研究開発と社会実装」代表JIPテクノサイエンス家入正隆

統計情報（ヒストグラム表示）

詳細マップ
広域路面マップ
The University of Tokyo

Bridge &Wind Engineering Laboratory31

ビッグデータ解析による劣化特性の評価• 多車両（タクシー）による長期モニタリングデータ• IRI誤差,空間誤差 > 時間変化補足に必要な精度→空間誤差の補正，ビッグデータ解析
IRI average: 3.0
IRI variance: 0.7

IRI average: 3.0
IRI variance: 1.0

IRI劣化速度（m/km/day)

波形合わせによるGPS誤差の補正
経時分析

Ex. Point B

IRI

Ex. Point A

平均IRI（m/km)

区間毎の劣化速度
𝑎1 , 𝑎2 , …

時間

𝐼𝑅𝐼 = 𝑎1 ∗ 𝑑 + 𝑏1

時間

𝐼𝑅𝐼 = 𝑎2 ∗ 𝑑 + 𝑏2

スマホによる動揺計測・解析により路線毎の劣化特性の違いを評価
The University of Tokyo

Bridge &Wind Engineering Laboratory

32

修繕個所・劣化個所の把握・情報開示

IRI（mm/m)

振動＋画像

スマートシティ技術研究所
The University of Tokyo

Bridge &Wind Engineering Laboratory

33

修繕個所・劣化個所の把握・情報開示

IRI（mm/m)

振動＋画像

スマートシティ技術研究所
The University of Tokyo

Bridge &Wind Engineering Laboratory

34

修繕個所・劣化個所の把握・情報開示

IRI（mm/m)

振動＋画像

スマートシティ技術研究所
The University of Tokyo

Bridge &Wind Engineering Laboratory

35

劣化予測

ポットホール予測AIモデル

雪解け後にポットホール多発
事故の誘因
現状: 発見，補修，事後保全

パトロール/点検・調査データからポットホール発生予測の試み
発生前

ポットホール発生後予測「GLOCAL-EYEZ」より
The University of Tokyo

Bridge &Wind Engineering Laboratory

36

劣化予測

ポットホール予測AIモデル

降雪前に，融雪後のポットホール発生予測の事例
実際の発生個所予測
ポットホール有多

予測成功
予測要改善

ある国道10km区間の予測精度
正確度96％ 再現率69％

スマートシティ技術研究所

特異度97％

適合度43％

今後: 多量・多様なデータから予測高精度化，計画的な予防保全へ
The University of Tokyo

Bridge &Wind Engineering Laboratory37

補修優先順位付け
多角的な評価指標および予測に基づいて補修優先順位付け

時間による絞り込み総合指標に基づく
補修優先順位

優先順位

スマートシティ技術研究所
The University of Tokyo

Bridge &Wind Engineering Laboratory38おわりに➢スマートフォンを利用して平たん性（IRI)，ひび割れ率，わだち掘れを高精度に評価する仕組み構築．平たん性，ひび割れは性能確認取得
レベルの精度．わだち掘れ評価も高精度化検討中➢さらに，高精度な位置合わせにより，路面の劣化を詳細に経時評価することが可能に．
➢今後，経時変化の追跡と劣化予測に基づく，合理的な管理方法の検討
へ．

The University of Tokyo

Bridge &Wind Engineering Laboratory39