スマート自転車とオープンデータを活用した道路インフラ維持システム
早稲田大学 甲藤二郎・竹内健・金井謙治・
孫鶴鳴・村山知輝・山本健人・和田直己
情報通信研究機構「データ連携・利活用による地域課題解決のための実証型研究開発」
1

◆ 概要・特徴

近年、インフラ老朽化に対する危機感が高まる一方、電動アシスト自転車のシェアの拡大が見込まれている。本研究開発では、電動アシスト自転車に演算器を装着し、道路損傷検知、段差検知等の画像処理を実行し、クラウドから情報提供するシステムの開発を進めている。
研究室内サーバ

https

深層学習を活用した道路画像処理

商用クラウド

https
(ICN)

計測・演算・通信系

1.
2.
3.
4.

https
(ICN)

画像、位置、時刻等

スマート自転車（電動アシスト自転車＋演算器）

ブラウザ閲覧

行政機関、被験者等

https
蓄電系

道路損傷検知段差検知
混雑度検知
高精細画像の活用

https

Google Map 上のアノテーション表示

Takadanobaba
Asagaya

Waseda University

JOSE

クラウドシステム（画像処理、データ蓄積）

Shinjuku2

背景(1) インフラ維持• インフラ維持システムの必要性（出典）NEXCOロードタイガー• インフラ老朽化による事故が世界中で多発している• これを受け、国交省から道路の点検要領が発行されている• しかし、計測専用自動車による路面調査は高額な費用がかかる• このため、地方自治体が管理する道路では適用が困難• また、点検要領は自動車道路限定で、歩道や自転車走行帯は対象外• 自転車による安価なインフラ維持システムの構築• 自動車が入り込めない道路や災害時でも計測可能• 蓄電・演算・通信機能を備えた「スマート自転車」の開発• インフラ維持以外の画像処理サービス（段差検知、混雑度検知、等）への展開
3

背景(2) 電動アシスト自転車• バッテリを搭載した電動アシスト自転車

 世界最初の電動アシスト自転車はヤマハさんから（1993年YAMAHA PAS）

（出典）https://www.yamaha-motor.co.jp/pas/

 世界的には e-bike と呼ばれる

 世界の自転車市場は年間約1億3000万台で停滞しているが、e-bike 市場
はこの6年で約3倍拡大し、年間360万台に達する
 この勢いで成長を続けると2025年には年間1000万台に到達（出典）日経XTECH 2018年8月20日※ 世界的な e-bike の発展• 先行研究1. S.B.Eisenman et al.: ACM SenSys 2007.
2. Y.Kobana et al.: IWWISS 2014.

自転車センサーネットワーク

自転車＋加速度センサーによる段差検知

S.B.Eisenman et al.: ”The BikeNet Mobile Sensing System for Cyclist Experience Mapping,” ACM SenSys 2007.
Y.Kobana et al.: “Detection of Road Damage using Signals of Smartphone-Embedded Accelerometer while Cycling,” IWWISS 2014.

4背景(3) 新宿区の道路事情※ 狭い道路は自転車が得意• 自転車ネットワーク
計画• 新宿区の道路事情

小型バスがぎりぎりすれ違える路幅• 幅員6m以上の道路を自転車用に再整備• 新宿区の道路は幅員5.5m未満が76.5%を占める• 自転車活用推進計画（2018）※ 歩道と自転車道の整備

新宿区の道路の約25%

出典： 新宿区・自転車ネットワーク計画（2019年度～2028年度）
http://www.city.shinjuku.lg.jp/seikatsu/kotsu01_20190315.html.

5

背景(4) 日本全体の道路事情• 幅員5.5m未満： 71%※ 日本は自動車交通に適してない道路が多い• 幅員3.5m未満： 31%• 自動車交通不能区間： 11%
道

実

路

延

種

長

別

計

改 良 済 ・ 未 改 良 別 , 車 道 幅 員 区 分 別 内 訳
改
１９．５ｍ
以上

１３．０ｍ
～
１９．５ｍ

良
５．５ｍ
～
１３．０ｍ

済

未

５．５ｍ

５．５ｍ

３．５ｍ
～
５．５ｍ

計
未満

以上

改

良

３．５ｍ

うち
自動車交通
不能区間

未満

計

高 速 自 動 車 道

8,795.2

808.3

5,691.5

2,295.3-

8,795.2

-

-

-

-

-

一

道

55,637.4

1,181.4

6,886.7

43,527.6

1,527.9

53,123.6

327.2

1,369.5

817.2

144.4

2,513.8

都 道 府 県 道

129,666.6

1,130.8

4,980.1

85,184.9

13,349.1

104,644.8

2,048.9

12,234.1

10,738.8

1,678.7

25,021.8

道

1,029,787.3

759.9

4,632.6

185,018.1

417,947.8

608,358.4

7,088.8

48,935.1

365,405.0

140,322.5

421,428.9

計1,223,886.5

3,880.4

22,190.9

316,025.9

432,824.8

774,922.0

9,464.9

62,538.7

376,961.0

142,145.6

448,964.5

35%

63%

1%

5%

31%

11%

37%

市

般

町

国

村

合

比率

28%

出典：国交省「国・都・区市町村道統計」
6

研究開発内容
1. スマート自転車の開発
2. 深層学習を活用した道路画像処理の開発
3. プロトタイプシステムの開発

7

研究開発項目１
スマート自転車の開発

8

(1) スマート自転車(1) スマートフォン(2) 専用演算器

電動アシスト自転車
ケーブル延長バッテリ

DC/DCコンバータ
9(2) スマート自転車の実装• 各種デバイス• Jetson TX2

加速度&ジャイロ

RGBカメラ
加速度
ジャイロ
地磁気

(a) 構成例1

Webカメラ

360度カメラ(RICOHTHETA)
スマートフォ
ン(2D)LiDAR(北陽電機 測距センサ）

RGB-Dカメラ（Intel RealSense）… 段差検出9軸センサー（加速度、ジャイロ
地磁気）
GPS

(b) 構成例2

演算器（Jetson TX2)

RGBカメラ
360度カメラ（RICOH Theta）… 混雑度検出
2D-LiDAR（北陽電機 UST-10）… 段差検出
6軸センサー（加速度、ジャイロ）… 角度検知

※ 不安定動作時はモバイルバッテリを併用
10

(3) スマートフォンの消費電力
路上損傷個所検知アプリ実行時の消費電力
Google Pixel 3

HTC U12+Huawei Mate 20

実装1

61.1mAh

77.7mAh

59.6mAh実装255.8mAh

47.9mAh

20.6mAhAccuBattery※ バッテリ容量を増やすと重くなる※ 発電機能を付けると重くなる

典型的なバッテリ容量の比較

バッテリの電気容量 [Ah]スマートフォン

1～2Ah

電動アシスト自転車

5～20Ah電気自動車

10k～100kAh（Prius ~ Tesla）
11

(4) Jetson TX2の消費電力
Watts Up Pro• 人物検出の処理時間• 消費電流の時間推移
10秒に1枚の画像処理(a) YOLOv3（高精度）

ハイパワー

ローパワー

デフォルト

4K解像度画像1枚の処理時間(b) YOLOv3-tiny（高速）12研究開発項目２
深層学習を活用した道路画
像処理

13

(2) 画像取得• アノテーション：路上損傷画像を抽出し、追加
学習画像としてのアノテーション作業を実施
original+ ours

路面画像1089枚から路上損傷
画像194枚を抽出
original+ oursアノテーションツール LabelImg
路上損傷の分類表

Pascal VOC形式とYOLO形式を
必要に応じて相互変換

モデルの再学習と性能比較

14

(3) オープンデータ• Road damage dataset +Detection Challenge

https://rdd2020.sekilab.global/• KITTI dataset

http://www.cvlibs.net/datasets/kitti/15

(5) 道路画像処理• アプリケーション統合：路上損傷検出 + 路上廃
棄物検出 + 混雑度検出
文献[1] 路上損傷
Road Damage Dataset
文献[2] 路上廃棄物
GINI Dataset

スマートフォン
(Android)

Jetson TX2(ubuntu)

SSD+MobileNet

SSD+Inception
SSD+MobileNet

R-FCN

文献[3] 路上廃棄物
collected from StreetView
物体認識（人物検出）
COCO Dataset

クラウド(ubuntu)R-CNN
YOLO-tiny

姿勢検出（人物検出）

YOLO

YOLO

OpenPose

OpenPose

YOLO, YOLO-tiny(SSD+Inception)

YOLO(SSD+Inception)

2018年実装（路上損傷＋ SSD+MobileNet
路上廃棄物）
YOLO-tiny
2019年実装（路上損傷＋ YOLO-tiny
路上廃棄物＋人物検出） (SSD+MobileNet)

個別

文献毎に異なる実装手段

実行環境の統合：• スマートフォン: YOLO-tiny• Jetson: YOLO-tiny or YOLO
• クラウド: YOLO

[1] H.Maeda et al: Compute Aided Civil and Infrastructure Engineering, No.33, pp.1127-1141 (2018).
[2] Spotgarbage-GINI: https://github.com/spotgarbage/spotgarbage-GINI.
[3] Litter-detection-tensorflow: https://github.com/isaychris/litter-detection-tensorflow.

16

研究開発項目３
プロトタイプシステム

17

(1) プロトタイプ試作
研究室内サーバ

https

深層学習を活用した道路画像処理

商用クラウド

https
(ICN)

計測・演算・通信系

1.
2.
3.
4.

https
(ICN)

画像、位置、時刻等

スマート自転車（電動アシスト自転車＋演算器）

ブラウザ閲覧

行政機関、被験者等

https
蓄電系

道路損傷検知段差検知
混雑度検知
高精細画像の活用

https

JOSE

クラウドシステム

Google Map 上のアノテーション表示

Takadanobaba
Asagaya

Waseda University（画像処理、データ蓄積）
Shinjuku18

(2) 通信フォーマットと通信手順• 通信フォーマットの例

 Session: セッション情報

 Image: 撮影画像

 Detect: 画像処理実行
 Bbox: 処理結果
19

(3) ブラウザ表示• Google Map 上のアノテーション表示

Takadanobaba
Asagaya

Waseda University

Shinjuku20

(6) まとめ• 2K解像度までは、画像のアップロードはス
ムーズに行われる• LTE回線で4K画像のアップロードを試みるとし
ばしば失敗する• アップロードに10秒程度要するため、おそらくTCPのタイムアウトが発生している• 圧縮率と検出率のトレードオフが存在21

謝辞• 本研究成果は情報通信研究機構「データ連携・利活用による地域課題解決のための実証型研究開発」の支援を受けている。

22