北海道の雪氷 No.40（2021）

Annual Report on Snow and Ice Studies in Hokkaido

車載カメラ静止画像と CAIS を組合せた冬期路面状態を面的に判別するシステムの開発
Development of a road surface condition estimation system that combines road imagesand CAIS
大廣 智則 1,2, 高瀬 智之 3, 高橋 翔 4，萩原 亨 4, 岩﨑 悠志 5, 森 徹平 5，花塚 泰史 5, 高橋 亮介 6
Tomonori Ohiro1,2, Tomoyuki Takase3, Syo Takahashi4, Toru Hagiwara4, Iwasaki Yuji5, Teppei Mori5,
Yasushi Hanatsuka5, Yusuke Takahashi6Corresponding author (Current address): oohiro-t@ceri.go.jp (T. Ohiro)
北海道の高速道路では，スマート凍結防止剤散布システムを運用し，凍結防止剤散布量を低減している．
このシステムでは，冬期路面状態判別の信頼性が重要であり，補完システムへの依存を軽減する必要がある．
本研究では，車載カメラから得られた静止画像から冬期路面状態を面的に判別する 79%の精度を有する新たな画像識別器を開発した．画像のみと比べ，画像と CAIS を組合せた識別器により，精度が 15%向上できた
ことを明らかにした．
１．はじめにNEXCO 東日本北海道支社が管理する高速道路では，凍結防止剤を 100m 区間毎に自動散布するスマート凍結防止剤散布システムを運用し，凍結防止剤散布量を低減している 1)．また，凍結防止剤の散布方法を自動化する一方，補完システムを開発し，システム制御に組入れ，冬期道路交通の安全性が損なわれない冬期路面管理となるようなシステムとし実用化してきた 2)．今後，散布量を更に低減するには，走行軌跡のみの CAIS3)の路面判別の課題を解消
し，連絡員あるいは道路管理者による路面状態の再判定などの関与（補完システムへの依存）を軽減し，100m 区間散布の実施を可能とする場面を増やすことが必要である．
一方，筆者ら 4)は，道路画像配信システムにより，道路管理者が雪氷巡回時の線的な路面積雪状況をリアルタイムに把握することで，巡回員と道路管理者が情報を共有し，効率的な雪氷作業を判断することができることを示している．また，国土交通省国
土技術研究会 5)や平井ら 6)は，可視画像式路面セン
サが路面状態の変化を面的かつリアルタイムに把握でき，道路管理への展開が可能であることを明らかにしてきた．しかし，これらは CCTV カメラ等の定置式のシステムであり，車両など移動式への設置が検討されていない．
1

株式会社ネクスコ・エンジニアリング北海道
現所属：土木研究所 寒地土木研究所
3
北海道大学大学院工学院
4
北海道大学大学院工学研究院
5
株式会社ブリヂストン
6
東日本高速道路株式会社 北海道支社
2

本研究では車載カメラから得られた静止画像（以降，画像）から冬期路面状態を面的に判別する新たな識別器を構築する．この画像の識別器と CAIS による判別結果を組合せることで画像のみのときよりも精度が向上することを定量的に示す．
２．実験方法２．１ 画像識別器
２．１．１ データセット
本実験で用いたデータは，2020 年 1 月 27 日から31 日までに，道央道・札樽道・道東道・旭川紋別道で取得した．本実験で用いた画像を図１に例示する．
Dry(乾燥)，Semi-wet(半湿)，Wet(湿潤)，Slush(シャーベット)，Snow(積雪・圧雪・凍結)の 5 種類を識別する路面状態とした．車載カメラより得られた画像の下部 2/3 を対象とした．データ数は，Dry:304 枚，Semi-wet:852 枚，Wet:620 枚，Slush:546 枚，Snow:1,774枚，全体:4,096 枚である．
２．１．２ 画像識別器の構築方法
図２に示す手法で車載カメラから取得した画像から，冬期路面状態を面的に識別する画像識別器を構築した．画像識別器の構築は，3 つの Step で行った．まず，前項で取得した大量の画像データをコンピュータで AI に反復的に学習させた（図２（a））．

Nexco-Engineering Hokkaido Co., Ltd.,
Civil Engineering Research Institute for Cold Region, Public Works Research Institute
Graduate School of Engineering, Hokkaido University
Faculty of Engineering, Hokkaido University
Bridgestone Corp.,
Hokkaido Regional Head Office, East Nippon Expressway Co., Ltd.,－ 53 －Copyright©2021 公益社団法人日本雪氷学会
The Japanese Society of Snow and Ice

北海道の雪氷

No.40（2021）

Annual Report on Snow and Ice Studies in Hokkaido(a) Dry(b) Semi-Wet（a）STEP1 Training DataDry(c) Wet(d) SlushSemi-wet
画像識別器

下部 2/3が対象WetSlushSnow(e) Snow
図１ 本実験で用いた入力画像の例（b）STEP2 Model

次に AI がパターンを発見してそれに基づき識別モデルを構築した（図２（b））．最後に，未知のデータから Step2 で構築した画像識別器を用いて冬期路面状態を自動識別した（図２（c））．
画像識別器の構築には，ディープラーニングの手法である CNN7)を用いた．また，CNN の識別モデルは Mobile Nets8)を使用した．Mobile Net は CNN のソフトであり計算量が少ないという特徴がある．CNNは AI(機械学習)の一種であり，畳み込み層とプーリング層を有し，画像認識の分野で高い性能を持つことで知られている．
車載カメラより得られた画像の下部 2/3 を Mobile
Nets を転移学習させて 5 分割交差検証法により路面状態を判別する識別器を新たに構築した．
２．２ 画像と CAIS を組合せた識別器
接触式センサと非接触式センサの良いところを組合せれば精度が向上すると仮説をたて，図３に示す，画像と CAIS を組合せた識別器を開発した．画像識別器は前節で構築したものである．画像識別器
により 5 クラスに識別することが可能である．一方，
CAIS は，タイヤの内面に取り付けた加速度計とマイク，路面温度データから，CAIS アルゴリズムにより 7 クラス（Snow を Snow cover，Compacted snow，Ice に分類）に判別可能である．画像と CAIS を組合せた識別器は，画像識別器による 5 クラスの解析結
果と CAIS による 7 クラスの解析結果を機械学習のランダムフォレストで 5 分割交差検証法により得意な路面を担当させて路面状態を判別する手法である．

（c）STEP3 Estimation
図２ 冬期路面状態を面的に識別するための画像識別器の構築方法
２．３ 評価方法
正解データに対する実験結果について，真陽性，偽陰性，偽陽性，真陰性の関係を図４に示す．ここで，評価指標は，適合率（Precision），再現率（Recall），F 値(F-measure)があるが，Mobile Nets で構築した識別モデルは F 値（式（1））を用いて評価する．
F 値ሺF െ measureሻ ൌ2 ൈ 再現率 ൈ 適合率
再現率 ൅ 適合率

ሺ1ሻ

３．実験結果３．１ 画像のみの路面判別精度精度
表１に画像のみの識別結果を示す．Mobile Nets を転移学習させて構築した識別器によって，画像のみから路面状態を識別する精度は，F 値の平均で 0.782であった．また，表２に示す混同行列から，Dry とWet の識別精度が低く，Semi-wet，Slush，Snow が高い．特に Snow の精度が高い．
３．２ 画像と CAIS を組合せた路面判別精度
３．２．１ 画像と CAIS の個別の精度－ 54 －Copyright©2021 公益社団法人日本雪氷学会
The Japanese Society of Snow and Ice

北海道の雪氷

No.40（2021）

Annual Report on Snow and Ice Studies in Hokkaido

図３ 画像と CAIS を組合せた識別器の構築方法確認できる．

正解
データ

実験結果
真陽性 TP

偽陰性 FN

偽陽性 FP真陰性 TN

図４ 実験結果の真陽性･偽陰性･偽陽性･真陰性
表１ 画像のみの識別結果
SemiDry
Wet Slush Snow Ave
wet
Recall

0.689 0.748 0.623 0.891 0.988 0.788

Precision

0.701 0.833 0.689 0.705 0.958 0.777

３．２．２ 画像と CAIS を組合せた精度
表４に画像と CAIS を組合せた識別結果を示す．
画像と CAIS を組合せた精度は，F 値の平均で 0.931であった．画像識別器のみの F 値は前記したとおり78％であったが，画像と CAIS を組合せることで93％まで向上させることができた．また，表５に示す混同行列から，画像が苦手だった Dry と Wet の精F-measure 0.694 0.788 0.654 0.787 0.973 0.782

計309949685

432

正解ラベル

正解ラベル

表２ 画像のみの混同行列識別結果
識別結果
SemiDry
Wet Slush Snow
wet
Dry
213
306100
Semi710472093wet
Wet
2180 427
92Slush027115 385
19Snow
123536 1700

表３ 画像と CAIS の個別の混同行列識別結果（a）画像識別器
識別結果
SemiDry
Wet Slush Snow 計
wet
Dry
213
30
6100 304
Semi4620 83187 696wet
Wet
2 169 418
82 59916 478
Slush025 100 337
Snow112834 1437 1501

計304852620
5461774

計1721 4096

－ 55 －正解ラベル

データセットは，前節と同一であるが，画像とCAIS が関連したデータが必要なため，データセッ
トの枚数が画像のみのときよりも 383 枚少なく，データ数は，Dry:304 枚，Semi-wet:831 枚，Wet:599 枚，Slush:478 枚，Snow:1,501 枚，全体:3,713 枚である．
表３に画像と CAIS の個別の混同行列識別結果を示す．画像識別器は，Semi-wet，Slush，Snow の成績が良く，CAIS は，Dry，Wet の成績が良いことがDry
Semiwet
Wet
Slush
Snow計

303921653

3811455 3713（b）CAIS
判別結果
SemiDry
Wet Slush Snow 計
wet
21
1600 304
267
333

122375108310103
4600379599
221
40310 599114 478
1027 1501

1163

189121551141 3713

Copyright©2021 公益社団法人日本雪氷学会
The Japanese Society of Snow and Ice

北海道の雪氷

No.40（2021）

Annual Report on Snow and Ice Studies in Hokkaido

表４ 画像と CAIS を組合せた識別結果
SemiDry
Wet Slush Snow Ave
wet
Recall

0.841 0.910 0.970 0.953 0.991 0.933

Precision

0.819 0.931 0.980 0.929 0.987 0.929

F-measure 0.830 0.920 0.975 0.941 0.989 0.931

正解ラベル

表５ 画像と CAIS を組合せた混同行列識別結果
識別結果
SemiDry
Wet Slush Snow 計
wet
Dry 249
54010304
Semi774112083144wet
Wet010587
11599Slush113744413478
Snow20018 1481 1501
計296851605466

リア補正，Mobile Nets V2 や V3 の検討等，手法構築が必要となる．冬期路面状態判別の信頼性が向上すれば，凍結防止剤散布量のさらなる低減が期待できる．
【参考文献】
1) 大廣智則, 高倉清, 桜庭拓也, 花塚泰史, 萩原亨（2019）：自動路面状態判別システムを活用したスマート凍結防止剤散布システムの開発.
交通工学論文集, 5（4(特集号 B)）, B_7-B_15.
2) 大廣智則, 萩原亨, 花塚泰史, 高倉清, 中村広
美：道路管理者と協調した凍結防止剤散布の低減に資するスマート凍結防止剤散布システムの開発, 日本雪氷学会誌「雪氷」, 第 82 巻, 6 号,
pp.299-316, 2020.113)

1495 3713

度が向上している．苦手だった路面の精度向上にともない，全体的に精度が向上していることが確認できる．つまり，画像と CAIS を組合せた識別器は，それぞれの得意な路面を担当させることで路面識別精度を向上させることができている．
４．おわりに走行軌跡のみの CAIS の路面判別を画像処理による路面識別がカバーし，接触しなければ判らない凍結路面の判別などを CAIS が担当することをコンセプトに，車載カメラ画像と CAIS を組合せた冬期路面状態を面的に判別するシステムを開発した．本研究で得られた成果を以下にまとめる．
（１）冬期間を通した検証はこれからであるが，Mobile Nets に基づく画像のみで冬期路面状態を面的に把握する 78％の精度を有する画像識別器を開発した．
（２）画像と CAIS による路面解析結果を組合せ，それぞれの得意な路面を担当させる画像と CAIS を組合せた識別器を開発することで，路面識別精度を93％と向上させることを定量的に示した．
（３）画像+CAIS は，冬期路面を面的に精度良く判別することが可能である．
今後，夜間等 24 時間とおして冬期路面状態を自動判別する識別器を構築する必要がある．また，データセットの充足により Snow を凍結・圧雪・積雪と分けた判別，車線別（走行車線/追越車線）の判別，画角の統一がなされていない場合の入力画像のエ

4)

花塚泰史, 後藤嵩人, 若尾泰道, 中澤一真
（2015）：高度車両制御への適用を目指したタ
イヤ振動を用いた路面状態判別技術の開発.
公益社団法人自動車技術会 2015 年春季大会学術講演会講演予稿集, 341-345.
Tomonori Ohiro, Shin Tozuka, Takeshi Kobayashi,“ADVANCED SNOW AND ICE CONTROLMEASURESFORHOKKAIDO’S
EXPRESSWAYS “ XIII INTERNATIONAL
WINTER ROAD CONGRESS, Session T3-1,Québec, February 8 to 11 (2010).

5)国土交通省国土技術研究会（2005）：IT 技術を活用した道路管理の効率化．土木技術資料，47,
40-45.

6)

平井節生, 牧野浩志, 山崎勲, 大久保康雄（2005）：冬季道路管理業務への可視画像式路面センサの活用. ITS シンポジウム, 4, 1-6.
LeCun, Y., Boser B.E., Denker J.S., Henderson D.,
Howard R.E., Hubbard W.E., and Jackel L.D.
“Backpropagation applied to handwritten zip code7)

8)－ 56 －recognition,” Neural Computation, Vol. 1, No. 4,
pp.541-551, 1989.
Howard, A.G., Zhu, M., Chen, B., Kalenichenko, D.,
Wang, W., Weyand, T., Andreetto, M. and Adam, H,“MobileNets: Efficient Convolutional NeuralNetworks for Mobile Vision Applications,” CoRR,
1704.04861, 2017.

Copyright©2021 公益社団法人日本雪氷学会
The Japanese Society of Snow and Ice