第67回(2023年度)

北海道開発技術研究発表会論文

深層学習と道路CCTVカメラ画像を用いた路面すべり摩擦係数推定手法の開発（国研）土木研究所寒地土木研究所 寒地交通チーム
元（国研）土木研究所寒地土木研究所 寒地交通チーム（国研）土木研究所寒地土木研究所 寒地交通チーム

○齊田 光
大廣 智則
伊東 靖彦

冬期の路面すべりやすさを把握することは冬期道路管理作業の適切な実施を実現する上で重要であるが、既存の路面すべりやすさを計測する装置は高価かつ取り扱いに労力を要する。そこで本研究では、深層学習を用いて既設の道路CCTVカメラで得られた路面画像から路面すべり摩擦係数を安価かつ簡便に推定する手法を開発するとともに、路面すべり摩擦係数の推定精度検証を行った。

キーワード：冬期道路管理、深層学習、路面すべり摩擦係数、道路CCTVカメラ、AI

1. 研究の背景および目的
路面雪氷状態（積雪の有無や路面のすべりやすさ、雪氷の種類など）に関する情報は、凍結防止剤散布や除雪などの冬期道路管理作業を適切に行う上で重要である。
路面雪氷状態を表す指標のうち路面のすべりやすさは冬期のスリップ事故発生リスクに大きく影響する1)ほか平
均走行速度の低下の要因となるため2)、路面のすべりやすさを把握することは安全・快適な冬期道路サービスを提供する上で特に重要となると考えられる。
路面すべりやすさの計測手法としては定性的な路面性状（乾燥、圧雪など）の判別結果から大まかな路面すべりやすさを推測する手法、および路面のすべり摩擦係数（以降、μ）等を定量的に計測する手法が存在する。このうち、定性的な路面性状については道路管理者等の目視による判別が行われているが、目視による定性的な路面性状の判別精度は必ずしも高くないという報告がある
3)。したがって、目視による定性的な路面性状から路面すべりやすさを推定した場合の推定精度も高くないものと考えられる。このような問題を解決するために、人の判断を介さない路面すべりやすさの計測手法が提案されている。路面すべりやすさを定量的に計測する手法としては振り子式スキッドレジスタンステスタを用いた手法
4)が用いられているが、この手法は計測時に交通規制を要するため、冬期道路管理等への活用を目的とした高頻度な路面すべりやすさの計測には不向きである。
以上の理由から、広範囲の道路網におけるすべりやすい区間を交通規制を行うことなく把握するために、走行経路上の路面すべりやすさを連続的に計測する手法が提案されている。このような手法としては、車両進行方向に対して斜めに取り付けられた計測輪に生じる横力から路面すべりやすさを計測する手法 5)や、複数の波長が異なる近赤外光を路面に照射し、反射率を計測することで路面すべりやすさを計測する手法 6)が開発されている。
これらの手法は路面雪氷状態を定性的に判別してすべりやすさを推測する手法と比較して精度良く路面のすべりやすさを把握することが可能であるが、計測機器が高価である、機器が大重量である、または取扱い方法が複雑であるなどの理由により路面すべりやすさの計測に大きな労力を要するなどの課題を有している。
上述の問題を解決するために、近年ではカメラから得られた画像をAIに入力し、路面雪氷状態を推定する手法が提案されている。李らは車載カメラで撮影した画像から深層学習を用いて路面雪氷の有無や状態を定性的に推定する手法を提案した7)。筆者らは車載カメラで撮影した画像から深層学習によりμおよび積雪により生じる路面凹凸深さを定量的に推定する手法を提案した8)、9)。これらの手法は計測機器として特殊または高額な機器を必要とせず、一般的なカメラで路面撮影を行うことが可能な条件下であれば安価かつ簡単に路面雪氷状態の把握が可能であるという長所を有する。また、路面を撮影した
画像は道路パトロール車両などに搭載した車載カメラだ
けでなく、既設の道路CCTVカメラからも入手が可能である。道路CCTVカメラは定期点検時などを除き常時稼働しており、かつ道路テレメータと比較して多くの地点に設置されている。
以上の背景より、既設の道路CCTVカメラと深層学習を用いると、広範囲にわたる路面雪氷状態を安価・定量的に、かつ道路パトロールカーが巡回していない場合でも常時把握することが出来るようになる可能性がある。
しかしながら、道路CCTVカメラ画像から路面雪氷状態を推定した事例は少なく10)、特に道路CCTVカメラ画像からμを精度良く推定可能であるかは不明である。

SAIDA Akira, OHIRO Tomonori, ITO Yasuhiko-639-

図-1 路面すべり推定 AI の学習用データ生成方法の概要(a) 連続路面すべり抵抗測定装置(b) 路面すべり摩擦係数計測装置
図-2 路面すべりやすさの計測に用いた装置
本研究は、道路CCTVカメラで得られた画像から深層学習によりμを推定する手法を開発し、μの推定精度を検証することを目的とする。本論文では、日中に道路
CCTVカメラで得られた画像からμを推定した場合の精度検証結果を報告する。

要がある。以下に本手法で用いた学習用データの詳細を示す。

(1) CNNの学習に用いたデータ
図-1 は路面すべり推定 AI の学習用データの生成方法を示す。本手法では、多数の学習用データを得るために
図-2(a)に示す連続路面すべり抵抗測定装置（Halliday
2. 道路CCTVカメラ画像と深層学習を用いた路面 Technology RT3）5)を用いて収集された路面すべり抵抗値すべり摩擦係数の推定方法（HFN）および路面画像とこれらの計測位置・計測時刻を用いて学習用データを生成する。連続路面すべり抵抗
本研究では、μを推定するための深層学習モデル（以測定装置は車両進行方向に対して数度傾いた状態で車両降、路面すべり推定AI）として、Convolutional Neuralに固定された計測輪を有し、走行中に計測輪に生じる横Network（畳み込みニューラルネットワーク、以下力を測定することで走行区間の HFN を毎秒 10 回計測すCNN）を基にした深層学習モデルを構築した。 CNNにる。連続路面すべり抵抗測定装置により計測された HFNよる画像分類は畳み込み・プーリング等の処理により入は計測機器独自の指標である。このため、HFN 計測値と力した画像の特徴量を抽出し、得られた特徴量を用いて路面すべり摩擦係数計測装置 11)（図-2(b)参照）によるμ入力画像の分類等を行う手法である。
計測値の関係（図-3 参照）から、HFNを路面すべり摩擦
本研究で提案する手法では、道路CCTVカメラで撮影
係数計測値μobs に換算する（図-1(1a)）。また、計測車した画像のうちμの推定を行いたい小領域を切り出し、両のフロントガラスに固定されたドライブレコーダー
切り出した画像および昼夜判別値を路面すべり推定AIに（Yupiteru Y-4K）を用いて車両前方の画像を 3840×2160入力することでμを推定する。
ピクセル、毎秒 23 フレームで記録し、得られた動画を上記の手法を実現するためには、路面すべり推定AIの静止画像に変換する（図-1 (1b)）。その後、μobs と路面学習を行うためのデータ（学習用データ）を多数用意し、 画像データの位置および時刻情報を用いて、μobs および未学習の路面すべり推定AIに学習用データを入力する必時刻情報と画像の紐付けを行う（図-1(2)）。このよう
SAIDA Akira, OHIRO Tomonori, ITO Yasuhiko-640-

にして得られた静止画像には路面以外の領域も含まれているため、静止画像から計測車両の前照灯によって路面が照らされる領域（幅 224 ピクセル×高さ 224 ピクセル）を切り出す（図－1(3)）。最後に、時刻情報を基に算出した昼夜判別値を画像に付与する（図－1(4)）。以上の処理により、路面画像に正解ラベル（μobs および昼夜判別値）が付与された学習用データを多数生成する。
なお、本手法では路面画像中に他の走行車両が映り込む可能性が高い条件下で得られたデータ（計測車両の走行速度が 20km/h以下である場合のデータ）を除外して学習用データを生成した。
(2) 路面すべり摩擦係数の推定手法
本研究は安価かつ容易に路面すべりやすさを計測する手法を開発することを目的としている。この目的を達成するためには、一般に広く普及している情報機器で高速に推論処理が可能な路面すべり推定AIを生成する必要がある。このため、本研究では画像の特徴を抽出するCNNとしてEfficientNetV212)を用いた。本研究で提案する手法では、道路CCTVカメラにより撮影された画像から路面が映っている幅64ピクセル×高さ64ピクセルの画像を切り出した後に幅224×高さ224ピクセルに拡大した画像と昼夜判別値を入力値とし、路面すべり摩擦係数推定値μinfを出力値とする路面すべり推定AIを生成した。

3. 路面すべり摩擦係数の予測精度検証方法
本研究では、前章に示す方法で生成した路面すべり推定AIを用いて、μの推定精度検証を行った。路面すべり推定AIを生成するための学習用データ（路面画像と画像撮影地点のμobs を一組とするデータ）には、2021年度および2022年度冬期の日中および夜間に乾燥、湿潤、シャーベット、圧雪およびブラックアイスバーンを含む凍結路面を走行して収集したデータを用いた。学習用データには、学習用データ中のμobsが0≦μobs＜0.05、0.05≦μobs＜0.10、…、0.75≦μobs ＜0.80を満たすデータを各22万個、合計352万個のデータを使用した。
生成した路面すべり推定AIによるμ推定精度の検証は、北海道内国道に設置された道路CCTVカメラにより撮影された画像および道路CCTVカメラ画像撮影時・撮影地点で連続路面すべり抵抗計測装置により計測したμobs を基に作成した検証用データ（路面画像と画像撮影地点のμobsを一組とするデータ）を70個用いて行った。μ推定精度の検証には、日中の時間帯に得られた検証用データを用いた。なお、路面すべり推定AIモデルの作成および精度検証は市販PC（CPU：AMD Ryzen Threadripper 3970X×1、GPU：NVIDIA GeForce RTX 4090×1、メモリ：DDR43200 16GB×4）を用いて、Python 3.8.12、TensorFlow 2.8.0およびOpenCV 4.0.1で実装したソフトウェアにより行った。

4. 路面すべり摩擦係数の推定精度検証結果
図-4 は道路 CCTV カメラ画像撮影地点におけるμobsと路面すべり推定 AI により道路 CCTV カメラ画像から推定したμinf の関係を示す。本検証におけるμの二乗平方平均誤差（RMSE）は 0.168、μinf とμobs の差の絶対値が 0.1 未満であった場合を的中とした時の的中率は42.9%であった。なお、μobs≦0.6 である検証用データに0.9

μ = 0.0082HFN

1

路面すべり摩擦係数推定値、μinf

路面すべり摩擦係数 (μ)

1.2R² = 0.8898

0.80.60.4
0.2
00.8

R2=0.6048

0.7
0.6

0.5
0.4
0.3
0.2
0.1
0020

4060801001200 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
路面すべり摩擦係数計測値、μobs

HFN

図-4 路面すべり摩擦係数計測値と路面すべり推定
AI により道路 CCTV カメラ画像から推定された路面すべり摩擦係数推定値の関係

図-3 連続路面すべり抵抗測定装置により計測された
HFN と路面すべり摩擦係数計測装置により計測された路面すべり摩擦係数の関係

SAIDA Akira, OHIRO Tomonori, ITO Yasuhiko-641-5. 結論および今後の展望
本研究では、道路CCTVカメラで得られた画像から路面すべり摩擦係数を深層学習により推定する手法を開発し、予測精度の検証を行った。以下に得られた知見を列挙する。

路面すべり摩擦係数推定に用いた領域



図-5 非積雪路面における路面すべり摩擦係数の推定
失敗例（路面すべり摩擦係数計測値：0.719、路面すべり摩擦係数推定値：0.281）
対する RMSE は 0.122、的中率は 56.3%であり、積雪および凍結路面のようなμが低い条件下では非積雪路面のようなμが高い場合よりもμ推定精度が高くなった。また、μobs－μinf間の決定係数 R2 は 0.605 であった。
一方で、μobs＞0.6である場合の道路CCTVカメラ画像を路面すべり推定AIに入力した場合には、μinfがμobsより大幅に小さくなる事例が複数見られた。図-5は非積雪路面において路面すべり摩擦係数を過少に推定したときの路面画像の一例を示す。この事例では、図中の四角形で示す領域の画像を路面すべり推定AIに入力することで得られたμinfは0.281であったが、μobsは0.719であった。
本事例においてμを過少に推定した主たる原因としては、入力画像の空間分解能が低いことが挙げられる。図-5に示した画像の撮影機材を含む多くのCCTVカメラは撮影解像度が720×480ピクセルであるため、μ推定に用いる領域内の画像から舗装表面のテクスチャや水分の付着状況を把握することは困難である。このため、路面すべり推定AIは入力された非積雪路面の画像を薄い氷膜路面であると誤認識し、μを過少に見積もったものと推察される。このような条件下におけるμ推定精度を改善するためには、近年設置が進んでいる高解像度撮影可能な道路
CCTVカメラの画像を用いてμを推定する、気象メッシ
ュデータから取得した道路CCTVカメラ設置地点の気象条件を路面画像と共に路面すべりAIに入力してμ推定を補助するなどの方法が考えられる。
以上の結果より、本研究で提案した道路 CCTV カメラ画像からのμ推定手法は、車載カメラ画像を用いた場合のμ推定精度（μobs≦0.6 である検証用データに対する RMSE：0.101、的中率：74.3%）8)には及ばないことが明らかとなった。しかしながら、本研究で提案した手法は積雪・凍結路面のようなμが低い条件下では既存の一部の光学式路面センサ（的中率：55%程度）13)に匹敵するμ推定精度を有していることが示された。



道路CCTVカメラで撮影画像のうち路面が映っている領域の画像を用いて、深層学習により路面すべり摩擦係数を推定する手法を開発した
上記手法を用いた場合の路面すべり摩擦係数の二乗平方平均誤差（RMSE）は0.168、路面すべり摩擦係数推定値と計測値の差の絶対値が0.1未満であった場合を的中とした時の的中率は42.9%であった
路面すべり摩擦係数計測値が0.6以下でである検証用データに対するRMSEは0.122、的中率は56.3%であり、積雪・凍結路面のようなすべりやすい路面を撮影した場合の推定精度は非積雪路面のようなすべりにくい路面を撮影した場合の推定精度よりも高くなった
本研究で提案した手法は積雪・凍結路面のようなすべりやすい条件下では既存の一部の光学式路面センサに匹敵する推定精度を有していることが明らかとなった
非積雪路面のようなすべりにくい路面では入力画像の空間分解能の不足に起因すると思われる路面すべり摩擦係数の過小評価事例が見られた

今後は路面すべり推定AIのアルゴリズム改良および学習用データの拡充により道路CCTVカメラ画像からのμ推定の精度向上を行うとともに、夜間において道路CCTVカメラ画像からのμ推定精度を検証する。併せて、路面温度や凍結リスクの現況値・予測値の表示機能を有する冬期道路マネジメントシステムに本研究で提案した手法などを組み込み、道路CCTVカメラ設置地点の路面すべりやすさや定性的な路面性状、積雪により生じた路面凹凸深さなどををリアルタイムに把握するシステムを構築する予定である。
参考文献
1) A. Saida、 M. Hirasawa、 N. Takahashi and T. Ishida : Quantitativeevaluation of the relationship between the road surface conditions measured
by continuous testing vehicles and the rate of winter traffic accidents、Road Safety on Five Continents – RS5C Proceedings、 2018．
2) 齊田光、徳永ロベルト、大浦正樹、佐藤信吾、佐藤昌哉：
冬期走行環境が走行速度に及ぼす影響の評価に向けた長期計測試験、寒地技術論文・報告集、Vol.34、CD-ROM、
2018．
3) R. Tokunaga、 M. Kiriishi and N. Takahashi：A study on useof quantitative indicator for winter road performance

SAIDA Akira, OHIRO Tomonori, ITO Yasuhiko-642-

measurement and evaluation in Japan、ISCORD 2013: Planningfor Sustainable Cold Regions、 pp.355-366、2013．
4) C. G .Giles、 B. E. Sabey and K. H. F. Cardew ：Developmentand performance of the portable skid resistance tester、 Rubber
Chemistry and Technology、 Vol. 38、 pp. 840-862、1965．
5)S. Salimi、 S. Nassiri and A. Bayat ：Lateral coefficient offriction for characterizing winter road conditions、 Canadian
Journal of Civil Engineering、 Vol. 43、 No. 1、 pp. 73-83、2015．
6)T. Haavasoja、 J. Nylander and P. Nylander：Experiences ofmobile road condition monitoring、 Proceedings of the 16thSIRWEC conference、 ID : 14、2012．
7)李瑾、阿部雅人、杉崎光一、中村一樹、上石勲：AI 技術を活用した冬季道路路面判別の効率化、AI・データサイ
エンス論文集、Vol. 1、No. J1、pp.210-216、2020．
8) A.Saida 、 K. Okumura 、 T. Ohiro 、 K. Matsumoto 、 K.
Murakami and K. Konishi：Road friction coefficient estimation
system using road surface images and a convolutional neuralnetwork、Proceedings of the XXVIIth World Road Congress、
2023．
9) 齊田光、大廣智則、奥村航太、伊東靖彦、高野伸栄：路面画像と深層学習を用いた積雪時の路面凹凸高さ推定
手法、土木計画学研究・講演集、Vol.68、CD-ROM、
2023．
10) 吉永創、川畑貴義、山口隆志、竹内茜、大鹿美希：雪
氷作業の高度化と効率化に向けた技術開発と情報提供について、第 32 回ふゆトピア研究発表会論文集、pp.121-124、2020．
11) M. Funahashi、 R. Tokunaga、 N. Takahashi and M. Asano：Study of friction measuring method on snowy/icy roads 、ISCORD 2007 proceedings、 pp. 343-351、2007．
12) M. Tan and Q. Le：EfficientNetV2: Smaller models and fastertraining、 Proceedings of the 38th International Conference onMachine Learning、 PMLR 139:10096-10106、2021．
13) M. Malmivuo：Comparison study of mobile optical friction
and temperature meters 2013、 Finnish Transport Agency、
2013．

SAIDA Akira, OHIRO Tomonori, ITO Yasuhiko-643-