報 文

マルチモーダルAIを用いた路面すべり摩擦係数の推定
A Road Friction Coefficient Estimation Using Multi-Modal Artificial Intelligence齊田光

大廣智則伊東靖彦

SAIDA Akira, OHIRO Tomonori and ITO Yasuhiko

冬期道路管理の効率的な実施やスリップ事故の抑制等を実現する上で、路面すべりやすさを把握することは重要である。しかしながら、従来の路面すべりやすさを計測する装置は高価・複雑であり、安価かつ簡単に路面すべりやすさを計測する手法が必要とされている。そこで本研究では、複数種類のデータを入力値とすることが可能なマルチモーダルAIにより路面画像と時刻情報から多様な路面雪氷状態における路面すべり摩擦係数を推定する手法を開発した。
本研究では、連続路面すべり抵抗測定装置とドライブレコーダーを取り付けた車両により路面すべり計測値、撮影時刻と路面画像を収集し、得られたデータを基にマルチモーダルAIの訓練を行うことで、路面画像と昼夜判別値を入力値、路面すべり摩擦係数出力値とする路面すべり摩擦推定マルチモーダルAIを作成した。
また、作成した路面すべり摩擦推定マルチモーダルAIを用いて薄いシャーベット路面やブラックアイスバーンなどを含む多様な条件下における路面すべり摩擦係数の推定精度を確認した。その結果，路面すべり摩擦係数の推定誤差（RMSE）は0.12程度であり、既存の光学式路面センサに匹敵する精度で多様な路面雪氷条件下における路面すべり摩擦係数を推定できることを確認した。
《キーワード：冬期道路管理；路面すべり摩擦係数；深層学習；マルチモーダルAI》
It is important to assess the road surface slipperiness to realize efficient winter road management and prevent
traffic accidents. However, conventional road surface slipperiness measurement devices are expensive andcomplicated, and an inexpensive and simple method to measure road surface slipperiness is needed. With thisstudy, we developed a multi-modal artificial intelligence for estimating the road friction coefficient at various roadsnow conditions based on road surface images and timestamp of the image using a deep neural network.
In this study, we measured road surface slipperiness and collected road surface images simultaneously using
vehicles equipped with a continuous skid resistance tester and a drive recorder. After that, we developed themulti-modal AI which can estimate road friction coefficient from a road image and day/night discriminant value.
In addition, we verified the accuracy of the road friction coefficient estimation under various road surfaceconditions. As a result, the estimation error is approximately 0.12 in RMSE and we confirmed that the multimodal AI can estimate road friction coefficient accurately at various road snow condition.
《Keywords：Winter Road Maintenance；Road Friction Coefficient；Deep Learning；Multi-Modal ArtificialIntelligence》

11

寒地土木研究所月報№853

2024年２月

輪に生じる横力から路面すべりやすさを計測する手

１．はじめに法3)や、複数の波長が異なる近赤外光を路面に照射し、１．１

反射率を計測することで路面すべりやすさを計測する研究に至る背景

冬期の安全・快適な道路交通を維持する上で、路面手法4)が開発されている。これらの手法は路面雪氷状

雪氷状態、特に路面のすべりやすさを把握することは態を定性的に判別してすべりやすさを推測する手法と重要である。例えば、冬期の急激な降雪や気温低下は、比較して精度良く路面のすべりやすさを把握すること

スリップに起因する交通事故や大規模な車両立ち往生が可能であるが、計測機器が高価である、機器が大重などの冬期交通障害の主要な原因となっている。多大量である、または取扱い方法が複雑であるなどの理由な損害を発生させるこれらの事象を防止することは道により、路面すべりやすさの計測に大きな労力を要す路管理者にとって最も重要な課題の1つである。このるなどの課題を有している。

ため、路面すべりやすさの現況値や予測値を把握する

以上のように、既存の路面すべりやすさの計測手法

ことは、冬期交通障害を防止するための作業（除雪やは計測精度、計測に要する費用および労力に課題を有凍結防止剤散布など）や道路通行止めの判断などを適しており、高精度、安価かつ簡単に路面すべりやすさ切に行う上で重要となる。また、路面すべりやすさにを計測する手法が必要とされている。

関する情報は道路管理者のみならず道路利用者からの需要も存在する。例えば、道路利用者自らが路面すべ

１．３

研究の目的りやすさを把握することが出来れば、すべりやすい路

本研究は、既存の路面すべりやすさ計測手法が有す面の事前検出によるスリップ事故抑制に用いることがる課題を解決し、安価、簡単かつ精度良く路面すべり可能である。以上の理由から、路面すべりやすさの計やすさを計測する手法を開発することを目的とする。

測として後述するような様々な手法が提案されている。

本稿では、以下の2つの目的を取り扱う。
1）路面画像等を用いて、深層学習により様々な路面

１．２

路面すべりやすさの計測手法に関する既往の条件下における路面すべり摩擦係数μを推定する研究手法を提案する

路面すべりやすさの計測手法としては定性的な路面

2）上記手法によって得られたμ推定値と既存の路面雪氷状態（乾燥、圧雪など）の判別結果から大まかなすべり計測装置によるμ計測値を比較することで、路面すべりやすさを推測する手法、および路面のすべ提案手法の路面すべり摩擦係数推定精度を確認す

り摩擦係数（以降、μ）等を定量的に計測する手法がる存在する。このうち、定性的な路面雪氷状態については道路管理者等の目視による判別が行われているが、２．深層学習を用いた路面すべり摩擦係数の推定手法

目視による定性的な路面雪氷状態の判別精度は必ずしも高くないという報告がある1)。したがって、目視に本研究では、μを推定するための深層学習モデルとよる定性的な路面雪氷状態から路面すべりやすさを推して、Convolutional Neural Network（畳み込みニュ定した場合の推定精度も高くないものと考えられる。

ーラルネットワーク、以下CNN）を基にした深層学

このような問題を解決するために、人の判断を介さな習モデルを構築した。CNNによる画像分類は畳み込い路面すべりやすさの計測手法が提案されている。路み・プーリング等の処理により入力した画像の特徴量

面すべりやすさを定量的に計測する手法としては振りを抽出し、得られた特徴量を用いて入力画像の分類等

子式スキッドレジスタンステスタを用いた手法 が用を行う手法である。

2)

いられているが、この手法は計測時に交通規制を要す

また、本研究ではμ推定の精度を向上させるため、るため、冬期道路管理等への活用を目的とした高頻度複数種類のデータを入力値として有するマルチモーダな路面すべりやすさの計測には不向きである。

ルAI（以降、路面すべり推定AI）を構築した。本研

また、近年では広範囲の道路網におけるすべりやす究で構築した路面すべり推定AIはCNNの出力層およい区間を把握することを目的として、走行経路上の路び昼夜判別値（日出から日没までの時間帯を1、日没面すべりやすさを連続的に計測する手法が提案されてから翌日の日出までの時間帯を0とする値）を入力といる。連続的な路面すべりやすさの計測手法としてし、全結合層8層、ドロップアウト層2層からなるニュ

は、車両進行方向に対して斜めに取り付けられた計測ーラルネットワークである。

寒地土木研究所月報№853

2024年２月

12本研究で提案する手法では、車載カメラ等で撮影しすることで走行区間のHFNを毎秒10回計測する。連た画像のうちμの推定を行いたい小領域を切り出し、続路面すべり抵抗測定装置により計測されたHFNは切り出した画像を昼夜判別値とともに路面すべり推定計測機器独自の指標である。このため、HFN計測値とAIに入力することでμを推定する。

路面すべり摩擦係数計測装置5)（図－2(b)参照）による上記の手法を実現するためには、路面すべり推定

μ計測値の関係（図－3参照）から、HFNを路面すべりAIの学習を行うためのデータ（学習用データ）を多摩擦係数計測値 𝜇𝜇��� に換算する（図－1(1a)）。また、計数用意し、未学習の路面すべり推定AIに学習用デー
タを入力することで路面すべり推定AIの学習を行う

測車両のフロントガラスに固定されたドライブレコーダー（Yupiteru Y-4K）を用いて車両前方の画像を必要がある。以下に本手法で用いた学習用データの詳3840×2160ピクセル、毎秒23フレームで記録し、得ら細を示す。

れた動画を静止画像に変換する（図－1(1b)）。その後、

２．１

CNNの学習に用いたデータ

図－1は路面すべり推定AIの学習用データの生成方法を示す。本手法では、図－2(a)に示す連続路面すべ𝜇𝜇��� と路面画像データの位置および時刻情報を用いて、 𝜇𝜇��� および時刻情報と画像の紐付けを行う（図－1(2)）。このようにして得られた静止画像には路面以外の領域も含まれているため、静止画像から計測車両り抵抗測定装置（Halliday Technology RT3） を用いの前照灯によって路面が照らされる領域（幅224ピクて収集された路面すべり抵抗値（HFN）および路面画セル×高さ224ピクセル）を切り出す（図－1(3)）。最像とこれらの計測位置・計測時刻を用いて学習用デー

後に、時刻情報を基に算出した昼夜判別値を画像に付タを生成する。連続路面すべり抵抗測定装置は車両進与する（図－1(4)）。この処理により、路面画像に正行方向に対して数度傾いた状態で車両に固定された解ラベル（ 𝜇𝜇��� および昼夜判別値）が付与された学習用3)計測輪を有し、走行中に計測輪に生じる横力を測定

図－1

路面すべり推定AIの学習用データ生成方法の概要(a) 連続路面すべり抵抗測定装置
図－213

データを多数生成する。なお、本手法では路面画像中(b) 路面すべり摩擦係数計測装置

路面すべりやすさの計測に用いた装置
寒地土木研究所月報№853

2024年２月

タを使用した。

路⾯すべり摩擦係数 (μ)

1.21μ = 0.0082HFN

生成した路面すべり推定AIモデルによるμ推定精

R² = 0.8898

度の検証は、北海道および東京都、埼玉県および神0.8

奈川県の実道で収集された画像および 𝜇𝜇��� を基に作成した検証用データ（路面画像と画像撮影地点の 𝜇𝜇���0.6を一組とするデータ）を用いて行った。μ推定精度

0.4は、以下に示す2種類の検証用データを用いて、日中0.2および夜間の時間帯についてそれぞれ検証した。な0020406080100120

HFN

図－3 続路面すべり抵抗測定装置により計測されたHFN
連と路面すべり摩擦係数計測装置により計測された路面すべり摩擦係数の関係

お、路面すべり推定AIモデルの作成および精度検証
は市販PC（CPU：AMD Ryzen Threadripper 3970X×1、GPU：NVIDIA GeForce RTX 3090×1、メモ
リ：DDR4-3200 16GB×4）を用いて、Python 3.8.12、TensorFlow 2.8.0およびOpenCV 4.0.1で実装したソフトウェアにより行った。
また、本研究では 𝜇𝜇��� の値が0以上0.9未満の範囲内に他の走行車両が映り込む可能性が高い条件下で得らで一様分布しているデータ（ランダムな検証データ）れたデータ（計測車両の走行速度が20km/h以下であおよび特定の路線で取得したデータ（路線検証データ）る場合のデータ）を除外して学習用データを生成した。

を用いて 𝜇𝜇��� の大きさ毎にμ推定精度を検証した。

ランダムな検証データについては、学習用データと２．２

路面すべり摩擦係数の推定手法

本研究では冬期道路管理の現場で安価かつ容易に路面すべりやすさを計測する手法を開発することを目的としている。この目的を達成するためには、一般に広く普及している車載可能な情報機器で高速に推論処理は別の日時・区間で日中および夜間に収集された検証用データの中から0≦ 𝜇𝜇��� ＜0.05、0.05≦ 𝜇𝜇��� ＜0.10、…、0.85≦ 𝜇𝜇��� ＜0.90を満たす 𝜇𝜇��� と 𝜇𝜇��� 計測地点の路面画像の組を各1万個、合計18万個無作為に抽出することで作成した。

が可能な路面すべり推定AIを生成する必要がある。

路線検証データは、学習用データとは別の日時・区

このため、本研究では画像の特徴を抽出するCNNと間で日中および夜間に収集されたデータのうち、一般してEfficientNetV2 を用いた。本研究で提案する手国道230号の札幌市内区間および米里・行啓通で2023

法では、路面を撮影した幅224ピクセル×高さ224ピク

年2月8日の日中および2023年2月21日の夜間に得られセルの画像および画像撮影時の昼夜判別値を入力するた 𝜇𝜇��� と路面画像データを用いて作成した。

6)と路面すべり摩擦係数推定値 𝜇𝜇��� を出力する路面すべり推定AIを生成した。

３．路面すべり摩擦係数の推定精度検証
３．１

検証方法

推定AIモデルを用いて、μの推定精度検証を行った。
μの推定を行うCNNを生成するための学習用データ（路面画像と画像撮影地点の 𝜇𝜇��� を一組とするデータ）には、2021年度および2022年度冬期の日中および夜間に乾燥、湿潤、シャーベット、圧雪およびブラックア
イスバーンを含む凍結路面を走行して収集したデータを用いた。学習用データには、学習用データ中の 𝜇𝜇���

が0≦ 𝜇𝜇��� ＜0.10、0.10≦ 𝜇𝜇��� ＜0.20、…、0.80≦ 𝜇𝜇��� ＜0.90を満たすデータを各30万個、合計270万個のデー№853てランダムな検証データおよび路線検証データの路面画像から 𝜇𝜇��� を推定し、検証用データ内の 𝜇𝜇��� と比較することでμの推定誤差を算出した。
３．２

本研究では、前章に示す方法で生成した路面すべり

寒地土木研究所月報

その後、生成した路面すべり推定AIモデルを用い2024年２月

検証結果

図－4はランダムな検証データを用いた場合の 𝜇𝜇���と 𝜇𝜇��� の関係（図中・）および 𝜇𝜇��� と 𝜇𝜇��� の差の絶対値が0.1未満であった場合を的中とした場合の 𝜇𝜇��� の推定的中率（図中●）を示す。μ推定誤差はRMSE(Root Mean Squared Error)で0.158、MAE (MeanAbsolute Error)で0.117であった。また、 𝜇𝜇��� が0.60未満である場合のμ推定誤差はRMSEで0.126、MAEで0.092であった。 𝜇𝜇��� の推定的中率は 𝜇𝜇��� が0.20未満である場合は75%以上であり、 𝜇𝜇��� が0.30以上0.50未満となる条件下では 𝜇𝜇��� の的中率は低下する傾向にあ14った。 𝜇𝜇��� が0.30以上0.50未満であるときの路面状態などで局所的に薄いシャーベット路面やブラックアイ難であるためμの推定精度が低下したと推察される。

ャーベット路面やブラックアイスバーンが見られ、こは概ね薄いシャーベット路面また湿潤路面であり、画スバーンが見られた。このため、 𝜇𝜇��� は大部分の区間像からは薄いシャーベットの有無を判別することは困で0.6以上であったが、図中(a)で示す区間では薄いシ

また、 𝜇𝜇��� が0.70以上となる条件下では 𝜇𝜇��� の的中率は50%未満に低下した。 𝜇𝜇��� が0.70以上であるときの路面状態は概ね乾燥路面であり、乾燥路面のμは舗装骨材の摩耗状況などに左右されると考えられる。一方で、本研究で収集した路面画像は舗装表面の骨材の摩耗状況を判別できる程度の解像度を有しておらず、μ推定精度の大幅な低下につながったと推察される。
本研究は冬期の雪氷路面におけるμ推定技術の開発を主眼としているため乾燥路面におけるμの推定精度が低いことは大きな問題とはならないが、今後非雪氷路面のμ推定を精度良く行う必要が生じた際には何らかの改善策が必要になると考えられる。
図－5は2023年2月8日の日中の路線検証データを用いた場合の 𝜇𝜇��� （図中○）と 𝜇𝜇��� （図中実線）の路線縦断方向分布を示す。本検証データ収集時の路面状況

図－4

路⾯すべり摩擦係数実測値μobs

図－5および推定値μinf

10.90.80.70.60.50.40.30.20.10(a)15︓路⾯すべり摩擦係数推定値、μinf(a)︓路⾯すべり摩擦係数実測値、μobs

40506070︓トンネル区間、

8090100

︓ロードヒーティング実施区間

路線検証データ（2023年2月8日日中）を用いた場合の路面すべり摩擦係数計測値と推定値の関係および推定的中率10.90.80.70.60.50.40.30.20.10

︓路⾯すべり摩擦係数実測値、μobs
︓路⾯すべり摩擦係数推定値、μinf

0102030
検証区間起点からの距離 (km)図－6 ンダムな検証データを用いた場合の路面すべり
ラ
摩擦係数計測値と推定値の関係および推定的中率

(a)

(a)

(a)

0102030
検証区間起点からの距離 (km)および推定値μinf

路⾯すべり摩擦係数実測値μobs

は概ね非積雪路面であったが、日中に日陰となる区間

40506070︓トンネル区間、

8090100︓ロードヒーティング実施区間

路線検証データ（2023年2月21日夜間）を用いた場合の路面すべり摩擦係数計測値と推定値の関係および推定的中率
寒地土木研究所月報№853

2024年２月

れらの区間ではその他の区間と比較して 𝜇𝜇��� が大きくった。その結果、本研究で提案する手法によりブラッアイスバーンが発生した区間においてもμを概ね正確

面すべり摩擦係数を概ね良好な精度で推定できること低下した。 𝜇𝜇��� は概ね 𝜇𝜇��� に近い値を示し、ブラッククアイスバーンなどを含む多様な路面雪氷状態下で路に推定することが出来た。また、非積雪路面区間のが明らかとなった。今後は昼夜判別値以外のパラメー

𝜇𝜇��� は 𝜇𝜇��� と比較して0.1から0.2程度低い値となった。

タを入力データとして用いることでより高精度な路面

日中の路線検証用データ全体のμ推定誤差はRMSEですべり摩擦係数推定が可能な手法を構築するととも0.119、MAEで0.086であり、推定的中率は54.5%であに、AI画像認識技術を活用した路面モニタリングシった。また、 𝜇𝜇��� が0.60未満である条件下での推定的ステムに本研究で提案した手法を組み込むことで路面いた場合の 𝜇𝜇��� （図中○）と 𝜇𝜇��� （図中実線）の路線参考文献中率は70.4%であった。

すべり摩擦係数推定精度の改良を行う。

図－6は2023年2月21日の夜間の路線検証データを用

縦断方向分布を示す。本検証データ収集時の路面状況

は検証区間起点から20km程度の区間では非積雪路面

1） R. Tokunaga, M. Kiriishi and N. Takahashi：と圧雪・シャーベット路面が混在しており、 𝜇𝜇��� は短A study on use of quantitative indicator for

い距離で大きく変動した。また、検証区間起点から

winter road performance measurement and

20km以降の区間における路面状態はトンネル区間おevaluation in Japan、ISCORD 2013: Planning for

よびロードヒーティング実施区間を除いて圧雪およびSustainable Cold Regions、pp.355-366、2013.

ブラックアイスバーンを含む凍結路面であり、 𝜇𝜇��� は2） C. G .Giles, B. E. Sabey and K. H. F. Cardew ：概ね0.2未満となった。 𝜇𝜇��� は非積雪路面区間では 𝜇𝜇���

Development and performance of the portable

路線検証用データ全体のμ推定誤差はRMSEで0.092、

3） S. Salimi, S. Nassiri and A. Bayat ：Lateral

MAEで0.064であり、推定的中率は82.7%であった。

coefficient of friction for characterizing winter

また、 𝜇𝜇��� が0.60未満である条件下での推定的中率はroad conditions、 Canadian Journal of Civilと比較して0.1から0.2程度低くなったが、圧雪およびskid resistance tester、Rubber Chemistry and

凍結路面区間では 𝜇𝜇��� と同程度の値となった。夜間のTechnology、Vol. 38、pp. 840-862、1965.

84.9%であった。

Engineering、Vol. 43、No. 1、pp. 73-83、2015.

以上の結果より、本研究で提案するマルチモーダル

4） T. Haavasoja, J. Nylander and P. Nylander：

な路面すべり推定AIは既存の光学式路面状態センサ

Experiences of mobile road condition monitoring、によるμ計測に匹敵する精度を有しており 、ブラッ

Proceedings of the 16th SIRWEC conference、ID7)

クアイスバーンや薄いシャーベット路面を含む多様な条件下においてμを概ね精度良く推定できることが明らかとなった。

: 14、2012.
5） M. Funahashi, R. Tokunaga, N. Takahashi and M.
Asano：Study of friction measuring method on
snowy/icy roads、ISCORD 2007 proceedings、
pp. 343-351、2007.

４．結論

6） M. Tan and Q. Le：EfficientNetV2: Smaller
本研究では多様な条件下における路面のすべり摩擦

models and faster training、 Proceedings of

係数を安価、簡単かつ精度良く把握する技術を開発す

the 38th International Conference on Machine

ることを目的として、路面画像および昼夜判別値を入Learning、PMLR 139:10096-10106、2021.

力データ、路面すべり摩擦係数を出力データとする深7） M. Malmivuo：Comparison study of mobile

層学習モデルを構築した。また、構築した深層学習モ

optical friction and temperature meters 2013、

デルを用いて路面すべり摩擦係数の推定精度検証を行

Finnish Transport Agency、2013.

寒地土木研究所月報№853

2024年２月

16

17

齊田 光
SAIDA Akira

大廣 智則
OHIRO Tomonori

伊東 靖彦
ITO Yasuhiko

寒地土木研究所
寒地道路研究グループ
寒地交通チーム
研究員
博士（工学）

前

寒地土木研究所
寒地道路研究グループ
寒地交通チーム
上席研究員
技術士（建設）寒地土木研究所
寒地道路研究グループ
寒地交通チーム
主任研究員
博士（工学）
技術士（建設）寒地土木研究所月報№853

2024年２月