(57)【要約】【課題】路面の路面状態と摩擦係数とを精度良く推定する。【解決手段】路面状態推定装置１は、移動体の進行方向の路面を撮影することで、路面の偏光画像を生成する偏光カメラ１０と、路面の偏光画像を処理することで、路面の偏光状態を表す路面パラメータを算出する算出部２０と、路面に照射される自然光の偏光状態を推定する自然光推定部３０と、水分状態に応じた複数のカテゴリのいずれかに路面の路面状態を分類するために用いる分類パラメータを、自然光推定部３０によって推定された偏光状態に基づいて決定する決定部４０と、路面パラメータと分類パラメータとに基づいて、路面の路面状態を複数のカテゴリのいずれかに分類する分類部５０と、分類されたカテゴリに基づいて路面の摩擦係数を推定する摩擦係数推定部６０とを備える。【選択図】図２
2020180924.tif 000002
【特許請求の範囲】
【請求項１】
移動体の進行方向の路面を撮影することで、前記路面の偏光画像を生成する偏光カメラと、
前記路面の偏光画像を処理することで、前記路面の偏光状態を表す路面パラメータを算出する算出部と、
前記路面に照射される自然光の偏光状態を推定する第１推定部と、
水分状態に応じた複数のカテゴリのいずれかに前記路面の路面状態を分類するために用いる分類パラメータを、前記第１推定部によって推定された偏光状態に基づいて決定する決定部と、
前記路面パラメータと前記分類パラメータとに基づいて、前記路面の路面状態を前記複数のカテゴリのいずれかに分類する分類部と、
分類されたカテゴリに基づいて前記路面の摩擦係数を推定する第２推定部とを備える
路面状態推定装置。
【請求項２】
前記偏光カメラは、さらに、前記移動体の進行方向の空を撮影することで、前記空の偏光画像を生成し、
前記第１推定部は、前記空の偏光画像を処理することで、前記空から前記路面に照射される前記自然光の偏光状態を推定する
請求項１に記載の路面状態推定装置。
【請求項３】
前記空の偏光画像は、互いに異なる少なくとも３方向の偏光画像を含む
請求項２に記載の路面状態推定装置。
【請求項４】
前記偏光カメラは、
光軸が略水平になるように設置され、前記路面の偏光画像を生成する第１偏光カメラと、
光軸を水平よりも上方に傾けて設置され、前記空の偏光画像を生成する第２偏光カメラとを含む
請求項２又は３に記載の路面状態推定装置。
【請求項５】
前記第１推定部は、前記移動体の位置及び向きと、前記移動体又は前記路面を含む地域の天候情報とに基づいて、前記自然光の偏光状態を推定する
請求項１に記載の路面状態推定装置。
【請求項６】
前記第１推定部は、前記移動体又は前記路面を含む地域の降雨及び降雪を検出した結果に基づいて、前記自然光の偏光状態を推定する
請求項１に記載の路面状態推定装置。
【請求項７】
前記決定部は、非偏光の標準光と、当該標準光が路面に照射された環境下において得られる前記路面パラメータとの関係を表す基準パラメータを、前記第１推定部によって推定された偏光状態に適合するように補正することで、前記分類パラメータを決定する
請求項１〜６のいずれか１項に記載の路面状態推定装置。
【請求項８】
前記複数のカテゴリは、乾燥と、湿潤と、凍結又は積雪との３つのカテゴリを含む
請求項１〜７のいずれか１項に記載の路面状態推定装置。
【請求項９】
前記第２推定部は、前記移動体のタイヤに関する情報にさらに基づいて前記摩擦係数を推定する
請求項１〜８のいずれか１項に記載の路面状態推定装置。
【請求項１０】
さらに、前記路面の偏光画像と前記第１推定部によって推定された偏光状態との少なくとも一方に基づいて、前記偏光カメラの露光量を制御する露光量制御部を備える
請求項１〜９のいずれか１項に記載の路面状態推定装置。
【請求項１１】
請求項１〜１０のいずれか１項に記載の路面状態推定装置と、
前記移動体の運転者に対して前記摩擦係数に関する情報の提示を行う提示部、及び、前記摩擦係数に基づいて前記移動体の運転制御を行う制御部の少なくとも一方とを備える
車両制御システム。
【請求項１２】
偏光カメラが移動体の進行方向の路面を撮影することで、前記路面の偏光画像を生成するステップと、
前記路面の偏光画像を処理することで、前記路面の偏光状態を表す路面パラメータを算出するステップと、
前記路面に照射される自然光の偏光状態を推定するステップと、
水分状態に応じた複数のカテゴリのいずれかに前記路面の路面状態を分類するために用いる分類パラメータを、前記自然光の偏光状態に基づいて決定するステップと、
前記路面パラメータと前記分類パラメータとに基づいて、前記路面の路面状態を前記複数のカテゴリのいずれかに分類するステップと、
分類されたカテゴリに基づいて前記路面の摩擦係数を推定するステップとを含む
路面状態推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、路面状態推定装置、車両制御システム及び路面状態推定方法に関する。
【背景技術】
【０００２】
近年、安全な自動運転を実現するための様々な技術の開発が進められている。安全な自動運転には、進行方向の路面状態を精度良く判別し、路面の摩擦係数を精度良く推定することが求められる。例えば、非特許文献１には、路面からの反射光の偏光比を検出することで、路面状態を推定する技術が開示されている。また、偏光を利用する技術として、例えば特許文献１には、空の偏光情報から順光又は逆光を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−１９１２６７号公報
【非特許文献】
【０００４】
【非特許文献１】山田宗男、外４名、「画像処理による車載型路面状態検出センサの開発」、電気学会論文誌Ｃ、２００４年、第１２４巻、第３号、ｐ．７５３−７６０
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来技術では、推定した路面状態と摩擦係数との関係が不明であり、摩擦係数を適切に推定することができない。
【０００６】
また、路面からの反射光の偏光比は、その反射前の光（路面への入射光）の偏光状態に応じて変化する。このため、入射光の偏光状態に応じて路面状態の推定結果が異なることが起こりうる。例えば、昼間に自然光を利用した場合、天候に応じて自然光の偏光状態が変化するので、反射光の偏光比も変化する。このため、路面状態の推定結果に誤りが発生しうる。
【０００７】
そこで、本開示は、路面の路面状態と摩擦係数とを精度良く推定することができる路面状態推定装置、車両制御システム及び路面状態推定方法を提供する。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本開示の一態様に係る路面状態推定装置は、移動体の進行方向の路面を撮影することで、前記路面の偏光画像を生成する偏光カメラと、前記路面の偏光画像を処理することで、前記路面の偏光状態を表す路面パラメータを算出する算出部と、前記路面に照射される自然光の偏光状態を推定する第１推定部と、水分状態に応じた複数のカテゴリのいずれかに前記路面の路面状態を分類するために用いる分類パラメータを、前記第１推定部によって推定された偏光状態に基づいて決定する決定部と、前記路面パラメータと前記分類パラメータとに基づいて、前記路面の路面状態を前記複数のカテゴリのいずれかに分類する分類部と、分類されたカテゴリに基づいて前記路面の摩擦係数を推定する第２推定部とを備える。
【０００９】
また、本開示の一態様に係る車両制御システムは、上記路面状態推定装置と、前記移動体の運転者に対して前記摩擦係数に関する情報の提示を行う提示部、及び、前記摩擦係数に基づいて前記移動体の運転制御を行う制御部の少なくとも一方とを備える。
【００１０】
また、本開示の一態様に係る路面状態推定方法は、偏光カメラが移動体の進行方向の路面を撮影することで、前記路面の偏光画像を生成するステップと、前記路面の偏光画像を処理することで、前記路面の偏光状態を表す路面パラメータを算出するステップと、前記路面に照射される自然光の偏光状態を推定するステップと、水分状態に応じた複数のカテゴリのいずれかに前記路面の路面状態を分類するために用いる分類パラメータを、前記自然光の偏光状態に基づいて決定するステップと、前記路面パラメータと前記分類パラメータとに基づいて、前記路面の路面状態を前記複数のカテゴリのいずれかに分類するステップと、分類されたカテゴリに基づいて前記路面の摩擦係数を推定するステップとを含む。
【００１１】
また、本開示の一態様は、上記路面状態推定方法をコンピュータに実行させるためのプログラムとして実現することができる。あるいは、当該プログラムを格納したコンピュータ読み取り可能な非一時的な記録媒体として実現することもできる。
【発明の効果】
【００１２】
本開示によれば、路面の路面状態と摩擦係数とを精度良く推定することができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施の形態１に係る路面状態推定装置の概要を説明するための図である。
【図２】図２は、実施の形態１に係る路面状態推定装置の構成を示すブロック図である。
【図３】図３は、実施の形態１に係る路面状態推定装置が備える偏光カメラの構成を示す図である。
【図４】図４は、実施の形態１に係る偏光カメラで生成された撮影画像の一例を示す図である。
【図５】図５は、実施の形態１に係る偏光カメラの別の構成を示す図である。
【図６】図６は、空気と水面との界面で発生する鏡面反射と反射率との関係を示す図である。
【図７】図７は、観察角毎の偏光比を示す図である。
【図８】図８は、曇天時の乾燥した路面からの反射光を説明するための図である。
【図９】図９は、曇天時の濡れた路面からの反射光を説明するための図である。
【図１０】図１０は、曇天時の冠水した路面からの反射光を説明するための図である。
【図１１】図１１は、曇天時の積雪した路面からの反射光を説明するための図である。
【図１２】図１２は、曇天時の凍結した路面からの反射光を説明するための図である。
【図１３】図１３は、曇天時の路面状態の分類に用いられる閾値を示す図である。
【図１４】図１４は、晴天時の乾燥した路面からの反射光を説明するための図である。
【図１５】図１５は、晴天時の路面状態の分類に用いられる閾値を示す図である。
【図１６】図１６は、偏光比と摩擦係数との関係を示す図である。
【図１７】図１７は、実施の形態１に係る路面状態推定装置の動作を示すフローチャートである。
【図１８】図１８は、実施の形態１に係る路面状態推定装置の動作における分類パラメータの決定処理を示すフローチャートである。
【図１９】図１９は、実施の形態２に係る路面状態推定装置の構成を示すブロック図である。
【図２０】図２０は、実施の形態３に係る車両制御システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
（本開示の概要）
本開示の一態様に係る路面状態推定装置は、移動体の進行方向の路面を撮影することで、前記路面の偏光画像を生成する偏光カメラと、前記路面の偏光画像を処理することで、前記路面の偏光状態を表す路面パラメータを算出する算出部と、前記路面に照射される自然光の偏光状態を推定する第１推定部と、水分状態に応じた複数のカテゴリのいずれかに前記路面の路面状態を分類するために用いる分類パラメータを、前記第１推定部によって推定された偏光状態に基づいて決定する決定部と、前記路面パラメータと前記分類パラメータとに基づいて、前記路面の路面状態を前記複数のカテゴリのいずれかに分類する分類部と、分類されたカテゴリに基づいて前記路面の摩擦係数を推定する第２推定部とを備える。
【００１５】
このように、自然光の偏光状態を推定し、推定された偏光状態に基づいて分類パラメータが決定される。このため、自然光の偏光状態に応じて路面状態を適切なカテゴリに分類することができる。これにより、路面の路面状態と摩擦係数とを精度良く推定することができる。
【００１６】
また、例えば、本開示の一態様に係る路面状態推定装置では、前記偏光カメラは、さらに、前記移動体の進行方向の空を撮影することで、前記空の偏光画像を生成し、前記第１推定部は、前記空の偏光画像を処理することで、前記空から前記路面に照射される前記自然光の偏光状態を推定してもよい。
【００１７】
これにより、自然光の偏光状態を推定するために、偏光カメラで得られた空の偏光画像を利用することができる。このため、例えば空の偏光画像以外の情報を取得するためのインタフェースなどが設けられていなくてもよいので、路面状態推定装置の構成を簡素化することができる。
【００１８】
また、例えば、本開示の一態様に係る路面状態推定装置では、前記空の偏光画像は、互いに異なる少なくとも３方向の偏光画像を含んでもよい。
【００１９】
これにより、３方向の偏光画像に基づいて偏光度を算出することができるので、自然光の偏光状態の推定精度をさらに高めることができる。
【００２０】
ところで、本開示の一態様に係る路面状態推定装置は、例えば、移動体が移動しながら、進行方向の遠方の路面の路面状態を推定することに用いられる。したがって、移動体の移動に伴って偏光カメラによる撮影範囲が変化するので、単に進行方向を撮影するだけでは障害物によって空が撮影できなくなる恐れがある。
【００２１】
これに対して、本開示の一態様に係る路面状態推定装置では、例えば、前記偏光カメラは、光軸が略水平になるように設置され、前記路面の偏光画像を生成する第１偏光カメラと、光軸を水平よりも上方に傾けて設置され、前記空の偏光画像を生成する第２偏光カメラとを含んでもよい。
【００２２】
これにより、空の偏光画像を生成するための第２カメラが設けられているので、建物などの障害物によって第１カメラの撮影範囲に空が含まれない場合であっても、空の偏光画像を取得することができ、自然光の偏光状態を推定することができる。このため、路面状態と摩擦係数とを安定して継続的に推定することができる。
【００２３】
また、例えば、本開示の一態様に係る路面状態推定装置では、前記第１推定部は、前記移動体の位置及び向きと、前記移動体又は前記路面を含む地域の天候情報とに基づいて、前記自然光の偏光状態を推定してもよい。
【００２４】
これにより、空の偏光画像が取得できない場合であっても、天候情報などに基づいて自然光の偏光状態を推定することができる。このため、路面状態と摩擦係数とを安定して継続的に推定することができる。
【００２５】
また、例えば、本開示の一態様に係る路面状態推定装置では、前記第１推定部は、前記移動体又は前記路面を含む地域の降雨及び降雪を検出した結果に基づいて、前記自然光の偏光状態を推定してもよい。
【００２６】
これにより、空の偏光画像が取得できない場合であっても、降雨又は降雪の検出結果に基づいて自然光の偏光状態を推定することができる。このため、路面状態と摩擦係数とを安定して継続的に推定することができる。
【００２７】
また、例えば、本開示の一態様に係る路面状態推定装置では、前記決定部は、非偏光の標準光と、当該標準光が路面に照射された環境下において得られる前記路面パラメータとの関係を表す基準パラメータを、前記第１推定部によって推定された偏光状態に適合するように補正することで、前記分類パラメータを決定してもよい。
【００２８】
これにより、標準光が路面に照射された環境下の基準パラメータが、環境の変化に応じて適切に補正されて、環境に応じた適切な分類パラメータが決定される。これにより、路面状態及び摩擦係数の推定精度を高めることができる。
【００２９】
また、例えば、本開示の一態様に係る路面状態推定装置では、前記複数のカテゴリは、乾燥と、湿潤と、凍結又は積雪との３つのカテゴリを含んでもよい。
【００３０】
これにより、路面状態が分類されるカテゴリ数が多いので、摩擦係数の推定精度を高めることができる。
【００３１】
また、例えば、本開示の一態様に係る路面状態推定装置では、前記第２推定部は、前記移動体のタイヤに関する情報にさらに基づいて前記摩擦係数を推定してもよい。
【００３２】
これにより、例えば、タイヤの摩耗の程度などに基づいて、摩擦係数の推定精度をさらに高めることができる。
【００３３】
また、例えば、本開示の一態様に係る路面状態推定装置は、さらに、前記路面の偏光画像と前記第１推定部によって推定された偏光状態との少なくとも一方に基づいて、前記偏光カメラの露光量を制御する露光量制御部を備えてもよい。
【００３４】
これにより、例えば、路面と空とを同時に撮影する場合には光量の差が大きいので、露光量を制御することにより、信号の飽和を抑制することができ、あるいは、微弱な信号を適切に検出することができる。
【００３５】
また、本開示の一態様に係る車両制御システムは、上記路面状態推定装置と、前記移動体の運転者に対して前記摩擦係数に関する情報の提示を行う提示部、及び、前記摩擦係数に基づいて前記移動体の運転制御を行う制御部の少なくとも一方とを備える。
【００３６】
これにより、摩擦係数が精度良く推定されるので、運転者に対する適切な情報の提示及び車両の適切な制御を行うことができる。
【００３７】
また、本開示の一態様に係る路面状態推定方法は、偏光カメラが移動体の進行方向の路面を撮影することで、前記路面の偏光画像を生成するステップと、前記路面の偏光画像を処理することで、前記路面の偏光状態を表す路面パラメータを算出するステップと、前記路面に照射される自然光の偏光状態を推定するステップと、水分状態に応じた複数のカテゴリのいずれかに前記路面の路面状態を分類するために用いる分類パラメータを、前記自然光の偏光状態に基づいて決定するステップと、前記路面パラメータと前記分類パラメータとに基づいて、前記路面の路面状態を前記複数のカテゴリのいずれかに分類するステップと、分類されたカテゴリに基づいて前記路面の摩擦係数を推定するステップとを含む。
【００３８】
このように、自然光の偏光状態を推定し、推定された偏光状態に基づいて分類パラメータが決定される。このため、自然光の偏光状態に応じて路面状態を適切なカテゴリに分類することができる。これにより、路面の路面状態と摩擦係数とを精度良く推定することができる。
【００３９】
以下では、実施の形態について、図面を参照しながら具体的に説明する。
【００４０】
なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４１】
また、各図は、模式図であり、必ずしも厳密に図示されたものではない。したがって、例えば、各図において縮尺などは必ずしも一致しない。また、各図において、実質的に同一の構成については同一の符号を付しており、重複する説明は省略又は簡略化する。
【００４２】
また、本明細書において、水平又は垂直などの要素間の関係性を示す用語、並びに、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
【００４３】
（実施の形態１）
［１．概要］
まず、実施の形態１に係る路面状態推定装置の概要について、図１を用いて説明する。図１は、本実施の形態に係る路面状態推定装置１の概要を説明するための図である。
【００４４】
図１には、路面状態推定装置１が搭載された移動体２が示されている。移動体２は、例えば四輪自動車又は二輪車などの車両であるが、ドローンと呼称される飛行体であってもよい。移動体２には、路面状態推定装置１が備える偏光カメラ１０が取り付けられている。例えば、偏光カメラ１０は、移動体２の内部において地面からの高さが約１．５ｍの一に取り付けられている。なお、偏光カメラ１０は、移動体２の外側に取り付けられていてもよく、取り付け位置及び高さなどは特に限定されない。
【００４５】
路面状態推定装置１は、移動体２の進行方向の路面３の路面状態及び摩擦係数を推定する。路面３は、具体的には、移動体２の前方遠方に位置しており、図１に示される例では５０ｍ前方に位置する路面である。５０ｍ前方の路面３は、時速５０ｋｍの速度で移動体２が移動した場合に、３．６秒で到達する距離である。路面３が遠方であることにより、路面状態及び摩擦係数の推定結果に基づいて移動体２を制御することができる時間を確保することができる。なお、移動体２の移動速度に応じて、検出対象となる路面３の位置は変更されてもよい。例えば、移動速度が速い程、より遠方の位置を検出対象の路面３としてもよい。路面３は、例えばアスファルトである。なお、路面３は、コンクリート又は砂利道であってもよい。
【００４６】
本実施の形態では、偏光カメラ１０が路面３の偏光画像を生成する。図１に示されるように、路面３には、青空４又は雲５又からの自然光が入射光Ｌｉとして入射する。路面３が入射光Ｌｉを反射することにより発生する反射光Ｌｒを偏光カメラ１０が受光する。路面３による反射には、散乱反射及び鏡面反射が含まれる。散乱反射と鏡面反射との割合に応じて反射光Ｌｒの偏光状態が変化する。
【００４７】
また、詳細については後で説明するが、青空４からの自然光と雲５からの自然光とでは、偏光度が異なっている。本実施の形態では、偏光カメラ１０が空を撮影することにより、空の偏光画像を生成する。路面状態推定装置１は、空の偏光画像に基づいて入射光Ｌｉの偏光状態を推定する。路面状態推定装置１は、推定された偏光状態と、路面３の変更画像とに基づいて、路面３の路面状態と摩擦係数とを推定する。
【００４８】
なお、図１では、光の偏光状態を１つ以上の矢印を内部に含む円で模式的に図示されている。例えば、１つの両矢印を含む円は、光が矢印方向に偏光していることを表している。放射状に延びる複数の矢印を含む円は、光が非偏光であることを表している。また、偏光カメラ１０の近傍に図示された４つの円に含まれる矢印は、偏光カメラ１０が生成する偏光画像の４つの方向を表している。なお、これらの矢印を含む円は、他の図においても同様のことを意味する。
【００４９】
［２．構成］
次に、路面状態推定装置１の具体的な構成について、図２を用いて説明する。図２は、本実施の形態に係る路面状態推定装置１の構成を示すブロック図である。
【００５０】
図２に示されるように、路面状態推定装置１は、偏光カメラ１０と、算出部２０と、自然光推定部３０と、決定部４０と、分類部５０と、摩擦係数推定部６０とを備える。さらに、路面状態推定装置１は、出力部７０と、タイヤ情報取得部８０と、露光量制御部９０とを備える。
【００５１】
偏光カメラ１０は、移動体２の進行方向の路面３を撮影することで、路面３の偏光画像を生成する。本実施の形態では、偏光カメラ１０は、さらに、移動体２の進行方向の空を撮影することで、空の偏光画像を生成する。進行方向の空は、路面３を間に挟んで移動体２に対向する空の領域（対向空領域）である。
【００５２】
偏光カメラ１０は、図１に示されるように、移動体２の内部のフロントガラス６（図３を参照）の近傍に取り付けられている。偏光カメラ１０は、光軸Ｊが略水平になるように設置されおり、移動体２の前方方向を撮影する。略水平とは、例えば、水平面に対して±１０°以内の範囲を意味する。
【００５３】
図３は、本実施の形態に係る路面状態推定装置１が備える偏光カメラ１０の構成を示す図である。図３に示されるように、偏光カメラ１０は、イメージセンサ１１と、モザイク偏光板１２とを備える。また、偏光カメラ１０は、レンズ及び絞りなどの光学系を備えてもよい。
【００５４】
イメージセンサ１１は、二次元マトリクス状に配列された複数の画素１３を有する。光軸Ｊは、複数の画素１３が配列された面に対して直交する方向である。なお、図３では、複数の画素１３の１つのみを模式的に示されている。複数の画素１３は、互いに同じ構成を有する。
【００５５】
図３に示されるように、画素１３は、４つのサブ画素１４〜１７を有する。サブ画素１４〜１７の各々は、入射した光を光電変換することで、入射した光の強度に応じた電気信号を生成する。サブ画素１４〜１７の各々には、モザイク偏光板１２を通過した光が入射する。モザイク偏光板１２は、サブ画素１４〜１７に対応するように、互いに異なる偏光特性を有する領域が二次元マトリクス状に配列されている。これにより、サブ画素１４〜１７の各々には、互いに異なる方向に偏光した光が入射される。
【００５６】
具体的には、サブ画素１４には、０°方向（水平方向、Ｓ偏光）に偏光した光が入射する。サブ画素１５には、９０°方向（垂直方向、Ｐ偏光）に偏光した光が入射する。サブ画素１６には、４５°方向に偏光した光が入射する。サブ画素１７には、１３５°方向に偏光した光が入射する。
【００５７】
複数の画素１３の各々にサブ画素１４〜１７が含まれているので、同じ偏光特性に対応したサブ画素で生成された電気信号の信号強度に基づいて、所定方向の偏光画像を生成することができる。具体的には、複数のサブ画素１４に基づいて０°方向の偏光画像が生成される。複数のサブ画素１５に基づいて９０°方向の偏光画像が生成される。複数のサブ画素１６に基づいて４５°方向の偏光画像が生成される。複数のサブ画素１７に基づいて１３５°方向の偏光画像が生成される。
【００５８】
図４は、本実施の形態に係る偏光カメラ１０で生成された撮影画像１８の一例である。偏光カメラ１０は、光軸Ｊが略水平になるように設置されているので、撮影画像１８の中央には水平線が含まれる。撮影画像１８には、水平線を境として路面領域１９ａと空領域１９ｂとが含まれる。路面領域１９ａには、路面３が含まれている。路面領域１９ａを構成する画像が路面３の偏光画像である。空領域１９ｂを構成する画像が空の偏光画像である。空領域１９ｂは、路面３を間に挟んで移動体２に対向する空を含む対向空領域である。
【００５９】
ここでは、１台の偏光カメラ１０が路面３と空とを同時に撮影することで、路面３の偏光画像と空の偏光画像とを１枚の撮影画像１８として生成するが、これに限らない。例えば、図５に示されるように、偏光カメラ１０は、２台の偏光カメラ１０ａ及び１０ｂを含んでもよい。
【００６０】
また、図３に示される例では、偏光カメラ１０が４方向の偏光画像を生成する例を説明したが、これに限らない。偏光カメラ１０は、２方向又は３方向の偏光画像を生成してもよい。
【００６１】
図５は、本実施の形態に係る偏光カメラ１０の別の構成を示す図である。ここでは、図３に示される偏光カメラ１０の構成との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
【００６２】
偏光カメラ１０ａは、光軸Ｊａが略水平になるように設置され、路面３の偏光画像を生成する第１偏光カメラの一例である。偏光カメラ１０ａは、イメージセンサ１１ａと、モザイク偏光板１２ａとを備える。偏光カメラ１０ａは、２方向の偏光画像を生成する。具体的には、図５に示されるように、イメージセンサ１１ａに含まれる複数の画素１３ａの各々は、サブ画素１４及び１５を有し、図３に示されるサブ画素１６及び１７を有しない。偏光カメラ１０ａは、０°方向と９０°方向とを含む路面３の偏光画像を生成する。
【００６３】
偏光カメラ１０ｂは、光軸Ｊｂが水平よりも上方に傾けて設置され、空の偏光画像を生成する第２偏光カメラの一例である。光軸Ｊｂと水平面（光軸Ｊａ）とがなす角度は、例えば２０°以上７０°以下の範囲であり、一例として４５°であるが、これに限らない。光軸Ｊｂと水平面とがなす角度は、２０°未満であってもよく、７０°より大きくてもよい。
【００６４】
偏光カメラ１０ｂは、イメージセンサ１１ｂと、モザイク偏光板１２ｂとを備える。偏光カメラ１０ｂは、３方向の偏光画像を生成する。具体的には、図５に示されるように、イメージセンサ１１ｂに含まれる複数の画素１３ｂの各々は、サブ画素１４〜１６を有し、図３に示されるサブ画素１７を有しない。偏光カメラ１０ｂは、０°方向と９０°方向と４５°方向とを含む空の偏光画像を生成する。
【００６５】
図２に戻り、算出部２０は、偏光カメラ１０によって生成された路面３の偏光画像を処理することで、路面３の偏光状態を表す路面パラメータを算出する。具体的には、算出部２０は、路面３の偏光画像を構成する画素毎に偏光比Ｐ／Ｓを算出することで、偏光比画像を生成する。
【００６６】
偏光比Ｐ／Ｓは、路面パラメータの一例であり、Ｐ偏光の信号強度をＳ偏光の信号強度で割った値である。Ｐ偏光の信号強度は、９０°方向の偏光の強度に相当し、サブ画素１５で生成された電気信号の信号強度である。Ｓ偏光の信号強度は、０°方向の偏光の強度に相当し、サブ画素１４で生成された電気信号の信号強度である。
【００６７】
偏光比画像は、Ｐ／Ｓ＝１が１２８となるように、０〜２５５の数値範囲で示される輝度画像である。ＰがＳより大きい程、偏光比画像の輝度値が大きくなり、ＰがＳより小さい程、偏光比画像の輝度値が小さくなる。
【００６８】
自然光推定部３０は、路面３に照射される自然光の偏光状態を推定する第１推定部の一例である。自然光推定部３０は、空の偏光画像を処理することで、空から路面３に照射される自然光の偏光状態を推定する。
【００６９】
具体的には、自然光推定部３０は、偏光カメラ１０によって生成された空の偏光画像を処理することで、空の偏光状態を推定する。具体的には、自然光推定部３０は、空の偏光画像に基づいて偏光度ＤＯＰ（Degree of Polarization）を算出する。偏光度ＤＯＰは、以下の（式１）で示される。
【００７０】
【数１】
2020180924.tif 000003
【００７１】
なお、（式１）において、Ｓ０、Ｓ１、Ｓ２及びＳ３は、ストークスベクトルを構成するパラメータである。本実施の形態では、Ｓ３は０とみなし、Ｓ０、Ｓ１及びＳ２はそれぞれ、以下の通りに表される。
【００７２】
（式２）  Ｓ０＝Ｃ０＋Ｃ９０
【００７３】
（式３）  Ｓ１＝Ｃ０−Ｃ９０
【００７４】
（式４）  Ｓ２＝Ｃ４５−Ｃ１３５
【００７５】
なお、Ｃ０、Ｃ９０、Ｃ４５及びＣ１３５はそれぞれ、０°方向、４５°方向、９０°方向及び１３５°方向の信号強度に相当する。具体的には、Ｃ０、Ｃ９０、Ｃ４５及びＣ１３５はそれぞれ、サブ画素１４〜１７の各々で得られた電気信号の信号強度を０〜２５５の数値範囲で表した値である。
【００７６】
図５に示される偏光カメラ１０ｂのように、１３５°方向のサブ画素１７を有しない場合、（式４）の代わりに、以下の（式５）を用いることができる。
【００７７】
（式５）  Ｓ２＝２×Ｃ４５−Ｃ０−Ｃ９０
【００７８】
自然光推定部３０は、算出した偏光度ＤＯＰに基づいて路面３又は移動体２を含む地域の天候を判定する。具体的には、自然光推定部３０は、偏光度ＤＯＰと予め定められた閾値とを比較する。偏光度ＤＯＰが閾値以上である場合、自然光推定部３０は、天候が晴天であると判定する。偏光度ＤＯＰが閾値未満である場合、自然光推定部３０は、天候が曇天であると判定する。
【００７９】
天候が曇天である場合には、青空４からの自然光は雲５によって散乱されて非偏光になるので、偏光度ＤＯＰが十分に小さくなる。一方で、天候が晴天である場合、青空４の自然光は大気構成分子によってレイリー散乱される。レイリー散乱された自然光は偏光しているので、偏光度ＤＯＰの値が大きくなる。したがって、偏光度ＤＯＰと閾値とを比較することにより、天候が曇天か晴天かを判定することができる。
【００８０】
決定部４０は、自然光推定部３０によって推定された偏光状態に基づいて分類パラメータを決定する。分類パラメータは、水分状態に応じた複数のカテゴリのいずれかに路面３の路面状態を分類するために用いられるパラメータである。分類パラメータは、カテゴリ間の偏光比の閾値である。具体的な閾値の例については、図１３を用いて後で説明する。
【００８１】
複数のカテゴリは、乾燥（Ｄｒｙ）と、湿潤（Ｗｅｔ）と、凍結（Ｉｃｅ）又は積雪（Ｓｎｏｗ）との３つのカテゴリを含む。凍結と積雪とはそれぞれ、１つのカテゴリとして独立していてもよい。つまり、複数のカテゴリは、乾燥、湿潤、凍結及び積雪の４つのカテゴリであってもよい。あるいは、複数のカテゴリは、冠水（Ｐｕｄｄｌｅ）を１つの独立したカテゴリとしてさらに含んでもよい。
【００８２】
分類部５０は、算出部２０によって算出された路面パラメータと、決定部４０によって決定された分類パラメータとに基づいて、路面３の路面状態を複数のカテゴリのいずれかに分類する。具体的には、分類部５０は、算出部２０によって算出された偏光比と決定部４０によって決定された閾値とを比較することで、路面３の路面状態を、乾燥と湿潤と凍結と積雪とのいずれかに分類する。
【００８３】
摩擦係数推定部６０は、分類部５０によって分類されたカテゴリに基づいて路面３の摩擦係数を推定する第２推定部の一例である。複数のカテゴリの各々と摩擦係数とは所定の対応関係を有する。具体的には、摩擦係数は、乾燥、湿潤、凍結（又は積雪）の順に低くなる。例えば、乾燥状態の路面の摩擦係数は、約０．８である。湿潤状態の路面の摩擦係数は、約０．５である。凍結状態の路面の摩擦係数は、約０．２である。積雪状態の路面の摩擦係数は、約０．４である。
【００８４】
本実施の形態では、摩擦係数推定部６０は、移動体２のタイヤに関するタイヤ情報にさらに基づいて路面３の摩擦係数を推定する。タイヤ情報は、具体的には、タイヤの摩耗度合いを示す情報である。タイヤ情報は、タイヤの使用日数を示す情報であってもよく、タイヤの溝の大きさを示す情報であってもよい。タイヤ情報は、スタッドレスタイヤ及びスパイクタイヤなどのタイヤの種別を示す情報であってもよい。
【００８５】
例えば、摩擦係数推定部６０は、カテゴリに基づいて推定された摩擦係数を、タイヤ情報に基づいて補正する。具体的には、タイヤの摩耗度合い若しくは使用日数が多い場合、又は、タイヤの溝が小さい場合、カテゴリに基づいて推定された摩擦係数をより小さい値に補正する。タイヤの摩耗度合い若しくは使用日数が少ない場合、又は、タイヤの溝が大きい場合、カテゴリに基づいて推定された摩擦係数を補正しない。
【００８６】
出力部７０は、摩擦係数推定部６０による推定結果を出力する。例えば、出力部７０は、摩擦係数推定部６０によって推定された摩擦係数を示す数値情報を出力する。あるいは、出力部７０は、推定された摩擦係数が基準値未満である場合に、スリップの危険性があることを警告するための信号を出力してもよい。
【００８７】
例えば、出力部７０は、他の機器と有線又は無線で通信する通信インタフェースで実現される。他の機器は、例えば、表示装置若しくは音声出力装置、又は、ＥＣＵ（Electronic Control Unit）などの車両制御装置である。
【００８８】
タイヤ情報取得部８０は、タイヤ情報を取得する。例えば、タイヤ情報取得部８０は、タイヤの摩耗度合いを検出すするセンサで実現される。あるいは、タイヤ情報取得部８０は、ユーザからタイヤ情報の入力を受け付ける入力装置であってもよい。
【００８９】
露光量制御部９０は、路面３の偏光画像と自然光推定部３０によって推定された偏光状態との少なくとも一方に基づいて、偏光カメラ１０の露光量を制御する。例えば、露光量制御部９０は、路面３の偏光画像に基づいて輝度値が飽和した画素１３に対する露光量が小さくなるように、偏光カメラ１０の絞り又は露光時間を調整する。また、例えば、自然光推定部３０によって晴天であることが判別された場合には、空領域１９ｂを構成する複数の画素１３の露光量が小さくなるように、偏光カメラ１０の絞り又は露光時間を調整する。
【００９０】
なお、算出部２０、自然光推定部３０、決定部４０、分類部５０、摩擦係数推定部６０及び露光量制御部９０は、例えば、マイクロコンピュータで実現される。具体的には、マイクロコンピュータは、プログラムが格納された不揮発性メモリ、プログラムを実行するための一時的な記憶領域である揮発性メモリ、入出力ポート、プログラムを実行するプロセッサなどを含む。つまり、算出部２０、自然光推定部３０、決定部４０、分類部５０、摩擦係数推定部６０及び露光量制御部９０は、プロセッサがプログラムを実行することによりソフトウェア的に実現される機能処理部である。なお、算出部２０、自然光推定部３０、決定部４０、分類部５０、摩擦係数推定部６０及び露光量制御部９０の少なくとも１つは、専用の電子回路を用いて実現されてもよい。
【００９１】
［３．偏光と反射との関係］
続いて、光の偏光と反射との関係について、図６を用いて説明する。本実施の形態では、反射には、鏡面反射と拡散（散乱）反射とが含まれるが、いずれも表面は滑らかな面を有する場合を想定している。
【００９２】
鏡面反射は、例えば、路面３が水で覆われた場合に、空気と水面との界面で発生する。鏡面反射の場合、入射光の偏光は維持される。このため、鏡面反射された反射光は、入射光の偏光に依存した光となる。また、水面で鏡面反射される場合、Ｓ偏光とＰ偏光とで反射率が異なる。
【００９３】
図６は、空気と水面との界面で発生する鏡面反射と反射率との関係を示す図である。図６において、横軸は水面に対する入射角であり、縦軸は光の反射率である。図６では、Ｐ偏光及びＳ偏光の２種類の光の反射率を表している。
【００９４】
図６に示されるように、水面で鏡面反射が起こる場合、Ｓ偏光の方がＰ偏光よりも反射率が高くなる。入射角がブリュースター角である約５３°の場合には、Ｐ偏光の反射率は０になる。このため、水面で鏡面反射が起こりやすくなる程、反射光に含まれるＳ偏光が多くなり、Ｐ偏光が少なくなる。
【００９５】
一方で、拡散反射の場合、入射光の偏光が解消される。このため、拡散反射された反射光は、非偏光になる。このとき、雪又は氷などの光を屈折させる媒体によって拡散される場合には、媒体内を光が通過した後、滑らかな媒体表面から出射される際にＰ偏光が多くなる。図６に示されるようにＰ偏光の反射率が低い分、屈折される光にはＰ偏光が多くなるためである。
【００９６】
図７は、観察角毎の偏光比を示す図である。図７において、横軸は観察角を表し、縦軸は、偏光比Ｐ／Ｓを表している。観察角は、反射光を観察する角度であり、路面３に垂直な方向（鉛直方向）を０°とし、路面３に平行な方向（水平方向）を９０°としている。図１に示されるように、路面３から遠く離れた移動体２の偏光カメラ１０で路面３を撮影した場合の観察角は、例えば約８５°以上９０°未満の範囲になる。
【００９７】
図７に示されるように、鏡面反射が優位である場合には、反射光に含まれるＳ偏光が多くなるので、偏光比は１２８（Ｐ／Ｓ＝１）よりも小さくなる。具体的には、観察角が０°及び９０°の場合、偏光比は１２８である。観察角が０°から大きくなるにつれて、偏光比も小さくなり、観察角がブリュースター角（水と空気との界面の場合、約５３°）になる場合には、Ｐ偏光の反射率が０になるので偏光比も０になる。観察角がブリュースター角から９０°まで増加するにつれて、偏光比も大きくなる。
【００９８】
一方で、拡散反射が優位である場合には、反射光に含まれるＰ偏光が多くなるので、偏光比は１２８よりも大きくなる。具体的には、観察角が０°の場合、偏光比は１２８である。観察角が０°から大きくなるにつれて緩やかに増加し、ブリュースター角を超えた辺りから増加の傾きも大きくなる。
【００９９】
移動体２に搭載された偏光カメラ１０による観察範囲（約８５°以上９０°未満）の範囲では、鏡面反射が優位な場合と拡散反射が優位な場合とで偏光比が異なっている。このため、偏光比に基づいて反射の優位性を判別することができ、路面３の状態を判別することができる。
【０１００】
具体的には、鏡面反射は、路面３が湿潤（Ｗｅｔ）又は冠水（Ｐｕｄｄｌｅ）している場合に、拡散反射よりも優位になる。拡散反射は、路面３が乾燥（Ｄｒｙ）又は積雪（Ｓｎｏｗ）若しくは凍結（Ｉｃｅ）している場合に、鏡面反射よりも優位になる傾向となる。ただし、以上の説明は、あくまで表面が滑らかな理想的な場合に限定される。路面状態の表面が粗い場合には、偏光は崩れて非偏光のみが観察されるため積雪（Ｓｎｏｗ）で非偏光のみが観察されることも多い。また、乾燥（Ｄｒｙ）状態であってもアスファルト成分に鏡面反射を生じさせる内容物が含まれている場合、鏡面反射が優位となることもある。
【０１０１】
［４．路面状態と偏光状態との関係（曇天時）］
以下では、路面３の各路面状態と反射光の偏光状態との関係について、図８〜図１２を用いて説明する。以下では、路面３がアスファルトの場合であって、かつ、天候が曇天である場合を標準状態として説明する。天候が曇天である場合、路面３に照射される自然光は、太陽からの光を雲５が散乱させた光であって、非偏光の光である。つまり、自然光の偏光度ＤＯＰは、十分に低い値になる。
【０１０２】
＜乾燥（Ｄｒｙ）、曇天＞
図８は、曇天時の乾燥した路面３からの反射光Ｌｒを説明するための図である。図８に示されるように、アスファルトである路面３はランダムな凹凸を有する。このため、入射光Ｌｉは、路面３によって拡散（散乱）反射される。拡散反射では偏光が解消されるので、路面３による反射光Ｌｒは、非偏光の光になる。
【０１０３】
＜湿潤（Ｗｅｔ）、曇天＞
図９は、曇天時の濡れた路面３からの反射光Ｌｒを説明するための図である。図９に示されるように、路面３には水７が付着している。水７の量が十分に多くないため、水面は水平にならず、路面３の表面の凹凸に沿って不規則な形状になる。このため、入射光Ｌｉは、一部は水面によって鏡面反射され、一部は拡散反射される。図６に示されるように鏡面反射ではＳ偏光が多くなるので、反射光ＬｒはＳ偏光を多く含む光（すなわち、Ｓ偏光優位の光）になる。
【０１０４】
＜冠水（Ｐｕｄｄｌｅ）、曇天＞
図１０は、曇天時の冠水した路面３からの反射光Ｌｒを説明するための図である。図１０に示されるように、路面３の凹凸は水７によって完全に覆われている。このため、入射光Ｌｉは、水７の水面で鏡面反射される。したがって、鏡面反射ではＳ偏光が多くなるので、反射光ＬｒはＳ偏光優位の光になる。なお、図９に示される湿潤の場合よりも、鏡面反射される光の量が大きくなるので、冠水した路面３からの反射光Ｌｒは、濡れた路面３からの反射光ＬｒよりもＳ偏光が多くなる。
【０１０５】
＜積雪（Ｓｎｏｗ）、曇天＞
図１１は、曇天時の積雪した路面３からの反射光Ｌｒを説明するための図である。図１１に示されるように、路面３の凹凸は雪８によって覆われている。入射光Ｌｉは、雪８の表面で屈折して雪８の内部に進行し、雪８の内部で拡散されることで非偏光化になった後、雪８の表面から屈折して出射される。なお、雪８は氷の結晶の集合体であり、雪８の表面には凹凸がランダムに形成される。このため、屈折光は、雪８の表面において拡散反射される。したがって、路面３による反射光Ｌｒは、非偏光の光になる。
【０１０６】
＜凍結（Ｉｃｅ）、曇天＞
図１２は、曇天時の凍結した路面３からの反射光Ｌｒを説明するための図である。図１２に示されるように、路面３の凹凸は氷９によって覆われている。入射光Ｌｉは、氷９の表面で一部が鏡面反射し（光Ｌｒ１）、一部が屈折して氷９の内部に進行し、内部で拡散されることで非偏光になった後、氷９の表面から屈折して出射される（光Ｌｒ２）。このとき、氷９の表面は雪８に比べて滑らかであるので、光Ｌｒ１はＳ偏光優位、光Ｌｒ２にはＰ偏光が多く含まれる。総合された反射光の偏光状態は、光Ｌｒ１と光Ｌｒ２の加算で決定されることになる。
【０１０７】
［５．路面状態を分類するための偏光比の閾値（曇天時）］
図８〜図１２に示される偏光状態に基づいて、路面３の路面状態を分類するための閾値は、図１３に示される通りになる。図１３は、曇天時の路面状態の分類に用いられる閾値を示す図である。図１３には、路面３の路面状態を４つのカテゴリに分類する例を示している。具体的には、４つのカテゴリは、乾燥と、湿潤と、積雪と、凍結とである。なお、冠水は、湿潤と同じカテゴリに含まれる。
【０１０８】
積雪からの反射光は、ほぼ非偏光となるため、図１３に示されるように、Ｐ／Ｓ＝１となり、１２８近傍に常に位置する。閾値Ｔ＿ｗｄは、湿潤と乾燥とを判別するための閾値であり、例えば９５である。閾値Ｔ＿ｄｉは、乾燥と凍結とを判別するための閾値であり、例えば１１０である。閾値Ｔ＿ｉｓは、凍結と積雪とを判別するための閾値であり、例えば１２０である。Ｔ＿ｗｄ＜Ｔ＿ｄｉ＜Ｔ＿ｉｓを満たす。なお、湿潤と冠水とを分類する閾値がさらに設けられていてもよい。
【０１０９】
分類部５０は、閾値Ｔ＿ｗｄ、Ｔ＿ｄｉ及びＴ＿ｉｓの少なくとも１つと、算出部２０によって算出された路面３の偏光比とを比較することにより、路面３の路面状態を４つのカテゴリに分類する。具体的には、分類部５０は、偏光比が閾値Ｔ＿ｗｄ未満の場合に、路面３の路面状態を湿潤（冠水）に分類する。分類部５０は、偏光比が閾値Ｔ＿ｗｄ以上閾値Ｔ＿ｄｉ未満の場合に、路面３の路面状態を乾燥に分類する。分類部５０は、偏光比が閾値Ｔ＿ｄｉ以上閾値Ｔ＿ｉｓ未満の場合に、路面３の路面状態を凍結に分類する。分類部５０は、偏光比が閾値Ｔ＿ｉｓ以上の場合あるいは偏光比が１２８近傍の場合に、路面３の路面状態を積雪に分類する。
【０１１０】
なお、図１３では、各カテゴリの偏光比の範囲が重複していない例を示したが、これに限らない。例えば、積雪の偏光比の範囲が、天候によらずに１２８近傍であるので、乾燥及び凍結の各々の偏光比の範囲に重なっていてもよい。路面３の偏光比が重複範囲に含まれる場合には、分類部５０は、気温、路面温度、降雪量及び降水量などの天候情報に基づいてカテゴリを分類してもよい。
【０１１１】
［６．晴天時と曇天時との差異］
続いて、晴天時と曇天時との差異について説明する。
【０１１２】
上述した曇天時には、路面３に対する入射光Ｌｉが雲５によって散乱された自然光であり、非偏光の光である。一方で、晴天時には、路面３に対する入射光Ｌｉは、大気構成分子によってレイリー散乱された自然光であり、所定方向に偏光している。このため、路面３によって拡散反射又は散乱反射された後の反射光Ｌｒの特性も変化する。特に、路面３の路面状態が乾燥状態である場合に、曇天時と晴天時との差異が大きく現れる。
【０１１３】
図１４は、晴天時の乾燥した路面３からの反射光Ｌｒを説明するための図である。図１４に示されるように、晴天時の入射光Ｌｉは、照度が曇天時よりも十分に高いことに加えて、所定方向に偏光している。路面３では入射光Ｌｉの一部は、曇天時と同様に、乱反射されて非偏光になる。しかしながら、入射光Ｌｉの一部は路面３で鏡面反射されて、偏光をそのまま維持した光として反射される。このため、反射光Ｌｒは、入射光Ｌｉと同じ方向に偏光した成分を多く含む光になる。具体的には、反射光Ｌｒは、Ｐ偏光が多く含まれることが多くなるので、偏光比が曇天時よりも大きくなることが多い。
【０１１４】
図１５は、晴天時の路面状態の分類に用いられる閾値を示す図である。積雪は、非偏光となるため、図１５に示されるように、Ｐ／Ｓ＝１となり、１２８近傍に常に位置する。湿潤と乾燥とを判別するための閾値Ｔ＿ｗｄは、曇天時の値（図１３に示される例では約９５）に比べて大きくなり、例えば１２８になる。つまり、曇天時は、乾燥している路面３の偏光比が１未満（Ｓ偏光優位）であったのに対して、晴天時は乾燥している路面３の偏光比が１以上（Ｐ偏光優位）になっている。また、凍結状態の偏光比は、乾燥状態よりもさらに大きくなっている。このため、乾燥と凍結を識別する閾値Ｔ＿ｄｉも１２８以上になる。
【０１１５】
このように、曇天時と晴天時とによって路面３の偏光比が異なるため、閾値を適切に決定する必要がある。本実施の形態に係る路面状態推定装置１では、決定部４０が自然光の偏光状態の推定結果に基づいて適切な閾値を決定する。これにより、路面３の路面状態のカテゴリ分類の精度を高めることができる。
【０１１６】
［７．摩擦係数と偏光比との関係］
続いて、路面３の偏光比と摩擦係数との関係について説明する。
【０１１７】
図１６は、偏光比と摩擦係数との関係を示す図である。図１６において、横軸は路面３の偏光比を表し、縦軸は路面３の摩擦係数を表している。
【０１１８】
摩擦係数は、乾燥、湿潤、積雪、凍結の順に小さくなる。また、偏光比は、曇天時には、湿潤⇒乾燥⇒凍結⇒積雪の順で大きくなる。また、晴天時には、湿潤⇒積雪⇒乾燥⇒凍結の順で大きくなる。このため、偏光比と摩擦係数との関係をグラフ化した場合、図１６に示されるように、乾燥を頂点とする凹凸状のグラフで表される。乾燥の左側（偏光比が小さい側）に湿潤が存在し、乾燥の右側（偏光比が大きい側）に積雪及び凍結が存在する。
【０１１９】
積雪以外の、乾燥、湿潤、凍結の位置は、上述したように、曇天時と晴天時とで異なっている。このため、図１６に示されるように、凹凸状のグラフの形状が曇天時と晴天時とで異なる。具体的には、晴天時の凹凸状のグラフは、曇天時の凹凸状のグラフよりも頂点の位置が右側（偏光比が大きい側）に移動する。本実施の形態に係る路面状態推定装置１によれば、自然光の偏光状態の推定結果に基づいてカテゴリ分類が精度良く行われるため、それに応じて摩擦係数の推定精度も高めることができる。
【０１２０】
［８．動作］
続いて、本実施の形態に係る路面状態推定装置１の動作について、図１７及び図１８を用いて説明する。
【０１２１】
図１７は、本実施の形態に係る路面状態推定装置１の動作を示すフローチャートである。図１８は、本実施の形態に係る路面状態推定装置１の動作における分類パラメータの決定処理を示すフローチャートである。
【０１２２】
図１７に示されるように、まず偏光カメラ１０が偏光画像を生成する（Ｓ１０）。具体的には、偏光カメラ１０は、移動体２の進行方向の路面３を撮影することで、路面３の偏光画像を生成する。本実施の形態では、偏光カメラ１０は、さらに、進行方向の空を撮影することにより、空の偏光画像も生成する。
【０１２３】
次に、算出部２０は、路面３の偏光画像を処理することで、路面３の偏光状態を表す路面パラメータを算出する（Ｓ１１）。具体的には、路面３の偏光画像の画素１３毎に、偏光比Ｐ／Ｓを算出する。
【０１２４】
次に、自然光推定部３０は、路面３に照射される自然光の偏光状態を推定する（Ｓ１２）。具体的には、空の偏光画像に基づいて、自然光の偏光度ＤＯＰを算出する。なお、路面３の偏光比の算出（Ｓ１１）と自然光の偏光度ＤＯＰの算出（Ｓ１２）とは、いずれが先に実行されてもよく、あるいは、並列処理によって同時に行われてもよい。
【０１２５】
次に、決定部４０は、自然光の偏光状態の推定結果に基づいて分類パラメータを決定する（Ｓ１３）。具体的には、図１８に示されるように、決定部４０は、算出された偏光度ＤＯＰに基づいて曇天か晴天かを判定する（Ｓ２１）。例えば、決定部４０は、偏光度ＤＯＰと閾値とを比較する。決定部４０は、偏光度ＤＯＰが閾値未満である場合に、曇天であると判定する。また、決定部４０は、偏光度ＤＯＰが閾値以上である場合に、晴天であると判定する。
【０１２６】
曇天である場合（Ｓ２１で曇天）、決定部４０は、曇天用の分類パラメータ（具体的には、閾値）を決定する（Ｓ２２）。例えば、決定部４０は、図１３に示される閾値Ｔ＿ｗｄ、閾値Ｔ＿ｄｉ及び閾値Ｔ＿ｉｓを分類パラメータとして決定する。
【０１２７】
晴天である場合（Ｓ２１で晴天）、決定部４０は、晴天用の分類パラメータ（具体的には、閾値）を決定する（Ｓ２３）。例えば、決定部４０は、図１５に示される閾値Ｔ＿ｗｄを分類パラメータとして決定する。
【０１２８】
次に、図１７に示されるように、分類部５０は、路面パラメータと分類パラメータとに基づいて、路面３の路面状態を複数のカテゴリのいずれかに分類する（Ｓ１４）。具体的には、分類部５０は、路面３の偏光比と閾値Ｔ＿ｗｄなどとを比較することにより、路面３の路面状態を分類する。
【０１２９】
次に、摩擦係数推定部６０は、分類されたカテゴリに基づいて路面３の摩擦係数を推定する（Ｓ１５）。例えば、分類されたカテゴリが乾燥である場合には、摩擦係数推定部６０は、摩擦係数が０．８であると推定する。なお、図１６に示される凸状のグラフに基づいて、摩擦係数推定部６０は、偏光比に対応する摩擦係数を推定してもよい。また、摩擦係数推定部６０は、タイヤ情報にさらに基づいて摩擦係数を推定してもよい。
【０１３０】
次に、出力部７０は、推定結果を出力する（Ｓ１６）。例えば、出力部７０は、摩擦係数推定部６０によって推定された摩擦係数を示す数値情報を出力する。あるいは、出力部７０は、推定された摩擦係数が基準値未満である場合に、スリップの危険性があることを警告するための信号を出力してもよい。
【０１３１】
以上の処理は、例えば、移動体２が道路を走行中に繰り返し行われる。これにより、移動体２の進行方向の路面３の路面状態を常時推定することができるので、安全な自動運転の制御、及び、安全な手動運転の支援に利用することができる。
【０１３２】
［９．変形例］
ここで、実施の形態１に係る路面状態推定装置１の変形例について説明する。本変形例では、決定部４０及び分類部５０の処理が実施の形態１とは相違している。以下では、実施の形態１との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
【０１３３】
実施の形態１では、空の偏光画像に基づいて自然光の偏光度ＤＯＰを算出し、算出した偏光度ＤＯＰと閾値とを比較し、比較結果に基づいて分類パラメータの一例である閾値を決定する。これに対して、本変形例では、路面３のカテゴリ毎に基準パラメータが予め定められている。本変形例に係る決定部４０は、基準パラメータを、自然光推定部３０によって推定された偏光状態に適合するように補正することで、分類パラメータを決定する。
【０１３４】
基準パラメータは、非偏光の標準光と、当該標準光が路面３に照射された環境下において得られる路面パラメータとの関係を表すパラメータである。具体的には、基準パラメータは、ミュラー行列Ｍであり、カテゴリ毎に予め定められ、路面状態推定装置１が有するメモリ（図示せず）に記憶されている。例えば、メモリには、乾燥のミュラー行列Ｍｄ、湿潤のミュラー行列Ｍｗ、冠水のミュラー行列Ｍｐ、積雪のミュラー行列Ｍｓ、及び、凍結のミュラー行列Ｍｉが記憶されている。以下の説明において、各カテゴリのミュラー行列を区別しない場合、単にミュラー行列Ｍとして記載する。
【０１３５】
ミュラー行列Ｍは、路面３に入射する入射光Ｌｉを、路面３による反射光Ｌｒに変換する行列である。具体的には、入射光ＬｉのストークスベクトルをＳＬｉｇｈｔとし、反射光ＬｒのストークスベクトルをＳＭｅａｓとした場合に、以下の（式６）の関係を満たす。
【０１３６】
（式６）  ＳＭｅａｓ＝Ｍ×ＳＬｉｇｈｔ
【０１３７】
（式６）は、具体的には、以下の（式７）で表される。
【０１３８】
【数２】
2020180924.tif 000004
【０１３９】
なお、本変形例で想定する偏光カメラ１０ではストークスベクトルの第４成分であるＳ３（円偏光成分）は原理的に取得できない。このため、Ｓ３＝０としてストークス成分を３次元、ミュラー行列を３×３で考えて、実際には以下の（式８）が使うことができる。
【０１４０】
【数３】
2020180924.tif 000005
【０１４１】
ストークスベクトルＳＭｅａｓ及びＳＬｉｇｈｔの各々の構成要素は、（式２）〜（式４）で示した通りである。ストークスベクトルＳＭｅａｓは、路面パラメータの一例であり、路面３の反射光Ｌｒを偏光カメラ１０で撮影することにより得られた路面３の偏光画像に基づいて、算出部２０によって算出される。ストークスベクトルＳＬｉｇｈｔは、路面３を挟んで移動体２に対向する空を偏光カメラ１０で撮影することにより得られた空の偏光画像に基づいて、自然光推定部３０によって算出される。
【０１４２】
決定部４０は、自然光推定部３０によって算出された入射光ＬｉのストークスベクトルＳＬｉｇｈｔと各カテゴリのミュラー行列Ｍとを用いて、（式８）に従って演算することにより、反射光ＬｒのストークスベクトルＳＭｅａｓを分類パラメータとして算出することができる。
【０１４３】
分類部５０は、算出されたカテゴリ毎の分類パラメータと、算出部２０によって算出された反射光ＬｒのストークスベクトルＳＭｅａｓの実測値とを比較することにより、路面３のカテゴリを分類する。具体的には、推定値と実測値との差分が最も小さいカテゴリを、路面３のカテゴリとして決定する。
【０１４４】
以上のように、本変形例に係る路面状態推定装置１においても、自然光の偏光状態の推定結果に基づいて分類パラメータが適切に算出されるので、路面３の路面状態及び摩擦係数を精度良く推定することができる。
【０１４５】
（実施の形態２）
続いて、実施の形態２について説明する。
【０１４６】
実施の形態１に係る路面状態推定装置１では、偏光カメラ１０によって生成された空の偏光画像に基づいて自然光の偏光状態を推定した。これに対して、実施の形態２に係る路面状態推定装置では、偏光画像以外の情報を取得し、取得した情報に基づいて自然光の偏光状態を推定する。以下では、実施の形態１との相違点を中心に説明し、共通点の説明を省略又は簡略化する。
【０１４７】
図１９は、本実施の形態に係る路面状態推定装置１０１の構成を示すブロック図である。図１９に示されるように、路面状態推定装置１０１は、実施の形態１に係る路面状態推定装置１と比較して、自然光推定部３０の代わりに自然光推定部１３０を備える点が相違する。また、路面状態推定装置１０１は、サーバ装置１０２及び車両センサ１０３と通信可能に接続されている。
【０１４８】
サーバ装置１０２は、天候情報を記憶するサーバ装置である。天候情報は、例えば、地域毎の天気を時間毎に示す情報である。具体的には、天候情報は、地域毎の天気が曇天及び晴天のいずれであるかを示す。なお、天気は、曇天及び晴天に限らず、降雨及び降雪の有無を含んでもよい。また、天候情報は、地域毎の日射量、風向及び風速などを示してもよい。
【０１４９】
車両センサ１０３は、移動体２の位置及び向きを検出するセンサである。例えば、車両センサ１０３は、ＧＰＳ（Global Positioning System）受信機であるが、これに限らない。車両センサ１０３は、緯度及び経度によって移動体２の現在位置を取得し、かつ、現在位置の時間変化に基づいて移動体２の向き（進行方向）を取得する。
【０１５０】
自然光推定部１３０は、移動体２の位置及び向きと、移動体２又は路面３を含む地域の天候情報とに基づいて、自然光の偏光状態を推定する。具体的には、図１９に示されるように、自然光推定部１３０は、車両センサ１０３から移動体２の位置及び向きを取得する。自然光推定部１３０は、取得した移動体２の位置及び向き（進行方向）をサーバ装置１０２に送信することにより、その応答として、サーバ装置１０２から移動体２又は路面３を含む地域の天候情報を取得する。自然光推定部１３０は、移動体２又は路面３を含む地域が晴天であるか曇天であるかを天候情報に基づいて判別することができ、判別結果を自然光の推定結果として決定部４０に出力する。これにより、決定部４０では、実施の形態１と同様にして、自然光の推定結果に基づいて分類パラメータを適切に決定することができる。
【０１５１】
なお、自然光推定部１３０は、移動体２又は路面３を含む地域の降雨及び降雪を検出した結果に基づいて、自然光の偏光状態を推定してもよい。例えば、移動体２には、降雨及び降雪を検出する水分センサが設けられており、自然光推定部１３０は、水分センサによる検出結果を取得する。あるいは、移動体２に設けられた可視光カメラを画像処理することにより、自然光推定部１３０は、降雨及び降雪の有無を判定してもよい。また、自然光推定部１３０は、降雨及び降雪の検出結果を示す天候情報をサーバ装置１０２から取得してもよい。自然光推定部１３０は、降雨及び降雪の少なくとも一方が検出された場合に、天候が曇天であると推定する。
【０１５２】
以上のように、本実施の形態に係る路面状態推定装置１０１では、空の偏光画像を利用せずに、自然光の偏光状態を推定する。このため、偏光カメラ１０によって空が撮影できずに空の偏光画像が取得できない場合であっても、天候情報などに基づいて自然光の偏光状態を推定することができる。このため、路面状態と摩擦係数とを安定して継続的に推定することができる。
【０１５３】
なお、自然光推定部１３０は、偏光カメラ１０によって空の偏光画像が取得できた場合には、実施の形態１と同様に空の偏光画像に基づいて自然光の偏光状態を推定してもよい。自然光推定部１３０は、偏光カメラ１０によって空の偏光画像が取得できなかった場合にのみ、天候情報などに基づいて自然光の偏光状態を推定してもよい。
【０１５４】
（実施の形態３）
続いて、実施の形態３について説明する。
【０１５５】
実施の形態３では、実施の形態１に係る路面状態推定装置１を備える車両制御システムについて説明する。以下では、実施の形態１との相違点を中心に説明し、共通点の説明を省略又は簡略化する。なお、本実施の形態に係る車両制御システムは、実施の形態２に係る路面状態推定装置１０１を備えてもよい。
【０１５６】
図２０は、本実施の形態に係る車両制御システム２００の構成を示すブロック図である。図２０に示されるように、車両制御システム２００は、路面状態推定装置１と、車両制御装置２０１と、提示装置２０２とを備える。
【０１５７】
車両制御装置２０１は、摩擦係数に基づいて移動体２の運転制御を行う制御部の一例である。車両制御装置２０１は、例えば、移動体２のエンジン及び操舵を制御する電子制御ユニットである。車両制御装置２０１は、例えば、摩擦係数が所定の閾値より低くなった場合に、移動体２の速度を落とす。これにより、路面３を移動体２が通過する際に、スリップすることを抑制することができる。
【０１５８】
なお、車両制御装置２０１は、自動運転と手動運転とを切り替える切替装置であってもよい。例えば、車両制御装置２０１は、摩擦係数が所定の閾値より低くなった場合に、自動運転から手動運転に切り替える。これにより、運転者に対して運転に集中させることができ、路面３を慎重に通行するのを支援することができる。
【０１５９】
提示装置２０２は、摩擦係数に関する情報の提示を行う提示部の一例である。提示装置２０２は、例えば、移動体２に搭載されたディスプレイ又はスピーカなどである。例えば、提示装置２０２は、摩擦係数が所定の閾値より低い場合に、路面３の通行を慎重に行わせるための通知を画像又は音声として出力する。
【０１６０】
以上のように、本実施の形態に係る車両制御システム２００によれば、摩擦係数が精度良く推定されるので、運転者に対する適切な情報の提示及び車両の適切な制御を行うことができる。
【０１６１】
（他の実施の形態）
以上、１つ又は複数の態様に係る路面状態推定装置、車両制御システム及び路面状態推定方法について、実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
【０１６２】
例えば、路面状態推定装置１は、タイヤ情報取得部８０及び露光量制御部９０の少なくとも一方を備えなくてもよい。摩擦係数推定部６０は、タイヤ情報を用いずに路面３の摩擦係数を決定してもよい。また、例えば、摩擦係数推定部６０は、路面の種類（例えば、アスファルト又はコンクリートなど）を示す路面情報に基づいて路面３の摩擦係数を決定してもよい。
【０１６３】
また、例えば、上記の実施の形態では、路面状態推定装置１が移動体２に搭載される例を説明したが、これに限らない。偏光カメラ１０と通信装置とが移動体２に搭載され、偏光カメラ１０以外の構成要素（具体的には、算出部２０など）は、外部のサーバ装置が備えてもよい。例えば、通信装置は、偏光カメラ１０によって生成された偏光画像をサーバ装置に無線通信によって送信する。
【０１６４】
また、例えば、上記の実施の形態では、偏光比Ｐ／Ｓ及び偏光度ＤＯＰを０〜２５５の数値範囲で表したが、これに限らない。偏光比Ｐ／Ｓ及び偏光度ＤＯＰの数値範囲を大きくすることで、より高い精度で路面状態及び摩擦係数を推定することができる。また、偏光比Ｐ／Ｓ及び偏光度ＤＯＰの数値範囲を小さくすることで、路面状態及び摩擦係数の演算に要する処理量を削減することができる。
【０１６５】
さらに、路面の偏光状態を、偏光比ではなく、より情報量が多い偏光情報として、実施の形態１の変形例のストークスベクトル、または、空の偏光状態と同じ偏光角と偏光度にて推定してもよいことは明らかである。
【０１６６】
また、上記実施の形態で説明した装置間の通信方法については特に限定されるものではない。装置間で無線通信が行われる場合、無線通信の方式（通信規格）は、例えば、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又は、無線ＬＡＮ（Local Area Network）などの近距離無線通信である。あるいは、無線通信の方式（通信規格）は、インターネットなどの広域通信ネットワークを介した通信でもよい。また、装置間においては、無線通信に代えて、有線通信が行われてもよい。有線通信は、具体的には、電力線搬送通信（ＰＬＣ：Power Line Communication）又は有線ＬＡＮを用いた通信などである。
【０１６７】
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよく、あるいは、複数の処理が並行して実行されてもよい。また、車両制御システム２００が備える構成要素の複数の装置への振り分けは、一例である。例えば、一の装置が備える構成要素を他の装置が備えてもよい。また、路面状態推定装置１又は１０１は、複数の装置を用いて分散処理されてもよい。車両制御システム２００は、単一の装置として実現されてもよい。
【０１６８】
例えば、上記実施の形態において説明した処理は、単一の装置（システム）を用いて集中処理することによって実現してもよく、又は、複数の装置を用いて分散処理することによって実現してもよい。また、上記プログラムを実行するプロセッサは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、又は分散処理を行ってもよい。
【０１６９】
また、上記実施の形態において、制御部などの構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Central Processing Unit）又はプロセッサなどのプログラム実行部が、ＨＤＤ（Hard Disk Drive）又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０１７０】
また、制御部などの構成要素は、１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【０１７１】
１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Integrated Circuit）又はＬＳＩ（Large Scale Integration）などが含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又は、ＵＬＳＩ（Ultra Large Scale Integration）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Field Programmable Gate Array）も同じ目的で使うことができる。
【０１７２】
また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。あるいは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ若しくは半導体メモリなどのコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【０１７３】
また、上記の各実施の形態は、特許請求の範囲又はその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１７４】
本開示は、路面の路面状態と摩擦係数とを精度良く推定することができる路面状態推定装置などとして利用でき、例えば、自動運転の制御、又は、道路の保守若しくは管理などに利用することができる。
【符号の説明】
【０１７５】
１、１０１  路面状態推定装置
２  移動体
３  路面
４  青空
５  雲
６  フロントガラス
７  水
８  雪
９  氷
１０、１０ａ、１０ｂ  偏光カメラ
１１、１１ａ、１１ｂ  イメージセンサ
１２、１２ａ、１２ｂ  モザイク偏光板
１３、１３ａ、１３ｂ  画素
１４、１５、１６、１７  サブ画素
１８  撮影画像
１９ａ  路面領域
１９ｂ  空領域
２０  算出部
３０、１３０  自然光推定部（第１推定部）
４０  決定部
５０  分類部
６０  摩擦係数推定部（第２推定部）
７０  出力部
８０  タイヤ情報取得部
９０  露光量制御部
１０２  サーバ装置
１０３  車両センサ
２００  車両制御システム
２０１  車両制御装置
２０２  提示装置
【図１】
2020180924.tif 000006
【図２】
2020180924.tif 000007
【図３】
2020180924.tif 000008
【図４】
2020180924.tif 000009
【図５】
2020180924.tif 000010
【図６】
2020180924.tif 000011
【図７】
2020180924.tif 000012
【図８】
2020180924.tif 000013
【図９】
2020180924.tif 000014
【図１０】
2020180924.tif 000015
【図１１】
2020180924.tif 000016
【図１２】
2020180924.tif 000017
【図１３】
2020180924.tif 000018
【図１４】
2020180924.tif 000019
【図１５】
2020180924.tif 000020
【図１６】
2020180924.tif 000021
【図１７】
2020180924.tif 000022
【図１８】
2020180924.tif 000023
【図１９】
2020180924.tif 000024
【図２０】
2020180924.tif 000025