(57)【要約】【課題】車両前方の路面の状態を、該車両の前方を写した車両前方画像に基づいて推定する。【解決手段】路面状態推定装置１は、車両前方を写した車両前方画像において、前走車両のランプ部の領域を基準画像として抽出する基準画像抽出部１３と、車両前方の路面の濡れに起因する前記ランプ部の前記路面への反射により、前記ランプ部の映り込みが生じている可能性のある前記車両前方画像内の領域を探索領域として設定する探索領域設定部１４と、前記探索領域内のピクセルの色情報を前記基準画像内のピクセルの色情報と比較することにより前記路面の濡れ度合いを推定する推定部１５とを備えている。【選択図】図１
2018147368.tif 000002
【特許請求の範囲】
【請求項１】
車両前方を写した車両前方画像において、前走車両のランプ部の領域を基準画像として抽出する基準画像抽出部と、
車両前方の路面の濡れに起因する前記ランプ部の前記路面への反射により、前記ランプ部の映り込みが生じている可能性のある前記車両前方画像内の領域を探索領域として設定する探索領域設定部と、
前記探索領域内のピクセルの色情報を前記基準画像内のピクセルの色情報と比較することにより前記路面の濡れ度合いを推定する推定部と
を備えた路面状態推定装置。
【請求項２】
前記探索領域が、前記車両前方画像において前記ランプ部の領域の下方に設定される、請求項１に記載の路面状態推定装置。
【請求項３】
前記探索領域が、前記前走車両の後輪と前記路面との２つの接触箇所を通る直線を基準として、前記ランプ部の領域と線対称な位置関係にある第１探索領域を含む、請求項２に記載の路面状態推定装置。
【請求項４】
前記探索領域が、前記第１探索領域と前記直線との間の第２探索領域をさらに含む、請求項３に記載の路面状態推定装置。
【請求項５】
前記ランプ部がブレーキランプ部又はテールランプ部である、請求項１〜４のいずれか一項に記載の路面状態推定装置。
【請求項６】
前記色情報が赤色情報である、請求項１〜５のいずれか一項に記載の路面状態推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は路面状態推定装置に関する。
【背景技術】
【０００２】
特許文献１には、車両等に固定設置されたカメラで撮像したカメラ画像を基に当該車両等の周辺環境を推定する環境推定装置及びこの装置を用いた車両制御装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５５０１４７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
路面の状態は、該路面を走行する車両に影響を与える。本発明はこのような実状に鑑みてなされたものであって、車両前方の路面の状態を、該車両の前方を写した車両前方画像に基づいて推定することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明に係る路面状態推定装置は、車両前方を写した車両前方画像において、前走車両のランプ部の領域を基準画像として抽出する基準画像抽出部と、車両前方の路面の濡れに起因する前記ランプ部の前記路面への反射により、前記ランプ部の映り込みが生じている可能性のある前記車両前方画像内の領域を探索領域として設定する探索領域設定部と、前記探索領域内のピクセルの色情報を前記基準画像内のピクセルの色情報と比較することにより前記路面の濡れ度合いを推定する推定部とを備えている。
【発明の効果】
【０００６】
本発明によれば、車両前方の路面の状態を、該車両の前方を写した車両前方画像に基づいて推定することができる。
【図面の簡単な説明】
【０００７】
【図１】路面状態推定装置を備えたシステムの説明図である。
【図２】システムにより行われる処理のフローチャートである。
【図３】車両前方画像を示す説明図である。
【図４】基準画像を示す説明図である。
【図５】第１探索領域の設定例を示す説明図である。
【図６】第２探索領域の設定例を示す説明図である。
【図７】濡れ度合いと映り込みの度合いとの関係を示すグラフである。
【発明を実施するための形態】
【０００８】
以下に本発明の実施形態を説明する。ただし、本発明は、以下の実施形態によって限定されるものではない。
【０００９】
図１に、路面状態推定装置１を備えたシステムＳを示す。システムＳは車両に搭載され、システムＳが搭載された車両を自車両とも呼ぶ。システムＳは、車両前方撮像装置２と、車両情報取得装置３と、路面状態を自車両のドライバに知らせる警報装置４と、路面状態を周囲の車両または道路管理者に知らせる通信装置５とを更に備えており、これらの装置は路面状態推定装置１に接続される。
【００１０】
自車両前方の路面が降雨等により濡れている場合、自車両の前方を走行する前走車両のランプ部が路面に反射し、自車両前方を写した車両前方画像において該ランプ部の映り込みが生じる。路面の濡れ度合いが大きいほど、映り込みの度合いも大きくなると考えられる。路面状態推定装置１は、自車両前方の路面の濡れ度合いを、車両前方画像における前走車両のランプ部の映り込みの度合いから推定する。路面状態推定装置１は、画像取得部１１と、前走車両検出部１２と、基準画像抽出部１３と、探索領域設定部１４と、推定部１５と、信号出力部１６とを備えている。
【００１１】
路面状態推定装置１は、そのハードウェア構成として、各部の機能を実行するように動作可能なプログラム及びデータを格納するメモリと、演算処理を行うプロセッサと、システムＳ内の他の装置とのインタフェースとを備えている。
【００１２】
車両前方撮像装置２は、自車両の前方を車両前方画像として撮影する。この車両前方画像は、車両前方撮像装置２から路面状態推定装置１へ送られる。車両前方撮像装置２として、近年、車両周囲の死角を低減する目的で普及が進んでいる全方位カメラを用いることができる。また、車両前方の障害物や白線を検出して追突や車線逸脱を防止する機能の普及が進んでおり、これらの機能で使用されているステレオカメラ、単眼カメラを車両前方撮像装置２として用いてもよい。
【００１３】
図２に、システムＳにより行われる処理のフローを示す。まず、ステップＳ１０１において、車両情報取得装置３は、走行中の自車両の車両情報を自車両から取得し、取得した情報を路面状態推定装置１に入力する。車両情報の例として、車速、ハンドル舵角、ブレーキスイッチの状態、アクセル開度、シフトポジション、ワイパー作動状況等が挙げられる。
【００１４】
ステップＳ１０２において、路面状態推定装置１内の画像取得部１１は、車両前方撮像装置２から一定間隔（例えばビデオレート３０Ｈｚ）で送られてくる、一定サイズ（例えばＶＧＡサイズ横６４０×縦４８０ピクセル）の車両前方画像を取得する。車両前方画像の一例を図３に示す。車両前方画像６には、自車両の前方を走行する前走車両６１と、自車両及び前走車両が走行する路面６２とが写っている。さらに、前走車両６１並びに該前走車両の左側のブレーキランプ部６３Ｌ及び右側のブレーキランプ部６３Ｒが、濡れた路面６２への反射により映り込んでいる。前走車両６１並びにブレーキランプ部６３Ｌ及び６３Ｒが映り込んだ領域をそれぞれ、符号６１１並びに６３Ｌ１及び６３Ｒ１として示す。
【００１５】
ステップＳ１０３において、前走車両検出部１２は、車両前方画像６において前走車両６１を検出する。前走車両を検出する手法としては、一般的に知られている、テンプレートマッチング法、ニューラルネットワーク法等を用いることができる。ニューラルネットワーク法では、実際に撮影した数多くの画像群をデータベース化して教師データとして利用し、事前にニューラルネットワークに学習させておく。
【００１６】
車両前方撮像装置２としてステレオカメラを使用している場合は、距離情報から路面以外の高さのある物体を前走車両の候補として抽出し、その候補について前走車両であるか否かの推定を行うことで検出精度を向上させることができる。また、車両前方撮像装置２から事前に白線情報を取得し、自車両の前方の白線領域内に検出範囲を絞り込んでもよい。
【００１７】
ステップＳ１０４において、前走車両検出部１２は前走車両が検出されたかどうかを判断する。前走車両が検出されたと判断された場合は後述するステップＳ１０５に進み、さもなければステップＳ１０１に戻る。
【００１８】
ステップＳ１０５において、基準画像抽出部１３は、前走車両６１における車両左側のブレーキランプ部６３Ｌの領域及び車両右側のブレーキランプ部６３Ｒの領域をそれぞれ左側基準画像及び右側基準画像として抽出する。左側基準画像及び右側基準画像はいずれも、正方形状又は矩形状である。具体的には、基準画像抽出部１３は、車両前方画像６においてブレーキランプ部の色情報に近い色情報を有するピクセルを抽出する。この色情報として例えばＲＧＢ色情報を用いることができる。
【００１９】
一般にＲＧＢ色情報は、赤色の成分を示すＲ値（０〜２５５）、緑色の成分を示すＧ値（０〜２５５）、青色の成分を示すＢ値（０〜２５５）から構成される。本実施形態においては、ブレーキランプ部の色情報の範囲を、例えば、２００≦Ｒ値≦２５５かつ０≦Ｇ値≦５０かつ０≦Ｂ値≦５０とする。この範囲内のＲ値、Ｇ値及びＢ値を有する車両前方画像６内のピクセルをブレーキランプ部の候補ピクセルとして抽出する。
【００２０】
一般的に、ブレーキランプ部は車両後部の左右端に左右対称に取り付けられている。そのため、基準画像抽出部１３は、抽出されたブレーキランプ部の候補ピクセルが車両の左右両端に左右対称に位置している場合に、それら候補ピクセルを抽出し、基準画像とする。図４に基準画像の一例を示す。同図（ａ）は、前走車両６の左側のブレーキランプ部６３Ｌが写った左側基準画像７Ｌである。同図（ｂ）は、前走車両６の右側のブレーキランプ部６３Ｒが写った右側基準画像７Ｒである。
【００２１】
ステップＳ１０６において、基準画像抽出部１３は、基準画像が抽出されたかどうかを判断する。基準画像が抽出されたと判断された場合は後述するステップＳ１０７に進み、さもなければステップＳ１０１に戻る。
【００２２】
探索領域設定部１４は、２段階の探索領域設定を行う。ステップＳ１０７では、探索領域設定部１４は探索領域設定の第１段階として、車両前方画像６内に第１探索領域を設定する。図５に、第１探索領域ＢＬ及びＢＲの設定例を示す。第１探索領域ＢＬ及びＢＲはそれぞれ、前走車両６１の車両左側のブレーキランプ部６３Ｌ及び車両右側のブレーキランプ部６３Ｒに対応して設定される。第１探索領域ＢＬ及びＢＲはそれぞれ、車両前方画像６において前走車両６１の左右のブレーキランプ部６３Ｌ及び６３Ｒの領域の下方に設定される。
【００２３】
具体的には、左側の第１探索領域ＢＬは、前走車両６１の後輪６４Ｌ及び６４Ｒと路面６２との２つの接触箇所を通る直線Ａを基準として、ブレーキランプ部６３Ｌの領域と線対称な位置関係にある領域を含むものとなるように設定される。すなわち、左側のブレーキランプ部６３Ｌの中心と直線Ａとの距離Ｌ１は、第１探索領域ＢＬの中心と直線Ａとの距離Ｌ２に等しい。同様に、右側の第１探索領域ＢＲは、直線Ａを基準として、ブレーキランプ部６３Ｒの領域と線対称な位置関係にある領域を含むものとなるように設定される。
【００２４】
第１探索領域ＢＬ及びＢＲのサイズは、基準画像７Ｌ及び７Ｒの縦横サイズよりも大きいサイズとすることができる。例えば、基準画像の縦横サイズの２倍に設定することができる。
【００２５】
ステップＳ１０８では、推定部１５は、第１探索領域ＢＬ内のピクセルの色情報を基準画像７Ｌ内のピクセルの色情報と比較し、第１探索領域ＢＬにおいて基準画像７Ｌと一致する箇所が存在するか否かを判断する。さらに、推定部１５は、第１探索領域ＢＲ内のピクセルの色情報を基準画像７Ｒ内のピクセルの色情報と比較し、第１探索領域ＢＲにおいて基準画像７Ｒと一致する箇所が存在するか否かを判断する。探索手法としては、例えばテンプレートマッチング法を使用することができる。さらには色情報の一致度をしきい値判断してもよい。
【００２６】
同ステップにて、第１探索領域ＢＬにおいて基準画像７Ｌと一致する箇所が存在し、かつ第１探索領域ＢＲにおいて基準画像７Ｒと一致する箇所が存在すると判断された場合は、ステップＳ１０９に進み、さもなければステップＳ１１０に進む。
【００２７】
ステップＳ１０９では、路面に水が溜まっているとして推定部１５により路面の濡れ度合いＷが１．０に設定され、この濡れ度合いＷを推定部１５が信号出力部１６へ出力した後に、後述するステップＳ１１２に進む。
【００２８】
路面の濡れ度合いが比較的大きい場合、つまり路面に水が溜まっている場合、前走車両のブレーキランプ部が鏡面反射して直線Ａを基準として線対称な位置関係にある領域に映り込んでいる可能性が高いという見地に基づいて、上記のようなステップＳ１０７〜Ｓ１０９が行われる。
【００２９】
路面の濡れ度合いＷとは、路面の濡れの程度を数値的に表す指標である。濡れ度合いＷの数値が大きいほど濡れの程度も大きくなる。第１探索領域に基準画像と一致する箇所が存在する場合は、上述したように濡れ度合いＷが１．０に設定される。
【００３０】
ステップＳ１１０では、探索領域設定部１４は探索領域設定の第２段階として、車両前方画像６内に正方形状又は矩形状の第２探索領域を設定する。図６に、第２探索領域ＣＬ及びＣＲの設定例を示す。左側の第２探索領域ＣＬは、第１探索領域ＢＬと直線Ａとの間の領域として設定される。左側の第２探索領域ＣＬの横幅は、ブレーキランプ部６３Ｌの横幅よりも大きくなるように設定される。例えば、基準画像７Ｌの横サイズと同じにすることができる。左側の第２探索領域ＣＬの縦の長さは、第１探索領域ＢＬの上辺から直線Ａまでの長さに等しい。
【００３１】
右側の第２探索領域ＣＲも同様に、第１探索領域ＢＲと直線Ａとの間の領域として設定される。右側の第２探索領域ＣＲの横幅は、ブレーキランプ部６３Ｒの横幅よりも大きくなるように設定される。例えば、基準画像７Ｒの横サイズと同じにすることができる。右側の第２探索領域ＣＲの縦の長さは、第１探索領域ＢＲの上辺から直線Ａまでの長さに等しい。
【００３２】
ステップＳ１１１において、推定部１５は、第２探索領域において、基準画像内のピクセルの色情報（一般的には赤色）に近い色情報を有するピクセルを探索する。具体的には、まず、推定部１５は、基準画像７Ｌ及び７ＲのＲＧＢ色情報を求める。赤色の情報ＢＡＳＥＲは、基準画像７Ｌ及び７Ｒにおける全ピクセルのＲ値の平均値、中央値、最大値等を用いる。緑色の情報ＢＡＳＥＧ、青色の情報ＢＡＳＥＢについても同様である。例えば、ＢＡＳＥＲ＝２００、ＢＡＳＥＧ＝１０、ＢＡＳＥＢ＝２０である。
【００３３】
続いて、推定部１５は、第２探索領域ＣＬ及びＣＲのＲＧＢ色情報を求める。赤色の情報ＡＲＥＡＲは、第２探索領域ＣＬ及びＣＲにおける全ピクセルのＲ値の平均値、中央値、最大値等を用いる。緑色の情報ＡＲＥＡＧ、青色の情報ＡＲＥＡＢについても同様である。例えば、ＡＲＥＡＲ＝１００、ＡＲＥＡＧ＝１６、ＡＲＥＡＢ＝１２である。
【００３４】
同ステップではさらに、推定部１５は、基準画像のＲＧＢ色情報（ＢＡＳＥＲ、ＢＡＳＥＧ、ＢＡＳＥＢ）と探索領域のＲＧＢ色情報（ＡＲＥＡＲ、ＡＲＥＡＧ、ＡＲＥＡＢ）とを用いて濡れ度合いＷを算出する。
【００３５】
これは、路面の濡れ度合いＷと、第２探索領域にブレーキランプ部が映り込んでいる度合いとは相関があるという見地に基づいている。図７に、路面の濡れ度合いＷと映り込みの度合いとの関係の一例を示す。路面の濡れ度合いＷが大きくなるにつれて映り込みの度合いも大きくなる。ただし、路面の濡れ度合いＷが１．０以上の場合、路面に水が溜まっているとして、映り込みの度合いは最大かつ一定であるとする。ステップＳ１０８の判断結果が「否」となった時点で、路面の濡れ度合いＷは１．０未満である。図７に示した関係から、路面の濡れ度合いＷを次式により求める。
Ｗ＝α×（ＡＲＥＡＲ÷ＢＡＳＥＲ）                                （１）
【００３６】
ここで、映り込みの度合いは、ＡＲＥＡＲ÷ＢＡＳＥＲで表される。また、αは係数であり、例えば０．８とすることができる。例えば、路面の濡れ度合いと映り込みの度合いとの関係について、走行場所が一般道路か高速道路かの違いに応じて係数αの値を変えても良いし、直線（比例）の関係ではなく高次曲線の関係としても良い。
【００３７】
同ステップではさらに、推定部１５は、ＡＲＥＡＧ÷ＢＡＳＥＧの値と、ＡＲＥＡＢ÷ＢＡＳＥＢの値とを算出し、各値が所定のしきい値以下であるかどうかを判断する。これらの２つの値がしきい値以下の場合は、式（１）による路面の濡れ度合いＷの値を推定部１５が信号出力部１６へ出力する。その他の場合はステップＳ１０１に戻る（不図示）。
【００３８】
路面に水が溜まっているわけではないものの、路面が濡れている場合には、前走車両のブレーキランプ部が拡散反射して直線Ａと第１探索領域ＢＬ及びＢＲとの間の領域に映り込んでいる可能性が高いと考えられる。この見地に基づいて、上記のようなステップＳ１１０及びＳ１１１が行われる。このように映り込んだ領域を図６の符号６３Ｌ２及び６３Ｒ２として示す。
【００３９】
ステップＳ１１２において、信号出力部１６は、推定部１５から出力された路面の濡れ度合いＷに応じた信号を警報装置４へ出力する。そして、警報装置４は、信号出力部１６から出力された信号に応じて、路面の状態を、音、振動、ランプ、表示等で自車両のドライバに警報する。
【００４０】
ステップＳ１１３において、信号出力部１６は、推定部１５から出力された路面の濡れ度合いＷに応じた信号を通信装置５へ出力する。そして、通信装置５は、信号出力部１６から出力された信号に応じて、路面の状態を自車両周辺の別の車両や道路管理者に知らせる。ステップＳ１１３を終えるとステップＳ１０１に戻る。
【００４１】
上記の実施形態によれば、自車両が走行する路面の、降雨等による濡れ度合いを、自車両の前方を写した車両前方画像に基づいて推定することができる。この推定は、自車両の前方を走行する前走車両のブレーキランプ部が抽出された基準画像をテンプレートとして行われる。そのため、処理の複雑度を抑えて、比較的簡易な構成で路面の濡れ度合いを推定することができる。
【００４２】
また、車両前方画像を用いて推定が行われるため、安価なハードウェア構成で、路面に対して物理的に接触することなく、路面の濡れ度合いを推定することができる。
【００４３】
一般的に、路面が乾いている場合に比べて、路面が濡れている場合は、自車両が前走車両に追突する可能性が高くなると考えられる。上記実施形態により路面の濡れ度合いを推定し、自車両のドライバに警報を発することで、自車両が前走車両に追突する可能性を低減することができる。
【００４４】
探索領域設定部は、車両前方画像においてブレーキランプ部領域の下方の領域を探索領域として設定するため、推定を効率的に行うことができる。また、探索領域設定は２段階に分けて行われるため、推定の効率がさらに高まる。
【００４５】
路面は黒っぽい色であることが多いことから、赤色情報を基準として路面状態の推定を行うことで、推定の誤差を抑えることができる。
【００４６】
前走車両のブレーキランプ部に限らず、テールランプ部等の任意のランプ部を基準画像として抽出することもできる。
【００４７】
色情報を定量的に表すにあたり、ＲＧＢ色空間に限らず、別の色空間あるいは表色系を用いてもよい。
【００４８】
ワイパー作動時のみ路面状態の推定を行うようにシステムＳを構成することもできる。
【００４９】
ステップＳ１１２において、信号出力部１６は、推定部１５から出力された路面の濡れ度合いＷに応じた信号を車両制御装置（不図示）へ出力することもできる。そして、この車両制御装置により、自車両がスリップ、横滑り等にならないように、自車両のブレーキ、アクセル、シフトポジション、エンジントルク等を制御することができる。
さらに、路面の濡れ度合いの信号に応じて、車間距離維持装置（ＡＣＣ）、衝突被害軽減ブレーキ（ＡＥＢ）、横滑り防止装置（ＥＳＣ）等における制御タイミングや制御時間を変更させても良い。
【００５０】
左側の第１探索領域ＢＬを、直線Ａを基準として、ブレーキランプ部６３Ｌの領域と線対称な位置関係にある領域そのものとして設定することもできる。このように設定された左側の第１探索領域ＢＬと直線Ａとの間の領域を第２探索領域ＣＬとして設定することができる。
同様に、右側の第１探索領域ＢＲを、直線Ａを基準として、ブレーキランプ部６３Ｒの領域と線対称な位置関係にある領域そのものとして設定することもできる。このように設定された右側の第１探索領域ＢＲと直線Ａとの間の領域を第２探索領域ＣＬとして設定することができる。
【００５１】
前述したシステムＳ及び路面状態推定装置１の機能的構成及び物理的構成は、前述の態様に限られるものではなく、例えば、各機能や物理資源を統合して実装したり、逆に、さらに分散して実装したりすることも可能である。
【符号の説明】
【００５２】
１      路面状態推定装置
１１    画像取得部
１２    前走車両検出部
１３    基準画像抽出部
１４    探索領域設定部
１５    推定部
１６    信号出力部
２      車両前方撮像装置
３      車両情報取得装置
４      警報装置
５      通信装置
６      車両前方画像
６１    前走車両
６２    路面
６３Ｌ、６３Ｒ  ブレーキランプ部
７Ｌ、７Ｒ  基準画像
ＢＬ、ＢＲ  第１探索領域
ＣＬ、ＣＲ  第２探索領域
【図１】
2018147368.tif 000003
【図２】
2018147368.tif 000004
【図３】
2018147368.tif 000005
【図４】
2018147368.tif 000006
【図５】
2018147368.tif 000007
【図６】
2018147368.tif 000008
【図７】
2018147368.tif 000009