(57)【特許請求の範囲】
【請求項１】
車両に搭載され、前記車両の周囲の路面領域の画像を撮像する撮像部と、
前記撮像部で撮像された前記画像の画素の画像特徴量を算出する画像特徴量算出部と、
前記車両に搭載され、前記車両の周囲の前記路面領域における電磁波を照射し、その反射波の反射強度を計測する反射波計測部と、
前記反射強度を用いて、路面標示の境界を検出する路面標示境界検出部と、
前記車両の移動量を計測する車両移動量計測部と、
前記路面標示の境界と前記車両の移動量とを用いて、前記路面標示の位置の履歴を示す路面標示履歴位置を記憶する路面標示履歴位置記憶部と、
前記路面標示履歴位置の前記画像上での位置を基準にして、前記撮像部で撮像された前記画像における前記路面標示の探索領域を設定する探索領域設定部と、
前記探索領域内の前記画像特徴量に基づいて、前記路面標示を検出して路面標示検出位置を求める路面標示位置検出部と、
を備え、
前記探索領域設定部は、前記路面標示履歴位置と前記路面標示検出位置との差に基づき、前記車両から離れる方向への前記探索領域を調整することを特徴とする路面標示検出装置。
【請求項２】
前記探索領域設定部は、前記車両の近傍から遠方に順次、前記路面標示履歴位置と前記路面標示検出位置との差を算出し、前記順次算出された差同士の変化量に基づき、前記探索領域を調整する請求項１に記載の路面標示検出装置。
【請求項３】
前記探索領域設定部は、前記車両移動量計測部で計測された前記車両の移動量に応じて、前記探索領域を調整する請求項１又は２に記載の路面標示検出装置。
【請求項４】
前記撮像部で撮像された前記画像における前記画像特徴量の平均に基づき、前記探索領域内から前記路面標示を検出するための前記画像特徴量の閾値を設定する特徴量基準更新部を更に備え、
前記路面標示位置検出部は、前記画像特徴量算出部で算出された前記画像特徴量と前記特徴量基準更新部で設定した前記閾値とを比較することで、前記探索領域内から前記路面標示を検出して前記路面標示検出位置を求める請求項１から３のいずれか一項に記載の路面標示検出装置。
【請求項５】
前記探索領域内の前記画像特徴量の分布状態に基づいて、前記路面標示位置検出部で検出された前記路面標示の信頼度を算出する路面標示信頼度算出部と、
前記路面標示位置検出部で求められた前記路面標示検出位置と前記路面標示信頼度算出部で算出された前記路面標示の信頼度とに基づいて、前記路面標示を認識する路面標示認識部と、
を更に備える請求項１から４のいずれか一項に記載の路面標示検出装置。
【請求項６】
車両の周囲の路面領域の画像を撮像し、
前記画像の画素の画像特徴量を算出し、
前記車両の周囲の前記路面領域における電磁波を照射し、その反射波の反射強度を計測し、
前記反射波の前記反射強度を用いて、路面標示の境界を検出し、
前記車両の移動量を計測し、
前記路面標示の境界と前記車両の移動量とを用いて、前記路面標示の位置の履歴を示す路面標示履歴位置を記憶し、
前記路面標示履歴位置の前記画像上での位置を基準にして、前記画像における前記路面標示の探索領域を設定し、
前記探索領域内の前記画像特徴量に基づいて、前記路面標示を検出して路面標示検出位置を求め、
前記路面標示履歴位置と前記路面標示検出位置との差に基づき、前記車両から離れる方向への前記探索領域を調整することを特徴とする路面標示検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路の白線等を検出する路面標示検出装置及び路面標示検出方法に関する。
【背景技術】
【０００２】
レーザーレンジファインダーと車両の移動量計測装置を使った駐車枠認識技術として、特許文献１に白線検出装置が開示されている。この白線検出装置では、車両前側方の領域をレーザーレンジファインダーでセンシングし、レーザーレンジファインダーで検出した路面標示点の点群データのうち反射強度が高い点を白線候補点として検出する。このとき、検出された白線候補点の車両に対する相対位置を、車両に搭載された舵角センサーや車速センサー等の移動量計測装置で計測された車両の移動量に応じて更新する。そして、白線候補点に対して直線の当てはめ処理を行い、その処理から出力される直線群から駐車枠を認識する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１４０１７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の従来技術では、近傍の白線をレーザーレンジファインダーで検出し、その白線を車両の移動量を使用して位置を更新することで全体の白線（特許文献１では駐車枠）を認識していた。しかしながら、一般に車両の移動量をセンサーで計測した場合に誤差を含むため、レーザーレンジファインダーで検出した白線の位置を画像で参照し画像特徴量を算出した場合、白線の画像特徴量を得られない場合があった。特にレーザーレンジファインダーの白線検出結果を車両の移動量によって更新し続けた場合、移動量の誤差の蓄積により、過去に検出した白線ほど、実際の位置と更新した位置との位置ずれが生じてしまう傾向にある。
【０００５】
本発明は、このような事情に鑑みてなされたものであって、レーザーレンジファインダーで検出した路面標示の位置の履歴において位置ずれが生じた際の画像での路面標示の誤検出及び非検出の発生率を低減する路面標示検出装置及び路面標示検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る路面標示検出装置及び路面標示検出方法では、車両の周囲の路面領域の画像を撮像し、画像の画素の画像特徴量を算出し、車両の周囲の路面領域における電磁波を照射し、その反射波の反射強度を計測し、反射波の反射強度を用いて、路面標示の境界を検出し、車両の移動量を計測し、路面標示の境界と車両の移動量とを用いて、路面標示の位置の履歴を示す路面標示履歴位置を記憶し、路面標示履歴位置の画像上での位置を基準にして、画像における路面標示の探索領域を設定し、探索領域内の画像特徴量に基づいて、路面標示を検出して路面標示検出位置を求め、路面標示履歴位置と路面標示検出位置との差に基づき、車両から離れる方向への探索領域を調整する。
【発明の効果】
【０００７】
本発明の一態様によれば、車両が移動しながらレーザーレンジファインダーで検出した路面標示の位置の履歴と、輝度勾配強度から求める路面標示検出位置とを、車両の近傍から順に対応付け、その位置の差の変化に基づいて、探索領域を逐次的に設定することができる。したがって、レーザーレンジファインダーで検出した路面標示の位置の履歴において位置ずれが生じた際でも、画像から路面標示の位置検出する際の誤検出及び非検出の発生率を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る路面標示検出装置の概念図である。
【図２】撮像部で撮像した画像上に反射波計測部での白線検出領域を示した図である。
【図３】制御装置の詳細な構成例を示すブロック図である。
【図４】車両座標系の定義と、その車両座標系における反射波計測部での白線検出領域を示した図である。
【図５】現時刻の車両座標系と過去の車両座標系との位置関係を示した図である。
【図６】車両の移動量を用いた過去の白線位置の復元について説明するための図である。
【図７】車両の移動量を用いた白線位置の履歴の記憶について説明するための図である。
【図８】反射波の白線エッジの誤検出判定処理（処理１）について説明するための図である。
【図９】路面標示位置検出の探索領域設定処理（処理３）について説明するための図である。
【図１０】左右の車線モデルごとに実行する一連の処理について説明するための図である。
【図１１】画像から白線エッジを検出する処理について説明するための図である。
【図１２】画像から白線エッジを検出するための探索領域を更新する処理について説明するための図である。
【図１３】画像の白線エッジの輝度勾配強度変化の閾値を更新する処理について説明するための図である。
【図１４】画像の探索領域の輝度勾配強度の値の平均と分散との関係を示す図である。
【図１５】本発明の一実施形態に係る路面標示検出装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００９】
＜実施形態＞
次に、図面を参照して、本発明の一実施形態について説明する。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、現実のものとは異なることに留意すべきである。したがって、具体的な構成部品については以下の説明を参酌して判断すべきものである。
また、以下に示す一実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造、配置等を下記のものに特定するものでない。本発明の技術的思想は、請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【００１０】
（システム構成）
図１に示すように、本発明の一実施形態に係る路面標示検出装置は、撮像部１と、反射波計測部２と、自車情報取得部３と、制御装置５と、運転支援システム６とを備える。
【００１１】
撮像部１は、車両Ａの後部に取り付けられ、車両Ａの後方の路面領域を画像として撮像し、その画像を制御装置５に出力する。例えば、撮像部１は、リアカメラ（バックカメラ）、広角カメラ等である。ここでは、撮像部１は、トランクパネルやバックドアの周辺に、高さｈ１、水平から下向きに角度θ１の位置及び姿勢で取り付けられており、車両Ａの後方を撮像する。
【００１２】
反射波計測部２は、車両Ａの後部に取り付けられ、車両Ａの後方の路面領域における計測点に電磁波を照射し、その反射波を検出し、その反射波に基づく情報を制御装置５に出力する。例えば、反射波計測部２は、レーザーレンジファインダー（ＬＲＦ）、レーザーレーダー等である。本実施形態では、反射波計測部２は、車両Ａの後方の路面領域における計測点にレーザー光を照射し、照射したレーザー光に対する反射光を受光し、受光した反射光から、計測点の距離及び方位と、反射光の強度を示す反射強度とを、反射光データとして取得し、その反射光データを制御装置５に出力する。ここでは、反射波計測部２は、リアバンパーやナンバープレートの周辺に、高さｈ２、水平から下向きに角度θ２の位置及び姿勢で取り付けられており、車両Ａの後方の白線検出領域（レーザー照射領域）をスキャンして白線を検出する。このとき、ｈ１＞ｈ２、θ１＜θ２である。なお、反射波計測部２は、照射光と路面との角度が直交するように取り付けられていても良い。
【００１３】
自車情報取得部３は、自車の速度、加速度、操舵角及びヨーレート等の車両Ａの運動状態（車両挙動）に関する情報（自車情報）を取得し、制御装置５に出力する。自車情報取得部３の例として、車速センサー、加速度センサー、舵角センサー、ヨーレートセンサー等の各種センサー群や、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）等を想定している。車速センサーは、車両Ａの車輪周辺に取り付けられ、車速を検出する。加速度センサーは、車両Ａの加速度（速度の変化率）を検出する。舵角センサーは、車両Ａの操舵機構又は転舵機構等に取り付けられ、舵角操舵量を検出する。ヨーレートセンサーは、ＥＳＣ（横滑り防止装置）やＡＣＣ（アダプティブ・クルーズ・コントロール）等の挙動安定化装置の中心となるセンサーであり、車両Ａの重心の鉛直軸周りのヨーレート（旋回方向への回転角の変化速度）を検出する。慣性計測装置（ＩＭＵ）は、車両Ａの運動を司る３軸の角度（又は角速度）と加速度を検出する装置である。
【００１４】
制御装置５は、撮像部１で撮像した画像と、反射波計測部２で得られた反射光データ（距離及び方位、反射強度を含む）を取り込み、車両Ａの後方の路面標示を検出する。路面標示は、例えば、道路境界線（白線、区画線等）等である。但し、実際には、道路境界線に限らず、道路端（縁石、ガードレール、側壁、中央分離帯等）等でも良い。ここでは、路面標示として白線を検出する事例について説明する。このとき、制御装置５は、自車情報取得部３で得られた自車情報に基づき、撮像部１で撮像した画像中の白線の位置と、反射波計測部２で得られた反射光データに基づく白線の位置とを対応付ける。但し、これは、撮像部１で撮像した画像の取得タイミングと、反射波計測部２で得られた反射光データの取得タイミングとが同期している場合である。実際には、多くの場合で撮像部１と反射波計測部２との周期は同期していないことが多い。同期していない場合、画像と反射光データとのそれぞれを取得した時刻のタイムスタンプも同時に取得し、その取得した時刻と、自車情報取得部３で得られた自車情報から算出した車両Ａの移動量とを使用して対応付けを補正することになる。
【００１５】
本実施形態では、制御装置５は、車両Ａの後方の画像において、反射波計測部２で得られた反射光データに基づく白線の位置を基準にして、撮像部１で撮像した画像中で対応する白線を検出するための探索領域を設定・調整することで、撮像部１で撮像した画像中の白線を、より正確に認識する。
【００１６】
例えば、図２に示すように、撮像部１で撮像した画像上に、反射波計測部２で検出した白線の位置（図中の丸印で示す路面標示点）を投影したときに、反射波計測部２で検出した白線の相対位置を、自車情報取得部３で得られた自車情報を用いて計測した車両Ａの移動量に基づいて更新した場合、特にヨー角に誤差が生じていたとすると、ある一定の方向に、徐々に、撮像部１で撮像した画像中の白線の位置と、反射波計測部２で検出した白線の位置との位置ずれが生じることになる。
【００１７】
そこで、制御装置５は、反射波計測部２で検出した白線の位置とそれに対応する画像中の白線の位置との位置ずれや方向（左右）の情報を記憶し、その情報から、探索領域を設定する。図２の例では、車両Ａの近傍の探索領域の中心は、反射波計測部２で検出した白線の位置とほぼ同じであるが、反射波計測部２で検出した白線の位置よりも、撮像部１で撮像した画像中の白線の位置が左側に存在するため、遠方であるほど反射波計測部２で検出した白線の位置から左側を重点的に探索する。
【００１８】
制御装置５は、車両後方で検出した白線に対する車両Ａの位置・姿勢を推定し、それらの位置や姿勢の推定値を運転支援システム６に転送する。制御装置５の詳細については、後述する。
【００１９】
運転支援システム６は、制御装置５から転送された車両Ａの位置や姿勢の推定値に基づき、車両Ａに対する警報及び／又は制動等の運転支援を行う。運転支援システム６は、例えば、駐車支援システム、レーンキープシステム、衝突回避ブレーキ、車線逸脱警報、後側方警報等の公知の運転支援システムである。運転支援システム６での処理は公知技術であるため、詳細の説明は割愛する。
【００２０】
なお、制御装置５及び運転支援システム６は、独立した装置でも良いし、一体化していても良い。少なくとも通信又は連携可能であれば良い。制御装置５及び運転支援システム６の例として、電子制御装置（ＥＣＵ）を想定している。但し、実際には、制御装置５及び運転支援システム６は、計算機、スマートフォン、タブレット端末、カーナビゲーションシステム等でも良い。
【００２１】
（制御装置の詳細）
図３を参照して、制御装置５の詳細について説明する。
制御装置５は、画像特徴量算出部５ａと、路面標示境界検出部５ｂと、車両移動量計測部５ｃと、路面標示履歴位置記憶部５ｄと、路面標示位置推定部５ｅと、初期探索領域設定部５ｆと、路面標示位置検出部５ｇと、探索領域更新部５ｈと、特徴量基準更新部５ｉと、路面標示尤度算出部５ｊと、路面標示認識部５ｋとを備える。なお、初期探索領域設定部５ｆと探索領域更新部５ｈとは、探索領域設定部を形成する。ここでは、初期探索領域設定部５ｆと探索領域更新部５ｈとを分けて説明する。
【００２２】
画像特徴量算出部５ａは、撮像部１で撮像した画像の画素の画像特徴量（輝度勾配強度、彩度、色相等）を算出する。ここでは、画像特徴量として、輝度勾配強度を使用する。例えば、画像特徴量算出部５ａは、撮像部１で撮像した画像に対して輝度勾配を算出し、算出した輝度勾配を用いて輝度勾配強度を算出する。
本実施形態では、画像特徴量算出部５ａは、撮像部１で撮像した画像の横方向（ｘ軸）と縦方向（ｙ軸）との直交座標系に対して、公知のＳｏｂｅｌフィルタを適用し、画像中の全画素の位置（ｘ，ｙ）でのそれぞれの輝度勾配（ｄｘ，ｄｙ）を求める。なお、本実施形態では、Ｓｏｂｅｌフィルタを用いたが、実際にはＳｏｂｅｌフィルタに限定されない。例えば、Ｌａｐｌａｃｉａｎフィルタ等を用いて、画像中の輝度変化が大きい画素（エッジ画素）を強調できれば良い。
次に、画像特徴量算出部５ａは、画像中の全画素の位置（ｘ，ｙ）及び輝度勾配（ｄｘ，ｄｙ）を用いて、以下の数式（１）で輝度勾配強度Ｍを求める。
Ｍ＝ｓｑｒｔ（ｄｘ×ｄｘ＋ｄｙ×ｄｙ）    ……（１）
【００２３】
路面標示境界検出部５ｂは、反射波計測部２で得られた反射光データを用いて、路面標示の境界を検出する。本実施形態では、路面標示境界検出部５ｂは、路面標示の境界として、白線の境界を示す白線エッジを検出する。具体的には、路面標示境界検出部５ｂは、反射波計測部２で得られた反射光データを用いて、車両に対する白線の相対位置を求める。
図４（ａ）に示すように、ここでは、車両において、車両座標系の中心を後輪アクスル中心とし、車両の進行方向を画像の縦方向（ｙ軸）とし、それに直交する方向を画像の横方向（ｘ軸）とする。
図４（ｂ）に示すように、路面標示境界検出部５ｂは、この車両座標系における車両の左右両側の白線の相対位置を求める。ここでは、車両の右側の白線Ｌ１と車両の左側の白線Ｌ２とのそれぞれの相対位置を求める。反射波計測部２は、画像の横方向（ｘ軸）に沿って、白線Ｌ１から白線Ｌ２に向かう方向にスキャンする。路面標示境界検出部５ｂは、反射波計測部２のスキャンで得られた反射光データに基づき、白線Ｌ１及びＬ２のそれぞれの白線エッジを検出する。
図４（ｃ）は、図４（ｂ）に示した白線検出領域Ｒにおける反射強度（Ｉｎｔｅｎｓｉｔｙ）のプロファイルを示したグラフである。路面標示境界検出部５ｂは、上述した特許文献１（特開２００９−１４０１７５号公報）に記載されているように、反射強度が急激に変化する箇所を、白線エッジとして検出する。また、路面標示境界検出部５ｂは、反射強度の立ち上がりと立ち下がりを使用して、左右の白線エッジを明確に区別する。
図４（ｄ）に示すように、路面標示境界検出部５ｂは、反射波計測部２で車両座標系のｘ軸に沿ってスキャンした結果、車両の右側の白線Ｌ１の外側エッジでは急激に反射強度が立ちあがり、内側エッジでは急激に反射強度が立ち下がることと、車両の左側の白線Ｌ２の内側エッジでは急激に反射強度が立ちあがり、外側エッジでは急激に反射強度が立ち下がることを利用して、白線Ｌ１及びＬ２のそれぞれの白線エッジを検出している。
【００２４】
車両移動量計測部５ｃは、自車情報取得部３で得られた自車情報に基づき、車両の移動量を計測する。例えば、車両移動量計測部５ｃは、車速センサーから出力される車速と、ヨーレートセンサーから出力されるヨーレートとに基づき、単位処理時間毎の車両の移動距離と移動方向（並進成分）、及び車両の向き（回転成分）の変化を算出する。
【００２５】
路面標示履歴位置記憶部５ｄは、前段の路面標示境界検出部５ｂで検出された路面標示の位置の履歴を示す路面標示の履歴位置を記憶する。本実施形態では、路面標示履歴位置記憶部５ｄは、路面標示の履歴位置として、白線エッジの位置の履歴を示す白線エッジの履歴位置を記憶する。例えば、路面標示履歴位置記憶部５ｄは、一時刻以上前の過去の時刻から現時刻までの白線エッジの位置を、車両からの相対位置として車両の移動量を用いて更新しながら蓄積する。本実施形態では、路面標示履歴位置記憶部５ｄは、現時刻の白線エッジの位置と一時刻以上前の過去の白線エッジの位置とを合成して、合成後の白線エッジの位置を記憶する。
【００２６】
図５に示すように、現時刻の車両の位置を原点とした車両座標系Ａ＿ｃｕｒにおいて、車両の進行方向をｙ＿ｃｕｒ、それに直交する方向をｘ＿ｃｕｒとする。この現時刻の車両座標系Ａ＿ｃｕｒにおいて、現時刻の白線Ｌ１＿ｃｕｒ及びＬ２＿ｃｕｒが示されている。ここでは、路面標示履歴位置記憶部５ｄは、現時刻の白線エッジの位置を変更することなくそのまま記憶すれば良い。
【００２７】
また、一時刻前の車両の位置を原点とした車両座標系Ａ＿ｐｒｅにおいて、車両の進行方向をｙ＿ｐｒｅ、それに直交する方向をｘ＿ｐｒｅとする。この一時刻前の車両座標系Ａ＿ｐｒｅにおいて、一時刻前に検出された白線Ｌ１＿ｐｒｅ及びＬ２＿ｐｒｅが示されている。ここでは、路面標示履歴位置記憶部５ｄは、車両移動量計測部５ｃから出力される車両の移動量を使用して、現時刻の車両座標系Ａ＿ｃｕｒが原点となるように一時刻前の白線エッジの位置を更新する。
【００２８】
ここでは、図６に示すように、路面標示履歴位置記憶部５ｄは、上述の処理が行われる度に車両の移動量を使用して、一時刻前の白線Ｌ１＿ｐｒｅ及びＬ２＿ｐｒｅを、現時刻の白線Ｌ１＿ｃｕｒ及びＬ２＿ｃｕｒに更新することで、現時刻の車両座標系での位置として復元することができる。例えば、走行に伴って検出した白線の位置を復元できる。
【００２９】
このように、路面標示履歴位置記憶部５ｄは、異なる時間（時刻毎）の複数の白線エッジの位置と、車両移動量計測部５ｃで計測された車両の移動量とを用いて、車両に対する周囲地図（車線等）を生成して記憶する機能を有する。
【００３０】
但し、路面標示履歴位置記憶部５ｄに記憶されている白線エッジの履歴位置のうち、車両座標系のｙ軸において車両から予め定めた所定距離以上遠方のものについては削除する。この所定距離は、実験的に定める。ここでは、白線エッジの履歴位置は過去のものになるほど遠方になるので、古いものから順に削除する。
【００３１】
路面標示位置推定部５ｅは、図７に示すように、前段の路面標示履歴位置記憶部５ｄに記憶されている路面標示の履歴位置に基づいて、車線における路面標示の位置を推定する。本実施形態では、路面標示位置推定部５ｅは、路面標示の履歴位置として路面標示履歴位置記憶部５ｄに記憶されている白線エッジの履歴位置に対して車線モデルを当てはめ、最小二乗法等で近似曲線を推定し、車線における白線エッジの位置を推定する。但し、路面標示位置推定部５ｅは、路面標示境界検出部５ｂで検出した白線エッジの位置を、車両移動量計測部５ｃから出力される車両の移動量を使用して更新しているため、ここでの白線エッジの履歴位置は誤差を含んでいる。
【００３２】
初期探索領域設定部５ｆは、路面標示位置推定部５ｅで推定された路面標示の推定位置を基準にして、画像における路面標示の探索領域を画像中に設定する。本実施形態では、初期探索領域設定部５ｆは、路面標示位置推定部５ｅから出力される車線モデルを使用して、路面標示の履歴位置として路面標示履歴位置記憶部５ｄに記憶されている白線エッジの履歴位置を順に画像に投影し、画像に投影した白線エッジの履歴位置を基準にして、画像中の白線エッジを検出するための探索領域を画像中に設定する。なお、この投影の処理に必要な、車両座標系における撮像部１と反射波計測部２との取付位置は公知のものとして、それらの取付位置の情報を使用して投影する。
【００３３】
この初期探索領域設定部５ｆは、上述した投影処理と探索領域設定処理との前処理として、反射波計測部２で検出した白線エッジが誤検出であるか否かの判定処理も行う。この判定処理は、具体的に下記の３つの処理で実行される。
【００３４】
（処理１）：白線エッジの誤検出判定処理
初期探索領域設定部５ｆは、図８に示すように、路面標示履歴位置記憶部５ｄに記憶されている白線エッジの履歴位置と、路面標示位置推定部５ｅで車線モデルを使用して推定した白線エッジの推定位置との乖離が予め定めた第１の閾値（位置乖離閾値）より大きい場合、その白線エッジを誤検出点としてその白線エッジの履歴位置を画像に投影しないと判定し、次の白線エッジの判定を行う。第１の閾値は、白線エッジの履歴位置と、車線モデルを使用して推定した白線エッジの推定位置との乖離の許容限度を示す値である。反対に、初期探索領域設定部５ｆは、位置の乖離が第１の閾値以下の場合、その白線エッジの履歴位置を、画像に投影する白線エッジの履歴位置として登録する。
【００３５】
（処理２）：白線エッジの画像への投影処理
初期探索領域設定部５ｆは、処理１で画像に投影すると判定・登録された白線エッジの履歴位置を画像中に投影する。初期探索領域設定部５ｆは、この処理２を、車両座標系における撮像部１と反射波計測部２との取付位置、姿勢と撮像部１の内部パラメータを使用して実行することができる。なお、この処理２は公知の方法であるため、詳細については割愛する。なお、実際には、上記のように白線エッジの履歴位置を画像中に投影する処理に限定されるものではなく、撮像部１の座標系と反射波計測部２の座標系とを対応付けることができれば良い。
【００３６】
（処理３）：路面標示位置検出の探索領域の設定処理
初期探索領域設定部５ｆは、図９（ａ）、（ｂ）に示すように、処理２で画像に投影された白線エッジの履歴位置を基準にして、画像中で対応する白線エッジを検出するための探索領域を設定する。この探索領域のサイズは、実験的に定める。なお、この探索領域については、後段の処理でサイズと位置を変更することになる。ここでは、探索領域については、あくまで白線エッジの検出を開始する初期位置として設定する。
【００３７】
なお、初期探索領域設定部５ｆは、路面標示履歴位置記憶部５ｄに記憶されている全ての白線エッジに対して、上記の処理１、処理２及び処理３を実行する。すなわち、初期探索領域設定部５ｆは、上記の一連の３つの処理を、個々の白線エッジごとに実行する。
【００３８】
本実施形態では、以降の路面標示位置検出部５ｇ、探索領域更新部５ｈ、特徴量基準更新部５ｉまでの一連の処理を、路面標示位置推定部５ｅから推定された左右の車線モデルに対して、図１０に示すように、車線モデルごと（白線ごと）に実行する。左右の車線モデルの処理は共通であるため、以降では、車両の左側の白線を例に説明する。ここでは、撮像部１で車両後方を撮像したリアカメラ画像（車両後方画像）を使用して説明するので、画像上の白線の位置と、実際の白線の位置とは左右反対となり、車両の左側の白線は図としては右側になる。
【００３９】
路面標示位置検出部５ｇは、初期探索領域設定部５ｆで設定された探索領域内の画像特徴量に基づいて、路面標示を検出してその路面標示の検出位置を求める。本実施形態では、路面標示位置検出部５ｇは、初期探索領域設定部５ｆで設定された探索領域の中で、車線モデルが示す白線エッジの履歴位置を基準にして、画像中の白線エッジを検出する。例えば、路面標示位置検出部５ｇは、図１１（ａ）に示すように、初期探索領域設定部５ｆで画像上に投影した白線エッジの履歴位置（ｘ，ｙ）を起点として、画像中の白線エッジの位置（ｘ’，ｙ’）を検出する処理を実行する。図１１（ｂ）に、図１１（ａ）に示した白線エッジに基づき、初期探索領域設定部５ｆで画像上に投影した白線エッジの履歴位置（ｘ，ｙ）を含む車両の横方向（ｘ軸）での輝度勾配強度の変化（以降、輝度勾配変化と記載）を示す。図１１（ｂ）から明らかなように、画像上の左側の白線エッジの輝度勾配変化は、左からプラス（増加方向）に立ち上がり、次にマイナス（減少方向）に立ち下がる。また、その立ち上がりと立ち下がりとの間隔ｗ＿ｌが白線の幅と規定できる。
【００４０】
路面標示位置検出部５ｇは、その立ち上がりと立ち下がりに第２の閾値（強度閾値）以上の輝度勾配変化がある場合、その立ち上がりと立ち下がりに第２の閾値以上の輝度勾配強度を持つ白線エッジの位置（ｘ’，ｙ’）を、画像中の白線エッジの位置として判定する。第２の閾値は、路面標示位置検出部５ｇで画像中の白線エッジの位置を検出するための判定基準となる閾値である。第２の閾値は、白線を非検出としないために十分小さい値とする。なお、第２の閾値は、後述する特徴量基準更新部５ｉにより更新されるため、この時点での値は初期値となる。第２の閾値の更新処理については、後述する。
【００４１】
ここで述べたように、画像上の左側の白線では、初期探索領域設定部５ｆで画像上に投影した白線エッジの履歴位置を基準にして、立ち上がりの画素を検出する。これは、画像上の左側の白線の外側エッジに相当する。図１１（ｂ）の例では、初期探索領域設定部５ｆで画像上に投影した白線エッジの履歴位置（ｘ，ｙ）を基準にして、立ち上がりの画素を示す画像中の白線エッジの位置（ｘ’，ｙ’）を検出する。反対に、画像上の右側の白線では、初期探索領域設定部５ｆで画像上に投影した白線エッジの履歴位置を基準にして、マイナスの輝度勾配変化からの立ち上がりの画素を検出する。これは画像上の右側の白線の外側エッジに相当する。
【００４２】
但し、白線検出領域において、反射波計測部２で白線をスキャンするライン（以降、スキャンラインと記載）が１本のみでは、１ライン分の輝度勾配変化のみで判定することになるため、ノイズを白線エッジとして誤検出する可能性がある。
したがって、図１１（ｃ）のように、複数のスキャンラインを設定しても良い。ここでは、車両の進行方向（ｙ軸）に隣接する画素のそれぞれに対してスキャンラインを設定する。このとき、車両において、スキャンラインごとに対応する反射波計測部２を設けても良い。また、複数のスキャンラインを設定した場合、路面標示位置検出部５ｇは、車両の近傍のスキャンラインから遠方のスキャンラインまで順番に、設定された複数のスキャンラインの全てを対象として、白線エッジの履歴位置を基準にして、立ち上がり画素を検出する。そして、検出された個々の画素を、図中のように直線で近似し、その直線とスキャンラインとの交点を画像中の白線エッジの位置（ｘ’’，ｙ’）として判定するようにしても良い。
【００４３】
図１１（ｃ）では、５本のスキャンラインを設定した。但し、５本のスキャンラインは一例に過ぎない。実際には、スキャンラインの本数は、実験的に求めることができる。車両移動量計測部５ｃから出力される車両挙動の変化が大きいときは、誤検出が発生しやすいため、初期探索領域設定部５ｆは、車両の移動量に応じて探索領域のサイズを可変させて、車両の進行方向（ｙ軸）に隣接する画素の輝度勾配変化のスキャンラインを更に増やしても良い。この場合、例えば、初期探索領域設定部５ｆは、前後加速度の変化が大きいほど、ｙ軸方向のサイズを拡大する。車両挙動の変化が大きいか否かを判定するための閾値は、実験的に定めることができる。また、今回はエッジの立ち上がりと立ち下がりに着目して検出処理を行ったが、実際には、この処理に限定されるものではなく、白線エッジの履歴位置を基準にして、画像中の白線エッジの位置を検出する処理であれば良い。なお、初期探索領域設定部５ｆは、横加速度が大きい場合には、ｘ軸方向のサイズを拡大するようにしても良い。
【００４４】
探索領域更新部５ｈは、前段の路面標示位置検出部５ｇで検出された路面標示の検出位置と路面標示の履歴位置との関係に基づき、画像の探索領域を更新する。本実施形態では、探索領域更新部５ｈは、図１２（ａ）に示すように、路面標示位置検出部５ｇで検出された画像中の白線エッジの位置と、初期探索領域設定部５ｆで画像上に投影された白線エッジの履歴位置との画像中の位置の差（乖離）を時系列に順次求め、順次求めた差同士の変化量に基づき、一つ遠方のスキャンラインの画像中の白線エッジを検出するための探索領域を更新する。
【００４５】
具体的には、探索領域更新部５ｈは、図１２（ｂ）で示したように近傍の白線エッジの履歴位置（ｘｉ，ｙｉ）と画像中の白線エッジの位置（ｘ‘ｉ、ｙ’ｉ）とのそれぞれの位置の差ｄｉを使用して、一つ遠方の白線エッジの履歴位置（ｘｉ＋１、ｙｉ＋１）を対応付ける探索領域の中心位置の横方向のみ更新（ｘ’ｉ＋１＝ｘｉ＋１＋ｄｉ、ｙ’ｉ＋１＝ｙｉ＋１）して、一つ遠方の白線エッジの履歴位置（ｘｉ＋１、ｙｉ＋１）と一つ遠方の画像中の白線エッジの位置（ｘ’ｉ＋１、ｙ’ｉ＋１）とを対応付ける。
【００４６】
それぞれの位置の差ｄｉは、遠方になるほど増加するが、ランダムに増加するのではなく単調に増加する。これを利用して、更に適切に画像特徴量の探索領域を調整することができる。例えば、差の変化量Δｄｉ（＝ｄｉ−ｄｉ-1）を考慮して、探索領域の中心位置の横方向のみ更新（ｘ’ｉ＋１＝ｘｉ＋１＋ｄｉ＋Δｄｉ、ｙ’ｉ＋１＝ｙｉ＋１）して、一つ遠方の白線エッジの履歴位置（ｘｉ＋１、ｙｉ＋１）と一つ遠方の画像中の白線エッジの位置（ｘ’ｉ＋１、ｙ’ｉ＋１）とを対応付けるようにしても良い。
【００４７】
このように、探索領域更新部５ｈは、近傍のスキャンラインの白線エッジの履歴位置と画像中の白線エッジの位置との差を使用して、逐次的に遠方のスキャンラインの白線エッジの履歴位置を対応付けるための探索領域の位置を更新する。
これにより、下記のようなメリットがある。
第１に、初期探索領域設定部５ｆで設定した探索領域が、白線以外の後続車等に設定されてしまい、白線エッジと間違って検出してしまうリスクが低下するというメリットがある。
第２に、初期探索領域設定部５ｆで設定した探索領域が、本来対応付ける白線エッジが含まれていないところに設定されてしまい、白線エッジが非検出となるリスクが低下するというメリットがある。
これは、反射波計測部２で検出した白線エッジの位置を、車両移動量計測部５ｃで計測した車両の移動量に応じて更新したときに蓄積する移動量誤差が時間毎に蓄積され、車両の近傍の白線エッジの履歴位置は誤差が少なく遠方になるほど誤差が蓄積されることを利用している。
【００４８】
特徴量基準更新部５ｉは、路面標示位置検出部５ｇで画像中の路面標示の位置を検出するための判定基準を更新する。本実施形態では、特徴量基準更新部５ｉは、近傍のスキャンラインから遠方のスキャンラインまで順番に、初期探索領域設定部５ｆで画像上に投影した白線エッジの履歴位置を基準にして、画像中の白線エッジの位置を検出する過程で、路面標示位置検出部５ｇで画像中の白線エッジの位置を検出するための判定基準となる第２の閾値を更新する。ここでは、特徴量基準更新部５ｉは、初期探索領域設定部５ｆで画像上に投影した白線エッジの履歴位置を基準にして、画像中の白線エッジの位置を検出して、その画像中の白線エッジの輝度勾配変化の情報を使用して第２の閾値を更新することで、第２の閾値を誤検出及び非検出の両方の発生数が小さくなる閾値に修正する。
【００４９】
既に述べたように、この第２の閾値の初期値は、非検出を防ぐために十分小さい値に設定されているため、誤検出をしやすい傾向にある。そこで、図１３（ａ）に示すように、特徴量基準更新部５ｉは、近傍のスキャンラインの白線から順に対応付け、その対応付けたときの画像中の輝度勾配強度の値で平均化していくことで更新する。ここでは、近傍のスキャンラインの白線エッジの履歴位置ほど移動量の誤差が少ないため、画像中の白線エッジの位置の検出を失敗しにくいことを利用して、検出したときの画像中の輝度勾配強度の値を使用して第２の閾値を更新することで、第２の閾値を誤検出及び非検出の発生数が同時に小さくなる閾値に修正する。
【００５０】
図１３（ａ）の例では、車両の近傍から遠方に向かって順に、探索領域１、探索領域２、探索領域３、探索領域４を設定している。図１３（ｂ）では、探索領域１の輝度勾配変化のプロファイルと、探索領域２の輝度勾配変化のプロファイルとを対比している。図１３（ｂ）に示すように、探索領域１から探索領域２に切り換えた時に第２の閾値を更新している。
探索領域１の輝度勾配変化のプロファイルでは、輝度勾配強度の閾値である第２の閾値の初期値ｔｈ０を使用する。路面標示位置検出部５ｇは、観測した輝度勾配強度ｍ０が、第２の閾値の初期値ｔｈ０以上である画素の位置を、画像中の白線エッジの位置として判定する。
探索領域２の輝度勾配変化のプロファイルでは、探索領域１において観測した輝度勾配強度ｍ０が第２の閾値の初期値ｔｈ０以上である画素の輝度勾配強度の値を平均化することで、第２の閾値の初期値ｔｈ０を更新して、第２の閾値ｔｈ１を設定する。更新した第２の閾値ｔｈ１は、第２の閾値の初期値ｔｈ０よりも大きな値である。路面標示位置検出部５ｇは、観測した輝度勾配強度ｍ１が、更新した輝度勾配強度の閾値である第２の閾値ｔｈ１以上である画素の位置を、画像中の白線エッジの位置として判定する。
【００５１】
本実施形態では、第２の閾値の更新に平均化を用いたが、実際には、この方法に限ったものではなく、他のフィルタ処理等を適用しても良い。例えば、図１４に示すように、特徴量基準更新部５ｉは、画像の探索領域内で白線エッジが検出できたときの白線の輝度勾配強度の値の平均μと分散σ２といった２つのパラメータを求め、これら２つのパラメータを用いて第２の閾値を算出する。例えば、平均μと標準偏差σを用いて、以下の数式（２）で第２の閾値ｔｈｒｅｓｈｏｌｄを算出する。
ｔｈｒｅｓｈｏｌｄ＝μ−ασ    ……（２）
数式（２）の定数αは、調整パラメータである。実際には、定数αの値は、実験的に求める。すなわち、観測した輝度勾配強度の値に応じて逐次的に第２の閾値を更新できる手法を、実施形態に合わせて最適に選択すれば良い。
【００５２】
また、特徴量基準更新部５ｉは、一時刻あたりの処理が終わったときに、この第２の閾値を再度初期化する。すなわち、特徴量基準更新部５ｉは、一時刻あたりの処理ごとに、第２の閾値を初期化する。その理由は、一般道のような走行環境が時々刻々と変化する場所では、建物の影や日照の影響により、白線エッジの輝度勾配の強度が変化しやすいためである。
【００５３】
本実施形態では、路面標示履歴位置記憶部５ｄに記憶されている全ての白線エッジの履歴位置に対して、ここまで述べてきた路面標示位置検出部５ｇ、探索領域更新部５ｈ、特徴量基準更新部５ｉの処理を実行した後、後段の路面標示尤度算出部５ｊの処理に進む。
【００５４】
路面標示尤度算出部５ｊは、画像の探索領域内の画像特徴量の分布状態に基づいて、路面標示位置検出部５ｇで検出された路面標示の信頼度を示す路面標示の尤度を算出する。すなわち、路面標示尤度算出部５ｊは、路面標示信頼度算出部である。本実施形態では、路面標示尤度算出部５ｊは、路面標示位置検出部５ｇで検出された画像中の白線の輝度勾配強度分布の関係に基づいて、白線の信頼度として、個々のスキャンラインの白線エッジの白線尤度を算出する。例えば、図１４に示すように、画像の探索領域内で白線エッジが検出できたときの白線の輝度勾配変化の平均μと分散σ２との２つのパラメータを求めることとする。そして、路面標示尤度算出部５ｊは、その２つのパラメータを使用して、図１３（ａ）で示した個々の反射波計測部２の白線に対して画像中で観測した輝度勾配強度ｍｉに対して、以下の数式（３）で白線尤度ｗｌｉｋｅｌｉｈｏｏｄを算出して付与する。
ｗｌｉｋｅｌｉｈｏｏｄ＝ｅｘｐ｛−１／σ２×（ｍｉ−μ）２｝    ……（３）
このように、検出した白線の画素ごとに白線尤度を付与することで、後段の路面標示認識部５ｋでの種々の最適化の処理において性能が向上する。
【００５５】
路面標示認識部５ｋは、路面標示位置検出部５ｇで検出された路面標示の検出位置と、路面標示尤度算出部５ｊで算出された路面標示の信頼度とに基づいて、路面標示を認識する。本実施形態では、路面標示認識部５ｋは、図１１に示した路面標示位置検出部５ｇの処理において記載したように、前段までの処理で検出された画像中の白線エッジの位置（ｘ’，ｙ’）を用いて、車両の白線に対する位置・姿勢を推定する。車両の白線に対する位置・姿勢の推定方法としては、種々の方法（最小二乗法、カルマンフィルタ等）が提案されているため、それらの方法を用いれば良い。白線エッジの座標ごとの白線尤度で重みを与えることで、最適化の精度を向上させることができる。
【００５６】
（処理の流れ）
次に、図１５のフローチャートを参照して、本実施形態に係る路面標示検出装置における一連の処理の流れについて説明する。本実施形態に係る路面標示検出装置は、この一連の処理の流れにおいて、時系列に画像と反射光データを取得し、取得した画像と反射光データに対して白線認識を繰り返す。
【００５７】
ステップＳ１０１では、制御装置５の画像特徴量算出部５ａは、撮像部１で撮像した画像を取得する。
ステップＳ１０２では、制御装置５の画像特徴量算出部５ａは、Ｓｏｂｅｌフィルタを画像のｘ軸方向、ｙ軸方向に適用し、それらのｘ軸方向、ｙ軸方向の微分出力のノルム（ｎｏｒｍ）から輝度勾配強度を画素ごとに求める。
ステップＳ１０３では、制御装置５の路面標示境界検出部５ｂは、反射波計測部２から、反射光の距離及び方位と、反射強度を取得する。
ステップＳ１０４では、制御装置５の路面標示境界検出部５ｂは、反射波計測部２からの反射光の反射強度のプロファイルに対する立ち上がりと立ち下がりを検出して、その距離及び方位を基に白線の相対位置を計測する。
【００５８】
なお、本説明では、ステップＳ１０１→ステップＳ１０２→ステップＳ１０３→ステップＳ１０４の順で述べたが、これはあくまで説明のためであり、実際には、ステップＳ１０３→ステップＳ１０４→ステップＳ１０１→ステップＳ１０２の順番であっても問題ない。要は１処理ステップの中で画像と反射光データを取得できれば良い。
【００５９】
ステップＳ１０５では、車両移動量計測部５ｃは、自車情報取得部３で得られた自車情報に基づき、単位時間当たりの車両の移動量を算出する。
ステップＳ１０６では、路面標示履歴位置記憶部５ｄは、一時刻以上前の過去の時刻から現時刻までの白線エッジの履歴位置を記憶する。また、路面標示履歴位置記憶部５ｄは、現時刻と過去に反射波計測部２の反射光データから検出した白線エッジの現時刻の車両座標系での相対位置を復元する。
ステップＳ１０７では、路面標示位置推定部５ｅは、前段の路面標示履歴位置記憶部５ｄに記憶されている白線エッジの履歴位置に対して車線モデルを当てはめ、白線エッジの位置を推定する。
【００６０】
ステップＳ１０８では、初期探索領域設定部５ｆは、路面標示位置推定部５ｅから出力される車線モデルを使用して、画像特徴量算出部５ａで輝度勾配強度を求めた画像に、路面標示履歴位置記憶部５ｄからの白線エッジの履歴位置を投影し、初期の探索領域を設定する。
【００６１】
ステップＳ１０９では、路面標示位置検出部５ｇは、前段の初期探索領域設定部５ｆで設定された探索領域の画像の中で、白線を検出する。例えば、路面標示位置検出部５ｇは、車両の近傍のスキャンラインから遠方のスキャンラインまで順番に全てのスキャンラインを対象として白線エッジを検出する。このとき、路面標示位置検出部５ｇは、画像中の白線エッジの位置を検出するための判定基準となる第２の閾値以上の輝度勾配変化がある画素を、白線エッジの画素として判定する。そして、探索により得られた個々の画素を直線で近似し、その直線とスキャンラインとの交点を画像中の白線エッジの位置として判定する。
【００６２】
ステップＳ１１０では、探索領域更新部５ｈは、路面標示位置検出部５ｇで検出された画像中の白線エッジの位置と白線エッジの履歴位置との画像中の位置の差（乖離）を時系列に順次求め、順次求めた差同士の変化量に基づき、一つ遠方のスキャンラインの白線エッジを検出するための探索領域を更新する。
【００６３】
ステップＳ１１１では、特徴量基準更新部５ｉは、近傍のスキャンラインから遠方のスキャンラインまで順番に、検出した白線エッジの履歴位置を基準にして画像中の白線エッジの位置を検出する過程で、路面標示位置検出部５ｇで画像中の白線エッジの位置を検出するための判定基準となる第２の閾値を更新する。
【００６４】
ステップＳ１１２では、制御装置５は、上記のステップＳ１０９、Ｓ１１０、及びＳ１１１の処理が路面標示履歴位置記憶部５ｄに記憶されている全ての白線エッジの履歴位置に対して実行されたか否かを判定する。例えば、制御装置５は、路面標示履歴位置記憶部５ｄに記憶されている全ての白線エッジの履歴位置と、路面標示位置検出部５ｇ、探索領域更新部５ｈ、及び特徴量基準更新部５ｉのそれぞれの出力結果とを監視し、上記のステップＳ１０９、Ｓ１１０、及びＳ１１１の処理が路面標示履歴位置記憶部５ｄに記憶されている全ての白線エッジの履歴位置に対して実行されたか否かを判定する。その結果、上記のステップＳ１０９、Ｓ１１０、及びＳ１１１の処理が路面標示履歴位置記憶部５ｄに記憶されている全ての白線エッジの履歴位置に対して実行されていると判定した場合には、ステップＳ１１３に進む。反対に、そうでない場合には、ステップＳ１０９に戻る。
【００６５】
ステップＳ１１３では、路面標示尤度算出部５ｊは、上記のステップＳ１０９、Ｓ１１０、Ｓ１１１で検出された画像中の白線エッジの輝度勾配強度もモデル化して、画像中の白線の輝度勾配強度の分布の解析を行う。
ステップＳ１１４では、路面標示尤度算出部５ｊは、前段のステップＳ１１３で解析した輝度勾配強度の分布から、白線の信頼度として白線尤度を算出する。
【００６６】
ステップＳ１１５では、路面標示認識部５ｋは、前段までの処理で検出された画像中の白線エッジの位置と、路面標示尤度算出部５ｊで算出された白線の信頼度とに基づいて、車両の白線に対する位置・姿勢を認識する。そして、路面標示認識部５ｋは、それらの位置や姿勢の推定値を運転支援システム６に出力する。
【００６７】
このように、本実施形態に係る路面標示検出装置は、一つ遠方のスキャンラインの白線エッジを検出するための探索領域や、白線を検出するための判定基準となる閾値を更新して調整することによって、次回以降の探索において、反射波計測部２で得られた反射光データに基づく白線の位置から、撮像部１で撮像した画像中の白線の位置を高精度に検出することが可能になる。
【００６８】
（本実施形態の効果）
本実施形態によれば、以下のような効果を奏する。
（１）本実施形態に係る路面標示検出装置は、車両の周囲の路面領域の画像を撮像し、画像の画素の画像特徴量を算出し、車両の周囲の路面領域における電磁波を照射し、その反射波の反射強度を計測し、反射波の反射強度を用いて、路面標示の境界を検出し、車両の移動量を計測し、路面標示の境界と車両の移動量とを用いて、路面標示の位置の履歴を示す路面標示履歴位置を記憶し、路面標示履歴位置の画像上での位置を基準にして、画像における路面標示の探索領域を設定し、探索領域内の画像特徴量に基づいて、路面標示を検出して路面標示検出位置を求め、路面標示履歴位置と路面標示検出位置との差に基づき、車両から離れる方向への探索領域を調整する。
これにより、例えば車両にカメラとレーザーレンジファインダーを搭載し、カメラの画像からは画像特徴量（白線エッジ部分を含む）を算出し、レーザーレンジファインダーからは照射したレーザー光の点群の距離及び方位と反射強度を計測することができる。また、車輪速パルスセンサーや舵角センサー、若しくは慣性計測装置（ＩＭＵ）からの情報を基に、車両の移動量を算出することができる。更に、車両が移動しながらレーザーレンジファインダーで検出した路面標示点の点群データの位置を、車両の移動量に従って更新していくことで、車両を基準に、過去に検出した点群データの履歴位置を復元・記憶することもできる。そして、記憶された点群データの距離及び方位と反射強度に基づいて、白線等の路面標示の履歴位置を記憶し、その路面標示の履歴位置に対応する画像中での路面標示の位置を参照することができる。ここまでの構成で現時刻と過去に観測したレーザーレンジファインダーで検出した路面標示点の点群データから検出した路面標示の履歴位置に対応する画像中での位置を参照することができる。そして、その画像中で参照する位置から、画像特徴量を算出するための探索領域を設定することができる。
そして、その画像特徴量の探索領域では、一般に計測される車両の移動量は誤差があるため、レーザーレンジファインダーで検出した路面標示の履歴位置は遠方であるほど（観測された時刻が過去であるほど）、誤差が累積し、増加する傾向になるため、レーザーレンジファインダーで検出した路面標示履歴位置と、画像特徴量から求める路面標示検出位置とを、車両の近傍から順に対応付け、その位置の差に基づいて、探索領域の位置を逐次的に調整して設定することができる。したがって、レーザーレンジファインダーで検出した路面標示の履歴位置の位置ずれが生じた際の画像中の路面標示の誤検出及び非検出の発生率を低減することができる。
【００６９】
（２）本実施形態に係る路面標示検出装置は、車両の近傍から遠方に順次、路面標示履歴位置と路面標示検出位置との差を算出し、順次算出された差同士の変化量に基づき、探索領域を調整する。
これにより、レーザーレンジファインダーで検出した路面標示の履歴位置と画像で検出した路面標示位置の差は、遠方になるほど増加するが、その増え方はランダムに増加するのではなく、単調に増加することを利用して適切に画像特徴量の探索領域を調整することができる。また、レーザーレンジファインダーで検出した路面標示のうち、車両の近傍のものから遠方のものに逐次的に探索領域を調整することで、レーザーレンジファインダーで検出した路面標示の履歴位置から画像上の路面標示の位置を検出することができる。
【００７０】
（３）本実施形態に係る路面標示検出装置は、車両の移動量に応じて、探索領域を調整する。
これにより、車両の挙動に合わせて画像特徴量を算出する探索領域を適応的に変化させることができる。特に、車両に縦横ともに大きな加減速度が加わるときほど、計測される移動量の誤差が大きくなるため、探索領域のサイズを一定の値にした場合に、画像中の参照する位置がずれてしまい路面標示の画像特徴量が算出されない場合がある。そこで、車両の移動量に応じて探索領域を可変にすることで、そのような場合での誤検出及び非検出の発生率を低減することができる。
【００７１】
（４）本実施形態に係る路面標示検出装置は、画像における画像特徴量の平均に基づき、探索領域内から路面標示を検出するための画像特徴量の閾値を設定し、個々の画像特徴量と閾値とを比較することで、探索領域内から路面標示を検出して路面標示検出位置を求める。
これにより、レーザーレンジファインダーの反射強度が所定以上のもの、且つ、画像中での画像特徴量が所定以上のものを、画像全体の路面標示の検出のための「基準データ」として登録することで、画像から路面標示を検出する際の非検出・誤検出を削減することができる。
一般に画像は日照変化によって輝度値が変化するため、白線等の路面標示を検出するための閾値を一定にした場合に、非検出と誤検出が問題になる。レーザーレンジファインダーの反射強度を使用して路面標示のある位置を特定し、その周囲の画像中で輝度変化がある場所の画像特徴量を閾値とすることができるので、結果として適応的に閾値を変化させて、路面標示を検出することができる。
【００７２】
（５）本実施形態に係る路面標示検出装置は、探索領域内の画像特徴量の分布状態に基づいて、検出した路面標示の信頼度を算出し、路面標示検出位置と路面標示の信頼度とに基づいて、路面標示を認識する。
これにより、これまでに検出した路面標示の画像特徴量の特徴量空間上の分布を平均、分散等の統計量でモデル化し、それらの値を用いて、新たに検出した路面標示の画像特徴量に対して重みを付加することができる。車線認識ロジックは、白線候補点の検出（主に本実施形態に相当）の処理と、種々のモデル最適化（最小二乗法等）の処理とで構成されるが、線候補点の分布に従って車線内での車両の位置をモデル化し、これを最適化することで、車線内での車両の位置を推定することができる。このとき、個々の点群に対して正解データの分布中心に近いものほど信頼度（＝重み）を与えるようにすることで、最適化の精度を向上させることができる。
【００７３】
＜その他実施形態＞
上記のように、本発明は第１実施形態によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替の実施形態、実施例及び運用技術が明らかとなろう。
このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の変更があっても本発明の技術的範囲に含まれる。
【符号の説明】
【００７４】
Ａ  車両
１  撮像部
２  反射波計測部
３  自車情報取得部
５  制御装置
５ａ  画像特徴量算出部
５ｂ  路面標示境界検出部
５ｃ  車両移動量計測部
５ｄ  路面標示履歴位置記憶部
５ｅ  路面標示位置推定部
５ｆ  初期探索領域設定部
５ｇ  路面標示位置検出部
５ｈ  探索領域更新部
５ｉ  特徴量基準更新部
５ｊ  路面標示尤度算出部
５ｋ  路面標示認識部
６  運転支援システム
【図１】
0006458651.tif 000002
【図２】
0006458651.tif 000003
【図３】
0006458651.tif 000004
【図４】
0006458651.tif 000005
【図５】
0006458651.tif 000006
【図６】
0006458651.tif 000007
【図７】
0006458651.tif 000008
【図８】
0006458651.tif 000009
【図９】
0006458651.tif 000010
【図１０】
0006458651.tif 000011
【図１１】
0006458651.tif 000012
【図１２】
0006458651.tif 000013
【図１３】
0006458651.tif 000014
【図１４】
0006458651.tif 000015
【図１５】
0006458651.tif 000016