(57)【要約】【課題】通常よりも細い白線が出現するような走行環境においても、適正に白線を認識する。【解決手段】白線開始点の水平方向の位置座標と白線終了点の水平方向の位置座標との差を白線候補点幅Ｗとして算出し（Ｓ２０１）、現在の白線幅閾値ＷＤと比較する（Ｓ２０２）。その結果、Ｗ＞ＷＤの場合には、白線幅閾値ＷＤを初期値ＷＤ0に保持して（Ｓ２０３）、Ｗ≦ＷＤの場合、白線幅閾値ＷＤ未満の白線候補点の数の割合Ｒが設定値Ｈ以上か否かを調べ（Ｓ２０４）、Ｒ＜Ｈの場合、現在の白線幅閾値ＷＤに第１の閾値ＷＤ1（ＷＤ1＜ＷＤ0）をセットし（Ｓ２０５）、Ｒ≧Ｈの場合、現在の白線幅閾値ＷＤに第２の閾値ＷＤ2（ＷＤ2＜ＷＤ1）をセットする（Ｓ２０６）。これにより、通常よりも細い白線が出現するような走行環境においても適正に白線を認識することが可能となる。【選択図】図７
2014186646.tif 000002
【特許請求の範囲】
【請求項１】
自車走行環境を撮像した画像上の水平方向に設定した複数の探索ライン上での輝度変化に基づいて、白線開始点及び白線終了点の点群を白線候補点として検出する白線候補点検出部と、
前記白線開始点と前記白線終了点との水平方向の位置の差を、白線候補点幅として算出する白線候補点幅算出部と、
前記白線候補点幅に対する閾値を、前記白線候補点の点群の配列状態に応じて動的に可変設定する白線幅閾値設定部と、
前記白線候補点幅を前記閾値と比較して、前記白線候補点から白線点群を選別する白線点群選別部と、
前記選別した白線点群に基づいて白線を算出する白線算出部と
を備えることを特徴とする車両用白線認識装置。
【請求項２】
前記白線幅閾値設定部は、前記白線幅閾値未満の前記白線候補点の数の割合に応じて、前記白線幅閾値を複数の異なる値に切り換え設定することを特徴とする請求項１記載の車両用白線認識装置。
【請求項３】
前記白線幅閾値は、通常の白線よりも細い仮白線を認識対象とする閾値を含むことを特徴とする請求項１又は２記載の車両用白線認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮像した画像に基づいて道路の白線を認識する車両用白線認識装置に関する。
【背景技術】
【０００２】
近年、車両の安全性の向上を図るため、積極的にドライバの運転操作を支援する運転支援装置が開発されている。この運転支援装置では、自車前方の撮像画像等に基づいて道路の白線を認識し、認識した白線に基づいて自車走行レーンを推定する等して車線逸脱防止等の運転支援機能を実現している。
【０００３】
このような画像認識による白線検出は、特許文献１に開示されているように、路面画像中から輝度が変化するエッジ点を検出し、これらの各エッジ点の点群からハフ変換等により白線候補線を求め、自車走行レーンを区画する白線とするのが一般的である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２１７４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像から求めた白線候補線が適正に白線と認められるためには、特許文献１に開示されているように、輝度や路面とのコントラストから定められる閾値や白線幅の閾値の条件を満たすことが必要である。
【０００６】
しかしながら、工事等により通常の白線が失われ、通常よりも細い仮の白線が所定区間に渡って暫定的に引かれているような状況では、通常の白線幅の閾値を一義的に適用すると、細い仮白線を形成する点群がノイズ等であると誤判定されてしまい、白線が認識されない状態が継続して白線認識結果に基づく車両制御に支障をきたしてしまう。
【０００７】
本発明は上記事情に鑑みてなされたもので、通常よりも細い白線が出現するような走行環境においても、適正に白線を認識することのできる車両用白線認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明による車両用白線認識装置は、自車走行環境を撮像した画像上の水平方向に設定した複数の探索ライン上での輝度変化に基づいて、白線開始点及び白線終了点の点群を白線候補点として検出する白線候補点検出部と、前記白線開始点と前記白線終了点との水平方向の位置の差を、白線候補点幅として算出する白線候補点幅算出部と、前記白線候補点幅に対する閾値を、前記白線候補点の点群の配列状態に応じて動的に可変設定する白線幅閾値設定部と、前記白線候補点幅を前記閾値と比較して、前記白線候補点から白線点群を選別する白線点群選別部と、前記選別した白線点群に基づいて白線を算出する白線算出部とを備える。
【発明の効果】
【０００９】
本発明によれば、通常よりも細い白線が出現するような走行環境においても、適正に白線を認識することができ、白線認識結果に基づく車両制御への影響を未然に回避することができる。
【図面の簡単な説明】
【００１０】
【図１】車両用運転支援装置の概略構成図
【図２】白線幅の変化を示す説明図
【図３】白線認識ルーチンを示すフローチャート
【図４】白線開始点及び白線終了点での輝度及び輝度の微分値の推移を示す説明図
【図５】ハフ変換の算出方法を示す説明図
【図６】ハフ平面の説明図
【図７】白線幅閾値設定ルーチンを示すフローチャート
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態を説明する。  
図１において、符号１は自動車等の車両（自車両）であり、この車両１には、車載カメラで撮像した画像を処理して外部環境を認識し、その認識結果に基づいてドライバに対する各種運転支援を行う運転支援システム２が搭載されている。この運転支援システム２は、車載カメラ３、画像処理エンジン４、制御ユニット５等を主要部として構成されている。
【００１２】
車載カメラ３は、本実施の形態においては、対象物を異なる視点から撮像するステレオカメラであり、例えばＣＣＤやＣＭＯＳ等のイメージセンサを有する複数台のカメラで構成されている。以下では、車載カメラ３をステレオカメラ３と記載する。このステレオカメラ３としては、シャッタースピード可変で互いに同期した左右２台のカメラを用い、互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定した上で、例えば画像処理エンジン４と一体化する等してユニット化している。このステレオカメラ３は、例えば車室内の天井前方に取り付けられて車外の対象を異なる視点からステレオ撮像し、画像データを画像処理エンジン４に出力する。
【００１３】
尚、以下の説明において、ステレオ撮像された一対の元画像のうち、一方の画像（例えば、右側の画像）を基準画像と称し、他方の画像（例えば、左側の画像）を比較画像と称する。
【００１４】
画像処理エンジン４は、先ず、基準画像を例えば４×４画素の小領域に分割し、それぞれの小領域の輝度或いは色のパターンを比較画像と比較して対応する領域を探索して領域毎の左右画像の画素ずれ量（視差）を求め、この画素ずれ量を距離情報として備えた分布画像（距離画像）を生成する。この距離画像上の点は、三角測量の原理から、自車両の車幅方向すなわち左右方向をＸ軸、車高方向をＹ軸、車長方向すなわち距離方向をＺ軸とする実空間上の点に座標変換される。画像処理エンジン４は、撮像画像とその距離情報に基づいて、自車前方の道路の白線、側壁、立体物等を認識し、認識した各データに、それぞれ異なるＩＤを割り当て、これらをＩＤ毎にフレーム間で連続して監視し、自車両１前方の走行環境情報として制御ユニット５に送信する。
【００１５】
制御ユニット５には、画像処理エンジン４からの走行環境情報に加えて、自車両１の状態を検出する各種センサ類からの信号が入力される。自車両１に備えられるセンサ類としては、自車速を検出する車速センサ１１、ヨーレートを検出するヨーレートセンサ１２、運転支援制御の各機能のＯＮ−ＯＦＦ切換等を行うメインスイッチ１３、ステアリングホイールに連結するステアリング軸に対設されて舵角を検出する舵角センサ１４、ドライバによるアクセルペダル踏込量（アクセル開度）を検出するアクセル開度センサ１５等が備えられ、これらのセンサ類からの信号が制御ユニット５に入力される。
【００１６】
そして、例えば、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つであるＡＣＣ（Adaptive Cruise Control）機能の実行が指示されると、制御
ユニット５は、画像処理エンジン４で認識した先行車方向を読み込み、自車走行路上に、追従対象の先行車が走行しているか否かを識別する。その結果、追従対象の先行車が検出されない場合は、スロットル弁１６の開閉制御（エンジンの出力制御）を通じて、ドライバが設定したセット車速に自車両１の車速を維持させる定速走行制御を実行する。
【００１７】
一方、追従対象車両である先行車が検出され、且つ、当該先行車の車速がセット車速以下の場合は、先行車との車間距離を目標車間距離に収束させた状態で追従する追従走行制御が実行される。この追従走行制御時において、制御ユニット５は、基本的にはスロットル弁１６の開閉制御（エンジンの出力制御）を通じて、先行車との車間距離を目標車間距離に収束させる。さらに、先行車の急な減速等によりスロットル弁１６の制御のみでは十分な減速度が得られないと判断した場合、制御ユニット５は、アクティブブースタ１７からの出力液圧の制御（ブレーキの自動介入制御）を併用し、車間距離を目標車間距離に収束させる。
【００１８】
また、ドライバによるメインスイッチ１３の操作を通じて、運転支援制御の機能の１つである車線逸脱防止機能の実行が指示されると、制御ユニット５は、例えば、自車走行レーンを規定する左右の白線に基づいて警報判定用ラインを設定するとともに、自車両１の車速とヨーレートとに基づいて自車進行経路を推定する。そして、制御ユニット５は、例えば、自車前方の設定距離（例えば、１０〜１６［ｍ］）内において、自車進行経路が左右何れかの警報判定用ラインを横切っていると判定した場合、自車両１が現在の自車走行車線を逸脱する可能性が高いと判定し、車線逸脱警報を行う。
【００１９】
このような制御ユニット５による運転支援制御は、白線認識装置としての画像処理エンジン４による白線の認識結果を基本としている。本実施の形態における白線とは、道路上に延在して自車走行レーンを区画する線を総称するものであり、各線の形態としては、実線、破線等を問わず、さらに、黄色線等をも含む。また、本実施の形態における白線認識においては、道路上に実在する白線が二重白線等であっても、左右それぞれ単一の直線或いは曲線等で近似して認識するものとする。
【００２０】
画像処理エンジン４は、白線の認識に際して、画像上に設定された白線検出領域内において、水平方向（車幅方向）に設定した複数の探索ライン上で輝度が所定以上変化するエッジの検出を行うことで、探索ライン毎に１組の白線開始点Ｐｓ及び白線終了点Ｐｅを検出する。具体的には、画像処理エンジン４は、例えば、基準画像上に設定された左右の各白線検出領域内において、各探索ライン上で車幅方向内側から外側に向けて各画素の輝度値の変化を調べることによりエッジ点を検出し、検出したエッジ点に基づいて、探索ライン毎に左右各１組の白線開始点Ｐｓ及び白線終了点Ｐｅを白線候補の点群として検出する。そして、画像処理エンジン４は、白線候補の点群から直線成分を算出し、自車走行レーンを規定する左右の白線として制御ユニット５に出力する。
【００２１】
このとき、画像処理エンジン４は、白線開始点Ｐｓと白線終了点Ｐｅとの幅に対する閾値を用いて白線候補点の認識対象としての妥当性を評価するようにしており、この閾値（白線幅閾値）を、白線候補点の配列状態の変化に対応して動的に変更するようにしている。これにより、道路の工事等で通常の白線よりも細い仮白線が暫定的に引かれているような走行環境においても、細い白線を除外することなく適正に認識することが可能となり、白線認識結果に基づく制御を中断することなくドライバに対する運転支援を継続することが可能となる。
【００２２】
このため、画像処理エンジン４は、白線候補点検出部、白線候補点幅算出部、白線幅閾値設定部、白線点群選別部、白線算出部の各機能部を備えている。このような機能部を有する画像処理エンジン４は、自車走行環境を撮像した画像上の水平方向に設定した複数の探索ライン上での輝度変化に基づいて白線開始点及び白線終了点の点群を白線候補点として検出し（白線候補点検出部）、白線開始点と白線終了点との水平方向の位置の差を白線候補点幅として算出する（白線候補点幅算出部）。
【００２３】
更に、画像処理エンジン４は、白線候補点幅に対する閾値（白線幅閾値）を、白線候補点の点群の配列状態に応じて動的に可変設定する（白線幅閾値設定部）。すなわち、図２に示すように、工事等により道路上の通常の太さの白線ＷＬnormalが失われ、図中に破線で示す区間以降に通常よりも細い仮白線ＷＬtempが暫定的に描かれているような状況では、白線候補点が現在の白線幅閾値よりも狭い幅で所定区間に渡って連続的に配列されることになり、従来のように白線幅閾値を一義的に設定するのみでは、ノイズ等と誤判定されてしまう。従って、このような状況では、白線候補点幅が現在の白線幅閾値よりも小さい白線候補点の割合を評価し、その評価結果に応じて白線幅閾値を現在の値よりも小さい値に変更する等して白線認識を継続させ、運転支援機能の停止を回避する。
【００２４】
この場合、白線幅閾値の変更は、予め設定した複数の異なる閾値を切り換えるようにしても良く、或いは白線幅閾値よりも小さい白線候補点の割合に応じて現在の閾値を増減するようにしても良い。そして、画像処理エンジン４は、白線候補点幅を白線幅閾値と比較して白線候補点から白線を構成する点群すなわち白線点群を選別し（白線点群選別部）、白線点群に基づいて白線を算出する（白線算出部）。
【００２５】
以下、画像処理エンジン４の白線認識に係る処理について、図３，図７のフローチャートを用いて説明する。  
図３のフローチャートは、白線認識のメイン処理である白線認識ルーチンを示し、このルーチンがスタートすると、画像処理エンジン４は、白線候補点検出部の機能により、最初のステップＳ１０１において白線開始点Ｐｓの検出を行い、続くステップＳ１０２において白線終了点Ｐｅの検出を行う。すなわち、画像処理エンジン４は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線（或いは、舵角等から推定される自車進行方向）を基準とする車幅方向内側から外側に向けて、各探索ライン上でのエッジ検出を行い、白線開始点Ｐｓを示すエッジ点の探索を行う。
【００２６】
具体的には、画像処理エンジン４は、例えば、図４に示すように、車幅方向内側から外側への探索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に高く、且つ、その変化量を示す輝度の微分値がプラス側の設定閾値以上となる点（エッジ点）を白線開始点Ｐｓとして検出する。ここで、演算を簡素化するため、画像処理エンジン４は、各探索ライン上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点（すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点）のみを白線開始点Ｐｓとして検出する。
【００２７】
また、白線終了点Ｐｅの検出では、画像処理エンジン４は、例えば、基準画像上に設定された左右の各白線検出領域内において、画像中心線（或いは、舵角等から推定される自車進行方向）を基準として車幅方向内側から外側に向けて、各探索ライン上でのエッジ検出を行い、白線終了点Ｐｅを示すエッジ点の探索を行う。
【００２８】
具体的には、例えば、図４に示すように、車幅方向内側から外側への検索において、車幅方向外側の画素の輝度が内側の画素の輝度に対して相対的に低く、且つ、その変化量を示す輝度の微分値がマイナス側の設定閾値以下となる点（エッジ点）を白線終了点Ｐｅとして検出する。ここで、演算を簡素化するため、画像処理エンジン４は、各探索ライン上の車幅方向内側から車幅方向外側への探索において、前述の要件に基づいて最初に検出したエッジ点（すなわち、前述の要件に基づいて最も車幅方向内側で検出したエッジ点）のみを白線終了点Ｐｅとして検出する。
【００２９】
尚、本実施の形態において、上述のステップＳ１０１及びステップＳ１０２で検出される各白線開始点Ｐｓ及び各白線終了点Ｐｅには、距離画像上で対応する距離情報がそれぞれ付与される。
【００３０】
次に、ステップＳ１０３へ進み、画像処理エンジン４は、白線候補点幅算出部及び白線幅閾値設定部としての機能を実現する図７の白線幅閾値設定ルーチンを実行して白線幅閾値ＷＤを設定する。この白線幅閾値設定ルーチンについては後述するが、本実施の形態においては、白線幅閾値ＷＤは、予め設定した３段階の閾値ＷＤ0,ＷＤ1,ＷＤ2（ＷＤ0＞ＷＤ1＞ＷＤ2）を適宜切り換えるようにしている。
【００３１】
その後、ステップＳ１０４において、画像処理エンジン４は、白線点群選別部としての機能により、白線候補点幅を白線幅閾値と比較して、白線幅閾値以上の候補点から白線算出の対象とする白線点群を選別する。この白線点群は、例えば、白線開始点Ｐｓの点群から選別しても良く、白線開始点Ｐｓと白線終了点Ｐｅとの中間点を算出して中間点の点群から選別するようにしても良い。尚、この場合、白線幅の条件に加えて、ばらつきの条件等を加え、白線候補点幅が閾値以上で且つばらつきが小さい点群を、白線点群として選別することが望ましい。
【００３２】
続くステップＳ１０５において、画像処理エンジン４は、白線算出部としての機能により、白線点群から白線を算出する処理を行う。本実施の形態においては、画像処理エンジン４は、白線の算出処理を白線点群からハフ変換によって直線成分を取得する処理として実行する。以下では、ハフ変換によって直線成分を求める例について説明するが、最小二乗法を用いて直線成分を求めるようにしても良い。
【００３３】
白線点群を構成する点をＰと略称して具体的に説明すると、画像処理エンジン４は、例えば、図５に示すように、点群を構成する各点Ｐそれぞれに対し、点Ｐ（ｘ，ｚ）を通る直線Ｌｈの傾きθを０°から１８０°まで所定の角度Δθ毎変化させ、以下の（１）式に基づいて、各θにおける原点Ｏから直線Ｌｈまでの距離（垂線の長さ）ρを求める。  
ρ＝ｘ・ｃｏｓθ＋ｚ・ｓｉｎθ  …（１）
【００３４】
そして、画像処理エンジン４は、各点Ｐについて求めた各θとρの関係を、例えば図６に示すハフ平面（θ，ρ）上の該当箇所に度数として投票（投影）する。さらに、画像処理エンジン４は、ハフ平面（θ，ρ）上の度数が最も大きくなるθとρの組み合わせを抽出し、当該θとρを用いて（１）式で規定されるハフ直線Ｌｈ(Ｈ)を、点群を近似する直線成分として算出し、この直線成分を自車走行レーンを区画する白線として出力する。
【００３５】
次に、図７の白線幅閾値設定ルーチンについて説明する。  
画像処理エンジン４は、最初のステップＳ２０１において、白線開始点Ｐｓの水平方向の位置座標と白線終了点Ｐｅの水平方向の位置座標との差を、白線候補点幅Ｗとして算出し、次に、ステップＳ２０２において、白線候補点幅Ｗと現在の白線幅閾値ＷＤとを比較し、白線候補点幅Ｗが白線幅閾値ＷＤ以下か否かを調べる。この白線幅閾値ＷＤは、最初は、一般的な白線の幅を想定した初期値ＷＤ0（例えば、ＷＤ0＝１０ｃｍ）にセットされている。
【００３６】
その結果、ステップＳ２０２において、Ｗ＞ＷＤの場合には、ステップＳ２０２からステップＳ２０３へ進んで白線幅閾値ＷＤを初期値ＷＤ0に保持して本処理を抜け、Ｗ≦ＷＤの場合、ステップＳ２０４で、白線候補点として検出した点群のうち、白線幅閾値ＷＤ未満の候補点の数の割合Ｒを算出し、その割合Ｒが設定値Ｈ以上か否かを調べる。設定値Ｈは、現在の白線幅閾値ＷＤよりも細いものの、白線を構成する候補点が連続的に配列されているとみなせる割合であり、例えば、Ｈ＝７０％程度に設定されている。
【００３７】
ステップＳ２０４においてＲ＜Ｈであり、白線幅閾値ＷＤ未満の候補点の数の割合Ｒが設定値Ｈよりも小さい場合には、ステップＳ２０４からステップＳ２０５へ進み、現在の白線幅閾値ＷＤに第１の閾値ＷＤ1をセットして本ルーチンを抜ける。第１の閾値ＷＤ1は、一般的な白線幅よりも若干細い白線を認識対象とするための閾値であり、例えば、ＷＤ1＝８ｃｍに設定されている。
【００３８】
一方、ステップＳ２０４においてＲ≧Ｈであり、白線幅閾値ＷＤ未満の候補点の数の割合Ｒが設定Ｈよりも大きい場合には、ステップＳ２０４からステップＳ２０６へ進み、現在の白線幅閾値ＷＤに第２の閾値ＷＤ2をセットして本ルーチンを抜ける。第２の閾値ＷＤ2は、工事等で引かれる細い仮白線を認識対象とするための閾値であり、例えば、ＷＤ2＝５ｃｍに設定されている。
【００３９】
尚、白線幅閾値ＷＤを切り換える設定値Ｈに複数の値を設定しておき、白線幅閾値ＷＤにセットする閾値をＷＤ0,ＷＤ1,ＷＤ2の３段階よりも細かくするようにしても良い。
【００４０】
そして、白線幅閾値ＷＤが第１の閾値ＷＤ1又は第２の閾値ＷＤ2にセットされた後、Ｗ＜ＷＤである白線候補点の割合Ｒが設定値Ｈ未満の場合には、白線幅閾値ＷＤが現在の値に保持され、割合Ｒが設定値Ｈ以上となった場合、現在の白線幅閾値ＷＤが第１の閾値ＷＤ1であれば、より小さい第２の閾値ＷＤ2に変更されてより細い白線を認識対象として処理が継続され、現在の白線幅閾値ＷＤが第２の閾値ＷＤ2である場合には、第２の閾値ＷＤ2が保持される。一方、白線候補点幅Ｗが白線幅閾値ＷＤ以上になった場合には、白線幅閾値ＷＤが初期値ＷＤ0にリセットされ、この初期値ＷＤ0を用いての白線認識が続行される。
【００４１】
このように本実施の形態においては、道路上で検出した白線開始点と白線終了点との白千候補点の幅が現在の白線幅閾値よりも小さい場合、白線候補点の点群の配列状態に応じて白線幅閾値を動的に変更し、一般的な白線幅よりも細い白線を認識対象とする。これにより、通常よりも細い白線が所定区間に渡って出現するような走行環境においても、適正に白線を認識することが可能となり、白線認識結果に基づく運転支援制御に支障をきたすことがない。
【００４２】
尚、上述の実施の形態においては、ステレオ撮像された一対の画像に基づいて白線認識を行う場合の一例について説明したが、本発明はこれに限定されるものではなく、単眼のカメラ等で撮像された画像に基づいて白線認識を行っても良いことは勿論である。
【符号の説明】
【００４３】
１  車両
２  運転支援システム
３  ステレオカメラ
４  画像処理エンジン（白線候補点検出部、白線候補点幅算出部、白線幅閾値設定部、白線点群選別部、白線算出部）
５  制御ユニット
Ｐｓ  白線開始点
Ｐｅ  白線終了点
Ｗ  白線候補点幅
ＷＤ  白線幅閾値
ＷＤ0  初期値
ＷＤ1  第１の閾値
ＷＤ2  第２の閾値
【図１】
2014186646.tif 000003
【図２】
2014186646.tif 000004
【図３】
2014186646.tif 000005
【図４】
2014186646.tif 000006
【図５】
2014186646.tif 000007
【図６】
2014186646.tif 000008
【図７】
2014186646.tif 000009