(57)【特許請求の範囲】
【請求項１】
車両前方を撮影する撮像装置（２１）が搭載された車両に適用され、
前記撮像装置により取得した画像（４０）に基づいて、前記車両の走行車線を区画する走行区画線（４２）を認識する区画線認識手段と、
前記区画線認識手段により認識した走行区画線に基づいて、前記区画線認識手段により認識できなかった範囲の前記走行区画線の形状を推定する区画線推定手段と、
前記区画線認識手段により認識した走行区画線の信頼度を判定する信頼度判定手段と、
前記信頼度判定手段による判定結果に基づいて、前記区画線推定手段による前記走行区画線の形状の推定を無効とする推定無効手段と、
を備えることを特徴とする区画線認識装置。
【請求項２】
前記車両の速度を検出する車速検出手段（２３）を備え、
前記信頼度判定手段は、前記車速検出手段により検出した速度が所定の低車速判定値以下であるか否かを判定し、
前記推定無効手段は、前記信頼度判定手段により前記車両の速度が前記所定の低車速判定値以下であると判定された場合に、前記区画線推定手段による前記走行区画線の推定を無効とする請求項１に記載の区画線認識装置。
【請求項３】
前記車両の旋回の状態を検出する旋回検出手段（２２、２４）を備え、
前記信頼度判定手段は、前記旋回検出手段により前記車両が前記走行区画線に対して所定角速度よりも大きく旋回している所定の旋回状態にあるか否かを判定し、
前記推定無効手段は、前記信頼度判定手段により前記車両が前記所定の旋回状態にあると判定された場合に、前記区画線推定手段による前記走行区画線の推定を無効とする請求項１又は２に記載の区画線認識装置。
【請求項４】
前記信頼度判定手段は、前記車両の前方において前記走行区画線の幅の変動があるか否かを判定し、
前記推定無効手段は、前記信頼度判定手段により前記走行区画線の幅の変動有りと判定された場合に、前記区画線推定手段による前記走行区画線の推定を無効とする請求項１〜３のいずれか一項に記載の区画線認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、区画線認識装置に関し、詳しくは、車両前方を撮影する撮像装置が搭載された車両に適用される区画線認識装置に関する。
【背景技術】
【０００２】
車両の走行支援制御としては、自車両と同一の車線上を走行する車両を先行車として選択し、該選択した先行車に追従して走行するアダプティブクルーズコントロールシステムや、車両が左右の走行区画線から逸脱しないように車両の走行を制御するレーンキーピングアシスト等の各種制御が知られている。
【０００３】
こうした走行支援制御では、車両にカメラを搭載し、車両の前方を撮影して走行区画線を認識するとともに、認識した走行区画線を用いて車両の走行を制御することが行われている（例えば、特許文献１参照）。特許文献１に記載の装置では、カメラで撮影された画像内の走行区画線から、走行路の屈曲度合いを示すクロソイドパラメータを算出し、その算出したクロソイドパラメータを用いて、走行路における車両の将来の挙動を予測することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１０５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、撮像装置で撮影した画像から認識した走行区画線の形状に基づいて、走行区画線の認識区間よりも遠方の走行区画線の形状を推定することにより、画像により認識できなかった遠距離の走行区画線に関する情報を利用した車両走行制御が可能となる。その一方で、画像から認識した走行区画線の認識精度が低い場合、推定により求めた遠距離の白線形状と、実際の白線形状とのずれが大きくなる。かかる場合、走行区画線の形状に基づく車両走行制御の制御性が低下するおそれがある。
【０００６】
本発明は上記課題に鑑みなされたものであり、画像による認識範囲外の走行区画線について、推定精度の高い結果を車両走行制御で使用できるようにすることができる区画線認識装置を提供することを一つの目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するために、以下の手段を採用した。
【０００８】
本発明は、車両前方を撮影する撮像装置（２１）が搭載された車両に適用される区画線認識装置に関する。請求項１に記載の発明は、前記撮像装置により取得した画像（４０）に基づいて、前記車両の走行車線を区画する走行区画線（４２）を認識する区画線認識手段と、前記区画線認識手段により認識した走行区画線に基づいて、前記区画線認識手段により認識できなかった範囲の前記走行区画線の形状を推定する区画線推定手段と、前記区画線認識手段により認識した前記走行区画線の信頼度を判定する信頼度判定手段と、前記信頼度判定手段による判定結果に基づいて、前記区画線推定手段による前記走行区画線の形状の推定を無効とする推定無効手段と、を備えることを特徴とする。
【０００９】
上記構成では、画像に基づき認識した走行区画線の信頼度に基づいて、画像では認識できなかった範囲の走行区画線の形状の推定を無効とする構成とした。画像により認識した走行区画線を用いて、画像では認識できなかった範囲の走行区画線の形状を推定する場合、認識した走行区画線の信頼度が低いと推定精度が低下し、走行支援制御の制御性に影響を及ぼすことが考えられる。この点に鑑み上記構成とすることにより、推定精度の低い走行区画線の結果を用いた車両走行制御が行われることを抑制することができ、ひいては、車両の走行支援制御の制御性を良好にすることができる。
【図面の簡単な説明】
【００１０】
【図１】区画線認識システムの概略構成を示すブロック図。
【図２】白線認識処理の処理手順を示すフローチャート。
【図３】先行車両との車間距離が異なる２つの画像を表す図。
【図４】無効化処理の処理手順を示すフローチャート。
【図５】信頼度判定処理の処理手順を示すフローチャート。
【発明を実施するための形態】
【００１１】
以下、区画線認識装置を具体化した実施形態について、図面を参照しつつ説明する。本実施形態の区画線認識装置は、車両に搭載され、車両の走行車線を区画する走行区画線としての白線を認識するものである。区画線認識装置で認識した白線に関する情報（白線情報）は、自車両の前方を走行する前方車両のうち、自車両と同一の車線上を走行する車両としての先行車両に追従して走行するアダプティブクルーズコントロールや、車両が走行区画線から逸脱しないように車両の走行を制御するレーンキーピングアシスト等の走行支援制御に用いられる。まずは、本実施形態の区画線認識装置の概略構成について図１を用いて説明する。
【００１２】
図１において、区画線認識装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ等を備えたコンピュータであり、ＣＰＵが、ＲＯＭにインストールされているプログラムを実行することで各機能を実現する。車両（自車両）には、車両周囲に存在する物体を検知する物体検知手段としての撮像装置２１が搭載されている。区画線認識装置１０は、撮像装置２１で撮影された画像を入力し、その入力した画像を用いて白線情報を作成する。
【００１３】
撮像装置２１は車載カメラであり、ＣＣＤカメラやＣＭＯＳイメージセンサ、近赤外線カメラ等で構成されている。撮像装置２１は、自車両の走行道路を含む周辺環境を撮影し、その撮影した画像を表す画像データを生成して区画線認識装置１０に逐次出力する。撮像装置２１は、自車両の例えばフロントガラスの上端付近に設置されており、撮像軸を中心に車両前方に向かって所定の撮影角度δ１の範囲で広がる領域を撮影する。なお、撮像装置２１は単眼カメラであってもよく、ステレオカメラであってもよい。
【００１４】
区画線認識装置１０は、撮像装置２１からの画像データを入力するとともに、車両に設けられた各種センサの検出信号をそれぞれ入力する。各種センサとしては、車両の旋回方向への角速度（ヨーレート）を検出するヨーレートセンサ２２、車速を検出する車速センサ２３、操舵角を検出する操舵角センサ２４などが設けられている。
【００１５】
区画線認識装置１０は、白線認識部１１と、白線推定部１２とを備えている。白線認識部１１は、撮像装置２１で撮影された画像内に位置する白線を認識する。白線推定部１２は、白線認識部１１で認識した白線に関する情報を用いて、白線認識部１１で認識できなかった範囲の白線の形状、つまり白線認識部１１による白線認識範囲よりも遠方の白線の形状を推定する。
【００１６】
図２は、区画線認識装置１０で実行される白線認識処理の処理手順を示すフローチャートである。この処理は、区画線認識装置１０のＣＰＵにより所定の制御周期で繰り返し実行される。
【００１７】
図２において、ステップＳ１０では、撮像装置２１で撮影された画像を取得する。続くステップＳ１１では、取得した画像中の道路画像の輝度情報に基づきエッジ点Ｐを抽出し、ステップＳ１２で、抽出したエッジ点Ｐに対してハフ変換を行う。ここでは、エッジ点Ｐが複数個連続して並ぶ直線又は曲線の抽出を行う。続くステップＳ１３では、抽出した直線又は曲線を白線候補としてそれらの特徴量を算出し、ステップＳ１４で、白線候補の中から、車両の進行方向へと延びる一対の直線又は曲線を特徴量を用いて絞り込む。
【００１８】
続いて、ステップＳ１５では、エッジ点Ｐの鳥瞰変換を行う。具体的には、絞り込んだ白線候補のエッジ点Ｐに対して、撮像装置２１の取り付け位置及び取り付け角度を用いて座標変換を行い、平面図へと変換する。なお、得られた平面図において白線が位置する範囲が「白線認識範囲」である。すなわち、撮像装置２１により撮影された画像によれば、自車両から近距離Ｄ１までの白線形状を認識可能であり、認識した白線における自車両から最も離間した位置が白線認識範囲の端部となる。平面図は、自車両の車幅方向をＸ軸、車両の進行方向をＹ軸とする自車両中心の直交座標系となる。
【００１９】
続くステップＳ１６では、平面図へと変換された白線形状を特定するパラメータである白線パラメータη（例えば、白線の位置、白線の傾き、白線幅、白線の曲率、曲率変化率等）を推定する。白線パラメータηの推定は、平面図へと変換された白線形状を多項式（白線モデル）により近似することにより行う。
【００２０】
続いて、ステップＳ１７では、白線パラメータηによる外挿により、白線認識範囲外の白線、つまり近距離Ｄ１よりも遠方の白線（以下「遠方白線」ともいう。）の形状を推定する。遠方白線の形状の推定は、白線パラメータηを用いた白線モデルにより行い、例えば白線の曲率及び曲率変化率（クロソイドパラメータ）の少なくとも１つを用いて行う。なお、白線モデルは多項式による近似であってもよく、テーブル等であってもよい。推定した白線の白線パラメータを記憶し、本ルーチンを終了する。
【００２１】
図１の説明に戻り、白線認識部１１が認識した白線に関する情報、及び白線推定部１２で推定した遠方白線に関する情報は、車両制御装置３０へ入力される。車両制御装置３０は、アダプティブクルーズコントロール機能や、レーンキーピングアシスト機能等の走行支援制御を実現する。
【００２２】
具体的には、アダプティブクルーズコントロール機能では、自車両の車速を設定車速で制御するとともに、自車両と先行車両との間の車間距離を、自車両の車速に応じた距離で制御する。具体的には、自車両の前方に存在する前方車両の移動軌跡と、白線認識部１１が認識した白線形状及び白線推定部１２で推定した遠方白線の形状とを比較する。そして、前方車両の移動軌跡が白線形状及び遠方白線の形状に沿っている場合には、前方車両の移動軌跡を自車両の将来の予測進路とする。また、その予測進路に基づいて、自車両が追従するべき先行車両を選定するとともに、その選定した先行車両に追従するためのエンジン制御及びブレーキ制御を実施する。
【００２３】
なお、アダプティブクルーズコントロールにおける自車両の将来の進路予測方法は上記に限らず、例えば白線認識部１１が認識した白線形状及び白線推定部１２で推定した遠方白線の形状を自車両の将来の予測進路とする方法などが挙げられる。白線認識部１１が認識した白線に関する情報、及び白線推定部１２で推定した遠方白線に関する情報が、区画線認識装置で認識した白線に関する情報（白線情報）に相当する。
【００２４】
また、レーンキーピングアシスト機能では、例えば車速及びヨーレートにより自車両の将来の位置を予測し、その予測した将来の位置と白線形状及び遠方白線形状とを用いて、自車両が白線を逸脱するおそれがあるか否かを判定する。自車両が白線を逸脱するおそれがあると判定された場合には、車載ディスプレイに警告表示を行ったり、警告音で報知したりする。また、車両制御装置３０が運転補助機能を有しているシステムでは、自車両が白線を逸脱するおそれがあると判定された場合にステアリングに操舵力を加える。
【００２５】
ここで、撮像装置２１で認識した近距離Ｄ１までの白線形状を用いて、近距離Ｄ１よりも遠方の白線形状を推定する場合、撮像装置２１で認識した白線形状の精度が低いと、近距離Ｄ１よりも遠方の白線形状の推定精度が低下する。特に、白線モデルによって遠方白線の形状を推定する場合には、画像から認識した白線形状の演算誤差が白線モデルの誤差によって増幅され、推定精度が低下しやすい。かかる場合、推定した白線形状と実際の白線形状との乖離が大きくなり、走行支援制御の制御性が低下することが考えられる。
【００２６】
その点に鑑み、本実施形態では、白線認識部１１で認識した白線の信頼度（確からしさ）である白線信頼度を判定し、その判定結果に基づいて、白線推定部１２による白線形状の推定を無効とすることとしている。本実施形態では、予め定めた所定の信頼度判定条件が成立している場合に白線信頼度が低いものと判定し、白線推定部１２による白線形状の推定を無効とする。信頼度判定条件としては、下記の第１条件〜第３条件の３つの条件を含む。本実施形態では、これら３つの条件のうちの少なくとも１つが成立している場合に、白線推定部１２による白線形状の推定を無効とする。
・第１条件：自車両の車速が所定の低車速判定値Ｖｔｈ以下であること。
・第２条件：自車両のヨーレートが所定値θｔｈよりも大きいこと。
・第３条件：自車両の前方において白線幅の変動があること。
【００２７】
まず、第１条件について、アダプティブクルーズコントロール機能を有する車両では、自車両と先行車両との間の車間距離が自車両の車速に応じた距離になるように車間距離が制御される。具体的には、自車両の車速が高いほど、自車両と先行車両との車間距離が大きくなるように車間距離が制御される。そのため、市街地を走行していたり、高速道の渋滞区間を走行していたりする等といった、自車両が低車速領域で走行している状況では、先行車両との車間距離が短くなっている可能性がある。また、自車両からの白線の見えやすさは先行車両との車間距離に応じて相違し、先行車両との車間距離が短いほど、画像により認識可能な白線の距離が短くなる。
【００２８】
図３は、先行車両４３との車間距離が異なる２つの画像４０を表す図であり、（ａ）は車間距離が短い場合、（ｂ）は車間距離が長い場合を示している。図３に示すように、自車両の前方に自車線４１を走行する先行車両４３が存在する場合、先行車両４３によって白線が隠されることで白線認識距離が短くなる。また、このときの白線認識距離は、先行車両４３との車間距離が短い場合の方が、車間距離が長い場合に比べて短くなる。そこで、本実施形態では、自車両の車速が低車速判定値Ｖｔｈ以下の走行状態であることを信頼度判定条件に含むものとし、この第１条件が成立している場合には、白線認識部１１で認識した白線の白線信頼度が低いものとして、白線推定部１２による白線形状の推定を無効とする。
【００２９】
なお、車速によって先行車両４３との車間距離が短い状況か否かを判定する構成では、先行車両４３との車間距離が短くなる可能性がある状況において、白線推定部１２による白線形状の推定が無効とされる。したがって、隣接車線を走行する車両が隣接車線から自車線４１に車線変更してきた場合に、白線信頼度が低くなる状況では白線形状の推定を事前に無効としておくことができる。
【００３０】
次に、第２条件について、自車両のヨーレートが大きい場合には、自車両が車線変更している可能性がある。また、自車両の車線変更時には、自車両から見た白線の傾きが緩やかになり、つまり白線のカーブ半径Ｒが小さくなり、白線のエッジ点Ｐが検出しにくくなる。かかる場合、白線認識部１１による白線の認識精度が低くなる。そこで、本実施形態では、自車両のヨーレートが所定値θｔｈよりも大きいことを信頼度判定条件に含むものとし、この第２条件が成立している場合には、白線認識部１１で認識した白線の白線信頼度が低いものとして、白線推定部１２による白線形状の推定を無効とする。なお、この第２条件は、自車両が白線４２に対して所定角速度よりも大きく旋回している所定の旋回状態にあるか否かを判定するための判定条件である。
【００３１】
第３条件について、自車両の前方において白線幅の変動がある場合には、幅員が減少している区間や車線合流区間などを走行していることが想定される。この場合、道路形状が変形していたり、道路形状と白線形状とが一致していなかったりする可能性がある。こうした場合に、白線認識部１１で認識した近距離Ｄ１までの白線形状を用いて、近距離Ｄ１よりも遠方の白線形状を推定すると、推定した白線形状と実際の白線形状とのずれが大きくなる可能性がある。そこで本実施形態では、自車両の前方に白線幅の変動があることを信頼度判定条件に含むものとし、この第３条件が成立している場合には、白線認識部１１で認識した白線の白線信頼度が低いものとして、白線推定部１２による白線形状の推定を無効とする。
【００３２】
次に、本実施形態の具体的態様について、図４及び図５のフローチャートを用いて説明する。これらの処理は、白線推定部１２により所定周期毎に実行される。
【００３３】
まず、図４の無効化処理について説明する。図４において、ステップＳ２１では、白線信頼度が低いか否かを判定する。ここでは、図５の信頼度判定処理により設定した信頼度判定フラグＦＡを取得し、その取得したフラグＦＡに基づき判定する。信頼度判定フラグＦＡについて本実施形態では、白線信頼度が低レベルである場合に０がセットされ、白線信頼度が高レベルである場合に１がセットされる。
【００３４】
白線信頼度が高いと判定された場合には、ステップＳ２２へ進み、白線推定部１２による白線形状の推定を有効とする。この場合、白線認識部１１が認識した白線に関する情報、及び白線推定部１２で推定した遠方白線に関する情報を用いて車両走行制御が実施される。
【００３５】
一方、白線信頼度が低いと判定された場合には、ステップＳ２３へ進み、白線推定部１２による白線形状の推定を無効とする。ここで、「白線推定部１２による白線形状の推定を無効にする」とは、白線推定部１２による遠方白線の形状を推定するための演算処理の実施を禁止すること、白線推定部１２で推定した結果を破棄すること、白線推定部１２で推定した結果を走行支援制御に使用しないこと等を含む。本実施形態では、これら３つの処理の中の１つを実行する。なお、白線推定部１２による白線形状の推定を無効とする場合であっても、白線認識部１１が認識した白線に関する情報については使用を許可する。
【００３６】
次に、図５の信頼度判定処理について説明する。図５において、ステップＳ３１では、自車両の車速が所定の低車速判定値Ｖｔｈ以下であるか否かを判定する。ここでは、車速センサ２３で検出した車速を用いて判定する。ステップＳ３２では、ヨーレートセンサ２２により検出した自車両のヨーレートが所定値θｔｈよりも大きいか否かを判定する。
【００３７】
ステップＳ３３では、自車両の前方において白線幅の変動があるか否かを判定する。具体的には、白線認識部１１による白線の認識結果を用いて判定し、車両の幅方向における一対の白線間の距離が車両前方で変化しており、かつその変化量が所定値以上である場合に、自車両の前方において白線幅の変動有りと判定する。
【００３８】
ステップＳ３１、Ｓ３２及びＳ３３の全ての処理で否定判定された場合、つまり第１条件〜第３条件の全部が成立していると判定された場合には、ステップＳ３４へ進み、信頼度判定フラグＦＡに１をセットする。一方、ステップＳ３１、Ｓ３２及びＳ３３のいずれかで肯定判定された場合には、ステップＳ３５へ進み、信頼度判定フラグＦＡに０をセットする。
【００３９】
以上詳述した本実施形態によれば、次の優れた効果が得られる。
【００４０】
画像４０に基づき認識した白線４２の信頼度に基づいて、白線認識範囲よりも遠方の白線形状の推定を無効とする構成とした。画像４０により認識した白線４２を用いて、画像４０では認識できなかった範囲の白線形状を推定する場合、認識した白線４２の信頼度が低いと白線形状の推定精度が低下する。この点に鑑み上記構成とすることにより、推定精度の低い白線に関する情報を用いた車両走行制御が行われることを抑制することができ、ひいては、車両の走行支援制御の制御性を良好にすることができる。
【００４１】
信頼度判定条件として、自車両の車速が所定の低車速判定値Ｖｔｈ以下であること（第１条件）を含み、車速が低車速判定値Ｖｔｈ以下である場合には、白線推定部１２による白線形状の推定を無効とする構成とした。こうした構成によれば、画像による白線認識距離が短いことに起因して、白線推定部１２による白線の推定精度が低い場合に、その白線の推定結果を用いた車両走行制御が行われることを回避することができる。
【００４２】
信頼度判定条件として、自車両のヨーレートが所定値θｔｈよりも大きいこと（第２条件）を含み、自車両のヨーレートが所定値θｔｈよりも大きい場合には、白線推定部１２による白線形状の推定を無効とする構成とした。この構成によれば、白線のエッジ点Ｐの検出精度が低下することに起因して、白線推定部１２による白線の推定精度が低い場合に、その白線の推定結果を用いた車両走行制御が行われることを回避することができる。
【００４３】
信頼度判定条件として、自車両の前方において白線幅の変動があること（第３条件）を含み、自車両の前方に白線幅の変動がある場合には、白線推定部１２による白線形状の推定を無効とする構成とした。こうした構成によれば、道路形状が一定形状でなかったり、道路形状と白線形状とが一致していなかったりすることに起因して、白線推定部１２による白線の推定精度が低い場合に、その白線の推定結果を用いた車両走行制御が行われることを回避することができる。
【００４４】
（他の実施形態）
本発明は上記実施形態に限定されず、例えば次のように実施してもよい。
【００４５】
・上記実施形態では、信頼度判定条件として第１条件〜第３条件を含む構成としたが、第１条件〜第３条件のうちの１つ又は２つを信頼度判定条件に含むものとし、少なくとも１つが成立している場合に、白線推定部１２による白線形状の推定を無効とする構成としてもよい。
【００４６】
・上記実施形態では、自車両の旋回の状態を検出する旋回検出手段としてヨーレートセンサ２２を用い、自車両のヨーレートが所定値θｔｈよりも大きい場合に、白線推定部１２による白線形状の推定を無効としたが、旋回検出手段は上記に限定しない。例えば、旋回検出手段として操舵角センサ２４を用い、自車両の操舵角が所定値よりも大きい場合に、自車両が所定の旋回状態にあるとして白線推定部１２による白線形状の推定を無効としてもよい。あるいは、旋回検出手段として撮像装置２１を用い、画像データに基づき自車両が所定の旋回状態にあることを判定してもよい。
【００４７】
・上記実施形態において、自車両の車速が所定の低車速判定値Ｖｔｈ以下であること（第１条件）を、物体検知手段による先行車両４３との車間距離の検出結果に基づき判定してもよい。この場合、検出した車間距離が判定値よりも短い場合に第１条件が成立しているものと判定し、白線推定部１２による白線形状の推定を無効とする構成とする。
【００４８】
・信頼度判定条件として、上記の第１条件〜第３条件以外の条件を含んでいてもよい。例えば、夜間や、雨又は雪が降っている環境では白線の認識精度が低下することが考えられる。そこで、環境に基づく信頼度判定条件、具体的には、例えば夜間であること、雨天であること、降雪時であることなどを含むものとしてもよい。
【００４９】
・上記実施形態では、物体検知手段として撮像装置を備える構成としたが、撮像装置と共に、レーダ装置やソナーを備えるシステムに本発明を適用してもよい。
【符号の説明】
【００５０】
１０…区画線認識装置、１１…白線認識部、１２…白線推定部、２１…撮像装置、２２…ヨーレートセンサ、３０…車両制御装置。
【図１】
0006363518.tif 000002
【図２】
0006363518.tif 000003
【図３】
0006363518.tif 000004
【図４】
0006363518.tif 000005
【図５】
0006363518.tif 000006