(57)【特許請求の範囲】
【請求項１】
車両前方の路面画像に基づいて分流点又は合流点で進行方向の走行レーンに沿った軌道を認識する走行レーン軌道認識装置であって、
前記車両前方の路面を撮影して映像信号を出力する撮影手段と、
前記映像信号が示す画像の中から白線を抽出する白線抽出手段と、
前記車両の現在位置前方の道路情報を示す道路データを出力するナビゲーション装置と、
前記道路データから前記車両前方に分流点又は合流点が存在することを検出する分合流点検出手段と、
前記車両の進行方向を示すターン信号を発生するターン信号発生手段と、
前記分合流点検出手段にて分流点が検出された場合に前記ターン信号が示す進行方向に応じて、前記白線抽出手段によって抽出された複数の白線から１の白線を前記軌道として検出し、前記分合流点検出手段にて合流点が検出された場合に該合流点が、前記車両の本線走行中に前記車両の前方位置に存在する支線からの合流点又は前記車両の支線走行中に前記車両の前方位置に存在する支線から本線への合流点であるかに基づいて、前記白線抽出手段によって抽出された複数の白線から１の白線を前記軌道として検出する軌道検出手段と、を備えたことを特徴とする走行レーン軌道認識装置。
【請求項２】
前記分合流点検出手段にて分流点が検出された場合に、前記ターン信号が示す進行方向が左であるとき前記白線抽出手段によって抽出された複数の白線のうちの最も左に位置する白線を前記軌道として検出し、前記ターン信号が示す進行方向が右であるとき前記白線抽出手段によって抽出された複数の白線のうちの最も右に位置する白線を前記軌道として検出することを特徴とする請求項１記載の走行レーン軌道認識装置。
【請求項３】
前記車両の本線走行中に前記車両の前方位置に支線からの合流点が存在する場合に、該合流点が左からの支線合流点であるとき前記白線抽出手段によって抽出された複数の白線のうちの最も右に位置する白線を前記軌道として検出し、該合流点が右からの支線合流点であるとき前記白線抽出手段によって抽出された複数の白線のうちの最も左に位置する白線を前記軌道として検出することを特徴とする請求項１又は２記載の走行レーン軌道認識装置。
【請求項４】
前記車両の支線走行中に前記車両の前方位置に支線から本線への合流点が存在する場合に、該合流点が左への本線合流点であるとき前記白線抽出手段によって抽出された複数の白線のうちの最も右に位置する白線を前記軌道として検出し、該合流点が右への本線合流点であるとき前記白線抽出手段によって抽出された複数の白線のうちの最も左に位置する白線を前記軌道として検出することを特徴とする請求項１ないし３のいずれか１記載の走行レーン軌道認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両前方の路面画像に基づいて分流点又は合流点で進行方向の走行レーンに沿った軌道を認識する走行レーン軌道認識装置に関する。
【０００２】
【従来の技術】
道路上には車両の走行レーンを示すために、通常、白線が進行方向の左右に引かれているので、これを認識して車両を自動操舵したり、車両が走行レーンを逸脱するときには警報を発する等のことが考えられている。
その白線を認識する方法としては、車両前方の路面画像をテレビカメラにより取り込み、得られた画像から白線を検出することが一般的である。
【０００３】
ところで、高速道路の分岐点や車線数の増減箇所では、１つの白線から分岐する別の白線が描かれているので、いずれの白線が走行すべき走行レーンの白線であるか特定することが困難となる。
このような分岐点等で白線認識を行なう従来方法としては、例えば、特開平９−９１４４０号公報に示されたものがある。特開平９−９１４４０号公報に示された白線認識方法は、車両前方の路面画像をＣＣＤカメラによって撮影し、その路面画像を所定のモデルデータと比較して白線認識を行って白線位置を抽出し、複数の白線位置が抽出されたならば、車両のウインカスイッチからターンシグナルを検出し、抽出した白線位置のうちのそのターンシグナルが示す車両進行方向に適合する白線位置を検出するものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、かかる従来の白線認識方法においては、左右の複数の白線位置を抽出した場合にそれを個別の白線と識別する映像処理が複雑になるので、分岐点や合流点でも白線の数が多い箇所では白線認識に時間がかかり過ぎて車両が進行すべき走行レーンの軌道を素早く特定できなくなるという問題があった。
【０００５】
そこで、本発明の目的は、分岐点又は合流点で進行方向の走行レーンの軌道を素早く認識することができる走行レーン軌道認識装置を提供することである。
【０００６】
【課題を解決するための手段】
本発明の走行レーン軌道認識装置は、車両前方の路面画像に基づいて分流点又は合流点で走行すべきレーンに沿った軌道を認識する走行レーン軌道認識装置であって、車両前方の路面を撮影して映像信号を出力する撮影手段と、映像信号が示す画像の中から白線を抽出する白線抽出手段と、車両の現在位置前方の道路情報を示す道路データを出力するナビゲーション装置と、道路データから車両前方に分流点又は合流点が存在することを検出する分流点検出手段と、車両の進行方向を示すターン信号を発生するターン信号発生手段と、前記分合流点検出手段にて分流点が検出された場合にターン信号が示す進行方向に応じて、白線抽出手段によって抽出された複数の白線から１の白線を軌道として検出し、分合流点検出手段にて合流点が検出された場合に該合流点が、車両の本線走行中に車両の前方位置に存在する支線からの合流点又は車両の支線走行中に車両の前方位置に存在する支線から本線への合流点であるかに基づいて、白線抽出手段によって抽出された複数の白線から１の白線を軌道として検出する軌道検出手段と、を備えたことを特徴としている。
【０００７】
よって、ナビゲーション装置から得られる車両の現在位置前方の道路情報を示す道路データから車両前方に分流点又は合流点が存在することを検出し、分流点ではターン信号発生手段から生成された車両の進行方向を示すターン信号から検出し、これらの検出結果を利用して複数の白線のうちから１つの白線を選択し、合流点では車両の本線走行中に車両の前方位置に存在する支線からの合流点又は車両の支線走行中に車両の前方位置に存在する支線から本線への合流点であるかに基づいて、複数の白線のうちから１つの白線を選択するので、分岐点又は合流点で複数の白線が存在しても複雑な処理をすることなく的確に進行すべき走行レーンの軌道を素早く認識することができる。
【０００８】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図１は本発明の一実施例である走行レーン軌道認識装置を示している。この装置においては、撮影手段であるＣＣＤ(Charge Coupled Device:電荷結合素子)カメラ１が図示しない車両の前部に設けられ、車両前方の路面を撮影できるようにされている。ＣＣＤカメラ１によって得られた映像信号は画像処理用ＥＣＵ(Electric Control Unit)２に供給される。画像処理用ＥＣＵ２は、マイクロコンピュータから構成され、ＣＣＤカメラ１からの映像信号に基づいて後述する白線エッジ検出、直線近似及び走行方向の白線エッジ点列検出の各処理動作を行ない、検出した走行方向白線エッジ点列を示すデータを出力する。画像処理用ＥＣＵ２の出力にはステアリング制御用ＥＣＵ３が接続されている。ステアリング制御用ＥＣＵ３はＥＣＵ２と同様にマイクロコンピュータから構成され、車両のステアリングの操舵量を制御するものであり、ステアリングアクチュエータ４を駆動回路５を介して駆動する。
【０００９】
画像処理用ＥＣＵ２には、ナビゲーション装置１３が接続されている。ナビゲーション装置１３はＧＰＳ(Global Positioning System)装置６、ヨーレイトセンサ７及び距離センサ８を備え、また、地図データ及び後述の道路データを記録したＣＤ−ＲＯＭ（図示せず）を駆動してそれら記録データを読み出すＣＤ−ＲＯＭドライブ９を備えている。ＧＰＳ装置６は複数の人工衛星からの電波を受信してその受信電波から得られる緯度及び経度情報から車両の絶対的な位置を検出するものである。ヨーレイトセンサ７は角速度を検出し、距離センサ８は車両の走行距離を検出する。
【００１０】
これらのＧＰＳ装置６、ヨーレイトセンサ７、距離センサ８及びＣＤ−ＲＯＭドライブ９の各出力はナビコントローラ１０に供給されるようになっている。ナビコントローラ１０は、ＧＰＳ装置６から供給される現在の車両位置である自車位置を示す信号を受け入れ、またヨーレイトセンサ７及び距離センサ８から供給される角速度及び走行距離を示す信号を受け入れて慣性航法により自車位置を演算する。更に、ナビコントローラ１０は、ＧＰＳ装置６から得られた自車位置と演算により得られた自車位置とを比較すると共に、ＣＤ−ＲＯＭドライブ９によってＣＤ−ＲＯＭから読み出された地図データに基づいて自車位置を特定する。また、特定した自車位置の前方の道路データをその地図データ又はＣＤ−ＲＯＭに記録されたデータから得て画像処理用ＥＣＵ２に供給する。この道路データは少なくとも現在の自車位置前方に分流点又は合流点があること、その分流方向及び合流方向を示すものである。
【００１１】
画像処理用ＥＣＵ２及びステアリング制御用ＥＣＵ３にはターンスイッチ１１が接続されている。ターンスイッチ１１は運転者によって操作される車両のウインカ（図示せず）に連動して車両の進行方向が左、右及びターン無しのいずれであるかを示すターン信号を生成して画像処理用ＥＣＵ２及びステアリング制御用ＥＣＵ３に供給する。このターンスイッチ１１がターン信号発生手段に相当する。
【００１２】
かかる構成の走行レーン軌道認識装置において、画像処理用ＥＣＵ２は図２のフローチャートに示すように、ＣＣＤカメラ１によって得られた映像信号を図示しないＡ／Ｄ変換器によってディジタル化して読み取り（ステップＳ１）、その読取映像信号によって形成される画像から白線エッジを検出する（ステップＳ２）。この白線エッジ検出処理では、先ず、白線の閾値を設定し、そして読取映像信号によって形成される画像の各水平ライン上で輝度レベルがその閾値以下からそれを越えた画素の位置を白線エッジ点とする。白線の閾値は予め設定しておいても良いし、映像信号によって形成される画像の同一水平ライン上の各画素の輝度レベルの平均値でも良い。
【００１３】
画像処理用ＥＣＵ２は次に、ステップＳ２で得られた白線エッジ点列から直線近似処理を行なう（ステップＳ３）。この直線近似処理では一連の白線エッジ点列を連続線として処理することが行われる。すなわち、路面には白線が断続線として形成された部分（例えば、センタライン）があるので、白線エッジ検出処理で得られた白線エッジ点列は断続的であり、これを連続線に補間変換するのである。直線近似処理の具体例については特開平５−３３４５９５号公報に開示されているので、ここでの詳細な説明は省略する。なお、直線近似処理後の白線エッジ点列は走行中には少なくとも走行レーン左右に各々形成されるが、分流点や合流点では少なくとも３つの白線エッジ点列が形成される。
【００１４】
画像処理用ＥＣＵ２によって実行されるステップＳ１〜Ｓ３が白線抽出手段に相当し、更に、ステップＳ１，Ｓ２が白線エッジ検出手段に相当し、ステップＳ３が直線近似処理手段に相当する。
画像処理用ＥＣＵ２は、直線近似処理後、走行前方位置（例えば、前方５００ｍ以内）に分流点が存在するか否かを判別する（ステップＳ４）。これはナビゲーション装置１３のナビコントローラ１０から出力される道路データに基づいて判別される。道路データから走行前方位置に分流点が存在すると判別した場合には、更に、その分流点が左へ分流する左分流点であるか否かを判別する（ステップＳ５）。これもナビコントローラ１０から出力される道路データに基づいて判別される。そして、左分流点の場合にはターンスイッチ１１が左を示すターン信号を発しているか判別する（ステップＳ６）。ターンスイッチ１１が左を示すターン信号を発している場合には、運転者は左に分流すべく運転するので、直線近似処理した複数の白線エッジ点列のうちの最も左に位置している白線エッジ点列を進行方向の走行レーンの軌道として検出する（ステップＳ７）。一方、ターンスイッチ１１が左を示す信号信号を発していない場合には、運転者は分流せず本線をそのまま運転を行なうので、直線近似処理した複数の白線エッジ点列のうちの最も右に位置している白線エッジ点列を進行方向の走行レーンの軌道として検出する（ステップＳ８）。
【００１５】
ステップＳ７の白線エッジ点列検出処理について、直線近似処理した複数の白線エッジ点列がＬ１，Ｌ２，Ｌ３の３つある場合として説明する。読取映像信号によって形成される画像の最も左上の画素をＸＹ座標の原点（０，０）とすることにより、白線エッジ点列Ｌ１，Ｌ２，Ｌ３は各々座標上の各点の集まりとして表すことができる。なお、Ｘ≧０，Ｙ≧０であり、画像の最も右下の画素がＸＹ座標のＸ，Ｙの最大値を有する点である。よって、画像処理用ＥＣＵ２はその白線エッジ点列Ｌ１，Ｌ２，Ｌ３各々からＸＹ座標点のＸ値が最小値ＸL1MIN，ＸL2MIN，ＸL3MINのものを抽出し、それら最小値ＸL1MIN，ＸL2MIN，ＸL3MINを比較して最小のものを検出する。例えば、ＸL1MINが最小ならば、白線エッジ点列Ｌ１が白線エッジ点列Ｌ１，Ｌ２，Ｌ３の中で最も左に位置していると判別するのである。
【００１６】
更に、最小値ＸL1MIN，ＸL2MIN，ＸL3MINのうちの２つ（例えば、ＸL1MIN，ＸL2MIN）が同一で最小であったならば、白線エッジ点列Ｌ１，Ｌ２各々からＸＹ座標点のＹ値が最大値ＹL1MAX，ＹL2MAXのものを抽出し、それら最大値ＹL1MAX，ＹL2MAXを比較して大の方を検出する。最大値ＹL1MAXの方が大であれば、白線エッジ点列Ｌ１が最も左に位置していると判別することになる。
【００１７】
ステップＳ８の白線エッジ点列検出処理についてもステップＳ７と同様であり、直線近似処理した複数の白線エッジ点列がＬ１，Ｌ２，Ｌ３の３つある場合として説明する。画像処理用ＥＣＵ２は、白線エッジ点列Ｌ１，Ｌ２，Ｌ３各々からＸＹ座標点のＸ値が最大値ＸL1MAX，ＸL2MAX，ＸL3MAXのものを抽出し、それら最大値ＸL1MAX，ＸL2MAX，ＸL3MAXを比較して最大のものを検出する。例えば、ＸL3MAXが最大ならば、白線エッジ点列Ｌ３が白線エッジ点列Ｌ１，Ｌ２，Ｌ３の中で最も右に位置していると判別するのである。
【００１８】
更に、最大値ＸL1MAX，ＸL2MAX，ＸL3MAXのうちの２つ（例えば、ＸL2MAX，ＸL3MAX）が同一で最大であったならば、白線エッジ点列Ｌ２，Ｌ３各々からＸＹ座標点のＹ値が最大値ＹL2MAX，ＹL3MAXを抽出し、それら最大値ＹL2MAX，ＹL3MAXを比較して大のものを検出する。最大値ＹL3MAXの方が大であれば、白線エッジ点列Ｌ３が最も左に位置していると判別する。
【００１９】
上記のステップＳ５にて分流点が左へ分流する左分流点ではなく、右へ分流する右分流点と判別した場合には、図２に示すように、ターンスイッチ１１が右を示すターン信号を発しているか判別する（ステップＳ９）。ターンスイッチ１１が右を示すターン信号を発している場合には、運転者は右に分流すべく運転するので、ステップＳ８に進んで直線近似処理した複数の白線エッジ点列のうちの最も右に位置している白線エッジ点列を検出する。ターンスイッチ１１が右を示すターン信号を発していない場合には、運転者は分流せず本線をそのまま運転を行なうので、ステップＳ７に進んで直線近似処理した複数の白線エッジ点列のうちの最も左に位置している白線エッジ点列を検出する。
【００２０】
上記のステップＳ４にて走行前方位置に分流点が存在しないと判別した場合には、図３に示すように、走行前方位置（例えば、前方５００ｍ以内）に支線合流点が存在するか否かを判別する（ステップＳ１０）。すなわち、自車が本線走行中に前方位置に支線からの合流点があるか否かを判別する。これはナビゲーション装置１３のナビコントローラ１０から出力される道路データに基づいて判別される。道路データから走行前方位置に支線からの合流点が存在すると判別した場合には、その合流点は左からの支線合流点であるか否かを判別する（ステップＳ１１）。これもナビゲーション装置１３のナビコントローラ１０から出力される道路データに基づいて判別される。左からの支線合流点であるならば、ステップＳ８に進んで直線近似処理した複数の白線エッジ点列のうちの最も右に位置している白線エッジ点列を検出する。左からの支線合流点ではなく右からの支線合流点であるならば、ステップＳ７に進んで直線近似処理した複数の白線エッジ点列のうちの最も左に位置している白線エッジ点列を検出する。
【００２１】
ステップＳ１０にて道路データから走行前方位置に支線合流点が存在しないと判別した場合には、走行前方位置（例えば、前方５００ｍ以内）に本線合流点が存在するか否かを判別する（ステップＳ１２）。すなわち、自車が支線走行中に前方位置に支線から本線への合流点があるか否かを判別する。これはナビゲーション装置１３のナビコントローラ１０から出力される道路データに基づいて判別される。道路データから走行前方位置に本線合流点が存在すると判別した場合には、その本線合流点は左への合流であるか否かを判別する（ステップＳ１３）。これもステップＳ１１と同様に、ナビゲーション装置１３のナビコントローラ１０から出力される道路データに基づいて判別される。左への本線合流点であるならば、運転者は左へ本線合流すべく運転するので、ステップＳ８に進んで直線近似処理した複数の白線エッジ点列のうちの最も右に位置している白線エッジ点列を検出する。左への本線合流点ではなく右への本線合流点であるならば、運転者は右へ本線合流すべく運転するので、ステップＳ７に進んで直線近似処理した複数の白線エッジ点列のうちの最も左に位置している白線エッジ点列を検出する。
【００２２】
上記の前方道路条件、走行車線、ターンスイッチの操作状態、及び白線エッジ点列検出の関係を表に示すと、図４の如くなる。
図５(a)は本線走行中の車両前方を撮影して得られた左分流点を示す路面画像から直線近似処理した白線エッジ点列Ｌ１，Ｌ２，Ｌ３を取り出して連続線として例示している。このように白線エッジ点列Ｌ１，Ｌ２，Ｌ３が抽出された場合に、ターンスイッチ１１が左を示すターン信号を発しているならば、図５(b)に示すように、複数の白線エッジ点列Ｌ１，Ｌ２，Ｌ３のうちの複数の白線エッジ点列Ｌ１だけが残り他の白線エッジ点列Ｌ２，Ｌ３はマスキングされたデータとなる。
【００２３】
図６(a)は支線走行中の車両前方を撮影して得られた右への本線合流点を示す路面画像から直線近似処理した白線エッジ点列Ｌ１，Ｌ２，Ｌ３を取り出して連続線として例示している。このように白線エッジ点列Ｌ１，Ｌ２，Ｌ３が抽出された場合には、図６(b)に示すように、複数の白線エッジ点列Ｌ１，Ｌ２，Ｌ３のうちの複数の白線エッジ点列Ｌ１だけが残り他の白線エッジ点列Ｌ２，Ｌ３はマスキングされたデータとなる。
【００２４】
ステップＳ４，Ｓ１０及びＳ１２の各判別によって分流点でも合流点でもない場合には、後述のステアリング制御には左右の白線エッジ点列又はいずれか一方の白線エッジ点列を用いても良いことになる。
なお、ステップＳ４，Ｓ５，Ｓ１０〜Ｓ１３が分合流点検出手段に相当し、ステップＳ６〜Ｓ９が軌道検出手段に相当する。
【００２５】
画像処理用ＥＣＵ２は、ステップＳ７，Ｓ８で検出した白線エッジ点列、又はステップＳ３で直線近似処理した白線エッジ点列を示す信号をステアリング制御用ＥＣＵ３に出力する（ステップＳ１６）。画像処理用ＥＣＵ２は上記の動作を所定の周期（例えば、１／３３ ｓｅｃ）又は所定の走行距離（例えば、１ ｍ）毎に繰り返して行なうので、そのタイミングで新たな白線エッジ点列を示す信号がステアリング制御用ＥＣＵ３に出力される。
【００２６】
ステアリング制御用ＥＣＵ３は、図７に示すように、ＥＣＵ２から供給された白線エッジ点列を示す信号が示す走行予測線上における自車位置を検出し（ステップＳ２１）、その自車位置での目標操舵量を算出し（ステップＳ２２）、操舵角センサ１２によって検出された現在のステアリングの実操舵量が目標操舵量に等しくなるようにステアリング制御量を算出し（ステップＳ２３）、その制御量に応じてステアリングアクチュエータ４を駆動する（ステップＳ２４）。ステアリングアクチュエータ４が駆動されることにより前車輪の向きが走行予測線に沿った走行を可能にするのである。このステアリング制御用ＥＣＵ３の動作は繰り返し行なわれる。
【００２７】
なお、上記した実施例においては、車両が走行することにより時間が経過する毎に新たな路面画像が得られるので、分流点又は合流点を通過してしまったならば、画像処理用ＥＣＵ２は走行レーン左右の白線エッジ点列をステアリング制御用ＥＣＵ３に出力することになるが、分流点又は合流点を通過してから一定の距離（例えば、５００ｍ）以上走行して離れた場合に、画像処理用ＥＣＵ２は走行レーン左右の白線エッジ点列をステアリング制御用ＥＣＵ３に出力するようにしても良い。
【００２８】
上記した実施例においては、前方に合流点がある場合にはターンスイッチの操作状態を判別しないが、ステップＳ１３の判別後、ターンスイッチの操作状態を判断してからステップＳ７又はＳ８に進んでも良い。
また、撮影手段としてＣＣＤカメラを用いているが、これに限定されることはなく、例えば、スキャン式のレーザレーダを用いることができる。
【００２９】
更に、上記した実施例では、ターン信号発生手段は運転者の操作状態をターンスイッチから得ているが、これに限定されない。例えば、運転者の目的地が予め分かっていれば、道路データからの車両前方における分流点や合流点の検出に応答してターン信号を自動的に生成することができる。
【００３０】
【発明の効果】
以上の如く、本発明によれば、車両前方の路面を撮影して得た映像信号が示す画像の中から白線を抽出し、車両の現在位置前方の道路情報を示す道路データをナビゲーション装置から得て、その道路データから車両前方に分流点が存在することを検出した場合には、車両の進行方向をターン信号から検出してその検出進行方向に応じて抽出した複数の白線から１の白線を軌道として検出し、車両前方に合流点が存在することを検出した場合には、車両の本線走行中に車両の前方位置に存在する支線からの合流点又は車両の支線走行中に車両の前方位置に存在する支線から本線への合流点であるかに基づいて、複数の白線のうちから１つの白線を選択するので、分岐点又は合流点で複数の白線が存在しても従来装置のような複雑な処理をすることなく進行すべき走行レーンの軌道を素早く認識することができる。
【図面の簡単な説明】
【図１】本発明の実施例を示すブロック図である。
【図２】図１の装置中の画像処理用ＥＣＵの動作を示すフローチャートである。
【図３】図２の動作の続き部分を示すフローチャートである。
【図４】前方道路条件、走行車線、ターンスイッチの操作状態、及び白線エッジ点列検出の関係を示す図である。
【図５】複数の白線エッジ列を有する分流点における画像についての白線エッジ列検出例を示す図である。
【図６】複数の白線エッジ列を有する合流点における画像についての白線エッジ列検出例を示す図である。
【図７】図１の装置中のステアリング制御用ＥＣＵの動作を示すフローチャートである。
【主要部分の符号の説明】
１  ＣＣＤカメラ
２  画像処理用ＥＣＵ
３  ステアリング制御用ＥＣＵ
４  ステアリングアクチュエータ
１１  ターンスイッチ
１３  ナビゲーション装置
【図１】
0003871772.tif 000002
【図２】
0003871772.tif 000003
【図３】
0003871772.tif 000004
【図４】
0003871772.tif 000005
【図５】
0003871772.tif 000006
【図６】
0003871772.tif 000007
【図７】
0003871772.tif 000008