(57)【特許請求の範囲】
【請求項１】
前方を撮影する撮影手段と、この撮影手段により得られた画像を一時記憶する画像記憶手段と、この画像記憶手段より読み出した画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段と、このレーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出するレーンマーキング候補点抽出手段と、このレーンマーキング候補点抽出手段により選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定する車線認識手段を備え、上記レーンマーキング候補点抽出手段は、これにより抽出されたレーンマーキング候補点を取捨選択するレーンマーキング候補点選択手段を有し、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うことを特徴とする車線認識画像処理装置。
【請求項２】
上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うことを特徴とする請求項１記載の車線認識画像処理装置。
【請求項３】
前方を撮影する撮影手段と、この撮影手段により得られた画像を一時記憶する画像記憶手段と、この画像記憶手段より読み出した画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段と、このレーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出するレーンマーキング候補点抽出手段と、このレーンマーキング候補点抽出手段により選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定する車線認識手段を備え、上記レーンマーキング候補点抽出手段は、これにより抽出されたレーンマーキング候補点を取捨選択するレーンマーキング候補点選択手段を有し、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うことを特徴とする車線認識画像処理装置。
【請求項４】
上記レーンマーキング候補点選択手段を、左又は右レーンマーキングが特定の種類の場合に動作させるようにしたことを特徴とする請求項１〜請求項３のいずれか１項に記載の車線認識画像処理装置。
【請求項５】
上記レーンマーキング候補点選択手段を、ウィンカ・スイッチがオフの場合に動作させるようにしたことを特徴とする請求項１〜請求項４のいずれか１項に記載の車線認識画像処理装置。
【請求項６】
前方を撮影する撮影手段により得られた画像を一時記憶し、記憶された画像を読み出してレーンマーキング探索範囲を設定し、レーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出し、検出したレーンマーキング候補点を取捨選択し、選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定するようにした車線認識画像処理を実行させるためのプログラムであって、
上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うようにした車線認識画像処理を実行させるためのプログラム。
【請求項７】
上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うことを特徴とする請求項６記載の車線認識画像処理を実行させるためのプログラム。
【請求項８】
前方を撮影する撮影手段により得られた画像を一時記憶し、記憶された画像を読み出してレーンマーキング探索範囲を設定し、レーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出し、検出したレーンマーキング候補点を取捨選択し、選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定するようにした車線認識画像処理を実行させるためのプログラムであって、
上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うようにした車線認識画像処理を実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、自動車の予防安全を目的とした車線逸脱警報や運転者の負担軽減を目的としたレーンキープ操舵アシストなど、車両制御のための道路に対する車両位置情報を提供する車線認識画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の車線認識画像処理装置としては、例えば、特開２０００−１０５８９８号公報や特開平１１−２３２４６７号公報のように、左右レーンマーキング間隔の増加、レーンマーキング幅の増加から分岐路を判定する分岐判定手段を備えるものがある。
【０００３】
また、特開２０００―５５６７７号公報のようなナビゲーション装置との連携により分岐情報を得るものがある。
【０００４】
また、特開平１１−２８１３５２号公報、特開平６−２２５３０８号公報のように、車両挙動からレーンマーキングの検出パラメータやレーンマーキング探索ウィンドウ位置を設定する方法がある。
【０００５】
また、特開平９−９１４４０号公報のように所定のモデルデータと比較することにより、レーンマーキング候補が複数存在する場合でも自車線のレーンマーキングを正しく認識するというものがある。
【０００６】
【発明が解決しようとする課題】
左右レーンマーキング間隔の広がりから分岐路を判定する場合は、ナビゲーション装置の経路案内における自車位置同定には有効であるが、車両制御を目的としたリアルタイム画像処理である車線認識においては、既に出口側レーンマーキングを誤認識していることを示し、事前に誤認識を回避するには適さない。
【０００７】
ナビゲーション装置から分岐情報を得る場合は、車両にナビゲーション装置搭載が前提条件となるうえ、自車位置同定において進行方向の誤差がなく、かつ走行車線・追い越し車線いずれを走行中かを同定できなければ分岐情報を有効に活用することはできない。
【０００８】
分岐路形状の記憶データと比較することにより分岐路であることを判定する場合は、事前に分岐路の存在を知ることができるが、画像処理装置内にモデルデータ格納用の大容量のメモリを搭載する必要があり、またデータ比較のために膨大な処理時間を必要とするため、ハードウェア・ソフトウェア負荷が非常に大きくなる。
【０００９】
レーンマーキング数学的モデル式係数そのものに対して時間的な低周波数域フィルタ処理を施すと、車線認識結果にフィルタ時定数分の位相遅れが生じ、車両制御を行うためのリアルタイム性が崩れる。
【００１０】
レーンマーキング探索ウィンドウに対して時間的な低周波数域フィルタ処理を施すと、車線認識結果の位相遅れは防ぐことができるが、車両の急な横移動時にはレーンマーキングが探索ウィンドウ外になり検出できなくなるため、急変時にはフィルタ処理をキャンセルするという例外的処理を追加しなければならない。かつ例外処理実施の判定には、左右いずれかのレーンマーキングの横位置の動きを常にモニタする必要があり、したがってフィルタ処理を施すレーンマーキングは左右いずれかに限定される。
【００１１】
数学的モデル式算出において、候補点集合に誤検出点が混在すると、得られるモデル式の信頼性が著しく低下する。特に、分岐路出口では出口側レーンマーキングを誤検出すると、車両が進むにつれて、本来、誤りである出口側レーンマーキング上の検出点数の割合が増し、本線側レーンマーキングを見失うという悪循環に陥る。
【００１２】
この発明は、レーンマーキング候補点を候補点同士の傾き比較により、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行なって、取捨選択するという平易なアルゴリズムでソフトウェア的に処理し、分岐路通過時において、ナビゲーション装置などの他のインフラ情報の助けを必要とせずに、本線側のレーンマーキングを正しく認識しようとする車線認識画像処理装置及びその処理を実行させるためのプログラムを得ることを目的とする。
【００１３】
【課題を解決するための手段】
この発明に係わる車線認識画像処理装置は、前方を撮影する撮影手段と、この撮影手段により得られた画像を一時記憶する画像記憶手段と、この画像記憶手段より読み出した画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段と、このレーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出するレーンマーキング候補点抽出手段と、このレーンマーキング候補点抽出手段により選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定する車線認識手段を備え、上記レーンマーキング候補点抽出手段は、これにより抽出されたレーンマーキング候補点を取捨選択するレーンマーキング候補点選択手段を有し、
【００１４】
上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うものである。
【００１５】
また、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うものである。
【００１６】
また、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うものである。
【００１７】
また、上記レーンマーキング候補点選択手段を、左又は右レーンマーキングが特定の種類の場合に動作させるようにしたものである。
さらにまた、上記レーンマーキング候補点選択手段を、ウィンカ・スイッチがオフの場合に動作させるようにしたものである。
【００１８】
また、この発明に係わる車線認識画像処理を実行させるためのプログラムは、前方を撮影する撮影手段により得られた画像を一時記憶し、記憶された画像を読み出してレーンマーキング探索範囲を設定し、レーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出し、検出したレーンマーキング候補点を取捨選択し、選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定するようにしたものであって、
【００１９】
上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うようにしたものである。
【００２０】
また、上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うものである。
さらにまた、レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うようにしたものである。
【００２１】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態を図面とともに説明する。図中同一符号は同一または相当する部分を示す。なお、この発明と関連する発明は、平成１３年４月１２日付けで出願した特願２００１−１１４４８８号明細書「車線認識のための画像処理装置並びに画像処理法」に記載されている。
図１は、この発明の実施の形態１の車線認識画像処理装置の構成を示すブロック図である。図２は、実施の形態１の車線認識画像処理装置の処理フローを示すフローチャートである。
【００２２】
撮像手段である車載カメラ１が車両の前部に設置され、車両前方の路面を撮影する。得られた画像は画像処理ＥＣＵ（Electronic Control Unit）２に入力され画像処理される。画像処理ＥＣＵ２からの信号は，メインＥＣＵ３に入力され、画像記憶手段４に一時的に記憶される。一方、進行方向検出器としてのウインカ・スイッチ５からターンシグナルがメインＥＣＵ３に入力される。メインＥＣＵ３は画像記憶手段４より読み出した画像に対して、レーンマーキング探索ウィンドウ設定手段６でレーンマーキング探索範囲を探索ウインドウとして設定する。このレーンマーキング探索ウィンドウ内よりレーンマーキング候補点抽出手段７でレーンマーキング候補点を検出する。検出したレーンマーキング候補点をレーンマーキング候補点選択手段８で、候補点同士の傾き比較により取捨選択する。選択されたレーンマーキング候補点の集合を車線認識手段９で、数学的モデル式により近似してレーンマーキング数学的モデル式を推定する。これを車線認識結果出力部１０に出力し、舵角指示などに利用する。
【００２３】
図２のフローチャートについて説明する。この種の前述した従来例の車線画像処理装置と基本部分のハードウェア構成は共通であるが、ステップＳ４’のレーンマーキング候補点選択において、レーンマーキング候補点を取捨選択する部分が大きく異なる。
【００２４】
ステップＳ１において、図３に示すように、車両１２に取り付けたカメラ１により車両前方を撮影する。得られた画像は図４に示すように、自車線の左右レーンマーキング１３，１４が水平画角内に収まっているものとする。ステップＳ２において、図４に示すような画像を画像記憶手段（画像メモリ）４に取り込む。ステップＳ３において、レーンマーキング候補点１５，１６を探索する水平方向走査範囲を、図５に示すレーンマーキング探索ウィンドウ１９,２０（破線で囲んだ部分）により設定する。
【００２５】
ステップＳ４において、図５に示す所定の垂直方向位置Ｖのライン２５を、レーンマーキング探索ウィンドウ１９，２０内で、水平Ｈ方向に走査し、画像メモリ４より読み出した輝度分布を基に、○で表すレーンマーキング候補点１５，１６を検出する。このＨ方向走査線であるレーンマーキング探索ライン２５は、左右共通のV座標で、  Ｖn   ｎ＝０，１，----，Ｎ−１のN本設定する。ステップＳ４’において、ステップＳ４で得られたレーンマーキング候補点１５，１６の取捨選択を行う。図６に示す左側分岐を例に、本線側レーンマーキング２１に対して出口側レーンマーキング２２上の候補点２４を除去する手順について説明する。図６に示すように、候補点同士の傾きとは、水平座標／垂直座標＝△Ｈ／△Ｖを指す。この傾きを手前から比較し、同符号ならば候補点有効、異符号ならば無効とする。
【００２６】
以下、図６のステップＳ-０，---，Ｓ-８について説明する。ｎはレーンマーキング探索ラインＮｏ．を指す。ただし、便宜上、すべてのレーンマーキング探索ライン上にレーンマーキング候補点が存在するものとして説明するが、実際は間欠白線の場合など候補点が存在しない探索ラインＮｏ．は以下の処理では欠番となる。
ステップＳ-０では，図７（ａ）（ｂ）に示すように、候補点ｎ＝０と消失点との傾き（０，ｆ0e）と候補点ｎ＝０，１の傾き(1)を算出する。なお、この発明で消失点とは画像上の走行車線の先端で消失する点をいう。処理上では、近傍の候補点、例えば、ｎ<８までの候補点に対して左右それぞれ直線近似し、得られた左右の近似直線の交点を消失点とする。
傾き（０，ｆ0e）と傾き(1)の符号を比較する。同符号のため、候補点ｎ＝１は有効とする。
【００２７】
ステップＳ-１では、候補点ｎ＝１，２から、候補点同士の傾き(2)を算出する。
ステップＳ-２では、傾き(1)と傾き(2)の符号を比較する。同符号のため、候補点ｎ＝２は有効とする。
ステップＳ-３では、候補点ｎ＝２，３から、傾き(3)を算出する。
ステップＳ-４では、傾き(2)と傾き(3)の符号を比較する。異符号のため、候補点ｎ＝３は無効とする。
ステップＳ-５では、候補点ｎ＝３が無効となったため、候補点ｎ＝２，４から、傾き(4)を算出する。
ステップＳ-６では、傾き(2)と傾き(4)の符号を比較する。異符号のため、候補点ｎ＝４は無効とする。
ステップＳ-７では、候補点ｎ＝４が無効となったため、候補点ｎ＝２，５から、傾き(5)を算出する。
ステップＳ-８では、傾き(2)と傾き(5)の符号を比較する。同符号のため、候補点ｎ＝５は有効とする。
【００２８】
このように、着目点ｎに対して最も近くで有効となった候補点ｎ−ｉ（ｉ＜ｎ）との傾き（ｎ−ｉ，ｎ）を算出し、候補点ｎ−ｉに対して最も近くで有効となった候補点ｎ−ｉ―ｊ（ｉ＋ｊ＜ｎ）との傾き（ｎ−ｉ―ｊ，ｎ−ｉ）と符号比較し、図８に示すように、同符号ならば着目点ｎは有効、異符号ならば着目点ｎは無効という手順を繰り返すことにより、図９に示すように、出口側レーンマーキング２２上の候補点群２４を除去し、本線側レーンマーキング２１上の候補点群２３のみを選択する。
【００２９】
ステップＳ-０，---，Ｓ-８における傾きの符号判定において、傾きの積により同符号、異符号を判定する。すなわち傾きの積が正ならば同符号、負ならば異符号とする。ただし、傾きの積０は同符号に含めるものとする。なお、傾きの絶対値が所定の閾値以下ならば０とする。この閾値は、検出対象道路において分岐路出口を除いて存在する最小曲率半径のカーブの候補点群を用いて求められる傾きのうち、少なくとも1つが０と判定されるように選べばよい。
【００３０】
ステップＳ５において、Ｓ４’で選択されたレーンマーキング候補点１５，１６の集合を基に、数学的モデル式、例えば２次式で近似すると、図１０に示すように、車線を表すレーンマーキング数学的モデル式１７，１８が得られる。Ｓ６において、レーンマーキング数学的モデル式係数を車線認識結果として車両制御装置へ例えば舵角指示として、送信出力する。
【００３１】
ステップＳ３のレーンマーキング探索ウィンドウにおいては、前回の処理周期ステップＳ１〜Ｓ６のステップＳ５のレーンマーキング数学的モデル式推定で得られたレーンマーキング数学的モデル式を基準に、レーンマーキング探索ウィンドウを設定する。前回の処理周期において、レーンマーキング数学的モデル式が得られなかった場合、すなわちレーンマーキング未検出の場合は別途、広範囲なレーンマーキング探索ウィンドウを設定するものとする。
【００３２】
実施の形態２．
実施の形態２は、実施の形態１記載の車線認識画像処理装置のレーンマーキング候補点選択処理に対する実施条件として、レーンマーキング種類条件を付加したものである。レーンマーキング候補点選択処理は、例えば、分岐直前のレーンマーキング種類が「実線」であることに着目し、レーンマーキング種類が「実線」である場合のみ実施とする。
【００３３】
レーンマーキング種類判定は、時間的な候補点検出点数の平均値により行う。
図１１に示すように、左レーンマーキング種類が「実線」、右レーンマーキング種類が「間欠白線」となる場合は、候補点数平均値において明確な差が現れる。例えば、「実線」では９０％以上、「間欠白線」では４０％以下となる。
レーンマーキング候補点選択処理実施において、レーンマーキング種類を限定することにより、図１２のような導流レーンなど特殊レーンマーキング時に、本処理が実行されて車線認識が不安定になることを防ぐことができる。
また、レーンマーキング候補点選択処理実施において、レーンマーキング種類を限定することにより、分岐の無い区間を走行中の処理時間、あるいは左右いずれか分岐の無い側の処理時間を削減できる。
【００３４】
実施の形態３．
実施の形態３では、実施の形態１の車線認識画像処理装置のレーンマーキング候補点選択処理の実施条件として、ウィンカ・スイッチ５のターンシグナルの条件を付加したものである。図２のフローチャートに対し、図１３のフローチャートに示すように、ステップＳ４”においてウィンカ・スイッチ５のターンシグナルのＯＮ／ＯＦＦを判定し、ウィンカ・スイッチ５のターンシグナルのＯＦＦの場合のみステップＳ４’のレーンマーキング候補点選択処理を実施する。
【００３５】
ウィンカ・スイッチ５のターンシグナルのＯＮ操作時に、レーンマーキング候補点選択処理をキャンセルとすることで、図１４のように実際に自車が出口側レーンに向かう場合、自車線のレーンマーキング候補点を除去することなく、速やかに出口側レーンマーキングに移行できるものである。
【００３６】
図１４（ａ）において、出口へ向かうためにウィンカ・スイッチがＯＮとなっていれば、レーンマーキング候補点選択処理が実施されないため、出口側レーンマーキング上の候補点はそのまま維持される。
図１４（ｂ）において、前回の数学的モデル式を基準に次の探索基準位置を設定するため、本線側レーンマーキングは探索範囲外となり、出口側レーンマーキング上に候補点が検出される。
図１４（ｃ）において、本線側レーンマーキング候補点はなくなり、出口側レーンマーキング候補点のみとなる。
図１４（ｄ）において、車両はほぼ出口側レーンに移っており、左側レーンマーキングの認識対象移行は完了している。右側レーンマーキングの移行は左側レーンマーキング位置から車線幅分右へオフセットした位置を探索基準位置とすることで行う。このように、実際に出口側レーンに向かう場合でもウィンカ・スイッチ５のモニタにより速やかに出口側レーンマーキングに移行することができる。
【００３７】
実施の形態４．
レーンマーキング候補点を候補点同士の傾き比較により取捨選択し、分岐路判定を行わないため、分岐路に限定されない。このため、図１５に示すようにレーンマーキング以外の誤検出された候補点除去に対しても有効である。これにより、レーンマーキング数学的モデル式の信頼性をさらに高めることができる。
【００３８】
実施の形態５．
傾きの符号比較により候補点の有効／無効を判定するため、分岐路出口以外の、極点で傾きが符号反転するカーブに対しては、本線側レーンマーキング候補点が除去されることはない。この原理について、以下、図１５，１６により説明する。図１６において、傾き(2)と傾き(3)は値が０となっている。これは、画素単位で同一Ｈ座標となって傾き０の場合と、実施の形態１で述べた所定の閾値以下で０となった場合を含む。このように、分岐路とは異なり、２次曲線で近似できるカーブでは滑らかに形状が変化するため、傾き０となる極点２６が存在する。この極点により、傾きの積による符号判定において、積が０すなわち「異符号ではない」となり、同符号扱いで、候補点は有効となる。よって、傾き(2)から(4)に係る候補点は有効となる。このように、通常のカーブでは候補点選択処理により、本線上のレーンマーキング候補点は無効とならない。
【００３９】
図１５は、Ｈ軸を縦軸にＶ軸を横軸にとって、左カーブでの候補点の位置関係を表したものである。レーンマーキング探索ラインｎ＝０，１，２，---の順に傾きの符号判定を行い、候補点を逐次、取捨選択していく。ｎ＝４の候補点は傾き異符号となるため、除去される。続いてｎ＝８においてＨは極大値をとる。このように、カーブでは滑らかに形状が変化するため、傾き０となる極点２６が存在する。極点２６の前後で傾きの符号は反転するが、傾きの符号判定において傾きの積０を同符号と同じ扱いとしているため、ｎ＝９，１０，１１の候補点は無効とならない。
【００４０】
実施の形態６．
レーンマーキング候補点を候補点同士の傾き比較により取捨選択するが、最初の基準となる傾きは、消失点との傾きを用いるため、図１７に示すように、逆に出口側レーンマーキング候補点を選択してしまうことを予め回避することができる。図１７について説明する。ただし、便宜上、手前から順に候補点選択を行うものとして説明する。
【００４１】
最近傍であるレーンマーキング探索ラインｎ＝０および次のｎ＝１において、出口側レーンマーキング候補点が検出されると、傾き(1)は出口側を指す方向にセットされる。次に、傾き(1)と傾き(2)の比較では異符号となるため、候補点ｎ＝２は除去される。手前から遠方に向かって、レーンマーキング候補点選択処理を繰り返すと、傾き(1)が出口側を指す限り本線側レーンマーキング候補点群２３（ｎ＝２，---，６）が除去され、出口側レーンマーキング候補点群２４のみが選択される。このように、本来の目的とは逆の結果となってしまう。
【００４２】
これは、基準となる開始点における傾きが本来、誤りである出口側レーンマーキング方向となることに原因があるため、レーンマーキング候補点選択処理の開始点において、消失点との傾きとすることにより回避することができる。このとき、開始点が出口側レーンマーキング上にあったとしても、開始点１点のみとなり、候補点数全体でみると、本線側レーンマーキング上の候補点数が上回るため、影響は軽微で済む。
【００４３】
実施の形態７．
レーンマーキング候補点を候補点同士の傾き比較により取捨選択するため、左右いずれの分岐に対しても有効であり、ソフトウェアを左側通行ならば左側分岐専用、右側通行ならば右側分岐専用というように使い分ける必要がなく、ソフトウェアを左右共通とすることができる。
【００４４】
【発明の効果】
以上説明したように、この発明の車線認識画像処理装置によれば、前方を撮影する撮影手段と、この撮影手段により得られた画像を一時記憶する画像記憶手段と、この画像記憶手段より読み出した画像に対してレーンマーキング探索範囲を設定するレーンマーキング探索ウィンドウ設定手段と、このレーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出するレーンマーキング候補点抽出手段と、このレーンマーキング候補点抽出手段により選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定する車線認識手段を備え、上記レーンマーキング候補点抽出手段は、これにより抽出されたレーンマーキング候補点を取捨選択するレーンマーキング候補点選択手段を有し、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うものである。
【００４５】
そのため、レーンマーキング候補点を候補点同士の傾き比較により、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行なって、取捨選択するという平易なアルゴリズムでソフトウェア的に処理するため、分岐路通過時においてナビゲーション装置などの他のインフラ情報の助けを必要とせず、本線側のレーンマーキングを正しく認識することができるものである。また、分岐路に限定されず、レーンマーキング以外の誤検出された候補点除去に対しても有効である。
【００４６】
また、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うので、分岐路出口以外の、極点で傾きが符号反転するカーブに対しても、本線側レーンマーキング候補点が除去されることはない。
【００４７】
また、上記レーンマーキング候補点選択手段は、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うので、最初の基準となる傾きは消失点との傾きを用いるため、出口側レーンマーキング候補点を選択してしまうことを回避することができる。
【００４８】
また、上記レーンマーキング候補点選択手段を、左又は右レーンマーキングが特定の種類の場合に動作させるようにしたので、レーンマーキング候補点選択処理実施において、レーンマーキング種類を限定することにより、本処理が実行されて車線認識が不安定になることを防ぐことができる。
また、上記レーンマーキング候補点選択手段を、ウィンカ・スイッチがオフの場合に動作させるようにしたので、動作をより確実にすることができる。
【００４９】
また、この発明の車線認識画像処理を実行させるためのプログラムによれば、前方を撮影する撮影手段により得られた画像を一時記憶し、記憶された画像を読み出してレーンマーキング探索範囲を設定し、レーンマーキング探索ウィンドウ内よりレーンマーキング候補点を検出し、検出したレーンマーキング候補点を取捨選択し、選択されたレーンマーキング候補点の集合を数学的モデル式により近似してレーンマーキング数学的モデル式を推定するようにし、上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行うようにしたものである。
【００５０】
そのため、レーンマーキング候補点を候補点同士の傾き比較により、これらの傾きが同符号となる場合は選択対象の端点を有効とし、異符号となる場合は選択対象の端点を無効にする処理を行なって、取捨選択するという平易なアルゴリズムでソフトウェア的に処理するため、分岐路通過時においてナビゲーション装置などの他のインフラ情報の助けを必要とせず、本線側のレーンマーキングを正しく認識することができる。また、分岐路に限定されず、レーンマーキング以外の誤検出された候補点除去に対しても有効である。
【００５１】
また、上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、レーンマーキング候補点のうち既に有効となった隣接する2点と、これから選択するか否かを決定する１点を端点（すなわち選択対象）とする計3点を対象に、隣接する2点間を結ぶ直線の傾きを求め、これらの傾きのいずれか一方の絶対値が所定閾値以下のときは、これらの傾きを同符号として扱うように処理を行うので、分岐路出口以外の、極点で傾きが符号反転するカーブに対しても、本線側レーンマーキング候補点が除去されることはない。
【００５２】
また、上記レーンマーキング候補点を取捨選択するにあたっては、水平線を１つの軸とする直交座標系において、最初の1点と消失点を結ぶ直線の傾きと最初の点とこれから選択するか否かを決定する１点（すなわち選択対象）を結ぶ直線の傾きを求め、これらの傾きが同符号となる場合は選択対象の１点を有効とし、異符号となる場合は選択対象の１点を無効にする処理を行うようにしたので、最初の基準となる傾きは消失点との傾きを用いるため、出口側レーンマーキング候補点を選択してしまうことを回避することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１の車線認識画像処理装置の構成を示すブロック図である。
【図２】実施の形態１の車線認識画像処理装置の処理フローを示すフローチャートである。
【図３】車両へのカメラ取り付け例を示す説明図である。
【図４】車両前方を撮影したカメラ出力画像図である。
【図５】レーンマーキング探索ライン上のレーンマーキング候補点検出の説明図である。
【図６】出口側レーンマーキング候補点除去の手順を表す説明図である。
【図７】消失点，最初の候補点，選択対象の候補点の3点を対象とした傾きの説明図である。
【図８】有効となった候補点２点と選択対象の候補点の有効／無効を判定する際の傾きを表す図である。
【図９】出口側と本線側のレーンマーキング候補点の位置関係を表す説明図である。
【図１０】レーンマーキング候補点から推定したレーンマーキング数学的モデル式を示す説明図である。
【図１１】時間的候補点密度によるレーンマーキング種類判定を行う説明図である。
【図１２】導流レーンの説明図である。
【図１３】実施の形態３の車線認識画像処理装置の処理フローを示すフローチャートである。
【図１４】ウィンカ・スイッチＯＮ状態で出口側レーンへ移行するときの説明図である。
【図１５】カーブにおける候補点選択処理を示す説明図である。
【図１６】カーブにおける候補点選択処理を示す説明図である。
【図１７】出口側を選択する候補点選択処理を示す説明図である。
【符号の説明】
１  撮像手段、                        ２  画像処理ＥＣＵ、
３  メインＥＣＵ、                    ４  画像記憶手段、
５  ウインカ・スイッチ、
６  レーンマーキング探索ウィンドウ設定手段、
７  レーンマーキング候補点抽出手段、
８  レーンマーキング候補点選択手段、  ９  車線認識手段、
１０  車線認識結果出力部、            １２  車両、
１３  左レーンマーキング、            １４  右レーンマーキング、
１５  レーンマーキング候補点、        １６  レーンマーキング候補点、
１７  レーンマーキング数学的モデル式、
１８  レーンマーキング数学的モデル式、
１９  レーンマーキング探索ウィンドウ、
２０  レーンマーキング探索ウィンドウ、
２１  本線側レーンマーキング、        ２２  出口側レーンマーキング、
２３  本線側レーンマーキング候補点群、
２４  出口側レーンマーキング候補点群、
２５  レーンマーキング探索ライン、    ２６  極点。
【図１】
0003626733.tif 000002
【図２】
0003626733.tif 000003
【図３】
0003626733.tif 000004
【図４】
0003626733.tif 000005
【図５】
0003626733.tif 000006
【図６】
0003626733.tif 000007
【図７】
0003626733.tif 000008
【図８】
0003626733.tif 000009
【図９】
0003626733.tif 000010
【図１０】
0003626733.tif 000011
【図１１】
0003626733.tif 000012
【図１２】
0003626733.tif 000013
【図１３】
0003626733.tif 000014
【図１４】
0003626733.tif 000015
【図１５】
0003626733.tif 000016
【図１６】
0003626733.tif 000017
【図１７】
0003626733.tif 000018