(57)【要約】      （修正有）【課題】車両が道路白線に近づいたか否かを正確に判定する画像処理装置を提供する。【解決手段】画像処理装置１は、車両に設けられるカメラ１０が撮像するカメラ画像に含まれる道路白線に基づく複数の道路白線候補点を検出する候補点検出部２と、複数の道路白線候補点の座標に基づく複数の代表候補点を決定する候補点決定部３と、複数の代表候補点を通る曲線上の基準点であって、カメラ画像に含まれない領域に対応する基準点の座標を用いて、車両が道路白線に近づいたか否かを判定する判定部４と、を有する。【選択図】図１
2015153319.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられるカメラが撮像するカメラ画像に含まれる道路白線に基づく複数の道路白線候補点を検出する候補点検出部と、
前記複数の道路白線候補点の座標に基づく複数の代表候補点を決定する候補点決定部と、
前記複数の代表候補点を通る曲線上の基準点であって、前記カメラ画像に含まれない領域に対応する前記基準点の座標を用いて、前記車両が前記道路白線に近づいたか否かを判定する判定部と、
を有する画像処理装置。
【請求項２】
前記複数の代表候補点は３点の代表候補点である、請求項１に記載の画像処理装置。
【請求項３】
前記候補点決定部は、前記複数の道路白線候補点の内、前記カメラ画像における下端側の３点と、前記カメラ画像における上端側の３点と、前記カメラ画像における下端と上端との中間の３点とを抽出し、
前記候補点決定部は、前記下端側の３点の座標の平均で表される点を第１の代表候補点として、前記中間の３点の座標の平均で表される点を第２の代表候補点として、前記上端側の３点の座標の平均で表される点を第３の代表候補点として、前記３点の代表候補点を決定する、請求項２に記載の画像処理装置。
【請求項４】
実空間平面座標系において、前記複数の代表候補点を通る曲線は円である、請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記基準点は、前記カメラのレンズに対応する実空間平面座標系の原点を通り、且つ前記車両の左右方向に伸びる直線と、前記複数の代表候補点を通る曲線との交点である、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記基準点は、前記車両の車輪に対応する実空間平面座標系の原点を通り、且つ前記車両の左右方向に伸びる直線と、前記複数の代表候補点を通る曲線との交点である、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項７】
前記基準点は、前記車両の前後方向に平行な中心線上に存在する前記車両の先端に対応する実空間平面座標系の原点を通り、且つ前記車両の左右方向に伸びる直線と、前記複数の代表候補点を通る曲線との交点である、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項８】
前記判定部は、前記原点と前記基準点との距離が所定の距離より小さくなったときに、前記車両が前記道路白線に近づいたと判定する、請求項５から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記判定部は、前記車両が前記道路白線に近づいたと判定したときに、前記車両に設けられている報知部に対し報知を実行する信号を出力する、請求項８に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。本発明は、特に、車両が道路白線に近づいたか否かを正確に判定する画像処理装置に関する。
【背景技術】
【０００２】
例えば特許文献１に、車両に設けられたカメラによって撮像された画像から道路白線を認識することができる画像処理装置が開示されている。特許文献１に記載されている画像処理装置は、車両前方の道路を撮像した画像から道路白線候補点を抽出し、抽出した道路白線候補点に基づいて、撮像された画像に存在する道路白線位置に対応する曲線である道路曲線を検出する。特許文献１に記載されている画像処理装置は、道路曲線を規定する複数の変位点を設定し、その複数の変位点の少なくとも１つを基準点とし、基準点からのオフセット量をパラメータとするパラメータ推定を用いている。その結果、特許文献１に記載されている画像処理装置は、演算処理量を抑えて道路曲線を検出することができる。
【０００３】
ところで、特許文献１に記載の画像処理装置は、撮像された画像内に存在する道路白線位置に対応する道路曲線を検出するものである。したがって、撮像された画像外の道路白線位置又は道路曲線を検出しない。特に、例えば、車高の高い車両の室内にカメラが設けられているとき等は、撮像される画像の下端より車両に近い位置に存在する道路白線位置を検出することができない。そのため、例えば車両が道路白線に近づいたか否かを正確に判定することができない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−１９８１１９号公報
【発明の概要】
【０００５】
本発明の１つの目的は、車両が道路白線に近づいたか否かを正確に判定する画像処理装置を提供することにある。本発明の他の目的は、以下に例示する態様及び好ましい実施形態、並びに添付の図面を参照することによって、当業者に明らかになるであろう。
【０００６】
以下に、本発明の概要を容易に理解するために、本発明に従う態様を例示する。
【０００７】
第１の態様は、車両に設けられるカメラが撮像するカメラ画像に含まれる道路白線に基づく複数の道路白線候補点を検出する候補点検出部と、
前記複数の道路白線候補点の座標に基づく複数の代表候補点を決定する候補点決定部と、
前記複数の代表候補点を通る曲線上の基準点であって、前記カメラ画像に含まれない領域に対応する前記基準点の座標を用いて、前記車両が前記道路白線に近づいたか否かを判定する判定部と、
を有する画像処理装置に関する。
【０００８】
判定部は、カメラ画像に含まれる道路白線の情報のみから定まる複数の代表候補点を通る曲線上の基準点であって、カメラ画像に含まれない領域に対応する基準点の座標を用いて、車両が道路白線に近づいたか否かを判定する。したがって、判定部は、車高の高い車両の室内にカメラが設けられているときであっても、撮像される画像の下端より車両に近い位置において車両が道路白線に近づいたか否かを正確に判定することができる。
【０００９】
第２の態様では、第１の態様において、
前記複数の代表候補点は３点の代表候補点であってもよい。
【００１０】
判定部は、カメラ画像に含まれる道路白線の情報のみから定まる３点の代表候補点を通る曲線上の基準点であって、カメラ画像に含まれない領域に対応する基準点の座標を用いて、車両が道路白線に近づいたか否かを判定する。したがって、判定部は、車高の高い車両の室内にカメラが設けられているときであっても、撮像される画像の下端より車両に近い位置において車両が道路白線に近づいたか否かを正確に判定することができる。
【００１１】
第３の態様では、第２の態様において、
前記候補点決定部は、前記複数の道路白線候補点の内、前記カメラ画像における下端側の３点と、前記カメラ画像における上端側の３点と、前記カメラ画像における下端と上端との中間の３点とを抽出し、
前記候補点決定部は、前記下端側の３点の座標の平均で表される点を第１の代表候補点として、前記中間の３点の座標の平均で表される点を第２の代表候補点として、前記上端側の３点の座標の平均で表される点を第３の代表候補点として、前記３点の代表候補点を決定してもよい。
【００１２】
候補点決定部は、カメラ画像の下端側で第１の代表候補点、上端側と下端側との中間で第２の代表候補点、上端側で第３の代表候補点を決定するので、３点の代表候補点を通る曲線は、道路白線位置に対応する曲線である道路曲線に近くなる。また、カメラ座標系における各代表候補点の座標は、複数の道路白線候補点の内から抽出された３点の座標の平均値で決定されるので、候補点検出部による道路白線候補点の検出誤差の影響を軽減させることができる。
【００１３】
第４の態様において、第１の態様から又は第３の態様において、
実空間平面座標系において、前記複数の代表候補点を通る曲線は円であってもよい。
【００１４】
道路白線の道路曲線は、なだらかな円に近似するものである。判定部は、複数の代表候補点を通る円を演算するので、円は道路白線の道路曲線にさらに近くなる。また、判定部は、複数の代表候補点を通る円を演算するので、例えば演算を複数回繰り返して道路曲線を演算するもの等と比較して演算に係る処理量を抑えることができる。
【００１５】
第５の態様において、第１の態様から第４の態様において、
前記基準点は、前記カメラのレンズに対応する実空間平面座標系の原点を通り、且つ前記車両の左右方向に伸びる直線と、前記複数の代表候補点を通る曲線との交点であってもよい。
【００１６】
カメラのレンズに対応する実空間平面座標系の原点を通り、且つ車両の左右方向に伸びる直線と、複数の代表候補点を通る曲線との交点が、車両が道路白線に近づいたか否かを判定する基準点なので、判定部は、車両が道路白線に近づいたか否かを正確に判定することができる。
【００１７】
第６の態様において、第１の態様から第４の態様において、
前記基準点は、前記車両の車輪に対応する実空間平面座標系の原点を通り、且つ前記車両の左右方向に伸びる直線と、前記複数の代表候補点を通る曲線との交点であってもよい。
【００１８】
車両の車輪に対応する実空間平面座標系の原点を通り、且つ車両の左右方向に伸びる直線と、複数の代表候補点を通る曲線との交点が、車両が道路白線に近づいたか否かを判定する基準点なので、判定部は、車両が道路白線に近づいたか否かを正確に判定することができる。
【００１９】
第７の態様において、第１の態様から第４の態様において、
前記基準点は、前記車両の前後方向に平行な中心線上に存在する前記車両の先端に対応する実空間平面座標系の原点を通り、且つ前記車両の左右方向に伸びる直線と、前記複数の代表候補点を通る曲線との交点であってもよい。
【００２０】
車両の前後方向に平行な中心線上に存在する車両の先端に対応する実空間平面座標系の原点を通り、且つ車両の左右方向に伸びる直線と、複数の代表候補点を通る曲線との交点が、車両が道路白線に近づいたか否かを判定する基準点なので、判定部は、車両が道路白線に近づいたか否かを正確に判定することができる。
【００２１】
第８の態様において、第５の態様から第７の態様において、
前記判定部は、前記原点と前記基準点との距離が所定の距離より小さくなったときに、前記車両が前記道路白線に近づいたと判定してもよい。
【００２２】
実空間平面座標系の原点と、車両が基準点との距離が所定の距離より小さくなったときに、車両が道路白線に近づいたと判定するので、判定部は、車両が道路白線に近づいたか否かを正確に判定することができる。
【００２３】
第９の態様において、第８の態様において、
前記判定部は、前記車両が前記道路白線に近づいたと判定したときに、前記車両に設けられている報知部に対し報知を実行する信号を出力してもよい。
【００２４】
車両が道路白線に近づいたと判定されたときに、判定部は報知部に対し報知を実行する信号を出力するので、乗員は車両が道路白線に近づいたことを認識することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明に従う第１の実施形態における画像処理装置の構成の例を示すブロック図である。
【図２】カメラ座標系における道路白線候補点の検出の第１の実施形態における例を示す図である。
【図３】カメラ座標系において検出された道路白線候補点の代表候補点を実空間平面座標系に射影変換した第１の実施形態における例を示す図である。
【図４】実空間平面座標系において、車両が道路白線に近づいたか否かを判定する基準点を求める第１の実施形態における例を示す図である。
【図５】本発明に従う第１の実施形態における画像処理装置の動作の例を示すフローチャート図である。
【図６】車両の向きと演算される曲線との関係を示す図である。
【図７】カメラ座標系における道路白線候補点の検出の第２の実施形態における例を示す図である。
【図８】カメラ座標系において検出された道路白線候補点の代表候補点を実空間平面座標系に射影変換した第２の実施形態における例を示す図である。
【図９】実空間平面座標系において、車両が道路白線に近づいたか否かを判定する基準点を求める第２の実施形態における例を示す図である。
【図１０】本発明に従う第２の実施形態における画像処理装置の動作の例を示すフローチャート図である。
【図１１】道路曲線の曲率半径が大きい道路白線と演算される円との関係を示す図である。
【図１２】道路曲線の曲率半径が小さい道路白線と演算される円との関係を示す図である。
【発明を実施するための形態】
【００２６】
以下に説明する好ましい実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
【００２７】
１．第１の実施形態
図１を用いて、本発明に従う第１の実施形態における画像処理装置１の構成の例について説明する。画像処理装置１は、候補点検出部２と候補点決定部３と判定部４を備える。また、画像処理装置１は、ＣＡＮ（Controller Area Network）３０等の車内ＬＡＮに接続することができる。その結果、画像処理装置１は、例えばＣＡＮ３０に接続されているカメラ１０が撮像する画像を入力することができる。また、画像処理装置１は、例えばＣＡＮ３０に接続されている報知部２０に報知を実行する信号を出力することができる。さらに、画像処理装置１は、図示されていない通信部をさらに備えてもよく、Ｗｉｆｉ（Wireless fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介してカメラ１０及び／又は報知部２０と接続してもよい。代替的に、画像処理装置１は、ケーブル等の優先通信を介してカメラ１０が撮像する画像を入力、及び／又は報知部２０に報知を実行する信号を出力してもよい。
【００２８】
カメラ１０は、車両から見て前方を撮像可能に車両に設けられていることが好ましい。例えば車両の室内のミラーの前方等にカメラ１０が設けられていてもよい。カメラ１０は、例えば、ＣＣＤ、ＣＭＯＳ等の撮像センサと、被写体の像を撮像センサの撮像面に形成する撮像レンズとを有し、デジタル形式のカメラ画像を生成することができる。また、カメラ１０は、画像処理装置１専用のカメラであってもよく、例えばＡＣＣ（Adaptive Cruise Control）ユニット（障害物検知装置制御ユニット）等の他の用途を実現するための共用のカメラであってもよい。また、カメラ１０が通信部を有しているときは、Ｗｉｆｉ（Wireless fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の無線通信を介して画像処理装置１に撮像した画像を出力してもよい。さらに、カメラ機能及び通信機能を有するスマートフォン又はタブレット端末等を車両の前方を撮像可能に固定してカメラ１０を実現してもよい。
【００２９】
報知部２０は、例えば、図示されていないオーディオ装置等のスピーカであってもよく、図示されていないインジケータ等であってもよく、図示されていないナビゲーション装置等のディスプレイであってもよい。
【００３０】
画像処理装置１は、例えばＥＣＵ（Electronic Control Unit）で構成され、ＥＣＵはいずれも図示されていないＣＰＵ（Central Processing Unit）等の処理部、メモリ等の記憶部、入出力インターフェース部等を有する。候補点検出部２と候補点決定部３と判定部４は、例えばＥＣＵの記憶部が記憶する画像処理プログラムを処理部が実行することにより実現される。また、代替的に、画像処理装置１は、カメラ１０の図示されていない処理部で構成されていてもよい。
【００３１】
画像処理装置１の候補点検出部２は、カメラ１０から入力した車両から見て前方が撮像されたカメラ画像Ｉに含まれる道路白線候補点を検出する。図２には、カメラ１０により撮像されたカメラ画像Ｉに含まれる道路白線候補点を、候補点検出部２が検出した例が示されている。図２に示されるカメラ画像Ｉには、車両（カメラ画像Ｉに含まれないカメラ１０を有する自車）の左側に道路白線ＷＬ１及び右側に道路白線ＷＬ２が含まれる。ここで、例えばカメラ画像Ｉには、車両前方向において、車両から５ｍ離れたところから６０ｍ離れたところまでが含まれている。以下、本発明に従う画像処理装置１を実施するための形態の説明においては、説明を容易にするためにも車両の左側に存在する道路白線ＷＬ１についてのみ説明する。実際には、車両の右側に存在する道路白線ＷＬ２に対しても、車両の左側に存在する道路白線ＷＬ１に対する処理と同様の処理がなされる。
【００３２】
画像処理装置１の候補点検出部２は、カメラ画像Ｉに含まれる道路白線ＷＬ１の複数の道路白線候補点を検出する。複数の道路白線候補点は、例えば、自車が走行している道路（レーン）とその道路（レーン）を規定する道路白線ＷＬ１との境界線（例えば道路白線ＷＬ１の右側のエッジ）上で検出される。候補点検出部２は、カメラ画像Ｉに含まれる道路白線ＷＬ１の道路白線候補点を例えば６０点検出する。なお、図２は、複数の道路白線候補点及び後述する３点の代表候補点ｐ１、ｐ２、ｐ３の検出方法の説明に用いられるものなので、図２に示される検出された道路白線候補点の数は省略されている。道路白線候補点が検出される間隔は、カメラ画像Ｉの下端に近い程広くなっており、カメラ画像Ｉの上端に近い程狭くなっている。すなわち、候補点検出部２は、実空間平面座標系において道路白線候補点が検出される間隔が等間隔になるように複数の道路白線候補点を検出する。その結果、後述する３点の代表候補点ｐ１、ｐ２、ｐ３が精度良く候補点決定部３によって決定される。
【００３３】
画像処理装置１の候補点決定部３は、検出した複数の道路白線候補点から例えば３つの候補点群を選択する。例えば３つの候補群のそれぞれには例えば３点の道路白線候補点が含まれる。候補点決定部３は、例えば、図２のカメラ画像Ｉの下端に近い道路白線候補点３点を第１の候補点群Ｃ１、カメラ画像Ｉの下端と上端との中間である中心線Ｍに近い道路白線候補点３点を第２の候補点群Ｃ２、カメラ画像Ｉの上端に近い道路白線候補点３点を第３の候補点群Ｃ３として選択する。候補点決定部３は、候補点群ごとに例えば３点の道路白線候補点のカメラ座標系における座標の例えば平均値を有する代表候補点を決定する。
【００３４】
画像処理装置１の候補点決定部３は、例えば、第１の候補点群Ｃ１に含まれる３点の道路白線候補点のカメラ座標系における座標の平均値を有する代表候補点を第１の代表候補点ｐ１として決定する。ここで、カメラ画像Ｉのカメラ座標系において、例えば上下方向にＩｘ座標、左右方向にＩｙ座標が設定されているとき、第１の候補点群Ｃ１に含まれる３点の道路白線候補点の座標が（Ｉｘ１，Ｉｙ１）、（Ｉｘ２，Ｉｙ２）、（Ｉｘ３，Ｉｙ３）であるとする。なお、図２に示されるカメラ画像Ｉのカメラ座標系においては、例えばカメラ画像Ｉの右下端がカメラ座標系の原点、カメラ画像Ｉの上方向がＩｘ軸正方向、カメラ画像Ｉの左方向がＩｙ軸正方向である。そうすると、候補点決定部３は、例えば以下に示される数式（１）で３点の座標の平均値（Ｉｘｐ１，Ｉｙｐ１）を計算して、計算結果で表される座標で定まる点を第１の代表候補点ｐ１として決定する。なお、図２において、（Ｉｘｐ１，Ｉｙｐ１）＝（Ｉｘ２，Ｉｙ２）である。次に、候補点決定部３は、第１の代表候補点ｐ１の決定方法と同様に、第２の候補点群Ｃ２から第２の代表候補点ｐ２、第３の候補点群Ｃ３から第３の代表候補点ｐ３を決定する。
【００３５】
【数１】
2015153319.tif 000003
【００３６】
画像処理装置１の判定部４は、例えば射影変換を用いて、候補点決定部３が決定した３つの代表候補点ｐ１、ｐ２、ｐ３のカメラ座標系における座標を、実空間平面（道路を規定する平面）座標系における座標に変換する。図３には、カメラ座標系から実空間平面座標系に射影変換を用いて変換された画像Ｉｔが示され、３つの代表候補点ｐ１、ｐ２、ｐ３が示されている。ここで、図３に示されている道路白線ＷＬ１と道路白線ＷＬ２は、実際には示されていなくてもよい。判定部４は、例えば以下に示される数式（２）を用いて第１の代表候補点ｐ１のカメラ座標系における座標（Ｉｘｐ１，Ｉｙｐ１）を実空間平面座標系における座標（ｘ１，ｙ１）に変換する。
【００３７】
【数２】
2015153319.tif 000004
【００３８】
数式（２）において、ａ０、ｂ０、ｃ０、ａ１、ｂ１、ｃ１、ａ２、ｂ２、ｃ２は定数であり、例えばＥＣＵの記憶部に、画像処理装置１の判定部４がカメラ座標系から実空間平面座標系に変換可能な値が予め記憶されている。判定部４は、例えば第１の代表候補点ｐ１と同様に、第２の代表候補点ｐ２のカメラ座標系における座標（Ｉｘｐ２，Ｉｙｐ２）を実空間平面座標系における座標（ｘ２，ｙ２）に、第３の代表候補点ｐ３のカメラ座標系における座標（Ｉｘｐ３，Ｉｙｐ３）を実空間平面座標系における座標（ｘ３，ｙ３）に変換する。代替的に、判定部４は、他車であるトラック及びワゴン車並びにガードレールを含むカメラ画像Ｉ全体を画像Ｉｔに変換し、その後、候補点決定部３が、３つの候補点群Ｃ１、Ｃ２、Ｃ３から３つの代表候補点ｐ１、ｐ２、ｐ３を決定してもよい。ただし、射影変換に係る演算の負担を少なくするためにも、カメラ座標系で候補点決定部３が３つの代表候補点ｐ１、ｐ２、ｐ３を決定した後に、実空間平面座標系に変換する方が好ましい。
【００３９】
図４を用いて、第１の実施形態における画像処理装置１の判定部４が、実空間平面座標系において、車両が道路白線ＷＬ１に近づいたか否かを判定する基準点を求める例を説明する。実空間平面座標系の原点（０，０）は例えば車両上に設定される。例えば実空間平面座標系の原点（０，０）は、カメラ１０の撮像レンズの中心に対応する座標であってもよく、図示されていない車両の車輪の中心に対応する座標であってもよく、また、車両の前後方向に平行な中心線上に存在する車両の先端に対応する座標であってもよい。実空間平面座標系の原点（０，０）が車両の車輪の中心に対応する座標であるときは、車両が近づいたか否かの判定対象となる道路白線が存在する方向に応じて、実空間平面座標系の原点（０，０）となる左側の車輪又は右側の車輪の中心等が選択されることが好ましい。また、車両の車輪は前輪であることが好ましい。
【００４０】
図４には、実空間平面座標系の原点（０，０）を中心として、車両前後方向にＸ座標、車両左右方向にＹ座標が設定された実空間平面座標系が示されている。図４においては、例えば車両の前方向がＸ軸正方向、車両の左方向がＹ軸正方向である。画像処理装置１の判定部４は、３つの代表候補点ｐ１、ｐ２、ｐ３を通る曲線として、例えば３つの代表候補点ｐ１、ｐ２、ｐ３を通る円Ｏ（軌跡）を演算する。
【００４１】
円Ｏの演算の具体例として、画像処理装置１の判定部４は、まず、第１の代表候補点ｐ１と第２の代表候補点ｐ２とを繋ぐ線分ｌ１２の垂直二等分線ｂ１２を演算する。線分ｌ１２の傾きは、２つの代表候補点ｐ１、ｐ２の座標から以下に示される数式（３）によって求められる。すると、垂直二等分線ｂ１２の傾きは、線分ｌ１２の傾きの逆数に−１を乗算したものであるから、以下に示される数式（４）によって求められる。垂直二等分線ｂ１２の傾きを直線の式に代入することで以下に示される数式（５）が導き出される。数式（５）におけるｉは、垂直二等分線ｂ１２のＹ軸切片である。ここで、垂直二等分線ｂ１２は、線分ｌ１２の中点を通るので、線分ｌ１２の中点の座標を数式（５）に代入すると、Ｙ軸切片ｉは、以下に示される数式（６）のように表される。なお、線分ｌ１２の中点の座標は、｛（ｘ１＋ｘ２）／２，（ｙ１＋ｙ２）／２｝である。よって、線分ｌ１２の垂直二等分線ｂ１２は以下に示される数式（７）のように表される。
【００４２】
【数３】
2015153319.tif 000005
【００４３】
判定部４は同様に、第２の代表候補点ｐ２と第３の代表候補点ｐ３とを繋ぐ線分ｌ２３の垂直二等分線ｂ２３を演算する。次に、判定部４は、例えば垂直二等分線ｂ１２と垂直二等分線ｂ２３との交点ｐｃの座標（ｘｃ，ｙｃ）を演算する。そして、判定部４は、例えば交点ｐｃと第１の代表候補点ｐ１との距離ｒを演算する。ここで、交点ｐｃと第１の代表候補点ｐ１との距離ｒは、第１の代表候補点ｐ１の座標（ｘ１，ｙ１）と交点ｐｃの座標（ｘｃ，ｙｃ）を用いて、三平方の定理、例えば以下に示される数式（８）で求められる。
【００４４】
【数４】
2015153319.tif 000006
【００４５】
そして、判定部４は、例えば交点ｐｃを中心点ｐｃとし、且つ、第１の代表候補点ｐ１と中心点ｐｃとの距離ｒを半径ｒとした円Ｏを表す、例えば以下に示される数式（９）を求める。このとき、第１の代表候補点ｐ１と中心点ｐｃとの距離、第２の代表候補点ｐ２と中心点ｐｃとの距離、第３の代表候補点ｐ３と中心点ｐｃとの距離の各々は、半径ｒと一致するので、３つの代表候補点ｐ１、ｐ２、ｐ３は、円Ｏ上に存在する。数式（８）では、円Ｏの半径ｒを求める例として第１の代表候補点ｐ１の座標（ｘ１，ｙ１）を用いた演算式が示されているが、円Ｏ上にある点の座標である例えば第２の代表候補点ｐ２の座標（ｘ２，ｙ２）又は第３の代表候補点ｐ３の座標（ｘ３，ｙ３）を用いてもよい。
【００４６】
【数５】
2015153319.tif 000007
【００４７】
画像処理装置１の判定部４は、円Ｏを表す式を演算すると、実空間平面座標系において、車両が道路白線に近づいたか否かを判定する基準点の座標を演算する。車両が道路白線に近づいたか否かを判定する基準点は、例えば実空間平面座標系の原点（０，０）を通り左右方向に伸びる直線と円Ｏとの交点である。図４に示される例では、Ｙ軸と円Ｏの交点である点ｐｔ（０，ｙｔ）である。このとき、点ｐｔのＹ座標であるｙｔが、実空間平面座標系の原点（０，０）と点ｐｔとの距離ｄである。判定部４は、距離ｄに基づいて車両が道路白線に近づいたか否かを判定する。判定部４は、上述した数式（９）のｘに点ｐｔのＸ座標である０を、ｙに点ｐｔのＹ座標であるｙｔを代入した以下に示される数式（１０）を演算すると、点ｐｔのＹ座標ｙｔの値が求められる。なお、実際に数式（１０）を解くとｙｔの値が２つ求められるので、判定部４は、２つのｙｔの絶対値を比較して、小さい方のｙｔの絶対値を実空間平面座標系の原点（０，０）と点ｐｔとの距離ｄとして求める。
【００４８】
【数６】
2015153319.tif 000008
【００４９】
道路白線位置に対応する曲線である道路曲線は、なだらかな円に近似するものである。そうすると、３つの代表候補点ｐ１、ｐ２、ｐ３を通る円Ｏは、道路白線ＷＬ１の道路曲線に近似するものである。したがって、画像処理装置１は、例えば車高の高い車両の室内にカメラ１０が設けられているときであっても、カメラ画像Ｉの下端より車両に近い位置に存在する道路白線ＷＬ１の道路曲線を正確に推定することができる。その結果、画像処理装置１は、車両が道路白線ＷＬ１に近づいたか否かを正確に判定することができる。また、画像処理装置１は、例えば演算を複数回繰り返して道路曲線を求めるものと比較して演算に係る処理量を抑えることができる。なお、道路白線ＷＬ１が直線であるとき、その直線は、半径ｒが極めて大きな円であって、且つ３つの代表候補点ｐ１、ｐ２、ｐ３を通る円Ｏに近似する。
【００５０】
本実施形態の説明においては、数式（３）から、数式（１０）の８つの数式を用いて点ｐｔのＹ座標ｙｔの値を求める方法を説明したが、必ずこれらの数式を使用する必要はない。例えば、画像処理装置１の判定部４は、中心点ｐｃの座標（ｘｃ，ｙｃ）の値が求められたときに、数式（８）と数式（１０）から導き出される以下に示される数式（１１）を用いて点ｐｔのＹ座標ｙｔの値を求めてもよい。なお、数式（１０）と同様に、実際に数式（１１）を解くとｙｔの値が２つ求められるので、判定部４は、２つのｙｔの絶対値を比較して、小さい方のｙｔの絶対値を実空間平面座標系の原点（０，０）と点ｐｔとの距離ｄとして求める。
【００５１】
【数７】
2015153319.tif 000009
【００５２】
また、画像処理装置１の判定部４は、３つの代表候補点ｐ１、ｐ２、ｐ３の座標が求まったときに、距離ｄを求める数式に３つの代表候補点ｐ１、ｐ２、ｐ３の座標を代入して距離ｄを求めてもよい。距離ｄを求める数式は、例えば数式（１１）から変形される以下に示される数式（１２）である。ただし、数式（１２）中のｘｃには、垂直二等分線ｂ１２と垂直二等分線ｂ２３との交点のｘ座標を３つの代表候補点ｐ１、ｐ２、ｐ３の座標で表す数式が代入される。同様に、数式（１２）中のｙｃには、垂直二等分線ｂ１２と垂直二等分線ｂ２３との交点のｙ座標を３つの代表候補点ｐ１、ｐ２、ｐ３の座標で表す数式が代入される。なお、数式（１０）と同様に、実際に数式（１２）を解くと、ｄの値が２つ求められるので、判定部４は、２つのｄの絶対値を比較して、小さい方のｄの絶対値を距離ｄとして求める。
【００５３】
【数８】
2015153319.tif 000010
【００５４】
図５に示されるフローチャート図を用いて、第１の実施形態における画像処理装置１の動作の例を説明する。図５に示される各ステップにおける画像処理装置１の細かい処理内容の内、上述した内容と重複するものは詳細な説明を省略する。ステップＳＴ０１では、画像処理装置１は、車両に設けられているカメラ１０が撮像したカメラ画像Ｉを取り込む。ステップＳＴ０２では、画像処理装置１の候補点検出部２が取り込まれたカメラ画像Ｉに含まれる道路白線の複数の道路白線候補点を検出する。ステップＳＴ０３では、画像処理装置１の候補点決定部３が、候補点検出部２により検出された複数の道路白線候補点のカメラ座標系における座標に基づいて３点の代表候補点ｐ１、ｐ２、ｐ３を決定する。
【００５５】
ステップＳＴ０４では、画像処理装置１の判定部４は、例えば射影変換を用いて、候補点決定部３が決定した３つの代表候補点ｐ１、ｐ２、ｐ３のカメラ座標系における座標を、実空間平面座標系における座標に変換する。ステップＳＴ０５では、判定部４は、例えば３つの代表候補点ｐ１、ｐ２、ｐ３を通る円Ｏを演算する。ステップＳＴ０６では、判定部は、車両が道路白線に近づいたか否かを判定する基準点ｐｔとして、例えば車両上に設定される実空間平面座標系の原点（０，０）を通り左右方向に伸びる直線と円Ｏとの交点ｐｔの座標（０，ｙｔ）を演算する。
【００５６】
ステップＳＴ０７では、画像処理装置１の判定部４は、車両が道路白線に近づいたか否かを判定する。ここで、上述したように、判定部４が、ステップＳＴ０６で演算した点ｐｔのＹ座標であるｙｔの値が実空間平面座標系の原点（０，０）と点ｐｔとの距離ｄである。例えば、判定部４は、距離ｄが所定値ｄｔより小さいと判定したときに、車両が道路白線に近づいたと判定し、フローはステップＳＴ０８に進む。一方、例えば判定部４は、距離ｄが所定値ｄｔより小さくないと判定したときに、車両が道路白線に近づいていないと判定し、フローはステップＳＴ０９に進む。ここで、所定値ｄｔは、例えば実空間平面座標系の原点（０，０）が設定されている場所及び／又は車両の左右方向の幅の大きさに基づいて設定されていることが好ましい。
【００５７】
ステップＳＴ０８では、画像処理装置１の判定部４は、例えばＣＡＮ３０を介して報知部２０に報知を実行する信号を出力し、フローはＳＴＡＲＴに戻る。報知部２０が報知を実行することで、乗員は車両が道路白線に近づいたと認識することができる。一方ステップＳＴ０９では、画像処理装置１の判定部４は、例えばＣＡＮ３０を介して報知部２０に報知を停止する信号を出力し、フローはＳＴＡＲＴに戻る。報知部２０が報知を停止することで、乗員は車両が道路白線に近づいた状態が解消されたことを認識することができる。なお、ステップＳＴ０９において、報知部２０が報知を実行していないときは報知部２０の動作に変化は起こらない。
【００５８】
画像処理装置１は、カメラ１０が撮像したカメラ画像Ｉに含まれる道路白線ＷＬ１の道路白線候補点に基づいて３点の代表候補点ｐ１、ｐ２、ｐ３を決定している。すなわち、図６に示されるように、３点の代表候補点ｐ１、ｐ２、ｐ３のいずれもが、道路白線ＷＬ１の右側のエッジ上又は道路白線ＷＬ１の右側のエッジ上に非常に近いところに決定される。そして、画像処理装置１は、３点の代表候補点ｐ１、ｐ２、ｐ３を通る円Ｏを演算する。車両の向きが図６において実線で示される車両１００の向きであるとき（道路白線ＷＬ１に対して平行であるとき）、カメラ１０が撮像可能な範囲は、例えば図６において実線で示される撮像範囲Ｉｒである。このとき、撮像範囲Ｉｒ内に含まれる道路白線ＷＬ１の複数の道路白線候補点から３点の代表候補点ｐ１、ｐ２、ｐ３が決定され、３点の代表候補点ｐ１、ｐ２、ｐ３を通る円Ｏが演算される。図６に示されるように円Ｏは道路白線ＷＬ１の道路曲線と近似している。
【００５９】
ここで、車両の向きが図６において２点鎖線で示される車両１００'の向きであるとき（道路白線ＷＬ１に対して平行でないとき）、カメラ１０が撮像可能な範囲は、例えば図６において２点鎖線で示される撮像範囲Ｉｒ'である。図６に示されるように、３点の代表候補点ｐ１、ｐ２、ｐ３はいずれも撮像範囲Ｉｒ'内に含まれる。したがって、車両向きが車両１００の向きであっても車両１００'の向きであっても演算される円Ｏは同じで、道路白線ＷＬ１の道路曲線と近似する。すなわち、画像処理装置１は、乗員が例えば車線変更をするとき等に車両の向きを変化させたとしても、道路白線ＷＬ１の道路曲線と近似する円Ｏを安定して演算することができる。
【００６０】
その結果、車両の向きが車両１００の向きであるときの車両が道路白線ＷＬ１に近づいたか否かを判定する基準点ｐｔは、実空間平面座標系において道路白線ＷＬ１の右側のエッジ上の座標又は道路白線ＷＬ１の右側のエッジ上に非常に近い座標に演算される。同様に、車両の向きが車両１００'の向きであるときの車両が道路白線ＷＬ１に近づいたか否かを判定する基準点ｐｔ'は、実空間平面座標系において道路白線ＷＬ１の右側のエッジ上の座標又は道路白線ＷＬ１の右側のエッジに非常に近い座標に演算される。したがって、画像処理装置１は、車両の向きが道路白線ＷＬ１に対して平行であるか否かに影響されることなく安定して車両が道路白線に近づいたか否かを判定することができる。
【００６１】
２．第２の実施形態
第２の実施形態は、第１の実施形態の変形例である。したがって、第１の実施形態と異なる部分のみを説明し、第１の実施形態と重複する部分については第１の実施形態の説明において使用された符号を用いて詳細な説明を省略する。
【００６２】
第２の実施形態における画像処理装置１の構成の例は、図１に示される第１の実施形態における画像処理装置１の構成の例と同様である。図７には、カメラ１０により撮像されたカメラ画像Ｉに含まれる道路白線候補点を、候補点検出部２が検出した例が示されている。図７に示されるカメラ画像Ｉには、車両（カメラ画像Ｉに含まれないカメラ１０を有する自車）の左側に道路白線ＷＬ１及び右側に道路白線ＷＬ２が含まれる。ここで、例えばカメラ画像Ｉには、車両前方向において、車両から５ｍ離れたところから６０ｍ離れたところまでが含まれている。以下、本発明に従う画像処理装置１を実施するための形態の説明においては、説明を容易にするためにも車両の左側に存在する道路白線ＷＬ１についてのみ説明する。実際には、車両の右側に存在する道路白線ＷＬ２に対しても、車両の左側に存在する道路白線ＷＬ１に対する処理と同様の処理がなされる。
【００６３】
画像処理装置１の候補点検出部２は、カメラ画像Ｉに含まれる道路白線ＷＬ１の複数の道路白線候補点を検出する。複数の道路白線候補点は、例えば、自車が走行している道路（レーン）とその道路（レーン）を規定する道路白線ＷＬ１との境界線（例えば道路白線ＷＬ１の右側のエッジ）上で検出される。候補点検出部２は、カメラ画像Ｉに含まれる道路白線ＷＬ１の道路白線候補点を例えば６０点検出する。なお、図７は、複数の道路白線候補点及び後述する２点の代表候補点ｐ１、ｐ２の検出方法の説明に用いられるものなので、図７に示される検出された道路白線候補点の数は省略されている。道路白線候補点が検出される間隔は、カメラ画像Ｉの下端に近い程広くなっており、カメラ画像Ｉの上端に近い程狭くなっている。すなわち、候補点検出部２は、実空間平面座標系において道路白線候補点が検出される間隔が等間隔になるように複数の道路白線候補点を検出する。その結果、後述する２点の代表候補点ｐ１、ｐ２が精度良く候補点決定部３によって決定される。
【００６４】
画像処理装置１の候補点決定部３は、検出した複数の道路白線候補点から例えば２つの候補点群を選択する。例えば２つの候補群のそれぞれには例えば３点の道路白線候補点が含まれる。候補点決定部３は、例えば、図７のカメラ画像Ｉの下端に近い道路白線候補点３点を第１の候補点群Ｃ１、カメラ画像Ｉの上端に近い道路白線候補点３点を第２の候補点群Ｃ２として選択する。候補点決定部３は、候補点群ごとに例えば３点の道路白線候補点のカメラ座標系における座標の例えば平均値を有する代表候補点を決定する。
【００６５】
画像処理装置１の候補点決定部３は、例えば、第１の候補点群Ｃ１に含まれる３点の道路白線候補点のカメラ座標系における座標の平均値を有する代表候補点を第１の代表候補点ｐ１として決定する。ここで、カメラ画像Ｉのカメラ座標系において、例えば上下方向にＩｘ座標、左右方向にＩｙ座標が設定されているとき、第１の候補点群Ｃ１に含まれる３点の道路白線候補点の座標が（Ｉｘ１，Ｉｙ１）、（Ｉｘ２，Ｉｙ２）、（Ｉｘ３，Ｉｙ３）であるとする。なお、図７に示されるカメラ画像Ｉのカメラ座標系においては、例えばカメラ画像Ｉの右下端がカメラ座標系の原点、カメラ画像Ｉの上方向がＩｘ軸正方向、カメラ画像の左方向がＩｙ軸正方向である。そうすると、候補点決定部３は、例えば第１の実施形態で示された数式（１）で３点の座標の平均値（Ｉｘｐ１，Ｉｙｐ１）を計算して、計算結果で表される座標で定まる点を第１の代表候補点ｐ１として決定する。なお、図７において、（Ｉｘｐ１，Ｉｙｐ１）＝（Ｉｘ２，Ｉｙ２）である。次に、候補点決定部３は、第１の代表候補点ｐ１の決定方法と同様に、第２の候補点群Ｃ２から第２の代表候補点ｐ２を決定する。
【００６６】
画像処理装置１の判定部４は、例えば射影変換を用いて、候補点決定部３が決定した２つの代表候補点ｐ１、ｐ２のカメラ座標系における座標を、実空間平面（道路を規定する平面）座標系における座標に変換する。図８には、カメラ座標系から実空間平面座標系に射影変換を用いて変換された画像Ｉｔが示され、２つの代表候補点ｐ１、ｐ２が示されている。ここで、図８に示されている道路白線ＷＬ１と道路白線ＷＬ２は、実際には示されていなくてもよい。判定部４は、例えば第１の実施形態で示された数式（２）を用いて第１の代表候補点ｐ１のカメラ座標系における座標（Ｉｘｐ１，Ｉｙｐ１）を実空間平面座標系における座標（ｘ１，ｙ１）に変換する。
【００６７】
数式（２）において、ａ０、ｂ０、ｃ０、ａ１、ｂ１、ｃ１、ａ２、ｂ２、ｃ２は定数であり、例えばＥＣＵの記憶部に、画像処理装置１の判定部４がカメラ座標系から実空間平面座標系に変換可能な値が予め記憶されている。判定部４は、例えば第１の代表候補点ｐ１と同様に、第２の代表候補点ｐ２のカメラ座標系における座標（Ｉｘｐ２，Ｉｙｐ２）を実空間平面座標系における座標（ｘ２，ｙ２）に変換する。代替的に、判定部４は、他車であるトラック及びワゴン車並びにガードレールを含むカメラ画像Ｉ全体を画像Ｉｔに変換し、その後、候補点決定部３が、２つの候補点群Ｃ１、Ｃ２から２つの代表候補点ｐ１、ｐ２を決定してもよい。ただし、射影変換に係る演算の負担を少なくするためにも、カメラ座標系で候補点決定部３が２つの代表候補点ｐ１、ｐ２を決定した後に、実空間平面座標系に変換する方が好ましい。
【００６８】
図９を用いて、第２の実施形態における画像処理装置１の判定部４が、実空間平面座標系において、車両１００が道路白線ＷＬ１に近づいたか否かを判定する基準点を求める例を説明する。実空間平面座標系の原点（０，０）は例えば車両１００上に設定される。例えば実空間平面座標系の原点（０，０）は、カメラ１０の撮像レンズの中心に対応する座標であってもよく、図示されていない車両１００の車輪の中心に対応する座標であってもよく、また、車両１００の前後方向に平行な中心線上に存在する車両１００の先端に対応する座標であってもよい。実空間平面座標系の原点（０，０）が車両１００の車輪の中心に対応する座標であるときは、車両１００が近づいたか否かの判定対象となる道路白線が存在する方向に応じて、実空間平面座標系の原点（０，０）となる左側の車輪又は右側の車輪の中心等が選択されることが好ましい。また、車両１００の車輪は前輪であることが好ましい。
【００６９】
図９には、実空間平面座標系の原点（０，０）を中心として、車両１００の前後方向にＸ座標、車両１００の左右方向にＹ座標が設定された実空間平面座標系が示されている。図９においては、例えば車両１００の前方向がＸ軸正方向、車両１００の左方向がＹ軸正方向である。画像処理装置１の判定部４は、２つの代表候補点ｐ１、ｐ２を通る曲線として、例えば２つの代表候補点ｐ１、ｐ２を通る円Ｏ（軌跡）を演算する。
【００７０】
例えば、画像処理装置１の判定部４は、まず、第１の代表候補点ｐ１と第２の代表候補点ｐ２とを繋ぐ線分ｌ１２の垂直二等分線ｂ１２を第１の実施形態と同様に数式（３）から数式（７）を用いて演算する。ここで、数式（５）におけるＹ軸切片ｉは、垂直二等分線ｂ１２とＹ軸との交点ｐｃのＹ座標である。
【００７１】
続いて、画像処理装置１の判定部４は、例えば交点ｐｃと第１の代表候補点ｐ１との距離ｒを演算する。ここで、交点ｐｃと第１の代表候補点ｐ１との距離ｒは、第１の代表候補点ｐ１の座標（ｘ１，ｙ１）と交点ｐｃの座標（０，ｙｃ）を用いて、三平方の定理、例えば以下に示される数式（１３）で求められる。そして、画像処理装置１の判定部４は、例えば垂直二等分線ｂ１２とＹ軸との交点ｐｃを中心点ｐｃとし、且つ、第１の代表候補点ｐ１と中心点ｐｃとの距離ｒを半径ｒとした円Ｏを表す、例えば以下に示される数式（１４）を求める。すなわち、円Ｏの中心点ｐｃは、実空間平面座標系の原点（０，０）を通り、且つ車両１００の左右方向に伸びる直線であるＹ軸上に定められる。ここで、円Ｏの中心点ｐｃが垂直二等分線ｂ１２上に存在するときは、第１の代表候補点ｐ１と中心点ｐｃとの距離、第２の代表候補点ｐ２と中心点ｐｃとの距離の各々は、半径ｒと一致するので、２つの代表候補点ｐ１、ｐ２は、円Ｏ上に存在する。数式（１３）では、円Ｏの半径ｒを求める例として第１の代表候補点ｐ１の座標（ｘ１，ｙ１）を用いた演算式が示されているが、円Ｏ上にある点の座標である例えば第２の代表候補点ｐ２の座標（ｘ２，ｙ２）を用いてもよい。
【００７２】
【数９】
2015153319.tif 000011
【００７３】
画像処理装置１の判定部４は、円Ｏを表す式を演算すると、実空間平面座標系において、車両１００が道路白線に近づいたか否かを判定する基準点の座標を演算する。車両１００が道路白線に近づいたか否かを判定する基準点は、例えば実空間平面座標系の原点（０，０）を通り左右方向に伸びる直線と円Ｏとの交点である。図９に示される例では、Ｙ軸と円Ｏの交点である点ｐｔ（０，ｙｔ）である。このとき、点ｐｔのＹ座標であるｙｔが、実空間平面座標系の原点（０，０）と点ｐｔとの距離ｄである。判定部４は、距離ｄに基づいて車両１００が道路白線に近づいたか否かを判定する。判定部４は、上述した数式（１４）のｘに点ｐｔのＸ座標である０を、ｙに点ｐｔのＹ座標であるｙｔを代入した以下に示される数式（１５）を演算すると、点ｐｔのＹ座標ｙｔの値が求められる。なお、実際に数式（１５）を解くとｙｔの値が２つ求められるので、判定部４は、２つのｙｔの絶対値を比較して、小さい方のｙｔの絶対値を実空間平面座標系の原点（０，０）と点ｐｔとの距離ｄとして求める。
【００７４】
【数１０】
2015153319.tif 000012
【００７５】
道路白線位置に対応する曲線である道路曲線は、なだらかな円に近似するものである。そうすると、２つの代表候補点ｐ１、ｐ２を通る円Ｏは、道路白線ＷＬ１の道路曲線に近似するものである。したがって、画像処理装置１は、例えば車高の高い車両の室内にカメラ１０が設けられているときであっても、カメラ画像Ｉの下端より車両に近い位置に存在する道路白線ＷＬ１の道路曲線を正確に推定することができる。その結果、画像処理装置１は、車両が道路白線ＷＬ１に近づいたか否かを正確に判定することができる。また、画像処理装置１は、例えば演算を複数回繰り返して道路曲線を求めるものと比較して演算に係る処理量を抑えることができる。なお、道路白線ＷＬ１が直線であるとき、その直線は、半径ｒが極めて大きな円であって、且つ２つの代表候補点ｐ１、ｐ２を通る円Ｏに近似する。
【００７６】
本実施形態の説明においては、数式（３）から数式（７）及び数式（１３）から数式（１５）の８つの数式を用いて点ｐｔのＹ座標ｙｔの値を求める方法を説明したが、必ずこれらの数式を使用する必要はない。図９に示されるように、点ｐｔは円Ｏ上に存在する。したがって、例えば、画像処理装置１の判定部４は、円Ｏの中心点ｐｃの座標（０，ｙｃ）及び半径ｒが求まったときに、中心点ｐｃのＹ座標ｙｃと半径ｒを加算又は減算して距離ｄを求めてもよい。すなわち、円Ｏの中心点ｐｃのＹ座標ｙｃが０以上であるとき、判定部４は、ｄ＝ｙｃ−ｒを演算して距離ｄを求める。一方、円Ｏの中心点ｐｃのＹ座標ｙｃが０より小さいとき、判定部４は、ｄ＝ｙｃ＋ｒを演算して距離ｄを求める。
【００７７】
また、例えば、画像処理装置１の判定部４は、中心点ｐｃの座標（０，ｙｃ）の値が求められたときに、半径ｒを演算することなく、数式（１３）と数式（１５）から導き出される以下に示される数式（１６）を用いて点ｐｔのＹ座標ｙｔの値を求めてもよい。なお、数式（１５）と同様に、実際に数式（１６）を解くとｙｔの値が２つ求められるので、判定部４は、２つのｙｔの絶対値を比較して、小さい方のｙｔの絶対値を実空間平面座標系の原点（０，０）と点ｐｔとの距離ｄとして求める。
【００７８】
【数１１】
2015153319.tif 000013
【００７９】
さらに、画像処理装置１の判定部４は、２つの代表候補点ｐ１、ｐ２の座標が求まったときに、距離ｄを求める数式に２つの代表候補点ｐ１、ｐ２の座標を代入して距離ｄを求めてもよい。距離ｄを求める数式は、例えば数式（１６）のｙｃに数式（６）を代入して整理することによって以下に示される数式（１７）である。なお、数式（１５）と同様に、実際に数式（１７）を解くとｄの値が２つ求められるので、判定部４は、２つのｄの絶対値を比較して、小さい方のｄの絶対値を距離ｄとして求める。
【００８０】
【数１２】
2015153319.tif 000014
【００８１】
図１０に示されるフローチャート図を用いて、画像処理装置１の動作の例を説明する。図１０に示される各ステップにおける画像処理装置１の細かい処理内容の内、上述した内容と重複するものは詳細な説明を省略する。ステップＳＴ１０１では、画像処理装置１は、車両に設けられているカメラ１０が撮像したカメラ画像Ｉを取り込む。ステップＳＴ１０２では、画像処理装置１の候補点検出部２が取り込まれたカメラ画像Ｉに含まれる道路白線の複数の道路白線候補点を検出する。ステップＳＴ１０３では、画像処理装置１の候補点決定部３が、候補点検出部２により検出された複数の道路白線候補点のカメラ座標系における座標に基づいて２点の代表候補点ｐ１、ｐ２を決定する。
【００８２】
ステップＳＴ１０４では、画像処理装置１の判定部４は、例えば射影変換を用いて、候補点決定部３が決定した２つの代表候補点ｐ１、ｐ２のカメラ座標系における座標を、実空間平面座標系における座標に変換する。ステップＳＴ１０５では、判定部４は、例えば２つの代表候補点ｐ１、ｐ２の座標及び実空間平面座標系の原点（０，０）に基づいて定まる中心点ｐｃの座標（０，ｙｃ）を演算する。ステップＳＴ１０６では、判定部４は、例えば中心点ｐｃ（０，ｙｃ）で２つの代表候補点ｐ１、ｐ２を通る円Ｏを演算する。ステップＳＴ１０７では、判定部４は、車両が道路白線に近づいたか否かを判定する基準点ｐｔとして、例えば車両上に設定される実空間平面座標系の原点（０，０）を通り左右方向に伸びる直線と円Ｏとの交点ｐｔの座標（０，ｙｔ）を演算する。
【００８３】
ステップＳＴ１０８では、画像処理装置１の判定部４は、車両が道路白線に近づいたか否かを判定する。ここで、上述したように、判定部４が、ステップＳＴ１０７で演算した点ｐｔのＹ座標であるｙｔの値が実空間平面座標系の原点（０，０）と点ｐｔとの距離ｄである。例えば、判定部４は、距離ｄが所定値ｄｔより小さいと判定したときに、車両が道路白線に近づいたと判定し、フローはステップＳＴ１０９に進む。一方、例えば判定部４は、距離ｄが所定値ｄｔより小さくないと判定したときに、車両が道路白線に近づいていないと判定し、フローはステップＳＴ１１０に進む。ここで、所定値ｄｔは、例えば実空間平面座標系の原点（０，０）が設定されている場所及び／又は車両の左右方向の幅の大きさに基づいて設定されていることが好ましい。
【００８４】
ステップＳＴ１０９では、画像処理装置１の判定部４は、例えばＣＡＮ３０を介して報知部２０に報知を実行する信号を出力し、フローはＳＴＡＲＴに戻る。報知部２０が報知を実行することで、乗員は車両が道路白線に近づいたと認識することができる。一方ステップＳＴ１１０では、画像処理装置１の判定部４は、例えばＣＡＮ３０を介して報知部２０に報知を停止する信号を出力し、フローはＳＴＡＲＴに戻る。報知部２０が報知を停止することで、乗員は車両が道路白線に近づいた状態が解消されたことを認識することができる。なお、ステップＳＴ１１０において、報知部２０が報知を実行していないときは報知部２０の動作に変化は起こらない。
【００８５】
図１１及び図１２を用いて道路白線の道路曲線の曲率半径と演算される円Ｏとの関係について説明する。図１１には、道路曲線の曲率半径が大きく、曲りの程度が緩やかな道路（レーン）を規定する道路白線ＷＬ１及び道路白線ＷＬ２が示されている。図１１に示される例において、画像処理装置１は、上述したように、車両１００に設けられるカメラ１０の撮像可能な範囲である撮像範囲Ｉｒ内に含まれる道路白線ＷＬ１の複数の道路白線候補点から２点の代表候補点ｐ１、ｐ２を決定する。そして、画像処理装置１は、２点の代表候補点ｐ１、ｐ２を結ぶ線分ｌ１２の垂直二等分線ｂ１２と実空間平面座標系の原点（０，０）を通るＹ軸との交点である点ｐｃを中心点として、２点の代表候補点ｐ１、ｐ２を通る円Ｏを演算する。このとき、円ＯとＹ軸との交点ｐｔが、車両１００が道路白線ＷＬ１に近づいたか否かを判定する基準点ｐｔである。
【００８６】
図１１に示される例では、基準点ｐｔは、道路白線ＷＬ１の右側のエッジ上に演算されている。したがって、図１１に示される例では、画像処理装置１は、車両１００が道路白線ＷＬ１に近づいたか否かを正確に判定することができる。また、図１１に示される例では、撮像範囲Ｉｒ内及び基準点ｐｔ付近において、円Ｏと道路白線ＷＬ１の道路曲線と近似している。すなわち、図１１に示される例のように撮像範囲Ｉｒ内に道路曲線の曲率半径が大きい道路白線ＷＬ１の一部が含まれるとき、演算される円Ｏの半径ｒは、その道路曲線の曲率半径に近似する。
【００８７】
一方、図１２には、道路曲線の曲率半径が小さく、曲りの程度が急な道路（レーン）を規定する道路白線ＷＬ１及び道路白線ＷＬ２が示されている。図１２に示される例では、画像処理装置１は、図１１に示される例についての説明と同様に、円Ｏ、中心点ｐｃ及び基準点ｐｔを求める。図１２に示される例では、基準点ｐｔは、道路白線ＷＬ１の右側のエッジ上に演算されている。したがって、図１２に示される例においても、画像処理装置１は、車両１００が道路白線ＷＬ１に近づいたか否かを正確に判定することができる。
【００８８】
図１２に示される例のように、画像処理装置１による円Ｏの演算方法では、撮像範囲Ｉｒ内に道路曲線の曲率半径が小さい道路白線ＷＬ１の一部が含まれるとき、演算される円Ｏの半径ｒは、その道路曲線の曲率半径より大きくなる。ここで、仮に、円Ｏの演算方法として、例えば撮像範囲Ｉｒ内に含まれる道路白線ＷＬ１の道路曲線の曲率半径と円Ｏの半径ｒが同一となる中心点を有して、２点の代表候補点ｐ１、ｐ２を通る円Ｏを演算する方法が用いられるとする。この場合、円Ｏの中心点は、実空間平面座標系の原点（０，０）を通るＹ軸上には演算されない。その結果、例えば、図１２に示される例のように撮像範囲Ｉｒ内に道路曲線の曲率半径が小さい道路白線ＷＬ１の一部が含まれるとき、円ＯとＹ軸の交点ｐｔは車両１００から見て道路白線ＷＬ１より外側に演算されることになる。このような円Ｏの演算方法のみでは、特に、撮像範囲Ｉｒ内に含まれる道路白線ＷＬ１の道路曲線の曲率半径が小さくなることに応じて、車両１００が道路白線ＷＬ１に近づいたか否かを正確に判定することができなくなる。
【００８９】
ところが、実際には、画像処理装置１は円Ｏの中心点ｐｃを実空間平面座標系の原点（０，０）を通るＹ軸上に演算するので、円Ｏの半径ｒは、撮像範囲Ｉｒ内に含まれる道路白線ＷＬ１の道路曲線の曲率半径が小さくなることに応じて、その道路曲線の曲率半径より大きくなる。その結果、画像処理装置１により演算される円ＯとＹ軸との交点である基準点ｐｔは、撮像範囲Ｉｒ内に含まれる道路白線ＷＬ１の道路曲線の曲率半径の大きさに影響されることなく、実空間平面座標系において道路白線ＷＬ１の右側のエッジ上の座標又は道路白線ＷＬ１の右側のエッジに非常に近い座標に演算される。したがって、画像処理装置１は、道路白線ＷＬ１の道路曲線の曲率半径の大きさに影響されることなく、車両１００が道路白線ＷＬ１に近づいたか否かを正確に判定することができる。
【００９０】
３．その他の実施形態
画像処理装置１は、複数の代表候補点を通る曲線の演算方法として、第１の実施形態及び第２の実施形態の説明において説明された円Ｏの演算方法以外の円Ｏを演算する方法を用いてもよい。例えば、道路白線ＷＬ１に基づき４点以上の代表候補点を演算し、実空間平面座標系において、４点以上の代表候補点を用いる例えば最小二乗法等の手法によって近似される円Ｏを演算してもよい。また、４点以上の代表候補点を通る曲線は、円以外の曲線であってもよい。
【００９１】
また、例えば、画像処理装置１は、第１の実施形態で説明された円Ｏを演算する方法、第２の実施形態で説明された円Ｏを演算する方法及びそれ以外の方法（例えば上述した４点以上の代表候補点を通る曲線を演算する方法）の中から道路白線ＷＬ１の状況に応じて１つの演算方法を選択して複数の代表候補点を通る曲線を演算してもよい。ただし、複数の代表候補点を通る曲線の演算に係る処理量及び、演算された曲線の精度（道路白線ＷＬ１の軌跡と近似するか否か）等の観点により、画像処理装置１は、第１の実施形態で説明された円Ｏの演算方法及び／又は第２の実施形態で説明された円Ｏの演算方法を用いて円Ｏを演算することが好ましい。
【００９２】
また、第１の実施形態及び第２の実施形態の説明において、画像処理装置１の判定部４は、車両が道路白線ＷＬ１に近づいたと判定したときに、報知部２０に報知を実行する信号を出力するものとして説明したが、必ずしもこれに限らない。例えば、画像処理装置１は、実空間平面座標系の原点（０，０）と車両が道路白線ＷＬ１に近づいたか否かを判定する基準点ｐｔとの距離ｄを、乗員が認識可能に報知してもよい。例えば、画像処理装置１は、図示されていない車両に設けられている表示部に車両を表示し、実空間平面座標系の原点（０，０）と車両が道路白線ＷＬ１に近づいたか否かを判定する基準点ｐｔとの距離ｄに応じて、表示された車両の位置を変化させるようにしてもよい。
【００９３】
本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
【符号の説明】
【００９４】
１・・・画像処理装置、２・・・候補点検出部、３・・・候補点決定部、４・・・判定部、１０・・・カメラ、２０・・・報知部、３０・・・ＣＡＮ、ＷＬ１・・・道路白線、ＷＬ２・・・道路白線、ｐ１・・・第１の代表候補点、ｐ２・・・第２の代表候補点、ｐ３・・・第３の代表候補点、Ｏ・・・円、ｐｃ・・・円の中心点、ｐｔ・・・基準点。
【図１】
2015153319.tif 000015
【図２】
2015153319.tif 000016
【図３】
2015153319.tif 000017
【図４】
2015153319.tif 000018
【図５】
2015153319.tif 000019
【図６】
2015153319.tif 000020
【図７】
2015153319.tif 000021
【図８】
2015153319.tif 000022
【図９】
2015153319.tif 000023
【図１０】
2015153319.tif 000024
【図１１】
2015153319.tif 000025
【図１２】
2015153319.tif 000026