(57)【特許請求の範囲】
【請求項１】
車載カメラにて撮像した車両前方の道路画像から白線を認識する白線認識装置であって、
前記道路画像における白線の候補点を検出して左右の白線の近似直線をそれぞれ求める近似直線算出手段と、
これらの近似直線の交点を仮想消失点として求める仮想消失点算出手段と、
上記仮想消失点の水平座標および垂直座標についての検出頻度ヒストグラムをそれぞれ作成するヒストグラム作成手段と、
上記水平座標および垂直座標の各ヒストグラムに加えられた上記仮想消失点の情報数が所定の閾値を超えているときは該ヒストグラムから光軸中心座標を求め、上記各ヒストグラムに加えられた上記仮想消失点の情報数が所定の閾値に満たないときは該ヒストグラムにおける最頻値が所定の閾値を超えているかを判定し、該最頻値が所定の閾値を超えているときはこの最頻値を示す座標をヒストグラムの分布中心として光軸中心座標を求め前記道路画像に対する光軸水平中心と俯角とをそれぞれ求める学習手段と
を具備したことを特徴とする白線認識装置。
【請求項２】
前記学習手段は、前記水平座標および垂直座標の各ヒストグラムの移動平均出力を用いて前記道路画像に対する光軸水平中心と俯角とをそれぞれ求めることを特徴とする請求項１に記載の白線認識装置。
【請求項３】
前記ヒストグラム作成手段は、前記左右の白線の近似直線における勾配の絶対値が所定値以内である場合に、前記仮想消失点を前記ヒストグラム作成に利用するものである請求項１に記載の白線認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車載カメラにて撮像した車両前方の道路画像から白線を認識するに際し、特に車載カメラの取り付け条件に依存する前記道路画像に対する光軸水平中心と俯角とを精度良く求めることのできる白線認識装置に関する。
【０００２】
【関連する背景技術】
舗装道路には、通常、走行レーン等を規定する白線が付される。このような白線を車載カメラにより撮像された車両前方の道路画像から認識し、車両の安全走行に役立てることが種々試みられている。
【０００３】
【発明が解決しようとする課題】
ところで道路画像から認識される白線情報から道路上の白線形状を推定する場合、専ら、画面視座標系（カメラ座標）と上面視座標系（地上座標系）との座標変換が行われる。この座標変換は、車載カメラの取り付け高さ、その光軸中心、および俯角からなるパラメータを用いて行われる。しかしながら車載カメラの取り付け条件に依存して、実際の車載カメラの取り付け高さや光軸中心や俯角と上記パラメータの値とが異なることがあり、座標変換に誤差が生じるので前記道路画像から推定される白線形状に誤差が発生することになる。
【０００４】
このような誤差を取り除くべく、例えば特開平１０−４０４９９号には座標変換によって求められた２本の白線が平行となるか否かを調べることで、俯角等を補正する技術が開示される。しかしながらその都度、座標変換を施して白線の平行性を確認するには多大な処理を要すると言う問題がある。
本発明はこのような事情を考慮してなされたもので、その目的は、車載カメラの取り付け条件に依存する道路画像に対する光軸水平中心と俯角とを簡易に精度良く求め、白線認識の精度を高めることのできる白線認識装置を提供することにある。
【０００５】
【課題を解決するための手段】
上述した目的を達成するべく本発明に係る白線認識装置は、車載カメラにより撮像された道路画像における白線の候補点を検出して左右の白線の近似直線をそれぞれ求める近似直線算出手段と、これらの近似直線の交点を仮想消失点として求める仮想消失点算出手段と、更に上記仮想消失点の水平座標および垂直座標についての算出頻度ヒストグラムをそれぞれ作成するヒストグラム作成手段と、上記水平座標および垂直座標の各ヒストグラムに加えられた上記仮想消失点の情報数が所定の閾値を超えているときは該ヒストグラムから光軸中心座標を求め、上記各ヒストグラムに加えられた上記仮想消失点の情報数が所定の閾値に満たないときは該ヒストグラムにおける最頻値が所定の閾値を超えているかを判定し、該最頻値が所定の閾値を超えているときはこの最頻値を示す座標をヒストグラムの分布中心として光軸中心座標を求め前記道路画像に対する光軸水平中心と俯角とをそれぞれ求める学習手段とを備えることを特徴としている。
【０００６】
即ち、道路画像上で求められる左右２本の白線の近似直線の交点として仮想消失点を求め、この仮想消失点の座標についての算出頻度ヒストグラムから、その頻度が最大となる水平座標を前記道路画像に対する光軸水平中心として、また頻度が最大となる垂直座標を前記道路画像に対する俯角として求めることを特徴としている。
【０００７】
好ましくは請求項２に示すように前記学習手段においては、前記水平座標および垂直座標の各ヒストグラムの移動平均出力を用いて前記道路画像に対する光軸水平中心と俯角とをそれぞれ求めることを特徴としている。また請求項３に記載するように前記ヒストグラム作成手段においては、前記左右の白線の近似直線における勾配の絶対値が所定値以内である場合に、前記仮想消失点を前記ヒストグラム作成に利用することを特徴としている。
【０００８】
【発明の実施の形態】
以下、図面を参照して本発明の一実施形態に係る白線認識装置について説明する。
図１はこの実施形態に係る白線認識装置の要部概略構成図で、１は車載カメラである。この車載カメラ１にて撮像された車両前方の道路画像を示す画像信号は増幅器２を介して所定のレベルに増幅され、Ａ／Ｄ変換器３を介してデジタル信号に変換されて画像メモリ４に書き込まれる。この画像メモリ４への道路画像の書き込みは、所定のフレーム周期毎に繰り返し行われる。
【０００９】
さて画像メモリ４に求められた道路画像に対する白線認識処理は、先ず白線候補点検出部５において道路画像中の白線候補点を求めることから行われる。この白線候補点の検出については、例えば道路画像中における白線部分の輝度レベルが道路の主体面に比較して高いことを利用して、その輝度信号を所定のレベルで弁別（２値化）する等して行われる。或いは所定の白線探索ラインに沿って輝度信号レベルの変化を調べ、輝度レベルの変化が急峻でその変化量の大きい位置を白線のエッジとして検出しながら白線候補点を求めるようにしても良い。このような白線候補点検出処理により、例えば図２に白線Ｗを含んで撮像された道路画像Ｇ上での白線候補点Ｐが白線Ｗに沿って複数個求められる。尚、白線Ｗは、通常、車両が走行している走行レーンを規定するものとして少なくとも左右に１本ずつ存在するので、上記白線候補点Ｐは各白線Ｗにそれぞれ沿って求められる。
【００１０】
すると近似直線算出部６は、白線候補点Ｐのまとまり毎にその白線候補点群を１つの白線情報として個々に認識し、左右の各白線Ｗにそれぞれ近似する直線ＬＬ,ＬＲを示す直線近似式を算出する。具体的には道路画像Ｇにおける画面下部領域にて検出される信頼性の高い白線候補点Ｐの座標に従って上記近似直線ＬＬ,ＬＲを示す直線近似式を算出する。
【００１１】
しかしてこの装置が特徴とするところは、仮想消失点算出部７において上述した如く求められた左右２本の白線Ｗの近似直線ＬＬ,ＬＲの交点を、前記道路画像Ｇにおける仮想消失点Ｅとして求める点にある。この仮想消失点Ｅの座標（水平座標および垂直座標）については、前記近似直線ＬＬ,ＬＲをそれぞれ示す直線近似式の交点を計算することにより求められる。そしてこのようにして各道路画像Ｇ毎に求められる仮想消失点Ｅの座標についての算出頻度を、ヒストグラム作成部８にてそのヒストグラムとして求め、そのヒストグラムに従って学習部９により、例えばその最頻値をなす座標として道路画像Ｇに対する光軸水平中心、および俯角の情報としてそれぞれ求めるものとなっている。即ち、道路画像Ｇから上述した如くして仮想消失点Ｅが求められる都度、その水平座標および垂直座標について仮想消失点としての検出回数をインクリメントすることで、図２にＨh,Ｖhとしてそれぞれ示す検出頻度ヒストグラムを作成する。そしてこれらの検出頻度ヒストグラムＨh,Ｖhの、例えば頻度ピークをなす水平座標Ｈpおよび垂直座標Ｖpを、前述した道路画像Ｇに対する光軸水平中心、および俯角の情報としてそれぞれ求める。
【００１２】
尚、仮想消失点Ｅの水平座標および垂直座標について検出頻度ヒストグラムＨh,Ｖhを作成するに際して、例えば車速が所定値以上である、近似直線ＬＬ,ＬＲと白線との誤差が所定値以内である、左右の近似直線ＬＬ,ＬＲの勾配の絶対値が所定値以内である等の諸条件を判定し、これらの条件が満たされる場合にだけ前記仮想消失点Ｅの情報をヒストグラムＨh,Ｖhに加えるようにすることが望ましい。このような条件を付すことで、例えば道路（白線Ｗ）が大きく曲がっているような場合、或いは車両が旋回しているような場合における不適切な仮想消失点Ｅの情報を排除しながら、前述したヒストグラムＨh,Ｖhを精度良く作成することが可能となる。
【００１３】
また上記検出頻度ヒストグラムＨh,Ｖhのピーク点Ｈp,Ｖpを求めることに代えて、該検出頻度ヒストグラムＨh,Ｖhの移動平均Ｈave,Ｖaveを求め、これらの移動平均Ｈave,Ｖaveの分布中心Ｈc,Ｖcを前記光軸水平中心、および俯角の情報としてそれぞれ求めることも可能である。
図３は上述した道路画像Ｇに対する光軸水平中心および俯角の算出処理の一連の流れを示すものである。この処理手順について簡単に説明すると、先ず車載カメラ１にて撮像された道路画像Ｇを入力し［ステップＳ１］、その道路画像Ｇから求められる白線候補点Ｐに基づいて左右の白線近似直線ＬＬ,ＬＲを算出する［ステップＳ２］。次いでこれらの白線近似直線ＬＬ,ＬＲの交点座標を前記道路画像Ｇにおける仮想消失点Ｅとして算出する［ステップＳ３］。
【００１４】
しかる後、前記各白線近似直線ＬＬ,ＬＲの前述した白線候補点Ｐからのずれを偏差として求め、その偏差が所定の閾値以内に収まっているかを判定する［ステップＳ４］。つまり前記白線近似直線ＬＬ,ＬＲが所定の許容誤差範囲内で近似されているか否かを検証する。そして白線近似直線ＬＬ,ＬＲが所定の許容誤差範囲内で求められていない場合には、これを白線Ｗが大きく曲がっており、前述した如く求めた仮想消失点Ｅが道路画像Ｇの光軸水平中心および俯角を求める上での情報として不適切であるとして排除する。この場合には前述したステップＳ１の処理に戻って次の道路画像Ｇに対する処理を開始する。
【００１５】
一方、上記偏差が所定の閾値以内に収まっている場合には［ステップＳ４］、次に前記白線近似直線ＬＬ,ＬＲの勾配（傾き）を求め、その勾配の絶対値の差分が所定の閾値以内に収まっているか否かを判定する［ステップＳ５］。即ち、道路画像Ｇにおいて白線近似直線ＬＬ,ＬＲが略左右対称に求められているか、換言すれば道路に対して車両が略平行に位置付けられているかを検証する。そして白線近似直線ＬＬ,ＬＲの勾配の絶対値の差分が大きい場合には、道路に対して車両方向が傾いており、道路画像Ｇの光軸水平中心および俯角を求める上で白線Ｗの情報を利用することが不適切であるとして前述した如く求めた仮想消失点Ｅの情報を排除する。そしてこの場合においても前述したステップＳ１の処理に戻って次の道路画像Ｇに対する処理を開始する。
【００１６】
更に上記白線近似直線ＬＬ,ＬＲの勾配に対する条件が満たされた場合には、車両の走行速度（車速）が所定の閾値以上であるか否かを判定する［ステップＳ６］。つまり車両が一定速度以上で走行している状態で道路画像Ｇが求められているか否かを検証し、ほぼ同様な道路画像Ｇから得られて同一と看做し得る仮想消失点Ｅの情報を排除する。換言すれば互いに異なった情景の道路画像Ｇからそれぞれ求められる仮想消失点Ｅの情報を利用するべく、同種の道路画像Ｇから繰り返し得られる情報を排除する。そしてこの場合においても前述したステップＳ１の処理に戻って次の道路画像Ｇに対する処理を開始する。
【００１７】
しかして上述したような判定処理を経て仮想消失点Ｅの情報の有用性が確認されたならば、この仮想消失点Ｅの水平座標および垂直座標の情報を該仮想消失点Ｅの検出頻度を表すヒストグラムＨh,Ｖhに加える［ステップＳ７］。具体的にはヒストグラムＨh,Ｖhの該当する座標に示される検出頻度回数値をインクリメント（＋１）する。
【００１８】
しかる後、上記ヒストグラムＨh,Ｖhに加えられた仮想消失点Ｅの情報数（ヒストグラムの総数）が所定の閾値、例えば１００サンプルを越えているか否かを判定する［ステップＳ８］。つまりヒストグラムＨh,Ｖhの解析により道路画像Ｇの光軸水平中心および俯角を求める上で十分な量の情報が、該ヒストグラムＨh,Ｖhとして求められているか否かを判定する。そしてその内容を解析するに十分な情報量のヒストグラムＨh,Ｖhが求められていることが確認されたならば、該ヒストグラムＨh,Ｖhの分布中心を求める等してその光軸中心座標を求め［ステップＳ９］、その水平座標を前記道路画像Ｇに対する光軸水平中心、また垂直座標を道路画像Ｇに対する俯角の情報としてそれぞれ求める。
【００１９】
これに対してヒストグラムＨh,Ｖhの情報量が少ない場合には、例えばそのヒストグラムＨh,Ｖhにおける最頻値が所定の閾値を超えるか否かを判定する［ステップＳ１０］。即ち、ヒストグラムＨh,Ｖhの分布特性が、局部的にシャープであるか否かを判定する。そしてシャープな分布特性を有し、そのピーク値（最頻値）が所定の閾値を超える場合には［ステップＳ１０］、このピーク値を示す座標をそのヒストグラムの分布中心として検出し、その情報を光軸中心座標として求める［ステップＳ９］。
【００２０】
尚、ヒストグラムＨh,Ｖhの情報量が少なく、またそのピーク値（最頻値）が所定の閾値に満たない場合には、道路画像Ｇに対する光軸水平中心および俯角を求める上でヒストグラムＨh,Ｖhの情報量が不足すると判断し［ステップＳ８,Ｓ１０］、前述したステップＳ１からの処理手順に戻って次の道路画像Ｇについての処理を同様に繰り返し実行する。
【００２１】
かくして上述した如く道路画像Ｇから求められる仮想消失点ＥのヒストグラムＨh,Ｖhを作成し、その分布中心として上記道路画像Ｇに対する光軸水平中心と俯角とを求める本装置によれば、道路画像Ｇから求められる白線Ｗの情報（白線形状）を地表座標系に座標変換しなくても、その光軸水平中心と俯角とを簡易に求めることができる。従って車載カメラ１に対する取り付け誤差がある場合であっても、該車載カメラ１により撮像される道路画像Ｇに対する実際の光軸水平中心と俯角とを精度良く求めることが可能となるので、道路画像Ｇから求められる白線Ｗの情報（白線形状）を地表座標系に座標変換して安全走行の為の情報として活用するに際し、その情報精度を十分に高いものとすることができる。
【００２２】
ちなみに車載カメラ１の光軸ずれについては、道路画像Ｇの画面中心からの上記光軸水平中心とのずれ量ｗを求め、車載カメラ１の焦点距離をｆとしたとき、上記ずれ量ｗと俯角θとに基づいて、その補正量ψを
tanψ＝ (ｗ／ｆ)cosθ
として求めて補正するようにすれば良い。
【００２３】
また本装置によれば、道路画像Ｇから求められる仮想消失点Ｅのヒストグラムを作成し、このヒストグラムの分布中心として光軸水平中心と俯角とを求めるので、道路環境の変化に伴う誤差要因をノーマライズすることができ、道路環境の変化に拘わることなく道路画像Ｇに対する光軸水平中心と俯角とを精度良く求めることが可能となる。更には前述したようにヒストグラムを作成するに際して、不適切な道路画像Ｇから求められる仮想消失点Ｅを排除し、また同一情報と看做し得る道路画像Ｇから求められる仮想消失点Ｅを排除するので、仮想消失点Ｅのヒストグラムを高精度に、且つ信頼性良く作成することができる。この結果、光軸水平中心および俯角の検出精度を十分に高め得る等の効果が奏せられる。
【００２４】
尚、本発明は上述した実施形態に限定されるものではない。例えばヒストグラムを解析処理するに際して、そのピーク値を検出したり、その移動平均出力の分布中心を求めることのみならず、適当なフィルタリング処理を施すことも可能である。またヒストグラム作成時の条件判定についても、道路環境等に応じて適宜変えることが可能である。その他、本発明はその要旨を逸脱しない範囲で種々変形して実施することができる。
【００２５】
【発明の効果】
以上説明したように本発明によれば、道路画像から求められる仮想消失点のヒストグラムに従ってその光軸水平中心と俯角とを求めるので、その処理自体が簡単であり、またその検出精度を十分に高めることができる。従って道路画像から求められる白線情報を安全走行に活用するに際して、その情報精度を安定に保証することができる等の効果が奏せられる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る白線認識装置の要部概略構成図。
【図２】本発明に係る処理概念を説明するための道路画像とその仮想消失点、および仮想消失点のヒストグラムと光軸水平中心および俯角との関係を示す図。
【図３】道路画像に対する光軸水平中心および俯角の算出処理の為の一連の処理手順の例を示すフローチャート。
【符号の説明】
１  車載カメラ
４  画像メモリ
５  白線候補点検出部
６  近似直線算出部
７  仮想消失点算出部
８  ヒストグラム作成部
９  光軸水平中心および俯角の学習部
【図１】
0003807651.tif 000002
【図２】
0003807651.tif 000003
【図３】
0003807651.tif 000004