(57)【要約】【課題】光環境の変化にかかわらず、安定した２値化画像を得て白線を精度良く認識できるようにする。【解決手段】カメラ１の映像信号をＡ／Ｄ変換器２で変換して画像メモリ５に格納し、画像前処理部６においてカメラ画像をグレースケール２値化画像と輪郭強調２値化画像の２値化画像とし、その論理積で生成したＡＮＤ画像を基に白線認識部で白線を認識する。２値化に際して、路面に対応する開口領域を残してカメラ画像にマスクをかけ、開口領域について作成した明度のヒストグラムからカメラ画像の明るさ分布を判定し、所定の閾値算出基準線をヒストグラムが横切る明度に、明るさ分布に基づく所定のオフセット値を加算して２値化閾値とする。明るさ分布に対応した適切な２値化閾値を求めることができ、これを繰り返すことにより走行中光環境が変化しても常に最適のＡＮＤ画像が生成される。【選択図】        図１
2007257242.tif 000002
【特許請求の範囲】
【請求項１】
車両前方を撮影するカメラと、
前記カメラからのカメラ画像を２値化して２値化画像データを生成する画像処理手段と、
前記２値化画像データを用いて走行路の白線を認識する白線認識手段とからなり、
前記画像処理手段は、
前記カメラ画像における路面に対応する開口領域を残してマスクをかけるマスキング手段と、
前記開口領域について明度のヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラムに基づいてカメラ画像の明るさ分布を判定する明るさ分布判定手段と、
前記明るさ分布に基づいて２値化閾値を算出する２値化閾値算出手段とを有して、
該２値化閾値算出手段で算出した２値化閾値を用いて前記２値化画像データを生成することを特徴とする白線認識装置。
【請求項２】
前記２値化閾値算出手段は、あらかじめ設定した閾値算出基準線を前記ヒストグラムが横切る明度に、前記明るさ分布に基づく所定のオフセット値を加算した明度を前記２値化閾値とすることを特徴とする請求項１記載の白線認識装置。
【請求項３】
前記画像処理手段は、まずグレースケール２値化画像と輪郭強調２値化画像とを生成し、該グレースケール２値化画像と輪郭強調２値化画像をＡＮＤ処理したＡＮＤ画像のデータを前記２値化画像データとするものであり、
前記２値化閾値算出手段は、前記閾値算出基準線を前記ヒストグラムが横切る明度の最大値に第１のオフセット値を加算して、前記グレースケール２値化画像を得る第１の２値化閾値を算出し、前記閾値算出基準線を前記ヒストグラムが横切る明度の最小値に第２のオフセット値を加算して、前記輪郭強調２値化画像を得る第２の２値化閾値を算出することを特徴とする請求項２記載の白線認識装置。
【請求項４】
前記ヒストグラムの明度範囲を０〜１５５とするとき、
前記第１のオフセット値を、前記明るさ分布が明度の範囲が狭く積算値が大きい場合は５、明度の範囲が広く積算値が小さい場合は−１０とし、
前記第２のオフセット値を、前記明るさ分布が明度の範囲が狭く積算値が大きい場合は−４０、明度の範囲が広く積算値が小さい場合は３０とすることを特徴とする請求項３記載の白線認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の車線逸脱判定や先行車両監視などのため、車両の走行している車線を認識するための白線認識装置に関する。
【背景技術】
【０００２】
従来の白線認識装置として、走行路前方を撮影したカメラからの画像データをグレースケール２値化処理および輪郭強調２値化処理して、各２値化処理データのＡＮＤ（論理積）をとることにより白線抽出用データを作成するようにしたものがある。
ここで、２値化処理の閾値が適切に設定されれば、路面が黒く、白線が白く分離されるから、上記ＡＮＤ処理した白線抽出用データの画像において容易に白線が識別され高い精度で白線が認識される。
【０００３】
ここで、２値化処理の際のそれぞれの閾値が所定の条件下で設定された値に固定されるが、しかし環境条件が変化すると、各処理画像に白線が適切に表示されることは実際上困難である。
たとえば、太陽光線下の画像において最適となるように閾値が設定された場合に、トンネル内での画像をグレースケール２値化処理した結果は図８の（ａ）、および輪郭強調２値化処理した結果は同図（ｂ）に示すものとなる。
トンネル内ではライトを点灯するため、路面が明るくなり、グレースケール２値化の画像では路面のほとんどが白となり、輪郭強調２値化の画像でも路面に多くのノイズが残ってしまう。そのため、（ｃ）に示した両者のＡＮＤ画像も輪郭強調２値化の画像を反映したノイズの多いものとなる。
【０００４】
逆に、トンネル内の画像において最適となるように閾値が設定された場合に、トンネルの外に出たときの画像をグレースケール２値化処理した結果は図９の（ａ）、および輪郭強調２値化処理した結果は同図（ｂ）に示すものとなる。
この場合には、トンネル内でライトを点灯した状態の路面があまりにも明るかったために、グレースケール２値化の画像では白線部分が十分に表示されない。そのため、（ｃ）に示した両者のＡＮＤ画像も十分な白線を表示できないことになる。
【０００５】
上記の問題は路面の明度値が光環境によって変わることに起因するので、たとえば特開平５−２０５９３号公報には、２値化処理にあたって、画像上の数本の走査線から輝度の最大値を検出して、その値から一定値を減じた値を閾値として設定することにより、明度値の変化の影響を低減するようにした装置が提案されている。
【特許文献１】特開平５−２０５９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特開平５−２０５９３号公報に記載された装置によっても、夜間の車両ヘッドライトの照射によって車両近傍の路面の明度値が白線の明度値よりも高くなるような場合には、上記のように設定した閾値よりも依然として白線の明度値が低くなってしまうことを回避できないという現状にある。
したがって本発明は、上記従来の問題点にかんがみ、光環境の変化にかかわらず、安定した２値化画像を得て白線を精度良く認識できるようにした白線認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
このため、本発明は、車両前方を撮影するカメラと、カメラ画像を２値化して２値化画像データを生成する画像処理手段と、２値化画像データを用いて走行路の白線を認識する白線認識手段とからなり、画像処理手段は、カメラ画像における路面に対応する開口領域を残してマスクをかけるマスキング手段と、前記開口領域について明度のヒストグラムを作成するヒストグラム作成手段と、ヒストグラムに基づいてカメラ画像の明るさ分布を判定する明るさ分布判定手段と、明るさ分布に基づいて２値化閾値を算出する２値化閾値算出手段とを有して、この２値化閾値算出手段で算出した２値化閾値を用いて上記の２値化画像データを生成するものとした。
【発明の効果】
【０００８】
白線の認識において光環境の影響を受ける路面に対応する開口領域についてヒストグラムを作成し、このヒストグラムから明るさ分布を判定して、２値化閾値を明るさ分布に基づいて算出するから、明るさ分布に対応した適切な２値化閾値を求めることができ、これを繰り返すことにより走行中光環境が変化しても常に最適の２値化画像データが生成される。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態について説明する。
図１は実施の形態にかかる白線認識装置を用いた車両制御システムのブロック図である。
走行車線の白線を含む視野角をもって車両前方を撮影するカメラ１が車体先端に設置される。
カメラ１がＡ／Ｄ変換器２に接続され、Ａ／Ｄ変換器２は画像メモリ５と映像出力部３とに接続されている。映像出力部３はモニタ４に接続されている。
映像信号をＡ／Ｄ変換した画像データは映像出力部３においてＤ／Ａ変換され、モニタ４に逐次表示される。
画像メモリ５には画像前処理部６と白線認識部７が順次接続されている。
白線認識部７は車線逸脱判定部８に接続され、車線逸脱判定部８は警報装置９に接続されている。
【００１０】
カメラ１からの映像信号はＡ／Ｄ変換器２でＡ／Ｄ変換され、その画像データが画像メモリ５に格納される。画像メモリ５に格納されたこの画像データを以下カメラ画像と呼ぶ。
画像前処理部６は、白線認識部７における認識処理のため、画像メモリ５に格納されたカメラ画像を前処理する。白線認識部７は認識結果を車線逸脱判定部８へ出力し、車線逸脱判定部８は白線認識部７で認識された白線と自車両の位置関係に基づいて、自車両が白線で規定された車線内を走行しているか逸脱しているかを判定して、逸脱している場合は警報装置９を作動させる。
なお、白線認識部７の認識結果は車両制御部１０へも出力され、車間距離制御やプリクラッシュセーフティ制御などのための制御入力となる。
【００１１】
つぎに、画像前処理部について説明する。
画像前処理部６では、画像メモリ５に格納されたカメラ画像を読み出し、カメラ画像からヒストグラムを生成して２値化閾値を算出し、その閾値を用いてグレースケール２値化画像と輪郭強調２値化画像を生成する。そしてさらにこれらの２値化画像のＡＮＤ画像を生成する。
【００１２】
図２は画像前処理部６における処理の流れを示すフローチャートである。
まずステップ１００において、画像メモリ５からカメラ画像を読み出す。
ステップ１０１では、図３の（ａ）に示すようなカメラ画像の画像フレームの中で路面に対応する三角形状の開口領域Ｓを残して、（ｂ）のようにマスク処理する。
次のステップ１０２において、マスクされていない開口領域Ｓについて、ヒストグラムを計算し、ステップ１０３で、明るさ分布を判定する。
【００１３】
ヒストグラムは、横軸が黒（０）から白（２５５）の２５６段階の明度、縦軸が積算画素数で表した積算値で示される。
ここで、トンネル外の太陽光線下のようにヘッドライトを消灯しているときのヒストグラムは、図４に示すように、路面Ｒが受ける光の量が車両近傍（画像の下部）でも遠方（画像の上部）でもほぼ同様であり、明度の範囲が狭く、その積算値は大きくなる。
一方、トンネル内のようにヘッドライトを点灯しているときのヒストグラムは、図５に示すように、ヘッドライトの影響で路面Ｒの車両近傍は明るく、遠方になるほど暗くなり、明度の範囲が広く、幅広く高い値となるが、その積算値は比較的小さい。
したがって、図４、図５に示すように、各積算値の最大値を考慮した積算値レベルに明るさ分布判定基準線Ｂを設定する。
なお、図４、図５にはトンネル外の情景およびトンネル内の情景を参考背景として重ねている。
【００１４】
このように走行している光環境によって明るさの分布が異なり、ヘッドライト消灯時には明度の範囲が狭いことから、路面と白線の明度間には差があると考えられる。また、ヘッドライト点灯時には明度の範囲が広く、積算値が小さいことから、路面の明度が白線の明度を超える場合もあると考えられる。
したがって、次にステップ１０４では、明るさの分布に応じた２値化閾値を算出する。
ここでは、図４、図５に示すように、路面の表示などに影響を受けないある程度の積算値のレベルを閾値算出基準線Ｔとして設定する。そして、閾値算出基準線Ｔとヒストグラムのグラフが交差する最小の明度値をｔｈｒｍｉｎ、最大の明度値をｔｈｒｍａｘとする。
これらを基に、ヘッドライト消灯時の閾値を次のように算出する。
グレースケール２値化閾値＝ｔｈｒｍａｘ＋α
輪郭強調２値化閾値＝ｔｈｒｍｉｎ＋β
またヘッドライト点灯時の閾値を次のように算出する。
グレースケール２値化閾値＝ｔｈｒｍａｘ＋γ
輪郭強調２値化閾値＝ｔｈｒｍｉｎ＋δ
【００１５】
つぎのステップ１０５では、再度画像メモリ５からカメラ画像を読み出して、上に算出されたグレースケール２値化閾値を用いてカメラ画像を２値化し、これをグレースケール２値化画像として画像メモリ５に格納する。
ステップ１０６でも、画像メモリ５からカメラ画像を読み出して、輪郭強調２値化閾値を用いてカメラ画像を２値化し、これを輪郭強調２値化画像として画像メモリ５に格納する。
【００１６】
ステップ１０７において、画像メモリ５からグレースケール２値化画像と輪郭強調２値化画像を読み出して、各画素ごとに論理積をとってＡＮＤ画像を求める。
そしてステップ１０８でＡＮＤ画像を白線認識部７へ出力する。
ＡＮＤ画像には、後掲の図６の（ａ）、図７の（ａ）に示されるように、路面と明度が異なる白線領域の輪郭が残ることになる。
白線認識部７では、ＡＮＤ画像における各白線領域の太さや、左右白線領域の間隔等の条件を適用して絞ったうえ、複数の白線領域の輪郭から幅方向中央、すなわち自車両に近い白線領域を自車両が走行している車線を区画する白線として抽出する。そして、例えば、特開平５−２０５９３号公報に開示されているように、抽出した白線領域の輪郭をハフ変換等により直線近似して出力する。
【００１７】
このあと、ステップ１０９において、画像メモリ５からカメラ画像および各２値化画像のデータを消去して、ステップ１００へ戻る。これにより、１フレームの画像についてのフローが完了する。
車両の走行中、上記フローが繰り返され、上述の２値化閾値の算出は、画像フレームごとに行われる。
【００１８】
上記２値化閾値の算出式におけるオフセット値α、β、γ、δはカメラ１の特性によって多少異なるが、例えば、α＝５、β＝−４０、γ＝−１０、δ＝３０に設定することにより、晴天、曇天、トンネル内、夜間等の状況変化に対して有効であって、カメラが決まればオフセット値は固定でよい。
図６の（ａ）は、トンネル内の画像について、ステップ１０７で求めたＡＮＤ画像を示すものである。（ｂ）の太陽光線下の画像で最適となるように閾値が設定された場合の従来例におけるＡＮＤ画像と比較して、路面上ではノイズが効果的に除去され、白線のみが抽出されている。
【００１９】
図７の（ａ）は、トンネル外の画像について、ステップ１０７で求めたＡＮＤ画像を示すものである。（ｂ）のトンネル内の画像で最適となるように閾値が設定された場合の従来例におけるＡＮＤ画像と比較して、従来ほとんど表示されなかった白線が十分に表示され、ノイズもない。
画像前処理部６からこのようなＡＮＤ画像を受けた白線認識部７は、ＡＮＤ画像上で前述のような条件を適用して、自車両が走行している車線を区画する白線を認識する。
【００２０】
本実施の形態では、Ａ／Ｄ変換器２、画像メモリ５および画像前処理部６が発明における画像処理手段を構成し、白線認識部７が白線認識手段を構成している。
また、図２のフローチャートにおけるステップ１０１がマスキング手段に対応し、ステップ１０２がヒストグラム作成手段に、ステップ１０３が明るさ分布判定手段に、そしてステップ１０４が２値化閾値算出手段に対応している。
【００２１】
実施の形態は以上のように構成され、２値化画像データの生成において、カメラ画像における路面に対応する開口領域を残してマスクをかけて、開口領域について明度のヒストグラムを作成し、このヒストグラム上で判定したカメラ画像の明るさ分布に基づいて２値化閾値を算出するものとしたので、明るさ分布に対応した適切な２値化閾値を求めることができ、これを繰り返すことにより走行中光環境が変化しても常に最適の２値化画像データが生成される。
【００２２】
とくに、２値化閾値の算出にあたっては、あらかじめ設定した閾値算出基準線Ｔをヒストグラムが横切る明度に、明るさ分布に基づく所定のオフセット値を加算して２値化閾値とするので、簡単な算出処理で適切な２値化閾値が求められる。
より具体的には、白線認識部７へ出力する２値化画像データは、まずグレースケール２値化画像と輪郭強調２値化画像とを生成し、該グレースケール２値化画像と輪郭強調２値化画像をＡＮＤ処理してＡＮＤ画像としたものであって、閾値算出基準線Ｔをヒストグラムが横切る明度の最大値に第１のオフセット値を加算して、グレースケール２値化画像を得るための第１の２値化閾値を算出し、閾値算出基準線Ｔをヒストグラムが横切る明度の最小値に第２のオフセット値を加算して、輪郭強調２値化画像を得るための第２の２値化閾値を算出するようにしているから、グレースケール２値化画像と輪郭強調２値化画像とにそれぞれ最適の２値化閾値が設定され、白線認識部７へ出力する最終的な２値化画像データは白線認識に最適なものとなる。
【００２３】
なお、実施の形態におけるカメラ画像に対するマスク処理では三角形状の開口領域Ｓを残すものとしたが、開口領域の形状は三角形状に限定されず、光環境の影響を受ける路面のヒストグラムが作成できれば、他の形状を選択してもよい。
また、図４、図５に示した明るさ分布判定基準線Ｂや閾値算出基準線Ｔは例示であって、そのレベルはカメラ特性等に応じて適宜に設定される。
【図面の簡単な説明】
【００２４】
【図１】実施の形態の構成を示すブロック図である。
【図２】画像前処理部における処理の流れを示すフローチャートである。
【図３】マスク領域を示す図である。
【図４】ヘッドライトを消灯しているときのヒストグラムを示す図である。
【図５】ヘッドライトを点灯しているときのヒストグラムを示す図である。
【図６】トンネル内の画像にかかるＡＮＤ画像を従来例と比較して示す図である。
【図７】トンネル外の画像にかかるＡＮＤ画像を従来例と比較して示す図である。
【図８】従来例による２値化画像を示す図である。
【図９】従来例による２値化画像を示す図である。
【符号の説明】
【００２５】
１      カメラ
２      Ａ／Ｄ変換器
３      映像出力部
４      モニタ
５      画像メモリ
６      画像前処理部
７      白線認識部
８      車線逸脱判定部
９      警報装置
１０    車両制御部
Ｂ      明るさ分布判定基準線
Ｓ      開口領域
Ｔ      閾値算出基準線
【図１】
2007257242.tif 000003
【図２】
2007257242.tif 000004
【図３】
2007257242.tif 000005
【図４】
2007257242.tif 000006
【図５】
2007257242.tif 000007
【図６】
2007257242.tif 000008
【図７】
2007257242.tif 000009
【図８】
2007257242.tif 000010
【図９】
2007257242.tif 000011