(57)【要約】【課題】画像信号において、暗部と明部とからなる所定のパターンの位置を高精度に検出すること。【解決手段】各画素の輝度に対してデジタルフィルタ処理及びパターンの中心位置の算出処理を実施する。デジタルフィルタ処理では、ライン毎にコンボリュ−ションＡ（Ｉ，Ｊ）を算出する。このコンボリュ−ションＡ（Ｉ，Ｊ）は、各ラインパターンに対応する大きさの範囲の複数の画素を選択し、この選択した各画素の輝度に、白又は黒のパターンに対応して符号の異なる第１または第２の係数を乗じ、その合計値を求めることによって算出される。このコンボリュ−ションＡ（Ｉ，Ｊ）の値に基づいて、各ラインにおいて、ラインパターンが存在する範囲を判定する。その後、ライン毎に判定されたラインパターンを組み合わせた場合に、その組合せパターンが、所定のパターンに相当するかどうかを判定する。【選択図】    図３
2005157466.tif 000002
【特許請求の範囲】
【請求項１】
明部と暗部とからなる所定のパターンを撮像した画像信号において、当該所定のパターンの位置を検出する位置検出装置であって、
前記画像信号から、前記所定のパターンにおける明部と暗部とを含む少なくとも一部のパターンに対応する範囲を単位として複数の画素を選択するとともに、その選択する複数の画素の範囲をずらしていくことによって、順次、選択する複数の画素の範囲を移動させる複数画素選択手段と、
前記複数画素選択手段によって順次選択される複数の画素に対し、前記少なくとも一部のパターンの明部に対応する位置の画素の輝度に第１の係数を乗じ、暗部に対応する位置の画素の輝度に第１の係数と符号の異なる第２の係数を乗じ、かつ、それらの合計値を順次算出する算出手段と、
前記算出手段によって順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に前記少なくとも一部のパターンが存在すると判定する判定手段とを備え、
前記判定手段によって少なくとも一部のパターンが存在すると判定した範囲の複数画素の位置に基づいて、前記パターンの位置を検出することを特徴とする位置検出装置。
【請求項２】
前記少なくとも一部のパターンは、画像信号の1ラインに表れるラインパターンであり、
前記複数画素選択手段は、１ラインの範囲で選択する複数画素の範囲を移動させるものであり、
前記判定手段は、１ラインにおいて前記合計値が最大もしくは最小となる複数画素の範囲が特定されたとき、その複数画素の範囲における各画素の輝度が前記ラインパターンの明部及び暗部に相当する輝度を有しているか否かを確認し、この確認がなされたときに、前記ラインパターンが前記複数画素の範囲に存在すると確定することを特徴とする請求項１に記載の位置検出装置。
【請求項３】
前記少なくとも一部のパターンは、画像信号の1ラインに表れるラインパターンであり、前記判定手段は、前記画像信号の各ライン毎に、そのラインパターンが存在する複数画素の範囲を判定し、さらに、各ライン毎に判定された複数画素の範囲から各ラインのラインパターンを組み合わせた組合せパターンが、前記所定のパターンに相当する場合に、各ライン毎に判定された複数画素の範囲に、前記所定のパターンが存在すると判定することを特徴とする請求項１または請求項２に記載の位置検出装置。
【請求項４】
明部と暗部とからなる所定の２次元パターンを撮像した画像信号において、当該所定の２次元パターンの位置を検出する位置検出装置であって、
前記画像信号から、前記2次元パターンに対応する範囲を単位として、かつ所定の割合で間引きした複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる第１の複数画素選択手段と、
前記第１の複数画素選択手段によって順次選択される複数の画素に対し、前記2次元パターンの明部に対応する位置の画素の輝度に第１の係数を乗じ、暗部に対応する位置の画素の輝度に第１の係数と符号の異なる第２の係数を乗じ、かつ、それらの合計値を順次算出する算出手段と、
前記算出手段によって順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に前記2次元パターンが存在すると判定する判定手段と、
前記判定手段によって前記2次元パターンが存在すると判定された範囲を基準として、前記第１の複数画素選択手段が複数画素の範囲を移動させるよりも狭い探索領域を設定し、その探索領域内において、前記２次元パターンの内部の内部パターンに対応する範囲を単位として、その範囲に含まれる全ての複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる第２の複数画素選択手段とを備え、
前記算出手段及び前記判定手段は、前記第２の複数画素選択手段によって選択された複数の画素に対して、前記内部パターンの明部及び暗部に対応して各画素の輝度に前記第１又は第２の係数を乗じて、それらの合計値を算出するとともに相対比較を行なって、前記内部パターンが存在する複数画素の範囲を判定し、
前記２次元パターンの内部パターンの存在する複数画素の範囲に基づいて、前記２次元パターンの中心位置を検出することを特徴とする位置検出装置。
【請求項５】
前記画像信号を出力するカメラの露出を制御する露出制御部を備え、
前記カメラが前記パターンを撮像した画像信号を出力する時、前記露出制御部は、その画像信号に含まれる各画素の輝度の平均値が所定値となるように前記カメラの露出を制御することを特徴とする請求項1乃至請求項４のいずれかに記載の位置検出装置。
【請求項６】
前記画像信号に含まれる各画素の輝度の平均値は、前記画像信号において、予め設定されたパターン存在エリア内の各画素の輝度を平均化することによって求められることを特徴とする請求項５に記載の位置検出装置。
【請求項７】
前記パターンの位置の検出は複数回実行され、この複数回の検出において、略同一位置に前記パターンが検出された場合に、検出したパターン位置を確定することを特徴とする請求項１乃至請求項６のいずれかに記載の位置検出装置。
【請求項８】
前記算出手段が算出した合計値の最大値もしくは最小値と、その合計値の最大値もしくは最小値が得られた複数画素の範囲の隣接範囲の複数画素から得られた合計値とを用いて補間演算を行ない、前記パターンの位置を算出する補間演算手段を備えることを特徴とする請求項１乃至請求項７のいずれかに記載の位置検出装置。
【請求項９】
明部と暗部とからなる所定のパターンを撮像した画像信号において、当該所定のパターンの位置を検出する位置検出方法であって、
前記画像信号から、前記所定のパターンにおける明部と暗部とを含む少なくとも一部のパターンに対応する範囲を単位として複数の画素を選択するとともに、その選択する複数の画素の範囲をずらしていくことによって、順次、選択する複数の画素の範囲を移動させる複数画素選択ステップと、
前記複数画素選択ステップによって順次選択される複数の画素に対し、前記少なくとも一部のパターンの明部に対応する位置の画素の輝度に第１の係数を乗じ、暗部に対応する位置の画素の輝度に第１の係数と符号の異なる第２の係数を乗じ、かつ、それらの合計値を順次算出する算出ステップと、
前記算出ステップによって順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に前記少なくとも一部のパターンが存在すると判定する判定ステップと、
前記判定ステップによって少なくとも一部のパターンが存在すると判定した範囲の複数画素の位置に基づいて、前記パターンの位置を検出する検出ステップとを備えることを特徴とする位置検出方法。
【請求項１０】
前記少なくとも一部のパターンは、画像信号の1ラインに表れるラインパターンであり、
前記複数画素選択ステップでは、１ラインの範囲で選択する複数画素の範囲を移動させ、
前記判定ステップでは、１ラインにおいて前記合計値が最大もしくは最小となる複数画素の範囲が特定されたとき、その複数画素の範囲における各画素の輝度が前記ラインパターンの明部及び暗部に相当する輝度を有しているか否かを確認し、この確認がなされたときに、前記ラインパターンが前記複数画素の範囲に存在すると確定することを特徴とする請求項９に記載の位置検出方法。
【請求項１１】
前記少なくとも一部のパターンは、画像信号の1ラインに表れるラインパターンであり、
前記判定ステップでは、前記画像信号の各ライン毎に、そのラインパターンが存在する複数画素の範囲を判定し、さらに、各ライン毎に判定された複数画素の範囲から各ラインのラインパターンを組み合わせた組合せパターンが、前記所定のパターンに相当する場合に、各ライン毎に判定された複数画素の範囲に、前記所定のパターンが存在すると判定することを特徴とする請求項９または請求項１０に記載の位置検出方法。
【請求項１２】
明部と暗部とからなる所定の２次元パターンを撮像した画像信号において、当該所定の２次元パターンの位置を検出する位置検出方法であって、
前記画像信号から、前記2次元パターンに対応する範囲を単位として、かつ所定の割合で間引きした複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる第１の複数画素選択ステップと、
前記第１の複数画素選択ステップによって順次選択される複数の画素に対し、前記2次元パターンの明部に対応する位置の画素の輝度に第１の係数を乗じ、暗部に対応する位置の画素の輝度に第１の係数と符号の異なる第２の係数を乗じ、かつ、それらの合計値を順次算出する第１の算出ステップと、
前記第１の算出ステップによって順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に前記2次元パターンが存在すると判定する第１の判定ステップと、
前記第１の判定ステップによって前記2次元パターンが存在すると判定された範囲を基準として、前記第１の複数画素選択手段が複数画素の範囲を移動させるよりも狭い探索領域を設定し、その探索領域内において、前記２次元パターンの内部の内部パターンに対応する範囲を単位として、その範囲に含まれる全ての複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる第２の複数画素選択ステップと、
前記第２の複数画素選択ステップによって順次選択される複数の画素に対して、前記内部パターンの明部に対応する位置の画素の輝度に第３の係数を乗じ、暗部に対応する位置の画素の輝度に第３の係数と符号の異なる第４の係数を乗じ、かつ、それらの合計値を順次算出する第２の算出ステップと、
前記第２の算出ステップによって順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に前記2次元パターンの内部パターンが存在すると判定する第２の判定ステップと、
前記２次元パターンの内部パターンの位置に基づいて、前記２次元パターンの中心位置を検出する検出ステップとを備えることを特徴とする位置検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、明部と暗部とからなる所定のパターンを撮像した画像信号において、当該所定のパターンの位置を検出する位置検出装置及び位置検出方法に関するものである。
【背景技術】
【０００２】
従来、車両の前方路面をカメラで撮像し、その撮像した画像信号に基づいて、車両の走行する車線を区画する白線を認識する車線認識装置が知られている。例えば特許文献１に記載された車線認識装置では、カメラが撮像した画像信号に基づいて白線を検出するとともに、現在の車速から次回白線検出を行なう処理領域Ｒを前記画像信号において定める。そして、その処理領域内の画像信号の平均輝度ｂ１を算出し、今回の車線検出のための処理領域に対応する輝度ｂ０との差を求める。この差が所定値よりも大きい場合には、平均輝度ｂ１に基づいて、次回の受光量を決定する。このように決定された受光量に基づいて、カメラの絞り部が制御される。
【特許文献１】特開平６−２５３２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上述した従来の車線認識装置では、次回の白線検出領域に対応する画像信号の平均輝度ｂ１を求めることにより、例えば、道路全体が日向から日陰に変化する場合であっても、次回の白線検出領域に適した露出量（絞り量）でカメラを動作させるものである。
【０００４】
ここで、従来の車線認識装置では、カメラが車両前方の所定距離範囲を撮像範囲としていることを前提とし、次回の白線検出処理タイミングまでに車両が移動する距離に応じて、画像信号の中で次回処理領域Ｒを定める。このように、カメラからの画像信号に基づいて白線等の対象物を認識する場合、カメラの撮像範囲は所定の目標範囲に合わせ込まれることが必要となる。
【０００５】
このような場合、例えば、カメラに対して所定の位置関係となるように所定のパターンを有するターゲットを設置し、そのターゲットのパターンを撮像した画像信号を用いて、カメラの撮像範囲を調整することが考えられる。
【０００６】
しかしながら、ターゲットのパターンの位置を基準としてカメラの撮像範囲を調整する場合、その調整精度は、パターン位置の検出精度に依存することになる。
【０００７】
本発明は、上述した点に鑑みてなされたものであり、暗部と明部とからなる所定のパターンの位置を高精度に検出することが可能な位置検出装置及び位置検出方法を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、請求項１に記載の位置検出装置は、明部と暗部とからなる所定のパターンを撮像した画像信号において、当該所定のパターンの位置を検出するものであって、
画像信号から、所定のパターンにおける明部と暗部とを含む少なくとも一部のパターンに対応する範囲を単位として複数の画素を選択するとともに、その選択する複数の画素の範囲をずらしていくことによって、順次、選択する複数の画素の範囲を移動させる複数画素選択手段と、
複数画素選択手段によって順次選択される複数の画素に対し、少なくとも一部のパターンの明部に対応する位置の画素の輝度に第１の係数を乗じ、暗部に対応する位置の画素の輝度に第１の係数と符号の異なる第２の係数を乗じ、かつ、それらの合計値を順次算出する算出手段と、
算出手段によって順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に前記少なくとも一部のパターンが存在すると判定する判定手段とを備え、
判定手段によって少なくとも一部のパターンが存在すると判定した範囲の複数画素の位置に基づいて、パターンの位置を検出することを特徴とする。
【０００９】
上記のように、所定パターンにおける明部と暗部とを含む少なくとも一部のパターンに対応する範囲の複数画素を選択し、この選択した各画素の輝度に第１及び第２の係数を乗じて合計値を算出すると、その複数画素の範囲が少なくとも一部のパターンに一致したときの合計値が最大もしくは最小となる。従って、複数画素の範囲の移動に伴なって順次算出される合計値を相互に比較して、合計値の最大もしくは最小となる複数画素の範囲を抽出することによって、上記少なくとも一部のパターンの存在する範囲を特定できる。
【００１０】
特に、このように複数の画素の輝度に基づいて少なくとも一部のパターンが存在する範囲を特定することで、画像信号に、その少なくとも一部のパターンとは異なる明部と暗部との組合せがあってもそれを除外できるため、高精度に目的とするパターンの位置を特定できる。
【００１１】
請求項２に記載の位置検出装置では、少なくとも一部のパターンは、画像信号の1ラインに表れるラインパターンであり、
複数画素選択手段は、１ラインの範囲で選択する複数画素の範囲を移動させるものであり、
判定手段は、１ラインにおいて合計値が最大もしくは最小となる複数画素の範囲が特定されたとき、その複数画素の範囲における各画素の輝度がラインパターンの明部及び暗部に相当する輝度を有しているか否かを確認し、この確認がなされたときに、ラインパターンが複数画素の範囲に存在すると確定することを特徴とする。
【００１２】
少なくとも一部のパターンが画像信号の１ラインに表れるラインパターンであり、1ライン毎に合計値の最大、最小を判定する場合、合計値が最大もしくは最小となったとしても、必ずしもその合計値が最大もしくは最小となった複数画素の範囲にラインパターンが存在するとは限らない。すなわち、合計値が算出されたラインにラインパターンが存在しない場合もあり、合計値が最大もしくは最小となったことは、単に、その１ラインの中でラインパターンに最も類似した複数画素の範囲であることを意味するのみである。そのため、請求項２に記載する位置検出装置においては、合計値が最大もしくは最小となった範囲の複数画素の輝度が、ラインパターンの明部及び暗部に対応する輝度を有しているか否かを確認する。この各画素の輝度の確認において、ラインパターンの明部及び暗部に対応する輝度を有するように複数画素が並んでいれば、その複数画素の範囲にラインパターンが存在すると確実に判定できる。
【００１３】
請求項３に記載の位置検出装置では、少なくとも一部のパターンは、画像信号の1ラインに表れるラインパターンであり、
判定手段は、画像信号の各ライン毎に、そのラインパターンが存在する複数画素の範囲を判定し、さらに、各ライン毎に判定された複数画素の範囲から各ラインのラインパターンを組み合わせた組合せパターンが、所定のパターンに相当する場合に、各ライン毎に判定された複数画素の範囲に、所定のパターンが存在すると判定することを特徴とする。
【００１４】
このように、各ライン毎にラインパターンの存在する範囲を判定することに加え、それらの各ラインにおけるラインパターンの存在範囲を組み合わせた組合せパターンが、所定のパターンに相当するか確認することで、さらに、所定のパターンの位置を高精度に検出することができる。
【００１５】
請求項４に記載の位置検出装置は、明部と暗部とからなる所定の２次元パターンを撮像した画像信号において、当該所定の２次元パターンの位置を検出するものであって、
画像信号から、2次元パターンに対応する範囲を単位として、かつ所定の割合で間引きした複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる第１の複数画素選択手段と、
第１の複数画素選択手段によって順次選択される複数の画素に対し、2次元パターンの明部に対応する位置の画素の輝度に第１の係数を乗じ、暗部に対応する位置の画素の輝度に第１の係数と符号の異なる第２の係数を乗じ、かつ、それらの合計値を順次算出する算出手段と、
算出手段によって順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に2次元パターンが存在すると判定する判定手段と、
判定手段によって2次元パターンが存在すると判定された範囲を基準として、第１の複数画素選択手段が複数画素の範囲を移動させるよりも狭い探索領域を設定し、その探索領域内において、２次元パターンの内部の内部パターンに対応する範囲を単位として、その範囲に含まれる全ての複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる第２の複数画素選択手段とを備え、
算出手段及び判定手段は、第２の複数画素選択手段によって選択された複数の画素に対して、内部パターンの明部及び暗部に対応して各画素の輝度に第１又は第２の係数を乗じて、それらの合計値を算出するとともに相対比較を行なって、内部パターンが存在する複数画素の範囲を判定し、
２次元パターンの内部パターンの存在する複数画素の範囲に基づいて、２次元パターンの中心位置を検出することを特徴とする。
【００１６】
上述したように、２次元パターンに対応する範囲において複数の画素を選択する場合には、所定の割合で間引きして複数の画素を選択する。このように、画像信号において所定の割合で間引きして画素を選択することにより、比較的大きな2次元パターンの検出であっても、その演算処理に要する時間を短縮することができる。
【００１７】
ただし、画素を間引きすると、２次元パターンのおおよその位置しか検出できないため、２次元パターンが存在すると判定された範囲を基準として、第１の複数画素選択手段が複数画素の範囲を移動させるよりも狭い探索領域を設定する。このように探索領域を狭めれば、画素を間引きしなくとも比較的高速にパターン検出のための演算処理を行なうことができる。さらに、検出するパターンとして２次元パターンそのものではなく、２次元パターンの内部の内部パターンを用いる。これによっても、合計値を算出するための演算量を減少することができるので、演算処理の高速化を図ることができる。
【００１８】
そして、内部パターンが存在する範囲は、内部パターンに対応する範囲に属する全ての複数の画素を対象として求められるので、内部パターンの存在する範囲を非常に高精度に求めることができる。
【００１９】
請求項５に記載の位置検出装置は、画像信号を出力するカメラの露出を制御する露出制御部を備え、
カメラがパターンを撮像した画像信号を出力する時、露出制御部は、その画像信号に含まれる各画素の輝度の平均値が所定値となるようにカメラの露出を制御することを特徴とする。
【００２０】
画像信号のパターンの位置を正確に検出するためには、パターンを明瞭に撮像することが好ましい。パターンが検出しやすいようにカメラの露出を制御した上で、パターンを撮像することが好ましいのである。
【００２１】
請求項６に記載の位置検出装置では、画像信号に含まれる各画素の輝度の平均値が、画像信号において、予め設定されたパターン存在エリア内の各画素の輝度を平均化することによって求められることを特徴とする。
【００２２】
例えば、カメラとパターンとの位置関係やパターンの大きさ等を考慮することにより、パターンが存在するパターン存在エリアが予め設定できる場合には、そのエリア内の各画素の輝度を平均化した輝度に基づいて、露出制御を行なうことが好ましい。このようにすれば、パターンの存在エリア外に非常に明るい部分や暗い部分があっても、それらは無視して露出制御を行なうことができるので、露出制御においてパターンの置かれた環境による影響を受けにくくすることができる。さらに、露出制御の演算処理負荷を低減することができる。
【００２３】
請求項７に記載の位置検出装置では、パターンの位置の検出が複数回実行され、この複数回の検出において、略同一位置にパターンが検出された場合に、検出したパターン位置を確定することを特徴とする。このようにパターンの位置を複数回検出し、略同一位置にパターンが検出された場合には、その位置がパターンの正確な位置とみなすことができる。
【００２４】
請求項８に記載の位置検出装置では、算出手段が算出した合計値の最大値もしくは最小値と、その合計値の最大値もしくは最小値が得られた複数画素の範囲の隣接範囲の複数画素から得られた合計値とを用いて補間演算を行ない、パターンの位置を算出する補間演算手段を備えることを特徴とする。
【００２５】
パターンの大きさを所定個数の画素からなる範囲に対応するように設定しても、画像信号において、そのパターンと所定個数の画素の範囲がぴったりと一致することは稀である。つまり、画素と画素との境界部分にパターンの明部と暗部との境目が一致することはほとんどない。そして、パターンの明部と暗部との境目がある画素によって検出される位置にずれた場合には、その画素を中心として最大±１画素の範囲に明部と暗部との境目が存在することになる。
【００２６】
請求項８に記載の位置検出装置では、この問題に対処することができる。すなわち、パターンの明部と暗部との境目が画素と画素との境界部分からずれた場合には、明部と暗部との境目の輝度を発生する画素が生じるので、各画素の輝度に第１または第２の係数を乗じて求めた合計値は、パターンの位置ずれの程度を反映した値となる。そして、合計値が最大もしくは最小となった複数画素の範囲の隣接範囲の複数画素から得られら合計値を用いて補間演算を行なうことにより、合計値が最大値となる真の位置を算出することができる。
【００２７】
なお、請求項９〜請求項１２に記載の位置検出方法は、上述した請求項１〜請求項４に記載の位置検出装置に対応するものであり、その作用効果は同様であるため、説明を省略する。
【発明を実施するための最良の形態】
【００２８】
以下、図面に基づいて本発明の好ましい実施形態について説明する。なお、本実施形態では、車線逸脱警報装置において、カメラが出力する画像信号に、車両の走行車線を区画する白線を認識するための画像処理エリアを設定するために、本発明によるパターン位置検出装置及び検出方法を適用したものである。
（第1実施形態）
まず、車線逸脱警報装置について説明する。図１は、第１実施形態における車線逸脱警報装置の構成を示すブロック図である。図１に示すように、車線逸脱警報装置は、カメラ１、車両用画像処理装置としての制御部２、車間制御ＥＣＵ７、及び警報部８から構成されている。
【００２９】
カメラ１は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像するものである。なお、カメラ１は、車室内の所定位置に設置されるときに、その撮像範囲が車両の進行方向に対して所定の撮像範囲となるように、その向き等が調整される。ただし、その調整作業における公差は大きく取られており、調整作業の負荷を軽減している。そして、詳しくは後述するが、カメラ１に対して所定の位置関係に設置された所定のパターンを有するターゲットを撮像した画像信号におけるパターンの位置に基づいて、白線の認識処理を施すための画像処理エリアを画像信号に設定する。このように、画像信号におけるパターンの位置を基準として画像処理エリアを設定しているので、白線を認識すべき領域に正確に対応して画像処理エリアを設定することができ、かつ上述した調整作業負荷を軽減できるのである。
【００３０】
カメラ１は、増幅部及びＡ／Ｄ変換部を内蔵しており、シャッタースピードやフレームレートを調整して画像を撮像した時、その画像の各画素の明るさを示すアナログ信号の画素値を所定のゲインで増幅し、Ａ／Ｄ変換部でデジタル値に変換して保持する。そして、カメラ１は、その保持している画素値を、画像信号として、画像の各ラインごとに出力する。
【００３１】
制御部２は、カメラ１から出力された画像信号を処理することにより、白線の位置の認識を行なうとともに、その認識した白線位置を車間制御ＥＣＵ７に出力する。また、制御部２は、上述したように、画像信号におけるターゲットの位置に基づいて、白線の認識処理を施すための画像処理エリアを設定する。さらに、制御部２は、カメラ１の露出制御を行なう。具体的には、制御部２は、カメラ１のシャータースピード及びフレームレート、さらに増幅部のゲインを調整することによってカメラ１の露出量を制御する。制御部２は、シャッタースピード、フレームレート及びゲインを調整するため、これらの調整指示値であるカメラ制御値をカメラ１に出力する。
【００３２】
制御部２は、画像インターフェース（Ｉ／Ｆ）３、ＣＰＵ４，メモリ５、及び通信Ｉ／Ｆ６を有する。画像Ｉ／Ｆ３は、カメラ１から出力される画素値の位置情報等が入力され、その位置情報等をＣＰＵ４に伝達する。ＣＰＵ４は、画像Ｉ／Ｆ３によって伝達される位置情報に基づいて、画像の各ライン毎に出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ１から出力される画素値をメモリ５に記憶する。このようにして、メモリ５に、カメラ１から出力される画像信号が保存される。
【００３３】
通信Ｉ／Ｆ６は、ＣＰＵ４と車間制御ＥＣＵ７との間の通信を調整するものである。本実施形態では、ＣＰＵ４は、画像信号における白線の位置を認識して、この認識した白線位置を車間制御ＥＣＵ７に送信する。一方、車間制御ＥＣＵ７は、図示しないレーダ装置によって先行車両等の位置を検出し、自車と先行車両との距離及び自車を基準とする先行車両の方位を、先行車両の位置を示す情報として、ＣＰＵ４に送信する。
【００３４】
車間制御ＥＣＵ７は、ＣＰＵ４から送信された白線位置に基づいて、自車が車線内から逸脱した（しそう）か否かを判定し、逸脱した（しそう）と判定した場合には、警報部９に対して、警報を発するように指示する。
【００３５】
なお、車間制御ＥＣＵ７は、追従走行制御機能も有しており、上述したレーダ装置により検出される先行車両等の位置や相対速度に基づいて、自車が先行車両に追従走行するように図示しないスロットルバルブの開度や制動装置の制動状態を調節して、自車の走行速度を制御する。
【００３６】
ただし、車線逸脱警報装置としては、必ずしも車間制御ＥＣＵ７を有している必要はない。例えば、制御部２において自車が車線から逸脱した（しそう）か否かを判定し、必要時に警報を発するように構成することも可能である。また、自車が車線を逸脱した（しそうな）場合には、単に警報を発するだけでなく、例えば操舵装置におけるアシスト量を調節して、車線中央に戻りやすくしたり、あるいは自動的に操舵装置を駆動して車両が車線中央に復帰するようにしてもよい。
【００３７】
図２は、制御部２において実行される白線認識処理を示すフローチャートである。図２において、まずステップＳ１１０では、カメラ１から出力された画像信号の取込を行なう。すなわち、上述したように、カメラ１から出力される位置情報に対応するように、画像信号を構成する各画素値をメモリ５に保存する。
【００３８】
ステップＳ１２０では、メモリ５に保存した画像信号の画像処理エリアに対して演算処理を行ない、白線位置を認識する。この演算処理では、まず、画像処理エリアに属する各画素の画素値に基づいて、白線部分に該当する画素値を抽出するためのしきい値を設定する。そして、このしきい値と各画素の画素値との大小比較を行なって、しきい値以上の画素値を有する画素を抽出する。さらに、これらの抽出した画素を組み合わせた場合に白線に相当する形状をなす抽出画素集合を特定し、この抽出画素集合位置を白線位置として認識する。
【００３９】
なお、カメラによっては、撮像範囲の明るさのレベルと単純比例しない画素値を出力するものがある。つまり、暗い側の分解能が細かくなり、明るい側の分解能が粗くなる画素値特性を持つカメラも存在する。このような画素値特性を持ったカメラを用いる場合には、上述した処理の初期段階において、カメラ１の画素値特性に従って、各画素値を相互に対比可能な輝度に変換する。そして、変換後の輝度に基づいて、しきい値の設定、大小比較、及び画素の抽出処理を行なう。
【００４０】
続くステップＳ１３０では、白線位置を車間制御ＥＣＵ７に向けて送信するために、ステップＳ１２０で認識した白線位置を出力する。
【００４１】
そして、ステップＳ１４０では、カメラ１の露出制御を行なう。このカメラの露出制御では、白線を除く路面部分の輝度を算出し、この輝度が目標輝度となるように、カメラ１の露出を制御する。これにより、少なくとも白線は路面部分よりも明るいので、路面部分と白線とのコントラストが確保された画像信号を得ることができる。
【００４２】
次に、カメラ１に対して所定の位置関係に設置された所定のパターンを有するターゲットを撮像した画像信号におけるパターンの位置に基づいて、白線の認識処理を施すための画像処理エリアを画像信号に設定するための処理について図３のフローチャートに基づいて説明する。
【００４３】
まず、この処理において使用されるターゲットについて説明する。図４は、ターゲットのパターンの１例を示す図である。図４に示すように、ターゲットは、明部（白色）と暗部（黒色）とからなるパターンを有している。このターゲットの撮像は、車両メーカの工場内やディーラーの空地等、屋内外で行なわれる可能性がある。そのような場合でも、周囲に同じ模様のパターンが生じないように、明部と暗部とを複雑に組み合わせることによって、パターンを構成している。
【００４４】
このようなパターンを有するターゲットは、車両に搭載されたカメラ１に対して所定の位置関係を有するように設置される。例えば、ターゲットのパターンの中心位置が、車両に搭載されたカメラ１と同じ高さとなり、かつそのカメラから所定距離（例えば数ｍ）離れた位置に設置される。このようにカメラ１に対して所定の位置関係を有するようにターゲットを設置することにより、画像信号におけるターゲットのパターンの明部及び暗部の大きさが常に一定となるため、その大きさの明部及び暗部を各画素の画素値（輝度）から抽出できる。従って、画像信号におけるパターンの位置を検出することができる。
【００４５】
上述したターゲットを所定位置に設置した後、まず、ステップＳ２１０に示すように、カメラ１の露出制御を行なう。すなわち、ターゲットを撮像する画像信号の各画素の画素値（輝度）の平均値が所定値となるように、カメラ１のシャッタースピード、増幅部のゲイン等を算出し、それらをカメラ制御値としてカメラ１に出力する。これにより、パターンの位置を検出し易いようにカメラの露出を制御した上で、ターゲットのパターンを明瞭に撮像することができる。
【００４６】
この露出制御における、各画素の画素値（輝度）の平均値の算出は、カメラ１が撮像した画像信号の全領域の画素の画素値を対象に行なうのではなく、予め設定した検索範囲に属する画素の画素値のみを対象として行なう。カメラ１とターゲットとの位置関係、カメラ１の車両搭載時の公差、パターンの大きさ等を考慮することにより、画像信号においてパターンが表れるパターン存在エリアは、予め特定することができる。従って、このパターン存在エリア、すなわち検索範囲に属する画素の画素値を平均化し、この平均画素値が所定値となるように、カメラの露出量を制御する。例えば、図５に示す例においては、カメラの撮像範囲には、縦２９０行、横３５０列の画素が含まれるが、検索範囲は、１０行〜１３０行、１２０列〜２４０列に設定されている。
【００４７】
このように、検索範囲における各画素の画素値に基づいて露出制御を行なうことにより、その検索範囲外に非常に明るい部分や暗い部分があっても、それらは無視して露出制御を行なうことができる。この結果、ターゲットの置かれた環境による影響を受けにくくなり、常に、パターンの明部及び暗部の明るさに対応した露出量となるようにカメラ１の露出量を制御することができる。さらに、平均画素値を求める範囲を狭めることができるので、露出制御の演算処理負荷を低減することができる。
【００４８】
次に、ステップＳ２２０では、検索範囲の画像信号を取り込むとともに、その画像信号における各画素の画素値に応じて２値化する。すなわち、検索範囲における画像信号の画素値の平均値と各画素の画素値を比較して、各画素を明部（白）と暗部（黒）とに２値化する。
【００４９】
ステップＳ２３０では、検索範囲の各画素の画素値に対してデジタルフィルタ処理及びパターンの中心位置の算出処理を実施する。デジタルフィルタ処理では、検索範囲の各ライン（行）ごとに、コンボリュ−ションＡ（Ｉ，Ｊ）を算出する。このコンボリュ−ションＡ（Ｉ，Ｊ）は、各ラインの白黒白または黒白黒のパターンに対応する大きさの範囲に属する複数の画素を選択し、この選択した各画素の画素値（輝度）に、白黒白及び黒白黒のパターンの白又は黒のパターンに対応して符号の異なる第１または第２の係数を乗じ、その合計値を求めることによって算出される。
【００５０】
このコンボリュ−ションＡ（Ｉ，Ｊ）の値に基づいて、各ラインにおいて、白黒白、または黒白黒のパターンが存在する範囲を判定する事ができる。すなわち、上述のようにコンボリュ−ションＡ（Ｉ，Ｊ）を算出すると、複数画素の範囲が白黒白または黒白黒のパターンに一致したときのコンボリュ−ションＡ（Ｉ，Ｊ）が最大もしくは最小となる。従って、各ラインにおいて、コンボリュ-ションＡ（Ｉ，Ｊ）の値から白黒白または黒白黒のパターンが存在する範囲を抽出できる。
【００５１】
その後、さらに、各ライン毎に判定された白黒白又は黒白黒のパターンを組み合わせた場合に、その組合せパターンが、図４に示すパターンに相当するかどうかを判定する。このように、組合せパターンが、ターゲットのパターンに相当するか確認することで、パターンの中心位置を高精度に検出することができる。
【００５２】
以下、デジタルフィルタ処理及び中心位置の算出処理に関して、図７のフローチャートに基づいて詳細に説明する。なお、図７のフローチャートの各ステップのアルファベットは、図８〜図１０の説明図における各アルファベットと対応したものであり、理解を容易にするために記したものである。
【００５３】
まず、ステップＳ３１0では、検索範囲の上から下へと向かって、各ラインを移動しつつ、各ラインにおいては、左から右へと向かって、白黒白及び黒白黒のパターンの大きさの範囲に対応する数の画素を選択する。本実施形態では、図４に示すパターン中央の暗部（黒色）、及びそれを取り囲む明部（白色）の横幅は全て同一であり、それぞれ１６画素の大きさに相当するように設定されている。また、パターン中央の暗部（黒色）の上下に位置する明部（白色）の高さは８画素の大きさに相当し、パターン中央の暗部（黒色）の左右に位置する明部の高さは１６画素の大きさに相当するように設定されている。従って、各ラインにおいて一度に選択される画素数は４８となる。
【００５４】
そして、選択した画素の画素値Ｂ（Ｉ）に対して、係数Ｃ（Ｉ）を乗じつつ、その合計値をコンボリュ−ションＡ（Ｉ，Ｊ）として算出する。コンボリュ−ションＡ（Ｉ，Ｊ）の算出式を式１に示す。なお、（Ｉ，Ｊ）は水平方向のＸ座標及び垂直方向のＹ座標を示す。
(式１)
Ａ(Ｉ，Ｊ)＝Ｂ（Ｉ）×Ｃ（Ｉ）
Ｉ＝１〜１６      Ｃ（Ｉ）＝１
Ｉ＝１７〜３２    Ｃ（Ｉ）＝−２
Ｉ＝３３〜４８    Ｃ（Ｉ）＝１
式１に示すように、複数画素の選択範囲が、白黒白あるいは黒白黒のパターンに一致したときには、白のパターンの画素値に乗じられる係数と黒のパターンの画素値に乗じられる係数との符号が異なるように設定されている。さらに、係数Ｃ（Ｉ）は、Ｉ＝１〜４８が全て、白または黒の時、コンボリュ−ションＡ（Ｉ，Ｊ）＝０となるように設定されている。このこの結果、白のパターンの画素値は黒のパターンの画素値よりも大きいため、白黒白のパターンに一致すると、合計値は最大（プラス値）となり、黒白黒のパターンに一致すると合計値は最小（マイナス値）となる。
【００５５】
このようなコンボリュ−ションＡ（Ｉ，Ｊ）の算出を検索範囲全体に渡って行なう。そして、この検索範囲全体の中でのコンボリュ−ションＡ（Ｉ，Ｊ）の最大値ＡＬＬ＿ＭＡＸ(プラス値)、最小値ＡＬＬ＿ＭＩＮ(マイナス値)、及び各ライン毎に、各ラインの画素値Ｂ（Ｉ）の最大と最小の平均値Ｂ＿ａｖｅ(Ｊ)を算出する。このように、各ライン毎に画素値Ｂ（Ｉ）の平均値Ｂ＿ａｖｅ(Ｊ)を算出することにより、日向と日陰のように各ラインの明るさが異なった場合でも、各ライン毎の明部と暗部とを精度良く識別することができる。
【００５６】
次に、ステップＳ３２０では、ステップＳ３１０の処理とは別に、各ライン毎に、複数画素の選択範囲を１画素ずつずらしながら、コンボリュ−ションＡ（Ｉ，Ｊ）を計算する（図８、図９のアルファベットａ参照）。さらに、１ラインにおいて計算された複数のコンボリュ−ションＡ（Ｉ，Ｊ）の中の最小値、及び最大値を計算する。
【００５７】
このように計算したコンボリュ−ションＡ（Ｉ，Ｊ）の最小値及び最大値を用いて、後述するステップＳ３３０〜Ｓ３８０の処理を行なって、図６のＡ−Ａラインのように、ライン中に黒白黒のパターンがあることを確認する。また、後述するステップＳ３９０〜Ｓ４５０の処理を行なって、図６のＢ−Ｂラインのように、ライン中に黒白黒のパターンがあることを確認する。
【００５８】
図８は、図６のＡ−Ａラインにおけるコンボリュ−ションＡ（Ｉ，Ｊ）の計算、及び後述のステップＳ３３０〜Ｓ３８０による確認処理を説明するための説明図である。
【００５９】
図６のＡ−Ａラインにおいて、複数画素（４８画素）の選択範囲を左から右へと１画素ずつ移動しながら、それぞれの選択範囲に属する画素の画素値Ｂ（Ｉ）からコンボリュ−ションＡ（Ｉ，Ｊ）を計算する場合、図８に示すように黒白黒のパターンがある領域に選択範囲が接近してくると、コンボリュ−ションＡ（Ｉ，Ｊ）の値は、序々に最小値に近づいていく。
【００６０】
そして、複数画素の選択範囲が黒白黒のパターンに一致すると、明部（白色）の画素値を２００、暗部（黒色）の画素値を１００とした場合、コンボリュ−ションＡ（Ｉ，Ｊ）＝１００×１×１６×２＋２００×（−２）×１６＝−３２００となり、最小値となる。そして、複数画素の選択範囲が黒白黒のパターンから離れるほど、図８に示すように、コンボリュ−ションＡ（Ｉ，Ｊ）は最小値から増加する。従って、１ラインにおいて算出された複数のコンボリュ−ションＡ（Ｉ，Ｊ）の値を相互に比較して、最小値を算出することにより、黒白黒のパターンが存在する範囲を特定できる。
【００６１】
ただし、上述のように、各ラインで複数のコンボリュ−ションＡ（Ｉ，Ｊ）を算出し、さらにそれらの最小値を計算するだけでは、黒白黒のパターンの存在範囲を必ずしも正確に検出することはできない。その理由は、コンボリュ−ションＡ（Ｉ，Ｊ）が算出されたラインに黒白黒のパターンが存在しない場合もあり、コンボリュ−ションＡ（Ｉ，Ｊ）が最小となったことは、単に、その１ラインの中で黒白黒のパターンに最も類似した複数画素の範囲であることを意味するのみだからである。そのため、以下のステップＳ３３０〜Ｓ３８０による黒白黒のパターンの確認処理を行なう。
【００６２】
まず、ステップＳ３３０では、コンボリュ−ションＡ（Ｉ，Ｊ）の最小値が検索範囲全体の最小値ＡＬＬ＿ＭＩＮ(マイナス値)の１／２以下であるか判定する。最小となったコンボリュ−ションＡ（Ｉ，Ｊ）の計算対象範囲の複数画素が、明らかに黒白黒のパターンとは異なる場合には、この判定結果が「Ｎｏ」となる。
【００６３】
ステップＳ３３０の判定結果が「Ｙｅｓ」である場合には、ステップＳ３４０に進み、コンボリュ−ションＡ（Ｉ，Ｊ）が最小となった範囲を中心に画素値Ｂ（Ｉ）を順番にカウントアップして、平均値Ｂ＿ａｖｅ(Ｊ)より低い画素値Ｂ（Ｉ）が連続して１６画素±３画素あるか判定する（図８のアルファベットｂ参照）。これは、実際に１６画素の黒のパターンがあるかを確認するために行なうものである。
【００６４】
ステップＳ３４０の判定結果が「Ｙｅｓ」である場合、ステップＳ３５０にて、黒のパターンに隣接する範囲の画素値Ｂ（Ｉ）を順にカウントアップして、平均値Ｂ＿ａｖｅ(Ｊ)より高い画素値Ｂ（Ｉ）が、連続して１６画素±３画素あるか判定する（図８のアルファベットｃ参照）。これは、黒のパターンに隣接する範囲に白のパターンがあるかを確認するために行なうものである。
【００６５】
この判定の判定結果も「Ｙｅｓ」となった場合、さらにステップＳ３６０にて、白のパターンに隣接する範囲の画素値Ｂ（Ｉ）を順にカウントアップして、平均値Ｂ＿ａｖｅ(Ｊ)より低い画素値Ｂ（Ｉ）が、連続して１６画素±３画素あるか判定する（図８のアルファベットｄ参照）。これは、白のパターンに隣接する範囲にさらに黒のパターンがあるかを確認するために行なうものである。
【００６６】
最小となったコンボリュ−ションＡ（Ｉ，Ｊ）が、検索範囲全体の最小値ＡＬＬ＿ＭＩＮ(マイナス値)の１／２より大きい場合、あるいは、黒白黒のいずれかのパターンが連続した１６画素±３画素を有していない場合、このラインには、黒白黒のパターンは無いとみなすことができる。そのため、上述した、ステップＳ３３０〜Ｓ３６０のいずれかにおいて「Ｎｏ」と判定された場合には、ステップＳ３９０に進み、後述する白黒白のパターンの確認処理を開始する。
【００６７】
ステップＳ３３０〜Ｓ３６０の判定結果がすべて「Ｙｅｓ」である場合には、このラインには黒白黒のパターンがあると判定し、その確認対象となった複数画素の範囲の座標（Ｉ，Ｊ）をＲＡＭ等の記憶素子に記憶する（図８のアルファベットｅ参照）。なお、座標Ｉとしては、複数画素の範囲の先頭位置座標が用いられる。図８の例では、黒白黒のそれぞれのパターンが１６画素±３画素あると確認される複数画素の範囲が７個あるため、７個の座標（Ｉ，Ｊ）がＲＡＭに記憶される。
【００６８】
そして、ステップＳ３８０では、ステップＳ３７０で記憶した座標（Ｉ，Ｊ）の、Ｘ座標であるＩを平均した平均座標を求め、最小値座標ＭＩＮ（Ｉ，Ｊ）として記憶する（図８のアルファベットｆ参照）。
【００６９】
次に、ステップＳ３９０〜Ｓ４５０による白黒白のパターンの確認処理について、図９を参照しながら説明する。図９は、図６のＢ−Ｂラインにおけるコンボリュ−ションＡ（Ｉ，Ｊ）の計算、及び白黒白のパターンの確認処理を説明するための説明図である。
【００７０】
図６のＢ−Ｂラインにおいて、複数画素（４８画素）の範囲を左から右へと１画素ずつ移動しながら、コンボリュ−ションＡ（Ｉ，Ｊ）を計算した場合に、その複数画素の範囲が図９に示すように白黒白のパターンがある領域に接近すると、コンボリュ−ションＡ（Ｉ，Ｊ）の値は、序々に最大値に近づいていく。
【００７１】
そして、複数画素の範囲が白黒白のパターンに一致すると、コンボリュ−ションＡ（Ｉ，Ｊ）＝２００×１×１６×２＋１００×（−２）×１６＝３２００となり、最大値となる。このように、白黒白のパターンの場合も、黒白黒のパターンと同様に、コンボリュ−ションＡ（Ｉ，Ｊ）の値から白黒白のパターンが存在する範囲を特定できる。ただし、コンボリュ−ションＡ（Ｉ，Ｊ）の値のみでは、白黒白のパターンがあると断定できないので、さらに、コンボリュ−ションＡ（Ｉ，Ｊ）の値が最大となった範囲を中心として、実際に白、黒、白のパターンがあるか否かを確認する。すなわち、下記のステップＳ３９０〜Ｓ４５０の処理を行なうことにより、白黒白のパターンがあることを確認する。
【００７２】
まず、ステップＳ３９０では、最大となったコンボリュ−ションＡ（Ｉ，Ｊ）が、検索範囲全体の最大値ＡＬＬ＿ＭＡＸ(プラス値)の１／２以上であるか判定する。最大となったコンボリュ−ションＡ（Ｉ，Ｊ）の計算対象範囲の画素が、明らかに白黒白のパターンとは異なる場合には、この判定結果が「Ｎｏ」となる。
【００７３】
ステップＳ３９０の判定結果が「Ｙｅｓ」である場合には、ステップＳ４００に進み、コンボリュ−ションＡ（Ｉ，Ｊ）が最大となった範囲を中心に画素値Ｂ（Ｉ）を順番にカウントアップして、平均値Ｂ＿ａｖｅ(Ｊ)より高い画素値Ｂ（Ｉ）が連続して１６画素±３画素あるか判定する（図９のアルファベットｇ参照）。これは、実際に１６画素の白のパターンがあるかを確認するために行なうものである。
【００７４】
ステップＳ４００の判定結果が「Ｙｅｓ」である場合、ステップＳ４１０にて、白のパターンに隣接する範囲の画素値Ｂ（Ｉ）を順にカウントアップして、平均値Ｂ＿ａｖｅ(Ｊ)より低い画素値Ｂ（Ｉ）が、連続して１６画素±３画素あるか判定する（図９のアルファベットｈ参照）。これは、最初の白のパターンに隣接する範囲に黒のパターンがあるかを確認するために行なうものである。この判定結果が「Ｙｅｓ」になると、図４のパターンの中心に位置する暗部が確認されたことを意味するので、ステップＳ４２０において、黒のパターンを有すると判定された各ラインの平均値Ｂ＿ａｖｅ(Ｊ)より低い画素値Ｂ（Ｉ）の中心を黒パターン中心位置Ｉ_ａｖｅ（Ｊ）としてＲＡＭに記憶する（後述する図１０のアルファベットｉ参照）。この黒パターン中心位置Ｉ_ａｖｅ（Ｊ）は、後述するパターンの中心位置を算出する際に利用される。
【００７５】
ステップＳ４２０の処理が終了すると、さらにステップＳ４３０にて、黒のパターンに隣接する範囲の画素値Ｂ（Ｉ）を順にカウントアップして、平均値Ｂ＿ａｖｅ(Ｊ)より高い画素値Ｂ（Ｉ）が、連続して１６画素±３画素あるか判定する（図９のアルファベットｊ参照）。これは、黒のパターンに隣接する範囲にさらに白のパターンがあるかを確認するために行なうものである。
【００７６】
最大となったコンボリュ−ションＡ（Ｉ，Ｊ）が、検索範囲全体の最大値ＡＬＬ＿ＭＡＸ(プラス値)の１／２より小さい場合、あるいは、白黒白のいずれかのパターンが連続した１６画素±３画素を有していない場合、このラインには、白黒白のパターンは無いとみなすことができる。このため、上述したステップＳ３９０〜Ｓ４１０及びＳ４３０のいずれかにおいて「Ｎｏ」と判定された場合には、ステップＳ４６０に進み、検索範囲における全てのラインに関して、上述したステップＳ３３０〜Ｓ４５０の処理が終了したか否かを判定する。まだ、未処理のラインがある場合には、ステップＳ４７０にて、処理対象を次のラインに移動させ、上述したステップＳ３２０からの処理を繰り返す。
【００７７】
一方、ステップＳ３９０〜Ｓ４１０及びＳ４３０での判定結果がすべて「Ｙｅｓ」である場合には、このラインには白黒白のパターンがあると判定できる。そのため、ステップＳ４４０において、その確認対象となった複数画素の範囲の座標（Ｉ，Ｊ）をＲＡＭ等の記憶素子に記憶する（図９のアルファベットｋ参照）。図９の例では、白黒白のそれぞれのパターンが１６画素±３画素あると確認される複数画素の範囲が７個あるため、７個の座標（Ｉ，Ｊ）がＲＡＭに記憶される。
【００７８】
そして、ステップＳ４５０では、ステップＳ４４０で記憶した座標（Ｉ，Ｊ）の、Ｘ座標であるＩを平均した平均座標を求め、最大値座標ＭＡＸ（Ｉ，Ｊ）として記憶する（図９のアルファベットｌ参照）。
【００７９】
検索範囲における全ラインに関して、上述したステップＳ３２０〜Ｓ４５０の処理を完了した場合には、ステップＳ４６０の判定結果が「Ｙｅｓ」となり、ステップＳ４８０に進む。ステップＳ４８０〜Ｓ５１０までの処理は、各ライン毎に位置を算出した黒白黒又は白黒白のパターンを組み合わせたパターンが、図４に示すパターンに相当するか否かを判定するものである。
【００８０】
まずステップＳ４８０では、ステップＳ３８０にて記憶されたＭＩＮ（Ｉ，Ｊ）の中から、Ｉ座標の差が所定値ａ以内の範囲において、縦に８ライン±ｂ（ｂ：定数）だけ連続していることを満たすＭＩＮ（Ｉ，Ｊ）を抽出する（図１０のアルファベットｍ参照）。この場合、図１０に示すように、黒白黒のパターンは上下に２個あるので、そのような条件を満たすＭＩＮ（Ｉ，Ｊ）のグループが２つ抽出される。これらの２つのグループのＭＩＮ（Ｉ，Ｊ）の黒白黒のパターンの中心座標である、第１及び第２ＡＶＥ＿ＭＩＮ（Ｉ，Ｊ）をそれぞれ算出する（図１０のアルファベットｎ参照）。
【００８１】
次に、ステップＳ４９０では、記憶されたＭＡＸ（Ｉ，Ｊ）の中から、Ｉ座標の差が所定値ａ以内の範囲において、縦に１６ライン±ｂ（ｂ：定数）だけ連続していることを満たすＭＡＸ（Ｉ，Ｊ）を抽出する（図１０のアルファベットｏ参照）。そして、抽出されたＭＡＸ（Ｉ，Ｊ）による白黒白のパターンの中心座標であるＡＶＥ＿ＭＡＸ（Ｉ，Ｊ）を算出する（図１０のアルファベットｐ参照）。
【００８２】
ステップＳ５００では、第１ＡＶＥ＿ＭＩＮ（Ｉ，Ｊ）とＡＶＥ＿ＭＡＸ（Ｉ，Ｊ）とが、Ｘ座標であるＩ座標の差が所定値ａ以内の範囲において、Ｙ座標であるＪ座標の差が１２±ｂであるか否かを判定する（図１０のアルファベットｑ参照）。すなわち、パターン上部の黒白黒のパターンとパターン中央の白黒白のパターンとの相対的位置が、図４に示すパターンに相当する位置関係を有しているか否かを判定する。この判定において、Ｊ座標の差が１２±ｂであると判定された場合、ステップＳ５１０に進む。一方、Ｊ座標の差が１２±ｂではないと判定された場合、ステップＳ５２０に進む。
【００８３】
ステップＳ５１０では、第１ＡＶＥ＿ＭＩＮ（Ｉ，Ｊ）と第２ＡＶＥ＿ＭＩＮ（Ｉ，Ｊ）とが、Ｉ座標の差が所定値ａ以内の範囲において、Ｙ座標であるＪ座標の差が２４±ｂであるか否かを判定する（図１０のアルファベットｒ参照）。すなわち、パターン上部の黒白黒のパターンとパターン下部の黒白黒のパターンとの相対的位置が、図４に示すパターンに相当する位置関係を有しているか否かを判定する。この判定において、Ｊ座標の差が２４±ｂであると判定された場合、ステップＳ５３０に進む。一方、Ｊ座標の差が２４±ｂではないと判定された場合、ステップＳ５２０に進む。
【００８４】
ステップＳ５２０では、各ラインの白黒白及び黒白黒のパターンを組み合わせた組合せパターンが、図４に示すパターンとは異なるため、パターンの中心位置を算出しないことを決定する。
【００８５】
一方、ステップＳ５３０では、組合せパターンは図４に示すパターンに相当するとみなすことができるので、パターンの中心位置を算出する。上述したステップＳ４２０にて算出した黒パターン中心位置Ｉ_ａｖｅ（Ｊ）を平均及び四捨五入し、ＡＶＥ＿ＭＡＸ（Ｉ，Ｊ）のＩ座標に代入して、中心位置座標とする（図１０のアルファベットｓ参照）。
【００８６】
このようにしてパターン(ターゲット）の中心位置座標が求められると、図３のフローチャートのステップＳ２４０において、白線の認識処理を施すための画像処理エリアを決定する。この画像処理エリアの一例を図１１に示す。図１１では、ターゲットの中心位置を画像処理エリアの上辺の中央として、縦１５０画素、横２５０画素の範囲を画像処理エリアとしている。このようにターゲット中心位置を基準として、画像処理エリアを設定することにより、カメラ１の車両への搭載に際して撮像範囲の調整作業不可を軽減しながら、画像処理エリアを目標とする撮像エリアに正確に一致させることが可能になる。
【００８７】
なお、上述したパターン（ターゲット）の中心位置の算出処理は、複数回（例えば２回）実行し、この複数回の処理によって算出された中心位置が、所定の誤差範囲内に収まり、略同一位置とみなせる場合に、ターゲット（パターン）の中心位置を確定することが好ましい。このように パターン(ターゲット)の中心位置を複数回算出し、その算出結果が略同一位置となった場合、確実にパターンの正確な中心位置を算出することができるためである。
（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態では、パターンの認識方法のみ上記した第１実施形態と異なるため、以下、本実施形態におけるパターンの認識方法について説明する。
【００８８】
上述した第1実施形態では、２次元のパターンを各ライン毎のラインパターン、すなわち、１次元のパターンに分割して、各ライン毎に１次元パターンを抽出するものであった。それに対して、本実施形態においては、２次元パターンを、そのまま認識して、その２次元パターンの位置を抽出することを特徴とするものである。以下に、本実施形態における２次元パターンの認識方法について詳細に説明する。
【００８９】
図１２は、本実施形態において認識される２次元パターンの１例を示す図である。２次元パターンは、第１実施形態と同様に、明部（白色）と暗部（黒色）とを組み合わせることによって構成されている。
【００９０】
ただし、図１２に示すような２次元パターンをそのまま認識する場合に、２次元パターンの大きさに対応する範囲に属する全ての画素の画素値を対象として、上述したコンボリュ−ションＡ（Ｉ，Ｊ）を算出すると、その演算負荷は過大となりやすい。
【００９１】
そのため、本実施形態では、所定の割合で間引きした画素値に基づいて、上述した第１実施形態の探索範囲に相当する第１の探索範囲において、おおよその２次元パターンの位置（座標）を求める。
【００９２】
図１３は、所定の割合で間引きした画素値に基づいて、２次元パターンのおおよその位置を求める具体例を説明するための説明図である。図１３に示す例においては、水平方向においては１画素値／８画素値、垂直方向においては１ライン／４ラインの割合で、コンボリュ−ションＡ（Ｉ，Ｊ）を算出するための画素値を選択している。このような割合で画素値を間引きした場合、図１３に示すように、合計３２個の画素値によって２次元パターンの存在する範囲をカバーすることができる。
【００９３】
本実施形態では、２次元パターンに対応する大きさをカバーする３２個の画素値を用いて、上述した第１実施形態と同様にコンボリュ−ションＡ（Ｉ，Ｊ）を算出する。本実施形態におけるコンボリュ−ションＡ（Ｉ，Ｊ）の算出式を、式２に示す。
(式２)
白いパターンが有る箇所：係数＝１
黒いパターンが有る箇所：係数＝−１
ゆえに、コンボリューションＡ（Ｉ，Ｊ）は、
Ａ（Ｉ，Ｊ）＝(Ｖ１)＋(Ｖ２)＋(−Ｖ３)＋(−Ｖ４)・・・
＋(Ｖ１３)＋(Ｖ１４)＋(−Ｖ１５) ＋(−Ｖ１６)・・・
＋(−Ｖ２９)＋(−Ｖ３０)＋(Ｖ３１)＋(Ｖ３２)
このコンボリュ−ションＡ（Ｉ，Ｊ）の計算は、第１の検索範囲全体において行なわれる。第１の検索範囲におけるコンボリュ−ションＡ（Ｉ，Ｊ）の計算範囲は、第１の検索範囲の左から右方向に移動し、右端に達すると下方向に移動することを繰り返す。この左方向及び下方向の移動は、図１３に示すように、間引きした画素値間において行なわれるので、比較的広い第１の検索範囲においても、コンボリュ−ションＡ（Ｉ，Ｊ）の計算を高速に行なうことができる。
【００９４】
コンボリュ−ションＡ（Ｉ，Ｊ）の計算結果はそれぞれ保存され、第１の検索範囲全体のコンボリュ−ションＡ（Ｉ，Ｊ）の計算が完了すると、相互に比較される。この相互比較によって、コンボリュ−ションＡ（Ｉ，Ｊ）の最大値が選択される。すなわち、図１３に示すように、２次元パターンの白のパターンに対応して正の係数を画素値に乗じ、黒のパターンに対応して負の係数を画素値に乗じているので、コンボリュ−ションＡ（Ｉ，Ｊ）の計算範囲が２次元パターンに一致した場合、その値が最大となる。そのため、コンボリュ−ションＡ（Ｉ，Ｊ）の最大値を選択することで、おおよその２次元パターンの位置を求めることができる。
【００９５】
具体的には、図１３に示すように、コンボリュ−ションＡ（Ｉ，Ｊ）は計算範囲の先頭画素（Ｎｏ．１の画素）の座標に関連づけて記憶されるので、おおよその２次元パターンの位置として、最大値となったコンボリュ−ションＡ（Ｉ，Ｊ）の座標に、それぞれ１６を加えることによって、中心位置に最も近い座標を求める。これによって、図１３におけるＮｏ．１９の画素の座標が求められることになる。
【００９６】
次に、求めた２次元パターンのおおよその位置を基準として、第１の探索範囲よりも狭い第２の探索領域を設定する。このように探索領域を狭めれば、画素を間引きしなくとも比較的高速にパターン検出のための演算処理を行なうことができる。図１４は、この第２の探索領域の一例を示している。図１４では、第２の探索領域として、Ｎｏ．１９の画素を中心として、水平方向（Ｘ軸方向）に±１６画素、垂直方向（Ｙ軸方向）に±８画素の範囲を設定し、これを詳細な位置検出のための第２の探索領域としている。なお、図１４に示すように、第２の探索領域の全体が、コンボリュ−ションの計算範囲の中心とするため、コンボリュ−ションの計算範囲は、第２の探索領域よりも広くしている。
【００９７】
この第２の探索領域にて、さらにコンボリュ−ションＢ（Ｋ、Ｌ）を計算する。このとき、コンボリュ−ションＢ（Ｋ，Ｌ）によって抽出するパターンとして２次元パターンそのものではなく、２次元パターンの内部、特に２次元パターンの中心にある内部中心パターンを用いる。これによっても、コンボリュ−ションＢ（Ｋ，Ｌ）を計算するための演算量を減少することができるので、演算処理の高速化を図ることができる。
【００９８】
図１５は、内部中心パターンの一例を示す図である。図１５に示すように、内部中心パターンとして、Ｘ軸方向に８画素、Ｙ軸方向に８画素の範囲が用いられる。そして、コンボリュ−ションＡ（Ｉ，Ｊ）の計算と同様に、白いパターンに対応する画素に正の係数１、黒いパターンに対応する画素に負の係数−１を乗じて、その合計値をコンボリュ−ションＢ（Ｋ，Ｌ）として算出する。この場合、コンボリュ−ションＢ（Ｋ，Ｌ）を算出するための画素数は、内部中心パターンの大きさに対応する、８画素×８画素の範囲に属する全ての６４個の画素となる。
【００９９】
このコンボリュ−ションＢ（Ｋ，Ｌ）の算出式を、式３に示す。
(式３)
Ｂ(Ｋ，Ｌ)＝(Ｖ１)＋(Ｖ２)＋(Ｖ３)＋(Ｖ４)＋(-Ｖ５)＋(-Ｖ６)＋(-Ｖ７)＋(-Ｖ８)
・・・
+(Ｖ２５)+(Ｖ２６)+(Ｖ２７) +(Ｖ２８)+(-Ｖ２９)+(-Ｖ３０)+(-Ｖ３１)+(-Ｖ３２)
・・・
＋(-Ｖ５７)+(-Ｖ５８)+(-Ｖ５９)+(-Ｖ６０)+(Ｖ６１)+(Ｖ６２)+(Ｖ６３)+(Ｖ６４)
そして、コンボリュ−ションＢ（Ｋ，Ｌ）の計算範囲は、図１５に示すように、左から右方向に１画素ずつ移動され、第２の探索範囲の右端に達した場合は下方向に１画素移動される。このような移動を繰り返すことによって第２の探索領域全体においてコンボリュ−ションＢ（Ｋ，Ｌ）を算出し、その算出結果を保存する。なお、コンボリュ−ションＢ（Ｋ，Ｌ）で計算する画素の構成は真の中心に対して右に１画素ずれた時も左に１画素ずれた時もコンボリュ−ションＢ（Ｋ，Ｌ）の値が同じになるように、１画素ずれても白の数と黒の数の構成が変わらないように構成することで、下で記述するコンボリュ−ションＢ（Ｋ，Ｌ）の真の中心を求める際の補間式で正しく中心を求められるようにしている。
【０１００】
第２の探索領域全体に渡ってコンボリュ−ションＢ（Ｋ，Ｌ）の計算が完了すると、相互に比較される。この相互比較によって、コンボリュ−ションＢ（Ｉ，Ｊ）の最大値が選択される。
【０１０１】
ここで、コンボリュ−ションＢ（Ｉ，Ｊ）の座標は、計算範囲の先頭座標、すなわち、計算範囲の左上端の座標となっている。このため、最大値となったコンボリュ−ションＢ（Ｉ，Ｊ）の座標にそれぞれ３．５を加えて、内部中心パターンの仮の中心位置を求める。
【０１０２】
そして、本実施形態では、さらに、コンボリューションＢ(Ｋ，Ｌ)を縦軸としたラグランジェ補間式を使って、コンボリューションＢ(Ｋ，Ｌ)がピークとなる水平座標および垂直座標をサブピクセルまで求める。その座標をターゲットパターンの中心位置とする。このような補間処理を行なう理由を以下に説明する。
【０１０３】
ターゲットの白黒のパターンの大きさを所定個数の画素からなる範囲に対応するように設定しても、画像信号において、その白黒のパターンと所定個数の画素の範囲がぴったりと一致することは稀である。つまり、図１６（ａ）に示すように、画素と画素との境界部分にパターンの明部（白）と暗部（黒）との境目が一致することはほとんどなく、その境目が１つの画素によって検出される。パターンの明部(白)と暗部（黒）との境目がある１つの画素によって検出される場合には、図１６（ｂ）に示すように、その画素を中心として最大±１画素の範囲にパターンの明部（白）と暗部（黒）との境目が存在することになる。
【０１０４】
そのため、本実施形態では、上述した補間処理を行なうことで、より精度の高いパターンの位置検出を可能にした。すなわち、パターンの明部（白）と暗部（黒）との境目が画素と画素との境界部分からずれた場合には、明部と暗部との境目の輝度を発生する画素が生じるので、コンボリュ−ションＢ（Ｋ，Ｌ）は、パターンの位置ずれの程度を反映した値となる。
【０１０５】
従って、図１７（ａ）、（ｂ）に示すように、最大となったコンボリュ−ションＢ（Ｋ，Ｌ）の計算範囲と±１画素だけＸ軸方向、Ｙ軸方向にずれた計算範囲を持ったコンボリュ−ションＢ（Ｋ，Ｌ）の値と、コンボリュ−ションＢ（Ｋ，Ｌ）の最大値とを用いて補間演算を行なうことにより、コンボリュ−ションＢ（Ｋ，Ｌ）合計値が最大値となる真の位置を算出することができる。
【０１０６】
このようにして２次元パターン全体を認識対象にしながら、その認識処理等の演算負荷を低減できるため、高速に２次元パターンの中心位置を求めることができる。また、最終的に求められる中心位置は、内部中心パターンの大きさに対応する範囲に属する全ての画素値を用いたコンボリュ−ションＢ（Ｋ，Ｌ）の演算、さらに、上述した補間演算によって求められる。従って、非常に高精度な中心位置を求めることができる。
【０１０７】
ただし、上述した第１実施形態と同様に、２次元パターンの中心位置の算出に、より確実を期すには、複数回パターン中心位置の算出を行なって、それらが略同一であることを確認することが好ましい。
【０１０８】
また、上述した例では、最大となったコンボリュ−ションＢ（Ｋ，Ｌ）の計算範囲と±１画素だけＸ軸方向、Ｙ軸方向にずれた計算範囲を持ったコンボリュ−ションＢ（Ｋ，Ｌ）の値の３個で補間演算を行っているが、補間に使用するデータが増えればコンボリュ−ションＢ（Ｋ，Ｌ）合計値が最大値となる真の位置の精度は向上するので、さらにデータ数を増加しても良い。また、補間式もラグランジュ補間式に限定されず、ニュートン補間やスプライン補間などでの計算も可能である。
【０１０９】
以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態に何ら制限されるものではなく、本発明の主旨を逸脱しない範囲において種々変形して実施することができる。
【０１１０】
例えば、上述した実施形態においては、本発明による車両用画像処理装置によって車両の車線を区画する白線を認識する例について説明したが、その他の対象物を認識するものであっても良い。例えば、車両の駐車時に、駐車スペースを区画する区画線を認識して、駐車の支援を行なう駐車支援装置等にも適用することができる。
【図面の簡単な説明】
【０１１１】
【図１】実施形態における車線逸脱警報装置の構成を示すブロック図である。
【図２】処理部２において白線位置を認識して出力するための処理を示すフローチャートである。
【図３】カメラ１に対して所定の位置関係に設置されたターゲットを撮像した画像信号におけるターゲットの位置に基づいて、白線の認識処理を施すための画像処理エリアを画像信号に設定するための処理を示すフローチャートである。
【図４】ターゲットのパターンの１例を示す図である。
【図５】画像信号におけるターゲットの検索範囲を示す図である。
【図６】画像信号の検索範囲にターゲットが写された状態を示す図である。
【図７】デジタルフィルタ処理及びターゲットの中心位置の算出処理を示すフローチャートである。
【図８】図６のＡ−Ａラインにおけるコンボリュ−ションＡ（Ｉ，Ｊ）の計算、及び図７のフローチャートのステップＳ３３０〜Ｓ３８０による黒白黒のパターンの確認処理を説明するための説明図である。
【図９】図６のＢ−Ｂラインにおけるコンボリュ−ションＡ（Ｉ，Ｊ）の計算、及び図７のフローチャートのステップＳ３９０〜Ｓ４５０による白黒白のパターンの確認処理を説明するための説明図である。
【図１０】図７のフローチャートのステップＳ４８０〜Ｓ５１０による、各ライン毎に位置を算出した黒白黒又は白黒白のパターンを組み合わせたパターンが、図４に示すパターンに相当するか否かを判定する処理、及びパターンの中心位置の算出処理を説明するための説明図である。
【図１１】ターゲット（パターン）の中心位置座標に基づいて設定された、白線の認識処理を施すための画像処理エリアを示す図である。
【図１２】第２実施形態におけるターゲットの２次元パターンを示す図である。
【図１３】所定の割合で間引きした画素値に基づいて、２次元パターンのおおよその位置を求める具体例を説明するための説明図である
【図１４】パターンの中心位置を高精度に検出するための第２の探索領域を示す図である。
【図１５】第２の探索領域において探索される内部中心パターン、及びコンボリュ−ションＢ（Ｋ，Ｌ）の計算範囲を示す図である。
【図１６】（ａ）は、画素と画素との境界部分と、パターンの明部（白）と暗部（黒）との境目がずれた状態を示す図であり、（ｂ）は、その場合の各画素の画素値（輝度）を示す図である。
【図１７】（ａ）及び（ｂ）は、コンボリュ−ションＢ（Ｋ，Ｌ）の最大値に対する補間演算を説明するための図である。
【符号の説明】
【０１１２】
１  カメラ
２  制御部
３  画像Ｉ／Ｆ
４  ＣＰＵ
５  メモリ
６  通信Ｉ／Ｆ
７  車間制御ＥＣＵ
８  警報部
【図１】
2005157466.tif 000003
【図２】
2005157466.tif 000004
【図３】
2005157466.tif 000005
【図４】
2005157466.tif 000006
【図５】
2005157466.tif 000007
【図６】
2005157466.tif 000008
【図７】
2005157466.tif 000009
【図８】
2005157466.tif 000010
【図９】
2005157466.tif 000011
【図１０】
2005157466.tif 000012
【図１１】
2005157466.tif 000013
【図１２】
2005157466.tif 000014
【図１３】
2005157466.tif 000015
【図１４】
2005157466.tif 000016
【図１５】
2005157466.tif 000017
【図１６】
2005157466.tif 000018
【図１７】
2005157466.tif 000019