(57)【要約】【課題】ターゲットの中心を正確に検出でき、処理エリアを適切に設定できる車両用画像処理装置を提供すること。【解決手段】車両用画像処理装置では、車両に搭載されたカメラ1が、そのカメラ1に対して所定の位置関係を持つように設置されたターゲットを撮像した画像信号を出力する。ターゲットは、明るさの異なる明部と暗部とからなる所定の２次元パターンを有する。２次元パターンが存在すると判定された範囲を基準として設定された探索領域に含まれる各画素の輝度の平均値が所定値となるようにカメラ１の露出を制御する。その後、探索領域において、ターゲットの中心位置を検出する。【選択図】図１
2011180719.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、当該車両の周囲を撮像して、画像信号を出力するカメラと、
前記カメラから出力される画像信号に対して画像認識処理を施して、所望の対象物を認識する画像処理部とを備える車両用画像処理装置において、
前記車両に搭載されたカメラが、そのカメラに対して所定の位置関係を持つように設置されたターゲットを撮像した画像信号を出力し、その画像信号におけるターゲットの位置に基づいて前記画像認識処理を施すための処理エリアを設定する設定手段を備え、
前記画像処理部は、前記設定手段によって設定された処理エリア内において、前記所望の対象物を認識するための画像認識処理を実行するものであり、
前記ターゲットは、明るさの異なる明部と暗部とからなる所定の２次元パターンを有するものであり、
前記設定手段は、前記画像信号におけるターゲットの位置を検出する検出手段を備え、
当該検出手段は、
前記画像信号から、前記２次元パターンに対応する範囲を単位として、かつ所定の割合で間引きした複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる第１の複数画素選択手段と、
前記第１の複数画素選択手段によって順次選択される複数の画素に対し、前記２次元パターンの明部に対応する位置の画素の輝度に第１の係数を乗じ、暗部に対応する位置の画素の輝度に第１の係数と符号の異なる第２の係数を乗じ、かつ、それらの合計値を順次算出する算出手段と、
前記算出手段によって順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に前記２次元パターンが存在すると判定する判定手段と、
前記判定手段によって前記２次元パターンが存在すると判定された範囲を基準として、前記第１の複数画素選択手段が複数画素の範囲を移動させる範囲よりも狭い探索領域を設定する探索領域設定手段と、
前記探索領域に含まれる各画素の輝度の平均値が所定値となるように前記カメラの露出を制御する露出制御手段と、
前記探索領域内において、前記２次元パターンの内部の内部パターンに対応する範囲を単位として、その範囲に含まれる複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる第２の複数画素選択手段とを備え、
前記算出手段及び前記判定手段は、前記第２の複数画素選択手段によって選択された複数の画素に対して、前記内部パターンの明部及び暗部に対応して各画素の輝度に前記第１又は第２の係数を乗じて、それらの合計値を算出するとともに相対比較を行なって、前記内部パターンが存在する複数画素の範囲を判定し、
前記検出手段は、前記２次元パターンの内部パターンの位置に基づいて、前記ターゲットの中心位置を検出することを特徴とする車両用画像処理装置。
【請求項２】
前記検出手段による前記ターゲットの位置の検出は複数回実行され、この複数回の検出において、略同一位置に前記パターンが検出された場合に、前記検出手段は、検出したターゲット位置を確定することを特徴とする請求項１に記載の車両用画像処理装置。
【請求項３】
前記算出手段が算出した合計値の最大値もしくは最小値と、その合計値の最大値もしくは最小値が得られた複数画素の範囲の隣接範囲の複数画素から得られた合計値とを用いて補間演算を行ない、前記ターゲットの位置を算出する補間演算手段を備えることを特徴とする請求項１又は請求項２に記載の車両用画像処理装置。
【請求項４】
前記カメラは、前記車両の前方を撮像するように前記車両に搭載され、
前記画像処理部は、前記所望の対象物として、車両が走行する道路上の車線を区画する白線を認識することを特徴とする請求項１乃至請求項３のいずれか１項に記載の車両用画像処理装置。
【請求項５】
前記明部と前記暗部との境界線は、水平線及び鉛直線のいずれに対しても傾斜していることを特徴とする請求項１乃至請求項４のいずれか１項に記載の車両用画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラから出力される車両の周囲を撮像した画像信号に対して画像認識処理を施して、所望の対象物を認識する車両用画像処理装置に関する。
【背景技術】
【０００２】
上述した車両用画像処理装置として、従来、車両の前方路面をカメラで撮像し、その撮像した画像信号に基づいて、車両の走行する車線を区画する白線を認識する車線認識装置が知られている。
【０００３】
上記の車線認識装置では、カメラの撮像範囲のうち、車両前方の所定距離範囲を、白線認識処理を行う処理エリアとする。そして、次回の白線認識処理タイミングまでに車両が移動する距離に応じて、画像信号の中で次回の処理エリアを定める。この処理エリアは、白線を確実に含むように、正確に設定する必要がある。
【０００４】
そこで、以下のように、カメラの撮像範囲において処理エリアを設定する技術が提案されている（特許文献１参照）。まず、カメラに対して所定の位置関係を持つように設置されたターゲットを、カメラの撮像範囲に含める。そのターゲットは、明るさの異なる明部と暗部とからなる２次元パターンを有する。ターゲットの２次元パターンを利用して、カメラの撮像範囲におけるターゲットの中心位置を検出し、その中心位置を基準として、処理エリアを設定する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４１７９１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
２次元パターンを認識してターゲットの中心位置を検出するには、ターゲットの明部と暗部とを正確に認識する必要がある。そのためには、カメラの画像信号においてターゲットの明部が飽和してしまうことがないように、カメラの露出を適切に制御する必要がある。
【０００７】
しかしながら、カメラの画像信号のうち、ターゲット以外の部分（背景）には、ターゲットに比べて輝度が極端に高い部分や低い部分が存在することがあり、その場合、輝度が極端に高い部分や低い部分を含む広い範囲でカメラの露出調整を行うと、ターゲットの明部及び暗部を認識するには不適な露出制御がなされてしまうことがある。その場合は、ターゲットの中心を正確に検出できず、結果として、処理エリアを適切に設定できなくなってしまう。
【０００８】
本発明は以上の点に鑑みなされたものであり、ターゲットの中心を正確に検出でき、処理エリアを適切に設定できる車両用画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の車両用画像処理装置は、以下の処理を行う。カメラで撮像した画像信号において、ターゲットの２次元パターンに対応する範囲を単位とし、かつ所定の割合で間引きした複数の画素を選択し（第１の複数画素選択手段）、その選択した複数の画素の範囲を、順次、移動させる。選択された複数の画素に対し、２次元パターンの明部に対応する位置の画素の輝度に第１の係数を乗じ、暗部に対応する位置の画素の輝度に第１の係数と符号の異なる第２の係数を乗じ、かつ、それらの合計値を順次算出する（算出手段）。順次算出される合計値を相互に比較し、その合計値が最大もしくは最小となる複数画素の範囲に２次元パターンが存在すると判定する（判定手段）。２次元パターンが存在すると判定された範囲を基準とし、算出手段において複数画素の範囲を移動させる範囲よりも狭い探索領域を設定する（探索領域設定手段）。
【００１０】
本発明の車両用画像処理装置は、その探索領域においてターゲットの中心位置を検出する前に、探索領域に含まれる各画素の輝度の平均値が所定値となるようにカメラの露出を制御する（露出制御手段）。探索領域は、算出手段において複数画素の範囲を移動させる範囲よりも狭く設定された範囲であるから、この探索領域において露出制御を行えば、ターゲットの外側（背景）の影響を受けずに、ターゲットの明部と暗部とに適合した露出制御を行うことができる。その結果、ターゲットの中心を検出するとき、ターゲットの明部が飽和してしまうようなことがなく、ターゲットの中心を正確に検出することができる。そして、そのターゲットの中心を基準として、画像認識処理を施すための処理エリアを正確に設定することができる。
【００１１】
本発明の車両用画像処理装置は、上記のように露出を制御した後、さらに、以下の処理を行う。
探索領域内において、２次元パターンの内部の内部パターンに対応する範囲を単位として、その範囲に含まれる複数の画素を選択するとともに、その選択する複数の画素の範囲を、順次、移動させる（第２の複数画素選択手段）。第２の複数画素選択手段によって選択された複数の画素に対して、内部パターンの明部及び暗部に対応して各画素の輝度に第１又は第２の係数を乗じて、それらの合計値を算出するとともに相対比較を行なって、内部パターンが存在する複数画素の範囲を判定する。そして、２次元パターンの内部パターンの位置に基づいて、ターゲットの中心位置を検出する。
【００１２】
カメラの露出制御は、第１の複数画素選択手段が複数の画素を選択する前にも、行ってもよい。
前記ターゲットの２次元パターンに対応する範囲とは、その範囲内に、２次元パターン（明部と暗部）を含めることができる範囲である。その範囲は、２次元パターンの全体を含めることができる範囲であってもよいし、２次元パターンの一部のみを含めることができる範囲であってもよい。
【００１３】
請求項２に記載したように、検出手段によるターゲットの位置の検出は複数回実行され、この複数回の検出において、略同一位置にパターンが検出された場合に、検出手段は、検出したターゲット位置を確定することが好ましい。このようにターゲットの位置を複数回検出し、略同一位置にターゲットのパターンが検出された場合には、ターゲットの正確な位置を確実に検出することができる。
【００１４】
請求項３に記載したように、算出手段が算出した合計値の最大値もしくは最小値と、その合計値の最大値もしくは最小値が得られた複数画素の範囲の隣接範囲の複数画素から得られた合計値とを用いて補間演算を行ない、ターゲットの位置を算出する補間演算手段を備えることが好ましい。
【００１５】
ターゲットのパターンの大きさを所定個数の画素からなる範囲に対応するように設定しても、画像信号において、そのパターンと所定個数の画素の範囲がぴったりと一致することは稀である。つまり、画素と画素との境界部分にパターンの明部と暗部との境目が一致することはほとんどない。そして、パターンの明部と暗部との境目がある画素によって検出される位置にずれた場合には、その画素を中心として最大±１画素の範囲に明部と暗部との境目が存在することがわかるのみである。
【００１６】
請求項３に記載の車両用画像処理装置では、この問題に対処することができる。すなわち、パターンの明部と暗部との境目が画素と画素との境界部分からずれた場合には、明部と暗部との境目の輝度を発生する画素が生じるので、各画素の輝度に第１または第２の係数を乗じて求めた合計値は、パターンの位置ずれの程度を反映した値となる。そして、合計値が最大もしくは最小となった複数画素の範囲の隣接範囲の複数画素から得られた合計値を用いて補間演算を行なうことにより、合計値が最大値となる真の位置を算出することができる。
【００１７】
請求項４に記載の車両用画像処理装置では、カメラが車両の前方を撮像するように車両に搭載され、画像処理部は、所望の対象物として、車両が走行する道路上の車線を区画する白線を認識することを特徴とする。白線を認識する場合には、車両を基準として認識した白線の位置を算出するため、特に白線の認識領域（処理エリア）は正確に設定することが要求される。本発明では、このような要求に応えつつ、カメラの車両搭載時の撮像範囲の調整作業負荷を大幅に軽減できるのである。
【００１８】
請求項５に記載の車両用画像処理装置では、ターゲットの２次元パターンにおける明部と暗部との境界線は、水平線及び鉛直線のいずれに対しても傾斜している。カメラでターゲットを撮影するときの背景（例えば、車両メーカの工場内やディーラーの空地における風景）に現れるパターン（例えば、建物の輪郭線、窓やドアの枠の線等）は、殆ど、水平線又は鉛直線であるから、ターゲットにおける境界線を傾斜させることにより、背景に影響されず、ターゲットの２次元パターンを正確に認識することができる。
【図面の簡単な説明】
【００１９】
【図１】車線逸脱警報装置の構成を示すブロック図である。
【図２】制御部２が実行する白線認識処理を表すフローチャートである。
【図３】ターゲットのパターンの１例を示す説明図である。
【図４】制御部２が実行する画像処理エリア設定処理を表すフローチャートである。
【図５】画像信号におけるターゲットの第１の探索領域を示す説明図である。
【図６】所定の割合で間引きした画素値に基づいて、２次元パターンのおおよその位置を求める具体例を説明するための説明図である。
【図７】パターンの中心位置を高精度に検出するための第２の探索領域を示す説明図である。
【図８】第２の探索領域において探索される内部中心パターン、及び計算範囲Ｑ（Ｋ、Ｌ）を示す説明図である。
【図９】（ａ）は、画素と画素との境界部分と、パターンの明部（白）と暗部（黒）との境目がずれた状態を示す図であり、（ｂ）は、その場合の各画素の画素値（輝度）を示す図である。
【図１０】（ａ）及び（ｂ）は、コンボリュ−ションＢ（Ｋ，Ｌ）の最大値に対する補間演算を説明するための図である。
【発明を実施するための形態】
【００２０】
本発明の実施形態を説明する。
１．車線逸脱警報装置の構成
車線逸脱警報装置の構成を、図１に基づいて説明する。図１は、車線逸脱警報装置の構成を示すブロック図である。車線逸脱警報装置は、カメラ１、車両用画像処理装置としての制御部２、車間制御ＥＣＵ７、及び警報部８から構成され、車両に搭載される。
【００２１】
上記カメラ１は、車室内の所定位置、例えばルームミラーの裏側に設置され、車両の進行方向前方の道路を撮像するものである。なお、カメラ１は、車室内の所定位置に設置されるときに、その撮像範囲が所定の撮像範囲となるように、その向き等が調整される。ただし、その調整作業における公差は大きく取られており、調整作業の負荷を軽減している。詳しくは後述する。
【００２２】
カメラ１は、図示しない増幅部及びＡ／Ｄ変換部を内蔵しており、シャッタースピードやフレームレートを調整して画像を撮像した時、その画像の各画素の明るさを示すアナログ信号の画素値を所定のゲインで増幅し、Ａ／Ｄ変換部でデジタル値に変換して保持する。そして、カメラ１は、その保持している画素値を、画像信号として、画像の各ラインごとに出力する。
【００２３】
上記制御部２は、カメラ１から出力された画像信号を処理することにより、白線の位置の認識を行なうとともに、その認識した白線位置を車間制御ＥＣＵ７に出力する。また、制御部２は、画像信号におけるターゲットの位置に基づいて、白線の認識処理を施すための画像処理エリアを設定する。
【００２４】
なお、この画像処理エリアは、後に詳述するように、カメラ１に対して所定の位置関係に設置されたターゲットを撮像した画像信号におけるターゲットの位置に基づいて設定される。このように、画像信号におけるターゲットの位置を基準として画像処理エリアを設定するので、白線を認識すべき領域に正確に対応して画像処理エリアを設定することができる。また、カメラ１を車室内の所定位置に設置するとき、その撮像範囲が所定の撮像範囲となるように、その向き等が調整されるが、上記のように、画像信号におけるターゲットの位置を基準として画像処理エリアを設定するので、その調整作業における公差は大きくてよく、調整作業の負荷が軽減される。
【００２５】
さらに、制御部２は、カメラ１の露出制御を行なう。具体的には、制御部２は、カメラ１のシャータースピード及びフレームレート、さらに増幅部のゲインを調整することによってカメラ１の露出量を制御する。制御部２は、シャッタースピード、フレームレート及びゲインを調整するため、これらの調整指示値であるカメラ制御値をカメラ１に出力する。
【００２６】
制御部２は、画像インターフェース（Ｉ／Ｆ）３、ＣＰＵ４、メモリ５、及び通信Ｉ／Ｆ６を有する。画像Ｉ／Ｆ３には、カメラ１から出力される画素値の位置情報等が入力され、画像Ｉ／Ｆ３は、その位置情報等をＣＰＵ４に伝達する。ＣＰＵ４は、画像Ｉ／Ｆ３によって伝達される位置情報に基づいて、画像の各ライン毎に出力される画素値が、いずれの画素位置に対応するものかを認識する。そして、認識した画素位置に対応するように、カメラ１から出力される画素値をメモリ５に記憶する。このようにして、メモリ５に、カメラ１から出力される画像信号が保存される。
【００２７】
通信Ｉ／Ｆ６は、ＣＰＵ４と車間制御ＥＣＵ７との間の通信を調整するものである。本実施形態では、ＣＰＵ４は、画像信号における白線の位置を認識して、この認識した白線位置を車間制御ＥＣＵ７に送信する。一方、車間制御ＥＣＵ７は、図示しないレーダ装置によって先行車両等の位置を検出し、自車と先行車両との距離及び自車を基準とする先行車両の方位を、先行車両の位置を示す情報として、ＣＰＵ４に送信する。
【００２８】
車間制御ＥＣＵ７は、ＣＰＵ４から送信された白線位置に基づいて、自車が車線内から逸脱した（しそう）か否かを判定し、逸脱した（しそう）と判定した場合には、警報部８に対して、警報を発するように指示する。
【００２９】
なお、車間制御ＥＣＵ７は、追従走行制御機能も有しており、上述したレーダ装置により検出される先行車両等の位置や相対速度に基づいて、自車が先行車両に追従走行するように図示しないスロットルバルブの開度や制動装置の制動状態を調節して、自車の走行速度を制御する。
【００３０】
ただし、車線逸脱警報装置としては、必ずしも車間制御ＥＣＵ７を有している必要はない。例えば、制御部２において自車が車線から逸脱した（しそう）か否かを判定し、必要時に警報を発するように構成することも可能である。また、自車が車線を逸脱した（しそうな）場合には、単に警報を発するだけでなく、例えば操舵装置におけるアシスト量を調節して、車線中央に戻りやすくしたり、あるいは自動的に操舵装置を駆動して車両が車線中央に復帰したりするようにしてもよい。
【００３１】
２．制御部２が実行する白線認識処理
制御部２が実行する白線認識処理を、図２のフローチャートに基づいて説明する。
図２のステップ１０では、カメラ１から出力された画像信号の取込を行なう。すなわち、上述したように、カメラ１から出力される位置情報に対応するように、画像信号を構成する各画素値をメモリ５に保存する。画素値は０〜２５５の２５６階調であり、０は黒、２５５は白に対応する。
【００３２】
ステップ２０では、メモリ５に保存した画像信号の画像処理エリアに対して演算処理を行ない、白線位置を認識する。この演算処理では、まず、画像処理エリアに属する各画素の画素値に基づいて、白線部分に該当する画素値を抽出するためのしきい値を設定する。そして、このしきい値と各画素の画素値との大小比較を行なって、しきい値以上の画素値を有する画素を抽出する。さらに、これらの抽出した画素を組み合わせた場合に白線に相当する形状をなす抽出画素集合を特定し、この抽出画素集合位置を白線位置として認識する。
【００３３】
なお、カメラによっては、撮像範囲の明るさのレベルと単純比例しない画素値を出力するものがある。つまり、暗い側の分解能が細かくなり、明るい側の分解能が粗くなる画素値特性を持つカメラも存在する。このような画素値特性を持ったカメラを用いる場合には、上述した処理の初期段階において、カメラ１の画素値特性に従って、各画素値を相互に対比可能な輝度に変換する。そして、変換後の輝度に基づいて、しきい値の設定、大小比較、及び画素の抽出処理を行なう。
【００３４】
ステップ３０では、白線位置を車間制御ＥＣＵ７に向けて送信するために、ステップ２０で認識した白線位置を出力する。
ステップ４０では、カメラ１の露出制御を行なう。このカメラ１の露出制御では、白線を除く路面部分の輝度を算出し、この輝度が目標輝度となるように、カメラ１の露出を制御する。これにより、少なくとも白線は路面部分よりも明るいので、路面部分と白線とのコントラストが確保された画像信号を得ることができる。
【００３５】
３．画像処理エリア設定処理に用いるターゲットの構成
画像処理エリア設定処理に用いるターゲットの構成を、図３に基づいて説明する。図３は、ターゲットのパターンの１例を示す説明図である。図３に示すように、ターゲットは、明部（白色）と暗部（黒色）とからなる２次元のパターンを有している。また、このターゲットは、明部と暗部との境界線が、水平線及び鉛直線のいずれに対しても傾斜している。カメラ１によるこのターゲットの撮像は、車両メーカの工場内やディーラーの空地等、屋内外で行なわれる可能性がある。そのような場合でも、周囲に同じ模様のパターンが生じないように、明部と暗部とを複雑に組み合わせることによって、パターンを形成している。また、このターゲットのように、明部と暗部との境界線が斜めになっているパターンは、カメラ１でターゲットを撮像するときの背景には殆ど存在しない。
【００３６】
４．画像処理エリア設定処理
制御部２が実行する画像処理エリア設定処理を、図４のフローチャート及び図５〜図１０の説明図に基づいて説明する。画像処理エリア設定処理は、車両にカメラ１を含む車線逸脱警報装置を取り付けるときに実行され、車両メーカの工場内やディーラーの空地等で実行される。画像処理エリア設定処理を実行するとき、ターゲットは、車両に搭載されたカメラ１に対して所定の位置関係を有するように設置される。例えば、ターゲットの中心位置が、車両に搭載されたカメラ１と同じ高さとなり、かつそのカメラ１から所定距離（例えば数ｍ）離れた位置に設置される。なお、このようにカメラ１に対して所定の位置関係を有するようにターゲットを設置することにより、カメラ１で取得した画像信号におけるターゲットのパターンの明部及び暗部の大きさが常に一定となるため、その大きさの明部及び暗部を各画素の画素値（輝度）から抽出できる。従って、画像信号におけるパターンの位置が特定できるので、ターゲットの位置を検出することができる。
【００３７】
図４のステップ１１０では、まず、カメラ１により画像信号を取得する。そして、その画像信号の全領域のうちの一部を、第１の探索領域として設定する。この第１の探索領域は、予め定められた広さを有し、また、画像信号の全領域において、予め定められた位置に設定される。例えば、図５に示す例において、カメラ１の撮像範囲（画像信号の全領域）には、縦２９０行、横３５０列の画素が含まれるが、第１の探索領域は、１０行〜１３０行、１２０列〜２４０列に設定されている。
【００３８】
第１の探索領域は、その中にターゲットの全体が含まれるように、十分広く設定される。なお、画像信号においてターゲットが表れる概略の位置及び範囲は、カメラ１とターゲットとの位置関係、カメラ１の車両搭載時の公差、ターゲットの大きさ等を考慮することにより、予め特定することができるので、第１の探索領域を上記のように設定することができる。
【００３９】
ステップ１２０では、前記ステップ１１０で設定した第１の探索領域に属する画素の画素値を平均化し、この平均画素値が所定値となるように、カメラ１の露出量を制御する。このように、第１の探索領域における各画素の画素値に基づいて露出制御を行なうことにより、第１の探索領域外に非常に明るい部分や暗い部分があっても、それらは無視して露出制御を行なうことができる。この結果、ターゲットの置かれた環境による影響を比較的受けにくくなり、ターゲットの明部及び暗部の明るさに対応した露出量となるようにカメラ１の露出量を制御することができる。さらに、撮像範囲全体で露出制御を行う場合に比べて、平均画素値を求める範囲を狭めることができるので、露出制御の演算処理負荷を低減することができる。
【００４０】
ステップ１３０では、前記ステップ１１０で設定した第１の探索領域内で、ターゲットを検出する。具体的には以下のように行う。
第１の探索領域における各画素の座標を（I、J）で表す。ＩはＸ軸方向（水平方向）での座標であり、ＪはＹ軸方向（鉛直方向）での座標である。Ｘ軸座標がＩからＩ+３２まで、且つＹ軸座標がＪからＪ+２８までの範囲を計算範囲Ｐ（Ｉ、Ｊ）とする。この計算範囲Ｐ（Ｉ、Ｊ）は、ターゲットにおける明部と暗部とから成るパターンを含むことができる範囲（ターゲットの２次元パターンに対応する範囲）である。
【００４１】
この計算範囲Ｐ（Ｉ、Ｊ）に属する全画素のうち、一部のみを残して、他の画素は間引く。この画素の間引きは、図６に示すように、Ｎｏ．１〜３２の画素のみを残すように行う。Ｎｏ．１〜３２の画素は、互いに所定の距離を有し、ターゲットの２次元パターンに対応する範囲の全体にわたって分布しており、明部及び暗部に対応する範囲にそれぞれ複数存在する。そして、Ｎｏ．１〜３２の各画素の画素値をＶｉとする（ｉ＝１〜３２）。
【００４２】
また、Ｎｏ．１〜３２の各画素に、係数α（ｉ）を設定する（ｉ＝１〜３２）。Ｎｏ．７、９、１０、１１、１３、１４、１５、１６、１７、１８、１９、２０、２２、２３、２４、２６の画素は、図６に示すように、計算範囲Ｐ（Ｉ、Ｊ）の中心がターゲットの中心とぴったり重なったと仮定した場合に、明部（図６において白抜きの部分）に位置する画素である。これらの画素については、上記の係数α（ｉ）は＋１（第１の係数）である。一方、Ｎｏ．１、２、３、４、５、６、８、１２、２１、２５、２７、２８、２９、３０、３１、３２の画素は、計算範囲Ｐ（Ｉ、Ｊ）の中心がターゲットの中心とぴったり重なったと仮定した場合に、暗部（図６において黒塗りの部分）に位置する画素である。これらの画素については、上記の係数α（ｉ）は−１（第２の係数）である。
【００４３】
そして、Ｎｏ．１〜３２の画素のそれぞれについて、Ｖ（ｉ）とα（ｉ）とを乗じ、その乗じた値を、Ｎｏ．１〜３２の画素の全てについて合計したものをコンボリューションＡ（Ｉ、Ｊ）とする。すなわち、Ａ（Ｉ、Ｊ）は以下の式１で表される。
（式１）
Ａ（Ｉ、Ｊ）＝（-V1）＋（-V2）＋（-V3）＋（-V4）＋（-V5）＋（-V6）＋（V7）＋（-V8）＋（V9）＋（V10）＋（V11）＋（-V12）＋（V13）＋（V14）＋（V15）＋（V16）＋（V17）＋（V18）＋（V19）＋（V20）＋（-V21）＋（V22）＋（V23）＋（V24）＋（-V25）＋（V26）＋（-V27）＋（-V28）＋（-V29）＋（-V30）＋（-V31）＋（-V32）
このＡ（Ｉ、Ｊ）を、第１の探索領域内にある全ての座標（Ｉ、Ｊ）について算出し、その中で最大値を選択する。Ａ（Ｉ、Ｊ）が最大になるのは、計算範囲Ｐ（Ｉ、Ｊ）の中心がターゲットの中心と重なった場合であるから、そのときの座標（Ｉ、Ｊ）は、図６に示すように、ターゲットに対し、一定の位置関係にある。よって、このときの座標（Ｉ、Ｊ）から、ターゲットの概略の中心位置（ターゲットの位置）を検出することができる。具体的には、ターゲット位置の座標は、（Ｉ＋１６、Ｊ＋１４）である。
【００４４】
ステップ１４０では、前記ステップ１３０で求めたターゲットの位置を基準として、第１の探索領域よりも狭い第２の探索領域を設定する。このように第２の探索領域を狭めることにより、上述した計算範囲Ｐ（Ｉ、Ｊ）のように画素を間引きしなくとも比較的高速にパターン検出のための演算処理を行なうことができる。図７は、この第２の探索領域の一例を示している。図７では、第２の探索領域として、前記ステップ１３０で検出したターゲット位置を中心として、Ｘ軸方向（水平方向）に±１６画素、Ｙ軸方向（鉛直方向）に±８画素の範囲を設定し、これを詳細な位置検出のための第２の探索領域としている。なお、図７に示すように、第２の探索領域の全体を、計算範囲Ｐ（Ｉ、Ｊ）の中心とするため、計算範囲Ｐ（Ｉ、Ｊ）は、第２の探索領域よりも広くなる。
【００４５】
ステップ１５０では、前記ステップ１４０で設定した第２の探索領域に属する画素の画素値を平均化し、この平均画素値が所定値となるように、カメラ１の露出量を制御する。このように、第２の探索領域における各画素の画素値に基づいて露出制御を行なうことにより、その第２の探索領域外に非常に明るい部分や暗い部分があっても、それらは無視して露出制御を行なうことができる。この結果、ターゲットの置かれた環境による影響を受けにくくなり、常に、ターゲットの明部及び暗部の明るさに対応した露出量となるようにカメラ１の露出量を制御することができる。さらに、平均画素値を求める範囲を狭めることができるので、露出制御の演算処理負荷を低減することができる。
【００４６】
ステップ１６０では、ターゲットの中心位置を検出する処理を行う。具体的には、以下のようにする。
前記ステップ１５０で設定した第２の探索領域に属する任意の画素の座標を（Ｋ、Ｌ）とする。そして、図８に示すように、座標（Ｋ、Ｌ）の近傍に、Ｎｏ．１〜６３の画素から成る計算範囲Ｑ（Ｋ、Ｌ）を設定する。計算範囲Ｑ（Ｋ、Ｌ）は、その中心がターゲットの中心と一致したとき、ターゲットの明部及び暗部にそれぞれ複数の画素が配置されるように設定される。計算範囲Ｑ（Ｋ、Ｌ）は、基本的には、隣の画素との間を空けずに（画素を間引かずに）設定される。ただし、計算範囲Ｑ（Ｋ、Ｌ）の中心がターゲットの中心と一致したとき、明部と暗部との境界線上に位置する画素は、計算範囲Ｑ（Ｋ、Ｌ）に含まれない。また、計算範囲Ｑ（Ｋ、Ｌ）は、ターゲットのうちの一部（内部パターン）に対応する範囲であり、ターゲットよりも狭い範囲である。これによっても、演算量を減少することができるので、演算処理の高速化を図ることができる。
【００４７】
計算範囲Ｑ（Ｋ、Ｌ）内の全画素に対し、係数β（ｉ）を設定する（ｉは計算範囲Ｑ（Ｋ、Ｌ）内にある各画素のナンバーであり、１〜６３のうちのいずれか）。係数β（ｉ）は、計算範囲Ｑ（Ｋ、Ｌ）の位置が図７に示す位置（計算範囲Ｑ（Ｋ、Ｌ）の中心とターゲットの中心とが一致する位置）となったとき、明部に存在する画素については＋１（第１の係数）であり、暗部に存在する画素については−１（第２の係数）である。
【００４８】
そして、計算範囲Ｑ（Ｋ、Ｌ）内の全画素のそれぞれについて、Ｖｉとβ（ｉ）とを乗じ、その乗じた値を計算範囲Ｑ（Ｋ、Ｌ）内の全画素について合計したものをコンボリューションＢ（Ｋ、Ｌ）とする。すなわち、Ｂ（Ｋ、Ｌ）は以下の式２で表される。
（式２）
Ｂ（Ｋ、Ｌ）＝（-V1）＋（-V2）＋（-V3）＋（-V4）＋（-V5）＋（-V6）＋（-V7）＋（V8）＋（-V9）＋（-V10）＋（-V11）＋（-V12）＋（-V13）＋（V14）＋（V15）＋（V16）＋（-V17）＋（-V18）＋（-V19）＋（V20）＋（V21）＋（V22）＋（V23）＋（V24）＋（-V25）＋（V26）＋（V27）＋（V28）＋（V29）＋（V30）＋（V31）＋（V32）＋（V33）＋（V34）＋（V35）＋（V36）＋（V37）＋（V38）＋（-V39）＋（V40）＋（V41) ＋（V42）＋（V43）＋（V44）＋（-V45）＋（-V46）＋（-V47）＋（V48）＋（V49）＋（V50）＋（-V51）＋（-V52）＋（-V53）＋（-V54）＋（-V55）＋（V56）＋（-V57）＋（-V58）＋（-V59）＋（-V60）＋（-V61）＋（-V62）＋（-V63）
なお、計算範囲Ｑ（Ｋ、Ｌ）は、後述する補完計算が可能となるように、以下のように設定される。すなわち、計算範囲Ｑ（Ｋ、Ｌ）は、ターゲットの真の中心に対して右に１画素ずれた時も左に１画素ずれた時もコンボリュ−ションＢ（Ｋ，Ｌ）の値が同じになるように、１画素ずれても白の数と黒の数の構成が変わらないように構成する。
【００４９】
このＢ（Ｋ、Ｌ）を、第２の探索領域内にある全ての座標（Ｋ、Ｌ）について算出し、その中で最大値を選択する。Ｂ（Ｋ、Ｌ）が最大になるのは、計算範囲Ｑ（Ｋ、Ｌ）の中心が、図８に示すように、ターゲットの中心と一致した場合であるから、このときの座標（Ｋ、Ｌ）は、ターゲットの中心から、Ｘ座標及びＹ座標のそれぞれについて、計算範囲Ｑ（Ｋ、Ｌ）の幅の１／２だけずれた位置である。よって、このときのＸ座標及びＹ座標にそれぞれ４を加えて、ターゲットの仮の中心位置を求める。
【００５０】
そして、本実施形態では、さらに、コンボリューションＢ(Ｋ，Ｌ)を縦軸としたラグランジェ補間式を使って、コンボリューションＢ(Ｋ，Ｌ) がピークとなる水平座標および鉛直座標をサブピクセルまで求め、その座標をターゲット中心とする。このような補間処理を行なう理由を以下に説明する。
【００５１】
ターゲットの白黒のパターンの大きさを所定個数の画素からなる範囲に対応するように設定しても、画像信号において、その白黒のパターンと所定個数の画素の範囲がぴったりと一致することは稀である。つまり、図９（ａ）に示すように、画素と画素との境界部分にパターンの明部（白）と暗部（黒）との境目が一致することはほとんどなく、その境目が１つの画素によって検出される。パターンの明部(白)と暗部（黒）との境目がある１つの画素によって検出される場合には、図９（ｂ）に示すように、その画素を中心として最大±１画素の範囲にパターンの明部（白）と暗部（黒）との境目が存在することになる。
【００５２】
そのため、本実施形態では、上述した補間処理を行なうことで、より精度の高いパターンの位置検出を可能にした。すなわち、パターンの明部（白）と暗部（黒）との境目が画素と画素との境界部分からずれた場合には、明部と暗部との境目の輝度を発生する画素が生じるので、コンボリュ−ションＢ（Ｋ，Ｌ）は、パターンの位置ずれの程度を反映した値となる。
【００５３】
従って、図１０（ａ）、（ｂ）に示すように、最大となったコンボリュ−ションＢ（Ｋ，Ｌ）の計算範囲と±１画素だけＸ軸方向、Ｙ軸方向にずれた計算範囲を持ったコンボリュ−ションＢ（Ｋ，Ｌ）の値と、コンボリュ−ションＢ（Ｋ，Ｌ）の最大値とを用いて補間演算を行なうことにより、コンボリュ−ションＢ（Ｋ，Ｌ）合計値が最大値となる真の位置を算出することができる。
【００５４】
このようにしてターゲットの２次元パターン全体を認識対象にしながら、その認識処理等の演算負荷を低減できるため、高速に２次元パターンの中心位置を求めることができる。また、最終的に求められるターゲットの中心位置は、計算範囲Ｑ（Ｋ、Ｌ）のに属する全ての画素値を用いたコンボリュ−ションＢ（Ｋ，Ｌ）の演算、さらに、上述した補間演算によって求められる。従って、非常に高精度な中心位置を求めることができる。
【００５５】
なお、ターゲットの中心位置の算出に、より確実を期すには、複数回、ターゲットの中心位置の算出を行なって、それらが略同一であることを確認することが好ましい。
また、上述した例では、最大となったコンボリュ−ションＢ（Ｋ，Ｌ）の計算範囲と±１画素だけＸ軸方向、Ｙ軸方向にずれた計算範囲を持ったコンボリュ−ションＢ（Ｋ、Ｌ）の値の３個で補間演算を行っているが、補間に使用するデータが増えればコンボリュ−ションＢ（Ｋ，Ｌ）合計値が最大値となる真の位置の精度は向上するので、さらにデータ数を増加しても良い。また、補間式もラグランジュ補間式に限定されず、ニュートン補間やスプライン補間などでの計算も可能である。
【００５６】
上記のように検出したターゲットの中心位置に基づき、画像処理エリアを正確に設定することができる。
５．車線逸脱警報装置が奏する効果
（１）制御部２は、ターゲットの中心を検出する処理（前記ステップ１６０）の前に、第２の探索領域において、再度、露出制御を行う（前記ステップ１５０）。第２の探索領域は、ターゲットに対応する範囲内であるので、第２の探索領域において露出制御を行えば、ターゲットの外側（背景）の影響を受けずに、ターゲットの明部と暗部とに適合した露出制御を行うことができる。その結果、ターゲットの中心を検出するとき、ターゲットの明部が飽和してしまうようなことがなく、ターゲットの中心を正確に検出することができる。その結果、画像処理エリアを正確に設定することができる。
（２）図３に示すように、ターゲットにおける明部と暗部との境界線は、水平線及び鉛直線のいずれに対しても傾斜している。カメラ１でターゲットを撮影するときの背景（例えば、車両メーカの工場内やディーラーの空地における風景）に現れるパターン（例えば、建物の輪郭線、窓やドアの枠の線等）は、殆ど、水平線又は鉛直線であるから、ターゲットにおける境界線を傾斜させることにより、背景に影響されず、ターゲットのパターンを正確に認識することができる。
【００５７】
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、ターゲットにおいて、明部と暗部との境界線の一部又は全部は、水平線又は鉛直線に対して平行であってもよい。
【００５８】
また、コンボリューションを計算するとき、第１の係数を−１として、第２の係数を＋１としてもよい。この場合、ターゲット、又はターゲットの中心を検出するとき、コンボリューションが最小となる座標を選択する。
【符号の説明】
【００５９】
１・・・カメラ、２・・・制御部、３・・・画像Ｉ／Ｆ、４・・・ＣＰＵ、５・・・メモリ、６・・・通信Ｉ／Ｆ、７・・・車間制御ＥＣＵ、８・・・警報部
【図１】
2011180719.tif 000003
【図２】
2011180719.tif 000004
【図３】
2011180719.tif 000005
【図４】
2011180719.tif 000006
【図５】
2011180719.tif 000007
【図１０】
2011180719.tif 000008
【図６】
2011180719.tif 000009
【図７】
2011180719.tif 000010
【図８】
2011180719.tif 000011
【図９】
2011180719.tif 000012