(57)【要約】      （修正有）【課題】赤外線画像上において歩行者と人工構造物とを的確に区別して抽出する。【解決手段】２値化対象物ＯＢの上端から上方の領域に縦方向（ｙ方向）および横方向（ｘ方向）に沿って互いに隣接する所定の縦幅（高さ幅）および横幅の複数の探索領域）を設定する。２値化対象物ＯＢに連続して配置されている各探索領域に対して、右画像と左画像との相間演算により各探索領域の視差を算出し、２値化対象物ＯＢに対する視差に対して、差の絶対値が所定閾値より小さい場合、探索領域は２値化対象物ＯＢと略同等の視差を有する領域であると判断する。２値化対象物ＯＢと略同等の視差を有する最上端位置の探索領域の位置をグレースケール領域の上端位置とする。【選択図】図１３
2006185432.tif 000002
【特許請求の範囲】
【請求項１】
赤外線撮像手段の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、
前記画像のグレースケール画像を２値化処理して得た画像データから２値化対象物を抽出する２値化対象物抽出手段と、
前記グレースケール画像上において、前記２値化対象物抽出手段により抽出された前記２値化対象物の周囲に所定高さを基準として横方向に複数の探索領域を設定する探索領域設定手段と、
前記探索領域設定手段により設定された複数の前記探索領域のうち、前記赤外線撮像手段との間の距離が、前記２値化対象物と前記赤外線撮像手段との間の距離と略同等となる探索領域を抽出する探索領域抽出手段と、
前記探索領域抽出手段により抽出された複数の前記探索領域同士間の相関度を判定する相関度判定手段と、
前記相関度判定手段による判定結果に基づき、前記グレースケール画像上での前記２値化対象物の高さを算出する高さ算出手段と、
前記高さ算出手段により算出された前記２値化対象物の高さに基づき前記対象物の種別を判定する対象物種別判定手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
前記探索領域設定手段は、複数の異なる所定高さを基準として、各所定高さ毎に横方向に複数の探索領域を設定することを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
前記相関度判定手段は、複数の前記探索領域同士の連続度を判定することを特徴とする請求項１または請求項２に記載の車両周辺監視装置。
【請求項４】
前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段を備え、
該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴とする請求項１から請求項３の何れかひとつに記載の車両周辺監視装置。
【請求項５】
前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段を備えることを特徴とする請求項１から請求項４の何れかひとつに記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤外線カメラにより撮影された画像の２値化処理により対象物抽出を行う車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、赤外線カメラの撮影により得られた自車両周辺の赤外線画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、この対象物の情報を自車両の運転者に提供する表示処理装置が知られている（例えば、特許文献１参照）。
この表示処理装置では、赤外線画像を２値化処理して明部が集中している領域（２値化対象物）を探索し、２値化対象物の縦横比や充足率、更には実面積と赤外線画像上の重心位置とにより算出した距離に基づき、２値化対象物が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部領域の赤外線カメラからの距離と、成人の平均身長とから、赤外線画像上の歩行者の身長を算出すると共に、歩行者の身体を包含する身体領域を設定し、頭部領域および身体領域を他の領域と区分して表示することにより、歩行者に対する運転者の視覚補助を行うようになっている。
また、赤外線画像を２値化処理して明部が集中している領域（２値化対象物）を探索し、２値化対象物の上下方向に２値化対象物と同距離にある画像領域を抽出し、２値化対象物と、２値化対象物と同距離にある画像領域から対象物の高さを算出して、対象物を歩行者であると認識する技術が知られている（例えば、特許文献２参照）。
【特許文献１】特開平１１−３２８３６４号公報
【特許文献２】特開２００３−２１６９３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術の一例に係る表示処理装置においては、赤外線画像上での頭部領域や身体領域に対する形状判定に基づいて歩行者を検知していることから、歩行者の形状、特に頭部の形状と類似した大きさおよび高さ位置を有して発熱する人工構造物と、歩行者とを識別することが困難になる虞がある。
また、上記特許文献２では、赤外線画像上で２値化対象物及び２値化対象物の上下方向で２値化対象物と同距離にある画像領域に基づき対象物の高さを算出し、歩行者認識を行うだけであり、２値化対象物の上下方向に所定高さ毎に単一の探索領域を設定するだけであるから、例えば対象物が上下方向に対して傾いている状態では、グレースケール画像上での２値化対象物の高さを精度良く算出することができないという問題が生じる。
本発明は上記事情に鑑みてなされたもので、赤外線画像上において歩行者と人工構造物とを的確に区別して抽出することが可能な車両周辺監視装置を提供することを目的としている。
【課題を解決するための手段】
【０００４】
上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車両周辺監視装置は、赤外線撮像手段（例えば、実施の形態での赤外線カメラ２Ｒ，２Ｌ）の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、前記画像のグレースケール画像を２値化処理して得た画像データから２値化対象物を抽出する２値化対象物抽出手段（例えば、実施の形態でのステップＳ７）と、前記グレースケール画像上において、前記２値化対象物抽出手段により抽出された前記２値化対象物の周囲に所定高さを基準として横方向に複数の探索領域（例えば、実施の形態での探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）、基準マスクＭａｓｋ（ｋ））を設定する探索領域設定手段（例えば、実施の形態でのステップＳ３４）と、前記探索領域設定手段により設定された複数の前記探索領域のうち、前記赤外線撮像手段との間の距離が、前記２値化対象物と前記赤外線撮像手段との間の距離と略同等となる探索領域を抽出する探索領域抽出手段（例えば、実施の形態でのステップＳ３４が兼ねる）と、前記探索領域抽出手段により抽出された複数の前記探索領域同士間の相関度を判定する相関度判定手段（例えば、実施の形態でのステップＳ３４が兼ねる）と、前記相関度判定手段による判定結果に基づき、前記グレースケール画像上での前記２値化対象物の高さを算出する高さ算出手段（例えば、実施の形態でのステップＳ３４が兼ねる）と、前記高さ算出手段により算出された前記２値化対象物の高さに基づき前記対象物の種別を判定する対象物種別判定手段（例えば、実施の形態でのステップＳ３４が兼ねる）とを備えることを特徴としている。
【０００５】
上記の車両周辺監視装置によれば、例えば所定高さを基準として横方向に単一の探索領域を設定する場合に比べて、複数の探索領域を設定することで、各探索領域の大きさを相対的に小さくすることができる。これにより、対象物の横幅の検出精度を向上させることができると共に、例えばグレースケール画像上での対象物の横幅が２値化対象物の横幅あるいは２値化対象物の横幅から推定される値よりも大きい場合であっても、対象物の横幅よりも小さな領域のみに探索領域が設定されてしまうことを防止することができる。そして、探索領域を設定する所定高さを適宜に変更することよって、例えば対象物が上下方向に対して適宜の角度で傾いている状態であっても、グレースケール画像上での２値化対象物の高さを精度良く検出することができる。
【０００６】
さらに、請求項２に記載の本発明の車両周辺監視装置では、前記探索領域設定手段は、複数の異なる所定高さを基準として、各所定高さ毎に横方向に複数の探索領域を設定することを特徴としている。
【０００７】
上記の車両周辺監視装置によれば、複数の異なる所定高さを基準として各所定高さ毎に横方向に複数の探索領域を設定することから、グレースケール画像上での２値化対象物の横幅の検出精度を向上させることができると共に、グレースケール画像上での２値化対象物の高さを精度良く検出することができる。
【０００８】
さらに、請求項３に記載の本発明の車両周辺監視装置では、前記相関度判定手段は、複数の前記探索領域同士の連続度を判定することを特徴としている。
【０００９】
上記の車両周辺監視装置によれば、赤外線撮像手段との間の距離が、２値化対象物と赤外線撮像手段との間の距離と略同等となる複数の探索領域のうち、例えば互いに連続するようにして隣接する探索領域、あるいは、互いに所定距離以内に存在することでいわば連続していると判定される複数の探索領域に基づきグレースケール画像上での２値化対象物の高さを算出することで、算出精度を向上させることができる。
【００１０】
さらに、請求項４に記載の本発明の車両周辺監視装置は、前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段（例えば、実施の形態でのステップＳ３５）を備え、該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴としている。
【００１１】
上記の車両周辺監視装置によれば、歩行者であると判定された対象物に加えて、人工構造物以外であると判定された対象物に対して歩行者認識処理を実行することにより、歩行者の認識精度を向上させることができる。
【００１２】
さらに、請求項５に記載の本発明の車両周辺監視装置は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段（例えば、実施の形態でのステップＳ１９）を備えることを特徴としている。
【００１３】
上記の車両周辺監視装置によれば、歩行者であると判定された対象物に加えて、人工構造物以外であると判定された対象物に対して警報を出力することから、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。
【発明の効果】
【００１４】
以上説明したように、請求項１に記載の本発明の車両周辺監視装置によれば、対象物の横幅の検出精度を向上させることができると共に、グレースケール画像上での対象物の横幅が２値化対象物の横幅あるいは２値化対象物の横幅から推定される値よりも大きい場合であっても、対象物の横幅よりも小さな領域のみに探索領域が設定されてしまうことを防止することができる。そして、探索領域を設定する所定高さを適宜に変更することよって、グレースケール画像上での２値化対象物の高さを精度良く検出することができる。
さらに、請求項２に記載の本発明の車両周辺監視装置によれば、複数の異なる所定高さを基準として各所定高さ毎に横方向に複数の探索領域を設定することから、グレースケール画像上での２値化対象物の横幅の検出精度を向上させることができると共に、グレースケール画像上での２値化対象物の高さを精度良く検出することができる。
さらに、請求項３に記載の本発明の車両周辺監視装置によれば、赤外線撮像手段との間の距離が、２値化対象物と赤外線撮像手段との間の距離と略同等となる複数の探索領域のうち、例えば互いに連続するようにして隣接する探索領域、あるいは、互いに所定距離以内に存在することでいわば連続していると判定される複数の探索領域に基づきグレースケール画像上での２値化対象物の高さを算出することで、算出精度を向上させることができる。
さらに、請求項４に記載の本発明の車両周辺監視装置によれば、歩行者の認識精度を向上させることができる。
さらに、請求項５に記載の本発明の車両周辺監視装置によれば、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態に係る車両周辺監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周辺監視装置は、例えば図１に示すように、車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニット１と、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ，２Ｌと、自車両のヨーレートを検出するヨーレートセンサ３と、自車両の走行速度（車速）を検出する車速センサ４と、運転者によるブレーキ操作の有無を検出するブレーキセンサ５と、スピーカ６と、表示装置７とを備えて構成され、例えば、画像処理ユニット１は２つの赤外線カメラ２Ｒ，２Ｌの撮影により得られる自車両周辺の赤外線画像と、各センサ３，４，５により検出される自車両の走行状態に係る検出信号とから、自車両の進行方向前方の歩行者や動物等の移動体を検出し、検出した移動体と自車両との接触が発生する可能性があると判断したときに、スピーカ６または表示装置７を介して警報を出力するようになっている。
なお、表示装置７は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置やナビゲーション装置の表示装置、さらにフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するＨＵＤ（Head Up Display）７ａ等を備えて構成されている。
【００１６】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うＣＰＵ（中央演算装置）と、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）と、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）と、スピーカ６の駆動信号やＨＵＤ７ａ等の表示信号などを出力する出力回路とを備えており、赤外線カメラ２Ｒ，２Ｌおよび各センサ３，４，５から出力される信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１７】
なお、例えば図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ，２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、対象物の温度が高いほど、出力信号レベルが高くなる（つまり、輝度が増大する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１８】
本実施の形態による車両周辺監視装置は上記構成を備えており、次に、この車両周辺監視装置の動作について添付図面を参照しながら説明する。
以下に、画像処理ユニット１における歩行者等の対象物検出および警報出力の動作について説明する。
まず、図３に示すステップＳ１において、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得する。
次に、ステップＳ２においては、取得した赤外線画像をＡ／Ｄ変換する。
次に、ステップＳ３においては、中間階調情報を含むグレースケール画像を取得して、画像メモリに格納する。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（つまり、視差）により自車両１０から対象物までの距離を算出することができる。
【００１９】
次に、ステップＳ４においては、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、この画像信号の２値化処理、すなわち所定輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。
なお、以下のステップＳ４〜ステップＳ９の処理は、２値化処理により得た基準画像（例えば、右画像）について実行する。
次に、ステップＳ５においては、赤外線画像に２値化処理を実行して得た画像データをランレングスデータに変換する。ランレングスデータでは、２値化処理により白となった領域を画素レベルでラインとして表示し、各ラインはｙ方向に１画素の幅を有し、ｘ方向に適宜の画素数の長さを有するように設定されている
【００２０】
次に、ステップＳ６においては、ランレングスデータに変換された画像データにおいて、対象物のラベリングを行う。
次に、ステップＳ７においては、対象物のラベリングに応じて対象物を抽出する。ここでは、ランレングスデータにおける各ラインのうち、同等のｘ方向座標を含むライン同士がｙ方向で隣接する場合に、隣接するラインが単一の対象物を構成しているとみなす。
次に、ステップＳ８においては、抽出した対象物の重心Ｇと、面積Ｓと、外接四角形の縦横比ＡＳＰＥＣＴとを算出する。
【００２１】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，…，Ｎ−１；Ｎは任意の自然数）とすると、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物において積算することにより算出する。
また、ラベルＡの対象物の重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と、各ランレングスデータの座標ｘ［ｉ］またはｙ［ｉ］とを乗算して得た値（つまり、（ｒｕｎ［ｉ］−１）×ｘ［ｉ］または（ｒｕｎ［ｉ］−１）×ｙ［ｉ］）を同一対象物において積算して得た値を、面積Ｓで除算することにより算出する。
さらに、縦横比ＡＳＰＥＣＴは、ラベルＡの対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの座標は、外接四角形の重心座標で代用してもよい。
【００２２】
次に、ステップＳ９およびステップＳ１０の処理と、ステップＳ１１〜ステップＳ１３の処理とを並行して実行する。
まず、ステップＳ９においては、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う。この時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出した場合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定された場合には、対象物Ｃ、Ｄのラベルをそれぞれ対象物Ａ、Ｂのラベルに変更する。そして、認識された各対象物の位置座標（例えば、重心等）を、時系列位置データとして適宜のメモリに格納する。
【００２３】
次に、ステップＳ１０においては、車速センサ４により検出された車速ＶＣＡＲおよびヨーレートセンサ３より検出されたヨーレートＹＲを取得し、ヨーレートＹＲを時間積分して、自車両１０の回頭角θｒを算出する。
【００２４】
一方、ステップＳ９およびステップＳ１０の処理に並行して実行されるステップＳ１１〜ステップＳ１３においては、対象物と自車両１０との距離ｚを算出する。なお、このステップＳ１１の処理は、ステップＳ９およびステップＳ１０の処理よりも長い演算時間を要することから、ステップＳ９およびステップＳ１０よりも長い周期（例えば、ステップＳ１〜ステップＳ１０の実行周期の３倍程度の周期等）で実行されるようになっている。
先ず、ステップＳ１１においては、基準画像（例えば、右画像）を２値化処理して得た画像データ上で追跡される複数の対象物のうちから１つの対象物を選択し、例えば選択した対象物を外接四角形で囲む領域全体を探索画像Ｒ１として基準画像（例えば、右画像）から抽出する。
【００２５】
次に、ステップＳ１２においては、基準画像（例えば、右画像）に対応する画像（例えば、左画像）中から探索画像Ｒ１に対応する画像（対応画像）Ｒ２を探索する探索領域を設定し、相関演算を実行して対応画像Ｒ２を抽出する。ここでは、例えば探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域を設定し、探索領域内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像Ｒ２として抽出する。なお、この相関演算は、２値化処理して得た画像データではなく、グレースケール画像に対して実行する。また、同一対象物についての過去の位置データが存在する場合には、過去の位置データに基づいて探索領域を狭めることが可能である。
【００２６】
次に、ステップＳ１３においては、探索画像Ｒ１の重心位置と、対応画像Ｒ２の重心位置と、画素数単位での視差Δｄとを算出し、さらに、自車両１０と対象物との距離つまり赤外線カメラ２Ｒ，２Ｌのレンズと対象物との距離（対象物距離）ｚ（ｍ）を、例えば下記数式（１）に示すように、カメラ基線長、つまり赤外線カメラ２Ｒ，２Ｌの各撮像素子の中心位置間の水平距離Ｄ（ｍ）と、カメラ焦点距離、つまり赤外線カメラ２Ｒ，２Ｌの各レンズの焦点距離ｆ（ｍ）と、画素ピッチｐ（ｍ／ｐｉｘｅｌ）と、視差Δｄ（ｐｉｘｅｌ）とに基づき算出する。
【００２７】
【数１】
2006185432.tif 000003
【００２８】
そして、ステップＳ１４においては、ステップＳ１０での回頭角θｒの算出と、ステップＳ１３での距離ｚの算出との完了後に、例えば下記数式（２）に示すように、画像データ上での対象物の座標（ｘ，ｙ）および距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、例えば図２に示すように、自車両１０の前部における赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点Ｏとして設定され、画像データ上の座標は、画像データの中心を原点として水平方向をｘ方向、垂直方向をｙ方向として設定されている。また、座標（ｘｃ，ｙｃ）は、基準画像（例えば、右画像）上の座標（ｘ，ｙ）を、赤外線カメラ２Ｒの取付位置と、実空間の原点Ｏとの相対位置関係に基づいて、実空間の原点Ｏと画像データの中心とを一致させて得た仮想的な画像上の座標に変換して得た座標である。
【００２９】
【数２】
2006185432.tif 000004
【００３０】
次に、ステップＳ１５においては、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。この回頭角補正は、時刻ｋから時刻（ｋ＋１）までの期間中に自車両１０が、例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像データ上では、画像データの範囲がΔｘだけｘ方向にずれるのことを補正する処理であり、例えば下記数式（３）に示すように、実空間座標（Ｘ，Ｙ，Ｚ）を補正して得た補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を、新たに実空間座標（Ｘ，Ｙ，Ｚ）として設定する。
【００３１】
【数３】
2006185432.tif 000005
【００３２】
次に、ステップＳ１６においては、同一対象物について所定時間ΔＴのモニタ期間内に得られた回頭角補正後のＮ（例えば、Ｎ＝１０程度）個の時系列データをなす実空間位置データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを算出する。
このステップＳ１６においては、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（つまり、所定時間ΔＴ前）の位置座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））とを、近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））およびＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を算出する。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このように所定時間ΔＴのモニタ期間内の複数（例えば、Ｎ個）の実空間位置データから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して自車両１０と対象物との接触発生の可能性を精度良く予測することが可能となる。
【００３３】
次に、ステップＳ１７においては、例えば検出した対象物と自車両１０との接触発生の可能性の有無等に応じた警報判定処理において、検出した対象物が警報対象であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１へ戻り、上述したステップＳ１〜ステップＳ１７の処理を繰り返す。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１８に進む。
そして、ステップＳ１８においては、例えばブレーキセンサ５の出力ＢＲに基づく自車両１０の運転者がブレーキ操作を行っているか否か等に応じた警報出力判定処理において、警報出力が必要か否かを判定する。
ステップＳ１８の判定結果が「ＮＯ」の場合、例えば自車両１０の運転者がブレーキ操作を行っている場合に発生する加速度Ｇｓ（減速方向を正とする）が所定閾値ＧＴＨよりも大きいとき場合には、運転者のブレーキ操作により接触発生が回避されると判断して、判定して、ステップＳ１へ戻り、上述したステップＳ１〜ステップＳ１８の処理を繰り返す。
一方、ステップＳ１８の判定結果が「ＹＥＳ」の場合、例えば自車両１０の運転者がブレーキ操作を行っている場合に発生する加速度Ｇｓ（減速方向を正とする）が所定閾値ＧＴＨ以下である場合、あるいは、自車両１０の運転者がブレーキ操作を行っていない場合には、  一方、ステップＳ１８の判定結果が「ＹＥＳ」の場合には、接触発生の可能性が高いと判断して、ステップＳ１９に進む。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓが維持された場合に、対象物と自車両１０との間の距離が所定の距離Ｚｖ（０）以下で自車両１０が停止する状態に対応する値である。
【００３４】
そして、ステップＳ１９においては、例えばスピーカ６を介した音声等の聴覚的警報や、例えば表示装置７を介した表示等の視覚的警報や、例えばシートベルトに所定の張力を発生させて運転者が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させることによる触覚的警報を出力する。
次に、ステップＳ２０においては、表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像データを出力し、相対的に接近する対象物を強調映像として表示する。
【００３５】
以下に、上述したステップＳ１７における警報判定処理について添付図面を参照しながら説明する。
この警報判定処理は、例えば図４に示すように、衝突判定処理と、接近判定領域内か否かの判定処理と、進入衝突判定処理と、人工構造物判定処理と、歩行者判定処理とにより、自車両１０と検出した対象物との接触発生の可能性を判定する処理である。なお、以下においては、例えば図５に示すように、自車両１０の進行方向（例えば、Ｚ方向）に対してほぼ直交する方向において速度Ｖｐで移動する対象物２０が存在する場合を参照して説明する。
【００３６】
まず、図４に示すステップＳ３１においては、衝突判定処理を行う。この衝突判定処理では、例えば図５において、対象物２０が所定時間ΔＴの間に、自車両１０の進行方向に平行な方向に沿って距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０のＺ方向での相対速度Ｖｓを算出し、自車両１０と対象物２０とが所定地上高Ｈ以内で相対速度Ｖｓを維持して移動すると仮定した場合に、所定の余裕時間Ｔｓ以内に自車両１０と対象物２０とが接触するか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３２に進む。
なお、余裕時間Ｔｓは、接触発生の可能性を、予測される接触発生時刻よりも所定時間Ｔｓだけ以前のタイミングで判定するための時間であって、例えば２〜５秒程度に設定される。また、所定地上高Ｈは、例えば自車両１０の車高の２倍程度の値に設定される。
【００３７】
次に、ステップＳ３２においては、検出した対象物が所定の接近判定領域内に存在するか否かを判定する。この判定処理では、例えば図６に示すように、赤外線カメラ２Ｒ，２Ｌで監視可能な領域ＡＲ０内において、自車両１０から距離（Ｖｓ×Ｔｓ）だけ前方の位置Ｚ１よりも手前の領域であって、車両横方向（つまり、Ｘ方向）において自車両１０の車幅αの両側に所定幅β（例えば、５０〜１００ｃｍ程度）を加算して得た幅（α＋２β）を有する所定地上高Ｈの領域ＡＲ１、すなわち対象物が存在し続ければ自車両１０との接触発生の可能性が極めて高い接近判定領域ＡＲ１内に対象物が存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ３３に進む。
【００３８】
そして、ステップＳ３３においては、対象物が接近判定領域内に進入して自車両１０と接触する可能性があるか否かを判定する進入衝突判定処理を行う。この進入衝突判定処理では、例えば図６に示すように、車両横方向（つまり、Ｘ方向）において接近判定領域ＡＲ１の外側に存在する所定地上高Ｈの進入判定領域ＡＲ２、ＡＲ３内に存在する対象物が、移動して接近判定領域ＡＲ１に進入すると共に自車両１０と接触する可能性があるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３６に進む。
一方、この判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。
【００３９】
そして、ステップＳ３４においては、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。この人工構造物判定処理では、後述するように、例えば歩行者にはあり得ない特徴が検出された場合に対象物は人工構造物であると判定し、警報の対象から除外する。
この判定結果が「ＮＯ」の場合には、ステップＳ３５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３７に進む。
そして、ステップＳ３５においては、対象物が歩行者である可能性があるか否かを判定する歩行者判定処理を行う。
ステップＳ３５の判定結果が「ＹＥＳ」の場合には、ステップＳ３６に進む。
一方、ステップＳ３５の判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。
【００４０】
そして、ステップＳ３６においては、上述したステップＳ３３において対象物が接近判定領域内へ進入して自車両１０と接触する可能性がある場合（ステップＳ３３のＹＥＳ）、あるいは、ステップＳ３５において人工構造物ではないと判定された対象物が歩行者であると判定された場合（ステップＳ３５のＹＥＳ）には、検出した対象物と自車両１０との接触発生の可能性があると判断して、対象物は警報の対象であると判定し、一連の処理を終了する。
一方、ステップＳ３７においては、上述したステップＳ３１において所定の余裕時間Ｔｓ以内に自車両１０と対象物とが接触する可能性がない場合（ステップＳ３１のＮＯ）、あるいは、ステップＳ３３において対象物が接近判定領域内へ進入して自車両１０と接触する可能性がない場合（ステップＳ３３のＮＯ）、あるいは、ステップＳ３４において対象物が人工構造物であると判定された場合（ステップＳ３４のＹＥＳ）、あるいはステップＳ３４において人工構造物ではないと判定された対象物がさらに歩行者ではないと判定された場合（ステップＳ３５のＮＯ）には、検出した対象物と自車両１０との接触発生の可能性がないと判断して、対象物は警報の対象ではないと判定し、一連の処理を終了する。
【００４１】
以下に、上述したステップＳ３４での人工構造物判定処理およびステップＳ３５での歩行者判定処理において、画像データ上において複数の対象物が重なり合うようにして認識された場合に、２値化対象物の高さ寸法（縦幅）を算出する処理について説明する。
【００４２】
この人工構造物判定処理では、先ず、グレースケール領域（つまり、グレースケール画像上での対象物の存在領域）の下端位置を算出する。
先ず、例えば図７に示すように、基準画像（例えば、赤外線カメラ２Ｒにより得られた右画像）上において、２値化対象物ＯＢの下端から下方に向かい互いに隣接する所定の縦幅（高さ幅）ｄｙＰ１および横幅ｄｘＰ１の複数の第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）（Ｉは適宜の正の整数）を設定する。
ここで、所定の横幅ｄｘＰ１は、例えば実空間の所定横幅ＭＡＳＫ＿Ｗ（例えば、歩行者の肩幅よりも大きい値であって、７０ｃｍ等）を画像上に展開した値（＝焦点距離ｆ×所定横幅ＭＡＳＫ＿Ｗ／対象物距離ｚ）、または、所定値（例えば、２値化対象物の幅Ｗｂ＋２×所定値Ｍ＿Ｗ；ただし、所定値Ｍ＿Ｗは２ｐｉｘｅｌ等）のうち、何れか大きい方の値が設定される。
また、所定の縦幅ｄｙＰ１は、例えば実空間の所定縦幅ＭＡＳＫ＿Ｈ（例えば、１０ｃｍ等）を画像上に展開した値（＝焦点距離ｆ×所定横幅ＭＡＳＫ＿Ｈ／対象物距離ｚ）、または、所定の最小値のうち、何れか大きい方の値が設定される。
【００４３】
そして、２値化対象物ＯＢに連続して配置されている各第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）に対して、右画像と左画像との相間演算（Sum of Absolute difference）により各第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）の視差ｄｎ１（Ｉ）を算出し、この視差ｄｎ１（Ｉ）と、上述したステップＳ１３にて算出した視差Δｄとに基づき、
｜ｄｎ１（Ｉ）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ、または、
（ｄｎ１（Ｉ）−Δｄ）≧所定閾値ＤＩＳＰ＿ＴＨ
となる最下端位置の第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）を検出する。
【００４４】
ここで、｜ｄｎ１（Ｉ）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ、つまり２値化対象物ＯＢと最下端位置の第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）との視差が略同等である場合には、この第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）の左上頂点ＵＬ１（Ｉ）の座標（ｘＰ１（Ｉ），ｙＰ１（Ｉ））により、グレースケール領域の下端位置Ｏｂ＿ｍｉｎ＿ｙは、例えば図７に示すように、
Ｏｂ＿ｍｉｎ＿ｙ＝ｙＰ１（Ｉ）＋ｄｙＰ１
となる。
なお、図７においては、２値化対象物ＯＢの外接四角形の左上頂点の座標（ｘｂ，ｙｂ）と、外接四角形の幅Ｗｂと、外接四角形の高さＨｂとにより、２値化対象物ＯＢの下端位置（ｙｂ＋Ｈｂ）と、２値化対象物ＯＢの重心の横方向（ｘ方向）位置（ｘｂ＋Ｗｂ／２）とを示した。
【００４５】
また、（ｄｎ１（Ｉ）−Δｄ）≧所定閾値ＤＩＳＰ＿ＴＨ、つまり例えば図８および図９に示すように、２値化対象物ＯＢよりも手前の位置に他の対象物Ｏ１（例えば、壁等）が存在する場合には、２値化対象物ＯＢと略同等の視差を有する最下端位置の第１探索領域Ｍａｓｋ＿Ｕ１（Ｋ）（Ｋは適宜の整数）の下端位置Ｄ＿Ｆ＿ｙＰにより、画像上における他の対象物Ｏ１（例えば、壁等）の高さｄｅｌｔａ＿Ｈを、
ｄｅｌｔａ＿Ｈ＝ｙＰ１（Ｉ）＋ｄｙＰ１／２−Ｄ＿Ｆ＿ｙＰとし、
他の対象物Ｏ１によって遮蔽されている２値化対象物ＯＢの縦幅Ｏ＿ｄｅｌｔａ＿Ｈを、赤外線カメラ２Ｒ，２Ｌの地上高Ｃａｍ＿Ｈと、赤外線カメラ２Ｒ，２Ｌから他の対象物Ｏ１までの距離ｄとに基づき、
Ｏ＿ｄｅｌｔａ＿Ｈ＝（ｄｅｌｔａ＿Ｈ−ｄ＿Ｃａｍ＿Ｈ）＋ｚ＿Ｃａｍ＿Ｈ
とする。なお、
ｄ＿Ｃａｍ＿Ｈ＝ｆ×Ｃａｍ＿Ｈ／ｄ、ｚ＿Ｃａｍ＿Ｈ＝ｆ×Ｃａｍ＿Ｈ／ｚ
である。
これにより、２値化対象物ＯＢの実際の高さ寸法（縦幅）は、グレースケール画像上で検知される２値化対象物ＯＢの見かけ上の縦幅に縦幅Ｏ＿ｄｅｌｔａ＿Ｈを加算して得た値となり、グレースケール領域の下端位置Ｏｂ＿ｍｉｎ＿ｙは、
Ｏｂ＿ｍｉｎ＿ｙ＝Ｄ＿Ｆ＿ｙＰ＋Ｏ＿ｄｅｌｔａ＿Ｈ
となる。
【００４６】
以下に、グレースケール領域の上端位置を算出する処理について説明する。
この処理では、先ず、例えば図１０に示すように、２値化対象物ＯＢの上端から上方の領域に、縦方向（つまりｙ方向）および横方向（つまりｘ方向）に沿って互いに隣接する所定の縦幅（高さ幅）ｄｙＰおよび横幅ｄｘＰの複数の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）（Ｊ，Ｉは適宜の正の整数）を設定する。
ここで、所定の横幅ｄｘＰは、例えば実空間の所定横幅ＭＡＳＫ＿Ｗ０を画像上に展開した値（＝焦点距離ｆ×所定横幅ＭＡＳＫ＿Ｗ０／対象物距離ｚ）、または、所定値（例えば、２値化対象物の幅Ｗｂ＋２×所定値Ｍ＿Ｗ；ただし、所定値Ｍ＿Ｗは２ｐｉｘｅｌ等）のうち、何れか大きい方の値が設定される。
また、所定の縦幅ｄｙＰは、例えば実空間の所定縦幅ＭＡＳＫ＿Ｈ０（例えば、１０ｃｍ等）を画像上に展開した値（＝焦点距離ｆ×所定横幅ＭＡＳＫ＿Ｈ０／対象物距離ｚ）、または、所定の最小値のうち、何れか大きい方の値が設定される。
【００４７】
そして、２値化対象物ＯＢに連続して配置されている各探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）に対して、右画像と左画像との相間演算（Sum of Absolute difference）により各探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）の視差ｄｎ（Ｊ，Ｉ）を算出し、各視差ｄｎ（Ｊ，Ｉ）と、上述したステップＳ１３にて算出した視差Δｄとに基づき、
｜ｄｎ（Ｊ，Ｉ）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ
であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、この探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）に対して視差検出が成功、つまりこの探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）は２値化対象物ＯＢと略同等の視差を有する領域であると判断する。
一方、この判定結果が「ＮＯ」の場合には、この探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）に対して視差検出が失敗、つまりこの探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）は２値化対象物ＯＢと異なる視差を有する領域であると判断する。
【００４８】
そして、横方向または縦方向で隣り合う複数の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）に対して、視差検出が成功したと判定された探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）を単一の集合体として設定するクラスタリングの処理を行う。
このクラスタリングの処理は、例えば上下方向では、視差検出が連続して失敗したと判定された区間ΔＨが所定閾値Ｈ＿ＴＨよりも大きい場合には、単一の集合体ではないと判定し、例えば左右方向では、視差検出が連続して失敗したと判定された区間ΔＷが所定閾値Ｗ＿ＴＨよりも大きい場合には、単一の集合体ではないと判定する。
そして、形成された単一の集合体に属する最上端位置の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）の位置、例えばこの最上端位置の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）の左上頂点ＵＬ（Ｉ）の座標（ｘＰ（Ｊ，Ｉ），ｙＰ（Ｊ，Ｉ））により、グレースケール領域ＯＧの上端位置Ｏｂ＿ｍａｘ＿ｙは、
Ｏｂ＿ｍａｘ＿ｙ＝ｙＰ（Ｊ，Ｉ）
となる。
これにより、グレースケール領域ＯＧは、上端位置Ｏｂ＿ｍａｘ＿ｙから下端位置Ｏｂ＿ｍｉｎ＿ｙに到る縦幅、および、第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）の横幅ｄｘＰと単一の集合体の横幅とを含む横幅を有する領域として設定される。
【００４９】
上述したように、本実施の形態による車両周辺監視装置によれば、例えば横方向に相対的に大きな単一の探索領域を設定する場合に比べて、複数の複数の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）を設定することで、複数の各探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）の大きさを相対的に小さくすることができる。これにより、グレースケール画像上での２値化対象物ＯＢの横幅の検出精度を向上させることができると共に、例えばグレースケール画像上での対象物の横幅が２値化対象物ＯＢの横幅（例えば、幅Ｗｂ）あるいは２値化対象物ＯＢの横幅（例えば、幅Ｗｂ）から推定される値よりも大きい場合であっても、グレースケール画像上での対象物の横幅よりも小さな領域のみに探索領域が設定されてしまうことを防止することができる。そして、適宜の高さ毎に精度良く対象物の横幅を検出することで、例えば対象物が上下方向に対して適宜の角度で傾いている状態であっても、グレースケール画像上での２値化対象物ＯＢの高さを精度良く検出することができる。
そして、上述した処理によって算出された２値化対象物の高さ寸法（縦幅）が歩行者として許容される範囲の値であった場合には、２値化対象物が歩行者であると判断し、算出された２値化対象物の高さ寸法（縦幅）が歩行者として許容される範囲外の値であった場合には２値化対象物が人工構造物であると判断することができる。
【００５０】
なお、上述した実施の形態において、グレースケール領域の上端位置を算出する際、２値化対象物ＯＢの上端から上方の領域に設定した複数の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）に対して視差ｄｎ（Ｊ，Ｉ）を算出するとしたが、これに限定されず、例えば図１１に示す第１変形例のように、所定の基準探索領域（基準マスク）Ｍａｓｋ（ｋ）に対して視差ｄｎ（ｋ）を算出してもよい。（なお、ｋは適宜の整数）
この第１変形例では、先ず、図１１に示すステップＳ４１において、初期化処理として、上端位置Ｍａｘ＿ｙに２値化対象物ＯＢの外接四角形の高さ位置ｙｂを設定し、縦位置Ｍに１を設定し、視差検出失敗数ＮＧ＿ＣＯＵＮＴにゼロを設定する。
次に、ステップＳ４２においては、所定の縦幅（高さ幅）ｄｙＰおよび横幅ｄｘＰの複数（例えば、縦位置Ｍ＝１では２個）の所定の基準マスクＭａｓｋ（ｋ），Ｍａｓｋ（ｋ＋１）を設定し、各基準マスクＭａｓｋ（ｋ），Ｍａｓｋ（ｋ＋１）毎に視差ｄｎ（ｋ），ｄｎ（ｋ＋１）を算出する。
【００５１】
なお、このステップＳ４２において、縦位置Ｍ＝１である場合、つまり２値化対象物ＯＢの上端位置に隣接する各基準マスクＭａｓｋ（ｋ），Ｍａｓｋ（ｋ＋１）を設定する場合には、例えば図１２に示すように、横方向（つまりｘ方向）における基準マスクＭａｓｋ（ｋ）と、基準マスクＭａｓｋ（ｋ＋１）との境界位置のｘ座標を、２値化対象物ＯＢの外接四角形の左上頂点の座標（ｘｂ，ｙｂ）および外接四角形の幅Ｗｂに応じて、（ｘｂ＋Ｗｂ／２）とする。
また、複数の基準マスク…，Ｍａｓｋ（ｋ−１），Ｍａｓｋ（ｋ），Ｍａｓｋ（ｋ＋１），…は、順次、横方向（つまりｘ方向）の正方向に沿って配置されるように設定されている。
【００５２】
そして、ステップＳ４３においては、各視差ｄｎ（ｋ），ｄｎ（ｋ＋１）と、上述したステップＳ１３にて算出した視差Δｄとに基づき、
｜ｄｎ（ｋ）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ、かつ、
｜ｄｎ（ｋ＋１）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ
であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ４５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４４に進む。
【００５３】
ステップＳ４４においては、高さ位置の算出が成功、つまり各基準マスクＭａｓｋ（ｋ），Ｍａｓｋ（ｋ＋１）は２値化対象物ＯＢと略同等の視差を有する領域であると判断し、視差検出失敗数ＮＧ＿ＣＯＵＮＴにゼロを設定すると共に、上端位置Ｍａｘ＿ｙに、（ｙｂ−Ｍ×ｄｙＰ）を設定し、後述するステップＳ５６に進む。
また、ステップＳ４５においては、
｜ｄｎ（ｋ）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ
であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ５１に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４６に進む。
【００５４】
ステップＳ４６においては、横方向（つまりｘ方向）の負方向で基準マスクＭａｓｋ（ｋ）に隣接する基準マスクＭａｓｋ（ｋ−１）を設定し、この基準マスクＭａｓｋ（ｋ−１）の視差ｄｎ（ｋ−１）を算出する。
そして、ステップＳ４７においては、
｜ｄｎ（ｋ−１）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ
であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ５０に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ４８に進む。
【００５５】
ステップＳ４８においては、高さ位置の算出が成功、つまり各基準マスクＭａｓｋ（ｋ−１），Ｍａｓｋ（ｋ）は２値化対象物ＯＢと略同等の視差を有する領域であると判断し、視差検出失敗数ＮＧ＿ＣＯＵＮＴにゼロを設定すると共に、上端位置Ｍａｘ＿ｙに、（ｙｂ−Ｍ×ｄｙＰ）を設定し、ステップＳ４９に進む。
そして、ステップＳ４９においては、位置（ｋ−１）を、新たに基準位置ｋとして設定し、後述するステップＳ５６に進む。
また、ステップＳ５０においては、高さ位置の算出が失敗、つまり２値化対象物ＯＢと略同等の視差を有する領域を検出することができなかったと判断して、視差検出失敗数ＮＧ＿ＣＯＵＮＴに１を加算して得た値を、新たに視差検出失敗数ＮＧ＿ＣＯＵＮＴとして設定し、後述するステップＳ５６に進む。
【００５６】
また、ステップＳ５１においては、
｜ｄｎ（ｋ＋１）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ
であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ５１に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ５２に進む。
【００５７】
ステップＳ５２においては、横方向（つまりｘ方向）の正方向で基準マスクＭａｓｋ（ｋ＋１）に隣接する基準マスクＭａｓｋ（ｋ＋２）を設定し、この基準マスクＭａｓｋ（ｋ＋２）の視差ｄｎ（ｋ＋２）を算出する。
そして、ステップＳ５３においては、
｜ｄｎ（ｋ＋２）−Δｄ｜＜所定閾値ＤＩＳＰ＿ＴＨ
であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ５０に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ５４に進む。
【００５８】
ステップＳ５４においては、高さ位置の算出が成功、つまり各基準マスクＭａｓｋ（ｋ＋１），Ｍａｓｋ（ｋ＋２）は２値化対象物ＯＢと略同等の視差を有する領域であると判断し、視差検出失敗数ＮＧ＿ＣＯＵＮＴにゼロを設定すると共に、上端位置Ｍａｘ＿ｙに、（ｙｂ−Ｍ×ｄｙＰ）を設定し、ステップＳ５５に進む。
そして、ステップＳ５５においては、位置（ｋ＋１）を、新たに基準位置ｋとして設定し、ステップＳ５６に進む。
そして、ステップＳ５６においては、縦位置Ｍに１を加算して得た値を、新たに縦位置Ｍとして設定する。
【００５９】
そして、ステップＳ５７おいては、視差検出失敗数ＮＧ＿ＣＯＵＮＴと所定縦幅ＭＡＳＫ＿Ｈ０（例えば、１０ｃｍ等）とを積算して得た区間ΔＨが、所定閾値Ｈ＿ＴＨよりも大きいか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ４２に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ５８に進む。
そして、ステップＳ５８においては、上端位置Ｍａｘ＿ｙを、グレースケール領域ＯＧの上端位置Ｏｂ＿ｍａｘ＿ｙとして設定し、一連の処理を終了する。
【００６０】
例えば図１３に示すように、先ず、縦位置Ｍ＝１の処理では、２値化対象物ＯＢの上端位置を境界位置として、横方向の左右に２つの各基準マスクＭａｓｋ＿Ｌ（１），Ｍａｓｋ＿Ｒ（１）を設定し、各基準マスクＭａｓｋ＿Ｌ（１），Ｍａｓｋ＿Ｒ（１）毎に視差ｄｎ＿Ｌ（１），ｄｎ＿Ｒ（１）を算出する。そして、各視差ｄｎ＿Ｌ（１），ｄｎ＿Ｒ（１）と、視差Δｄとの差分が所定閾値ＤＩＳＰ＿ＴＨ未満である場合には、各基準マスクＭａｓｋ＿Ｌ（１），Ｍａｓｋ＿Ｒ（１）は２値化対象物ＯＢと略同等の視差を有する領域であると判断し、縦位置Ｍ＝２の処理に進む。
次に、縦位置Ｍ＝２の処理では、縦位置Ｍ＝１の処理で視差検出が成功したと判定された２つの各基準マスクＭａｓｋ＿Ｌ（１），Ｍａｓｋ＿Ｒ（１）の上部に隣接するようにして、２つの各基準マスクＭａｓｋ＿Ｌ（２），Ｍａｓｋ＿Ｒ（２）を設定し、各基準マスクＭａｓｋ＿Ｌ（２），Ｍａｓｋ＿Ｒ（２）毎に視差ｄｎ＿Ｌ（２），ｄｎ＿Ｒ（２）を算出する。そして、各視差ｄｎ＿Ｌ（２），ｄｎ＿Ｒ（２）と、視差Δｄとの差分が所定閾値ＤＩＳＰ＿ＴＨ未満である場合には、各基準マスクＭａｓｋ＿Ｌ（２），Ｍａｓｋ＿Ｒ（２）は２値化対象物ＯＢと略同等の視差を有する領域であると判断し、縦位置Ｍ＝３の処理に進む。
【００６１】
次に、縦位置Ｍ＝３の処理では、縦位置Ｍ＝２の処理で視差検出が成功したと判定された２つの各基準マスクＭａｓｋ＿Ｌ（２），Ｍａｓｋ＿Ｒ（２）の上部に隣接するようにして、２つの各基準マスクＭａｓｋ＿Ｌ（３），Ｍａｓｋ＿Ｒ（３）を設定し、各基準マスクＭａｓｋ＿Ｌ（３），Ｍａｓｋ＿Ｒ（３）毎に視差ｄｎ＿Ｌ（３），ｄｎ＿Ｒ（３）を算出する。ここで、例えば視差ｄｎ＿Ｒ（３）と、視差Δｄとの差分のみが所定閾値ＤＩＳＰ＿ＴＨ未満である場合には、基準マスクＭａｓｋ＿Ｒ（３）のみが２値化対象物ＯＢと略同等の視差を有する領域であると判断し、基準マスクＭａｓｋ＿Ｒ（３）の右部に隣接するようにして基準マスクＭａｓｋ＿ＲＲ（３）を設定し、視差ｄｎ＿ＲＲ（３）を算出する。ここで、例えば視差ｄｎ＿ＲＲ（３）と、視差Δｄとの差分が所定閾値ＤＩＳＰ＿ＴＨ未満ではない場合には、基準マスクＭａｓｋ＿ＲＲ（３）は２値化対象物ＯＢと略同等の視差を有する領域ではないと判断し、縦位置Ｍ＝４の処理に進む。
【００６２】
次に、縦位置Ｍ＝４の処理では、縦位置Ｍ＝３の処理で左右一対の基準マスクを検出することができなかったことから、縦位置Ｍ＝２の処理で視差検出が成功したと判定された２つの各基準マスクＭａｓｋ＿Ｌ（２），Ｍａｓｋ＿Ｒ（２）の上方に位置する２つの各基準マスクＭａｓｋ＿Ｌ（４），Ｍａｓｋ＿Ｒ（４）を設定し、各基準マスクＭａｓｋ＿Ｌ（４），Ｍａｓｋ＿Ｒ（４）毎に視差ｄｎ＿Ｌ（４），ｄｎ＿Ｒ（４）を算出する。ここで、例えば視差ｄｎ＿Ｒ（４）と、視差Δｄとの差分のみが所定閾値ＤＩＳＰ＿ＴＨ未満である場合には、基準マスクＭａｓｋ＿Ｒ（４）のみが２値化対象物ＯＢと略同等の視差を有する領域であると判断し、基準マスクＭａｓｋ＿Ｒ（４）の右部に隣接するようにして基準マスクＭａｓｋ＿ＲＲ（４）を設定し、視差ｄｎ＿ＲＲ（４）を算出する。そして、例えば視差ｄｎ＿ＲＲ（４）と、視差Δｄとの差分が所定閾値ＤＩＳＰ＿ＴＨ未満である場合には、基準マスクＭａｓｋ＿ＲＲ（４）が２値化対象物ＯＢと略同等の視差を有する領域であると判断し、縦位置Ｍ＝５の処理に進む。
【００６３】
次に、縦位置Ｍ＝５の処理では、縦位置Ｍ＝４の処理で視差検出が成功したと判定された２つの各基準マスクＭａｓｋ＿Ｒ（４），Ｍａｓｋ＿ＲＲ（４）の上部に隣接するようにして、２つの各基準マスクＭａｓｋ＿Ｌ（５），Ｍａｓｋ＿Ｒ（５）を設定し、各基準マスクＭａｓｋ＿Ｌ（５），Ｍａｓｋ＿Ｒ（５）毎に視差ｄｎ＿Ｌ（５），ｄｎ＿Ｒ（５）を算出する。そして、各視差ｄｎ＿Ｌ（５），ｄｎ＿Ｒ（５）と、視差Δｄとの差分が所定閾値ＤＩＳＰ＿ＴＨ未満である場合には、各基準マスクＭａｓｋ＿Ｌ（５），Ｍａｓｋ＿Ｒ（５）は２値化対象物ＯＢと略同等の視差を有する領域であると判断する。
【００６４】
また、例えば図１４に示すように、例えば上下方向において、視差検出が連続して失敗したと判定された区間ΔＨが所定閾値Ｈ＿ＴＨよりも大きい場合には、前回に視差検出が成功したと判定された基準マスク（Ｂ）と、今回に視差検出が成功したと判定された基準マスク（Ａ）とは、互いに異なる対象物、つまり今回の基準マスク（Ａ）は２値化対象物ＯＢとは異なる他の対象物に対応する領域であると判断して、グレースケール領域ＯＧの上端位置Ｏｂ＿ｍａｘ＿ｙを、前回に視差検出が成功したと判定された基準マスク（Ｂ）に係る位置として設定し、一連の処理を終了する。
この第１変形例によれば、予め設定した複数の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）に対して視差ｄｎ（Ｊ，Ｉ）を算出する上述した実施の形態に比べて、演算負荷の増大を抑制することができる。
【００６５】
また、上述した実施の形態において、グレースケール領域の下端位置を算出する際、２値化対象物ＯＢよりも手前の位置に他の対象物（例えば、壁等）が存在する場合には、（ｄｎ１（Ｉ）−Δｄ）≧所定閾値ＤＩＳＰ＿ＴＨとなる最下端位置の第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）を検出するとしたが、これに限定されず、例えば図１５に示す第２変形例のように、各第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）に対して、（ｄｎ１（Ｉ）−Δｄ）≧所定閾値ＤＩＳＰ＿ＴＨとなり（つまり、赤外線カメラ２Ｒ，２Ｌと、２値化対象物ＯＢとの間に、障害物とされる他の対象物Ｏ１が存在すると判定され）、互いに略同等の視差を有する１つまたは複数の第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）を、新たに第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）として設定してもよい。
この場合には、設定された第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）が２値化対象物ＯＢに連続して配置されているか否かを判定し、互いに略同等の視差を有すると共に２値化対象物ＯＢに連続して配置されている１つまたは複数の第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）のうちから、最下端位置の第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）を検出し、２値化対象物ＯＢと略同等の視差を有し、２値化対象物ＯＢに連続して配置されている最下端位置の第１探索領域Ｍａｓｋ＿Ｕ（Ｉ）の下端位置Ｄ＿Ｆ＿ｙＰと、最下端位置の第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）の下端位置とに基づき、グレースケール領域の下端位置Ｏｂ＿ｍｉｎ＿ｙを算出してもよい。
さらに、この場合、第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）が２値化対象物ＯＢに連続して配置されているか否かを判定する際に、互いに略同等の視差を有する第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）から所定距離以内に存在する第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ＋ｊ）（ｊは任意の整数）を、第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）に連続していると判定してもよい。
【００６６】
なお、上述した実施の形態においては、２値化対象物ＯＢの上端から上方の領域にのみ、所定の縦幅（高さ幅）ｄｙＰ毎に複数の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）を設定してグレースケール画像上での２値化対象物ＯＢの高さを算出したが、これに限定されず、例えば２値化対象物ＯＢの下方に対しても同様に所定高さ毎に複数の探索領域を設定してグレースケール画像上での２値化対象物ＯＢの高さを算出してもよい。
【図面の簡単な説明】
【００６７】
【図１】本発明の実施の形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示す車両周辺監視装置を搭載した車両を示す図である。
【図３】図１に示す車両周辺監視装置の動作を示すフローチャートである。
【図４】図３に示す警報判定処理を示すフローチャートである。
【図５】自車両と対象物との相対位置の一例を示す図である。
【図６】車両前方に設定される接近判定領等の領域区分の一例を示す図である。
【図７】グレースケール領域の下端位置を検出する際に設定する第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）の一例を示す図である。
【図８】２値化対象物ＯＢよりも手前の位置に他の対象物Ｏ１（例えば、壁等）が存在する場合の一例を示す実空間での図である。
【図９】２値化対象物ＯＢよりも手前の位置に他の対象物Ｏ１（例えば、壁等）が存在する場合の一例を示す画像上の図である。
【図１０】グレースケール領域の上端位置を検出する際に２値化対象物ＯＢの上端から上方の領域に予め設定される複数の探索領域Ｍａｓｋ＿Ｕ（Ｊ，Ｉ）の一例を示す図である。
【図１１】本実施形態の第１変形例に係るグレースケール領域の上端位置を検出する処理の一例を示すフローチャートである。
【図１２】本実施形態の第１変形例に係るグレースケール領域の上端位置を検出する際に２値化対象物ＯＢの上端から上方の領域に設定される各基準マスクＭａｓｋ（ｋ），Ｍａｓｋ（ｋ＋１）の一例を示す図である。
【図１３】本実施形態の第１変形例に係るグレースケール領域の上端位置を検出する際に２値化対象物ＯＢの上端から上方の領域に設定される各基準マスクの一例を示す図である。
【図１４】本実施形態の第１変形例に係るグレースケール領域の上端位置を検出する際に視差検出が連続して失敗したと判定された区間ΔＨの一例を示す図である。
【図１５】本実施形態の第２変形例に係るグレースケール領域の下端位置を検出する際に設定する第１探索領域Ｍａｓｋ＿Ｕ１（Ｉ）および第２探索領域Ｍａｓｋ＿Ｕ２（Ｉ）の一例を示す図である。
【符号の説明】
【００６８】
１  画像処理ユニット
２Ｒ，２Ｌ  赤外線カメラ
３  ヨーレートセンサ
４  車速センサ
５  ブレーキセンサ
６  スピーカ
７  表示装置
１０  自車両
ステップＳ７  ２値化対象物抽出手段
ステップＳ１９  警報出力手段
ステップＳ３４  探索領域設定手段、探索領域抽出手段、相関度判定手段、高さ算出手段、対象物種別判定手段
ステップＳ３５  歩行者認識手段
【図１】
2006185432.tif 000006
【図２】
2006185432.tif 000007
【図３】
2006185432.tif 000008
【図４】
2006185432.tif 000009
【図５】
2006185432.tif 000010
【図６】
2006185432.tif 000011
【図７】
2006185432.tif 000012
【図８】
2006185432.tif 000013
【図９】
2006185432.tif 000014
【図１０】
2006185432.tif 000015
【図１１】
2006185432.tif 000016
【図１２】
2006185432.tif 000017
【図１３】
2006185432.tif 000018
【図１４】
2006185432.tif 000019
【図１５】
2006185432.tif 000020