(57)【要約】【課題】赤外線画像上において歩行者と人工構造物とを的確に区別して抽出する。【解決手段】人工構造物判定処理では、グレースケール画像において、縦方向の各縦位置Ｊ毎での横方向に沿った輝度値の平均値の縦位置Ｊに応じた変化（横平均輝度プロジェクション）Ｆ（Ｊ）と、横平均輝度プロジェクションＦ（Ｊ）での縦位置Ｊに応じた傾きの変化（微分係数）Ｓ（Ｊ）とに基づき、最大ピーク位置ｊ＿ｅｎと最小ピーク位置ｊ＿ｓｔを検知する。最大ピーク位置ｊ＿ｅｎと最小ピーク位置ｊ＿ｓｔとの差分に対応する実空間での区間長さが所定長さＳＬＯＰＥ＿ＴＨ（例えば、１ｍ）よりも長い場合には、縦方向における熱分布が相対的に緩やかであると判断して、２値化対象物が人工構造物であると判定して、一連の処理を終了する。【選択図】図９
2006185429.tif 000002
【特許請求の範囲】
【請求項１】
赤外線撮像手段の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、
前記画像のグレースケール画像を２値化処理して得た画像データから２値化対象物を抽出する２値化対象物抽出手段と、
前記グレースケール画像上に、前記２値化対象物抽出手段により抽出された前記２値化対象物の少なくとも一部を含む領域を設定する領域設定手段と、
前記領域設定手段により設定された前記領域の輝度状態量を算出する輝度状態量算出手段と、
前記輝度状態量算出手段により算出された前記輝度状態量に基づき前記領域内での略最大輝度値の位置と略最小輝度値の位置との間の区間に係る区間状態量を算出する区間状態量算出手段と、
前記区間状態量算出手段により算出された前記区間状態量に基づき前記対象物の種別を判定する対象物種別判定手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
前記区間状態量は前記区間の長さであることを特徴とする請求項１に記載の車両周辺監視装置。
【請求項３】
前記輝度状態量算出手段により算出された前記輝度状態量に基づき、前記グレースケール画像上に、前記２値化対象物抽出手段により抽出された前記２値化対象物に係る所定領域を設定する所定領域設定手段と、
前記所定領域設定手段により設定された前記所定領域の縦横比を算出する縦横比算出手段と、
前記縦横比算出手段により算出された前記縦横比が所定上限値以上あるいは所定下限値以下であるか否かを判定する縦横比判定手段とを備え、
前記対象物種別判定手段は、前記区間状態量算出手段により算出された前記区間状態量に加えて、前記縦横比判定手段の判定結果に基づき前記対象物の種別を判定することを特徴とする請求項１または請求項２に記載の車両周辺監視装置。
【請求項４】
前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段を備え、
該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴とする請求項１から請求項３の何れかひとつに記載の車両周辺監視装置。
【請求項５】
前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段を備えることを特徴とする請求項１から請求項４の何れかひとつに記載の車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、赤外線カメラにより撮影された画像の２値化処理により対象物抽出を行う車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、赤外線カメラの撮影により得られた自車両周辺の赤外線画像から、自車両との衝突の可能性がある歩行者等の対象物を抽出し、この対象物の情報を自車両の運転者に提供する表示処理装置が知られている（例えば、特許文献１参照）。
この表示処理装置では、赤外線画像を２値化処理して明部が集中している領域（２値化対象物）を探索し、２値化対象物の縦横比や充足率、更には実面積と赤外線画像上の重心位置とにより算出した距離に基づき、２値化対象物が歩行者の頭部であるか否かを判定する。そして、歩行者の頭部領域の赤外線カメラからの距離と、成人の平均身長とから、赤外線画像上の歩行者の身長を算出すると共に、歩行者の身体を包含する身体領域を設定し、頭部領域および身体領域を他の領域と区分して表示することにより、歩行者に対する運転者の視覚補助を行うようになっている。
【特許文献１】特開平１１−３２８３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術の一例に係る表示処理装置においては、赤外線画像上での頭部領域や身体領域に対する形状判定に基づいて歩行者を検知していることから、歩行者の形状、特に頭部の形状と類似した大きさおよび高さ位置を有して発熱する人工構造物と、歩行者とを識別することが困難になる虞がある。
本発明は上記事情に鑑みてなされたもので、赤外線画像上において歩行者と人工構造物とを的確に区別して抽出することが可能な車両周辺監視装置を提供することを目的としている。
【課題を解決するための手段】
【０００４】
上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車両周辺監視装置は、赤外線撮像手段（例えば、実施の形態での赤外線カメラ２Ｒ，２Ｌ）の撮像により得られた画像に基づき自車両の外界に存在する物体を対象物として抽出する車両周辺監視装置であって、前記画像のグレースケール画像を２値化処理して得た画像データから２値化対象物を抽出する２値化対象物抽出手段（例えば、実施の形態でのステップＳ７）と、前記グレースケール画像上に、前記２値化対象物抽出手段により抽出された前記２値化対象物の少なくとも一部を含む領域（例えば、実施の形態でのマスクＯＡ）を設定する領域設定手段（例えば、実施の形態でのステップＳ３４）と、前記領域設定手段により設定された前記領域の輝度状態量（例えば、実施の形態での横平均輝度プロジェクションＦ（Ｊ）、微分係数Ｓ（Ｊ））を算出する輝度状態量算出手段（例えば、実施の形態でのステップＳ３４が兼ねる）と、前記輝度状態量算出手段により算出された前記輝度状態量に基づき前記領域内での略最大輝度値の位置（例えば、実施の形態での最大ピーク位置ｊ＿ｅｎ）と略最小輝度値の位置（例えば、実施の形態での最小ピーク位置ｊ＿ｓｔ）との間の区間に係る区間状態量（例えば、実施の形態での区間長さ｛｜最大ピーク位置ｊ＿ｅｎ−最小ピーク位置ｊ＿ｓｔ｜×画素ピッチｐ｝）を算出する区間状態量算出手段（例えば、実施の形態でのステップＳ３４が兼ねる）と、前記区間状態量算出手段により算出された前記区間状態量に基づき前記対象物の種別を判定する対象物種別判定手段（例えば、実施の形態でのステップＳ３４が兼ねる）とを備えることを特徴としている。
【０００５】
上記の車両周辺監視装置によれば、輝度状態量算出手段は領域設定手段により設定された領域での輝度状態量として、例えばグレースケール画像上の各縦位置での横方向に沿った輝度値の平均値（横平均輝度）の変化等を算出する。区間状態量算出手段は、輝度状態量に基づき領域内での略最大輝度値の位置と略最小輝度値の位置との間の区間に係る区間状態量として、例えば区間の長さや区間内での輝度値の分布状態等を算出する。そして、算出した区間状態量が人体の身体的特徴として許容される所定範囲の値を超える場合、例えば区間の長さが過剰に長い場合には、人工構造物であると的確に判別することができる。
【０００６】
さらに、請求項２に記載の本発明の車両周辺監視装置では、前記区間状態量は前記区間の長さであることを特徴としている。
【０００７】
上記の車両周辺監視装置によれば、領域内での輝度値の絶対的な値に関わらずに相対的な値の分布状態に応じた区間の長さに基づき人工構造物と人工構造物以外とを的確に区別することができる。
【０００８】
さらに、請求項３に記載の本発明の車両周辺監視装置は、前記輝度状態量算出手段により算出された前記輝度状態量に基づき、前記グレースケール画像上に、前記２値化対象物抽出手段により抽出された前記２値化対象物に係る所定領域（例えば、実施の形態でのマスクＣＡ）を設定する所定領域設定手段（例えば、実施の形態でのステップＳ３４が兼ねる）と、前記所定領域設定手段により設定された前記所定領域の縦横比（例えば、実施の形態での縦横比（＝縦幅ｃ＿Ｈ／横幅ｃ＿Ｗ））を算出する縦横比算出手段（例えば、実施の形態でのステップＳ３４が兼ねる）と、前記縦横比算出手段により算出された前記縦横比が所定上限値（例えば、実施の形態での所定上限値Ｒ＿ＴＨＵ）以上あるいは所定下限値（例えば、実施の形態での所定下限値Ｒ＿ＴＨＬ）以下であるか否かを判定する縦横比判定手段（例えば、実施の形態でのステップＳ３４が兼ねる）とを備え、前記対象物種別判定手段は、前記区間状態量算出手段により算出された前記区間状態量に加えて、前記縦横比判定手段の判定結果に基づき前記対象物の種別を判定することを特徴としている。
【０００９】
上記の車両周辺監視装置によれば、２値化対象物の縦横比が人体の身体的特徴として許容される所定範囲の値を超える場合、例えば人体の頭部では縦横比がほぼ１近傍の値となることに対して過剰に縦長や横長の値となる場合には、人工構造物であると的確に判別することができ、区間状態量に加えて縦横比に基づき、対象物の種別を判定する際の信頼度を向上させることができる。
【００１０】
さらに、請求項４に記載の本発明の車両周辺監視装置は、前記画像に基づき自車両の外界に存在する歩行者を認識する歩行者認識手段（例えば、実施の形態でのステップＳ３５）を備え、該歩行者認識手段は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して歩行者認識処理を実行することを特徴としている。
【００１１】
上記の車両周辺監視装置によれば、歩行者であると判定された対象物に加えて、人工構造物以外であると判定された対象物に対して歩行者認識処理を実行することにより、歩行者の認識精度を向上させることができる。
【００１２】
さらに、請求項５に記載の本発明の車両周辺監視装置は、前記対象物種別判定手段により人工構造物以外あるいは歩行者であると判定された前記対象物に対して警報を出力する警報出力手段（例えば、実施の形態でのステップＳ１９）を備えることを特徴としている。
【００１３】
上記の車両周辺監視装置によれば、歩行者であると判定された対象物に加えて、人工構造物以外であると判定された対象物に対して警報を出力することから、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。
【発明の効果】
【００１４】
以上説明したように、請求項１に記載の本発明の車両周辺監視装置によれば、区間状態量が人体の身体的特徴として許容される所定範囲の値を超える場合、例えば区間の長さが過剰に短いあるいは長い場合には、人工構造物であると的確に判別することができる。
さらに、請求項２に記載の本発明の車両周辺監視装置によれば、領域内での輝度値の絶対的な値に関わらずに相対的な値の分布状態に応じた区間の長さに基づき人工構造物と人工構造物以外とを的確に区別することができる。
さらに、請求項３に記載の本発明の車両周辺監視装置によれば、区間状態量に加えて縦横比に基づき、対象物の種別を判定する際の信頼度を向上させることができる。
さらに、請求項４に記載の本発明の車両周辺監視装置によれば、歩行者の認識精度を向上させることができる。
さらに、請求項５に記載の本発明の車両周辺監視装置によれば、人工構造物に対して不必要な警報を出力してしまうことを防止することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施形態に係る車両周辺監視装置について添付図面を参照しながら説明する。
本実施の形態による車両周辺監視装置は、例えば図１に示すように、車両周辺監視装置を制御するＣＰＵ（中央演算装置）を備えた画像処理ユニット１と、遠赤外線を検出可能な２つの赤外線カメラ２Ｒ，２Ｌと、自車両のヨーレートを検出するヨーレートセンサ３と、自車両の走行速度（車速）を検出する車速センサ４と、運転者によるブレーキ操作の有無を検出するブレーキセンサ５と、スピーカ６と、表示装置７とを備えて構成され、例えば、画像処理ユニット１は２つの赤外線カメラ２Ｒ，２Ｌの撮影により得られる自車両周辺の赤外線画像と、各センサ３，４，５により検出される自車両の走行状態に係る検出信号とから、自車両の進行方向前方の歩行者や動物等の移動体を検出し、検出した移動体と自車両との接触が発生する可能性があると判断したときに、スピーカ６または表示装置７を介して警報を出力するようになっている。
なお、表示装置７は、例えば自車両の各種走行状態量を表示する計器類と一体化された表示装置やナビゲーション装置の表示装置、さらにフロントウィンドウにおいて運転者の前方視界を妨げない位置に各種情報を表示するＨＵＤ（Head Up Display）７ａ等を備えて構成されている。
【００１６】
また、画像処理ユニット１は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路と、ディジタル化した画像信号を記憶する画像メモリと、各種演算処理を行うＣＰＵ（中央演算装置）と、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）と、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）と、スピーカ６の駆動信号やＨＵＤ７ａ等の表示信号などを出力する出力回路とを備えており、赤外線カメラ２Ｒ，２Ｌおよび各センサ３，４，５から出力される信号は、ディジタル信号に変換されてＣＰＵに入力されるように構成されている。
【００１７】
なお、例えば図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前部に、自車両１０の車幅方向中心部に対してほぼ対象な位置に配置されており、２つの赤外線カメラ２Ｒ，２Ｌの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、対象物の温度が高いほど、出力信号レベルが高くなる（つまり、輝度が増大する）特性を有している。
また、ＨＵＤ７ａは、自車両１０のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。
【００１８】
本実施の形態による車両周辺監視装置は上記構成を備えており、次に、この車両周辺監視装置の動作について添付図面を参照しながら説明する。
以下に、画像処理ユニット１における歩行者等の対象物検出および警報出力の動作について説明する。
まず、図３に示すステップＳ１において、画像処理ユニット１は、赤外線カメラ２Ｒ，２Ｌの出力信号である赤外線画像を取得する。
次に、ステップＳ２においては、取得した赤外線画像をＡ／Ｄ変換する。
次に、ステップＳ３においては、中間階調情報を含むグレースケール画像を取得して、画像メモリに格納する。なお、ここでは赤外線カメラ２Ｒにより右画像が得られ、赤外線カメラ２Ｌにより左画像が得られる。また、右画像と左画像とでは、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ（つまり、視差）により自車両１０から対象物までの距離を算出することができる。
【００１９】
次に、ステップＳ４においては、赤外線カメラ２Ｒにより得られた右画像を基準画像とし、この画像信号の２値化処理、すなわち所定輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。
なお、以下のステップＳ４〜ステップＳ９の処理は、２値化処理により得た基準画像（例えば、右画像）について実行する。
次に、ステップＳ５においては、赤外線画像に２値化処理を実行して得た画像データをランレングスデータに変換する。ランレングスデータでは、２値化処理により白となった領域を画素レベルでラインとして表示し、各ラインはｙ方向に１画素の幅を有し、ｘ方向に適宜の画素数の長さを有するように設定されている
【００２０】
次に、ステップＳ６においては、ランレングスデータに変換された画像データにおいて、対象物のラベリングを行う。
次に、ステップＳ７においては、対象物のラベリングに応じて対象物を抽出する。ここでは、ランレングスデータにおける各ラインのうち、同等のｘ方向座標を含むライン同士がｙ方向で隣接する場合に、隣接するラインが単一の対象物を構成しているとみなす。
次に、ステップＳ８においては、抽出した対象物の重心Ｇと、面積Ｓと、外接四角形の縦横比ＡＳＰＥＣＴとを算出する。
【００２１】
ここで、面積Ｓは、ラベルＡの対象物のランレングスデータを（ｘ［ｉ］、ｙ［ｉ］、ｒｕｎ［ｉ］、Ａ）（ｉ＝０，１，２，…，Ｎ−１；Ｎは任意の自然数）とすると、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）を同一対象物において積算することにより算出する。
また、ラベルＡの対象物の重心Ｇの座標（ｘｃ、ｙｃ）は、各ランレングスデータの長さ（ｒｕｎ［ｉ］−１）と、各ランレングスデータの座標ｘ［ｉ］またはｙ［ｉ］とを乗算して得た値（つまり、（ｒｕｎ［ｉ］−１）×ｘ［ｉ］または（ｒｕｎ［ｉ］−１）×ｙ［ｉ］）を同一対象物において積算して得た値を、面積Ｓで除算することにより算出する。
さらに、縦横比ＡＳＰＥＣＴは、ラベルＡの対象物の外接四角形の縦方向の長さＤｙと横方向の長さＤｘとの比Ｄｙ／Ｄｘとして算出する。
なお、ランレングスデータは画素数（座標数）（＝ｒｕｎ［ｉ］）で示されているので、実際の長さは「−１」する必要がある（＝ｒｕｎ［ｉ］−１）。また、重心Ｇの座標は、外接四角形の重心座標で代用してもよい。
【００２２】
次に、ステップＳ９およびステップＳ１０の処理と、ステップＳ１１〜ステップＳ１３の処理とを並行して実行する。
まず、ステップＳ９においては、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う。この時刻間追跡は、アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、例えば時刻ｋで対象物Ａ、Ｂを抽出した場合、時刻（ｋ＋１）で抽出した対象物Ｃ、Ｄと対象物Ａ、Ｂとの同一性判定を行う。そして、対象物Ａ、Ｂと対象物Ｃ、Ｄとが同一であると判定された場合には、対象物Ｃ、Ｄのラベルをそれぞれ対象物Ａ、Ｂのラベルに変更する。そして、認識された各対象物の位置座標（例えば、重心等）を、時系列位置データとして適宜のメモリに格納する。
【００２３】
次に、ステップＳ１０においては、車速センサ４により検出された車速ＶＣＡＲおよびヨーレートセンサ３より検出されたヨーレートＹＲを取得し、ヨーレートＹＲを時間積分して、自車両１０の回頭角θｒを算出する。
【００２４】
一方、ステップＳ９およびステップＳ１０の処理に並行して実行されるステップＳ１１〜ステップＳ１３においては、対象物と自車両１０との距離ｚを算出する。なお、このステップＳ１１の処理は、ステップＳ９およびステップＳ１０の処理よりも長い演算時間を要することから、ステップＳ９およびステップＳ１０よりも長い周期（例えば、ステップＳ１〜ステップＳ１０の実行周期の３倍程度の周期等）で実行されるようになっている。
先ず、ステップＳ１１においては、基準画像（例えば、右画像）を２値化処理して得た画像データ上で追跡される複数の対象物のうちから１つの対象物を選択し、例えば選択した対象物を外接四角形で囲む領域全体を探索画像Ｒ１として基準画像（例えば、右画像）から抽出する。
【００２５】
次に、ステップＳ１２においては、基準画像（例えば、右画像）に対応する画像（例えば、左画像）中から探索画像Ｒ１に対応する画像（対応画像）Ｒ２を探索する探索領域を設定し、相関演算を実行して対応画像Ｒ２を抽出する。ここでは、例えば探索画像Ｒ１の各頂点座標に応じて、左画像中に探索領域を設定し、探索領域内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像Ｒ２として抽出する。なお、この相関演算は、２値化処理して得た画像データではなく、グレースケール画像に対して実行する。また、同一対象物についての過去の位置データが存在する場合には、過去の位置データに基づいて探索領域を狭めることが可能である。
【００２６】
次に、ステップＳ１３においては、探索画像Ｒ１の重心位置と、対応画像Ｒ２の重心位置と、画素数単位での視差Δｄとを算出し、さらに、自車両１０と対象物との距離つまり赤外線カメラ２Ｒ，２Ｌのレンズと対象物との距離（対象物距離）ｚ（ｍ）を、例えば下記数式（１）に示すように、カメラ基線長、つまり赤外線カメラ２Ｒ，２Ｌの各撮像素子の中心位置間の水平距離Ｄ（ｍ）と、カメラ焦点距離、つまり赤外線カメラ２Ｒ，２Ｌの各レンズの焦点距離ｆ（ｍ）と、画素ピッチｐ（ｍ／ｐｉｘｅｌ）と、視差Δｄ（ｐｉｘｅｌ）とに基づき算出する。
【００２７】
【数１】
2006185429.tif 000003
【００２８】
そして、ステップＳ１４においては、ステップＳ１０での回頭角θｒの算出と、ステップＳ１３での距離ｚの算出との完了後に、例えば下記数式（２）に示すように、画像データ上での対象物の座標（ｘ，ｙ）および距離ｚを実空間座標（Ｘ，Ｙ，Ｚ）に変換する。
ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、例えば図２に示すように、自車両１０の前部における赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点Ｏとして設定され、画像データ上の座標は、画像データの中心を原点として水平方向をｘ方向、垂直方向をｙ方向として設定されている。また、座標（ｘｃ，ｙｃ）は、基準画像（例えば、右画像）上の座標（ｘ，ｙ）を、赤外線カメラ２Ｒの取付位置と、実空間の原点Ｏとの相対位置関係に基づいて、実空間の原点Ｏと画像データの中心とを一致させて得た仮想的な画像上の座標に変換して得た座標である。
【００２９】
【数２】
2006185429.tif 000004
【００３０】
次に、ステップＳ１５においては、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。この回頭角補正は、時刻ｋから時刻（ｋ＋１）までの期間中に自車両１０が、例えば左方向に回頭角θｒだけ回頭すると、赤外線カメラ２Ｒ，２Ｌによって得られる画像データ上では、画像データの範囲がΔｘだけｘ方向にずれるのことを補正する処理であり、例えば下記数式（３）に示すように、実空間座標（Ｘ，Ｙ，Ｚ）を補正して得た補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を、新たに実空間座標（Ｘ，Ｙ，Ｚ）として設定する。
【００３１】
【数３】
2006185429.tif 000005
【００３２】
次に、ステップＳ１６においては、同一対象物について所定時間ΔＴのモニタ期間内に得られた回頭角補正後のＮ（例えば、Ｎ＝１０程度）個の時系列データをなす実空間位置データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを算出する。
このステップＳ１６においては、最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（つまり、所定時間ΔＴ前）の位置座標Ｐ（Ｎ−１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））とを、近似直線ＬＭＶ上の位置に補正し、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））およびＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を算出する。
これにより、位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。
このように所定時間ΔＴのモニタ期間内の複数（例えば、Ｎ個）の実空間位置データから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して自車両１０と対象物との接触発生の可能性を精度良く予測することが可能となる。
【００３３】
次に、ステップＳ１７においては、例えば検出した対象物と自車両１０との接触発生の可能性の有無等に応じた警報判定処理において、検出した対象物が警報対象であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１へ戻り、上述したステップＳ１〜ステップＳ１７の処理を繰り返す。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１８に進む。
そして、ステップＳ１８においては、例えばブレーキセンサ５の出力ＢＲに基づく自車両１０の運転者がブレーキ操作を行っているか否か等に応じた警報出力判定処理において、警報出力が必要か否かを判定する。
ステップＳ１８の判定結果が「ＮＯ」の場合、例えば自車両１０の運転者がブレーキ操作を行っている場合に発生する加速度Ｇｓ（減速方向を正とする）が所定閾値ＧＴＨよりも大きいとき場合には、運転者のブレーキ操作により接触発生が回避されると判断して、判定して、ステップＳ１へ戻り、上述したステップＳ１〜ステップＳ１８の処理を繰り返す。
一方、ステップＳ１８の判定結果が「ＹＥＳ」の場合、例えば自車両１０の運転者がブレーキ操作を行っている場合に発生する加速度Ｇｓ（減速方向を正とする）が所定閾値ＧＴＨ以下である場合、あるいは、自車両１０の運転者がブレーキ操作を行っていない場合には、  一方、ステップＳ１８の判定結果が「ＹＥＳ」の場合には、接触発生の可能性が高いと判断して、ステップＳ１９に進む。
なお、所定閾値ＧＴＨは、ブレーキ操作中の加速度Ｇｓが維持された場合に、対象物と自車両１０との間の距離が所定の距離Ｚｖ（０）以下で自車両１０が停止する状態に対応する値である。
【００３４】
そして、ステップＳ１９においては、例えばスピーカ６を介した音声等の聴覚的警報や、例えば表示装置７を介した表示等の視覚的警報や、例えばシートベルトに所定の張力を発生させて運転者が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させることによる触覚的警報を出力する。
次に、ステップＳ２０においては、表示装置７に対して、例えば赤外線カメラ２Ｒにより得られる画像データを出力し、相対的に接近する対象物を強調映像として表示する。
【００３５】
以下に、上述したステップＳ１７における警報判定処理について添付図面を参照しながら説明する。
この警報判定処理は、例えば図４に示すように、衝突判定処理と、接近判定領域内か否かの判定処理と、進入衝突判定処理と、人工構造物判定処理と、歩行者判定処理とにより、自車両１０と検出した対象物との接触発生の可能性を判定する処理である。なお、以下においては、例えば図５に示すように、自車両１０の進行方向（例えば、Ｚ方向）に対してほぼ直交する方向において速度Ｖｐで移動する対象物２０が存在する場合を参照して説明する。
【００３６】
まず、図４に示すステップＳ３１においては、衝突判定処理を行う。この衝突判定処理では、例えば図５において、対象物２０が所定時間ΔＴの間に、自車両１０の進行方向に平行な方向に沿って距離Ｚｖ（Ｎ−１）から距離Ｚｖ（０）に接近した場合に、自車両１０のＺ方向での相対速度Ｖｓを算出し、自車両１０と対象物２０とが所定地上高Ｈ以内で相対速度Ｖｓを維持して移動すると仮定した場合に、所定の余裕時間Ｔｓ以内に自車両１０と対象物２０とが接触するか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３２に進む。
なお、余裕時間Ｔｓは、接触発生の可能性を、予測される接触発生時刻よりも所定時間Ｔｓだけ以前のタイミングで判定するための時間であって、例えば２〜５秒程度に設定される。また、所定地上高Ｈは、例えば自車両１０の車高の２倍程度の値に設定される。
【００３７】
次に、ステップＳ３２においては、検出した対象物が所定の接近判定領域内に存在するか否かを判定する。この判定処理では、例えば図６に示すように、赤外線カメラ２Ｒ，２Ｌで監視可能な領域ＡＲ０内において、自車両１０から距離（Ｖｓ×Ｔｓ）だけ前方の位置Ｚ１よりも手前の領域であって、車両横方向（つまり、Ｘ方向）において自車両１０の車幅αの両側に所定幅β（例えば、５０〜１００ｃｍ程度）を加算して得た幅（α＋２β）を有する所定地上高Ｈの領域ＡＲ１、すなわち対象物が存在し続ければ自車両１０との接触発生の可能性が極めて高い接近判定領域ＡＲ１内に対象物が存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３４に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ３３に進む。
【００３８】
そして、ステップＳ３３においては、対象物が接近判定領域内に進入して自車両１０と接触する可能性があるか否かを判定する進入衝突判定処理を行う。この進入衝突判定処理では、例えば図６に示すように、車両横方向（つまり、Ｘ方向）において接近判定領域ＡＲ１の外側に存在する所定地上高Ｈの進入判定領域ＡＲ２、ＡＲ３内に存在する対象物が、移動して接近判定領域ＡＲ１に進入すると共に自車両１０と接触する可能性があるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ３６に進む。
一方、この判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。
【００３９】
そして、ステップＳ３４においては、対象物が人工構造物であるか否かを判定する人工構造物判定処理を行う。この人工構造物判定処理では、後述するように、例えば歩行者にはあり得ない特徴が検出された場合に対象物は人工構造物であると判定し、警報の対象から除外する。
この判定結果が「ＮＯ」の場合には、ステップＳ３５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ３７に進む。
そして、ステップＳ３５においては、対象物が歩行者である可能性があるか否かを判定する歩行者判定処理を行う。
ステップＳ３５の判定結果が「ＹＥＳ」の場合には、ステップＳ３６に進む。
一方、ステップＳ３５の判定結果が「ＮＯ」の場合には、後述するステップＳ３７に進む。
【００４０】
そして、ステップＳ３６においては、上述したステップＳ３３において対象物が接近判定領域内へ進入して自車両１０と接触する可能性がある場合（ステップＳ３３のＹＥＳ）、あるいは、ステップＳ３５において人工構造物ではないと判定された対象物が歩行者であると判定された場合（ステップＳ３５のＹＥＳ）には、検出した対象物と自車両１０との接触発生の可能性があると判断して、対象物は警報の対象であると判定し、一連の処理を終了する。
一方、ステップＳ３７においては、上述したステップＳ３１において所定の余裕時間Ｔｓ以内に自車両１０と対象物とが接触する可能性がない場合（ステップＳ３１のＮＯ）、あるいは、ステップＳ３３において対象物が接近判定領域内へ進入して自車両１０と接触する可能性がない場合（ステップＳ３３のＮＯ）、あるいは、ステップＳ３４において対象物が人工構造物であると判定された場合（ステップＳ３４のＹＥＳ）、あるいはステップＳ３４において人工構造物ではないと判定された対象物がさらに歩行者ではないと判定された場合（ステップＳ３５のＮＯ）には、検出した対象物と自車両１０との接触発生の可能性がないと判断して、対象物は警報の対象ではないと判定し、一連の処理を終了する。
【００４１】
以下に、上述したステップＳ３４での人工構造物判定処理として、歩行者の形状、特に頭部の形状と類似した大きさおよび高さ位置を有して発熱する人工構造物と歩行者とを判別する処理について説明する。
【００４２】
この人工構造物判定処理では、例えば図７に示すように、基準画像（例えば、赤外線カメラ２Ｒにより得られた右画像）上において、２値化対象物ＯＢの少なくとも一部を含む領域であって、輝度状態量の算出対象となる対象領域（マスク）ＯＡを設定する。
例えば２値化対象物ＯＢの外接四角形ＱＢの左上頂点ＱＬの座標（ｘｂ，ｙｂ）と、外接四角形の幅Ｗｂと、外接四角形の高さＨｂとに対して、マスクＯＡの幅ｄｘＰを所定値（例えば、２ｐｉｘｅｌ）とし、マスクＯＡの高さｄｙＰを所定値（例えば、外接四角形の高さＨｂの２倍の値＝２×Ｈｂ）とすれば、マスクＯＡの左上頂点ＡＬの座標（ｘＰ，ｙＰ）は、（ｘＰ＝ｘｂ＋Ｗｂ／２−１，ｙＰ＝ｙｂ−Ｈｂ）となる。
そして、縦方向（つまりｙ方向であって、鉛直方向下方が正方向）の各縦位置Ｊ（Ｊは適宜の整数）毎での横方向（つまりｘ方向）に沿った輝度値の平均値（横平均輝度）の縦位置Ｊに応じた変化（横平均輝度プロジェクション）Ｆ（Ｊ）を算出する。
【００４３】
そして、例えば図８に示すように、横平均輝度プロジェクションＦ（Ｊ）に対して、縦位置Ｊに応じた傾きの変化（微分係数）Ｓ（Ｊ）を算出する。ここでは、例えば各縦位置Ｊでの所定縦幅毎に横平均輝度プロジェクションＦ（Ｊ）の一次近似直線の傾きを算出し、各縦位置Ｊでの微分係数Ｓ（Ｊ）として設定する。
そして、横平均輝度プロジェクションＦ（Ｊ）が略最大値となる位置（最大ピーク位置）ｊ＿ｅｎと、略最小値となる位置（最小ピーク位置）ｊ＿ｓｔとを検知する。
ここで、最大ピーク位置ｊ＿ｅｎを検知する際には、先ず、第１の判定処理として、横平均輝度プロジェクションＦ（Ｊ）に適宜のエッジフィルタを作用させて得たエッジフィルタ出力値ｅｇ＿ｃａｌが所定閾値ＥＧ＿ＴＨ（例えば、１０）よりも大きいか否かを判定する。
さらに、第２の判定処理として、横平均輝度プロジェクションＦ（Ｊ）において、隣り合う縦位置での輝度差｛Ｆ（Ｊ）−Ｆ（Ｊ−１）｝が所定差ＫＤＩＦＦ＿ＴＨ（例えば、−１０）よりも大きいか否かを判定する。
そして、第１の判定処理の判定結果および第２の判定処理の判定結果が「ＹＥＳ」である場合、つまり
ｅｇ＿ｃａｌ＞ＥＧ＿ＴＨ、かつ、
｛Ｆ（Ｊ）−Ｆ（Ｊ−１）｝＞ＫＤＩＦＦ＿ＴＨ
である場合には、例えば図９に示すように、エッジフィルタ出力値ｅｇ＿ｃａｌが最大となる位置を最大ピーク位置ｊ＿ｅｎとして設定する。
一方、少なくとも第１の判定処理または第２の判定処理の何れかの判定結果が「ＮＯ」である場合には、最大ピーク位置ｊ＿ｅｎが存在しないとする。
【００４４】
また、最小ピーク位置ｊ＿ｓｔを検知する際には、最大ピーク位置ｊ＿ｅｎよりも縦位置Ｊが小さい領域において、先ず、第３の判定処理として、隣り合う縦位置での微分係数Ｓ（Ｊ）および微分係数Ｓ（Ｊ―１）が所定閾値ＳＭＩＮ＿ＴＨよりも小さいか否かを判定する。
さらに、第４の判定処理として、第３の判定処理での縦位置Ｊに対して横平均輝度プロジェクションＦ（Ｊ）が所定閾値ＫＩＤＯ＿ＴＨ（例えば、１００階調）よりも小さいか否かを判定する。
そして、第３の判定処理の判定結果および第４の判定処理の判定結果が「ＹＥＳ」である場合、つまり
Ｓ（Ｊ）＜ＳＭＩＮ＿ＴＨ、かつ、
Ｓ（Ｊ―１）＜ＳＭＩＮ＿ＴＨ、かつ、
Ｆ（Ｊ）＜ＫＩＤＯ＿ＴＨ
である場合には、例えば図９に示すように、対応する縦位置Ｊを最小ピーク位置ｊ＿ｓｔとして設定する。
一方、少なくとも第３の判定処理または第４の判定処理の何れかの判定結果が「ＮＯ」である場合には、最小ピーク位置ｊ＿ｓｔが存在しないとする。
【００４５】
そして、最大ピーク位置ｊ＿ｅｎと最小ピーク位置ｊ＿ｓｔとの差分に対応する実空間での区間長さ｛｜最大ピーク位置ｊ＿ｅｎ−最小ピーク位置ｊ＿ｓｔ｜×画素ピッチｐ｝が所定長さＳＬＯＰＥ＿ＴＨ（例えば、１ｍ）よりも長いか否かを判定する。
この判定結果が「ＹＥＳ」の場合、つまり
｛｜ｊ＿ｅｎ−ｊ＿ｓｔ｜×ｐ｝＞ＳＬＯＰＥ＿ＴＨ
である場合には、例えば縦方向における熱分布が相対的に緩やかであると判断して、２値化対象物が人工構造物であると判定して、一連の処理を終了する。
一方、この判定結果が「ＮＯ」の場合、つまり
｛｜ｊ＿ｅｎ−ｊ＿ｓｔ｜×ｐ｝≦ＳＬＯＰＥ＿ＴＨ
である場合には、例えば縦方向における熱分布が相対的に急峻であり、２値化対象物が縦方向に伸びる人工構造物以外であって、例えば２値化対象物が相対的に縦方向に伸びない歩行者等であると判定して、一連の処理を終了する。
【００４６】
上述したように、本実施の形態による車両周辺監視装置によれば、最大ピーク位置ｊ＿ｅｎと最小ピーク位置ｊ＿ｓｔとの差分に対応する実空間での区間長さが人体の身体的特徴として許容される所定長さＳＬＯＰＥ＿ＴＨ（例えば、１ｍ）よりも長い場合には、縦方向における熱分布が過剰に緩やかであると判断して、人工構造物であると的確に判別することができる。
【００４７】
なお、上述した実施の形態においては、実空間での区間長さ｛｜最大ピーク位置ｊ＿ｅｎ−最小ピーク位置ｊ＿ｓｔ｜×画素ピッチｐ｝が所定長さＳＬＯＰＥ＿ＴＨ（例えば、１ｍ）よりも長い場合には、２値化対象物が人工構造物であると判定したが、これに限定されず、さらに、グレースケール画像上において、２値化対象物に係る相対的に高輝度の領域の縦横比が所定上限値以上あるいは所定下限値以下であるか否かを判定し、この判定結果に応じて２値化対象物が人工構造物であるか否か（例えば、歩行者等であるか否か）を判定してもよい。
【００４８】
この変形例では、例えば図１０に示すように、２値化対象物に係る相対的に高輝度の領域の縦幅ｃ＿Ｈおよび横幅ｃ＿Ｗを算出する際に、先ず、横平均輝度プロジェクションＦ（Ｊ）と最大ピーク位置ｊ＿ｅｎと最小ピーク位置ｊ＿ｓｔとに基づき、横平均輝度プロジェクションＦ（Ｊ）の平均値（平均輝度値）ＡＶＥ＿Ｈ（＝｛Ｆ（ｊ＿ｓｔ）＋…＋Ｆ（ｊ＿ｅｎ）｝／｛（ｊ＿ｓｔ）−（ｊ＿ｅｎ＋１）｝）を算出する。
そして、横平均輝度プロジェクションＦ（Ｊ）において輝度値が平均輝度値ＡＶＥ＿Ｈよりも大きい領域の幅の約２倍の値を縦幅ｃ＿Ｈとして設定する。
【００４９】
次に、最大ピーク位置ｊ＿ｅｎを中心として、幅ｄｙＡが所定値（例えば、２ｐｉｘｅｌ）、かつ、高さｄｘＡが所定値（例えば、外接四角形の幅Ｗｂの２倍の値＝２×Ｗｂ）のマスクＣＡを設定し、横方向（つまりｘ方向）の各横位置Ｉ（Ｉは適宜の整数）毎での縦方向（つまりｙ方向）に沿った輝度値の平均値（縦平均輝度）の横位置Ｉに応じた変化（縦平均輝度プロジェクション）Ｗ（Ｉ）を算出する。
そして、縦平均輝度プロジェクションＷ（Ｉ）において輝度値が平均輝度値ＡＶＥ＿Ｈよりも大きい領域の幅の値を横幅ｃ＿Ｗとして設定する。
そして、縦横比（＝縦幅ｃ＿Ｈ／横幅ｃ＿Ｗ）が所定上限値Ｒ＿ＴＨＵ（例えば、２等）よりも大きいか否か、あるいは、縦横比（＝縦幅ｃ＿Ｈ／横幅ｃ＿Ｗ）が所定下限値Ｒ＿ＴＨＬ（例えば、０．５等）よりも小さいか否かを判定する。
【００５０】
この判定結果が「ＹＥＳ」の場合、つまり実空間での区間長さ｛｜最大ピーク位置ｊ＿ｅｎ−最小ピーク位置ｊ＿ｓｔ｜×画素ピッチｐ｝が所定長さＳＬＯＰＥ＿ＴＨ（例えば、１ｍ）よりも長い状態であって、かつ、２値化対象物に係る相対的に高輝度の領域が過剰に縦長あるいは横長である場合には、２値化対象物が人工構造物であると判定して、一連の処理を終了する。
一方、この判定結果が「ＮＯ」の場合、つまり実空間での区間長さ｛｜最大ピーク位置ｊ＿ｅｎ−最小ピーク位置ｊ＿ｓｔ｜×画素ピッチｐ｝が所定長さＳＬＯＰＥ＿ＴＨ（例えば、１ｍ）よりも長い状態であっても、縦横比が所定下限値Ｒ＿ＴＨＬ（例えば、０．５等）以上かつ所定上限値Ｒ＿ＴＨＵ（例えば、２等）以下の所定範囲内であれば、２値化対象物が縦方向に伸びる人工構造物あるいは横方向に伸びる人工構造物ではなく、例えば２値化対象物が相対的に縦方向に伸びない特徴を有する歩行者等であると判定して、一連の処理を終了する。
この変形例においては、最大ピーク位置ｊ＿ｅｎと最小ピーク位置ｊ＿ｓｔとの差分に対応する実空間での区間長さに加えて、２値化対象物に係る相対的に高輝度の領域の縦横比に基づき人工構造物であるか否かを判定することにより、対象物の種別を判定する際の信頼度を向上させることができる。
【００５１】
なお、上述した実施の形態においては、最大ピーク位置ｊ＿ｅｎと最小ピーク位置ｊ＿ｓｔとの差分に対応する実空間での区間に対して判定処理を実行したが、これに限定されず、例えば最大ピーク位置ｊ＿ｅｎを含む所定範囲内の位置と、最小ピーク位置ｊ＿ｓｔを含む所定範囲内の位置との差分に対応する実空間での区間等のように、対象物の種別を判定可能な略最大輝度値の位置と略最小輝度値の位置との間の区間に対して判定処理を実行してもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の実施の形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】図１に示す車両周辺監視装置を搭載した車両を示す図である。
【図３】図１に示す車両周辺監視装置の動作を示すフローチャートである。
【図４】図３に示す警報判定処理を示すフローチャートである。
【図５】自車両と対象物との相対位置の一例を示す図である。
【図６】車両前方に設定される接近判定領等の領域区分の一例を示す図である。
【図７】２値化対象物ＯＢの少なくとも一部を含む領域での横平均輝度プロジェクションＦ（Ｊ）の一例を示すグラフ図である。
【図８】横平均輝度プロジェクションＦ（Ｊ）および微分係数Ｓ（Ｊ）の一例を示すグラフ図である。
【図９】最大ピーク位置ｊ＿ｅｎと最小ピーク位置ｊ＿ｓｔとの一例を示すグラフ図である。
【図１０】２値化対象物ＯＢの少なくとも一部を含む領域での横平均輝度プロジェクションＦ（Ｊ）および縦平均輝度プロジェクションＷ（Ｉ）の一例を示すグラフ図である。
【符号の説明】
【００５３】
１  画像処理ユニット
２Ｒ，２Ｌ  赤外線カメラ（赤外線撮像手段）
３  ヨーレートセンサ
４  車速センサ
５  ブレーキセンサ
６  スピーカ
７  表示装置
１０  自車両
ステップＳ７  ２値化対象物抽出手段
ステップＳ１９  警報出力手段
ステップＳ３４  領域設定手段、輝度状態量算出手段、区間状態量算出手段、対象物種別判定手段、所定領域設定手段、縦横比算出手段、縦横比判定手段
ステップＳ３５  歩行者認識手段
【図１】
2006185429.tif 000006
【図２】
2006185429.tif 000007
【図３】
2006185429.tif 000008
【図４】
2006185429.tif 000009
【図５】
2006185429.tif 000010
【図６】
2006185429.tif 000011
【図７】
2006185429.tif 000012
【図８】
2006185429.tif 000013
【図９】
2006185429.tif 000014
【図１０】
2006185429.tif 000015