(57)【要約】【課題】単一の撮像手段を用いて対象物までの距離を算出する場合に、算出精度を改善した車両用周辺監視装置を提供する。【解決手段】車両周辺監視装置１は、車両１０に搭載された単一の赤外線カメラ２によるｎ（≧３）の撮像画像から成る時系列の各撮像画像から、同一対象物の画像部分３２を抽出する対象物画像部分抽出手段２１と、画像部分３２同士の類似度を求め、求めた類似度が所定値以上である画像部分３２同士のうち、撮像間隔が最大である画像部分３２同士を距離算出対として選択する選択手段２２と、距離算出対の画像部分３２の大きさの比率を算出する比率算出手段２３と、該比率と距離算出対の画像部分３２の撮像時刻の差分とに基づいて車両１０から対象物までの距離を算出する距離算出手段２４とを備える。【選択図】図１
2014092937.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を監視する車両周辺監視装置であって、
前記撮像手段による直近の３以上の所定数の撮像画像から成る時系列の各撮像画像から、同一対象物の画像部分を抽出する対象物画像部分抽出手段と、
前記対象物画像部分抽出手段が前記時系列の各撮像画像から抽出した同一対象物画像部分同士の類似度を求め、求めた類似度が所定値以上である同一対象物画像部分同士のうち、撮像間隔が最大である同一対象物画像部分同士を距離算出対として選択する選択手段と、
前記距離算出対の同一対象物画像部分の大きさの比率を算出する比率算出手段と、
前記距離算出対の同一対象物画像部分の撮像時刻の差分と、前記比率算出手段が算出した比率とに基づいて当該車両から前記対象物までの距離を算出する距離算出手段とを備えることを特徴とする車両周辺監視装置。
【請求項２】
請求項１記載の車両周辺監視装置において、
前記選択手段は、同一対象物画像部分同士の類似度に加えて、同一対象物画像部分の周辺部に類似性判断画像部分を設定して、同一対象物画像部分同士についての類似性判断画像部分同士の類似度を求め、同一対象物画像部分同士の類似度と類似性判断画像部分同士の類似度とを組み合わせた類似度が所定値以上である同一対象物画像部分同士のうち、撮像間隔が最大である同一対象物画像部分同士を距離算出対として選択することを特徴とする車両周辺監視装置。
【請求項３】
請求項２記載の車両周辺監視装置において、
前記選択手段は、前記類似性判断画像部分の個数、形状又は大きさを、前記時系列における各撮像画像の前記同一対象物画像部分同士が同一の対象物についてのものである確実性に応じて変更することを特徴とする車両周辺監視装置。
【請求項４】
請求項１〜３のいずれか１項に記載の車両周辺監視装置において、
前記選択手段は、距離算出対の一方の対象物画像部分を前記時系列の最後の撮像画像の同一対象物画像部分とすることを特徴とする車両周辺監視装置。
【請求項５】
請求項２記載の車両周辺監視装置において、
前記類似度は、対比する同一対象物画像部分同士又は類似性判断画像部分同士の平均輝度の差分が小さいほど、大とされるものであることを特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
２つの赤外線カメラを、左右方向に所定の間隔をもって車両に搭載し、対象物に対する２つの赤外線カメラの視差を利用して、該対象物までの距離を算出する複眼式車両用周辺監視装置に対し、視差を利用することなく、１つの赤外線カメラの撮像画像から対象物までの距離を算出する単眼式車両用周辺監視装置が知られている（例：特許文献１）。
【０００３】
単眼式車両用周辺監視装置では、例えば、前回及び今回の撮像画像における、同一の対象物についての画像部分の外接四角形同士の幅の寸法比率に基づいて対象物までの距離を算出している（例：特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第４２６７６５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の単眼式車両用周辺監視装置における比率による距離算出では、寸法比率の算出の基にする同一対象物の２つの画像部分の撮像間隔が固定されているので、例えば対象物が遠方に存在し、撮像画像間での対象物の画像部分の大きさの比率が小さいときに算出誤差が増大する。
【０００６】
本発明の目的は、単一の撮像手段を用いて対象物画像部分の大きさの比率から対象物までの距離を算出する場合に、算出精度を改善した車両用周辺監視装置を提供することである。
【課題を解決するための手段】
【０００７】
第１発明の車両用周辺監視装置は、車両に搭載された単一の撮像手段により撮像された画像から、該車両周辺の監視対象物を監視する車両周辺監視装置であって、前記撮像手段による直近の３以上の所定数の撮像画像から成る時系列の各撮像画像から、同一対象物の画像部分を抽出する対象物画像部分抽出手段と、前記対象物画像部分抽出手段が前記時系列の各撮像画像から抽出した同一対象物画像部分同士の類似度を求め、求めた類似度が所定値以上である同一対象物画像部分同士のうち、撮像間隔が最大である同一対象物画像部分同士を距離算出対として選択する選択手段と、前記距離算出対の同一対象物画像部分の大きさの比率を算出する比率算出手段と、前記距離算出対の同一対象物画像部分の撮像時刻の差分と、前記比率算出手段が算出した比率とに基づいて当該車両から前記対象物までの距離を算出する距離算出手段とを備えることを特徴とする。
【０００８】
第１発明によれば、対象物までの距離を同一対象物についての対象物画像部分同士の大きさの比率から算出する場合に、距離算出対を、時系列において隣接関係である２つの撮像画像に静的に固定することなく、時系列内で類似度が所定値以上である同一対象物画像部分のうちから、撮像間隔が最大である同一対象物画像部分同士を距離算出対として動的に選択して、該距離算出対の同一対象物画像部分同士の大きさの比率に基づいて対象物までの距離を算出する。これにより、距離算出の基にする対象物画像部分同士が同一の対象物画像部分のものである信頼性を確保しつつ、同一対象物画像部分同士の大きさの比率を増大させて、距離の算出精度を改善することができる。
【０００９】
第２発明の車両用周辺監視装置は、第１発明において、前記選択手段は、同一対象物画像部分同士の類似度に加えて、同一対象物画像部分の周辺部に類似性判断画像部分を設定して、同一対象物画像部分同士についての類似性判断画像部分同士の類似度を求め、同一対象物画像部分同士の類似度と類似性判断画像部分同士の類似度とを組み合わせた類似度が所定値以上である同一対象物画像部分同士のうち、撮像間隔が最大である同一対象物画像部分同士を距離算出対として選択することを特徴とする。
【００１０】
第２発明によれば、距離算出対は、類似性判断画像部分同士の類似度を付加した類似度に基づいて選択されるので、より適切な距離算出対を選択して、距離の算出精度を改善することができる。
【００１１】
第３発明の車両用周辺監視装置は、第２発明において、前記選択手段は、前記類似性判断画像部分の個数、形状又は大きさを、前記時系列における各撮像画像の前記同一対象物画像部分同士が同一の対象物についてのものである確実性に応じて変更することを特徴とする。
【００１２】
第３発明によれば、対象物画像部分に対して設定する類似性判断画像部分の個数、形状又は大きさが、対象物画像部分同士が同一の対象物についてのものである確実性に応じて、動的に変更され、これにより、類似度の信頼性を確保しつつ、類似度の算出処理を軽減することができる。
【００１３】
第４発明の車両周辺監視装置は、第１発明〜第３発明のいずれか１つの発明において、  前記選択手段は、距離算出対の一方の同一対象物画像部分を前記時系列の最後の撮像画像の同一対象物画像部分とすることを特徴とする。
【００１４】
第４発明によれば、距離算出対の一方の同一対象物画像部分を時系列の最後の同一対象物画像部分とすることにより、算出距離の最新性を高めることができる。
【００１５】
第５発明の車両周辺監視装置は、第２発明において、前記類似度は、対比する同一対象物画像部分同士又は類似性判断画像部分同士の平均輝度の差分が小さいほど、大とされるものであることを特徴とする。
【００１６】
同一の撮像画像内に複数の対象物画像部分が接近して存在する場合、同一対象物画像部分同士又は類似性判断画像部分同士の平均輝度の変化が大きいときは、同一でない対象物の画像部分を間違って同一対象物画像部分とする可能性が高まる。第５発明によれば、類似度を、対比する同一対象物画像部分同士又は類似性判断画像部分同士の平均輝度に対応付けることにより、異なる対象物についての画像部分同士を同一対象物画像部分同士と間違って、距離算出対に選択してしまう事態を的確に抑制することができる。
【図面の簡単な説明】
【００１７】
【図１】車両周辺監視装置の構成図。
【図２】図１に示した車両周辺監視装置の車両への取り付け態様の説明図。
【図３】画像処理ユニットが実施する処理手順のフローチャート。
【図４】対象物までの距離算出に使用するグレースケール画像の時系列の第１例を示す図。
【図５】対象物までの距離算出に使用するグレースケール画像の時系列の第２例を示す図。
【図６】対象物までの距離算出の基にする人画像部分の寸法比についての説明図
【発明を実施するための形態】
【００１８】
図１を参照して、車両周辺監視装置１は、車両１０（図２）に搭載されて遠赤外線を検出可能な１台の赤外線カメラ２（本発明の「撮像手段」に相当する）を備え、赤外線カメラ２により撮像された画像から、車両１０の周辺の歩行者等の監視対象物を監視する。
【００１９】
なお、赤外線カメラ２に代えて可視光カメラを用いることもできる。人や動物の画像部分は、赤外線カメラ２の撮像画像からは輝度に基づいて抽出するのに対し、可視光カメラの撮像画像からは特定の色、色の輪郭線、時系列の撮像画像からの移動の検出に基づいて、抽出することができる。
【００２０】
車両周辺監視装置１は、さらに、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、運転者によるブレーキの操作量を検出するブレーキセンサ５と、赤外線カメラ２により得られる画像から車両前方の監視対象物（歩行者等）を検出し、該監視対象物と車両が接触する可能性が高い場合に警報を出力する画像処理ユニット８と、音声により警報を行うためのスピーカ６と、赤外線カメラ２により得られた画像を表示すると共に、接触の可能性が高い監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという。）７とを備えている。
【００２１】
図２を参照して、赤外線カメラ２は車両１０の前部の左右方向中心に配置され、撮像物の温度が高い程、出力レベルが高くなる（輝度が大きくなる）特性を有している。また、ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。
【００２２】
車両１０の前方の実空間について、Ｘ，Ｙ，Ｚの座標軸を定義する。原点Ｏは赤外線カメラ２の中心位置とし、Ｚ軸は、前側を正にして車両１０の前後方向へ水平に延びる軸とされ、Ｘ軸は右側を正にして車両１０の左右水平方向へ延びる軸とされ、Ｙ軸は下側を正にして鉛直方向へ延びる軸とされる。
【００２３】
なお、Ｘ−Ｙ−Ｚ座標系の原点Ｏは車両１０の左右方向中心に設定しつつ、赤外線カメラ２は車両１０の左右方向中心から左右へずらした位置に設定することもできる。その場合は、対象物についての実空間位置（Ｘ，Ｙ，Ｚの座標位置）は、撮像画像から求めた位置を原点Ｏと赤外線カメラ２のレンズ中心との距離に応じて補正して求めることになる。
【００２４】
画像処理ユニット８は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ（図示せず）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して各種演算処理を行う機能を有している。
【００２５】
図１を参照して、画像処理ユニット８は、対象物画像部分抽出手段２１、選択手段２２、比率算出手段２３及び距離算出手段２４を備えている。対象物画像部分抽出手段２１、選択手段２２、比率算出手段２３及び距離算出手段２４の詳細については、後述の図３のフローチャートの説明に関連して、述べるが、予め簡単に説明する。
【００２６】
画像処理ユニット８は、ＣＰＵやメモリ等により構成された電子ユニットである。対象物画像部分抽出手段２１、選択手段２２、比率算出手段２３及び距離算出手段２４の機能は、該ＣＰＵに車両周辺監視用プログラムを実行させることによって、実現される。
【００２７】
対象物画像部分抽出手段２１は、赤外線カメラ２による直近の３以上の所定数ｎ（図４の例ではｎ＝４）個のアナログの赤外線画像（詳しくは遠赤外線画像）をデジタル変換して生成されるデジタルの赤外線画像としてのグレースケール画像３１−３〜３１−０（図４等。本発明の「撮像手段による直近の３以上の所定数の撮像画像」に相当）から成る時系列の各グレースケール画像から、人画像部分３２（図４等。本発明の「同一対象物の画像部分」に相当）を抽出する。
【００２８】
選択手段２２は、グレースケール画像３１−３〜３１−０の人画像部分３２同士の類似度を調べ、類似度が所定値以上である人画像部分３２同士のうち、撮像間隔が最大である同一対象物画像部分同士を距離算出対（後述の図４の例では、グレースケール画像３１−０とグレースケール画像３１−３とが距離算出対となる。）として選択する。
【００２９】
比率算出手段２３は、距離算出対の同一対象物画像部分の大きさの比率（後述の図６の例では、ｗ1／ｗ0又はｈ1／ｈ0）を算出する。
【００３０】
距離算出手段２４は、距離算出対の人画像部分３２の撮像時刻の差分と、比率算出手段２３が算出した比率とに基づいて車両１０から対象物までの距離を算出する。
【００３１】
類似度は、例えば、対比する人画像部分３２同士又は平均輝度判定領域３４（図４等。本発明の「類似性判断画像部分」に相当）同士の平均輝度の差分が小さいほど、大とされるものである。
【００３２】
次に図３に示したフローチャートに従って、画像処理ユニット８による監視対象物の検出処理及び警報判定処理の実行手順について説明する。該処理は赤外線カメラ２による撮像画像の出力に同期して一定時間ごとに実行される。
【００３３】
ＳＴＥＰ１では、画像処理ユニット８は、赤外線カメラ２からの撮像画像信号を入力する。赤外線カメラ２は、一定時間ごとに、車両１０の前景を所定の画角で撮影し、その赤外線画像信号を出力する。
【００３４】
ＳＴＥＰ２では、画像処理ユニット８は、赤外線カメラ２の出力するアナログの赤外線画像信号をＡ／Ｄ（アナログ／デジタル）変換して生成したグレースケール画像を画像メモリに取り込む。
【００３５】
画像メモリには、ｎ個のグレースケール画像が記憶され、これらグレースケール画像は、記憶順、すなわち各グレースケール画像の基になっている赤外線画像の撮像時刻順の撮像画像の時系列を構成する。該時系列は、赤外線カメラ２による撮像により新規にグレースケール画像が生成されるごとに、最古のグレースケール画像が新規に生成されたグレースケール画像に置き換えられ、常時、直近のｎ個のグレースケール画像を保持する。
【００３６】
ＳＴＥＰ３では、画像処理ユニット８は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を高輝度画素として「１」（白）とし、輝度が該閾値よりも小さい画素を低輝度画素として「０」（黒）とする２値化処理を行って２値化画像を取得する。
【００３７】
ＳＴＥＰ３において取得した２値化画像において白の画素が縦横に連続して並んでいる部分を以下、「白画像部分」という。
【００３８】
ＳＴＥＰ４では、対象物画像部分抽出手段２１は、２値化画像中の各白画像部分の各縦方向（２値化画像の上下方向）位置に対し、横方向（２値化画像の左右方向）に白の画素の連続する画素列の開始画素位置及び長さを示すランレングスデータを算出する。
【００３９】
ＳＴＥＰ５では、対象物画像部分抽出手段２１は、２値化画像のランレングスデータに基づいて対象物の２値化画像としての白画像部分を抽出し、抽出した白画像部分に対してラベリング（番号付け）を行う。
【００４０】
ＳＴＥＰ６では、対象物画像部分抽出手段２１は、ラベリングした白画像部分の重心、面積、及び白画像部分の外接四角形のアスペクト（縦横）比を算出する。
【００４１】
ＳＴＥＰ７では、対象物画像部分抽出手段２１は、対象物の時刻間追跡を実施する。具体的には、赤外線カメラ２が一定時間間隔で撮像した前回と今回の赤外線画像から２値化画像を経て抽出したラベル付き白画像部分について、相関性に基づいて同一対象物について白画像部分同士を対応付ける。その際、対象物画像部分抽出手段２１は、白画像部分の重心、面積、及び白画像部分の外接四角形のアスペクト（縦横）比がそれぞれに対して設定している所定の閾値内に収まるか否かを判断し、収まれば、前回と今回の白画像部分は、所定の相関性があるとして、同一対象物についての白画像部分であると判断する。
【００４２】
なお、両白画像部分間の相関性は、前述の重心、面積及びアスペクト比について前回と今回の白画像部分の差分の絶対値が小さいほど、高いと判断される。相関性の高さについては、後述の人画像部分３２同士が同一の対象物のものであるかの確実性の大きさと関連している。
【００４３】
ＳＴＥＰ７において、同一対象物についての白画像部分であると判断された白画像部分は、前回の撮像画像において付けられたラベルが継承されるように、再ラベリングされる。
【００４４】
ＳＴＥＰ８では、対象物画像部分抽出手段２１は、時系列における時刻間追跡情報と２値化画像のデータとを更新する。該時刻間追跡情報は、ＳＴＥＰ７の処理で用いた情報と処理結果として取得した情報とを含み、これら情報は、２値化画像のデータと共に、ＳＴＥＰ９以降において適宜使用されると共に、ＳＴＥＰ７の次回の実行時にも使用されるものとなっている。
【００４５】
撮像画像（赤外線画像）には、赤外線カメラ２が直接出力したアナログの撮像画像と、それをデジタル変換したグレースケール画像とがあるが、図３におけるＳＴＥＰ９以降の撮像画像はデジタル変換後のグレースケール画像を指す。
【００４６】
ＳＴＥＰ９では、選択手段２２は、同一ラベルの対象物に対して時系列の撮像画像における対象物画像部分間の類似度を算出する。ＳＴＥＰ９において「同一ラベルの対象物」とは、ＳＴＥＰ７の時刻間追跡により同一対象物の白画像部分として時系列において同一のラベルを付けられた白画像部分が表している対象物を意味する。
【００４７】
時系列の撮像画像における対象物画像部分間の類似度は、対象物画像部分の本体同士の類似度とする場合（以下、「直接対比方式」という。）と、対象物画像部分の周辺部に類似性判断画像部分を設定し、本体同士の類似と類似性判断画像部分同士の類似度とを組み合わせた類似度とする場合（以下、「追加対比方式」という。）の２通りがある。
【００４８】
直接対比方式の類似度は、対象物画像部分抽出手段２１がＳＴＥＰ７で時刻間追跡したときに前回と今回の赤外線画像から２値化画像を経て抽出したラベル付き白画像部分についての相関性と同一に定義する。すなわち、類似度の判定対象となっている時系列の２つの撮像画像における同一ラベルの対象物画像部分（該対象物画像部分は白画像部分でもある。）について、白画像部分の重心、面積、及び白画像部分の外接四角形のアスペク比の少なくとも１つ以上の観点において差分が小さいほど類似度は増大する。
【００４９】
追加対比方式の類似度について、図４及び図５を参照して説明する。図４及び図５の例では、時系列の撮像画像の個数ｎは、説明の便宜上、４とされているが、ｎは３以上の整数を適宜、設定することができる。
【００５０】
この時系列では、グレースケール画像３１−０が最新であり（今回の撮像画像）、グレースケール画像３１−１（前回の撮像画像），グレースケール画像３１−２（前々回の撮像画像），グレースケール画像３１−３（前々々回の撮像画像）と、"−"以降の番号が１つずつ増大するのに連れて、一定時間Δｔ前に赤外線カメラ２が出力した撮像画像に対応するグレースケール画像となっている。グレースケール画像３１−３〜３１−０を総称するときは、単に、「グレースケール画像３１」という。
【００５１】
グレースケール画像３１において、外接四角形領域３３は、人画像部分３２に外接する矩形の境界線により画成される。平均輝度判定領域３４ａ〜ｄが、対象物画像部分の周辺部に設定した類似性判断画像部分に相当する。平均輝度判定領域３４ａ〜ｄは、内側の縦辺を外接四角形領域３３の左右の縦辺に接するように、外接四角形領域３３の外側に設定される。平均輝度判定領域３４ａ〜ｄを総称するときは、単に「平均輝度判定領域３４」という。
【００５２】
時系列の２つのグレースケール画像３１における平均輝度判定領域３４間の類似度は、両平均輝度判定領域３４の平均輝度を算出して、その差分が小さいほど、大きいとする。
【００５３】
追加対比方式の類似度判断では、直接対比方式の類似度と平均輝度判定領域３４間の類似度とを組み合わせた類似度が求められるが、組み合わせは例えば重み付けにより行われる。
【００５４】
具体的には、直接対比方式の類似度に対する重み係数αと、平均輝度判定領域３４間の類似度に対する重み係数βとが設定され、直接対比方式の類似度×α＋平均輝度判定領域３４間の類似度×β＝合計の類似度と定義し、合計の類似度を対象物画像部分間の類似度と定義する。
【００５５】
平均輝度判定領域３４について詳しく説明する。車両１０は、時間の進行に伴い、人画像部分３２が表している歩行者に接近するので、時系列のグレースケール画像３１における人画像部分３２は、それが含まれるグレースケール画像３１の撮像時刻の新しいものほど、大きさ（グレースケール画像３１における人画像部分３２の寸法）が増大する。各グレースケール画像３１において、各平均輝度判定領域３４は、時系列における人画像部分３２の寸法変化にもかかわらず、人画像部分３２に対する高さ方向の相対位置を保持している。すなわち、いずれのグレースケール画像３１においても、平均輝度判定領域３４ａは人画像部分３２の頭部の左側、平均輝度判定領域３４ｂは人画像部分３２の腹部の左、平均輝度判定領域３４ｃは人画像部分３２の頭部の右側、平均輝度判定領域３４ｄは人画像部分３２の腹部の右側に、揃えられている。
【００５６】
図４及び図５の例では、各グレースケール画像３１において、各平均輝度判定領域３４の形状及び寸法は相互に同一になっている。また、時系列において、各平均輝度判定領域３４は形状及び寸法を同一に維持する。なお、各平均輝度判定領域３４の寸法は、時系列におけるグレースケール画像３１の寸法変化に応じて変化するように調整することもできる。
【００５７】
図３に戻って、ＳＴＥＰ１０では、選択手段２２は、時系列内で類似度が所定値以上である対象物画像部分の対で撮像間隔が最大である対（距離算出対）を探索する。
【００５８】
図４及び図５において、距離算出対について具体的に説明する。なお、図４及び図５は、追加対比類似方式による距離測定対の決め方について説明している。
【００５９】
図４では、時系列のグレースケール画像３１では、背景画像４１が全体を占めており、人画像部分３２は背景画像４１内で移動している。したがって、平均輝度判定領域３４は、時系列全体を通して、ほぼ同一であり、平均輝度の変化は小さく、平均輝度判定領域３４自体の類似度は大きい。この結果、時系列内の任意の２つのグレースケール画像３１において、平均輝度判定領域３４の類似度と人画像部分３２の類似度との組合せの類似度も大きく、時系列内のどの２つのグレースケール画像３１の人画像部分３２間の類似度についても、該類似度は所定値以上になっている。
【００６０】
一方、類似度が所定値以上である人画像部分３２の対のうちで、撮像間隔が最大になるのはグレースケール画像３１−３の人画像部分３２とグレースケール画像３１−０の人画像部分３２の対となるので、該対が距離算出対になる。なお、赤外線カメラ２の撮像間隔がΔｔであるとすると、該距離算出対の撮像間隔は３・Δｔである。
【００６１】
これに対し、図５では、時系列のグレースケール画像３１では、背景が、比較的明るい左側の背景画像４２ａと、比較的暗い右側の背景画像４２ｂとに区分され、時系列のグレースケール画像３１において人画像部分３２は左から右へ移動し、これに伴い、平均輝度判定領域３４ａ，ｂの平均輝度は、グレースケール画像３１−２〜３１−１間で大きく変化している。この結果、平均輝度判定領域３４の類似度と人画像部分３２の類似度との組合せの類似度が所定値以上になる人画像部分３２の対は、グレースケール画像３１−３の人画像部分３２とグレースケール画像３１−２の人画像部分３２との対と、グレースケール画像３１−１の人画像部分３２とグレースケール画像３１−０の人画像部分３２との対との２対のみとなる。
【００６２】
一方、該２対共に、撮像間隔はΔｔとなる。したがって、距離算出対は、どちらでもよいが、時系列における最後の撮像画像としてのグレースケール画像３１−０を含む対のグレースケール画像３１−１の人画像部分３２とグレースケール画像３１−０の人画像部分３２の対とされる。最後のグレースケール画像３１−０を含む距離算出対を用いて最新の運転状況に応じた後述の寸法比を算出することによって、最後のグレースケール画像３１−０を含まない距離算出対を用いる場合よりも、最終的な算出距離の精度を上げることができる。
【００６３】
なお、図４及び図５では、本発明の類似性判断画像部分としての平均輝度判定領域３４の個数、形状、大きさ（寸法）は、固定されているが、ここで、人画像部分３２の確実性に応じて動的に変更することができる。人画像部分３２の確実性とは、ＳＴＥＰ７における時刻間追跡の結果、同一対象物の白画像部分として時系列の複数の２値化画像において同一のラベルを付けた確実性（相関性の高さ）と同義で使用する。人画像部分３２の確実性が低いほど、人画像部分３２の類似度の算出精度が上がるように、平均輝度を対比する平均輝度判定領域３４についてその個数の増大、形状、寸法の増大が図られる。
【００６４】
図３に戻って、ＳＴＥＰ１１では、比率算出手段２３は距離算出対の人画像部分３２の寸法比を算出する。具体的には、人画像部分３２を内側に含む外接四角形領域３３の高さ又は幅の寸法比を距離算出対の人画像部分３２の寸法比として使用する。
【００６５】
図６は対象物までの距離算出の基にする人画像部分３２の寸法比についての説明図である。距離算出対の対象物画像部分は、グレースケール画像３１−０の人画像部分３２とグレースケール画像３１−１の人画像部分３２となっている。人画像部分３２の寸法比は外接四角形領域３３の高さ又は幅の寸法比に代替される。外接四角形領域３３の高さ及び幅は、グレースケール画像３１−１ではそれぞれｈ1，ｗ1であり、グレースケール画像３１−０ではそれぞれｈ0，ｗ0となっている。グレースケール画像３１−０の撮像時刻は、グレースケール画像３１−１の撮像時刻よりΔｔ後になっている。
【００６６】
図３に戻って、ＳＴＥＰ１２では、比率算出手段２３は距離算出対の対象物画像部分の寸法比、撮像時刻の差分及び車速に基づいて対象物までの距離を算出する。
【００６７】
比率算出手段２３が対象物までの具体的な算出の仕方は、例えば特開２００８−１１３２９６号公報等に記載されているとおりであるので、詳細については該公報を参照することができる。簡単に説明する。算出式は例えば次の式（１）となる。
【００６８】
Ｚ＝Ｒate・Ｖ・Δｔ／（１−Ｒate）・・・（１）
上記の式（１）において各符号の定義は次のとおりである。
Ｚ：対象物について図２のＺ軸方向の位置、すなわち車両１０から対象物までの距離。
Ｒate：ｈ1／ｈ0又はｗ1／ｗ0。なお、寸法ｈ0，ｈ1，ｗ0，ｗ1は、図６のそれらを画素ピッチ数で表現したものである。
Δｔ：赤外線カメラ２の撮像間隔
Ｖ：車両１０の車速。
【００６９】
式（１）で求めたＺはさらに車両１０の回頭角により補正される。Δｔ当たりの車両１０の回頭角はヨーレートセンサ３の出力をΔｔにより積分した積分値に基づいて算出される。詳細は前述の特開２００８−１１３２９６号公報等において説明されている。
【００７０】
車両周辺監視装置１は、こうして求められた対象物までの距離を、歩行者等の対象物の実空間位置の算出に使用し、もし該実空間位置が所定の警報領域に属しかつ運転者が所定の接触回避操作をしていないと判断されれば、運転者に対して所定の警報を実施する。
【００７１】
所定の接触回避操作とは、例えば、運転者による車両１０の制動操作である。運転者が制動操作を行ったか否かはブレーキセンサ５の出力から判断される。また、警報は、具体的には、スピーカ６から警告音の出力や、ＨＵＤ７の画面７ａにおける表示により行われる。
【００７２】
本発明を実施形態について説明したが、本発明は当該実施形態に限定されることなく、要旨の範囲内で種々に変形して実施することができる。
【００７３】
実施形態では、時系列の各グレースケール画像３１から抽出した人画像部分３２同士の類似度が所定値以上である対象物画像部分の対を距離算出対の候補としているが、距離算出対の一方の対象物画像部分を最後の撮像画像（実施形態ではグレースケール画像３１−０）の対象物画像部分に固定することができる。これにより、最新の撮像画像に基づいて対象物までの距離を算出することができる。
【００７４】
実施形態では、対象物画像部分抽出手段２１が時系列の各グレースケール画像３１から抽出した人画像部分３２同士の類似度を求めて該類似度が所定値以上である対象物画像部分の対が１つもないことが走行状況によっては起こり得る。そのような場合には、グレースケール画像３１−１の人画像部分３２とグレースケール画像３１−０の人画像部分３２とを距離算出対として、対象物までの距離を算出する。これにより、所定の走行状況では、対象物までの距離を算出できないという事態を回避することができる。
【００７５】
実施形態では、平均輝度判定領域３４間の平均輝度の差分から類似度を判断しているが、平均輝度に代えて、平均輝度判定領域３４における画素の輝度の中央値とすることもできる。
【符号の説明】
【００７６】
１・・・車両周辺監視装置、２・・・赤外線カメラ（撮像手段）、１０・・・車両、２１・・・対象物画像部分抽出手段、２２・・・選択手段、２３・・・比率算出手段、２４・・・距離算出手段、３１・・・グレースケール画像、３２・・・人画像部分（対象物画像部分）、３３・・・外接四角形領域（対象物画像部分）、３４・・・平均輝度判定領域（類似性判断画像部分）。
【図１】
2014092937.tif 000003
【図２】
2014092937.tif 000004
【図３】
2014092937.tif 000005
【図６】
2014092937.tif 000006
【図４】
2014092937.tif 000007
【図５】
2014092937.tif 000008