(57)【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された前記画像領域の対象物が胴部の左右いずれかの側に頭部が存在する指定動物であるか否かを判定する動物判定手段と、
前記撮像画像における前記対象物の追跡中に、前記撮像画像から前記対象物が消失するオクルージョンが発生したか否かを判定するオクルージョン判定手段と、
前記オクルージョン判定手段により前記オクルージョンが発生したと判定され、かつ、前記対象物抽出手段により抽出された前記対象物が前記動物判定手段により前記指定動物であると判定された場合に、前記オクルージョンが発生する前の前記撮像画像から抽出された前記指定動物の位置及び胴部に対する頭部の位置に基づいて、前記オクルージョン発生中の前記指定動物の位置を補完する位置補完手段と
を備えることを特徴とする車両周辺監視装置。
【請求項２】
車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、
前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、
前記対象物抽出手段により抽出された前記画像領域の対象物が胴部の左右いずれかの側に頭部が存在する指定動物であるか否かを判定する動物判定手段と、
前記撮像画像における前記対象物の追跡中に、前記撮像画像から前記対象物が消失するオクルージョンが発生したか否かを判定するオクルージョン判定手段と、
前記オクルージョン判定手段により前記オクルージョンが発生したと判定され、かつ、オクルージョン発生前及びオクルージョン解消後において前記対象物抽出手段により抽出された前記対象物が前記動物判定手段により前記指定動物であると判定された場合に、
前記オクルージョンが発生する前の前記撮像画像から抽出された前記指定動物の胴部に対する頭部の位置及び前記指定動物の位置と、前記オクルージョンが解消した後の前記撮像画像から抽出された前記指定動物の位置とに基づいて、前記オクルージョン発生中の前記指定動物の位置を補完する位置補完手段と
を備えることを特徴とする車両周辺監視装置。
【請求項３】
請求項２記載の車両周辺監視装置において、
前記位置補完手段が、前記撮像画像において前記指定動物の胴部に対して頭部が存在す
る側に将来において該指定動物が存在すると予測される予測領域を設定し、前記オクルー
ジョンが発生する前の前記撮像画像から前記対象物抽出手段により前記対象物として抽出
された前記指定動物を基準として設定した前記予測領域に、前記オクルージョンが解消し
た後の前記撮像画像から前記対象物抽出手段により前記対象物として抽出された前記指定
動物が存在するか否かを判定し、前記撮像画像から前記対象物抽出手段により前記対象物
として抽出された前記指定動物が存在すると判定されたことを要件として、前記オクルー
ジョン発生前及びオクルージョン解消後のそれぞれにおける前記指定動物の位置に基づい
て、前記オクルージョン発生中の前記指定動物の位置を補完することを特徴とする車両周
辺監視装置。
【請求項４】
請求項３記載の車両周辺監視装置において、
前記オクルージョンが発生する前の前記撮像画像から前記対象物抽出手段により前記対
象物として抽出された前記指定動物と、前記オクルージョンが解消した後の前記撮像画像
から前記対象物抽出手段により前記対象物として抽出された前記指定動物との姿勢が同一
であるか否かを前記指定動物の胴部に対して頭部が存在する側に基づいて決定し、同一で
あると決定された場合に前記オクルージョン発生中の前記指定動物の位置を補完すること
を特徴とする車両周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置に関する。
【背景技術】
【０００２】
従来、この種の車両周辺監視装置として本出願人は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された対象物の画像領域に、異なる方向の幅の比率が所定範囲となる第１の対象物領域と、該第１の対象物領域の下方に該第１の対象物領域よりも面積が小さい複数の第２の対象物領域とが含まれるかに応じて、対象物の種別を判定する対象物種別判定手段とを備えることを特徴とする車両周辺監視装置を提案している（特許文献１参照）。本従来技術によれば、該対象物の種別が、異なる方向の幅の比率が所定範囲となる形状の胴部を有する動物であるか否かを判定することができる。
【０００３】
また、この種の車両周辺監視装置としては、自車両の左側に設置された左側撮影手段、及び右側に設置された右側撮影手段を具備し、当該各撮影手段にて撮影された画像を車両内にて画面表示する車両周辺監視装置において、前記右側撮影手段により、自車両の右側から接近する移動物体が撮影され、その後、当該接近する移動物体が画面から消失した際には、消失後この旨を運転者に報知することを特徴とする車両周辺監視装置が知られている（特許文献２参照）。本従来技術によれば、右側画像に映し出された車両を検出し、且つ、この車両が右側画像から消失した場合には、左側画像にオクルージョンが発生する可能性があるものと判断して、ブザー、インジケータ、或いはモニタ表示にて、これを自車両の乗員に通知することができる。従って、乗員は、オクルージョンの発生をいち早く知ることができる。
【０００４】
しかしながら、車両に搭載された撮影手段によって動物を追跡中にオクルージョンが発生すると、車両周辺監視装置は、オクルージョン発生前及びオクルージョン解消後において動物が同一であるか否かが不明となってしまうことになり、オクルージョン発生前までに追跡していた動物の位置情報を有効に活用することができないという問題がある。
【特許文献１】特開２００７−３１０７０５号公報
【特許文献２】特開２００４−１５９２６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、以上の問題点に鑑み、車両に搭載された撮影手段によって動物を追跡中にオクルージョンが発生した場合に、オクルージョン発生中の当該動物の位置を高精度で補完することができる車両周辺監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、第１発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、  前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記画像領域の対象物が胴部の左右いずれかの側に頭部が存在する指定動物であるか否かを判定する動物判定手段と、前記撮像画像における前記対象物の追跡中に、前記撮像画像から前記対象物が消失するオクルージョンが発生したか否かを判定するオクルージョン判定手段と、前記オクルージョン判定手段により前記オクルージョンが発生したと判定され、かつ、前記対象物抽出手段により抽出された前記対象物が前記動物判定手段により前記指定動物であると判定された場合に、前記オクルージョンが発生する前の前記撮像画像から抽出された前記指定動物の位置及び胴部に対する頭部の位置に基づいて、前記オクルージョン発生中の前記指定動物の位置を補完する位置補完手段とを備えることを特徴とする。
【０００７】
第１発明の車両周辺監視装置によれば、胴部の左右いずれかの側に頭部が存在する指定動物であれば、指定動物が移動する方向は胴部から頭部に向かう方向であると予測されることに鑑みて、車両に搭載された撮影手段によって指定動物を追跡中にオクルージョンが発生した場合に、オクルージョン発生中の当該指定動物の位置を高精度に補完することができる。
【０００８】
また、第２発明の車両周辺監視装置は、車両に搭載された撮像手段によって得られる撮像画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像画像から対象物の画像領域を抽出する対象物抽出手段と、前記対象物抽出手段により抽出された前記画像領域の対象物が胴部の左右いずれかの側に頭部が存在する指定動物であるか否かを判定する動物判定手段と、前記撮像画像における前記対象物の追跡中に、前記撮像画像から前記対象物が消失するオクルージョンが発生したか否かを判定するオクルージョン判定手段と、前記オクルージョン判定手段により前記オクルージョンが発生したと判定され、かつ、オクルージョン発生前及びオクルージョン解消後において前記対象物抽出手段により抽出された前記対象物が前記動物判定手段により前記指定動物であると判定された場合に、前記オクルージョンが発生する前の前記撮像画像から抽出された前記指定動物の胴部に対する頭部の位置及び前記指定動物の位置と、前記オクルージョンが解消した後の前記撮像画像から抽出された前記指定動物の位置とに基づいて、前記オクルージョン発生中の前記指定動物の位置を補完する位置補完手段とを備えることを特徴とする。
【０００９】
第２発明の車両周辺監視装置によれば、胴部の左右いずれかの側に頭部が存在する指定動物であれば、指定動物が移動する方向は胴部から頭部に向かう方向であると予測され、また、オクルージョン発生前の指定動物の位置とオクルージョン解消後の指定動物の位置からオクルージョン発生中の指定動物の位置がより正確に予測されることに鑑みて、車両に搭載された撮影手段によって指定動物を追跡中にオクルージョンが発生した場合に、オクルージョン発生中の当該指定動物の位置を高精度に補完することができる。
【００１０】
また、第３発明の車両周辺監視装置は、第２発明の車両周辺監視装置において、前記位置補完手段が、前記撮像画像において前記指定動物の胴部に対して頭部が存在する側に将来において該指定動物が存在すると予測される予測領域を設定し、前記オクルージョンが発生する前の前記撮像画像から前記対象物抽出手段により前記対象物として抽出された前記指定動物を基準として設定した前記予測領域に、前記オクルージョンが解消した後の前記撮像画像から前記対象物抽出手段により前記対象物として抽出された前記指定動物が存在するか否かを判定し、前記撮像画像から前記対象物抽出手段により前記対象物として抽出された前記指定動物が存在すると判定したことを要件として、前記オクルージョン発生前及びオクルージョン解消後のそれぞれにおける前記指定動物の位置に基づいて、前記オクルージョン発生中の前記指定動物の位置を補完することを特徴とする。
【００１１】
第３発明の車両周辺監視装置によれば、胴部の左右いずれかの側に頭部が存在する動物であれば、動物が移動する方向は胴部から頭部に向かう方向であると予測され、また、予測領域にオクルージョン発生後の撮像画像から対象物抽出手段により対象物として抽出された指定動物が存在すればオクルージョン発生前の指定動物とからオクルージョン発生中の指定動物の位置が更に正確に予測されることに鑑みて、車両に搭載された撮影手段によって動物を追跡中にオクルージョンが発生した場合に、オクルージョン発生中の当該指定動物の位置を高精度に補完することができる。
【００１２】
また、第４発明の車両周辺監視装置は、第３発明の車両周辺監視装置において、前記オクルージョンが発生する前の前記撮像画像から前記対象物抽出手段により前記対象物として抽出された前記指定動物と、前記オクルージョンが解消した後の前記撮像画像から前記対象物抽出手段により前記対象物として抽出された前記指定動物との姿勢が同一であるか否かを前記指定動物の胴部に対して頭部が存在する側に基づいて決定し、同一であると決定された場合に前記オクルージョン発生中の前記指定動物の位置を補完することを特徴とする。
【００１３】
第４発明の車両周辺監視装置によれば、胴部の左右いずれかの側に頭部が存在する指定動物であれば、指定動物が移動する方向は胴部から頭部に向かう方向であると予測され、また、オクルージョン発生前及びオクルージョン解消後において指定動物の胴部に対する頭部の位置が同一であれば当該指定動物であると更にまた正確に予測されることに鑑みて、車両に搭載された撮影手段によって指定動物を追跡中にオクルージョンが発生した場合に、オクルージョン発生中の当該指定動物の位置を高精度に補完することができる。
【発明を実施するための最良の形態】
【００１４】
本発明の一実施形態を以下に図１〜図６を参照して説明する。
【００１５】
まず、図１及び図２を参照して、本実施形態の車両の周辺監視装置のシステム構成を説明する。図１は該周辺監視装置の全体構成を示すブロック図、図２は該周辺監視装置を搭載した車両（自車両）の外観を示す斜視図である。尚、図２では、周辺監視装置の一部の構成要素の図示を省略している。
【００１６】
図１及び図２を参照して、本実施形態の周辺監視装置は、画像処理ユニット１を備える。画像処理ユニット１には、自車両１０の前方の画像を撮像する撮像手段としての２つの赤外線カメラ２Ｒ，２Ｌが接続されると共に、自車両１０の走行状態を検出するセンサとして、自車両１０のヨーレートを検出するヨーレートセンサ３、自車両１０の走行速度（車速）を検出する車速センサ４、及び自車両１０のブレーキ操作の有無を検出するブレーキセンサ５とが接続されている。更に、画像処理ユニット１には、音声などによる聴覚的な注意喚起情報を出力するためのスピーカ６、及び赤外線カメラ２Ｒ，２Ｌにより撮像された撮像画像や視覚的な注意喚起情報を表示するための表示装置７が接続されている。
【００１７】
尚、赤外線カメラ２Ｒ，２Ｌが本発明における撮像手段に相当する。
【００１８】
画像処理ユニット１は、詳細な図示は省略するが、Ａ／Ｄ変換回路、マイクロコンピュータ（ＣＰＵ、ＲＡＭ、ＲＯＭ等を有する）、画像メモリなどを含む電子回路により構成され、赤外線カメラ２Ｒ，２Ｌ、ヨーレートセンサ３、車速センサ４及びブレーキセンサ５から出力されるアナログ信号が、Ａ／Ｄ変換回路によりデジタルデータ化されて、マイクロコンピュータに入力される。そして、マイクロコンピュータは、入力されたデータを基に、人（歩行者、自転車に乗っている者）などの対象物を検出し、検出した対象物が所定の注意喚起要件を満す場合にスピーカ６や表示装置７により運転者に注意喚起を発する処理を実行する。
【００１９】
尚、画像処理ユニット１は、本発明における対象物抽出手段、動物判定手段、オクルージョン判定手段、及び位置補完手段としての機能を備えている。
【００２０】
図２に示すように、赤外線カメラ２Ｒ，２Ｌは、自車両１０の前方を撮像するために、自車両１０の前部（図ではフロントグリルの部分）に取り付けられている。この場合、赤外線カメラ２Ｒ，２Ｌは、それぞれ、自車両１０の車幅方向の中心よりも右寄りの位置、左寄りの位置に配置されている。それら位置は、自車両１０の車幅方向の中心に対して左右対称である。そして、赤外線カメラ２Ｒ，２Ｌは、それらの光軸が互いに平行に自車両１０の前後方向に延在し、且つ、それぞれの光軸の路面からの高さが互いに等しくなるように固定されている。尚、赤外線カメラ２Ｒ，２Ｌは、遠赤外域に感度を有し、それにより撮像される物体の温度が高いほど、出力される映像信号のレベルが高くなる（映像信号の輝度が高くなる）特性を有している。
【００２１】
また、本実施形態では、表示装置７として、自車両１０のフロントウィンドウに画像情報を表示するヘッド・アップ・ディスプレイ７ａ（以下、ＨＵＤ７ａという）を備えている。尚、表示装置７として、ＨＵＤ７ａの代わりに、もしくは、ＨＵＤ７ａと共に、自車両１０の車速などの走行状態を表示するメータに一体的に設けられたディスプレイ、あるいは、車載ナビゲーション装置に備えられたディスプレイを用いてもよい。
【００２２】
次に、本実施形態の周辺監視装置の全体的動作を図３のフローチャートを参照して説明する。尚、図３のフローチャートの処理は、例えば本出願人による特開２００１−６０９６号の図３、及び特開２００７−３１０７０５号の図３に記載されている処理と同じであるので、その同じ処理については、本明細書での詳細な説明は省略する。
【００２３】
まず、画像処理ユニット１は、赤外線カメラ２Ｒ、２Ｌにより赤外線撮像画像を取得する（図３／ＳＴＥＰ１）。
【００２４】
次いで、画像処理ユニット１は、基準画像（右画像）を２値化する（図３／ＳＴＥＰ２）。
【００２５】
次いで、画像処理ユニット１は、前記２値化画像に対してＳＴＥＰ３〜５の処理を実行し、該２値化画像から対象物（より正確には対象物に対応する画像領域）を抽出する。まず、前記２値化画像の高輝度領域を構成する画素群をランレングスデータに変換する（図３／ＳＴＥＰ３）。次いで、基準画像の縦方向に重なりを有するライン群のそれぞれにラベル（識別子）を付する（図３／ＳＴＥＰ４）。次いで、ライン群のそれぞれを対象物として抽出する（図３／ＳＴＥＰ５）。
【００２６】
次いで、画像処理ユニット１は、上記の如く抽出した各対象物の重心の位置（基準画像上での位置）と面積と外接四角形の縦横比とを求める（図３／ＳＴＥＰ６）。
【００２７】
次いで、画像処理ユニット１は、前記ＳＴＥＰ５で抽出した対象物の時刻間追跡、すなわち、画像処理ユニット１の演算処理周期毎の同一対象物の認識を行なう（図３／ＳＴＥＰ７）。
【００２８】
次いで、画像処理ユニット１は、前記車速センサ４及びヨーレートセンサ５の出力（車速の検出値及びヨーレートの検出値）を読み込む（図３／ＳＴＥＰ８）。
【００２９】
一方、画像処理ユニット１は、ＳＴＥＰ７，８の処理と並行して、ＳＴＥＰ１０の処理を実行する。まず、前記基準画像のうち、各対象物に対応する領域（例えば該対象物の外接四角形の領域）を探索画像として抽出する（図３／ＳＴＥＰ１０）。次いで、探索画像との相関性が最も高い領域が、探索画像に対応する画像（探索画像と同等の画像）である対応画像として抽出される（図３／ＳＴＥＰ１１）。次いで、右画像における前記探索画像の重心の横方向位と、左画像における前記対応画像の重心の横方向位置との差分の画素数を視差として算出し、対象物の自車両１０からの距離（自車両１０の前後方向における距離）が算出される（図３／ＳＴＥＰ１２）。
【００３０】
次いで、画像処理ユニット１は、各対象物の実空間上での位置（自車両１０に対する相対位置）である実空間位置を算出する（図３／ＳＴＥＰ１３）。
【００３１】
次いで、画像処理ユニット１は、対象物の実空間位置（Ｘ，Ｙ，Ｚ）のうちのＸ方向の位置Ｘを前記ＳＴＥＰ８で求めた回頭角の時系列データに応じて補正する（図３／ＳＴＥＰ１４）。
【００３２】
次いで、画像処理ユニット１は、対象物の自車両１０に対する移動ベクトルを求める（図３／ＳＴＥＰ１５）。
【００３３】
次いで、ＳＴＥＰ１５において、相対移動ベクトルが求められたら、検出した対象物との接触の可能性を判定する注意喚起判定処理を行う（図３／ＳＴＥＰ１６）。
【００３４】
次いで、画像処理ユニット１は、ＳＴＥＰ１６の注意喚起判定処理において、いずれの対象物も注意喚起発生要件を満たさない（注意喚起発生要件に該当する対象物が存在しない）と判断した場合（図３／ＳＴＥＰ１６‥ＮＯ）には、前記ＳＴＥＰ１からの処理を再開する。また、ＳＴＥＰ１６で、いずれかの対象物が注意喚起発生要件を満たすと判断した場合（図３／ＳＴＥＰ１６‥ＹＥＳ）には、ＳＴＥＰ１７に進んで、注意喚起発生要件を満たす対象物に関する実際の注意喚起を行なうべきか否かの判定を行なう注意喚起出力判定処理を実行する（図３／ＳＴＥＰ１７）。
【００３５】
次いで、画像処理ユニット１は、注意喚起を行なうべきと判定した場合（図３／ＳＴＥＰ１７‥ＹＥＳ）には、注意喚起を出力する（図３／ＳＴＥＰ１８）。
【００３６】
また、ＳＴＥＰ１７で注意喚起を行なわないと判断したとき（全ての対象物について注意喚起を行なわないと判断したとき）には、ＳＴＥＰ１７の判定結果がＮＯとなり、この場合には、そのままＳＴＥＰ１からの処理が再開される。
【００３７】
以上が本実施形態の周辺監視装置の全体的作動である。尚、画像処理ユニット１によりＳＴＥＰ１〜６の処理を実行する構成が、本発明の対象物抽出手段に相当する。
【００３８】
次に、本実施形態の周辺監視装置の要部であるオクルージョンが発生した場合のオクルージョン処理について説明する。
【００３９】
まず、オクルージョンについて図４を参照して説明する。図４（ａ）は、赤外線カメラ２Ｒ、２Ｌにより対象物を追跡しているオクルージョン発生前の時刻ｔ＝ｋの時点での画像４０である。画像４０には、対象物の画像領域４２が表示されている。
【００４０】
図４（ｂ）は、赤外線カメラ２Ｒ、２Ｌにより対象物を追跡中にオクルージョンが発生した時刻ｔ＝ｋ＋１〜ｔ＝ｋ＋ｎ−１の間の画像４４である。オクルージョンは、赤外線カメラ２Ｒ、２Ｌにより対象物を追跡中に、赤外線カメラ２Ｒ、２Ｌからみて対象物が遮蔽物に隠れる等の理由により、一時的に赤外線カメラ２Ｒ、２Ｌから追跡中の対象物が消失する現象である。
【００４１】
図４（ｃ）は、赤外線カメラ２Ｒ、２Ｌにより対象物を追跡しているオクルージョン解消後の時刻ｔ＝ｋ＋ｎの時点での画像４６である。画像４６には、対象物の画像領域４２´が表示されている。
【００４２】
従って、オクルージョン発生中の時刻ｔ＝ｋ＋１〜ｔ＝ｋ＋ｎ−１では、図４（ａ）の画像領域４２に含まれる対象物と図４（ｃ）の画像領域４２´に含まれる対象物とが同一であるか否かが不明になる。
【００４３】
次に、本実施形態におけるオクルージョン処理について図５のフローチャートを参照して説明する。図３における周辺監視装置の全体的動作中にオクルージョンが発生した場合には、以下のオクルージョン処理が実行される。
【００４４】
まず、上記ＳＴＥＰ１〜６の対象物判定処理により抽出された画像領域の対象物が胴部の左右いずれかの側に頭部が存在する指定動物であるか否かを判定する動物判定処理を実行する（図５／ＳＴＥＰ１００）。本実施形態における指定動物としては、胴部を横から見た場合に、胴部（具体的には横長の第１の高輝度画像領域）に対して頭部（具体的には第１の高輝度画像領域の近傍にある第１の高輝度画像領域より小さい第２の高輝度画像領域）が左右いずれかに位置するような動物である。具体的に指定動物としては、鹿、羊、犬、及び馬などの四足動物が挙げられる。
【００４５】
尚、上記ＳＴＥＰ１〜６の対象物判定処理により抽出された画像領域の対象物には、指定動物だけではなく人工構造物及び歩行者等が含まれる。
【００４６】
動物判定処理は、動物にはあり得ない特徴が検出された場合、対象物を人工構造物と判定する。人工構造物であるとする判定処理は、対象物の画像領域に、例えば下記（ａ）〜（ｄ）に示す条件のように、動物にはあり得ない特徴が検出された場合、対象物を人工構造物と判定する。
（ａ）対象物の画像に直線エッジを示す部分が含まれる場合。
（ｂ）対象物の画像の角が直角である場合。
（ｃ）対象物の画像に同じ形状のものが複数含まれている場合。
（ｄ）対象物の画像が予め登録された人工構造物の形状と一致する場合。
【００４７】
尚、対象物は人工構造物ではないと判定された場合で、対象物の動物から歩行者を除くために、対象物が歩行者の可能性があるか否かの判定処理を実行する。歩行者であるか否かの判定処理は、グレースケール画像上で対象物の画像領域の形状や大きさ、輝度分散等の特徴から、対象物が歩行者か否かを判定する。
【００４８】
次いで、赤外線カメラ２Ｒ、２Ｌにおいて指定動物の胴部に対して頭部が存在する側に指定動物が存在すると予測される予測領域を設定する予測領域設定処理を実行する（図５／ＳＴＥＰ１０２）。予測領域は、オクルージョンが発生する前の赤外線カメラ２Ｒ、２Ｌから対象物判定処理により対象物として抽出された指定動物の位置を基準として設定される。
【００４９】
予測領域は、胴部の左右いずれかの側に頭部が存在する指定動物であれば、指定動物が移動する方向は胴部から頭部に向かう方向であると予測されるため、胴部の左右両側のうち頭部が存在する側に設定される。具体的には、オクルージョン発生前の時刻ｔ＝ｋの時点での画像である図６（ａ）に示すように、胴部Ａ１（ｋ）に対して頭部Ａ２（ｋ）が右側に存在するため、予測領域Ａ（ｋ）は指定動物の右側に設定される。尚、図６（ａ）では、胴部Ａ１（ｋ）及び頭部Ａ２（ｋ）を有する指定動物を強調して表示するために強調枠Ｆ（破線枠）がＨＵＤ７ａに表示される。
【００５０】
次いで、図５／ＳＴＥＰ１０２で設定された予測領域に、オクルージョンが解消した後の赤外線カメラ２Ｒ、２Ｌから対象物判定処理により対象物として抽出された対象物が存在するか否かを判定する予測領域存在処理を実行する（図５／ＳＴＥＰ１０４）。具体的には、オクルージョン解消後の時刻ｔ＝ｋ＋ｎ（ｎ＝２）の時点での画像である図６（ｂ）に示すように、予測領域Ａ（ｋ）に対象物（Ａ１（ｋ＋ｎ）及びＡ２（ｋ＋ｎ））が存在するか否かを判定する。
【００５１】
次いで、ＳＴＥＰ１０４において、対象物判定処理により対象物として抽出された対象物が存在する場合（図５／ＳＴＥＰ１０４‥ＹＥＳ）、予測領域に、オクルージョンが解消した後の赤外線カメラ２Ｒ、２Ｌから対象物判定処理により対象物として抽出された指定動物が存在するか否かを判定する予測領域判定処理を実行する（図５／ＳＴＥＰ１０６）。具体的には、オクルージョン解消後の時刻ｔ＝ｋ＋ｎ（ｎ＝２）の時点での画像である図６（ｂ）に示すように、予測領域Ａ（ｋ）に指定動物（Ａ１（ｋ＋ｎ）及びＡ２（ｋ＋ｎ））が存在するか否かを判定する。
【００５２】
次いで、ＳＴＥＰ１０６において、対象物判定処理により対象物として抽出された指定動物が存在する場合（図５／ＳＴＥＰ１０６‥ＹＥＳ）、予測領域判定処理により抽出された指定動物の姿勢が、オクルージョン発生する前の赤外線カメラ２Ｒ、２Ｌから対象物抽出処理により対象物として抽出された指定動物の姿勢と同一であるか否かを判定する予測領域決定処理を実行する（図５／ＳＴＥＰ１０８）。具体的には、オクルージョン解消後の時刻ｔ＝ｋ＋ｎ（ｎ＝２）の時点での画像である図６（ｂ）に示すように、図６（ａ）の指定動物（Ａ１（ｋ）及びＡ２（ｋ））の姿勢と図６（ｂ）の予測領域に存在する指定動物（Ａ１（ｋ＋ｎ）及びＡ２（ｋ＋ｎ））の姿勢が同一であるか否かを決定する。尚、指定動物の姿勢とは、胴部の左右いずれかの側に頭部が存在するかである。
【００５３】
次いで、ＳＴＥＰ１０８において、対象物抽出処理により対象物として抽出された指定動物の姿勢と同一であると判定された場合（図５／ＳＴＥＰ１０８‥ＹＥＳ）、オクルージョンが発生する前の赤外線カメラ２Ｒ、２Ｌから抽出された指定動物の位置と、予測領域決定処理により決定した指定動物の位置とに基づいて、オクルージョン発生中の指定動物の位置を補完する位置補完処理が実行される（図５／ＳＴＥＰ１１０）。具体的には、オクルージョン発生中の時刻ｔ＝ｋ＋１の時点での画像である図６（ｃ）に示すように、オクルージョン発生前の指定動物（Ａ１（ｋ）及びＡ２（ｋ））と、オクルージョン解消後の指定動物（Ａ１（ｋ＋ｎ）及びＡ２（ｋ＋ｎ））との間に、オクルージョン発生中の指定動物（Ａ１（ｋ＋１）及びＡ２（ｋ＋１））の位置が補完される。尚、オクルージョン発生中の指定動物の位置を補完する位置補完処理は、例えば、オクルージョン発生前の指定動物の位置とオクルージョン解消後の指定動物の位置との距離を２分してその位置に指定動物を位置付けることで求められ、オクルージョン発生前の指定動物の位置をＸ（ｋ）として、オクルージョン解消後の指定動物の位置をＸ（ｋ＋２）とすると、位置補完処理で補完される位置は、Ｘ(ｋ)＋((Ｘ(ｋ＋２)−Ｘ(ｋ))÷２)である。そして、時刻ｋ〜ｋ＋ｎまで指定動物の追跡ができるため、図６（ｃ）では、胴部Ａ１（ｋ＋１）及び頭部Ａ２（ｋ＋１）を有する位置が補完された指定動物の存在を強調する強調枠Ｆ（破線枠）がＨＵＤ７ａに表示される。同様に、図６（ｂ）に示すように、オクルージョン解消後の指定動物（Ａ１（ｋ＋２）及びＡ２（ｋ＋２））の位置が補完され、胴部Ａ１（ｋ＋２）及び頭部Ａ２（ｋ＋２）を有する指定動物の存在を強調する強調枠Ｆ（破線枠）がＨＵＤ７ａに表示される。
【００５４】
尚、画像処理ユニット１によりＳＴＥＰ１１０の処理を実行する構成が、本発明の位置補完手段に相当する。
【００５５】
尚、予測領域のオクルージョン発生前及びオクルージョン解消後のそれぞれにおける指定動物の姿勢が同一か否かによらず（図５／ＳＴＥＰ１０８を省略）、予測領域に指定動物が存在することにより、オクルージョン発生中の指定動物の位置を補完するようにすることもできる。
【００５６】
また、予測領域に指定動物が存在することによらず（図５／ＳＴＥＰ１０６を省略）、オクルージョンが発生する前の赤外線カメラ２Ｒ、２Ｌから抽出された指定動物の胴部に対する頭部の位置及び動物の位置と、オクルージョンが解消した後の赤外線カメラ２Ｒ、２Ｌから抽出された指定動物の位置とに基づいて、オクルージョン発生中の指定動物の位置を補完するようにすることもできる。
【００５７】
また、オクルージョン発生前及びオクルージョン解消後に指定動物が存在することによらず（図５／ＳＴＥＰ１０４を省略）、オクルージョンが発生する前の撮像画像から抽出された指定動物の位置及び胴部に対する頭部の位置に基づいて、オクルージョン発生中の指定動物の位置を補完するようにすることもできる。この場合における位置補完処理で補完される位置は、例えば、オクルージョン発生前の指定動物の位置をＸ（ｋ）として、Ｘ（ｋ）＋△Ｘ（△Ｘ∝（Ｘ（ｋ）−Ｘ（ｋ−１））÷△ｔ）である。
【００５８】
以上、本実施形態によれば、胴部の左右いずれかの側に頭部が存在する指定動物であれば、指定動物が移動する方向は胴部から頭部に向かう方向であると予測され、また、オクルージョン発生前及びオクルージョン解消後において指定動物の胴部に対する頭部の位置が同一であれば当該指定動物であると予測されることに鑑みて、車両に搭載された赤外線カメラ２Ｒ，２Ｌによって指定動物を追跡中にオクルージョンが発生した場合に、オクルージョン発生中の当該指定動物の位置を高精度に補完することができる。
【００５９】
尚、本実施形態においては、画像処理ユニット１の処理結果に基づいて、所定の注意喚起を行うように構成されているが、該処理結果に基づいて車両挙動を制御するように構成してもよい。
【００６０】
また、前記実施形態では、２台の赤外線カメラ２Ｒ，２Ｌを備えたが、１台の赤外線カメラを自車両１０に搭載するようにしてもよい。この場合には、対象物との距離をレーダーなどにより検出するようにする。
【図面の簡単な説明】
【００６１】
【図１】本発明の車両の周辺監視装置の一実施形態の全体構成を示す図。
【図２】図１の周辺監視装置を備えた車両の斜視図。
【図３】図１の周辺監視装置に備えた画像処理ユニットの処理を示すフローチャート。
【図４】本実施形態におけるオクルージョンを説明するための図である。
【図５】本実施形態におけるオクルージョン処理を示すフローチャートである。
【図６】本実施形態におけるオクルージョン処理を説明するための図である。
【符号の説明】
【００６２】
１…画像処理ユニット（対象物抽出手段、動物判定手段、オクルージョン判定手段、位置補完手段）、２Ｒ，２Ｌ…赤外線カメラ（撮像手段）
【図１】
0005172482.tif 000002
【図２】
0005172482.tif 000003
【図３】
0005172482.tif 000004
【図４】
0005172482.tif 000005
【図５】
0005172482.tif 000006
【図６】
0005172482.tif 000007