(57)【要約】【課題】追尾目標の見えが大きく変化する場合にも安定した追尾を継続できる相関追尾装置を提供する。【解決手段】相関処理部１２、撮影画像の更新に伴って更新される、追尾目標のテンプレート画像である動的テンプレートを用いたテンプレートマッチングと、動的テンプレートよりも更新頻度が低い、追尾目標のテンプレート画像である静的テンプレートを用いたテンプレートマッチングとを行う。テンプレート更新処理部は、動的テンプレートのマッチング結果と静的テンプレートのマッチング結果との差分値のノルムが差分値閾値以上であり、更に、動的テンプレートと静的テンプレートとの類似度が類似度閾値以下である場合に、静的テンプレートを更新する。【選択図】図２
2018139086.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像の更新に伴って更新される、追尾目標のテンプレート画像である動的テンプレートを用いたテンプレートマッチングと、前記動的テンプレートよりも更新頻度が低い、前記追尾目標のテンプレート画像である静的テンプレートを用いたテンプレートマッチングとを行う相関処理部と、
前記動的テンプレートのマッチング結果と前記静的テンプレートのマッチング結果との差分値のノルムが差分値閾値以上であり、更に、前記動的テンプレートと前記静的テンプレートとの類似度が類似度閾値以下である場合に、前記静的テンプレートを更新するテンプレート更新処理部とを有する相関追尾装置。
【請求項２】
前記テンプレート更新処理部は、
前記動的テンプレートのマッチング結果と前記静的テンプレートのマッチング結果との差分値のノルムが前記差分値閾値よりも小さい場合に、前記動的テンプレートを更新する請求項１に記載の相関追尾装置。
【請求項３】
前記テンプレート更新処理部は、
前記追尾目標の少なくとも一部が遮蔽物に隠れる状態であるオクルージョンが前記撮影画像で発生しておらず、前記動的テンプレートのマッチング結果と前記静的テンプレートのマッチング結果との差分値のノルムが前記差分値閾値以上であり、更に、前記動的テンプレートと前記静的テンプレートとの類似度が前記類似度閾値以下である場合に、前記静的テンプレートを更新する請求項１に記載の相関追尾装置。
【請求項４】
撮影画像の更新に伴って更新される、追尾目標のテンプレート画像である動的テンプレートを用いたテンプレートマッチングと、前記動的テンプレートよりも更新頻度が低い、前記追尾目標のテンプレート画像である静的テンプレートを用いたテンプレートマッチングとを行う相関処理部と、
前記静的テンプレートを用いたテンプレートマッチングにより得られた前記追尾目標の推定位置が含まれる前記撮影画像内の部分画像と、前記撮影画像の１つ前の撮影画像に対するテンプレートマッチングで用いられた動的テンプレートとを用いた線形結合により、前記動的テンプレートを更新するテンプレート更新処理部と、
前記動的テンプレートを用いたテンプレートマッチングにより得られた相関値及び前記静的テンプレートを用いたテンプレートマッチングにより得られた相関値の少なくともいずれかに基づき、前記追尾目標の少なくとも一部が遮蔽物に隠れる状態であるオクルージョンが前記撮影画像で発生しているか否かを判定するオクルージョン判定部とを有する相関追尾装置。
【請求項５】
前記オクルージョン判定部は、
前記動的テンプレートを用いたテンプレートマッチングにより得られた最大の相関値である第１の最大相関値が第１のオクルージョン判定閾値以下であり、前記静的テンプレートを用いたテンプレートマッチングにより得られた最大の相関値である第２の最大相関値が第２のオクルージョン判定閾値以下である場合に、前記オクルージョンが発生していると判定する請求項４に記載の相関追尾装置。
【請求項６】
前記相関追尾装置は、更に、
前記第１の最大相関値が第１の再出現判定閾値以上であり、前記第２の最大相関値が第２の再出現判定閾値以上である場合に、前記撮影画像で前記オクルージョンが解消して前記追尾目標が前記遮蔽物で隠れていない状態になったと判定する再出現判定部を有する請求項５に記載の相関追尾装置。
【請求項７】
前記オクルージョン判定部は、
前記動的テンプレートを用いたテンプレートマッチングにより得られた最大の相関値である第１の最大相関値の規定期間における傾きが閾値以下である場合に、前記オクルージョンが発生していると判定する請求項４に記載の相関追尾装置。
【請求項８】
前記オクルージョン判定部は、
前記静的テンプレートを用いたテンプレートマッチングにより得られた最大の相関値である第２の最大相関値の規定期間における傾きが閾値以下である場合に、前記オクルージョンが発生していると判定する請求項４に記載の相関追尾装置。
【請求項９】
前記オクルージョン判定部は、
前記動的テンプレートを用いたテンプレートマッチングにより得られた最大の相関値である第１の最大相関値と、状態推定フィルタにより得られた予測値とを用いたゲート内外判定を行って、前記オクルージョンが発生しているか否かを判定する請求項４に記載の相関追尾装置。
【請求項１０】
前記オクルージョン判定部は、
前記静的テンプレートを用いたテンプレートマッチングにより得られた最大の相関値である第２の最大相関値と、状態推定フィルタにより得られた予測値とを用いたゲート内外判定を行って、前記オクルージョンが発生しているか否かを判定する請求項４に記載の相関追尾装置。
【請求項１１】
撮影画像を解析して、撮影画像内の追尾目標の推定位置を算出する追尾位置算出処理部と、
前記追尾目標の少なくとも一部が遮蔽物に隠れる状態であるオクルージョンが発生していない撮影画像である基準撮影画像内の部分画像であって前記追尾目標の推定位置が含まれる部分画像である基準部分画像から直線成分を抽出し、前記基準部分画像から抽出した直線成分の角度を基準角度とし、前記オクルージョンが発生している可能性のある撮影画像である非基準撮影画像内の前記基準部分画像と同じサイズの部分画像であって前記追尾目標の推定位置が含まれる部分画像である非基準部分画像から直線成分を抽出し、前記非基準部分画像から抽出した直線成分のうち前記基準角度以外の角度の直線成分の特徴量に基づき、前記非基準撮影画像で前記オクルージョンが発生しているか否かを判定するオクルージョン判定部とを有する相関追尾装置。
【請求項１２】
前記オクルージョン判定部は、
前記基準角度以外の角度の直線成分の特徴量として、前記基準角度以外の角度の直線成分が通る前記非基準撮影画像内の画素の輝度勾配値の総和を用いる請求項１１に記載の相関追尾装置。
【請求項１３】
前記オクルージョン判定部は、
前記基準角度以外の角度の直線成分の特徴量が閾値以上である場合に、前記オクルージョンが発生していると判定する請求項１１に記載の相関追尾装置。
【請求項１４】
撮影画像の更新に伴って更新される、追尾目標のテンプレート画像である動的テンプレートを用いたテンプレートマッチングと、前記動的テンプレートよりも更新頻度が低い、前記追尾目標のテンプレート画像である静的テンプレートを用いたテンプレートマッチングとを行う相関処理と、
前記動的テンプレートのマッチング結果と前記静的テンプレートのマッチング結果との差分値のノルムが差分値閾値以上であり、更に、前記動的テンプレートと前記静的テンプレートとの類似度が類似度閾値以下である場合に、前記静的テンプレートを更新するテンプレート更新処理とを有する相関追尾方法。
【請求項１５】
撮影画像の更新に伴って更新される、追尾目標のテンプレート画像である動的テンプレートを用いたテンプレートマッチングと、前記動的テンプレートよりも更新頻度が低い、前記追尾目標のテンプレート画像である静的テンプレートを用いたテンプレートマッチングとを行う相関処理と、
前記静的テンプレートを用いたテンプレートマッチングにより得られた前記追尾目標の推定位置が含まれる前記撮影画像内の部分画像と、前記撮影画像の１つ前の撮影画像に対するテンプレートマッチングで用いられた動的テンプレートとを用いた線形結合により、前記動的テンプレートを更新するテンプレート更新処理と、
前記動的テンプレートを用いたテンプレートマッチングにより得られた相関値及び前記静的テンプレートを用いたテンプレートマッチングにより得られた相関値の少なくともいずれかに基づき、前記追尾目標の少なくとも一部が遮蔽物に隠れる状態であるオクルージョンが前記撮影画像で発生しているか否かを判定するオクルージョン判定処理とを有する相関追尾方法。
【請求項１６】
撮影画像を解析して、撮影画像内の追尾目標の推定位置を算出する追尾位置算出処理と、
前記追尾目標の少なくとも一部が遮蔽物に隠れる状態であるオクルージョンが発生していない撮影画像である基準撮影画像内の部分画像であって前記追尾目標の推定位置が含まれる部分画像である基準部分画像から直線成分を抽出し、前記基準部分画像から抽出した直線成分の角度を基準角度とし、前記オクルージョンが発生している可能性のある撮影画像である非基準撮影画像内の前記基準部分画像と同じサイズの部分画像であって前記追尾目標の推定位置が含まれる部分画像である非基準部分画像から直線成分を抽出し、前記非基準部分画像から抽出した直線成分のうち前記基準角度以外の角度の直線成分の特徴量に基づき、前記非基準撮影画像で前記オクルージョンが発生しているか否かを判定するオクルージョン判定処理とを有する相関追尾方法。
【請求項１７】
撮影画像の更新に伴って更新される、追尾目標のテンプレート画像である動的テンプレートを用いたテンプレートマッチングと、前記動的テンプレートよりも更新頻度が低い、前記追尾目標のテンプレート画像である静的テンプレートを用いたテンプレートマッチングとを行う相関処理と、
前記動的テンプレートのマッチング結果と前記静的テンプレートのマッチング結果との差分値のノルムが差分値閾値以上であり、更に、前記動的テンプレートと前記静的テンプレートとの類似度が類似度閾値以下である場合に、前記静的テンプレートを更新するテンプレート更新処理とを有する相関追尾プログラム。
【請求項１８】
撮影画像の更新に伴って更新される、追尾目標のテンプレート画像である動的テンプレートを用いたテンプレートマッチングと、前記動的テンプレートよりも更新頻度が低い、前記追尾目標のテンプレート画像である静的テンプレートを用いたテンプレートマッチングとを行う相関処理と、
前記静的テンプレートを用いたテンプレートマッチングにより得られた前記追尾目標の推定位置が含まれる前記撮影画像内の部分画像と、前記撮影画像の１つ前の撮影画像に対するテンプレートマッチングで用いられた動的テンプレートとを用いた線形結合により、前記動的テンプレートを更新するテンプレート更新処理と、
前記動的テンプレートを用いたテンプレートマッチングにより得られた相関値及び前記静的テンプレートを用いたテンプレートマッチングにより得られた相関値の少なくともいずれかに基づき、前記追尾目標の少なくとも一部が遮蔽物に隠れる状態であるオクルージョンが前記撮影画像で発生しているか否かを判定するオクルージョン判定処理とを有する相関追尾プログラム。
【請求項１９】
撮影画像を解析して、撮影画像内の追尾目標の推定位置を算出する追尾位置算出処理と、
前記追尾目標の少なくとも一部が遮蔽物に隠れる状態であるオクルージョンが発生していない撮影画像である基準撮影画像内の部分画像であって前記追尾目標の推定位置が含まれる部分画像である基準部分画像から直線成分を抽出し、前記基準部分画像から抽出した直線成分の角度を基準角度とし、前記オクルージョンが発生している可能性のある撮影画像である非基準撮影画像内の前記基準部分画像と同じサイズの部分画像であって前記追尾目標の推定位置が含まれる部分画像である非基準部分画像から直線成分を抽出し、前記非基準部分画像から抽出した直線成分のうち前記基準角度以外の角度の直線成分の特徴量に基づき、前記非基準撮影画像で前記オクルージョンが発生しているか否かを判定するオクルージョン判定処理とを有する相関追尾プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、追尾目標を自動的に追尾する相関追尾装置等に関する。
【背景技術】
【０００２】
相関追尾は、参照画像（テンプレート画像）を捜索範囲上で移動させて、テンプレートマッチングを行い、最も類似度（相関値）の高い部分の位置（マッチング位置）を追尾位置とする。相関追尾はテンプレートを更新しない固定テンプレート方式と、フレーム毎にテンプレートを更新する更新テンプレート方式が知られている。追尾目標が移動等により大きさや形状が変化したり、建物の影に入る等により目標の明るさが変化することで、追尾目標の見えが変化する場合は更新テンプレート方式が有効とされている。
しかしながら、更新テンプレート方式では、入力画像のノイズや目標の見えの変化による影響で、マッチング位置に誤差が生じる。そのため、誤差を含むマッチング位置を中心に逐次的に更新する場合、更新テンプレートに位置誤差が蓄積するドリフト現象が問題となる。
非特許文献１では初期テンプレートを保存しておき、更新テンプレートと初期テンプレートのマッチング結果（マッチング位置や形状変化などのパラメータ）を比較し、マッチング結果の差分値が所定の閾値以下であれば、初期テンプレートのマッチング結果を利用してテンプレートを更新することで、ドリフト現象を抑えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−６０２６９号公報
【特許文献２】特許第４０９６７５７号
【非特許文献】
【０００４】
【非特許文献１】Ｉ．Ｍａｔｔｈｅｗｓ，ｅｔ．ａｌ，「Ｔｈｅ  Ｔｅｍｐｌａｔｅ  Ｕｐｄａｔｅ  Ｐｒｏｂｌｅｍ，」ＩＥＥＥ  Ｔｒａｎｓ．Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２６，Ｎｏ．６，Ｊｕｎｅ  ２００４．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
非特許文献１で開示された手法では、初期テンプレートは追尾開始時に保存した画像を固定して用いるため、追尾目標の見えが大きく変化する場合には更新テンプレートと初期テンプレートのマッチング結果の比較を適切に行うことができない。この結果、追尾目標の見えが大きく変化する場合には、非特許文献１で開示された手法では、ドリフト現象を十分に抑制することができず、安定した追尾を継続できることができないという課題がある。
【０００６】
本発明は、このような課題を解決することを主な目的とする。
具体的には、本発明は、追尾目標の見えが大きく変化する場合にも安定した追尾を継続できる相関追尾装置等を提供することを主な目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る相関追尾装置は、
撮影画像の更新に伴って更新される、追尾目標のテンプレート画像である動的テンプレートを用いたテンプレートマッチングと、前記動的テンプレートよりも更新頻度が低い、前記追尾目標のテンプレート画像である静的テンプレートを用いたテンプレートマッチングとを行う相関処理部と、
前記動的テンプレートのマッチング結果と前記静的テンプレートのマッチング結果との差分値のノルムが差分値閾値以上であり、更に、前記動的テンプレートと前記静的テンプレートとの類似度が類似度閾値以下である場合に、前記静的テンプレートを更新するテンプレート更新処理部とを有する。
【発明の効果】
【０００８】
本発明では、動的テンプレートのマッチング結果と静的テンプレートのマッチング結果との差分値のノルムが差分値閾値以上であり、更に、動的テンプレートと静的テンプレートとの類似度が類似度閾値以下である場合、すなわち、追尾目標の見えが大きく変化する場合に、静的テンプレートを更新する。
このため、本発明によれば、追尾目標の見えが大きく変化する場合でも、動的テンプレートと更新後の静的テンプレートのマッチング結果の比較を適切に行うことができる。そして、本発明によれば、ドリフト現象を十分に抑制することができ、安定した追尾を継続できることができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る相関追尾装置の構成例を示す図である。
【図２】実施の形態１に係る相関追尾処理部の構成例を示す図である。
【図３】実施の形態１に係る相関追尾処理部の動作例を示すフローチャートである。
【図４】実施の形態１に係る相関追尾処理部の動作例を示すフローチャートである。
【図５】実施の形態１に係る初期設定を示す図である。
【図６】実施の形態１に係るテンプレートマッチングを示す図である。
【図７】実施の形態１に係る相関値の時系列データを示す図である。
【図８】実施の形態１に係る相関追尾装置の他の構成例を示す図である。
【図９】実施の形態２に係る相関追尾処理部の構成例を示す図である。
【図１０】実施の形態２に係るオクルージョン判定部の構成例を示す図である。
【図１１】実施の形態２に係るオクルージョン判定部の動作例を示すフローチャートである。
【図１２】実施の形態２に係るオクルージョン判定部の動作例を示すフローチャートである。
【図１３】実施の形態３に係る相関追尾処理部の構成例を示す図である。
【図１４】実施の形態３に係るオクルージョン判定部の構成例を示す図である。
【図１５】実施の形態４に係る相関追尾処理部の構成例を示す図である。
【図１６】実施の形態４に係るオクルージョン判定部の構成例を示す図である。
【図１７】実施の形態４に係るゲート内外判定を示す図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
本実施の形態では、ドリフト現象を有効に抑制し、追尾目標の見えが大きく変化する場合にも安定した追尾を継続できる相関追尾装置を説明する。
また、本実施の形態では、撮影画像内で追尾目標の少なくとも一部が遮蔽物に隠れる状態であるオクルージョンの発生を正確に判定して、安定した追尾を継続できる相関追尾装置を説明する。
相関追尾装置の詳細を説明する前に、ここでオクルージョンについて説明を行う。
【００１１】
追尾目標が移動により遮蔽物に一時的隠れるオクルージョンが発生する場合、相関値が減少するため、マッチング誤差が大きくなり、正確に追尾を継続できない問題がある。
例えば、前述の特許文献１では異なる時刻に得られた複数のテンプレート画像を保存し、それぞれ独立にテンプレートマッチングを行い、その中で最大の相関値を持つテンプレートに基づいて追尾位置の算出とテンプレートの更新を行うことで、正確な追尾を継続できる。また、オクルージョンの発生時にはテンプレートの更新を止め、遮蔽物が写り込んでいない、オクルージョン発生直前のテンプレートを保持し、追尾目標が遮蔽物から再出現したときに、そのテンプレートを利用し、追尾目標を再検出することで追尾の継続ができるが、正確なオクルージョン判定が必要である。
特許文献１で開示された手法では所定数のテンプレートの保存が必要であり、テンプレートの数が多くなると計算負荷が高くなる。
さらに、オクルージョン判定を利用した継続追尾の手法について、特許文献２で開示された手法では、テンプレートマッチングにおいてオクルージョンが発生すると、相関値が徐々に減少していく特徴を利用し、相関値がある閾値を下回った場合にオクルージョンと判定している。
しかし、相関値がある程度減少したときには遮蔽物がテンプレートに多く写り込んでしまい、再出現の際に使用できないという問題がある。
本実施の形態に係る相関追尾装置は、オクルージョンの発生を正確に判定して、安定した追尾を継続できるようにする。
【００１２】
以下、本発明の実施の形態について、図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分または相当する部分を示す。
【００１３】
＊＊＊構成の説明＊＊＊
図１は、本実施の形態１に係る相関追尾装置１００の構成例を示す。
相関追尾装置１００は、ハードウェア構成として、プロセッサ９０１と記憶装置９０２と撮像装置９０３を備えるコンピュータである。
また、相関追尾装置１００は、機能構成として、撮像処理部１、目標検出処理部２、相関追尾処理部３及び表示処理部４を備える。
また、図１には図示していないが、相関追尾装置１００には、表示装置であるモニタが接続されており、相関追尾装置１００は撮影画像をモニタに表示する。
なお、相関追尾装置１００で行われる処理は、相関追尾方法及び相関追尾プログラムに相当する。
【００１４】
先ず、相関追尾装置１００のハードウェア構成について説明する。
【００１５】
記憶装置９０２には、目標検出処理部２、相関追尾処理部３及び表示処理部４の機能を実現するプログラムが記憶されている。
そして、プロセッサ９０１がこれらプログラムを実行して、後述する目標検出処理部２、相関追尾処理部３及び表示処理部４の動作を行う。
図１では、プロセッサ９０１が目標検出処理部２、相関追尾処理部３及び表示処理部４の機能を実現するプログラムを実行している状態を模式的に表している。
撮像装置９０３は、例えば、光学センサ又は赤外線センサであり、追尾目標（以下、単に目標ともいう）を撮影する。撮像装置９０３は、撮像処理部１を構成する。
【００１６】
次に、相関追尾装置１００の機能構成について説明する。
【００１７】
撮像処理部１は、追尾対象となる追尾目標を撮影し、撮影画像である２次元画像データを目標検出処理部２へ出力する。
【００１８】
目標検出処理部２は、撮像処理部１から出力される２次元画像データから目標候補を抽出し、２次元画像データとともに目標候補の検出位置や大きさなどの特徴量を相関追尾処理部３へ出力する。
【００１９】
相関追尾処理部３は、目標候補の中から指定した目標の検出位置を中心にテンプレート画像を抽出し、捜索範囲上にテンプレート画像を移動させてテンプレートマッチングを行い、マッチング位置を追尾位置として算出し、２次元画像データとともに表示処理部４へ出力する。
【００２０】
表示処理部４は、相関追尾処理部３から出力される２次元画像データと指定した目標の追尾位置をモニタへ表示する。
【００２１】
次に、相関追尾装置１００の動作について説明する。
【００２２】
撮像処理部１は、撮像レンズを使って対象物からの可視光や赤外線を撮像素子で集光し、撮像素子により電気信号に変換する。次に、電気信号をＡ／Ｄ変換器によりデジタル信号に変換することで２次元画像データ（以下、入力画像という）が得られる。
【００２３】
目標検出処理部２は、例えば、背景差分法やフレーム間差分法などにより差分画像を作成し、２値化した画像を求め目標候補の抽出を行い、ラベリング処理により、目標候補の検出位置やサイズなどの特徴量が得る。背景差分法、フレーム間差分法、ラベリング処理は公知技術のため詳細な説明を省略する。
【００２４】
次に、相関追尾処理部３の詳細について説明する。
図２は、実施の形態１に係る相関追尾装置１００の相関追尾処理部３を示す構成図である。
相関追尾処理部３は、捜索範囲設定部１１、相関処理部１２、追尾位置算出処理部１３、動的テンプレート更新処理部１４、静的テンプレート更新処理部１５、オクルージョン判定部１６、再出現判定部１７を備える。
相関追尾処理部３は、動的テンプレート保存部１８に動的テンプレートを保存し、また、動的テンプレート保存部１８から動的テンプレートを取得する。更に、相関追尾処理部３は、静的テンプレート保存部１９に静的テンプレートを保存し、また、静的テンプレート保存部１９から静的テンプレートを取得する。
ここで、静的テンプレートは非特許文献１で開示されている初期テンプレート（Ｔ１）に対応し、動的テンプレートは更新テンプレート（Ｔｎ）に対応する。
つまり、動的テンプレートは、入力画像（撮影画像）の更新に伴って更新される、追尾目標のテンプレート画像である。原則として、動的テンプレートは、入力画像の更新の度に更新されるが、特定の条件下では更新されない。静的テンプレートは、動的テンプレートよりも更新頻度が低い、追尾目標のテンプレート画像である。静的テンプレートは、動的テンプレートが更新されない場合であって、更新のための条件が成立している場合に更新される。
【００２５】
捜索範囲設定部１１は、指定された追尾目標を入力画像から捜索する範囲と目標検出処理部２から出力される入力画像を相関処理部１２へ出力する。
【００２６】
相関処理部１２は、捜索範囲設定部１１から出力される捜索範囲上に、動的テンプレート保存部１８と静的テンプレート保存部１９から出力されるテンプレート画像を移動させてテンプレートマッチングを行い、マッチング位置と入力画像を追尾位置算出処理部１３へ出力する。つまり、相関処理部１２は、動的テンプレートを用いたテンプレートマッチングと、静的テンプレートを用いたテンプレートマッチングとを行う。
また、相関処理部１２は動的テンプレートと静的テンプレートのマッチング位置を動的テンプレート更新処理部１４と静的テンプレート更新処理部１５へ出力する。動的テンプレートのマッチング位置とは、動的テンプレートの相関値が最大となる位置であり、換言すると、動的テンプレートを用いたテンプレートマッチングで得られた追尾目標の推定位置である。また、静的テンプレートのマッチング位置とは、静的テンプレートの相関値が最大となる位置であり、換言すると、静的テンプレートを用いたテンプレートマッチングで得られた追尾目標の推定位置である。
更に、相関処理部１２は、動的テンプレートと静的テンプレートの最大の相関値を追尾位置算出処理部１３、オクルージョン判定部１６、再出現判定部１７へ出力する。
なお、相関処理部１２で行われる処理は相関処理に相当する。
【００２７】
追尾位置算出処理部１３は、相関処理部１２から出力される動的テンプレートと静的テンプレートのマッチング位置と相関値から追尾位置を算出する。つまり、追尾位置算出処理部１３は、入力画像を解析して、入力画像内の追尾目標の推定位置を算出する。
そして、追尾位置算出処理部１３は、算出した追尾位置と、入力画像とを表示処理部４へ出力する。
なお、追尾位置算出処理部１３で行われる処理は追尾位置算出処理に相当する。
【００２８】
動的テンプレート更新処理部１４は、相関処理部１２から出力される動的テンプレートと静的テンプレートのマッチング位置から動的テンプレートの更新判定を行い、更新可能な場合は入力画像から動的テンプレートを更新し、更新したテンプレートを動的テンプレート保存部１８へ出力する。
【００２９】
静的テンプレート更新処理部１５は、相関処理部１２から出力される動的テンプレートと静的テンプレートのマッチング位置、動的テンプレート保存部１８から出力される動的テンプレートと静的テンプレート保存部１９から出力される静的テンプレートから静的テンプレートの更新判定を行い、更新可能な場合は動的テンプレート保存部１８に保存済みの動的テンプレートを静的テンプレート保存部１９へ出力する。
【００３０】
なお、動的テンプレート更新処理部１４及び静的テンプレート更新処理部１５を合わせてテンプレート更新処理部という。
また、動的テンプレート更新処理部１４及び静的テンプレート更新処理部１５で行われる処理はテンプレート更新処理に相当する。
【００３１】
オクルージョン判定部１６は、相関処理部１２から出力される動的テンプレートと静的テンプレートの最大の相関値からオクルージョン判定を行い、判定結果であるオクルージョンフラグを動的テンプレート更新処理部１４、静的テンプレート更新処理部１５、再出現判定部１７へ出力する。
なお、オクルージョン判定部１６により行われる処理は、オクルージョン判定処理に相当する。
【００３２】
再出現判定部１７は、相関処理部１２から出力される動的テンプレートと静的テンプレートの最大の相関値から目標の再出現判定を行う。
【００３３】
動的テンプレート保存部１８は、動的テンプレートを保存する。静的テンプレート保存部１９は、静的テンプレートを保存する。動的テンプレート保存部１８及び静的テンプレート保存部１９は、例えば記憶装置９０２により実現される。
【００３４】
＊＊＊動作の説明＊＊＊
次に、図３及び図４を参照して、相関追尾処理部３の動作例を説明する。
【００３５】
ステップＳ１０１では、静的テンプレートと動的テンプレートの初期設定が行われる。
【００３６】
図５は初期設定を示す説明図である。
先ず、相関処理部１２が、目標検出処理部２から出力される１フレーム目の入力画像から、指定された目標の検出位置を中心に静的テンプレートの画像を抽出し、静的テンプレート更新処理部１５が、抽出された静的テンプレートの画像を静的テンプレート保存部１９に保存する。
次に、相関処理部１２が、２フレーム目の入力画像において、指定された目標の検出位置を中心に捜索範囲設定部１１で設定された２次元の捜索範囲上に静的テンプレート画像を移動させてテンプレートマッチングを行う。更に、相関処理部１２は、静的テンプレートのマッチング位置を中心に静的テンプレートの画像を抽出し、静的テンプレートのマッチング位置を追尾位置とする。ここで、テンプレートの大きさは所定の大きさやラベリング処理によって得られた目標の大きさに基づいて設定される。また、ステップＳ１０１ではオクルージョンフラグの初期値はＯＦＦ（例えば‘０’）とする。動的テンプレート更新処理部１４は、相関処理部１２により抽出された静的テンプレートの画像を動的テンプレートとして動的テンプレート保存部１８に保存する。
【００３７】
ステップＳ１０２では、ｎフレーム目（ｎ≧３）以降の入力画像が得られる。
ステップＳ１０３では、捜索範囲設定部１１が、追尾位置を中心に２次元の捜索範囲を設定する。
ステップＳ１０４は、相関処理部１２の動作を示す。ステップＳ１０４では、相関処理部１２は、入力画像の捜索範囲上に静的テンプレートと動的テンプレートを移動させて、テンプレートマッチングを行う。テンプレートマッチングは広く知られている手法であり、差の２乗和のＳＳＤ（Ｓｕｍ  оｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、差の絶対値和のＳＡＤ（Ｓｕｍ  оｆ  Ａｂｓоｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、正規化相互相関のＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉоｎ）、相互相関係数のＺＮＣＣ（Ｚｅｒо  ｍｅａｎ  Ｎоｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ  Ｃｏｒｒｅｌａｔｉоｎ）がある。ＳＳＤ、ＳＡＤは２つの画像間の相違度、ＮＣＣ、ＺＮＣＣは２つの画像間の相関値を計算する。
【００３８】
図６はテンプレートマッチングを説明する。
相関処理部１２は、入力画像の捜索範囲上にテンプレート画像を移動させながら相関値が最大となる位置を計算する。ＺＮＣＣを用いた場合のマッチング位置を式（１）に示す。但し、Ｉは入力画像、Ｔはテンプレート画像、Ｉ―（Ｉ―はＩの真上に−があることを意味する）は入力画像の平均値、Ｔ―（Ｔ―はＴの真上に−があることを意味する）はテンプレート画像の平均値、ｄ＝［ｄｘ  ｄｙ］Ｔはマッチング位置、Ｗは局所領域、ｘ∈Ｗは局所領域Ｗ内の座標ｘ＝［ｘ  ｙ］Ｔを示す。
【００３９】
【数１】
2018139086.tif 000003
【００４０】
ｎフレーム目の動的テンプレートのマッチング位置を式（４）に、静的テンプレートのマッチング位置を式（５）に示す。また、式（６）は動的テンプレートにおける最大の相関値、式（７）は静的テンプレートにおける最大の相関値を示す。
【００４１】
【数２】
2018139086.tif 000004
【００４２】
ここで、マッチング結果は変位量であるマッチング位置で説明したが、変位量だけでなく、非特許文献１で開示されているように拡大・縮小や回転などの変形量をマッチング結果に含めてよい。
【００４３】
ステップＳ１０５では、オクルージョンフラグがＯＮ（例えば‘１’）であれば静的テンプレートと動的テンプレートの更新は行わずに、ステップＳ１１６の再出現判定処理へ進む。一方で、オクルージョンフラグがＯＦＦであればステップＳ１０６の動的テンプレート更新判定処理へ進む。
【００４４】
ステップＳ１０６〜Ｓ１０８は動的テンプレート更新処理部１４の動作を示す。
ステップＳ１０６では、動的テンプレート更新処理部１４が、動的テンプレートが更新可能かを判定し、更新可能であればステップＳ１０７において動的テンプレートを更新し、更新不可能であればステップＳ１０８において動的テンプレートの保持を行う。
ステップＳ１０６の動的テンプレート更新判定処理は非特許文献１で開示されているように動的テンプレートのマッチング結果と静的テンプレートのマッチング結果の差分値のノルムが規定の閾値以下であるかどうかを判定する。例えば、変位量だけであれば式（８）のように示される。但し、δは閾値を示す。
【００４５】
【数３】
2018139086.tif 000005
【００４６】
式（８）を満たす場合はステップＳ１０７において動的テンプレートの更新を行う。式（８）を満たさない場合は動的テンプレートの更新は行わず、ステップＳ１０８においてテンプレートの保持を行う。
【００４７】
ステップＳ１０７における動的テンプレートの更新は式（９）のように示される。線形結合型の更新を用いることで、入力画像から抽出した画像の反映を徐々に行うことができ、テンプレートの更新を遅くすることが可能である。
Ｔｎ＝λＭｎ＋（１−λ）Ｔｎ−１        （９）
式（９）において、Ｍｎは入力画像から静的テンプレートのマッチング位置を中心に抽出した画像、Ｔｎ−１は１フレーム前の動的テンプレート画像、λは係数（０＜λ≦１）を示す。
このように、動的テンプレート更新処理部１４は、静的テンプレートを用いたテンプレートマッチングにより得られた追尾目標の推定位置が含まれる入力画像内の部分画像と、当該入力画像の１つ前の入力画に対するテンプレートマッチングで用いられた動的テンプレートとを用いた線形結合により、動的テンプレートを更新する。
ステップＳ１０７において更新された動的テンプレートは動的テンプレート保存部１８に出力する。
【００４８】
ステップＳ１０９は追尾位置算出処理部１３の動作を示している。
追尾位置算出処理部１３は、動的テンプレートの最大の相関値Ｒｎと静的テンプレートの最大の相関値Ｒ＊ｎを比較し、相関値の大きいテンプレートのマッチング位置を追尾位置（追尾目標の推定位置）として出力する。相関値Ｒｎは、第１の最大相関値に相当する。また、相関値Ｒ＊ｎは第２の最大相関値に相当する。
【００４９】
ステップＳ１１０〜Ｓ１１１はオクルージョン判定部１６の動作を示す。
ステップＳ１１０のオクルージョン判定処理は、相関処理部１２から出力される動的テンプレートの最大の相関値Ｒｎ及び静的テンプレートの最大の相関値Ｒ＊ｎが規定の閾値以下であるかどうかを判断する。判定式は、式（１０）のように示される。但し、α，βは閾値を示す。閾値αは第１のオクルージョン判定閾値に相当する。また、閾値βは第２のオクルージョン判定閾値に相当する。
図７に示すように、オクルージョンが発生すると、静的テンプレートの最大の相関値Ｒ＊ｎが減少する。一方で、動的テンプレートは入力画像から抽出した画像だけでテンプレートを更新する場合には動的テンプレートに遮蔽物が写りこむため、相関値Ｒｎが減少しにくく、オクルージョンの判定が遅れる。そのため、動的テンプレートを線形結合型のテンプレート更新とすることで、オクルージョン発生時に入力画像から抽出した画像に遮蔽物が写り込んでも、テンプレートへの反映は遅れるので、動的テンプレートに遮蔽物の写り込みが少なく、相関値が減少しやすくなるため、オクルージョン判定が可能である。
Ｒｎ≦α∧Ｒ＊ｎ≦β                  （１０）
また、静的テンプレートは更新が遅く、動的テンプレートよりも相関値が減少しやすい傾向となるため、通常はα≧βに設定する。
式（１０）を満たす場合は、オクルージョン判定部１６は、ステップＳ１１１においてオクルージョンフラグをＯＮにする。式（１０）を満たさない場合は、オクルージョン判定部１６は、オクルージョンが発生していないと判定し、オクルージョンフラグはＯＦＦのままとし、ステップＳ１１２の静的テンプレート更新判定処理へ進む。
【００５０】
ステップＳ１１２〜Ｓ１１４は静的テンプレート更新判定処理１５の動作を示す。
静的テンプレート更新判定処理１５は、ステップＳ１１２では静的テンプレートが更新可能かを判定し、更新可能であればステップＳ１１３において静的テンプレートを更新し、更新不可能であればステップＳ１１４において静的テンプレートの保持を行う。
【００５１】
ステップＳ１１２の静的テンプレート更新判定処理は、静的テンプレートと動的テンプレートの類似度を算出し、類似度が規定の閾値以下となった場合、かつ、動的テンプレートのマッチング結果と静的テンプレートのマッチング結果の差分値のノルムが規定の閾値以上であった場合に静的テンプレートを更新する。
【００５２】
例えば類似度の計算方法として、静的テンプレートおよび動的テンプレートのそれぞれにおいて、ＬＢＰ（Ｌｏｃａｌ  Ｂｉｎａｒｙ  Ｐａｔｔｅｒｎ）画像を生成し、各テンプレートのヒストグラムを作成する。各ヒストグラムをユークリッド距離などにより比較し、類似度を算出することが可能である。この他に、各テンプレートにおける画像の色や形状、テクスチャなどの情報を特徴量とし、特徴量の比較を行うことで類似度を算出してもよい。
【００５３】
もうひとつの判定条件である、動的テンプレートと静的テンプレートのマッチング結果の差分値のノルムについては式（１１）のように示される。但し、ηは閾値を示す。なお、η＞δである。
【００５４】
【数４】
2018139086.tif 000006
【００５５】
また、類似度をＳとすると類似度の判定条件は式（１２）のように示される。但し、γは閾値を示す。
Ｓ≦γ                                  （１２）
【００５６】
静的テンプレート更新判定処理１５は、式（１１）及び式（１２）の両方を満たす場合のみ、ステップＳ１１３において、静的テンプレートの更新を行い、静的テンプレート保存部１９へ動的テンプレート保存部１８に保存済みの動的テンプレートを出力する。式（１１）及び式（１２）のどちらかを満たさない場合、もしくは両方を満たさない場合は、ステップＳ１１４において静的テンプレートの更新は行わず、テンプレートの保持を行う。
【００５７】
ステップＳ１１６〜Ｓ１１８は再出現判定部１７の動作を示している。
再出現判定部１７は、ステップＳ１１６において相関処理部１２から出力される静的テンプレートの最大の相関値Ｒ＊ｎと動的テンプレートの最大の相関値Ｒｎが共に閾値以上であった場合、捜索範囲内に追尾目標が再出現したと判定し、ステップＳ１１７においてオクルージョンフラグをＯＦＦとする。
判定式は、式（１３）のように示される。但し、α’，β’は閾値を示す。閾値α’は、第１の再出現判定閾値に相当する。閾値β’は、第２の再出現判定閾値に相当する。
図７に示すように、動的テンプレートは線形結合型の更新のため、動的テンプレートに遮蔽物の写り込みが少なく、目標が再出現すると動的テンプレートの相関値が増加する。
Ｒｎ≦α’∧Ｒ＊ｎ≦β’                  （１３）
また、動的テンプレートはオクルージョン判定のタイミングが遅くなると遮蔽物の写り込みにより、相関値の増加が遅くなるため、通常はα’≦β’に設定する。
【００５８】
次に、ステップＳ１１８において、追尾位置算出処理部１３が、再出現した目標の追尾位置をステップＳ１０９と同様に算出したのち、ステップＳ１０１の初期設定へと進む。また、ステップＳ１１６において再出現判定がなされなかった場合は、ステップＳ１１５の画像入力終了判定へ進む。
【００５９】
ステップＳ１１５では画像入力の終了判定を行う。画像入力がある場合はステップＳ１０２の画像入力へ進み、画像入力がない場合は相関追尾処理を終了する。
【００６０】
次に、表示処理部４は、相関追尾処理部３から出力された追尾位置と、二次元画像データをモニタに表示させるための画像処理を行う。表示処理部４は、相関追尾処理部３から出力された追尾位置を二次元画像データに重畳し、追尾目標の位置をモニタに表示する。
【００６１】
図１の構成は固定センサの構成であるが、図８に示すように視軸指向制御処理部５を追加することで、相関追尾処理部３の追尾位置から次フレームの目標位置を予測し、センサが目標の方向へ向くように制御する構成にしてもよい。
【００６２】
＊＊＊実施の形態の効果の説明＊＊＊
以上のように、この実施の形態１によれば、静的テンプレートと動的テンプレートとの類似度が規定の閾値以下で、かつ動的テンプレートと静的テンプレートのマッチング結果の差分値のノルムが規定の閾値以上となる場合は、静的テンプレートを更新するので、目標の見えが大きく変化する場合でも、動的テンプレートと静的テンプレートのマッチング結果の比較を適切に行うことができる。
さらに、動的テンプレートを線形結合型の更新にすることで動的テンプレートに遮蔽物が写りこまず、相関値が減少するため、オクルージョン判定が可能であり、目標の再出現時も相関値の増加により再出現の判定が可能となり、安定した相関追尾を継続できる。また、テンプレートの個数は最大で２つであり計算負荷が小さい。
【００６３】
実施の形態２．
次に、実施の形態２に係る相関追尾装置１００を説明する。
本実施の形態においても、相関追尾装置１００の構成例は図１に示したものと同じである。
以下では、主に実施の形態１との相違点を説明する。以下で説明していない事項は実施の形態１と同じである。
【００６４】
次に、実施の形態２に係る相関追尾処理部３の詳細について説明する。なお、撮像処理部１、目標検出部２、表示処理部４は実施の形態１と同じであるため、説明を省略する。
【００６５】
図９は、実施の形態２に係る相関追尾処理部３の構成例を示す。
図９に示すように、実施の形態２ではオクルージョン判定部１６Ａは、追尾位置算出処理部１３からの出力される追尾位置を元に、オクルージョン判定結果を出力する。オクルージョン判定部１６Ａ以外の構成は図２に示したものと同じであるため、説明を省略する。また、処理フローについても図３と同様である。
【００６６】
図１０は、実施の形態２に係るオクルージョン判定部１６Ａの構成例を示す。オクルージョン判定部１６Ａは、オクルージョン判定画像生成部１６１Ａ、エッジ検出処理部１６２Ａ、直線検出部１６３Ａ、初期角度判定部１６４Ａ、ヒストグラム生成部１６５Ａ、判定部１６６Ａ、勾配画像生成部１６７Ａから構成される。
オクルージョン判定部１６Ａは、オクルージョンを引き起こす原因である遮蔽物の多くは画像中において直線成分で構成されるという特徴を利用し、追尾目標周辺の直線成分を分析することでオクルージョンを判定する。
より具体的には、本実施の形態に係るオクルージョン判定部１６Ａは、オクルージョンが発生していない撮影画像である基準撮影画像内の部分画像であって追尾目標の推定位置が含まれる部分画像である基準部分画像から直線成分を抽出する。また、オクルージョン判定部１６Ａは、基準部分画像から抽出した直線成分の角度を基準角度とする。更に、オクルージョン判定部１６Ａは、オクルージョンが発生している可能性のある撮影画像である非基準撮影画像内の基準部分画像と同じサイズの部分画像であって追尾目標の推定位置が含まれる部分画像である非基準部分画像から直線成分を抽出する。そして、オクルージョン判定部１６Ａは、非基準部分画像から抽出した直線成分のうち基準角度以外の角度の直線成分の特徴量に基づき、非基準撮影画像でオクルージョンが発生しているか否かを判定する。
オクルージョン判定部１６Ａは、基準角度以外の角度の直線成分の特徴量として、基準角度以外の角度の直線成分が通る非基準撮影画像内の画素の輝度勾配値の総和を用いる。また、オクルージョン判定部１６Ａは、基準角度以外の角度の直線成分の特徴量が閾値以上である場合に、オクルージョンが発生していると判定する。
【００６７】
図１１及び図１２はオクルージョン判定部１６Ａの動作を示す説明図である。
【００６８】
オクルージョン判定画像生成部１６１Ａは、追尾位置算出処理部１３から出力される追尾位置座標２０１を中心とし、例えばテンプレート領域と同等の大きさなど、符号２０２に示すようにある一定範囲の領域をオクルージョン判定画像２０３として切り出し、エッジ検出処理部１６２Ａ及び勾配画像生成部１６７Ａへ出力する。
【００６９】
エッジ検出処理部１６２Ａは、既知のエッジ検出アルゴリズムにより、入力画像のエッジ検出を行い、エッジ検出画像（二値化画像）２０４を直線検出部１６３Ａへ出力する。なお、多くのエッジ検出アルゴリズムは、ノイズ除去、勾配画像（微分画像）生成、二値化処理の流れで構成されるため、処理の途中で生成された勾配画像を勾配画像生成部１６７Ａの出力としてもよい。
【００７０】
勾配画像生成部１６７Ａは既知の微分フィルタを利用することで、入力画像の輝度勾配画像２０５を生成し、ヒストグラム生成部１６５Ａへ出力する。
【００７１】
直線検出部１６３Ａは、ハフ変換処理を利用することにより、符号２０６に示すように入力画像中の直線を検出し、初期角度判定部１６４Ａへ入力画像中の線分の情報（端点の座標、角度など）を出力する。ハフ変換は画像中の直線を検出することができる手法である。
【００７２】
初期角度判定部１６４Ａは、最初のフレーム、または再出現後最初のフレームのとき、直線検出部１６３Ａにより検出された直線の角度を初期角度として保存する。最初のフレーム又は再出現後最初のフレームは、オクルージョンが発生していない撮影画像であり、基準撮影画像に相当する。また、初期角度判定部１６４Ａは、最初のフレーム又は再出現後最初のフレーム以外のフレームでは、直線検出部１６３Ａにより検出された直線のうち、初期角度と同一の角度を持つ直線以外の情報をヒストグラム生成部１６５Ａに出力する。最初のフレーム又は再出現後最初のフレーム以外のフレームは、オクルージョンが発生している可能性のある撮影画像であり、非基準撮影画像に相当する。
【００７３】
ヒストグラム生成部１６５Ａは、入力データから角度ごとのヒストグラムを作成する。つまり、ヒストグラム生成部１６５Ａは、初期角度判定部１６４Ａより出力された直線の情報を、勾配画像生成部１６７Ａから出力された輝度勾配画像２０５に射影し、各線分において、各線分が通る画素の輝度勾配値の総和を求め、輝度勾配値の総和を各線分の特徴量とする。次に、ヒストグラム生成部１６５Ａは、角度ごとのヒストグラムを生成する。なおヒストグラムにおける角度の幅は５°ごとや１０°ごとなどとしてもよい。ヒストグラム２０７は例として角度の幅を１０°ごととしている。
ヒストグラム生成部１６５Ａは、各線分の角度ごとに特徴量を加算し、各角度の特徴量をヒストグラムに累積する。
【００７４】
判定部１６６Ａは、ヒストグラム生成部１６５Ａの出力であるヒストグラム２０７において、特徴量が閾値を越える角度があった場合、オクルージョン発生とし、オクルージョンフラグをＯＮとする。
【００７５】
図１１は直線検出開始フレームの処理を示しており、初期角度判定部１６４Ａにより初期角度が保存される。図１２では初期角度に含まれない角度成分を持つ直線のみヒストグラムに反映され、判定部１６６Ａで所定の閾値にてオクルージョンの判定を行う。
【００７６】
以上のように、この実施の形態２によれば、相関値の減少に基づくオクルージョン判定を行わず、追尾目標周辺の直線をハフ変換により検出することによってオクルージョン判定を行うので、実施の形態１の場合よりも、早期にオクルージョンを判定することが可能である。
このため、動的テンプレートの更新の際に遮蔽物の反映が少ない段階でテンプレートの更新を停止することができ、目標の再出現時も早期に再出現の判定が可能となり、安定した相関追尾を継続できる。
【００７７】
実施の形態３．
次に、実施の形態３に係る相関追尾装置１００を説明する。
本実施の形態においても、相関追尾装置１００の構成例は図１に示したものと同じである。
以下では、主に実施の形態１との相違点を説明する。以下で説明していない事項は実施の形態１と同じである。
【００７８】
図１３は、実施の形態３に係る相関追尾処理部３の構成例を示す。オクルージョン判定部１６Ｂ以外の構成は図２に示したものと同じであるため、説明を省略する。また、処理フローについても図３と同様である。
【００７９】
図１４は実施の形態３におけるオクルージョン判定部１６Ｂの構成例を示す。オクルージョン判定部１６Ｂは図１４に示すように、相関値傾き算出部１６１Ｂ及び判定部１６２Ｂを備える。
【００８０】
相関値傾き算出部１６１Ｂは相関処理部１２から出力される動的テンプレートの最大の相関値をある一定区間保持し、一定区間の相関値の傾きを最小二乗法により算出し、判定部１６２Ｂへ出力する。
【００８１】
判定部１６２Ｂは、相関値傾き算出部１６１Ｂで算出された、一定区間の相関値の傾きの値が、規定の閾値以下の場合、オクルージョン発生とし、オクルージョンフラグをＯＮとする。
【００８２】
以上では、相関処理部１２から出力される動的テンプレートの最大の相関値を用いて説明したが、静的テンプレートの最大の相関値を用いて、一定区間の相関値の傾きからオクルージョン判定を行ってもよい。
【００８３】
以上のように、この実施の形態３によれば、動的テンプレートの相関値の変化から、オクルージョン発生を判定することが可能である。本実施の形態では、追尾目標のオクルージョンが発生した際に、相関値は徐々に下がり続けるという特徴を利用する。実際には、相関値は連続して減少する場合が少ないため、一定の区間の傾きを求め、閾値以下の場合、オクルージョン発生と判定する。これにより、オクルージョンの誤判定も少なく、安定したオクルージョン判定が可能である。
【００８４】
実施の形態４．
次に、実施の形態４に係る相関追尾装置１００を説明する。
本実施の形態においても、相関追尾装置１００の構成例は図１に示したものと同じである。
以下では、主に実施の形態１との相違点を説明する。以下で説明していない事項は実施の形態１と同じである。
【００８５】
図１５は、実施の形態４における相関追尾処理部３の構成例を示す。図１５において図２と同一符号は同一または相当部分を示すので説明を省略する。
【００８６】
図１６は実施の形態４におけるオクルージョン判定部１６Ｃの全体構成を示す構成図である。オクルージョン判定部１６Ｃはフィルタ処理部１６１Ｃ、ゲート内外判定部１６２Ｃ、判定部１６３Ｃを備えて構成される。
【００８７】
ゲート内外判定部１６１Ｃは、相関処理部１２から出力される動的テンプレートの最大の相関値（観測値）とフィルタ処理部１６２Ｃの予測値からゲート内外判定を行い、判定結果であるゲート外判定フラグを判定部１６３Ｃへ出力する。
また、ゲート内外判定部１６１Ｃは、ゲート内と判定された観測値をフィルタ処理部１６２Ｃへ出力する。
【００８８】
フィルタ処理部１６２Ｃは、ゲート内外判定部１６１Ｃから出力される観測値から予測処理と平滑処理を行い、予測値をゲート内外判定部１６１Ｃへ出力する。
【００８９】
判定部１６３Ｃは、ゲート内外判定部１６１Ｃから出力されるゲート外判定フラグからオクルージョン判定を行い、判定結果であるオクルージョンフラグを動的テンプレート更新処理部１４、静的テンプレート更新処理部１５、再出現判定部１７へ出力する。
【００９０】
次に動作について説明する。
フィルタ処理部１６２Ｃはα―βフィルタやカルマンフィルタなどの状態推定フィルタを用いて、予測処理と平滑処理を行う。α―βフィルタやカルマンフィルタは公知技術であるので詳細な説明は省略する。予測処理は１フレーム先の予測値を算出する。平滑処理は予測値とゲート内外判定部１６１Ｃから出力される観測値から平滑値を算出する。
【００９１】
ゲート内外判定部１６１Ｃは観測値とフィルタ処理部１６２Ｃの予測値からゲート内外判定を行う。
【００９２】
例えば、α―βフィルタを用いる場合、ゲートＳ（予測観測値の分散）は式（１４）のように定義できる。σ２ｐｋはｋフレーム目の予測誤差の分散、σ２ｏｋはｋフレーム目の観測誤差の分散を示す。
Ｓ＝σ２ｐｋ＋σ２ｏｋ                  （１４）
ゲート内外判定処理は式（１５）を満たす場合，観測値はゲート内と判定し、満たさない場合は観測値はゲート外と判定する。χｏｋはｋフレーム目の観測値、χｐｋはｋフレーム目の予測値を示す。ｄは閾値であり、カイ２乗分布表から設定する。
（χｏｋ−χｐｋ）２／Ｓ＜ｄ              （１５）
図１７に示すように等速運動区間内の場合、観測値はゲート内と判定されるが、加速運動区間の場合、観測値はゲート外と判定される。よって、オクルージョンが発生すると相関値が減少するため、その変化を１フレーム毎に検出できる。
【００９３】
判定部１６３Ｃはゲート内外判定部１６１Ｃから出力されるゲート外判定フラグのＯＮとなる回数をカウントし、カウント数が規定の閾値以上となる場合はオクルージョン発生とし、オクルージョンフラグをＯＮとする。
【００９４】
以上では、相関処理部１２から出力される動的テンプレートの最大の相関値を用いて説明したが、静的テンプレートの最大の相関値を用いて、ゲート内外判定を行ってオクルージョン判定を行ってもよい。
【００９５】
以上のように、この実施の形態４によれば、動的テンプレートの相関値から状態推定フィルタを用いてゲート（予測観測値の分散）を算出し、オクルージョン発生時に相関値が減少する、その変化を１フレーム毎にゲート内外判定により検出することで、オクルージョン判定を行うので、安定したオクルージョン判定が可能となる。
【００９６】
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
＊＊＊ハードウェア構成の説明＊＊＊
最後に、相関追尾装置１００のハードウェア構成の補足説明を行う。
図１に示すプロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）等である。
図１に示す記憶装置９０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ
Ｄｉｓｋ  Ｄｒｉｖｅ）等である。
【００９７】
また、記憶装置９０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ９０１により実行される。
プロセッサ９０１はＯＳの少なくとも一部を実行しながら、目標検出処理部２、相関追尾処理部３及び表示処理部４の機能を実現するプログラムを実行する。
図１では、１つのプロセッサが図示されているが、相関追尾装置１００が複数のプロセッサを備えていてもよい。
また、目標検出処理部２、相関追尾処理部３及び表示処理部４の処理の結果を示す情報やデータや信号値や変数値が、記憶装置９０２、又は、プロセッサ９０１内のレジスタ又はキャッシュメモリに記憶される。
また、目標検出処理部２、相関追尾処理部３及び表示処理部４の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記憶媒体に記憶されてもよい。
【００９８】
また、目標検出処理部２、相関追尾処理部３及び表示処理部４を、「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
また、相関追尾装置１００は、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）といった電子回路により実現されてもよい。
この場合は、目標検出処理部２、相関追尾処理部３及び表示処理部４は、それぞれ電子回路の一部として実現される。
なお、プロセッサ及び上記の電子回路を総称してプロセッシングサーキットリーともいう。
【符号の説明】
【００９９】
１  撮像処理部、２  目標検出処理部、３  相関追尾処理部、４  表示処理部、１１  捜索範囲設定部、１２  相関処理部、１３  追尾位置算出処理部、１４  動的テンプレート更新処理部、１５  静的テンプレート更新処理部、１６  オクルージョン判定部、１６Ａ  オクルージョン判定部、１６Ｂ  オクルージョン判定部、１６Ｃ  オクルージョン判定部、１７  再出現判定部、１８  動的テンプレート保存部、１９  静的テンプレート保存部、１００  相関追尾装置、１６１Ａ  オクルージョン判定画像生成部、１６２Ａ  エッジ検出処理部、１６３Ａ  直線検出部、１６４Ａ  初期角度判定部、１６５Ａ  ヒストグラム生成部、１６６Ａ  判定部、１６７Ａ  勾配画像生成部、１６１Ｂ  相関値傾き算出部、１６２Ｂ  判定部、１６１Ｃ  ゲート内外判定部、１６２Ｃ  フィルタ処理部、１６３Ｃ  判定部、２０１  追尾位置座標、２０２  オクルージョン判定領域、２０３  オクルージョン判定画像、２０４  エッジ検出画像、２０５  輝度勾配画像、２０６  直線検出画像、２０７  ヒストグラム、９０１  プロセッサ、９０２  記憶装置、９０３  撮像装置。
【図１】
2018139086.tif 000007
【図２】
2018139086.tif 000008
【図３】
2018139086.tif 000009
【図４】
2018139086.tif 000010
【図５】
2018139086.tif 000011
【図６】
2018139086.tif 000012
【図７】
2018139086.tif 000013
【図８】
2018139086.tif 000014
【図９】
2018139086.tif 000015
【図１０】
2018139086.tif 000016
【図１１】
2018139086.tif 000017
【図１２】
2018139086.tif 000018
【図１３】
2018139086.tif 000019
【図１４】
2018139086.tif 000020
【図１５】
2018139086.tif 000021
【図１６】
2018139086.tif 000022
【図１７】
2018139086.tif 000023