(57)【要約】【課題】動画像内の追尾対象をより正確に追尾することができるようにする。【解決手段】パターン判定部１０２は、前画像の追尾ブロック内に、繰り返しパターンが含まれるか否かを判定し、処理選択部１０３は、パターン判定部１０２より供給された判定結果に基づいて、通常動きベクトル算出部１０４または例外動きベクトル算出部１０５のいずれか一方を選択して動作させ、互いに異なる方法で動きベクトルを算出させる。動きベクトル積算部１０６は、このように算出された積算結果を追尾結果として追尾処理装置１００の外部に出力する。設定制御部１０７は、動きベクトル積算部１０６より供給される追尾結果に基づいて、追尾点の位置情報を各部に供給する。本発明は、例えば、追尾処理装置に適用することができる。【選択図】図２
2009223723.tif 000002
【特許請求の範囲】
【請求項１】
動画像において追尾対象である追尾点の画像を追尾する情報処理装置であって、
前記動画像の処理対象の画像と、前記動画像の処理対象の画像より時間的に前の画像とを比較するブロックマッチングにより、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第１の動きベクトル算出手段と、
前記第１の動きベクトル算出手段とは異なる所定の方法で、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第２の動きベクトル算出手段と、
前記前の画像において、前記追尾点を含む所定の領域であり、前記ブロックマッチングに利用される追尾ブロック内に、所定の画像パターンが繰り返される繰り返しパターンが含まれるか否かを判定するパターン判定手段と、
前記パターン判定手段により前記追尾ブロック内に前記繰り返しパターンが含まれないと判定された場合、前記第１の動きベクトル算出手段に前記動きベクトルを算出させ、前記パターン判定手段により前記追尾ブロック内に前記繰り返しパターンが含まれると判定された場合、前記第２の動きベクトル算出手段に前記動きベクトルを算出させる処理選択手段と
を備える情報処理装置。
【請求項２】
前記第１の動きベクトル算出手段または前記第２の動きベクトル算出手段により算出された前記動きベクトルを積算する動きベクトル積算手段をさらに備える
請求項１に記載の情報処理装置。
【請求項３】
前記動きベクトル積算手段により算出された前記動きベクトルの積算結果を、前記パターン判定手段、前記第１の動きベクトル算出手段、および前記第２の動きベクトル算出手段に供給し、それぞれの前記追尾点の位置に関する設定を更新させる設定制御手段をさらに備える
請求項２に記載の情報処理装置。
【請求項４】
前記第２の動きベクトル算出手段は、前記動きベクトルとして、予め定められた所定の大きさのベクトルを設定する
請求項１に記載の情報処理装置。
【請求項５】
前記第２の動きベクトル算出手段は、
前記前の画像において、前記前の画像の中心を中心とする、前記前の画像の大部分を含む所定の領域である大ブロックを設定する大ブロック設定手段と、
前記前の画像と前記処理対象の画像とを比較し、前記大ブロックについてのブロックマッチングを行う大ブロックマッチング手段と、
前記大ブロックマッチング手段による前記ブロックマッチング結果に基づいて、前記前の画像から前記処理対象の画像への前記大ブロックの動きベクトルを前記追尾点の動きベクトルとして求める動きベクトル算出手段と
を備える請求項１に記載の情報処理装置。
【請求項６】
前記第２の動きベクトル算出手段は、
前記前の画像において、所定の領域であるブロックを、前記前の画像の全体に分布するように、複数設定する複数ブロック設定手段と、
前記前の画像と前記処理対象の画像とを比較し、前記複数のブロックのそれぞれについて前記ブロックマッチングを行う複数ブロックマッチング手段と、
前記複数ブロックマッチング手段によるブロックマッチング結果に基づいて、前記前の画像から前記処理対象の画像への、前記複数のブロックのそれぞれの動きベクトルを求め、さらに、前記複数の動きベクトルに基づいて前記追尾点の動きベクトルを求める動きベクトル算出手段と
を備える請求項１に記載の情報処理装置。
【請求項７】
前記繰り返しパターンは直線状エッジであり、
前記第２の動きベクトル算出手段は、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルの、前記直線状エッジと直交する成分のみを求める
請求項１に記載の情報処理装置。
【請求項８】
動画像において追尾対象である追尾点の画像を追尾する情報処理装置の情報処理方法であって、
前記動画像の処理対象の画像の前の画像において、前記追尾点を含む所定の領域である追尾ブロック内に、所定の画像パターンが繰り返される繰り返しパターンが含まれるか否かを判定し、
前記追尾ブロック内に前記繰り返しパターンが含まれないと判定された場合、前記処理対象の画像と、前記処理対象の画像より時間的に前の画像とを前記追尾ブロックについて比較するブロックマッチングにより、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求め、
前記追尾ブロック内に前記繰り返しパターンが含まれると判定された場合、前記ブロックマッチングを用いた第１の方法とは異なる第２の方法で、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める
ステップを含む情報処理方法。
【請求項９】
動画像において追尾対象である追尾点の画像を追尾するプログラムにおいて、
前記動画像の処理対象の画像の前の画像において、前記追尾点を含む所定の領域である追尾ブロック内に、所定の画像パターンが繰り返される繰り返しパターンが含まれるか否かを判定する判定ステップと、
前記追尾ブロック内に前記繰り返しパターンが含まれないと判定された場合、前記処理対象の画像と、前記処理対象の画像より時間的に前の画像とを前記追尾ブロックについて比較するブロックマッチングにより、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第１の動きベクトル算出ステップと、
前記追尾ブロック内に前記繰り返しパターンが含まれると判定された場合、前記第１の動きベクトル算出ステップの方法とは異なる方法で、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第２の動きベクトル算出ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、並びにプログラムに関し、特に、動画像内の追尾対象をより正確に追尾することができるようにした情報処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像の内容を解析し、その検出結果を画像処理等に利用することが考えられている。例えば、ビデオカメラによる撮影画像のような動画像において、各フレーム画像の中で所望の部分を追尾点として特定し、その追尾点を追尾するように、画像を拡大したり、ビデオカメラ動作を制御したりすることが考えられている（例えば、特許文献１参照）。
【０００３】
動画像中に含まれるユーザが指定した対象を追尾する手法は、様々な方法が提案されている。例えば、ブロックマッチング処理により追尾する方法がある。
【０００４】
ブロックマッチングは、現在のフィールド（またはフレーム）画像と、１フィールド（または１フレーム）隣の画像を用い、それらブロックの差分値（評価値）から動きベクトルを求める手法として知られている。さらに追尾を実現するには、最初にユーザが指示した位置を起点として、フィールド（またはフレーム）毎に算出される動きベクトルを積算している。
【０００５】
図１は、追尾の例を説明する図である。図１Ａは、時刻ｔ＝ｔ−１のフレーム画像１の様子を示しており、図１Ｂは、時刻ｔ＝ｔ（すなわち、フレーム画像１の次のフレーム画像）のフレーム画像１１の様子を示している。図１Ａおよび図１Ｂに示されるように、フレーム画像１およびフレーム画像１１には、斜線で示されるオブジェクト２含まれている。例えば、フレーム画像１の部分画像であるブロック３を追尾対象とする場合、フレーム画像１とフレーム画像１１との間で、ブロックマッチングを行い、ブロック３にマッチするブロックをフレーム画像１１において求める。
【０００６】
【特許文献１】特開２００５−３０３９８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、このオブジェクト２は、図１に示されるように水平方向に直線状エッジを有する。
【０００８】
このようなブロック３を追尾対象とすると、ブロック３にはオブジェクト２の直線状エッジが含まれる。したがって、フレーム画像１１とブロックマッチングを行うと、例えば、ブロック１３、ブロック１４、およびブロック１５のいずれもブロック３にマッチングしてしまう。つまり、ブロックマッチングが不定となり、ブロック３の移動先が一意に定まらない恐れがあった。
【０００９】
また、仮にいずれかのブロックにマッチするとしても、本来マッチすべきでないブロックにマッチする恐れがあるだけでなく、例えば画像にノイズ成分が混入しているような場合、その微小な画素値の変化によってマッチするブロックが、ブロック１３、ブロック１４、ブロック１５のように、フィールド（またはフレーム）毎に切り替わり、追尾結果が暴れてしまう（マッチング結果が不安定となる）恐れがあった。
【００１０】
本発明はこのような問題を解決するためのものであり、画像内に直線状エッジのような繰り返しパターンを含む場合においても、追尾対象をより正確に追尾することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面は、動画像において追尾対象である追尾点の画像を追尾する情報処理装置であって、前記動画像の処理対象の画像と、前記動画像の処理対象の画像より時間的に前の画像とを比較するブロックマッチングにより、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第１の動きベクトル算出手段と、前記第１の動きベクトル算出手段とは異なる所定の方法で、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第２の動きベクトル算出手段と、前記前の画像において、前記追尾点を含む所定の領域であり、前記ブロックマッチングに利用される追尾ブロック内に、所定の画像パターンが繰り返される繰り返しパターンが含まれるか否かを判定するパターン判定手段と、前記パターン判定手段により前記追尾ブロック内に前記繰り返しパターンが含まれないと判定された場合、前記第１の動きベクトル算出手段に前記動きベクトルを算出させ、前記パターン判定手段により前記追尾ブロック内に前記繰り返しパターンが含まれると判定された場合、前記第２の動きベクトル算出手段に前記動きベクトルを算出させる処理選択手段とを備える情報処理装置である。
【００１２】
前記第１の動きベクトル算出手段または前記第２の動きベクトル算出手段により算出された前記動きベクトルを積算する動きベクトル積算手段をさらに備えることができる。
【００１３】
前記動きベクトル積算手段により算出された前記動きベクトルの積算結果を、前記パターン判定手段、前記第１の動きベクトル算出手段、および前記第２の動きベクトル算出手段に供給し、それぞれの前記追尾点の位置に関する設定を更新させる設定制御手段をさらに備えることができる。
【００１４】
前記第２の動きベクトル算出手段は、前記動きベクトルとして、予め定められた所定の大きさのベクトルを設定することができる。
【００１５】
前記第２の動きベクトル算出手段は、前記前の画像において、前記前の画像の中心を中心とする、前記前の画像の大部分を含む所定の領域である大ブロックを設定する大ブロック設定手段と、前記前の画像と前記処理対象の画像とを比較し、前記大ブロックについてのブロックマッチングを行う大ブロックマッチング手段と、前記大ブロックマッチング手段による前記ブロックマッチング結果に基づいて、前記前の画像から前記処理対象の画像への前記大ブロックの動きベクトルを前記追尾点の動きベクトルとして求める動きベクトル算出手段とを備えることができる。
【００１６】
前記第２の動きベクトル算出手段は、前記前の画像において、所定の領域であるブロックを、前記前の画像の全体に分布するように、複数設定する複数ブロック設定手段と、前記前の画像と前記処理対象の画像とを比較し、前記複数のブロックのそれぞれについて前記ブロックマッチングを行う複数ブロックマッチング手段と、前記複数ブロックマッチング手段によるブロックマッチング結果に基づいて、前記前の画像から前記処理対象の画像への、前記複数のブロックのそれぞれの動きベクトルを求め、さらに、前記複数の動きベクトルに基づいて前記追尾点の動きベクトルを求める動きベクトル算出手段とを備えることができる。
【００１７】
前記繰り返しパターンは直線状エッジであり、前記第２の動きベクトル算出手段は、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルの、前記直線状エッジと直交する成分のみを求めることができる。
【００１８】
本発明の一側面は、また、動画像において追尾対象である追尾点の画像を追尾する情報処理装置の情報処理方法であって、前記動画像の処理対象の画像の前の画像において、前記追尾点を含む所定の領域である追尾ブロック内に、所定の画像パターンが繰り返される繰り返しパターンが含まれるか否かを判定し、前記追尾ブロック内に前記繰り返しパターンが含まれないと判定された場合、前記処理対象の画像と、前記処理対象の画像より時間的に前の画像とを前記追尾ブロックについて比較するブロックマッチングにより、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求め、前記追尾ブロック内に前記繰り返しパターンが含まれると判定された場合、前記ブロックマッチングを用いた第１の方法とは異なる第２の方法で、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求めるステップを含む情報処理方法である。
【００１９】
本発明の一側面は、さらに、動画像において追尾対象である追尾点の画像を追尾するプログラムにおいて、前記動画像の処理対象の画像の前の画像において、前記追尾点を含む所定の領域である追尾ブロック内に、所定の画像パターンが繰り返される繰り返しパターンが含まれるか否かを判定する判定ステップと、前記追尾ブロック内に前記繰り返しパターンが含まれないと判定された場合、前記処理対象の画像と、前記処理対象の画像より時間的に前の画像とを前記追尾ブロックについて比較するブロックマッチングにより、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第１の動きベクトル算出ステップと、前記追尾ブロック内に前記繰り返しパターンが含まれると判定された場合、前記第１の動きベクトル算出ステップの方法とは異なる方法で、前記処理対象の画像において前記追尾点の位置を特定し、前記前の画像から前記処理対象の画像への前記追尾点の動きベクトルを求める第２の動きベクトル算出ステップとをコンピュータに実行させるプログラムである。
【００２０】
本発明の一側面においては、第１の動きベクトル算出部において、動画像の処理対象の画像と、動画像の処理対象の画像より時間的に前の画像とを比較するブロックマッチングにより、処理対象の画像において追尾点の位置が特定され、前の画像から処理対象の画像への追尾点の動きベクトルが求められ、第２の動きベクトル算出部において、第１の動きベクトル算出部の方法とは異なる所定の方法で、処理対象の画像において追尾点の位置が特定され、前の画像から処理対象の画像への追尾点の動きベクトルが求められ、前の画像において、追尾点を含む所定の領域であり、ブロックマッチングに利用される追尾ブロック内に、所定の画像パターンが繰り返される繰り返しパターンが含まれるか否かが判定され、追尾ブロック内に繰り返しパターンが含まれないと判定された場合、第１の動きベクトル算出部が動きベクトルを算出させられ、追尾ブロック内に繰り返しパターンが含まれると判定された場合、第２の動きベクトル算出部が動きベクトルを算出させられる。
【発明の効果】
【００２１】
本発明によれば、情報を処理することができる。特に、画像内に繰り返しパターンが含まれる場合であっても、追尾対象をより正確に追尾することができる。
【発明を実施するための最良の形態】
【００２２】
図２は、本発明を適用した追尾処理装置の主な構成例を示すブロック図である。図２に示される追尾処理装置１００は、入力された動画像データの画像内に含まれる追尾対象を各フィールド（またはフレーム）で検出し、その動きベクトルを求め追尾結果として出力する装置である。
【００２３】
なお、以下において、説明の便宜上、処理対象の動画像はインタレース方式であり、追尾処理装置１００には、フィールド単位で入力され、フィールド画像毎に処理されるものとする。もちろん、入力画像をプログレッシブ方式とし、フレーム単位で追尾処理装置１００に入力され、処理されるようにしてもよい。その場合も、以下に説明する各処理は、基本的にインタレース方式の場合と同様に行われる、したがって、以下の説明は、特に、インタレース方式の動画像とプログレッシブ方式の動画像とで分けて説明しない限り、プログレッシブ方式の動画像を処理する場合についても適用可能であるものとする。
【００２４】
また、画像内に含まれる追尾対象を追尾点とし、その追尾点を含む所定の領域を追尾ブロックとする。ここで、ブロックは、フィールド画像の一部の領域を構成する部分画像である。このブロックの画像サイズおよび形状は、予め定められていればどのようなサイズおよび形状であってもよいが、例えば３２画素×３２画素のような矩形の領域である場合が多い。ブロックマッチング処理は、２つのブロックを比較し、互いの画像の類似度を表す評価値を算出する処理である。
【００２５】
また、追尾点が既に求められている、時間的に前に入力される（既に入力されている）フィールド画像を前画像と称し、追尾処理により追尾点の位置を求める、時間的に後に入力される（今回入力される）フィールド画像を現画像と称する。
【００２６】
図２に示されるように、追尾処理装置１００は、画像保持部１０１、パターン判定部１０２、処理選択部１０３、通常動きベクトル算出部１０４、例外動きベクトル算出部１０５、動きベクトル積算部１０６、および設定制御部１０７を有する。
【００２７】
画像保持部１０１は、例えば半導体メモリ等の記憶媒体により構成され、追尾処理装置１００に入力される入力動画像の各フィールド画像を、新しいものから、少なくとも２フィールド以上保持する。
【００２８】
パターン判定部１０２は、画像保持部１０１に保持された処理対象フィールド画像において、設定制御部１０７により設定された追尾対象（追尾点）を含む所定サイズの領域である追尾ブロック内に、例えば直線状エッジや幾何学模様のような所定の画像パターンが繰り返される繰り返しパターンが含まれるか否かを判定し、その判定結果を処理選択部１０３に供給する。
【００２９】
処理選択部１０３は、パターン判定部１０２より供給された判定結果に基づいて、動きベクトルの算出方法を選択する。つまり、処理選択部１０３は、通常動きベクトル算出部１０４または例外動きベクトル算出部１０５のいずれか一方を選択して動作させ、動きベクトルを算出させる。より具体的には、処理選択部１０３は、パターン判定部１０２により追尾ブロック内に繰り返しパターンが含まれないと判定された場合、通常動きベクトル算出部１０４を選択して動作させ、繰り返しパターンが含まれると判定した場合、例外動きベクトル算出部１０５を動作させる。
【００３０】
通常動きベクトル算出部１０４は、画像保持部１０１に保持されているフィールド画像を用いて、処理対象のフィールド画像と、それより時間的に前のフィールド画像とを比較するブロックマッチング処理を行い、前のフィールド画像から処理対象のフィールド画像への追尾点の動きベクトルを算出し、動きベクトル積算部１０６に供給する。
【００３１】
例外動きベクトル算出部１０５は、画像保持部１０１に保持されているフィールド画像を用いて、通常動きベクトル算出部１０４が行うブロックマッチング処理とは異なる所定の処理を行い、前のフィールド画像から処理対象のフィールド画像への追尾点の動きベクトルを算出し、動きベクトル積算部１０６に供給する。
【００３２】
動きベクトル積算部１０６は、通常動きベクトル算出部１０４または例外動きベクトル算出部１０５よりフィールド画像毎に供給される動きベクトルを積算（それまでに算出された動きベクトルの積算結果に加算）する。例えば、ユーザから追尾開始を指示された位置をＰ０とし、フィールド毎に算出される動きベクトルをＶとすると、追尾結果Ｐは、以下の式（１）のように求めることができる。
【００３３】
Ｐ＝Ｐ＋Ｖ      ・・・（１）
ただし、Ｐの初期値をＰ０とする。
【００３４】
動きベクトル積算部１０６は、このように算出された積算結果を追尾結果として追尾処理装置１００の外部に出力するとともに、設定制御部１０７に供給する。また、動きベクトル積算部１０６は、その積算結果を次の動きベクトルの積算に利用するために保持する。
【００３５】
設定制御部１０７は、動きベクトル積算部１０６より供給される追尾結果に基づいて、追尾点（および追尾ブロック）の位置情報をパターン判定部１０２、通常動きベクトル算出部１０４、および例外動きベクトル算出部１０５に供給する。
【００３６】
図３は、図２のパターン判定部１０２の詳細な構成例を示すブロック図である。図２に示されるように、パターン判定部１０２は、画像評価処理部１２２および繰り返しパターン検出部１２３を有する。
【００３７】
画像評価処理部１２２は、画像保持部１０１に保持されている前画像（これから追尾処理に利用されるフィールド画像のうち時間的に前の、既に追尾点の位置が求められている画像）を所定の方法で評価する。この評価方法は繰り返しパターン検出部１２３が入力フィールド画像に含まれる繰り返しパターンを検出可能な方法であれば任意である。例えば、画像評価処理部１２２は、前画像に含まれる追尾ブロックについて、同じ前画像の他のブロックと比較するブロックマッチングを行い、入力画像の評価を行う。
【００３８】
なお、ブロックマッチングの手法は一般的に多数存在するが、画像の評価を行うことができるものであれば基本的にどれを用いてもよい。ただし、一般的なブロックマッチングは、動画像の互いに異なる２つのフィールド画像間において行われる場合が多いが、画像評価処理部１２２は、１枚のフィールド画像内において２つのブロックを比較する。
【００３９】
なお、比較元のブロックを注目ブロックと称し、比較先のブロック（注目ブロックに対する類似度を算出するブロック）を比較対象ブロックと称する。また、ブロックには、基準となる点（基準点）が１つ設定される。この基準点は、対応するブロックを点（画素）で示すものであり、一般的にはブロック内部の画素が設定される。なお、ブロックとその基準点の位置関係は予め定められており、どのブロックにおいても共通とされる。以下において、注目ブロックの基準点を注目点と称し、比較対象ブロックの基準点を比較点とする。また、以下においては、基準点は、対応するブロックの中心点であるものとする。
【００４０】
一般に、ブロックマッチング処理は画像処理において広く利用される技術であるので、このような一般的なブロックマッチング処理を画像の評価に用いることにより、独自の評価方法で評価を行うよりも開発が容易になる。また、例えば、装置内の他の画像処理においてブロックマッチング処理が行われているような場合、そのアルゴリズムを流用することもできる。なお、例えば、他の装置や他の処理部において行われる処理において、同様のブロックマッチング処理が行われる場合、画像評価処理部１２２が、その処理結果を利用することも可能である。このように、ブロックマッチング処理を用いることにより、画像評価処理部１２２の開発コストを低減させることができる。
【００４１】
図３に示されるように、画像評価処理部１２２は、注目点特定部１３１、注目ブロック特定部１３２、比較点選択部１３３、比較対象ブロック特定部１３４、ブロックマッチング部１３５、評価値算出部１３６、および評価値保持部１３７を有する。
【００４２】
注目点特定部１３１は、設定処理部１０７（図２）より供給される追尾結果（最新の追尾点の位置）に関する情報に基づいて、画像保持部１０１に保持されている前画像の中の追尾点を注目点として特定する。注目ブロック特定部１３２は、その注目点に対応する注目ブロックを特定する。
【００４３】
比較点選択部１３３は、画像保持部１０１に保持されている前画像の中から比較点を特定し、比較対象ブロック特定部１３４は、その比較点を基準点とする比較対象ブロックを特定する。
【００４４】
ブロックマッチング部１３５は、例えば、注目ブロックの各画素値と、比較対象ブロックの各画素値とを、ブロック内における位置（以下、ブロック内位置と称する）が互いに同一の画素同士で差分をとることにより、注目ブロックと比較対象ブロックを比較する。なお、このブロック同士の比較方法は任意であり、これ以外の方法で比較するようにしてもよい。
【００４５】
評価値算出部１３６は、ブロックマッチング部１３５による注目ブロックと比較対象ブロックの比較結果に基づいて、注目ブロックと比較対象ブロックの類似度を示す評価値を算出する。例えば、評価値算出部１３６は、ブロックマッチング部１３５において算出された、注目ブロックと比較対象ブロックの、ブロック内位置が互いに同一の画素同士の差分値の絶対値の総和を評価値として算出する。なお、この類似度の評価方法は任意であり、この他にも、例えば、注目ブロックと比較対象ブロックの、ブロック内位置が互いに同一の画素同士の差分値の絶対値の平均値を評価値として算出するようにしてもよいし、ブロックマッチング部１３５が、注目ブロックおよび比較対象ブロックの一部の画素を代表点として選択し、その代表点同士で差分値を求め、評価値算出部１３６が、得られた差分値のみを用いて評価値を算出するようにしてもよい。
【００４６】
評価値保持部１３７は、例えば半導体メモリ等の記憶媒体により構成され、このように算出された評価値を比較対象点毎に保持する。
【００４７】
なお、比較点選択部１３３は、注目ブロック内の全部または予め定められた一部の画素を順次比較点として選択する。つまり、比較対象ブロックは、その各比較点に対して設定され、ブロックマッチング処理は、注目ブロックと、各比較対象ブロックとの間で行われる。評価値保持部１３７は、それらのブロックマッチング処理結果を順次保持する。
【００４８】
繰り返しパターン検出部１２３は、評価値保持部１３７に保持された、それらの評価値を用いて繰り返しパターン検出処理を行い、入力画像に繰り返しパターンが含まれるか否かを判定し、その判定結果をパターン判定部１０２の外部に出力する。この判定結果は、後段において行われる画像処理等に利用される。繰り返しパターン検出部１２３は、図３に示されるように、特徴点特定部１４１、特徴分析部１４２、および分析結果判定部１４３を有する。
【００４９】
特徴点特定部１４１は、評価値保持部１３７に保持された注目ブロックの各画素に対応する評価値群に基づいて、注目ブロックの特徴を示す注目点以外の画素を特徴点として特定する。例えば、特徴点特定部１４１は、類似度が最も高い（比較対象ブロックの）比較点を第１の特徴点として特定し、その第１の特徴点と注目点を結ぶ第１の直線に垂直な、注目点を通る第２の直線上であって、かつ、注目点から互いに反対方向に所定距離離れた注目ブロック内の２点を第２の特徴点および第３の特徴点として特定する。このとき、特徴点特定部１４１は、例えば、注目ブロック内であり、かつ、注目点より予め定められた所定の距離以上離れた領域において、特徴点を特定する。なお、特徴点の特定方法は任意であり、上述した以外の方法を用いるようにしてもよい。
【００５０】
特徴分析部１４２は、特徴点特定部１４１により特定された特徴点を用いて注目ブロックの特徴を分析する。この特徴分析方法は任意であるが、例えば、特徴分析部１４２は、第２の特徴点と第３の特徴点の評価値の平均値を算出する。その平均値と第１の特徴点の差が所定の閾値より大きいか否かを判定する。なお、この分析方法は任意であり、上述した以外の方法を用いるようにしてもよい。
【００５１】
分析結果判定部１４３は、特徴分析部１４２の分析結果に基づいて、注目ブロックに繰り返しパターンを含むか否かを判定する。この判定方法は任意であるが、例えば、第２の特徴点と第３の特徴点の評価値の平均値と、第１の特徴点の差分値が、所定の閾値より大きい場合繰り返しパターンを含むと判定し、差分値が閾値より小さい場合繰り返しパターンを含まないと判定する。
【００５２】
図４は、図２の通常動きベクトル算出部１０４の詳細な構成例を示すブロック図である。図４に示されるように、通常動きベクトル算出部１０４は、ブロックマッチング処理部１６１および動きベクトル算出部１６２を有する。
【００５３】
ブロックマッチング処理部１６１は、処理選択部１０３（図２）よりブロックマッチング処理の実行を指示する制御情報を取得すると、画像保持部１０１（図２）よりフィールド画像（前画像および現画像）を取得し、設定制御部１０７（図２）より取得した追尾結果に関する情報に基づいて、前画像において追尾点および追尾ブロックを特定し、その追尾点を注目点とし、追尾ブロックを注目ブロックとして現画像に対してブロックマッチングを行う。そして、ブロックマッチング処理部１６１は、その処理結果、すなわち、マッチした比較点（比較対象ブロック）についての情報を動きベクトル算出部１６２に供給する。
【００５４】
動きベクトル算出部１６２は、処理選択部１０３（図２）より動きベクトル算出処理の実行を指示する制御情報を取得すると、設定制御部１０７（図２）より取得した追尾結果に関する情報に基づいて、ブロックマッチング処理部１６１より供給された現画像において特定された、前画像の注目点（注目ブロック）にマッチした比較点（比較対象ブロック）についての情報を用いて、前画像から現画像への追尾点の動きベクトルを算出し、動きベクトル積算部１０６（図２）に供給する。
【００５５】
図５は、図２の例外動きベクトル算出部１０５の詳細な構成例を示すブロック図である。図５に示されるように、定数設定部１８１を有する。定数設定部１８１は、処理選択部１０３（図２）より動きベクトル算出の実行を指示する制御情報を取得すると、画像保持部１０１（図２）よりフィールド画像（前画像および現画像）を取得し、ブロックマッチング処理を省略し、現画像における追尾点の位置を前画像に対する所定の位置とし、設定制御部１０７（図２）より取得した追尾結果に関する情報に基づいて、動きベクトルに予め定められた所定の定数を設定する。
【００５６】
例えば、定数設定部１８１は、現画像における追尾点の位置を前画像における追尾点の位置と同一とし、動きベクトルに「０」を設定する。
【００５７】
定数設定部１８１は、このように動きベクトルを求めると、その動きベクトルを動きベクトル積算部１０６（図２）に供給する。
【００５８】
次に、以上のような追尾処理装置１００により実行される追尾処理の流れの例を、図６のフローチャートを参照して説明する。
【００５９】
フィールド画像が入力されると、追尾処理装置１００は、追尾処理を開始する。画像保持部１０１は、ステップＳ１において入力されたフィールド画像（入力画像）のデータを保持する。パターン判定部１０２は、ステップＳ２において、保持された入力画像に対して追尾ブロックを特定し、追尾ブロック内に直線状エッジのような繰り返しパターンが含まれるか否かを判定するパターン判定処理を行う。このパターン判定処理の詳細については後述する。
【００６０】
ステップＳ３において、処理選択部１０３は、ステップＳ２において行われるパターン判定処理の判定結果に基づいて、入力画像（追尾ブロック内）に繰り返しパターンが存在するか否かを判定する。存在しないと判定した場合、処理選択部１０３は、処理をステップＳ４に進める。ステップＳ４において、通常動きベクトル算出部１０４は、通常動きベクトル算出処理を行い、例えばブロックマッチング等を利用した、繰り返しパターンを含まないブロックに対して好適な方法で動きベクトルを算出する。ステップＳ４の処理を終了すると、通常動きベクトル算出部１０４は、処理をステップＳ６に進める。
【００６１】
また、ステップＳ３において、入力画像（追尾ブロック内）に繰り返しパターンが存在すると判定した場合、処理選択部１０３は、処理をステップＳ５に進める。ステップＳ５において、例外動きベクトル算出部１０５は、繰り返しパターンを含むブロック用の方法で動きベクトルを算出する例外動きベクトル算出処理を実行する。ステップＳ５の処理を終了すると、例外動きベクトル算出部１０４は、処理をステップＳ６に進める。
【００６２】
動きベクトル積算部１０６は、ステップＳ６において、ステップＳ４またはステップＳ５の処理において算出された動きベクトルをそれまでに算出された動きベクトルの積算結果に加算することにより積算し、ステップＳ７において、その積算結果を追尾結果として出力する。
【００６３】
ステップＳ８において、設定制御部１０７は、追尾結果（ステップＳ６において算出された動きベクトルの積算結果）を、パターン判定部１０２、処理選択部１０３、通常動きベクトル算出部１０４、および例外動きベクトル算出部１０５に供給し、それぞれの追尾点の設定に反映させる。
【００６４】
ステップＳ８の処理を終了すると、設定制御部１０７は、追尾処理を終了する。
【００６５】
追尾処理装置１００は、フィールド画像が入力されるたびに、以上のような追尾処理を繰り返す。
【００６６】
次に、図７のフローチャートを参照して、図６のステップＳ２において実行されるパターン判定処理の流れの詳細な例を説明する。
【００６７】
パターン判定処理が開始されると、画像評価処理部１２２は、ステップＳ２１において、図６のステップＳ１において保持された入力画像を用いて画像評価処理を行う。画像評価処理が終了すると、繰り返しパターン検出部１２３は、ステップＳ２２において、その画像評価処理結果を用いて入力画像より繰り返しパターンを検出し、その検出結果を出力する。
【００６８】
次に、図７のステップＳ２１において実行される画像評価処理のさらに詳細な流れの例について、図８のフローチャートを参照して説明する。
【００６９】
画像評価処理が開始されると、ステップＳ４１において、注目点特定部１３１は、追尾点に関する情報に基づいて、入力画像において追尾点を特定し、それを注目点とする。
【００７０】
注目点が特定されると、注目ブロック特定部１３２は、ステップＳ４２において、追尾点に関する情報に基づいて、入力画像より追尾ブロックを特定し、それを、注目点を基準点とする所定サイズの注目ブロックとする。
【００７１】
注目ブロックが特定されると、比較点選択部１３３は、ステップＳ４３において、注目ブロック内の未だ比較点に設定していない画素（未処理画素）を、所定の順に選択し、その画素を比較点とする。ステップＳ４４において、比較対象ブロック特定部１３４は、比較点を基準点とする所定サイズの比較対象ブロックを特定する。なお、この比較対象ブロックの形状およびサイズは、ステップＳ４２において特定された注目ブロックと同一である。
【００７２】
注目ブロック及び比較対象ブロックが特定されると、ブロックマッチング部１３５は、ステップＳ４５において、その注目ブロックと比較対象ブロックとを比較する。例えば、ブロックマッチング部１３５は、注目ブロックの各画素値と比較対象ブロックの各画素値を、互いに同一のブロック内画素同士で比較し、差分を求める。そして、評価値算出部１３６は、ステップＳ４６において、ステップＳ４５の処理により得られた比較結果に基づいて、比較点の評価値を算出する。例えば、評価値算出部１３６は、注目ブロックの各画素値と比較対象ブロックの各画素値の、互いに同一のブロック内画素同士の差分値の絶対値の総和を評価値として算出する。
【００７３】
評価値保持部１３７は、ステップＳ４７において、ステップＳ４６の処理により算出された評価値をその比較点に対応付けて記憶する。ステップＳ４８において、比較点選択部１３３は、注目ブロック内に比較点として選択されていない未処理画素が存在するか否かを判定し、存在すると判定した場合、処理をステップＳ４３に戻し、それ以降の処理を繰り返す。つまり、比較点選択部１３３乃至評価値保持部１３７は、注目ブロック内の全画素を比較点として選択するまで、ステップＳ４３乃至ステップＳ４８の処理を繰り返す。そして、ステップＳ４８において、未処理画素が存在しないと判定した場合、比較点選択部１３３は、ブロックマッチング処理を終了し、処理を図７のステップＳ２１に戻し、ステップＳ２２以降の処理を実行させる。
【００７４】
次に、図９のフローチャートを参照して、図７のステップＳ２２において実行される繰り返しパターン検出処理のさらに詳細な流れの例を説明する。
【００７５】
繰り返しパターン検出処理が開始されると、特徴点特定部１４１は、ステップＳ６１において、評価値保持部１３７により保持されている評価値に基づいて、注目ブロック内の特徴点を、注目点以外の画素から複数特定する。ステップＳ６２において、特徴分析部１４２は、ステップＳ６１の処理により特定された特徴点における評価値の特徴を分析し、繰り返しパターンの有無を示す分析結果を生成する。ステップＳ６３において、分析結果判定部１４３は、ステップＳ６２の処理により得られた分析結果に基づいて、注目ブロックの画像（入力画像）が繰り返しパターンを含むか否かを判定する。
【００７６】
分析結果の判定が終了すると、分析結果判定部１４３は、繰り返しパターン検出処理を終了し、処理を図７のステップＳ２２に戻し、パターン判定処理を終了させる。
【００７７】
以上のように、入力画像の評価を行い、その評価結果に基づいて特徴点を特定して分析し、繰り返しパターンを検出することにより、パターン判定部１０２は、より正確に、画像内の繰り返しパターンを検出することができる。
【００７８】
図１０乃至図１３を参照して、繰り返しパターン検出の具体的な例について説明する。
【００７９】
図１０の部分画像２０１は、入力画像の一部分の例を示している。図１０に示されるように部分画像２０１には、左上右下の斜め方向に白線が形成されている。このような白線は、部分画像２０１よりも狭いブロックで見た場合、複数のブロックで同様の画像パターンを形成する。このように、同一のパターンが繰り返し出現するような画像パターンを繰り返しパターンと称する。
【００８０】
部分画像２０１において、例えば、白線上の点を注目点２１１とし、その注目点２１１を中心点とする所定の大きさの正方形の領域を注目ブロック２１２とする。このような注目ブロック２１２に対して、比較点２２１を中心点とする比較対象ブロック２２２と、比較点２２１とは異なる位置の比較点２３１を中心点とする比較対象ブロック２３２とでは互いに画像が異なるので、当然、それらの注目ブロック２１２に対する類似度も異なる。
【００８１】
画像評価処理部１２２は、注目ブロック２１２内の各画素を比較点としてその比較対象ブロックと注目ブロック２１２とでブロックマッチングを行い、比較点毎にその比較対象ブロックの注目ブロック２１２に対する類似度を示す評価値を算出する。より具体的には、注目ブロック２１２と比較対象ブロックにおいて、互いにブロック内位置が同一の画素同士の画素値の差分をとり、その差分値の絶対値の総和を評価値とする。
【００８２】
図１１に示されるグラフの面２４０は、このように算出された評価値の分布を示したものである。図１１においては、注目ブロック２１２のサイズを３１画素×３１画素としている。この例の場合、評価値の値が小さいほど類似度が高いことを示している。例えば、点２４１は、注目点２１１と比較点が互いに同一である場合の評価値を示しており、この場合、注目ブロック２１２と比較対象ブロックは同一となるのでその評価値は「０」となっている。
【００８３】
図１０に示される注目ブロック２１２と比較対象ブロック２３２のように、部分画像２０１のような画像パターンにおいて、比較点が注目点２１１と同一の白線上に位置する場合、その比較点に対応する比較対象ブロックの画像の構図は、注目ブロック２１２の画像の構図に対する類似度が高くなる。つまり、このような比較点の評価値は値が小さくなので、部分画像２０１のような画像パターンの場合、図１１に示されるように、注目点を通るように斜め方向に評価値の低い比較点が分布することになる。換言すれば、このような評価値の分布パターンは、直線状のエッジ、すなわち繰り返しパターンの存在を示している。
【００８４】
以下に、このような直線状エッジの検出方法の例を説明する。図１２は、繰り返しパターン検出部１２３により実行される直線状エッジ検出処理の流れの例を示すフローチャートである。この直線状エッジ検出処理は、図９のフローチャートを参照して説明した繰り返しパターン検出処理の具体的な例（繰り返しパターンとして直線状エッジを検出する例）を示したものである。
【００８５】
直線状エッジ検出処理が開始されると、特徴点特定部１４１は、ステップＳ８１において、注目点より所定距離以上離れた領域において、最も類似度が高い点を第１の特徴点として特定する。
【００８６】
図１３は、注目ブロックを模式的に現した図である。図１３に示される注目ブロック２５０は、説明の便宜上、そのサイズを１５画素×１５画素としている。なお、注目ブロック２５０が、図１０の注目ブロック２１２の中心点付近の一部を示していると考えてもよい。
【００８７】
上述したように、特徴点特定部１４１は、まず、注目ブロック２５０内において評価値が最も小さい点（最も類似度が高い点）を第１の特徴点２５３として特定する。なお、このとき、中心点である注目点２５１を中心とする所定の範囲２５２の画素は第１の特徴点の対象から除外する。これは、繰り返しパターンの有無に関わらず、注目点２５１付近の評価値は一般的に小さくなるので、繰り返しパターンの誤検出の恐れがあるからである。
【００８８】
第１の特徴点２５３を特定すると、特徴点特定部１４１は、ステップＳ８２において、ステップＳ８１の処理により特定された第１の特徴点２５３と注目点２５１とを結ぶ第１の直線２５４を設定する。
【００８９】
第１の直線２５４を設定すると、特徴点特定部１４１は、ステップＳ８３において、注目点２５１を通る、第１の直線２５４に垂直な第２の直線２５５を設定する。ステップＳ８４において、特徴点特定部１４１は、注目点２５１より所定距離互いに反対方向に離れた第２の直線２５５上の２点を第２の特徴点２５６および第３の特徴点２５７として特定する。なお、この第２の特徴点２５６および第３の特徴点２５７も、注目ブロック２５０内の、範囲２５２（つまり、注目点２５１付近）以外の領域において特定する。
【００９０】
以上のステップＳ８１乃至ステップＳ８４は、図９のステップＳ６１の処理に対応する。
【００９１】
第１の特徴点２５３、第２の特徴点２５６、および第３の特徴点２５７がそれぞれ特定されると、特徴分析部１４２は、ステップＳ８５において、第２の特徴点２５６と第３の特徴点２５７に対応する類似度（つまり第２の特徴点２５６と第３の特徴点２５７の評価値）の平均値を算出する。なお、この処理は、図９のステップＳ６２の処理に対応する。
【００９２】
第２の特徴点２５６と第３の特徴点２５７の評価値の平均値が算出されると、分析結果判定部１４３は、ステップＳ８６において、その平均値と第１の特徴点２５３の評価値の差分値を算出し、その差分値が、予め定められた所定の閾値より大きいか否かを判定する。つまり、分析結果判定部１４３は、第１の特徴点の類似度が、第２の特徴点および第３の特徴点の類似度の平均値と比較して所定の閾値より高いか否かを判定する。
【００９３】
差分値が所定の閾値より大きいと判定した場合、分析結果判定部１４３は、ステップＳ８７に処理を進め、第１の直線２５４に沿って直線状エッジが存在すると判定し、その判定結果を出力して直線状エッジ検出処理を終了し、処理を図７のステップＳ２１に戻し、パターン判定処理を終了させる。また、差分値が所定の閾値より大きくないと判定した場合、分析結果判定部１４３は、ステップＳ８８に処理を進め、注目ブロック２５０に直線状エッジが存在しないと判定し、その判定結果を出力して直線状エッジ検出処理を終了し、処理を図７のステップＳ２２に戻し、パターン判定処理を終了させる。
【００９４】
なお、このステップＳ８６乃至ステップＳ８８の処理は、図９のステップＳ６３の処理に対応する。
【００９５】
つまり、繰り返しパターン検出部１２３は、直線状エッジを検出する際、対応する比較対象ブロックの注目ブロックに対する類似度が高いとされた第１の特徴点および注目点２５１を結ぶ方向（第１の直線２５４に沿って）に直線状エッジが存在すると仮定し、その第１の直線２５４に直交する方向（第２の直線２５５上）に２点（第２の特徴点２５６および第３の特徴点２５７）を、その直線状エッジ上でない可能性が高い２点として選択し、それら２点の評価値の平均値と、第１の特徴点の評価値を比較する。このとき、第２の特徴点２５６および第３の特徴点２５７のそれぞれの比較対象ブロックの、注目ブロックに対する類似度に対して、第１の特徴点の比較対象ブロックの注目ブロックに対する類似度が圧倒的に高い（つまり、第２の特徴点２５６および第３の特徴点２５７の評価値の平均値と、第１の特徴点の評価値との差が閾値以上である）場合、繰り返しパターン検出部１２３は、第１の直線２５４に沿って直線状エッジが存在すると判定する。
【００９６】
以上のように検出を行うことにより、繰り返しパターン検出部１２３は、画像に含まれる任意の方向の直線状エッジを容易かつ正確に検出することができる。
【００９７】
なお、以上においては、直線状エッジの検出方法の一例を示したが、上述した以外の方法で直線状エッジを検出するようにしてもよい。
【００９８】
例えば、特徴点が４点以上特定され、それらの一部または全部を用いて直線状エッジを検出するようにしてもよいし、２点の特徴点により直線状エッジを検出するようにしてもよい。また、第２の特徴点２５６および第３の特徴点２５７を、注目点２５１より所定距離互いに反対方向に離れた第２の直線２５５上の２点とするように説明したが、例えば、第２の直線２５５上に位置しない点を第２の特徴点２５６および第３の特徴点２５７としてもよいし、第２の特徴点２５６および第３の特徴点２５７の、注目点２５１までの距離が互いに異なるようにしてもよい。
【００９９】
さらに、範囲２５２の大きさおよび形状は任意である。また、以上においては、評価値が、類似度が高いほど小さくなるように説明したが、評価値の算出方法は任意であり、どのようなパラメータを評価値とするようにしてもよい。
【０１００】
また、以上においては、繰り返しパターンを検出する例として直線状エッジを検出する場合について説明したが、繰り返しパターン検出部１２３が、例えば水玉や網目のような幾何学模様を繰り返しパターンとして検出するようにしてもよい。その場合の具体的な検出方法は任意である。また、互いに異なる複数の方法で繰り返しパターン検出を行い、それらの検出結果に基づいて、検出された繰り返しパターンがどのようなパターンであるかを判定するようにしてもよい。
【０１０１】
次に、図１４のフローチャートを参照して図６のステップＳ４において実行される通常動きベクトル算出処理の詳細な流れの例を説明する。
【０１０２】
通常動きベクトル算出処理が開始されると、通常動きベクトル算出部１０４のブロックマッチング処理部１６１は、ステップＳ１０１において、追尾結果に基づいて、前画像において注目点および注目ブロックを特定し、ステップＳ１０２において、前画像と現画像とでブロックマッチングを行い、現画像において、注目ブロックに最も類似する比較対象ブロックを特定する。このブロックマッチング処理は、注目ブロックと比較対象ブロックとでフィールドが互いに異なること意外は、基本的に、上述したパターン判定部１０２におけるブロックマッチングと同様に行われるので、その説明を省略する。
【０１０３】
ステップＳ１０３において、動きベクトル算出部１６２は、注目点と、ステップＳ１０２において求められた比較対象ブロックの比較点とから、前画像と現画像との間の追尾点の動きベクトルを求める。ステップＳ１０３の処理が終了すると、動きベクトル算出部１６２は、通常動きベクトル算出処理を終了し、処理を図６のステップＳ４に戻し、ステップＳ６以降の処理を実行させる。
【０１０４】
次に、図１５のフローチャートを参照して、図６のステップＳ５において実行される例外動きベクトル算出処理の流れの例を説明する。
【０１０５】
例外動きベクトル算出処理が開始されると、例外動きベクトル算出部１０５の定数設定部１８１は、ステップＳ１２１において、前画像と現画像との間の追尾点の動きベクトルとして、例えば０等の、予め定められた所定の定数（ベクトル）を設定する。動きベクトルを定数に設定すると、定数設定部１８１は、例外動きベクトル算出処理を終了し、処理を図６のステップＳ５に戻し、ステップＳ６以降の処理を実行させる。
【０１０６】
以上のように、追尾処理装置１００は、追尾対象の動きベクトルを算出する前に、追尾ブロックに繰り返しパターンが含まれるか否かを判定し、含まれると判定した場合、例えば予め定められた所定の定数（ベクトル）を設定する等、繰り返しパターンが含まれない追尾ブロックに対して行う通常のブロックマッチングと異なる方法で追尾点の動きベクトルを求めることにより、追尾の失敗や、追尾結果が不安定になる等の不具合の発生を抑制し、画像内に繰り返しパターンが含まれる場合であっても、追尾対象をより正確に追尾することができる。
【０１０７】
なお、パターン判定部１０２において、繰り返しパターン検出の精度を向上させるために、互いに異なる位置の複数の注目ブロックのそれぞれにおいて上述したような繰り返しパターンの検出を行うようにし、それらの複数の検出結果に基づいて再度繰り返しパターンの有無を判定するようにしてもよい。
【０１０８】
図１６は、その場合の、パターン判定部１０２の構成例を示すブロック図である。図１６に示されるように、この場合、パターン判定部１０２は、図３の場合と基本的に同様の構成を有するが、画像評価処理部１２２、および繰り返しパターン検出部１２３の他に、判定結果保持部３１１、新ブロック設定部３１２、および再判定部３１３をさらに有する。
【０１０９】
判定結果保持部３１１は、例えば半導体メモリ等の記憶媒体を有し、分析結果判定部１４３において判定された判定結果を、処理対象の注目点または注目ブロックに対応させて記憶する。新ブロック設定部３１２は、判定結果保持部３１１に保持されている判定結果に基づいて、次に繰り返しパターンの検出を行う新たなブロックを注目ブロックとして特定し、その設定を行い、画像評価処理部１２２に対して、特定した新ブロックの画像評価（例えばブロックマッチング）を実行させる。
【０１１０】
以上のようにして、所定の数の注目ブロックに対して繰り返しパターン検出処理が行われると、再判定部３１３は、判定結果保持部３１１に保持された一部または全ての判定結果に基づいて、入力画像に繰り返しパターンが含まれるか否かを判定し、その判定結果を出力する。
【０１１１】
次に、図１７のフローチャートを参照して、この場合のパターン判定部１０２により、図６のステップＳ２において実行されるパターン判定処理である複数ブロックパターン判定処理の流れの例を説明する。
【０１１２】
複数ブロックパターン判定処理が開始されると、画像評価処理部１２２および繰り返しパターン検出部１２３は、ステップＳ３０１において、まず１つめのブロック（第１のブロック）を注目ブロックとして、図７のフローチャートを参照して説明したのと同様にパターン判定処理を行う。繰り返しパターン検出部１２３が判定結果を出力すると、判定結果保持部３１１は、ステップＳ３０２において、その判定結果を保持する。新ブロック設定部３１２は、ステップＳ３０３において、その判定結果保持部３１１に保持された判定結果に基づいて、第１のブロックにおいて繰り返しパターンが検出されたか否かを判定し、検出されたと判定した場合、処理をステップＳ３０４に進める。
【０１１３】
ステップＳ３０４において、新ブロック設定部３１２は、画像評価処理部１２２を制御し、これまでに注目ブロックとして設定されたブロックとは異なるブロックを新たな注目ブロックとして設定させる。画像評価処理部１２２および繰り返しパターン検出部１２３は、ステップＳ３０５において、その新たな注目ブロックについて、図７のフローチャートを参照して説明したのと同様にパターン判定処理を実行する。繰り返しパターン検出部１２３が判定結果を出力すると、判定結果保持部３１１は、ステップＳ３０６において、その判定結果を保持する。ステップＳ３０７において、新ブロック設定部３１２は、パターン判定処理を所定回数繰り返したか否かを判定し、繰り返していないと判定した場合、処理をステップＳ３０４に戻し、それ以降の処理を繰り返す。ステップＳ３０７において、パターン判定処理を所定回数繰り返したと判定した場合、新ブロック設定部３１２は、処理をステップＳ３０８に進める。つまり、ステップＳ３０４乃至ステップＳ３０７の各処理が繰り返し実行されることにより、所定の数のブロックについてパターン判定が行われる。
【０１１４】
ステップＳ３０８において、再判定部３１３は、判定結果保持部３１１に保持されている各ブロックの判定結果に基づいて、入力画像が繰り返しパターンを含むか否かを判定する。例えば、各ブロックにおいて検出された繰り返しパターンが全て一致し、矛盾が生じない場合、再判定部３１３は、その繰り返しパターンが入力画像に含まれると判定する。なお、この判定方法は任意であり、どのような方法で判定を行うようにしてもよいし、どのような判定基準を用いるようにしてもよい。
【０１１５】
ステップＳ３０８の処理を終了すると、再判定部３１３は、複数ブロックパターン判定処理を終了し、処理を図６のステップＳ２に戻し、ステップＳ３以降の処理を実行させる。また、ステップＳ３０３において、第１のブロックにおいて繰り返しパターンが検出されなかったと判定した場合、新ブロック設定部３１２は、入力画像に繰り返しパターンが含まれないと判定し、複数ブロックパターン判定処理を終了し、処理を図６のステップＳ２に戻し、ステップＳ３以降の処理を実行させる。
【０１１６】
例えば、図１８に示されるように、第１のブロック４１０において、その第１のブロック４１０の注目点４１１および第１の特徴点４１２を通る直線４１３（直線状エッジ）が存在すると判定された場合、新ブロック設定部３１２は、その直線４１３上の、注目点４１１より所定距離（Ｒ２）離れた点を新たな注目点４２１とし、その注目点４２１に対応する新たな注目ブロックとして第２のブロック４２０を設定させ、その第２のブロック４２０において繰り返しパターン検出を行わせる。また、新ブロック設定部３１２は、直線４１３上の、注目点４１１より所定距離（Ｒ３）離れた点を新たな注目点４３１とし、その注目点４３１に対応する新たな注目ブロックとして第３のブロック４３０を設定させ、その第３のブロック４３０において繰り返しパターン検出を行わせる。
【０１１７】
そして、第２のブロック４２０において検出された、注目点４２１と第１の特徴点４２２を結ぶ直線と、第３のブロック４３０において検出された、注目点４３１と第１の特徴点４３２を結ぶ直線が、直線４１３と一致または近似する場合、再判定部３１３は、入力画像に、直線４１３に沿った直線状エッジ（繰り返しパターン）が含まれると判定する。
【０１１８】
以上のように、複数のブロックにおいて繰り返しパターン検出を行うことにより、繰り返しパターンの判定精度を向上させ、より正確に繰り返しパターンの検出を行うことができる。
【０１１９】
なお、この繰り返しパターンの検出を行う注目ブロックとして、どのようなブロックを設定するようにしてもよい。例えば、図１９Ａに示される、ブロック４４０、ブロック４５０、およびブロック４６０のように、互いに共通の注目点４４１に対応し、かつ、ブロックサイズが互いに異なる複数のブロックを注目ブロックとするようにしてもよい。このとき、ブロック４４０、ブロック４５０、およびブロック４６０のいずれを第１のブロックとしてもよい。
【０１２０】
また、例えば、図１９Ｂに示されるように、第１のブロック内の画素４７１を、所定画素数毎に、各画素値の平均化する等して、１つの画素４７２にまとめ、第１のブロックの縮小画像を作成し、その縮小画像を第２のブロックとし、さらに、その第２のブロック内の画素４７２を、所定画素数毎に、各画素値の平均化する等して、１つの画素４７３にまとめ、第２のブロックの縮小画像を作成し、その縮小画像を第３のブロックとし、それぞれについて繰り返しパターンの検出を行うようにするようにしてもよい。
【０１２１】
もちろんこれら以外の方法であってもよい。例えば検出する繰り返しパターンによって、好適な注目ブロックの選択方法は異なる。したがって、検出する繰り返しパターンに応じて、この選択方法を選択するようにしてもよい。
【０１２２】
以上においては、第１のブロックにおいて繰り返しパターンが検出された場合、複数のブロックで繰り返しパターンの検出を行うように説明したが、これに限らず、ステップＳ１０３の処理を省略し、第１のブロックの結果に関わらず、複数のブロックで繰り返しパターンの検出を行うようにしてもよい。また、再判定部３１３が、複数のブロックにおける検出結果が全て一致または近似しなくても、最も可能性の高い検出結果を採用するようにしてもよい。このようにすることにより、パターン判定装置３００は、繰り返しパターン検出のロバスト性を向上させることができる。
【０１２３】
なお、繰り返しパターンの検出を行うブロックの数は任意である。
【０１２４】
また、第１のブロックとして複数のブロックを設定し、上述したような複数ブロックパターン判定処理を繰り返し実行するようにしてもよい。このとき、各複数ブロックパターン判定処理において処理対象とするブロックを互いに異なるものとすることにより、繰り返しパターン検出を行うブロックを増やすことができ、繰り返しパターンの判定精度や繰り返しパターンの検出のロバスト性をさらに向上させ、より正確に繰り返しパターンを検出することができる。
【０１２５】
また、ブロックマッチング部１３５は、ブロック同士を比較する際に、過去に同じブロック間の比較が行われている場合、実際にブロックを比較せずに、過去の比較結果を流用するようにしてもよい。
【０１２６】
例えば、図１０の例において、比較点２３１の評価値は、比較点２３１を注目点とし、注目点２１１を比較点としたときの比較点２１１の評価値と同一になる（類似度は変わらない）。そこで、例えば、評価値保持部１３７が評価値を注目点と比較点の組み合わせ（２点の座標情報の組み合わせであり、どちらが注目点でどちらが比較点であるかは区別しない）に対応付けるようにし、ブロックマッチング部１３５が、まず、比較を行う注目点と比較点の組み合わせから評価値保持部１３７の評価値を検索し、その組み合わせに対応する評価値が存在する場合、その評価値を採用し、ブロックマッチング部１３５によるブロックマッチング、および、評価値算出部１３６による評価値の算出を省略するようにしてもよい。
【０１２７】
このようにすることにより、処理の負荷を軽減させることができる。
【０１２８】
また、例えば、ブロックマッチング部１３５がブロックマッチング処理において画素同士の差分値を算出する際に、その差分値を全て保持しておくようにし、その後に実行されるブロックマッチング処理において、同一の画素間の差分値を算出する場合には、その値を流用するようにしてもよい。このようにすることにより、処理の負荷を軽減させることができる。
【０１２９】
また、以上において、追尾ブロックに繰り返しパターンが含まれる場合の例外動きベクトル算出処理として、定数（所定のベクトル）を動きベクトルに設定するように説明したが、例外動きベクトル算出処理は、これ以外の処理を適用してもよい。例えば、追尾点ではなく画面全体（または大部分）の動きベクトルを求めるようにしてもよい。つまり、追尾ブロックに繰り返しパターンが含まれる場合には、追尾点の追尾に失敗する恐れがあるので、追尾点の代わりに追尾対象の背景となる画像全体（または大部分）の動きを検出し、それを動きベクトルとするようにする。このような背景（画面全体の中で支配的な領域を有する画像）の動きは、例えばカメラのパン動作やチルト動作等により発生する場合が多いが、このような背景の動きは一般的に安定的であり、フレーム毎に動きベクトルの向きや大きさが極端に変化する可能性は少ない。つまり、例外動きベクトル算出部１０５は、このような背景の動きから動きベクトルを算出することにより、安定した動きベクトルを求めることができる。
【０１３０】
図２０は、その場合の例外動きベクトル算出部１０５の主な構成例を示すブロック図である。図２０に示されるように、この場合、例外動きベクトル算出部１０５は、大ブロックマッチング処理部５０１および動きベクトル算出部５０２を有する。
【０１３１】
大ブロックマッチング処理部５０１は、処理選択部１０３（図２）より動きベクトル算出の実行を指示する制御情報を取得すると、画像保持部１０１（図２）よりフィールド画像（前画像および現画像）を取得し、前画像に対して、画像の大部分を含む所定の領域を大ブロックとして設定する。例えば、大ブロックマッチング処理部５０１は、前画像の中心点を基準点とし、その基準点を中心点とする前画像の大部分を含む所定の領域をだいぶロックとして設定する。そして、大ブロックマッチング処理部５０１は、その大ブロックを注目ブロック（注目大ブロック）とし、その注目大ブロックの基準点を注目点としてブロックマッチング処理を行う。大ブロックマッチング処理部５０１は、注目大ブロックと同じ大きさの比較対象ブロック（比較対象大ブロック）およびその比較点を現画像に対して設定する。
【０１３２】
以上のようなブロックマッチングにより注目大ブロックに最も類似する比較対象大ブロックを特定すると、大ブロックマッチング処理部５０１は、その処理結果を動きベクトル算出部５０２に供給する。
【０１３３】
動きベクトル算出部５０２は、画像の大部分の動きを追尾点の動きとし、追尾結果の情報およびブロックマッチング処理結果に基づいて、前画像から現画像への追尾点の動きベクトルを算出し、動きベクトル積算部１０６に出力する。
【０１３４】
このような例外動きベクトル算出部１０５による例外動きベクトル算出処理の流れの例について、図２１のフローチャートを参照して説明する。
【０１３５】
例外動きベクトル算出処理が開始されると、大ブロックマッチング処理部５０１は、ステップＳ５０１において、前画像において注目点および注目大ブロックを特定する。この注目点および注目大ブロックの特定方法は任意である。例えば、前画像の中心を注目点として、その注目点を中心とする前画像の大部分（予め定められた所定のサイズ）の領域を注目大ブロックとするようにしてもよい。ステップＳ５０２において、大ブロックマッチング処理部５０１は、前画像と現画像とでブロックマッチングを行い、現画像において、注目大ブロックに最も類似する比較対象大ブロックを特定する。ステップＳ５０３において、動きベクトル算出部５０２は、注目点と、ステップＳ５０２の処理により特定された比較対象大ブロックの比較点とから、追尾ベクトルを求める。
【０１３６】
追尾ベクトルを求めると、動きベクトル算出部５０２は、例外動きベクトル算出処理を終了し、処理を図６のステップＳ５に戻し、ステップＳ６以降の処理を実行させる。
【０１３７】
以上のように追尾を行うことにより、追尾処理装置１００は、例えばカメラのチルト動作やパン動作等によりおきる追尾点の移動を、それと同時におきる背景の動きにより検出することができ、追尾の失敗や、追尾結果が不安定になる等の不具合の発生を抑制し、画像内に繰り返しパターンが含まれる場合であっても、追尾対象をより正確に追尾することができる。
【０１３８】
なお、大ブロックの大きさを大きくすると、大きな動きの検出が困難になる恐れがある。また、大きな動きを検出するために大ブロックの大きさを小さくすると、画面全体の動きの検出が困難になる恐れがある。そこで、大ブロックを用いる代わりに、追尾ブロックと同程度の大きさの注目ブロックを、前画像全体に例えば平均的に分布するように分散配置し、各注目ブロックについてブロックマッチングを行って動きベクトル（動きベクトル候補）を求め、得られた複数の動きベクトル候補に基づいて追尾点の動きブロックを求めるようにしてもよい。
【０１３９】
図２２は、その場合の、例外動きベクトル算出部１０５の構成例を示すブロック図である。図２２に示されるように、この場合の例外動きベクトル算出部１０５は、複数ブロックマッチング処理部５２１および動きベクトル算出部５２２を有する。
【０１４０】
複数ブロックマッチング処理部５２１は、処理選択部１０３（図２）より動きベクトル算出の実行を指示する制御情報を取得すると、画像保持部１０１（図２）よりフィールド画像（前画像および現画像）を取得し、前画像に対して、複数の注目ブロックを、画像全体に例えば平均的に分布するように分散配置し、それぞれについてブロックマッチング処理を行い、最も類似する比較対象ブロックをそれぞれ特定し、各注目ブロック（およびその注目点）に関する情報と、各注目ブロックに対応する各比較対象ブロック（およびその比較点）の情報を動きベクトル算出部５２２に供給する。
【０１４１】
動きベクトル算出部５２２は、複数ブロックマッチング処理部５２１より供給された、各注目点および各比較点の関係に基づいてそれぞれの動きベクトル（動きベクトル候補）をそれぞれ求め、さらに、それらの動きベクトル候補に基づいて、追尾点の動きベクトルを求める。動きベクトル算出部５２２は、例えば、全動きベクトル候補の平均を動きベクトルとする等、所定の方法で動きベクトル候補から動きベクトルを求める。この動きベクトルの算出方法は任意であり、どのような方法で動きベクトル候補より動きベクトルを求めるようにしてもよいが、動きベクトルがなるべく多くの動きベクトル候補の特徴を表わすようにするのが望ましい。
【０１４２】
この場合の、例外動きベクトル算出処理の流れの例を図２３のフローチャートを参照して説明する。
【０１４３】
例外動きベクトル算出処理が開始されると、複数ブロックマッチング処理部５２１は、ステップＳ５２１において、前画像全体にわたって分布するように、注目点および注目ブロックを複数特定する。ステップＳ５２２において、複数ブロックマッチング処理部５２１は、前画像と現画像とでブロックマッチングを行い、現画像において、各注目ブロックに最も類似する比較対象ブロックをそれぞれ特定する。
【０１４４】
ステップＳ５２３において、動きベクトル算出部５２２は、各注目点と各比較点とに基づいて、それぞれ動きベクトル候補を求める。ステップＳ５２４において、動きベクトル算出部５２２は、全ての動きベクトル候補に基づいて動きベクトルを求める。
【０１４５】
ステップＳ５２４の処理を終了すると、動きベクトル算出部５２２は、例外動きベクトル算出処理を終了し、処理を図６のステップＳ４に戻し、ステップＳ６以降の処理を実行させる。
【０１４６】
以上のように追尾を行うことにより、追尾処理装置１００は、例えばカメラのチルト動作やパン動作等によりおきる追尾点の移動を、それと同時におきる背景の動きにより検出することができ、追尾の失敗や、追尾結果が不安定になる等の不具合の発生を抑制し、画像内に繰り返しパターンが含まれる場合であっても、追尾対象をより正確に追尾することができる。
【０１４７】
特に、この場合、複数の動きベクトル候補より動きベクトルを求めるので、いくつかの動きベクトル候補の算出に失敗しても残りの動きベクトル候補から動きベクトルを求めることができるので、追尾処理装置１００は、追尾の失敗を抑制し、より安定的に追尾を行うことができる。
【０１４８】
また、上述した以外にも、例えば、追尾点の動きベクトルを、直線状エッジに対して垂直な方向のベクトル成分のみ求めるようにしてもよい。図２を参照して説明したように、通常動きベクトル処理を行った場合に、不定または不安定になるのは、動きベクトルの、直線状エッジに対して水平方向の成分である。換言すれば、動きベクトルの、直線状エッジに対して垂直方向の成分は、通常動きベクトル処理においても安定的に求めることができる。
【０１４９】
図２４は、その場合の例外動きベクトル算出部１０５の構成例を示すブロック図である。図２４に示されるように、この場合の例外動きベクトル算出部１０５は、直線状エッジ垂直方向動きベクトル算出部５４１および動きベクトル算出部５４２を有する
【０１５０】
直線状エッジ垂直方向動きベクトル算出部５４１は、追尾ベクトルに含まれる直線状エッジの延伸方向を特定し、その延伸方向に垂直な方向（垂直方向）の、直線状エッジの動きベクトルを求める。動きベクトル算出部５４２は、直線状エッジ垂直方向動きベクトル算出部５４１により算出された直線状エッジの垂直方向の動きベクトルを追尾点の動きベクトルとして設定し、出力する。
【０１５１】
例えば、図２５に示されるように、通常動きベクトル算出処理のブロックマッチングにより前画像の追尾ブロック５５１に対して現画像のブロック５５２がマッチングするとする。つまり、動きベクトルＭ＝（Ｍｘ，Ｍｙ）が算出されるとする。ただし、追尾ブロック５５１に含まれる直線状エッジ（点線）により、動きベクトルＭの、直線状エッジに平行な成分Ｍｘは、不安定にマッチングしたことにより暴れている可能性が高い。つまり、正しくＭｘを求めることは困難である。これに対して、直線状エッジに垂直な成分Ｍｙは、直線状エッジの影響を受けずに安定的に求めることができ、かつ、直線状エッジの動きベクトルＮと同等である。
【０１５２】
そこで、例外動きベクトル算出部１０５は、動きベクトルＭ'＝（０，Ｍｙ）を、追尾点の動きベクトルとして算出し、出力する。一般に、動きベクトルがＶ＝（Ｖｘ，Ｖｙ）であり、直線状エッジがＬ＝（Ｌｘ，Ｌｙ）であるとき、直線状エッジと直交するベクトルのひとつをＬ'＝（Ｌｘ'，Ｌｙ'）＝（−Ｌｙ，Ｌｘ）または（Ｌｙ，−Ｌｘ）とする（Ｖとなす角が小さいほうとする）と、いま求めたい動きベクトルＶ'は、内積を用いて以下の式（２）のように求めることができる。
【０１５３】
Ｖ'＝（Ｌ'・Ｖ）／（Ｌ'・Ｌ'）×Ｌ'      ・・・（２）
【０１５４】
この場合の、例外動きベクトル算出処理の流れの例を図２６のフローチャートを参照して説明する。
【０１５５】
例外動きベクトル算出処理が開始されると、直線状エッジ垂直方向動きベクトル算出部５４１は、ステップＳ５４１において、追尾結果に基づいて直線状エッジの向きを特定し、ステップＳ５４２において、追尾結果に基づいてブロックマッチングを行い、直線状エッジの動きベクトルを求め、ステップＳ５４３において、直線状エッジの動きベクトルの、直線状エッジに垂直な成分を求める。
【０１５６】
ステップＳ５４４において、動きベクトル算出部５４２は、求められた直線状エッジに垂直な方向の動きベクトルを注目点の動きベクトルとする。ステップＳ５４４の処理を終了すると、動きベクトル算出部５４２は、例外動きベクトル算出処理を終了し、処理を図６のステップＳ６に進める。
【０１５７】
以上のようにすることにより、追尾処理装置１００は、追尾の失敗や、追尾結果が不安定になる等の不具合の発生を抑制し、画像内に繰り返しパターンが含まれる場合であっても、追尾対象をより正確に追尾することができる。
【０１５８】
以上のような、追尾処理装置１００を追尾処理部とし、他の処理を行う装置に組み込むようにしてもよい。
【０１５９】
図２７は、本発明を適用した監視カメラ装置の構成例を示すブロック図である。図２７に示される監視カメラ装置６００は、所定の部屋や区域等を映像で監視するために用いられる装置であり、撮像画像に対する、上述したような繰り返しパターン検出結果をカメラの制御処理に利用する装置である。
【０１６０】
監視カメラ装置６００は、例えばCCDビデオカメラ等よりなる撮像部６１１により撮像された画像を画像ディスプレイ６１２に表示させる。ユーザ（監視人）は、その画像ディスプレイ６１２に表示された画像を閲覧することにより、撮像部６１１が撮像する空間の様子を把握する（監視する）。
【０１６１】
追尾処理部６１３は、撮像部６１１により入力された画像に対して、上述したような追尾処理を行い、現画像において所定の追尾対象を検出し、その検出結果をカメラ駆動部６１４に供給する。カメラ駆動部６１４は、その追尾対象を追うように撮像部６１１を駆動し、例えば、ズームやフォーカスの調整を行ったり、チルトやパン等を行ったり、静止画撮影を実行させたりする。
【０１６２】
上述したように、追尾処理部６１３は、追尾ブロックが繰り返しパターンを含むような場合であっても、より正確に追尾対象を追尾することができ、カメラ駆動部６１４は、より適切に撮像部６１１を駆動することができる。つまり、監視カメラ装置６００は、より適切な監視行動を行うことができる。
【０１６３】
もちろん、本発明を適用した追尾処理部は、繰り返しパターン検出結果を利用した処理を行う装置であれば、監視カメラ装置以外のどのような装置にも適用可能である。
【０１６４】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図２８に示されるようなパーソナルコンピュータとして構成されるようにしてもよい。
【０１６５】
図２８において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１６６】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０１６７】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０１６８】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０１６９】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０１７０】
この記録媒体は、例えば、図２８に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０１７１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７２】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
【０１７３】
なお、以上において、１つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて１つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。つまり、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１７４】
【図１】繰り返しパターンを含むブロックの追尾処理の様子の例を示す図である。
【図２】本発明を適用した追尾処理装置の主な構成例を示すブロック図である。
【図３】図２のパターン判定部の詳細な構成例を示すブロック図である。
【図４】図２の通常動きベクトル算出部の詳細な構成例を示すブロック図である。
【図５】図２の例外動きベクトル算出部の詳細な構成例を示すブロック図である。
【図６】追尾処理の流れの例を説明するフローチャートである。
【図７】パターン判定処理の流れの例を説明するフローチャートである。
【図８】画像評価処理の流れの例を説明するフローチャートである。
【図９】繰り返しパターン検出処理の流れの例を説明するフローチャートである。
【図１０】ブロックマッチングの様子の例を説明する図である。
【図１１】評価値の分布の様子の例を示す図である。
【図１２】直線状エッジ検出処理の流れの例を説明するフローチャートである。
【図１３】直線状エッジ検出の様子の例を説明する図である。
【図１４】通常動きベクトル算出処理の流れの例を説明するフローチャートである。
【図１５】例外動きベクトル算出処理の流れの例を説明するフローチャートである。
【図１６】本発明を適用した追尾処理装置の主な構成例を示すブロック図である。
【図１７】複数ブロックパターン判定処理の流れの例を説明するフローチャートである。
【図１８】複数ブロックを用いたパターン判定処理の様子の例を説明する図である。
【図１９】複数ブロックの選択方法の例を説明する図である。
【図２０】図２の例外動きベクトル算出部の他の構成例を示すブロック図である。
【図２１】例外動きベクトル算出処理の流れの、他の例を説明するフローチャートである。
【図２２】図２の例外動きベクトル算出部の、さらに他の構成例を示すブロック図である。
【図２３】例外動きベクトル算出処理の流れの、さらに他の例を説明するフローチャートである。
【図２４】図２の例外動きベクトル算出部の、さらに他の構成例を示すブロック図である。
【図２５】動きベクトル算出の様子の例を説明する図である。
【図２６】例外動きベクトル算出処理の流れの、さらに他の例を説明するフローチャートである。
【図２７】本発明を適用した監視カメラ装置の主な構成例を示すブロック図である。
【図２８】本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７５】
１００  追尾処理装置，  １０１  画像保持部，  １０２  パターン判定部，  １０３  処理選択部，  １０４  通常動きベクトル算出部，  １０５  例外動きベクトル算出部，  １０６  動きベクトル積算部，  １０７  設定制御部，  １８１  定数設定部，  ５０１  大ブロックマッチング処理部，  ５０２  動きベクトル算出部，  ５２１  複数ブロックマッチング処理部，  ５２２  動きベクトル算出部，  ５４１  直線状エッジ垂直方向動きベクトル算出部，  ５４２  動きベクトル算出部
【図１】
2009223723.tif 000003
【図２】
2009223723.tif 000004
【図３】
2009223723.tif 000005
【図４】
2009223723.tif 000006
【図５】
2009223723.tif 000007
【図６】
2009223723.tif 000008
【図７】
2009223723.tif 000009
【図８】
2009223723.tif 000010
【図９】
2009223723.tif 000011
【図１０】
2009223723.tif 000012
【図１１】
2009223723.tif 000013
【図１２】
2009223723.tif 000014
【図１３】
2009223723.tif 000015
【図１４】
2009223723.tif 000016
【図１５】
2009223723.tif 000017
【図１６】
2009223723.tif 000018
【図１７】
2009223723.tif 000019
【図１８】
2009223723.tif 000020
【図１９】
2009223723.tif 000021
【図２０】
2009223723.tif 000022
【図２１】
2009223723.tif 000023
【図２２】
2009223723.tif 000024
【図２３】
2009223723.tif 000025
【図２４】
2009223723.tif 000026
【図２５】
2009223723.tif 000027
【図２６】
2009223723.tif 000028
【図２７】
2009223723.tif 000029
【図２８】
2009223723.tif 000030