(57)【特許請求の範囲】
【請求項１】
複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートの位置を対象画像内で探索するテンプレート探索手段と、
前記テンプレートの一部分の領域をサブテンプレートとして設定するサブテンプレート設定手段と、
前記サブテンプレート設定手段により設定された前記サブテンプレートの位置を前記対象画像内で探索するサブテンプレート探索手段と、
前記テンプレート探索手段により探索されたテンプレートの位置と前記サブテンプレート探索手段により探索されたサブテンプレートの位置との間の距離に基づいて、前記テンプレートの探索結果の有効性を判定する有効性判定手段と、
を備えることを特徴とする有効性判定装置。
【請求項２】
複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートを対象画像内で追跡して、当該テンプレートの前記複数の画像間における動きベクトルを算出するテンプレート動きベクトル算出手段と、
前記テンプレートの一部分の領域をサブテンプレートとして設定するサブテンプレート設定手段と、
前記サブテンプレート設定手段により設定されたサブテンプレートを前記対象画像内で追跡して、当該サブテンプレートの前記複数の画像間における動きベクトルを算出するサブテンプレート動きベクトル算出手段と、
前記テンプレート動きベクトル算出手段により算出された動きベクトルと前記サブテンプレート動きベクトル算出手段により算出された動きベクトルの一致度を判定する動きベクトル判定手段と、
前記動きベクトル判定手段により判定された動きベクトルの一致度に基づいて、前記テンプレートの追跡結果の有効性を判定する有効性判定手段と、
を備えることを特徴とする有効性判定装置。
【請求項３】
前記テンプレート探索手段は、
前記複数の画像間における所定領域のテンプレートの動きベクトルを当該テンプレートの位置として算出するテンプレート動きベクトル算出手段を含み、
前記サブテンプレート探索手段は、
前記複数の画像間におけるサブテンプレートの動きベクトルを当該サブテンプレートの位置として算出するサブテンプレート動きベクトル算出手段を含み、
前記有効性判定手段は、
前記テンプレート動きベクトル算出手段により算出されたテンプレートの動きベクトルと前記サブテンプレート動きベクトル算出手段により算出されたサブテンプレートの動きベクトルとの一致度を、前記テンプレートの位置と前記サブテンプレートの位置との間の距離の近さとして判定し、当該判定結果に基づいて、前記テンプレートの追跡結果の有効性を判定することを特徴とする請求項１記載の有効性判定装置。
【請求項４】
前記サブテンプレート設定手段は、前記テンプレートの直和分割となるように複数のサブテンプレートを設定し、
前記対象画像内における前記サブテンプレートの探索にて、前記サブテンプレート設定手段により設定された複数のサブテンプレートの各々に係る相違度評価値を算出するサブ評価値算出手段を備え、
前記テンプレート探索手段は、
前記サブ評価値算出手段により算出された複数のサブテンプレートの相違度評価値に基づいて、前記テンプレートの相違度評価値を算出するテンプレート評価値算出手段を含み、
前記テンプレート動きベクトル算出手段は、
前記テンプレート評価値算出手段により算出された相違度評価値に基づいて、前記テンプレートの動きベクトルを算出することを特徴とする請求項３に記載の有効性判定装置。
【請求項５】
前記サブテンプレートは、前記テンプレートを市松模様状に形成されてなることを特徴とする請求項１〜４の何れか一項に記載の有効性判定装置。
【請求項６】
前記サブテンプレートは、前記テンプレートをストライプ状に形成されてなることを特徴とする請求項１〜４の何れか一項に記載の有効性判定装置。
【請求項７】
請求項１〜６の何れか一項の有効性判定装置と、
前記有効性判定手段により有効であると判定された前記テンプレートの追跡結果を用いて、前記基準画像と前記対象画像の位置合わせを行う位置合わせ手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
画像を撮像する撮像手段と、
請求項１〜６の何れか一項の有効性判定装置と、を備え、
前記有効性判定装置における複数の画像は、前記撮像手段により撮像された画像であることを特徴とする撮像装置。
【請求項９】
コンピュータを、
複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートの位置を対象画像内で探索するテンプレート探索手段、
前記テンプレートの一部分の領域をサブテンプレートとして設定するサブテンプレート設定手段、
前記サブテンプレート設定手段により設定された前記サブテンプレートの位置を前記対象画像内で探索するサブテンプレート探索手段、
前記テンプレート探索手段により探索された位置と前記サブテンプレート探索手段により探索された位置との間の距離に基づいて、前記テンプレートの探索結果の有効性を判定する有効性判定手段、
として機能させることを特徴とするプログラム。
【請求項１０】
コンピュータを、
複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートを対象画像内で追跡して、当該テンプレートの前記複数の画像間における動きベクトルを算出するテンプレート動きベクトル算出手段、
前記テンプレートの一部分の領域をサブテンプレートとして設定するサブテンプレート設定手段、
前記サブテンプレート設定手段により設定されたサブテンプレートを前記対象画像内で追跡して、当該サブテンプレートの前記複数の画像間における動きベクトルを算出するサブテンプレート動きベクトル算出手段、
前記テンプレート動きベクトル算出手段により算出された動きベクトルと前記サブテンプレート動きベクトル算出手段により算出された動きベクトルの一致度を判定する動きベクトル判定手段、
前記動きベクトル判定手段により判定された動きベクトルの一致度に基づいて、前記テンプレートの追跡結果の有効性を判定する有効性判定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの画像間でテンプレートマッチングを行う有効性判定装置、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、複数の画像間の対応位置を検出する際に、基準画像から選択したテンプレートを対象画像で追跡して同じパターンが存在するか否かを探索する。ここで、テンプレートの追跡の有効性を事後的に評価する方法として、差分二乗和（ＳＳＤ：Sum of squared difference）や差分絶対値和（ＳＡＤ：Sum of absolute difference）等の相違度評価値の最小値を用いたものが知られている（例えば、特許文献１参照）。
【特許文献１】特開平１０−２８９３１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、相違度評価値の最小値は、追跡の有効性を必ずしも表しているわけではなく、特にノイズが多い画像の場合にはあてにならないといった問題がある。
【０００４】
そこで、本発明の課題は、テンプレートの追跡の有効性を精度良く判定することができる有効性判定装置、画像処理装置、撮像装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明の有効性判定装置は、
複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートの位置を対象画像内で探索するテンプレート探索手段と、
前記テンプレートの一部分の領域をサブテンプレートとして設定するサブテンプレート設定手段と、
前記サブテンプレート設定手段により設定された前記サブテンプレートの位置を前記対象画像内で探索するサブテンプレート探索手段と、
前記テンプレート探索手段により探索されたテンプレートの位置と前記サブテンプレート探索手段により探索されたサブテンプレートの位置との間の距離に基づいて、前記テンプレートの探索結果の有効性を判定する有効性判定手段と、
を備えることを特徴としている。
【０００６】
請求項２に記載の発明の有効性判定装置は、
複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートを対象画像内で追跡して、当該テンプレートの前記複数の画像間における動きベクトルを算出するテンプレート動きベクトル算出手段と、
前記テンプレートの一部分の領域をサブテンプレートとして設定するサブテンプレート設定手段と、
前記サブテンプレート設定手段により設定されたサブテンプレートを前記対象画像内で追跡して、当該サブテンプレートの前記複数の画像間における動きベクトルを算出するサブテンプレート動きベクトル算出手段と、
前記テンプレート動きベクトル算出手段により算出された動きベクトルと前記サブテンプレート動きベクトル算出手段により算出された動きベクトルの一致度を判定する動きベクトル判定手段と、
前記動きベクトル判定手段により判定された動きベクトルの一致度に基づいて、前記テンプレートの追跡結果の有効性を判定する有効性判定手段と、
を備えることを特徴としている。
【０００７】
請求項３に記載の発明は、請求項１に記載の有効性判定装置において、
前記テンプレート探索手段は、
前記複数の画像間における所定領域のテンプレートの動きベクトルを当該テンプレートの位置として算出するテンプレート動きベクトル算出手段を含み、
前記サブテンプレート探索手段は、
前記複数の画像間におけるサブテンプレートの動きベクトルを当該サブテンプレートの位置として算出するサブテンプレート動きベクトル算出手段を含み、
前記有効性判定手段は、
前記テンプレート動きベクトル算出手段により算出されたテンプレートの動きベクトルと前記サブテンプレート動きベクトル算出手段により算出されたサブテンプレートの動きベクトルとの一致度を、前記テンプレートの位置と前記サブテンプレートの位置との間の距離の近さとして判定し、当該判定結果に基づいて、前記テンプレートの追跡結果の有効性を判定することを特徴としている。
【０００８】
請求項４に記載の発明は、請求項３に記載の有効性判定装置において、
前記サブテンプレート設定手段は、前記テンプレートの直和分割となるように複数のサブテンプレートを設定し、
前記対象画像内における前記サブテンプレートの探索にて、前記サブテンプレート設定手段により設定された複数のサブテンプレートの各々に係る相違度評価値を算出するサブ評価値算出手段を備え、
前記テンプレート探索手段は、
前記サブ評価値算出手段により算出された複数のサブテンプレートの相違度評価値に基づいて、前記テンプレートの相違度評価値を算出するテンプレート評価値算出手段を含み、
前記テンプレート動きベクトル算出手段は、
前記テンプレート評価値算出手段により算出された相違度評価値に基づいて、前記テンプレートの動きベクトルを算出することを特徴としている。
【０００９】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の有効性判定装置において、
前記サブテンプレートは、前記テンプレートを市松模様状に形成されてなることを特徴としている。
【００１０】
請求項６に記載の発明は、請求項１〜４の何れか一項に記載の有効性判定装置において、
前記サブテンプレートは、前記テンプレートをストライプ状に形成されてなることを特徴としている。
【００１１】
請求項７に記載の発明の画像処理装置は、
請求項１〜６の何れか一項の有効性判定装置と、
前記有効性判定手段により有効であると判定された前記テンプレートの追跡結果を用い
て、前記基準画像と前記対象画像の位置合わせを行う位置合わせ手段と、
を備えることを特徴としている。
請求項８に記載の発明の撮像装置は、
画像を撮像する撮像手段と、
請求項１〜６の何れか一項の有効性判定装置と、を備え、
前記有効性判定装置における複数の画像は、前記撮像手段により撮像された画像であることを特徴としている。
【００１２】
請求項９に記載の発明のプログラムは、
コンピュータを、
複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートの位置を対象画像内で探索するテンプレート探索手段、
前記テンプレートの一部分の領域をサブテンプレートとして設定するサブテンプレート設定手段、
前記サブテンプレート設定手段により設定された前記サブテンプレートの位置を前記対象画像内で探索するサブテンプレート探索手段、
前記テンプレート探索手段により探索された位置と前記サブテンプレート探索手段により探索された位置との間の距離に基づいて、前記テンプレートの探索結果の有効性を判定する有効性判定手段、
として機能させることを特徴としている。
請求項１０に記載の発明のプログラムは、
コンピュータを、
複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートを対象画像内で追跡して、当該テンプレートの前記複数の画像間における動きベクトルを算出するテンプレート動きベクトル算出手段、
前記テンプレートの一部分の領域をサブテンプレートとして設定するサブテンプレート設定手段、
前記サブテンプレート設定手段により設定されたサブテンプレートを前記対象画像内で追跡して、当該サブテンプレートの前記複数の画像間における動きベクトルを算出するサブテンプレート動きベクトル算出手段、
前記テンプレート動きベクトル算出手段により算出された動きベクトルと前記サブテンプレート動きベクトル算出手段により算出された動きベクトルの一致度を判定する動きベクトル判定手段、
前記動きベクトル判定手段により判定された動きベクトルの一致度に基づいて、前記テンプレートの追跡結果の有効性を判定する有効性判定手段、
として機能させることを特徴としている。
【発明の効果】
【００１３】
本発明によれば、ノイズの多い画像に対しても事後的にテンプレートの追跡の有効性を精度良く判定することができる。
【発明を実施するための最良の形態】
【００１４】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
本実施形態の撮像装置１００は、ブロックマッチング法を用いた基準画像と対象画像の位置合わせに際して、基準画像内から抽出したテンプレートＴを２つのサブテンプレートＴ０、Ｔ１に分割して、各サブテンプレートＴ０、Ｔ１の動きベクトルとテンプレートＴの動きベクトルの一致度の判定結果に基づいて、テンプレートＴの特徴点対応の有効性を判定する。
具体的には、撮像装置１００は、図１に示すように、撮像部１と、撮像補助部２と、表示部３、操作部４と、記録媒体５と、ＵＳＢ端子６と、制御部７等を備えて構成されている。
【００１５】
撮像部１は、撮像手段として、被写体を連続して撮像して複数の画像フレームを生成する。具体的には、撮像部１は、撮像レンズ群１１と、電子撮像部１２と、映像信号処理部１３と、画像メモリ１４と、撮影制御部１５等を備えている。
【００１６】
撮像レンズ群１１は、複数の撮像レンズから構成されている。
電子撮像部１２は、撮像レンズ群１１を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の撮像素子から構成されている。
映像信号処理部１３は、電子撮像部１２から出力される画像信号に対して所定の画像処理を施すものである。
画像メモリ１４は、画像処理後の画像信号を一時的に記憶する。
【００１７】
上記構成の撮像部１は、被写体を撮像して撮像画像データ（画像信号）を取得する撮像手段を構成している。
【００１８】
撮像補助部２は、撮像部１による被写体の撮像の際に駆動するものであり、フォーカス駆動部２１と、ズーム駆動部２２等を備えている。
【００１９】
フォーカス駆動部２１は、撮像レンズ群１１に接続されたフォーカス機構部（図示略）を駆動させる。
ズーム駆動部２２は、撮像レンズ群１１に接続されたズーム機構部（図示略）を駆動させる。
なお、フォーカス駆動部２１及びズーム駆動部２２は、撮影制御部１５に接続され、撮影制御部１５の制御下にて駆動する。
【００２０】
表示部３は、撮像部１により撮像された画像を表示するものであり、表示制御部３１と、画像表示部３２等を備えている。
表示制御部３１は、ＣＰＵ７１から適宜出力される表示データを一時的に保存するビデオメモリ（図示略）を備えている。
画像表示部３２は、表示制御部３１からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。
【００２１】
操作部４は、当該撮像装置１００の所定操作を行うためのものであり、操作入力部４１と、入力回路４２等を備えている。
【００２２】
操作入力部４１は、撮像部１による被写体の撮像を指示するシャッターボタン４１ａを備えている。
入力回路４２は、操作入力部４１から出力され入力された操作信号をＣＰＵ７１に入力するためのものである。
【００２３】
記録媒体５は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成され、撮像部１により撮像された画像の画像データを複数記憶する。
【００２４】
ＵＳＢ端子６は、外部機器との接続用の端子であり、ＵＳＢケーブル（図示略）等を介してデータの送受信を行う。
【００２５】
制御部７は、撮像装置１００の各部を制御するものであり、例えば、ＣＰＵ７１と、プログラムメモリ７２と、データメモリ７３等を備えている。
【００２６】
ＣＰＵ７１は、プログラムメモリ７２に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
【００２７】
データメモリ７３は、例えば、フラッシュメモリ等により構成され、ＣＰＵ７１によって処理されるデータ等を一時記憶する。
【００２８】
プログラムメモリ７２は、ＣＰＵ７１の動作に必要な各種プログラムやデータを記憶するものである。具体的には、プログラムメモリ７２は、抽出プログラム７２ａ、サブテンプレート設定プログラム７２ｂ、動きベクトル算出プログラム７２ｃ、動きベクトル判定プログラム７２ｄ、有効性判定プログラム７２ｅ、位置合わせプログラム７２ｆ等を記憶している。
【００２９】
抽出プログラム７２ａは、撮像部１により撮像された連続する複数の画像のうち、何れか一の画像を基準画像として、当該基準画像からテンプレートＴを複数抽出する抽出処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１による抽出プログラム７２ａの実行に基づいて、特徴抽出処理により基準画像から所定数（或いは、所定数以上)の特徴の高いブロック領域（特徴点）を選択して、当該ブロックの内容をテンプレートＴ（例えば、８×８画素の正方形；図２参照）として抽出する。
ここで、特徴抽出処理とは、多数の候補ブロックから追跡に都合の良い特徴性の高いものを選択する処理である。具体的には、各候補ブロックの勾配共分散行列を求め、その行列の最小固有値や、Harrisオペレータと呼ばれる演算の結果を評価値として、評価値の高いものを絶対閾値や相対順位で選別する方法である。即ち、当該評価法の意味するところは、追跡に向く、物体や模様のコーナー（角）のような領域をテンプレートＴとして選び、追跡に向かない、平坦であったりランダム性が高かったりする領域を排除することである。
なお、ブロックは、設計により単に所定位置から選択されるようにしても良い。
【００３０】
サブテンプレート設定プログラム７２ｂは、ＣＰＵ７１をサブテンプレート設定として機能させるものである。即ち、サブテンプレート設定プログラム７２ｂは、抽出処理にて抽出されたテンプレートＴの一部分の領域をサブテンプレートＴ０、Ｔ１として設定するサブテンプレート設定処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１によるサブテンプレート設定プログラム７２ｂの実行に基づいて、テンプレートＴを市松模様状に直和分割（重複なく全体を尽くす分割）して、サブテンプレートＴ０（図２におけるテンプレートＴのうち、ドットで表された画素の集合；図３（ａ）参照）と、サブテンプレートＴ１（図２におけるテンプレートＴのうち、白抜き（ドットなし）で表された画素の集合；図３（ｂ）参照）を設定する。
【００３１】
動きベクトル算出プログラム７２ｃは、ＣＰＵ７１をテンプレート動きベクトル算出手段及びサブテンプレート動きベクトル算出手段として機能させるものである。即ち、動きベクトル算出プログラム７２ｃは、抽出処理にて抽出されたテンプレートＴが対象画像内のどこに対応するか、つまり、対象画像内にてテンプレートＴの画素値が最適にマッチする位置（対応領域）を探索して、当該テンプレートＴの複数の画像間における動きベクトルを算出したり、サブテンプレート設定処理にて設定された各々のサブテンプレートＴ０、Ｔ１の画素値が対象画像内にて最適にマッチする位置を探索して、当該サブテンプレートＴ０、Ｔ１の複数の画像間における動きベクトルを算出する動きベクトル算出処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
即ち、動きベクトル算出処理にあっては、先ず、２つのサブテンプレートＴ０、Ｔ１が対象画像内のどこに対応するかを探索領域の中で座標をオフセットしながら、各々のオフセットに関してブロック画素値の相違度を評価し、最も良くマッチすると評価されるオフセットを探索によって特定する。
ここで、相違度評価基準としては差分絶対値和（ＳＡＤ）を用いており、ＣＰＵ７１は、２つのサブテンプレートＴ０、Ｔ１の各々に係る相違度評価値を関数ｓａｄにより算出する。そして、サブ評価値算出処理により算出された２つのサブテンプレートＴ０、Ｔ１の評価値ｔ０、ｔ１に基づいて、当該２つの評価値ｔ０、ｔ１を合算してテンプレートＴの評価値ｔを算出する。ここで、ＣＰＵ７１は、サブ評価値算出手段及びテンプレート評価値算出手段として機能する。
そして、探索の結果、相違度評価値が最も良かった基準画像と対象画像の間の対応するサブテンプレートＴ０、Ｔ１及びテンプレートＴの最適なオフセットをサブテンプレート動きベクトル及びテンプレート動きベクトルとする。
このように、ＣＰＵ７１は、動きベクトル算出プログラム７２ｃを実行することで、複数の画像のうち、何れか一の基準画像内から抽出した所定領域のテンプレートＴを対象画像内で探索するテンプレート探索手段として機能し、また、サブテンプレートＴ０、Ｔ１を対象画像内で探索するサブテンプレート探索手段として機能する。
【００３２】
動きベクトル判定プログラム７２ｄは、ＣＰＵ７１を動きベクトル判定手段として機能させるものである。即ち、動きベクトル判定プログラム７２ｄは、動きベクトル算出処理にて算出されたテンプレート動きベクトルと２つのサブテンプレートＴ０、Ｔ１の各々のサブテンプレート動きベクトルの一致度を判定する動きベクトル判定処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１による動きベクトル判定プログラム７２ｄの実行に基づいて、テンプレートＴの動きベクトル（minx，miny）とサブテンプレートＴ０の動きベクトル（minx０，miny０）及びサブテンプレートＴ１の動きベクトル（minx１，miny１）が近いか否かを下記式（１）により判定する。例えば、閾値を２画素距離として、２画素以内であるか否か（近いか否か）を判定する。
【数１】
0004935541.tif 000002
【００３３】
有効性判定プログラム７２ｅは、ＣＰＵ７１を有効性判定手段として機能させるものである。即ち、有効性判定プログラム７２ｅは、動きベクトル判定処理におけるテンプレート動きベクトルとサブテンプレート動きベクトルの一致度の判定結果に基づいて、基準画像と対象画像で対応するテンプレートＴの特徴点対応（テンプレートＴの追跡結果）の有効性を判定する有効性判定処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
具体的には、ＣＰＵ７１による有効性判定プログラム７２ｅの実行に基づいて、テンプレートＴの探索位置とサブテンプレートＴ０、Ｔ１の探索位置との間の距離に基づいて、テンプレートＴの探索結果の有効性を判定するようになっており、テンプレートＴの動きベクトル（minx，miny）とサブテンプレートＴ０の動きベクトル（minx０，miny０）及びサブテンプレートＴ１の動きベクトル（minx１，miny１）が近いと判断されれば、この特徴点対応を有効としてマークし、近くないと判断されれば、この特徴点対応を無効としてマークする。
なお、特徴点対応判定の有効無効のマーク方法は、例えば、フラグ変数配列などの実装により行うことができる。
【００３４】
位置合わせプログラム７２ｆは、ＣＰＵ７１を位置合わせ手段として機能させるものである。即ち、位置合わせプログラム７２ｆは、有効性判定処理にて有効であると判定されたテンプレートＴの特徴点対応（テンプレートＴの追跡結果）のみを用いて、基準画像と対象画像間における座標変換係数を算出して、これら画像どうしの位置合わせ（座標変換）を行う処理に係る機能をＣＰＵ７１に実現させるためのプログラムである。
【００３５】
次に、画像位置合わせ処理について図４〜図７を参照して説明する。
図４は、撮像装置１００による画像位置合わせ処理に係る動作の一例を示すフローチャートである。
なお、以下の画像位置合わせ処理の前段階にて、基準画像を二次元配列Ｒに格納するとともに、対象画像を二次元配列Ｏに格納する処理を行う。また、探索範囲を示す定数Ａを適当な所定値に設定する。例えば、Ａ＝８とすると、探索範囲はx方向に−８〜＋８、y方向にも−８〜＋８の正方形の範囲となる。
【００３６】
図４に示すように、先ず、ＣＰＵ７１は、プログラムメモリ７２内の抽出プログラム７２ａを実行することで、撮像部１により撮像された連続する複数の画像のうち、基準画像からテンプレートＴを複数抽出する（ステップＳ１）。
そして、ＣＰＵ７１は、抽出処理にて選択された各テンプレートＴについて、対象画像内のどこに対応するかの探索（追跡）をループにより処理する（ステップＳ２〜ステップＳ５）。
先ず、ＣＰＵ７１は、追跡処理初期設定を行って（ステップＳ３）、基準画像におけるテンプレートＴの位置を示す変数Ｂ、Ｃを設定する。例えば、Ｂ＝１００、Ｃ＝２００とすると、座標(１００、２００)を左上隅とする８×８画素サイズの矩形ブロックをテンプレートＴとすることを表している。
続けて、ＣＰＵ７１は、プログラムメモリ７２内の動きベクトル算出プログラム７２ｃを実行することで、追跡処理を実行する（ステップＳ４）。
【００３７】
以下に、追跡処理について図５及び図６を参照して説明する。
図５及び図６は、追跡処理に係る動作の一例を示すフローチャートである。
【００３８】
図５に示すように、先ず、ＣＰＵ７１は、テンプレートＴの相違度評価値ｔの最小値を意味する変数min、サブテンプレートＴ０の相違度評価値ｔ０の最小値を意味する変数min０、サブテンプレートＴ１の相違度評価値ｔ１の最小値を意味する変数min１を十分に大きな定数（INFと表わしたが、例えば最大整数値定数などで良い）によって初期化する（ステップＳ４１）。
【００３９】
続けて、ＣＰＵ７１は、相違度評価値の最小値をループにより探索する（ステップＳ４２〜５４）。ここで、当該探索は、画像の２次元探索なので、x成分及びy成分の二重ループにより行う。具体的には、ｙ成分については、範囲が−Ａ〜＋Ａで増分を１とし（ステップＳ４２）、同様に、ｘ成分についても、範囲が−Ａ〜＋Ａで増分を１とする（ステップＳ４３）。
次に、探索範囲内における動きベクトルの候補点（ｘ，ｙ）の各々について、相違度評価値を算出する。具体的には、候補点（ｘ，ｙ）及びサブテンプレート選択用の変数ｐを引数として図７に示した関数ｓａｄをコールし、サブテンプレートＴ０及びサブテンプレートＴ１の各々について評価値ｔ０、ｔ１を算出する（ステップＳ４４及びＳ４５）。
【００４０】
ここで、評価値算出処理について図７を参照して説明する。
図７は、関数ｓａｄ、すなわち評価値算出処理に係る動作の一例を示すフローチャートである。3個の仮引数をとり、第1引数ｘ、第2引数ｙは動きベクトルの候補点（ｘ，ｙ）を示し、第3引数ｐはサブテンプレートの区別を示す。ｐ＝０ならサブテンプレート０、ｐ＝１ならサブテンプレート１の意味である。
【００４１】
図７に示すように、先ず、ＣＰＵ７１は、変数ｓｕｍを「０」によって初期化した後（ステップＳ４０１）、戻り値となる変数ｓｕｍをx成分及びy成分についての二重ループにより算出する（ステップＳ４０２〜Ｓ４１１）。
即ち、ラインインデックスｔｙに関するループは、範囲が０〜７で増分を１とし（ステップＳ４０２）、２つの市松模様状のサブテンプレートＴ０、Ｔ１の何れか一方を規定する引数ｐとラインインデックスｔyによって決定される偶奇性を示す変数ｐｓにより、サブテンプレートＴ０、Ｔ１の一方をたどって行う（ステップＳ４０３）。また、ラインインデックスｔｘに関するループは、範囲が変数ｐｓ〜７で増分を２とする（ステップＳ４０４）。
【００４２】
そして、ＣＰＵ７１は、基準画像に係る二次元配列Ｒにおいて、テンプレートＴの左上隅の位置（座標）を示す変数Ｂ、Ｃと、所定のラインインデックスｔｘ、ｔｙにより指定される配列番号の画素の画素値を算出して変数ｒの値とする（ステップＳ４０５）。
次に、ＣＰＵ７１は、対象画像における動きベクトルの候補点（ｘ，ｙ）について画素値を算出する。具体的には、対象画像に係る二次元配列Ｏにおいて、テンプレートＴの左上隅の位置（座標）を示す変数Ｂ、Ｃと、所定のラインインデックスｔｘ、ｔｙと候補点（ｘ，ｙ）により指定される配列番号の画素の画素値を算出して変数ｏの値とする（ステップＳ４０６）。
【００４３】
続けて、ＣＰＵ７１は、基準画像と対象画像における画素の差分値、即ち、変数ｒと変数ｏの絶対値ｓを算出して（ステップＳ４０７）、変数ｓｕｍに加算する（ステップＳ４０８）。
そして、ラインインデックスｔｘに関してループによる処理を変数ｐｓ〜７の範囲内で増分を２として繰り返し実行するとともに、ラインインデックスｔｙに関してループによる処理を０〜７の範囲内で増分を１として繰り返し実行して、ラインインデックスｔｘ及びラインインデックスｔｙに関してループによる処理が終了すると（ステップＳ４０９及びＳ４１０）、ステップＳ４０８にて算出された変数ｓｕｍの値を戻り値として設定する（ステップＳ４１１）。
これにより、評価値算出処理を終了する。
【００４４】
そして、図５に示すように、サブテンプレートＴ０に係る変数ｓｕｍの値を評価値ｔ０とし（ステップＳ４４）、また、サブテンプレートＴ１に係る変数ｓｕｍの値を評価値ｔ１とする（ステップＳ４５）。
続けて、２つのサブテンプレートＴ０、Ｔ１の評価値ｔ０、ｔ１を合算して、テンプレートＴの評価値ｔを算出する（ステップＳ４６）。
【００４５】
次に、ＣＰＵ７１は、評価値ｔがテンプレートＴの相違度評価値の最小値に係る変数minの値よりも小さいか否かを判定する（ステップＳ４７）。ここで、評価値ｔが変数minよりも小さいと判定されると（ステップＳ４７；ＹＥＳ）、ＣＰＵ７１は、変数minの値を評価値ｔで更新するとともに、そのときの探索位置（ｘ，ｙ）を変数minx、minyに保存する（ステップＳ４８）。
【００４６】
そして、ＣＰＵ７１は、評価値ｔ０がサブテンプレートＴ０の相違度評価値の最小値に係る変数min０の値よりも小さいか否かを判定する（ステップＳ４９）。ここで、評価値ｔ０が変数min０よりも小さいと判定されると（ステップＳ４９；ＹＥＳ）、ＣＰＵ７１は、変数min０の値を評価値ｔ０で更新するとともに、そのときの探索位置（ｘ，ｙ）を変数minx０、miny０に保存する（ステップＳ５０）。
また、ステップＳ４７にて、評価値ｔが変数minよりも小さくないと判定されると（ステップＳ４７；ＮＯ）、ＣＰＵ７１は、ステップＳ４９の処理を実行する。
続けて、ＣＰＵ７１は、評価値ｔ１がサブテンプレートＴ１の相違度評価値の最小値に係る変数min１の値よりも小さいか否かを判定する（ステップＳ５１）。ここで、評価値ｔ１が変数min１よりも小さいと判定されると（ステップＳ５１；ＹＥＳ）、ＣＰＵ７１は、変数min１の値を評価値ｔ１で更新するとともに、そのときの探索位置（ｘ，ｙ）を変数minx１、miny１に保存する（ステップＳ５２）。
また、ステップＳ４９にて、評価値ｔ０が変数min０よりも小さくないと判定されると（ステップＳ４９；ＮＯ）、ＣＰＵ７１は、ステップＳ５１の処理を実行する。
【００４７】
そして、所定の探索範囲内で動きベクトルの候補点（ｘ，ｙ）の各々についてループによる処理をｘ成分及びｙ成分ともに−Ａ〜＋Ａの範囲内で増分を１として繰り返し実行して、ｘ成分及びｙ成分に関するループによる処理が終了すると（ステップＳ５３及びＳ５４）、ＣＰＵ７１は、プログラムメモリ７２内の動きベクトル判定プログラム７２ｄを実行して、探索範囲内で最もマッチすると判断されたテンプレートＴの動きベクトル（minx，miny）とサブテンプレートＴ０の動きベクトル（minx０，miny０）及びサブテンプレートＴ１の動きベクトル（minx１，miny１）が近いか否かを式（１）により判定する（ステップＳ５５）。
ここで、テンプレートＴの動きベクトル（minx，miny）がサブテンプレートＴ０の動きベクトル（minx０，miny０）及びサブテンプレートＴ１の動きベクトル（minx１，miny１）と近いと判断されれば、ＣＰＵ７１は、プログラムメモリ７２内の有効性判定プログラム７２ｅを実行することで、当該特徴点対応を有効としてマークして（ステップＳ５６）、その特徴点対応を示す動きベクトル（minx，miny）を保存する（ステップＳ５７）。
一方、ステップＳ５５にて、近くないと判断されれば、ＣＰＵ７１は、プログラムメモリ７２内の有効性判定プログラム７２ｅを実行することで、当該特徴点対応を無効としてマークする（ステップＳ５８）。
【００４８】
これにより、追跡処理を終了する。
そして、図４に示すように、各特徴点についてのループによる追跡処理が終了すると（ステップＳ５）、ＣＰＵ７１は、プログラムメモリ７２内の位置合わせプログラム７２ｆを実行することで、有効性判定処理にて有効であると判定されたテンプレートＴの特徴点対応のみを用いて、基準画像と対象画像間における座標変換係数を算出して（ステップＳ６）、これら画像どうしの位置合わせ（座標変換）を行う（ステップＳ７）。
【００４９】
以上のように、本実施形態の撮像装置１００によれば、テンプレートＴ中の所定領域をサブテンプレートＴ０、Ｔ１として、サブテンプレートＴ０、Ｔ１及びテンプレートＴの動きベクトルをそれぞれ求めて、これらテンプレートＴの動きベクトルとサブテンプレートＴ０、Ｔ１の動きベクトルの間の大まかな一致度（距離の近さ）を評価することにより、そのマッチングの有効性を判定するようにしたので、画素値にランダム成分が多く含まれるテンプレートＴにあっても、事後的にテンプレートＴの特徴点対応の有効性を精度良く判定することができる。
即ち、特徴抽出処理における勾配共分散行列は、画素値勾配の２乗に比例し、その最小固有値やHarrisオペレータは、着目領域が同程度の振幅であればランダムなテクスチャやノイズよりもコーナーを選ぶけれども、相対的に振幅の激しいランダムなテクスチャやノイズと相対的に振幅の小さいコーナーとを区別することはできない。特に、ランダムノイズが多いほど、これらの評価基準による分離性は悪くなる。
このため、追跡に不向きなブロックをテンプレートＴとして選択してしまい、誤った特徴点対応を得てしまうことがある。とりわけ、ノイズの激しい画像に関しては顕著に発生し、ＲＡＮＳＡＣや最小メディアンのような多数決原理に基づくロバストな位置合せアルゴリズムを用いてさえも、基準画像と対象画像の位置合せが失敗することが多い。なお、勾配共分散行列を経由しないコーナー性特徴検出方法を用いても、それが勾配や画素値そのものの強さに基づく方法である限り、同様の問題が発生し得る。
そこで、本実施形態の撮像装置１００によれば、ランダムノイズの激しい画像において、サブテンプレートＴ０、Ｔ１とテンプレートＴとで同じマッチング点を持つ確率が低いことを利用して、ノイズの多い画像に対しても事後的にテンプレートＴの特徴点対応の有効性を精度良く判定することができる。
このようにして選別される有効な特徴点対応のみを用いることにより、ノイズの強い画像どうしの座標変換係数もロバストに算出することができ、基準画像と対象画像の位置合わせを適正に行うことができる。
【００５０】
また、サブテンプレートＴ０、Ｔ１をテンプレートＴの直和分割となるように設定し、サブテンプレートＴ０、Ｔ１の評価値ｔ０、ｔ１の合算によりテンプレートＴの評価値ｔを算出するようにしたので、テンプレートＴの評価値ｔを改めて算出する必要がなくなって、演算量或いは演算回路規模を従来例と同等に抑えることができる。
例えば、従来例において動きベクトルの一の候補点に対するＳＡＤ値の算出に要するループ回数は８２回であるが、本実施形態にあっては、サブテンプレートＴ０、Ｔ１につき８２／２回であり、サブテンプレートＴ０、Ｔ１の２つ分を合計すると全く同じ計算量となる。
また、演算器を並列に並べたハードウェアによる構成であっても、加算器の数やツリーの深さは従来例と同等に抑えることができる。
【００５１】
さらに、各サブテンプレートＴ０、Ｔ１を市松模様状としたことにより、サブテンプレートＴ０、Ｔ１においてもテンプレートＴとほぼ同等の空間領域をカバーすることに加え、コーナー性の特徴を任意の方向に対して捉えることができることとなって、サブテンプレート追跡においても正確な追跡能力をある程度確保することができる。
従って、テンプレートＴの追跡結果が正しいにもかかわらず、サブテンプレートＴ０、Ｔ１の追跡結果が誤ったために誤って無効とされる可能性を大きく低下させることができる。
【００５２】
加えて、不良特徴点の追跡をある程度排除できることとなり、特徴抽出処理を省略してもある程度妥当な結果を得る確率を向上させることができる。
【００５３】
なお、上記実施形態では、テンプレートＴの動きベクトル（minx，miny）と近いか否かの判定をサブテンプレートＴ０の動きベクトル（minx０，miny０）及びサブテンプレートＴ１の動きベクトル（minx１，miny１）の両方と行うようにしたが、これに限られるものではなく、例えば、サブテンプレートＴ０の動きベクトル（minx０，miny０）及びサブテンプレートＴ１の動きベクトル（minx１，miny１）のうち、何れか一方であっても良い。
【００５４】
また、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態にあっては、テンプレートＴを市松模様状に分割してサブテンプレートＴ０、Ｔ１を設定するようにしたが、これに限られるものではなく、例えば、テンプレートＴａをストライプ状に分割してサブテンプレートＴａ０、Ｔａ１を設定するようにしても良いし（図８（ａ）参照）、また、ストライプ状のサブテンプレートＴａ０、Ｔａ１を横方向の略真ん中で縦方向に一画素ずらしてなるサブテンプレートＴｂ０、Ｔｂ１を設定するようにしても良い（図８（ｂ）参照）。
なお、図８（ａ）及び図８（ｂ）において、サブテンプレートＴａ０及びサブテンプレートＴｂ０をドットで表された画素の集合として、サブテンプレートＴａ１及びサブテンプレートＴｂ１を白抜き（ドットなし）で表された画素の集合とする。
【００５５】
＜変形例１＞
ここで、ストライプ状に分割されたサブテンプレートＴａ０、Ｔａ１を画像位置合わせ処理に用いる撮像装置を変形例１として説明する。
変形例１の撮像装置は、追跡処理にて関数ｓａｄに変えて図９に示した関数ｓａｄ＿ｓｔｒｉｐｅを用いて相違度を評価する。関数ｓａｄ＿ｓｔｒｉｐｅも3個の仮引数ｘ、ｙ、ｐをとり、それらの意味は関数ｓａｄと同様である。
図９に示すように、ＣＰＵ７１は、先ず、変数ｓｕｍを「０」によって初期化した後（ステップＳ５０１）、戻り値となる変数ｓｕｍをx成分及びy成分についての二重ループにより算出する（ステップＳ５０２〜Ｓ５１０）。
即ち、ラインインデックスｔｙに関するループは、範囲をｐ〜７で増分を２とし（ステップＳ５０２）、ラインインデックスｔｘに関するループは、範囲を０〜７で増分を１とする（ステップＳ５０３）。
なお、これ以降の処理（ステップＳ５０４〜Ｓ５１０）は、図７におけるステップＳ４０５〜Ｓ４１１の処理と同様であり、ラインインデックスｔｘに関してループによる処理を０〜７の範囲内で増分を１として繰り返し実行するとともに、ラインインデックスｔｙに関してループによる処理をｐ〜７の範囲内で増分を２として繰り返し実行する。そして、ラインインデックスｔｘ及びラインインデックスｔｙに関してループによる処理が終了すると（ステップＳ５０８及びＳ５０９）、ステップＳ５０７にて算出された変数ｓｕｍの値を戻り値として設定して（ステップＳ５１０）、評価値算出処理を終了する。
【００５６】
従って、サブテンプレートＴａ０、Ｔａ１をストライプ状としたことにより、サブテンプレートＴａ０、Ｔａ１においてもテンプレートＴａとほぼ同等の空間領域をカバーすることに加え、ストライプの延在方向に直交する方向のエッジを好適に捉えることができ、ストライプの延在方向のエッジも多少の広がりを持つエッジであれば捉えることができ、総合すると、ある程度の広がりを持つコーナー性の特徴ならば任意の方向に対して捉えることができる。
これにより、テンプレートＴａの追跡結果が正しいにもかかわらず、サブテンプレートＴａ０、Ｔａ１の追跡結果が誤ったために誤って無効とされる可能性を大きく低下させることができる。
加えて、画素配列に対して順にアクセスする回数が多くなるためメモリアクセス効率を向上させることができ、アルゴリズムも単純化して高速化を図ることができる。
【００５７】
また、上記実施形態にあっては、相違度評価値として差分絶対値和（ＳＡＤ）を用いたが、これに限られるものではなく、例えば、差分二乗和（ＳＳＤ）や最大差分絶対値（ＭＡＤ）を用いても良い。差分二乗和（ＳＳＤ）を用いる場合には、図７のＳ４０７にて差分の絶対値をとる代わりに、差分の二乗を算出するようにすれば良い。
【００５８】
＜変形例２＞
ここで、追跡処理にて関数ｓａｄに変えて図１０に示した関数ｍａｄを用いて相違度を評価する撮像装置を変形例２として説明する。関数ｍａｄも3個の仮引数ｘ、ｙ、ｐをとり、それらの意味は関数ｓａｄと同様である。
図１０に示すように、ＣＰＵ７１は、先ず、関数ｍを「０」によって初期化した後（ステップＳ６０１）、戻り値となる関数ｍをx成分及びy成分についての二重ループにより算出する（ステップＳ６０２〜Ｓ６１１）。
ここで、基準画像と対象画像における画素の差分値絶対値ｓを算出するまでの処理（ステップＳ６０２〜Ｓ６０７）は、図７におけるステップＳ４０２〜Ｓ４０７の処理と同様である。そして、ＣＰＵ７１は、関数ｍと算出された差分絶対値ｓのうち、最大値をとる方を関数ｍの値とする（ステップＳ６０８）。
そして、ラインインデックスｔｘに関してループによる処理を変数ｐｓ〜７の範囲内で増分を２として繰り返し実行するとともに、ラインインデックスｔｙに関してループによる処理を０〜７の範囲内で増分を１として繰り返し実行して、ラインインデックスｔｘ及びラインインデックスｔｙに関してループによる処理が終了すると（ステップＳ６０９及びＳ６１０）、ステップＳ６０８にて算出された関数ｍの値を戻り値として設定する（ステップＳ６１１）。これにより、評価値算出処理を終了する。
また、変形例２の撮像装置は、図５のステップＳ４６にてサブテンプレートＴ０、Ｔ１の評価値ｔ０、ｔ１を合算してテンプレートＴの評価値ｔを算出する代わりに、「ｔ←ｍａx（ｔ０、ｔ１）」に置き換えて、サブテンプレートＴ０、Ｔ１の評価値ｔ０、ｔ１のうち、最大値をとるほうをテンプレートＴの評価値ｔとして設定する。
【００５９】
さらに、上記実施形態では、画像位置合わせ処理、追跡処理、評価値算出処理にてループによる処理を行うようにしたが、これに限られるものではなく、例えば、専用ハードウェア回路等を実装して並列に処理するようにしても良い。
具体的には、図５の追跡処理にて関数ｓａｄを２回呼び出して算出したサブテンプレートＴ０、Ｔ１の評価値ｔ０、ｔ１を複数の加算器からなるハードウェア回路によって並列に計算するようにしても良い。
【００６０】
また、上記実施形態では、テンプレートＴを直和分割したものをサブテンプレートＴ０、Ｔ１としたが、これに限られるものではなく、テンプレートＴの一部分の領域からなるものであれば如何なるものであっても良い。例えば、３つ以上のサブテンプレートを設定しても良く、この場合にあっては、例えば、各サブテンプレートの動きベクトルが一つでもテンプレートＴの動きベクトルと近くないと判定された場合には（ステップＳ５５；図６参照）、特徴点対応を無効と判断すればよい。あるいは、半数以上のサブテンプレートの動きベクトルがテンプレートＴの動きベクトルと近くないと判定された場合に特徴点対応を無効と判断する等としてもかまわない。
また、サブテンプレートとして２つ設定するようにしたが、これに限られるものではなく、一のサブテンプレートのみを設定するようにしても良い。
【００６１】
さらに、上記実施形態では、テンプレートＴを８×８画素の正方形状としたが、テンプレートＴの形状はこれに限られるものではなく、例えば、矩形以外の任意の形状としても良い。例えば、評価値算出処理（図７等参照）におけるラインインデックスｔx、ｔyに関する二重ループをテンプレート（サブテンプレート）の形状を反映して、適宜定義したサブテンプレートの画素をたどるような画素毎のループとすれば良い。
【００６２】
また、上記実施形態では、テンプレートマッチングの探索方法を所定範囲内の全数探索としたが（図５及び図６参照）、これに限られるものではなく、例えば、探索ループ構造を変更することでＮ−ステップ法などの高速探索を適用しても良い。
【００６３】
さらに、上記実施形態では、追跡処理（図５及び図６参照）にて、関数ｓａｄをサブテンプレートＴ０、Ｔ１毎に所定の画素をたどるループとして２回に分けて呼び出すようにしたが、これに限られるものではなく、例えば、関数ｓａｄを一度だけ呼び出して、単一のループの中で画素位置毎に分岐して、各サブテンプレートＴ０、Ｔ１に対応する差分絶対値和ｓｕｍ０、ｓｕｍ１を算出するようにしても良い。
【００６４】
また、上記実施形態にあっては、テンプレートＴ及びサブテンプレートＴ０、Ｔ１の探索方法として、当該テンプレートＴ及びサブテンプレートＴ０、Ｔ１の複数の画像間における動きベクトルを算出するようにしたが、これに限られるものではなく、テンプレートＴ及びサブテンプレートＴ０、Ｔ１の探索を行うことができる方法であれば如何なる方法であっても良い。
【００６５】
さらに、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
また、画像処理装置（有効性判定装置）として撮像装置１００を例示したが、これに限られるものではなく、撮像部１により取得した複数の画像をＵＳＢ端子６を介して接続された外部機器に出力して、当該外部機器にて画像位置合わせ処理に係る追跡処理、評価値算出処理等を行うようにしても良い。例えば、運動や変形の解析等の目的でオプティカルフローを可視化する装置等に適用するようにしても良い。
【００６６】
加えて、上記実施形態では、テンプレート探索手段、サブテンプレート探索手段、テンプレート動きベクトル算出手段、サブテンプレート設定、サブテンプレート動きベクトル算出手段、動きベクトル判定手段、有効性判定手段、サブ評価値算出手段、テンプレート評価値算出手段、位置合わせ手段としての機能を、ＣＰＵ７１によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
【図面の簡単な説明】
【００６７】
【図１】本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による画像位置合わせ処理に用いられるテンプレートの一例を模式的に示す図である。
【図３】図１の撮像装置による画像位置合わせ処理に用いられるサブテンプレートの一例を模式的に示す図である。
【図４】図１の撮像装置による画像位置合わせ処理に係る動作の一例を示すフローチャートである。
【図５】図４の画像位置合わせ処理の追跡処理に係る動作の一例を示すフローチャートである。
【図６】図５の追跡処理の続きを示すフローチャートである。
【図７】図５の追跡処理の評価値算出処理に係る動作の一例を示すフローチャートである。
【図８】変形例１の撮像装置による画像位置合わせ処理に用いられるサブテンプレートの一例を模式的に示す図である。
【図９】図８の撮像装置による評価値算出処理に係る動作の一例を示すフローチャートである。
【図１０】変形例２の撮像装置による評価値算出処理に係る動作の一例を示すフローチャートである。
【符号の説明】
【００６８】
１００  撮像装置（有効性判定装置、画像処理装置）
７１    ＣＰＵ（テンプレート探索手段、サブテンプレート探索手段、テンプレート動きベクトル算出手段、サブテンプレート設定、サブテンプレート動きベクトル算出手段、動きベクトル判定手段、有効性判定手段、サブ評価値算出手段、テンプレート評価値算出手段、位置合わせ手段）
Ｔ      テンプレート
Ｔ０、Ｔ１  サブテンプレート
【図１】
0004935541.tif 000003
【図２】
0004935541.tif 000004
【図３】
0004935541.tif 000005
【図４】
0004935541.tif 000006
【図５】
0004935541.tif 000007
【図６】
0004935541.tif 000008
【図７】
0004935541.tif 000009
【図８】
0004935541.tif 000010
【図９】
0004935541.tif 000011
【図１０】
0004935541.tif 000012