(57)【要約】【課題】画像処理装置、画像処理方法及びプログラムにおいて、参照ブロックと探索ブロック内の候補ブロックとの対応付けの信頼性を評価する手法として、第１ピーク相関値と第２ピーク相関値を比較する手法を用いる際、探索範囲が比較的大きい場合であっても演算量を減らして処理時間を短縮可能にすることを目的とする。【解決手段】異なる映像フレームの参照領域と探索領域の類似度を求める相関演算を行う相関演算回路と、探索領域内での相関値の第１ピーク位置を求めることで参照領域の画像と探索領域内の候補領域の画像との対応付けを行い、第１ピーク位置の近傍の除外領域を除外して第２ピーク相関値を用いて参照領域と探索領域内の候補領域の画像の対応付けの信頼性を評価するピーク評価回路を備え、ピーク評価回路は、探索範囲を複数の部分領域に分割し、各部分領域内の第１ピーク相関値を抽出すると共に、各部分領域内の第１ピーク相関値の順序付けを行い順序付けに従って第２ピーク相関値を探索する部分領域を決定するように構成する。【選択図】図４
2011070568.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行う相関演算回路と、
前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価するピーク評価回路を備え、
前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、
前記ピーク評価回路は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定する、画像処理装置。
【請求項２】
前記ピーク評価回路は、決定された部分領域内で前記第１ピーク位置の近傍の除外領域を除外してピーク評価を行い、前記順序付けを行った各部分領域内のピーク相関値との比較判定に基づいて前記第２ピーク相関値を探索する、請求項１記載の画像処理装置。
【請求項３】
前記ピーク評価回路は、
各部分領域内で第１ピーク相関値を抽出する手段と、
各部分領域内で抽出した第１ピーク相関値の順序付けを行い第１〜第５ピーク相関値を求めて第１〜第５のレジスタに格納する手段と、
第２ピーク相関値を探索する部分領域を任意の部分領域から順に選択して、選択した各部分領域内で第１ピーク位置の近傍の除外領域を除外してピーク相関値の探索を行う手段と、
前記ピーク相関値の探索で求まったピーク相関値と、各部分領域内の前記第１ピーク相関値の順序付けで順序付けられた第２〜第５ピーク相関値を比較して第２ピーク相関値を判定する手段を有する、請求項２記載の画像処理装置。
【請求項４】
コンピュータによる画像処理方法であって、
第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行い前記相関値をメモリ部に格納する手順と、
前記メモリ部に格納された前記相関値に基づいて、前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価する手順
を前記コンピュータに実行させ、
前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、
前記信頼性を評価する手順は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定する、画像処理方法。
【請求項５】
コンピュータに画像処理を実行させるプログラムであって、
第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行い前記相関値をメモリ部に格納する手順と、
前記メモリ部に格納された前記相関値に基づいて、前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価する手順
を前記コンピュータに実行させ、
前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、
前記信頼性を評価する手順は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定する、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、相関演算を行う画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像処理装置において、２つの画像間の類似度を計算する相関演算は、動きベクトル計測処理、ステレオ計測処理等の処理で用いられる。一例として、相関演算が動きベクトル計測処理で用いられる場合を例に取って説明する。
【０００３】
図１は、動きベクトル計測処理における相関演算を説明する図である。動きベクトル計測処理においては、映像フレームｆの局所領域を参照ブロック（又は、テンプレート）Ｒとして抽出し、次の映像フレームｆ＋１の探索ブロックＳ内で参照ブロックＲと類似度が最大となる候補ブロックＣの位置を抽出することで、参照ブロックＲが次の映像フレームｆ＋１でどれだけ動いたかを示す動きベクトルを求めることができる。図１の例では、候補ブロックＣは、探索ブロックＳ内で水平方向に−ｍ〜ｍ−１画素分、垂直方向に−ｎ〜ｎ−１画素分だけ移動可能であり、ｍ，ｎは１以上の自然数である。
【０００４】
探索ブロックＳ内から参照ブロックＲと類似度が最大となる候補ブロックＣの位置を抽出するためには、参照ブロックＲ内で類似度を求める演算を探索ブロックＳ内で２次元的にスキャンして実行し、その中で類似度が最大となる候補ブロックＣの位置を抽出する。この類似度の指標としては、例えば、ブロック内の画素毎の輝度の差の２乗の総和をとったＳＳＤ（Sum of Squared Difference）相関値が使用される。ＳＳＤ相関値は、例えば参照ブロックＲのサイズが８×８画素であるものとすると、次式で表すことができる。次式中、Ｒ（ｘ，ｙ）は参照ブロック、Ｓ（ｘ，ｙ）は探索ブロックＳの画像の輝度を示す。
【０００５】
【数１】
2011070568.tif 000003
ＳＳＤ相関値Ｄｋ（ｕ，ｖ）が最小となる（ｕ，ｖ）が、探索ブロックＳ内で参照ブロックＲとの類似度が最大となる探索ブロックＳの位置、即ち、参照ブロックＲの動きベクトルとなる。ＳＳＤ相関値は、類似度が高い場合に小さい値を有し、類似度が低い場合に大きな値を有する。
【０００６】
参照ブロックＲの画像と探索ブロックＳ内の候補ブロックＣの画像との対応付けの信頼性を評価する手法として、第１ピーク相関値と第２ピーク相関値を比較する手法が知られている。第１ピーク相関値は、探索範囲内で最小となる（即ち、類似度が最大となる）相関値を有する位置である第１ピーク点での相関値、第２ピーク相関値は第１ピーク位置の近傍の除外領域を除いた探索範囲内で最小となる相関値を有する位置である第２ピーク点での相関値である。第１ピーク相関値と第２ピーク相関値の差が比較的大きい場合は、参照ブロックＲの画像と候補ブロックＣの画像との対応付けが唯一に求まるので、参照ブロックＲの画像と探索ブロックＳ内の候補ブロックＣの画像との対応付けの信頼性が高いと判断できる。
【０００７】
例えば、フレームサイズは６４０×４８０画素、探索ブロックサイズは３２×３２画素（ｍ＝３２，ｎ＝３２）、候補ブロックサイズは参照ブロックサイズと同じ８×８画素であると、第１ピーク位置の近傍の除外領域とは、第１ピーク位置を中心とする矩形領域であり、この矩形領域のサイズは、例えば水平方向に９画素分、垂直方向に９画素分（即ち、９×９画素分）に相当する。ただし、第１ピーク位置の近傍を除いた領域のサイズは、この例の９×９画素分に限定されるものではない。
【０００８】
このように信頼性を評価する手法を用いるには、第１ピーク位置と第２ピーク位置を求める処理が必要となる。従来は、第１ピーク位置と第２ピーク位置の抽出は以下の手順で行っていた。図２は、第１ピーク位置の抽出を説明する図であり、図３は、第２ピーク位置の抽出を説明する図である。
【０００９】
先ず、図２に示すように、探索ブロックＳに対応する探索範囲内で実線の矢印で示すように探索を行うことで、全ての相関値の中から最小相関値を有する第１ピーク位置を抽出する。
【００１０】
次に、図３に示すように、探索ブロックＳに対応する探索範囲内で実線の矢印で示すように探索を行うことで、全ての相関値の中から第１ピーク位置の近傍の除外領域Ｅｘを除いた探索範囲の中から最小の相関値を求めて第２ピーク位置を抽出する。図２及び図３において、破線は１つの探索（又は、ライン）の終了位置から次の１つの探索（又は、ライン）の開始位置までの探索位置の移動を示す。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
参照ブロックの画像と探索ブロック内の候補ブロックの画像との対応付けの信頼性を評価する手法として、第１ピーク相関値と第２ピーク相関値を比較する手法を用いる従来の画像処理装置では、相関値の中から最小の相関値を求める処理を、探索ブロックに対応する探索範囲全体に対して２回実行するので、探索範囲が比較的大きい場合には演算量が多くなり、処理時間が長くなってしまうという問題があった。
【００１２】
そこで、本発明は、参照ブロックの画像と探索ブロック内の候補ブロックの画像との対応付けの信頼性を評価する手法として、第１ピーク相関値と第２ピーク相関値を比較する手法を用いる際、探索範囲が比較的大きい場合であっても演算量を減らして処理時間を短縮可能な画像処理装置、画像処理方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の一観点によれば、第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行う相関演算回路と、前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価するピーク評価回路を備え、前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、前記ピーク評価回路は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定する画像処理装置が提供される。
【００１４】
本発明の一観点によれば、コンピュータによる画像処理方法であって、第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行い前記相関値をメモリ部に格納する手順と、前記メモリ部に格納された前記相関値に基づいて、前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価する手順を前記コンピュータに実行させ、前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、前記信頼性を評価する手順は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定する画像処理方法が提供される。
【００１５】
本発明の一観点によれば、コンピュータに画像処理を実行させるプログラムであって、第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行い前記相関値をメモリ部に格納する手順と、前記メモリ部に格納された前記相関値に基づいて、前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価する手順を前記コンピュータに実行させ、前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、前記信頼性を評価する手順は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定するプログラムが提供される。
【発明の効果】
【００１６】
開示の画像処理装置、画像処理方法及びプログラムによれば、参照ブロックの画像と探索ブロック内の候補ブロックの画像との対応付けの信頼性を評価する手法として、第１ピーク相関値と第２ピーク相関値を比較する手法を用いる際、探索範囲が比較的大きい場合であっても演算量を減らして処理時間を短縮可能となる。
【図面の簡単な説明】
【００１７】
【図１】動きベクトル計測処理における相関演算を説明する図である。
【図２】第１ピーク位置の抽出を説明する図である。
【図３】第２ピーク位置の抽出を説明する図である。
【図４】本発明の一実施例における画像処理装置を説明するブロック図である。
【図５】ピークレジスタに格納するピーク情報を説明する図である。
【図６】画像処理を説明するフローチャートである。
【図７】第１ピーク抽出処理を説明するフローチャートである。
【図８】第２ピーク抽出処理を説明するフローチャートである。
【図９】第１ピーク位置の近傍の除外領域が部分領域に完全に含まれる場合を説明する図である。
【図１０】第１ピーク位置の近傍の除外領域が部分領域を跨る場合を説明する図である。
【図１１】第１ピーク位置の近傍の除外領域に第２〜第４ピーク位置が含まれる場合を説明する図である。
【図１２】本発明の他の実施例における画像処理装置を説明するブロック図である。
【発明を実施するための形態】
【００１８】
開示の画像処理装置、画像処理方法及びプログラムは、参照領域の画像と探索領域内の候補領域の画像との対応付けの信頼性を評価する手法として、最大の類似度を示す第１ピーク相関値と第１ピーク相関値の次に大きい類似度を示す第２ピーク相関値を比較する手法を用いる。探索領域を複数の部分領域に分割して各部分領域の範囲で第１ピーク相関値の抽出を行い、第２ピーク相関値を抽出するために必要となる部分領域の絞りこみを行うことで、第２ピーク相関値を抽出するのに要する処理時間を短縮する。
【００１９】
以下に、開示の画像処理装置、画像処理方法及びプログラムの各実施例を図面と共に説明する。
【実施例】
【００２０】
図４は、本発明の一実施例における画像処理装置を説明するブロック図である。説明の便宜上、本実施例では、一例として、相関演算が動きベクトル計測処理で用いられる場合を例に取って説明する。
【００２１】
動きベクトル計測処理においては、図１のように、映像フレームｆの局所領域を参照ブロック（又は、参照領域）Ｒとして抽出し、次の映像フレームｆ＋１の探索ブロック（又は、探索領域）Ｓ内で参照ブロックＲと類似度が最大となる候補ブロック（又は、候補領域）Ｃの位置を抽出することで、参照ブロックＲが次の映像フレームｆ＋１でどれだけ動いたかを示す動きベクトルを求める。探索ブロックＳ内から参照ブロックＲと類似度が最大となる候補ブロックＣの位置を抽出するためには、参照ブロックＲ内で類似度を求める演算を探索ブロックＳ内で２次元的にスキャンして実行し、その中で類似度が最大となる候補ブロックＣの位置を抽出する。この類似度の指標としては、例えば、ブロック内の画素毎の輝度の差の２乗の総和をとったＳＳＤ相関値が使用される。図１と共に説明した式において、ＳＳＤ相関値Ｄｋ（ｕ，ｖ）が最小となる（ｕ，ｖ）が、探索ブロックＳ内で参照ブロックＲとの類似度が最大となる探索ブロックＳの位置、即ち、参照ブロックＲの動きベクトルとなる。
【００２２】
又、参照ブロックＲの画像と探索ブロックＳ内の候補ブロックＣの画像との対応付けの信頼性を評価する手法としては、第１ピーク相関値と第２ピーク相関値を比較する手法を用いる。第１ピーク相関値は、探索範囲内で最小となる（即ち、類似度が最大となる）相関値を有する位置である第１ピーク点での相関値、第２ピーク相関値は第１ピーク位置の近傍の除外領域を除いた探索範囲内で最小となる相関値を有する位置である第２ピーク点での相関値である。第１ピーク相関値と第２ピーク相関値の差が比較的大きい場合は、参照ブロックＲの画像と候補ブロックＣの画像との対応付けが唯一に求まるので、参照ブロックＲの画像と探索ブロックＳ内の候補ブロックＣの画像との対応付けの信頼性が高いと判断できる。
【００２３】
本実施例では、探索領域を形成する探索ブロックＳは、複数の部分領域に分割される。又、各部分領域は、同じサイズの矩形形状を有する。各部分領域の範囲で第１ピーク相関値の抽出を行い、第２ピークを抽出するために必要となる部分領域の絞りこみを行うことで、第２ピークを抽出するのに要する処理時間を短縮する。又、第１ピーク位置近傍の除外領域も、１つの部分領域より小さいサイズの矩形形状を有する。
【００２４】
画像処理装置１は、図４に示す如く接続された制御部１１、画像メモリ１２、相関演算回路１３、相関値メモリ１４、及びピーク評価回路１５を有する。画像処理装置１には、例えばカメラ２１等の撮像部が接続される。カメラ２１は、制御部１１に接続されても、直接画像メモリ１２に接続されても良い。
【００２５】
制御部１１は、例えばＣＰＵ（Central Processing Unit）等のプロセッサで形成され、画像処理装置１全体の制御を司る。画像メモリ１２は、この例ではカメラ２１から受信した相関演算の対象となる画像データを格納し、相関演算処理時には画像データを相関演算回路１３へ送信する。相関演算回路１３は、画像メモリ１２から受信した画像データを用いて相関演算処理を行い、相関演算処理の演算結果を相関値メモリ１４へ送信する。相関値メモリ１４は、相関演算処理時には相関演算回路１３から受信した相関演算結果を格納し、ピーク抽出処理時には相関演算結果を読み出してピーク評価回路１５へ送信する。
【００２６】
ピーク評価回路１５は、ピーク評価制御部１５１、比較器１５２、ピークレジスタ１５３、比較器１５４−１〜１５４−５、及び第１〜第５ピークレジスタ１５５−１〜１５５−５を有し、相関値の第１〜第５ピークを求めると共に、第１ピークと第２ピークを抽出する。
【００２７】
ピーク評価制御部１５１は、例えばＣＰＵ等のプロセッサで形成され、ピーク評価処理を制御する。具体的には、ピーク評価制御部１５１は、映像フレームｆ＋１の探索ブロックＳ内の評価を行う部分領域、相関値メモリ１４へアクセスするアドレス、相関値メモリ１４から読み出した相関値に対応する座標の決定や、決定された座標が第１ピーク位置の近傍の除外領域か否かの判定等の制御を行う。
【００２８】
尚、制御部１１及びピーク評価制御部１５１は、いずれもハードウェア回路により実現しても良い。
【００２９】
比較器１５２は、相関値メモリ１４から読み出した相関値とピークレジスタ１５３の相関値を比較し、部分領域毎に第１〜第５ピークレジスタ１５５−１〜１５５−５を更新するか否かの判定を行う。
【００３０】
ピークレジスタ１５３は、各部分領域のピーク情報を格納する。図５は、ピークレジスタ１５３に格納するピーク情報を説明する図である。図５に示すように、ピークレジスタ１５３は、ピークの部分領域番号、Ｘ座標値、Ｙ座標値、及び相関値を格納する。
【００３１】
比較器１５４−１〜１５４−５は、ピークレジスタ１５３に格納された部分領域のピーク情報を比較し、部分領域毎の上位５つの相関値のピーク、即ち、第１〜第５ピーク相関値を対応する第１〜第５ピークレジスタ１５５−１〜１５５−５に格納する。第１〜第５ピークレジスタ１５５−１〜１５５−５に格納するピーク情報も、図５に示すようにピークの部分領域番号、Ｘ座標値、Ｙ座標値、及び相関値を含む。
【００３２】
図６は、画像処理装置１の画像処理、即ち、本実施例における画像処理方法を説明するフローチャートである。図６において、ステップＳ１は、画像メモリ１２から画像データを読み出し、相関演算回路１３で相関演算処理を行い、相関演算処理の演算結果を相関値メモリ１４に格納する相関演算処理を行う。
【００３３】
ステップＳ２は、第１ピーク抽出処理を行う。ステップＳ２の第１ピーク抽出処理では、探索ブロックＳの各部分領域において、相関値メモリ１４から相関値を読み出してピークを抽出し、抽出した部分領域毎の相関値のピークの中から上位５つの第１〜第５ピーク相関値を対応する第１〜第５ピークレジスタ１５５−１〜１５５−５に格納する。この第１ピーク抽出処理で第１ピーク相関値は求まり、第１ピーク位置と第１ピーク相関値は第１ピークレジスタ１５５−１に格納される。
【００３４】
又、ステップＳ３は、第２ピーク抽出処理を行う。ステップＳ３の第２ピーク抽出処理では、第１〜第５ピークレジスタ１５５−１〜１５５−５に格納されている部分領域番号の部分領域から第１ピーク位置の近傍の除外領域を除外して相関値のピークを抽出する。第２ピーク相関値が確定した段階で第２ピーク抽出処理は終了し、第２ピーク位置と相関値は第２ピークレジスタ１５５−２に格納される。
【００３５】
例えば、フレームサイズは６４０×４８０画素、探索ブロックサイズは３２×３２画素（ｍ＝３２，ｎ＝３２）、候補ブロックサイズは参照ブロックサイズと同じ８×８画素であると、第１ピーク位置の近傍の除外領域とは、第１ピーク位置を中心とする矩形領域であり、この矩形領域のサイズは、例えば水平方向に９画素分、垂直方向に９画素分（即ち、９×９画素分）に相当する。ただし、第１ピーク位置の近傍を除いた領域のサイズは、この例の９×９画素分に限定されるものではない。
【００３６】
第１ピーク相関値と第２ピーク相関値の差が比較的大きい場合は、参照ブロックＲの画像と候補ブロックＣの画像との対応付けが唯一に求まるので、ピーク評価回路１５は、参照ブロックＲの画像と探索ブロックＳ内の候補ブロックＣの画像との対応付けの信頼性が高いと判断できる。上記の動きベクトル計測処理は、このようにして求めた第１ピーク相関値と第２ピーク相関値を比較することで、参照ブロックＲの画像と探索ブロックＳ内の候補ブロックＣの画像との対応付けの信頼性を評価するが、動きベクトル計測処理自体は周知であるため、その詳細な説明は省略する。
【００３７】
図７は、ステップＳ２の第１ピーク抽出処理を説明するフローチャートである。第１ピーク抽出処理は、探索ブロックＳの部分領域毎に相関値のピークを求める処理と、第１〜第５ピークレジスタ１５５−１〜１５５−５を更新する処理を繰り返す。以下の説明では、Ｎ（Ｎは２以上の自然数）は部分領域数を示し、処理対象となる探索領域（即ち、探索ブロックＳ）は部分領域番号Ｂ１〜ＢＮを有する部分領域に分割されており、Ｂは現在処理している部分領域番号であるものとする。Ｂｐはピークレジスタ１５３に格納される部分領域番号、Ｘｐはピークレジスタ１５３に格納されるＸ座標値、Ｙｐはピークレジスタ１５３に格納されるＹ座標値、Ｃｐはピークレジスタ１５３に格納される相関値を示す。又、ＰＢ１〜ＰＢ５は第１〜第５ピークレジスタ１５５−１〜１５５−１に格納される部分領域番号、Ｘ１〜Ｘ５は第１〜第５ピークレジスタ１５５−１〜１５５−１に格納されるＸ座標値、Ｙ１〜Ｙ５は第１〜第５ピークレジスタ１５５−１〜１５５−１に格納されるＹ座標値、Ｃ１〜Ｃ５は第１〜第５ピークレジスタ１５５−１〜１５５−１に格納される相関値を示す。
【００３８】
図７において、ステップＳ２１は、部分領域番号ＢをＢ＝１に設定する。ステップＳ２２は、部分領域番号Ｂの部分領域内で相関値のピークを抽出し、抽出したピークの位置（Ｘｐ，Ｙｐ）と相関値Ｃｐを求めてピークレジスタに設定する。
【００３９】
ステップＳ２３は、第１〜第５ピークレジスタ１５５−１〜１５５−５の更新処理を部分領域Ｂ（この場合、Ｂ１）について行う。ピークレジスタ１５３の相関値が第１ピークレジスタ１５５−１の内容より大きい場合は、第１〜第４ピークレジスタ１５５−１〜１５５−４の内容を第２〜第５ピークレジスタ１５５−２〜１５５−５にシフト（又は、コピー）し、第１ピークレジスタ１５５−１にはピークレジスタ１５３の相関値を設定する。ピークレジスタ１５３の相関値が第１ピークレジスタ１５５−１の内容より小さく、第２ピークレジスタ１５５−２の内容より大きい場合は、第２〜第４ピークレジスタ１５５−２〜１５５−５の内容を第３〜第５ピークレジスタ１５５−３〜１５５−５にシフト（又は、コピー）し、第２ピークレジスタ１５５−２にはピークレジスタ１５３の相関値を設定する。このような判定を、内容のシフトを第５ピークレジスタ１５５−５まで繰り返す。
【００４０】
ステップＳ２４は、部分領域番号ＢをＢ＝Ｂ＋１にインクリメントする。ステップＳ２５は、Ｂ＞Ｎであるか否かを判定し、判定結果がＮＯであると処理はステップＳ２２へ戻り、判定結果がＹＥＳであると処理は終了する。
【００４１】
このような処理により、探索ブロックＳを構成する全て（Ｎ個）の部分領域の相関値のピークのうち、第１〜第５ピーク相関値と第１〜第５ピーク位置までが求まり、対応する第１〜第５ピークレジスタ１５５−１〜１５５−５に格納されることで第１〜第５ピークレジスタ１５５−１〜１５５−５の内容が更新される。この処理が完了すると、探索領域全体の第１ピーク相関値が確定されて第１ピークレジスタ１５５−１に格納される。
【００４２】
図８は、ステップＳ３の第２ピーク抽出処理を説明するフローチャートである。第２ピーク抽出処理は、第１ピーク位置の近傍の除外領域を除外した部分領域のピーク評価処理を順次行い、第２ピーク相関値が確定した時点で処理は終了する。
【００４３】
図８において、ステップＳ３１は、部分領域番号Ｂを第１ピークレジスタ１５５−１に格納されている部分領域番号ＰＢ１に設定する。ステップＳ３２は、部分領域番号Ｂの部分領域内で、第１ピーク位置の近傍の除外領域を除外して相関値ピークを抽出する。又、ステップＳ３１は、部分領域のピーク位置（Ｘｐ，Ｙｐ）と相関値Ｃｐを求めて、ピークレジスタ１５３に設定する。
【００４４】
ステップＳ３３は、ピークレジスタ１５３の相関値Ｃｐと第２ピークレジスタ１５５−２の相関値Ｃ２を比較し、Ｃｐ＜Ｃ２であるか否かを判定する。相関値Ｃｐが相関値Ｃ２より小さくステップＳ３３の判定結果がＹＥＳであると、この部分領域の相関値のピークが第２ピーク相関値であると確定する。この場合、ステップＳ３７は、ピークレジスタ１５３の内容を第２ピークレジスタ１５５−２に格納し、処理は終了する。
【００４５】
ステップＳ３３の判定結果がＮＯであると、ステップＳ３４は、第２ピークレジスタ１５５−２に格納されている座標（Ｘ２，Ｙ２）を読み出し、この座標（Ｘ２，Ｙ２）が第１ピーク位置（Ｘ１，Ｙ１）の近傍の除外領域外にあるか否かを判定する。座標（Ｘ２，Ｙ２）が第１ピーク位置（Ｘ１，Ｙ１）の近傍の除外領域外でありステップＳ３４の判定結果がＹＥＳであると、第２ピーク相関値が確定するので、処理は終了する。一方、ステップＳ３４の判定結果がＮＯであると、第２ピークレジスタ１５５−２に格納されているピーク位置（Ｘ２，Ｙ２）が第１ピーク位置の近傍の除外領域にあるため、第１ピーク位置の近傍の除外領域を除外して第２ピークレジスタ１５５−２に設定されている部分領域番号Ｂ２の部分領域について第２ピーク抽出処理を行う必要がある。そこで、ステップＳ３４の判定結果がＮＯであると、ステップＳ３５は、部分領域番号Ｂに部分領域番号ＰＢ２を設定してＢ＝ＰＢ２とする。
【００４６】
ステップＳ３６は、第３〜第５ピークレジスタ１５５−３〜１５５−５の内容を第２〜第４ピークレジスタ１５５−２〜１５５−４にシフト（又は、コピー）し、第２ピークレジスタ１５５−２の内容を更新した後、処理はステップＳ３２へ戻り、次の部分領域の第２ピーク抽出処理を行う。このようにして、第２ピーク相関値が確定されて、第２ピークレジスタ１５５−２に格納される。
【００４７】
次に、第１ピーク位置の近傍の除外領域が部分領域に完全に含まれる場合、第１ピーク位置の近傍の除外領域が部分領域を跨る場合、及び第１ピーク位置の近傍の除外領域に第２〜第４ピーク位置が含まれる場合の動作を、図９〜図１１と共に説明する。
【００４８】
図９は、第１ピーク位置の近傍の除外領域が部分領域に完全に含まれる場合を説明する図である。図９及び後述する図１０及び図１１では、説明の便宜上、探索領域Ｓが部分領域Ｂ１〜Ｂ１２に分割されているものとし、抽出された第１ピークＰ１の位置は黒丸印で示し、第２〜第５ピークＰ２〜Ｐ５の位置は白丸印で示し、第１ピーク位置の近傍の除外領域はＥｘで示す。
【００４９】
図９に示すように、図７の第１ピーク抽出処理を行った結果、第１〜第５ピークＰ１〜Ｐ５が次のような部分領域内で抽出されたとする。
【００５０】
第１ピークＰ１：部分領域Ｂ６内
第２ピークＰ２：部分領域Ｂ３内
第３ピークＰ３：部分領域Ｂ４内
第４ピークＰ４：部分領域Ｂ８内
第５ピークＰ５：部分領域Ｂ１２内
この例では、第１ピークＰ１の位置の近傍の除外領域Ｅｘが１つの部分領域Ｂ６に完全に含まれている。
【００５１】
従って、この例では、図８の第２ピーク抽出処理は、部分領域Ｂ６内で第１ピークＰ１の近傍の除外領域Ｅｘを除外して相関値ピークの抽出を行い、部分領域Ｂ６内のピーク（以下、「部分領域ピーク」と言う）Ｐｐの位置（Ｘｐ，Ｙｐ）と相関値Ｃｐを求める（ステップＳ３２）。
【００５２】
部分領域ピークＰｐでの相関値Ｃｐが第２ピークＰ２での相関値Ｃ２より小さい場合は（ステップＳ３３でＹＥＳ）、部分領域ピークＰｐが第２ピーク相関値であることが確定するので、ピークレジスタ１５３の内容を第２ピークレジスタ１５５−２に格納し（ステップＳ３７）、第２ピーク抽出処理は終了する。
【００５３】
一方、部分領域ピークＰｐでの相関値Ｃｐが第２ピークＰ２での相関値Ｃ２以上の場合は（ステップＳ３３でＮＯ）、第２ピークレジスタ１５５−２に格納されている座標（Ｘ２，Ｙ２）を読み出し、第１ピークＰ１の座標（Ｘ１，Ｙ１）の近傍の除外領域Ｅｘにあるか否かを判定する（ステップＳ３４）。この例では、第２ピークレジスタ１５５−２から読み出された座標（Ｘ２，Ｙ２）は第１ピークＰ１の近傍の除外領域Ｅｘ外の部分領域Ｂ３内に存在するので（ステップＳ３４でＹＥＳ）、第２ピークレジスタ１５５−２に格納されている座標（Ｘ２，Ｙ２）が第２ピーク相関値の位置であることが確定し、処理は終了する。
【００５４】
図１０は、第１ピーク位置の近傍の除外領域が部分領域を跨る場合を説明する図である。
【００５５】
図１０に示すように、図７の第１ピーク抽出処理を行った結果、第１〜第５ピークＰ１〜Ｐ５が次のような部分領域内で抽出されたとする。
【００５６】
第１ピークＰ１：部分領域Ｂ６内
第２ピークＰ２：部分領域Ｂ３内
第３ピークＰ３：部分領域Ｂ４内
第４ピークＰ４：部分領域Ｂ８内
第５ピークＰ５：部分領域Ｂ１２内
この例では、第１ピークＰ１の位置の近傍の除外領域Ｅｘが複数の部分領域Ｂ２，Ｂ３，Ｂ６，Ｂ７に跨っている。
【００５７】
従って、この例では、図８の第２ピーク抽出処理は、部分領域Ｂ６内で、第１ピークＰ１の近傍の除外領域Ｅｘを除外して相関値ピークの抽出を行い、部分領域ピークＰｐの位置（Ｘｐ，Ｙｐ）と相関値Ｃｐを求める（ステップＳ３２）。
【００５８】
部分領域ピークＰｐでの相関値Ｃｐが第２ピークＰ２での相関値Ｃ２より小さい場合は（ステップＳ３３でＹＥＳ）、部分領域ピークＰｐが第２ピーク相関値であることが確定するので、ピークレジスタ１５３の内容を第２ピークレジスタ１５５−２に格納し（ステップＳ３７）、第２ピーク抽出処理は終了する。
【００５９】
一方、部分領域ピークＰｐでの相関値Ｃｐが第２ピークＰ２での相関値Ｃ２以上の場合は（ステップＳ３３でＮＯ）、第２ピークレジスタ１５５−２に格納されている座標を読み出し、第１ピークＰ１の近傍の除外領域Ｅｘにあるか否かを判定する（ステップＳ３４）。この例では、第２ピークレジスタ１５５−２から読み出された座標は第１ピークＰ１の近傍の除外領域Ｅｘ内に存在する（ステップＳ３４でＮＯ）。そこで、部分領域番号ＢにをＢ３を設定して（ステップＳ３５）、次は部分領域Ｂ３で相関値ピークの抽出を行うようにした後に、第３〜第５ピークレジスタ１５５−３〜１５５−５の内容を第２〜第４ピークレジスタ１５５−２〜１５５−４にシフト（又は、コピー）して、第２ピークレジスタ１５５−２の内容を更新する（ステップＳ３６）。この場合、第２ピークレジスタ１５５−２には、部分領域Ｂ４の第３ピークＰ３の情報を格納する。
【００６０】
次に、部分領域Ｂ３内で、第１ピークＰ１の近傍の除外領域Ｅｘを除外して相関値ピークの抽出を行い、部分領域ピークＰｐの位置（Ｘｐ，Ｙｐ）と相関値Ｃｐを求める。
【００６１】
部分領域ピークＰｐでの相関値Ｃｐが第２ピークレジスタ１５５−２に格納されている相関値（この時点では、部分領域Ｂ４の第３ピークＰ３での相関値）より小さい場合は（ステップＳ３２でＹＥＳ）、部分領域ピークＰｐが第２ピーク相関値であることが確定するので、ピークレジスタ１５３の内容を第２ピークレジスタ１５５−２に格納し（ステップＳ３７）、第２ピーク抽出処理は終了する。
【００６２】
一方、部分領域ピークＰｐでの相関値Ｃｐが第２ピークレジスタ１５５−２に格納されている相関値（この時点では、部分領域Ｂ４の第３ピークＰ３での相関値）以上の場合は（ステップＳ３３でＮＯ）、第２ピークレジスタ１５５−２に格納されている座標を読み出し、第１ピークＰ１の近傍の除外領域Ｅｘにあるか否かを判定する（ステップＳ３４）。この例では、第２ピークレジスタ１５５−２から読み出した座標は第１ピークＰ１の近傍の除外領域Ｅｘ外に存在するので（ステップＳ３４でＹＥＳ）、 第２ピークレジスタ１５５−２に格納されている部分領域Ｂ４の第３ピークＰ３が第２ピーク相関値であることが確定し、第２ピーク抽出処理は終了する。
【００６３】
図１１は、第１ピーク位置の近傍の除外領域に第２〜第４ピーク位置が含まれる場合を説明する図である。
【００６４】
図１１に示すように、図７の第１ピーク抽出処理を行った結果、第１〜第５ピークＰ１〜Ｐ５が次のような部分領域内で抽出されたとする。
【００６５】
第１ピークＰ１：部分領域Ｂ６内
第２ピークＰ２：部分領域Ｂ３内
第３ピークＰ３：部分領域Ｂ２内
第４ピークＰ４：部分領域Ｂ７内
第５ピークＰ５：部分領域Ｂ１２内
この例では、第１ピークＰ１の位置の近傍の除外領域Ｅｘが複数の部分領域Ｂ２，Ｂ３，Ｂ６，Ｂ７に跨っており、且つ、第２〜第４ピークＰ２〜Ｐ４が第１ピークＰ１の位置の近傍の除外領域Ｅｘ内に存在する。
【００６６】
この例では、図８の第２ピーク抽出処理で、部分領域Ｂ６、部分領域Ｂ３、部分領域Ｂ２、及び部分領域Ｂ７の全てでピーク評価が必要となるので、処理時間は上記の例の中では最大となる。尚、この例における第２ピーク抽出処理の詳細は、図９及び図１０の説明から明らかであるため、その説明は省略する。
【００６７】
上記実施例では、図６〜図８の画像処理が図４に示す画像処理装置１、即ち、ハードウェアにより実行される。しかし、画像処理の少なくとも一部をソフトウェアにより実行するようにしても良い。この場合、画像処理プログラム（即ち、ソフトウェア）は、コンピュータに画像処理の手順の少なくとも一部を実行させるか、或いは、コンピュータを図４に示す画像処理装置１の少なくとも一部を構成する手段として機能させるか、或いは、コンピュータに画像処理装置１の少なくとも一部の機能を実現させるものであれば良い。又、コンピュータは、コンピュータ読み取り可能な記憶媒体に格納されたプログラムを実行しても、コンピュータの外部からダウンロードした画像処理プログラムを実行しても良いことは言うまでもない。
【００６８】
図１２は、本発明の他の実施例における画像処理装置を説明する図である。説明の便宜上、本実施例においても、相関演算が動きベクトル計測処理で用いられるものとする。
【００６９】
図１２に示す画像処理装置２０１は、ＣＰＵ２１１、メモリ部２１２、送受信部２１３、複数の操作キーを有する操作部２１４、表示部２１５、及びカメラ２１６がバス２１８により接続された構成を有する。ＣＰＵ２１１は、画像処理装置２０１全体の動作の制御を司る。メモリ部２１２は、ＣＰＵ２１１が実行するプログラムと、ＣＰＵ２１１が行う演算の中間データを含む各種データを格納する半導体記憶装置、ディスク装置等で形成されている。従って、メモリ部２１２は、図４の画像メモリ１２及び相関値メモリ１４の機能を含み、ピークレジスタ１５３，１５５−１〜１５５−５の機能を含んでも良い。送受信部２１３は、アンテナ（図示せず）又はインターネット等のネットワーク（図示せず）を介した送受信を行う周知の構成を有し、モデム機能を含む。操作部２１４は、ユーザが指示や情報を画像処理装置２０１に入力する際に操作される複数の操作キーを有する。表示部２１５は、各種操作メニュー、操作キーから入力された情報、処理対象の画像等を表示する。尚、操作部２１４及び表示部２１５は、タッチパネルの場合のように一体的に設けられていても良い。カメラ２１６は、被写体を撮像可能な周知の構成を有し、図４に示すカメラ２１に相当する。尚、ピークレジスタ１５３，１５５−１〜１５５−５の機能は、ＣＰＵ２１１内のレジスタ（図示せず）により実現しても良い。
【００７０】
メモリ部１２に格納されている画像処理プログラムは、少なくともＣＰＵ２１１及びメモリ部２１２で形成されたコンピュータに画像処理の手順の少なくとも一部を実行させるか、或いは、コンピュータを図４に示す画像処理装置１の少なくとも一部を構成する手段として機能させるか、或いは、コンピュータに画像処理装置１の少なくとも一部の機能を実現させる。画像処理プログラムを格納するコンピュータ読み取り可能な記憶媒体は、本実施例ではメモリ部１２であるが、画像処理プログラムを格納するコンピュータ読み取り可能な記憶媒体の種類は特に限定されず、半導体記憶装置であっても、ディスク等の磁気記憶媒体、光記憶媒体や光磁気記憶媒体であっても良い。又、コンピュータは、送受信部２１３を介してコンピュータの外部からダウンロードした画像処理プログラムを実行しても良い。
【００７１】
ところで、相関値のピーク評価処理を１サイクルに１回処理可能な画像処理装置において、探索範囲がＬ×Ｍ画素（Ｌ，ＭはＬ＝Ｍ又はＬ≠Ｍを満足する２以上の自然数）であるものとすると、従来の手法では第１ピーク評価処理にＬ×Ｍサイクル、第２ピーク評価処理にＬ×Ｍサイクルの計２×Ｌ×Ｍサイクルの時間を要していた。これに対し、上記各実施例によれば、部分領域数（即ち、探索領域の分割数）をＮとすると第１ピーク評価処理にＬ×Ｍサイクル、第２ピーク評価処理には最悪でも（Ｌ×Ｍ／Ｎ）＊４サイクルの時間しか要さない。このように、上記各実施例のように探索領域を部分領域に分割することによる第１ピーク評価処理のオーバーヘッドをＯ１（Ｎ）、第２ピーク評価処理のオーバーヘッドをＯ２（Ｎ）とすると、第１ピーク評価処理及び第２ピーク評価処理に要する処理時間Ｔは（１＋４／Ｎ）×Ｌ×Ｍ＋Ｏ１（Ｎ）＋Ｏ２（Ｎ）サイクルとなる。
【００７２】
例えば、Ｌ＝６４，Ｍ＝６４，Ｎ＝１６，O１＝１２８，Ｏ２＝３２の場合、従来の手法では処理時間Ｔ＝８１９２サイクル必要となるのに対し、上記各実施例では処理時間Ｔ＝５２８０サイクルと短縮可能である。このように、ＬとＭの値が比較的大きく、探索領域の分割によるオーバーヘッドの量が比較的小さい場合、上記各実施例では従来の手法と比べると処理時間Ｔを短縮可能であることが確認された。
【００７３】
尚、部分領域数が多くなると、探索領域の分割に伴う処理のオーバーヘッドが増加するため、上記オーバーヘッドＯ１（Ｎ），Ｏ２（Ｎ）はＮの関数となっている。従って、使用する部分領域数Ｎは、処理時間Ｔが最小となるような値に選定することが望ましい。
【００７４】
上記各実施例では、２つの画像間の類似度を示す指標としてＳＳＤ相関値を用いているが、本発明は、類似度を示す指標としてＳＡＤ（Sum of Absolute Difference）相関値等の他の相関値を用いる場合にも同様に適用可能である。例えば、本発明は、類似度を示す指標として正規化相互相関（ＮＣＣ：Normalized Cross Correlation）値を用いた場合でも、相関値ピークを抽出する順序を最小から最大へ変更することで同様に適用可能である。ＮＣＣ値の場合、類似度が高い場合は大きな値を有し、類似度が低い場合に小さな値を有する。
【００７５】
又、画像処理を施す画像データは、画素の輝度値に限定されず、例えばカラー画像データを構成する画素の三原色成分の値であっても良い。つまり、画像処理は、カラー画像データの赤色成分単体、又は、青色成分単体、又は、緑色成分単体の値に対して実行しても良い。
【００７６】
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行う相関演算回路と、
前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価するピーク評価回路を備え、
前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、
前記ピーク評価回路は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定する、画像処理装置。
（付記２）
前記ピーク評価回路は、決定された部分領域内で前記第１ピーク位置の近傍の除外領域を除外してピーク評価を行い、前記順序付けを行った各部分領域内のピーク相関値との比較判定に基づいて前記第２ピーク相関値を探索する、付記１記載の画像処理装置。
（付記３）
前記ピーク評価回路は、
各部分領域内で第１ピーク相関値を抽出する手段と、
各部分領域内で抽出した第１ピーク相関値の順序付けを行い第１〜第５ピーク相関値を求めて第１〜第５のレジスタに格納する手段と、
第２ピーク相関値を探索する部分領域を任意の部分領域から順に選択して、選択した各部分領域内で第１ピーク位置の近傍の除外領域を除外してピーク相関値の探索を行う手段と、
前記ピーク相関値の探索で求まったピーク相関値と、各部分領域内の前記第１ピーク相関値の順序付けで順序付けられた第２〜第５ピーク相関値を比較して第２ピーク相関値を判定する手段を有する、付記２記載の画像処理装置。
（付記４）
前記参照領域、前記探索領域、前記候補領域、及び前記部分領域は、いずれも矩形形状を有する、付記１乃至３のいずれか１項記載の画像処理装置。
（付記５）
前記第１ピーク位置の近傍の除外領域は、１つの部分領域よりサイズの小さい矩形形状を有する、付記１乃至４のいずれか１項記載の画像処理装置。
（付記６）
前記相関値は、ＳＳＤ（Sum of Squared Difference）相関値、ＳＡＤ（Sum of Absolute Difference）相関値、及び正規化相互相関（ＮＣＣ：Normalized Cross Correlation）値のグループから選択された１つの相関値である、付記１乃至５のいずれか１項記載の画像処理装置。
（付記７）
コンピュータによる画像処理方法であって、
第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行い前記相関値をメモリ部に格納する手順と、
前記メモリ部に格納された前記相関値に基づいて、前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価する手順
を前記コンピュータに実行させ、
前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、
前記信頼性を評価する手順は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定する、画像処理方法。
（付記８）
前記信頼性を評価する手順は、決定された部分領域内で前記第１ピーク位置の近傍の除外領域を除外してピーク評価を行い、前記順序付けを行った各部分領域内のピーク相関値との比較判定に基づいて前記第２ピーク相関値を探索する、付記７記載の画像処理方法。
（付記９）
前記信頼性を評価する手順は、
各部分領域内で第１ピーク相関値を抽出し、
各部分領域内で抽出した第１ピーク相関値の順序付けを行い第１〜第５ピーク相関値を求め、
第２ピーク相関値を探索する部分領域を任意の部分領域から順に選択して、選択した各部分領域内で第１ピーク位置の近傍の除外領域を除外してピーク相関値の探索を行い、
前記ピーク相関値の探索で求まったピーク相関値と、各部分領域内の前記第１ピーク相関値の順序付けで順序付けられた第２〜第５ピーク相関値を比較して第２ピーク相関値を判定する、付記８記載の画像処理方法。
（付記１０）
前記参照領域、前記探索領域、前記候補領域、及び前記部分領域は、いずれも矩形形状を有する、付記７乃至９のいずれか１項記載の画像処理方法。
（付記１１）
前記第１ピーク位置の近傍の除外領域は、１つの部分領域よりサイズの小さい矩形形状を有する、付記７乃至１０のいずれか１項記載の画像処理方法。
（付記１２）
前記相関値は、ＳＳＤ（Sum of Squared Difference）相関値、ＳＡＤ（Sum of Absolute Difference）相関値、及び正規化相互相関（ＮＣＣ：Normalized Cross Correlation）値のグループから選択された１つの相関値である、付記７乃至１１のいずれか１項記載の画像処理方法。
（付記１３）
コンピュータに画像処理を実行させるプログラムであって、
第１の映像フレームの参照領域と、第２の映像フレームの探索領域の前記参照領域との類似度を示す指標として相関値を求める相関演算を行い前記相関値をメモリ部に格納する手順と、
前記メモリ部に格納された前記相関値に基づいて、前記探索領域内での相関値の第１ピーク位置を求めることで前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けを行い、前記第１ピーク位置の近傍の除外領域を除外して相関値の第２ピークである第２ピーク相関値を用いて前記参照領域の画像と前記探索領域内の候補領域の画像との対応付けの信頼性を評価する手順
を前記コンピュータに実行させ、
前記相関値の第１ピークである第１ピーク相関値は最大の類似度を示し、前記第２ピーク相関値は前記第１ピーク相関値の次に大きな類似度を示し、
前記信頼性を評価する手順は、前記探索範囲を複数の部分領域に分割し、各部分領域内の前記第１ピーク相関値を抽出すると共に、各部分領域内の前記第１ピーク相関値の順序付けを行い前記順序付けに従って前記第２ピーク相関値を探索する部分領域を決定する、プログラム。
（付記１４）
前記信頼性を評価する手順は、決定された部分領域内で前記第１ピーク位置の近傍の除外領域を除外してピーク評価を行い、前記順序付けを行った各部分領域内のピーク相関値との比較判定に基づいて前記第２ピーク相関値を探索する、付記１３記載のプログラム。
（付記１５）
前記信頼性を評価する手順は、
各部分領域内で第１ピーク相関値を抽出し、
各部分領域内で抽出した第１ピーク相関値の順序付けを行い第１〜第５ピーク相関値を求め、
第２ピーク相関値を探索する部分領域を任意の部分領域から順に選択して、選択した各部分領域内で第１ピーク位置の近傍の除外領域を除外してピーク相関値の探索を行い、
前記ピーク相関値の探索で求まったピーク相関値と、各部分領域内の前記第１ピーク相関値の順序付けで順序付けられた第２〜第５ピーク相関値を比較して第２ピーク相関値を判定する、付記１４記載のプログラム。
（付記１６）
前記参照領域、前記探索領域、前記候補領域、及び前記部分領域は、いずれも矩形形状を有する、付記１３乃至１５のいずれか１項記載のプログラム。
（付記１７）
前記第１ピーク位置の近傍の除外領域は、１つの部分領域よりサイズの小さい矩形形状を有する、付記１３乃至１６のいずれか１項記載のプログラム。
（付記１８）
前記相関値は、ＳＳＤ（Sum of Squared Difference）相関値、ＳＡＤ（Sum of Absolute Difference）相関値、及び正規化相互相関（ＮＣＣ：Normalized Cross Correlation）値のグループから選択された１つの相関値である、付記１３乃至１７のいずれか１項記載のプログラム。
【００７７】
以上、開示の画像処理装置、画像処理方法及びプログラムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。
【符号の説明】
【００７８】
１，２０１      画像処理装置
１１      制御部
１２      画像メモリ
１３      相関演算回路
１４      相関値メモリ
１５      ピーク評価回路
２１，２１６      カメラ
２１１      ＣＰＵ
２１２      メモリ部
【図１】
2011070568.tif 000004
【図２】
2011070568.tif 000005
【図３】
2011070568.tif 000006
【図４】
2011070568.tif 000007
【図５】
2011070568.tif 000008
【図６】
2011070568.tif 000009
【図７】
2011070568.tif 000010
【図８】
2011070568.tif 000011
【図９】
2011070568.tif 000012
【図１０】
2011070568.tif 000013
【図１１】
2011070568.tif 000014
【図１２】
2011070568.tif 000015