(57)【要約】【課題】信頼できる動きベクトルをより一段と確実に選択することができるようにする。【解決手段】正規化処理部４４は、評価値算出部４１より提供された評価値を、アクティビティ算出部４２より提供されたアクティビティに基づいて正規化し、その正規化値を統合処理部４５に供給する。アクティビティ判定部４３は、アクティビティ算出部４２より提供されたアクティビティを判定し、その判定結果を統合処理部４５に提供する。統合処理部４５は、正規化処理部４４から提供された正規化値と、閾値判定部５１より提供された判定結果とに基づいて、動きベクトル確度を演算し、それを出力する。本発明は、動きベクトルを使用するシステムに適用可能である。【選択図】図３
2009193505.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数の単位画像のうち時刻の異なる２つの単位画像から算出された動きベクトルの信頼性を評価する値を、動きベクトル確度として、前記単位画像から区分された複数の小領域毎に算出する画像処理装置において、
所定の小領域とその小領域の移動先との一致の良さの度合を示す評価値を算出する評価値算出手段と、
前記小領域を構成する複数の画素毎に、画像の複雑さを表す画素アクティビティをそれぞれ算出する画素アクティビティ算出手段と、
前記画素アクティビティ算出手段によって前記複数の画素毎にそれぞれ算出された前記画素アクティビティの総和を、小領域アクティビティとして算出する総和算出手段と、
前記画素アクティビティ算出手段によって算出された前記画素アクティビティに基づく特徴量をk(k ＞ 0 の整数) 種類算出する特徴量算出手段と、
前記評価値算出手段により算出された前記評価値を、前記総和算出手段により算出された前記小領域アクティビティにより正規化し、その正規化値に基づいて前記動きベクトル確度の候補値を演算する正規化処理手段と、
前記総和算出手段により算出された前記小領域アクティビティと、前記特徴量算出手段により算出された前記k種類の特徴量とのうちの少なくとも１つに基づいて、前記小領域のアクティビティが大きいか否かを判定するアクティビティ判定手段と、
前記正規化処理手段から出力された前記候補値と、前記アクティビティ判定手段による判定結果との統合結果に基づいて、前記動きベクトル確度を決定する統合処理手段と
を備える画像処理装置。
【請求項２】
前記統合処理手段は、
前記アクティビティ判定手段により前記アクティビティが大きくないと判定された場合、前記動きベクトル確度として、動きベクトルが最も確からしくない値を決定し、
前記アクティビティ判定手段により前記アクティビティが大きいと判定された場合、前記動きベクトル確度として、前記候補値を決定する
請求項１に記載の画像処理装置。
【請求項３】
前記アクティビティ判定手段は、
前記小領域アクティビティが閾値以上の場合、前記アクティビティが大きいと判定し、
前記小領域アクティビティが前記閾値未満の場合、前記k種類の特徴量のそれぞれについて、それぞれの固有閾値と比較し、それらの固有閾値以上なら１を出力結果とし、それらの固有閾値未満なら0 を出力結果として、全出力結果の論理和または論理積を演算し、その演算結果が１のときには前記アクティビティが大きいと判定し、その演算結果が０のときには前記アクティビティが大きくないと判定する
請求項２に記載の画像処理装置。
【請求項４】
前記アクティビティ判定手段は、
前記k種類の特徴量のそれぞれについて、それぞれの固有閾値と比較し、それらの固有閾値以上なら１を出力結果とし、それらの固有閾値未満なら0 を出力結果として、全出力結果の論理和または論理積を演算し、その演算結果が１のときには前記アクティビティが大きいと判定し、その演算結果が０のときには、前記アクティビティが大きくないと判定する
請求項２に記載の画像処理装置。
【請求項５】
前記評価値算出手段は、前記小領域とその小領域の移動先との差分絶対値和または差分二乗和に基づいて、前記評価値を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記画素アクティビティ算出手段は、所定画素の前記画素アクティビティとして、前記所定画素の隣接8 画素差分絶対値平均または隣接8 画素差分二乗平均に基づく値を算出する
請求項１に記載の画像処理装置。
【請求項７】
前記特徴量算出手段は、
前記小領域を構成する画素のうち、隣接８画素差分絶対値和＞閾値、または、3x3 画素のダイナミックレンジ＞閾値を満たす画素を「画素アクティビティが大きい画素」として定義し、
前記「画素アクティビティが大きい画素」を利用するｋ種類の規則のそれぞれに従って、前記ｋ種類の前記特徴量をそれぞれ算出する
請求項１に記載の画像処理装置。
【請求項８】
前記ｋ種類の規則のうちの所定の１種類の規則は、前記小領域内の前記「画素アクティビティが大きい画素」のカウント数を前記特徴量とする、という規則である
請求項７に記載の画像処理装置。
【請求項９】
前記ｋ種類の規則のうちの所定の１種類の規則は、前記小領域内の重心と前記「画素アクティビティが大きい画素」の画素位置の重心の距離*(-1) を前記特徴量とする、という規則である
請求項７に記載の画像処理装置。
【請求項１０】
前記ｋ種類の規則のうちの所定の１種類の規則は、前記小領域内の前記「画素アクティビティが大きい画素」の画素位置の分散を前記特徴量とする、という規則である
請求項７に記載の画像処理装置。
【請求項１１】
動画像を構成する複数の単位画像のうち時刻の異なる２つの単位画像から算出された動きベクトルの信頼性を評価する値を、動きベクトル確度として、前記単位画像から区分された複数の小領域毎に算出する画像処理装置の画像処理方法において、
所定の小領域とその小領域の移動先との一致の良さの度合を示す評価値を算出し、
前記小領域を構成する複数の画素毎に、画像の複雑さを表す画素アクティビティをそれぞれ算出し、
前記複数の画素毎にそれぞれ算出された前記画素アクティビティの総和を、小領域アクティビティとして算出し、
算出された前記画素アクティビティに基づく特徴量をk(k ＞ 0 の整数) 種類算出し、
算出された前記評価値を、算出された前記小領域アクティビティにより正規化し、その正規化値に基づいて前記動きベクトル確度の候補値を演算し、
算出された前記小領域アクティビティと、算出された前記k種類の特徴量とのうちの少なくとも１つに基づいて、前記小領域のアクティビティが大きいか否かについてのアクティビティ判定を行い、
出力された前記候補値と、前記アクティビティ判定の結果との統合結果に基づいて、前記動きベクトル確度を決定する
ステップを含む画像処理方法。
【請求項１２】
動画像を構成する複数の単位画像のうち時刻の異なる２つの単位画像から算出された動きベクトルの信頼性を評価する値を、動きベクトル確度として、前記単位画像から区分された複数の小領域毎に算出する処理を制御するコンピュータに対して、
所定の小領域とその小領域の移動先との一致の良さの度合を示す評価値を算出し、
前記小領域を構成する複数の画素毎に、画像の複雑さを表す画素アクティビティをそれぞれ算出し、
前記複数の画素毎にそれぞれ算出された前記画素アクティビティの総和を、小領域アクティビティとして算出し、
算出された前記画素アクティビティに基づく特徴量をk(k ＞ 0 の整数) 種類算出し、
算出された前記評価値を、算出された前記小領域アクティビティにより正規化し、その正規化値に基づいて前記動きベクトル確度の候補値を演算し、
算出された前記小領域アクティビティと、算出された前記k種類の特徴量とのうちの少なくとも１つに基づいて、前記小領域のアクティビティが大きいか否かについてのアクティビティ判定を行い、
出力された前記候補値と、前記アクティビティ判定の結果との統合結果に基づいて、前記動きベクトル確度を決定する
ステップを実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および方法並びにプログラムに関し、特に、信頼できる動きベクトルの選択がより一段と確実にできるようになった画像処理装置および方法並びにプログラムに関する。
【背景技術】
【０００２】
従来から、動きベクトルの信頼性の評価値(以下、動きベクトル確度と称する)を算出する手法（以下、動きベクトル確度評価手法と称する）が幾つか提案されている。
【０００３】
例えば、特許文献１には、次のような動きベクトル確度評価手法が開示されている。
【０００４】
即ち、特許文献１においては、動き検出手法として、代表的なブロックマッチング法が採用されている。また、特許文献１には、小領域と小領域の移動先との一致の良さが良いほど値が小さくなる評価値（例えば後述する式（１）で示される評価値Eval(P, Q, i, j)）と、小領域の画像の複雑さの評価値(以下、先の評価値と区別するために、アクティビティと称する)との間には、図１に示されるような統計的な関係があることが開示されている。特許文献１では、アクティビティとして、後述する式（３）で示されるブロックアクティビティBlock_activity(x,y)そのものが採用されている。
【０００５】
具体的には、実験の結果、動きが正しく検出されている場合（正しい動きベクトルが与えられている場合）、そのアクティビティと評価値の組合せは、曲線１より図中下側の領域Ｒ１にほぼ分布する。これに対して誤った動き（不正解の動きベクトル）が与えられた場合、そのアクティビティと評価値の組合せは、曲線２より、図中左側の領域Ｒ２にほぼ分布する。なお、曲線２より上側の領域Ｒ２以外の領域と曲線１より下側の領域Ｒ１以外の領域には殆ど分布がない。曲線１と曲線２は、点Pにおいて交差する。この点Pにおけるアクティビティが閾値Thとされる。閾値Tｈは、アクティビティがそれより小さい場合には、対応する動きベクトルが正しくない可能性があることを意味する。
【０００６】
特許文献１に記載の動きベクトル確度評価手法とは、このような図１の統計的な関係を利用して動きベクトル確度を算出する手法である。
【０００７】
特許文献１に記載の動きベクトル確度評価手法による動きベクトル確度を採用することで、それを指標として、信頼できる動きベクトルを選択できるようになる。さらには、かかる信頼できる動きベクトルを用いて、高性能なアプリケーションプログラムを実現できるようになる。
【０００８】
ところで、特許文献１等の従来技術では、アクティビティが閾値Thを超えた部分については、傾きが１である線３よりも図中上側の領域が信頼できない領域として取り扱われていた。また、アクティビティが閾値Th以下の領域については、一律に信頼できない領域として取り扱われていた。即ち、図１中でいえば、灰色で塗られた領域が、信頼できない領域として取り扱われていた。
【特許文献１】特開２００５−３０１９８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、アクティビティが閾値Th以下であっても、実際には、例えば領域Ｒ４において動きが正しく検出されている場合があった。上述のアプリケーションプログラムの更なる性能向上のためには、かかる場合に対する措置を取ることが要求されていた。即ち、信頼できる動きベクトルをより一段と確実に選択することが要求されていた。しかしながら、現状、かかる要求に十分に応えられていない状況である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、信頼できる動きベクトルをより一段と確実に選択することができるようにするものである。
【課題を解決するための手段】
【００１１】
本発明の一側面の画像処理装置は、動画像を構成する複数の単位画像のうち時刻の異なる２つの単位画像から算出された動きベクトルの信頼性を評価する値を、動きベクトル確度として、前記単位画像から区分された複数の小領域毎に算出する画像処理装置であって、所定の小領域とその小領域の移動先との一致の良さの度合を示す評価値を算出する評価値算出手段と、前記小領域を構成する複数の画素毎に、画像の複雑さを表す画素アクティビティをそれぞれ算出する画素アクティビティ算出手段と、前記画素アクティビティ算出手段によって前記複数の画素毎にそれぞれ算出された前記画素アクティビティの総和を、小領域アクティビティとして算出する総和算出手段と、前記画素アクティビティ算出手段によって算出された前記画素アクティビティに基づく特徴量をk(k ＞ 0 の整数) 種類算出する特徴量算出手段と、前記評価値算出手段により算出された前記評価値を、前記総和算出手段により算出された前記小領域アクティビティにより正規化し、その正規化値に基づいて前記動きベクトル確度の候補値を演算する正規化処理手段と、前記総和算出手段により算出された前記小領域アクティビティと、前記特徴量算出手段により算出された前記k種類の特徴量とのうちの少なくとも１つに基づいて、前記小領域のアクティビティが大きいか否かを判定するアクティビティ判定手段と、前記正規化処理手段から出力された前記候補値と、前記アクティビティ判定手段による判定結果との統合結果に基づいて、前記動きベクトル確度を決定する統合処理手段とを備える。
【００１２】
前記統合処理手段は、前記アクティビティ判定手段により前記アクティビティが大きくないと判定された場合、前記動きベクトル確度として、動きベクトルが最も確からしくない値を決定し、前記アクティビティ判定手段により前記アクティビティが大きいと判定された場合、前記動きベクトル確度として、前記候補値を決定する。
【００１３】
前記アクティビティ判定手段は、前記小領域アクティビティが閾値以上の場合、前記アクティビティが大きいと判定し、前記小領域アクティビティが前記閾値未満の場合、前記k種類の特徴量のそれぞれについて、それぞれの固有閾値と比較し、それらの固有閾値以上なら１を出力結果とし、それらの固有閾値未満なら0 を出力結果として、全出力結果の論理和または論理積を演算し、その演算結果が１のときには前記アクティビティが大きいと判定し、その演算結果が０のときには前記アクティビティが大きくないと判定する。
【００１４】
前記アクティビティ判定手段は、前記k種類の特徴量のそれぞれについて、それぞれの固有閾値と比較し、それらの固有閾値以上なら１を出力結果とし、それらの固有閾値未満なら0 を出力結果として、全出力結果の論理和または論理積を演算し、その演算結果が１のときには前記アクティビティが大きいと判定し、その演算結果が０のときには、前記アクティビティが大きくないと判定する。
【００１５】
前記評価値算出手段は、前記小領域とその小領域の移動先との差分絶対値和または差分二乗和に基づいて、前記評価値を算出する。
【００１６】
前記画素アクティビティ算出手段は、所定画素の前記画素アクティビティとして、前記所定画素の隣接8 画素差分絶対値平均または隣接8 画素差分二乗平均に基づく値を算出する。
【００１７】
前記特徴量算出手段は、前記小領域を構成する画素のうち、隣接８画素差分絶対値和＞閾値、または、3x3 画素のダイナミックレンジ＞閾値を満たす画素を「画素アクティビティが大きい画素」として定義し、前記「画素アクティビティが大きい画素」を利用するｋ種類の規則のそれぞれに従って、前記ｋ種類の前記特徴量をそれぞれ算出する。
【００１８】
前記ｋ種類の規則のうちの所定の１種類の規則は、前記小領域内の前記「画素アクティビティが大きい画素」のカウント数を前記特徴量とする、という規則である。
【００１９】
前記ｋ種類の規則のうちの所定の１種類の規則は、前記小領域内の重心と前記「画素アクティビティが大きい画素」の画素位置の重心の距離＊(-1) を前記特徴量とする、という規則である。
【００２０】
前記ｋ種類の規則のうちの所定の１種類の規則は、前記小領域内の「画素アクティビティが大きい画素」の画素位置の分散を前記特徴量とする、という規則である。
【００２１】
本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する方法およびプログラムである。
【００２２】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、動画像を構成する複数の単位画像のうち時刻の異なる２つの単位画像から算出された動きベクトルの信頼性を評価する値が、動きベクトル確度として、前記単位画像から区分された複数の小領域毎に算出される。即ち、所定の小領域とその小領域の移動先との一致の良さの度合を示す評価値が算出され、前記小領域を構成する複数の画素毎に、画像の複雑さを表す画素アクティビティがそれぞれ算出され、前記複数の画素毎にそれぞれ算出された前記画素アクティビティの総和が、小領域アクティビティとして算出され、算出された前記画素アクティビティに基づく特徴量がk(k ＞ 0 の整数) 種類算出され、算出された前記評価値が、算出された前記小領域アクティビティにより正規化され、その正規化値に基づいて前記動きベクトル確度の候補値が演算され、算出された前記小領域アクティビティと、算出された前記k種類の特徴量とのうちの少なくとも１つに基づいて、前記小領域のアクティビティが大きいか否かについてのアクティビティ判定が行われ、出力された前記候補値と、前記アクティビティ判定の結果との統合結果に基づいて、前記動きベクトル確度が決定される。
【発明の効果】
【００２３】
以上のごとく、本発明によれば、動きベクトル確度の算出できる。特に、より一段と正確な動きベクトル確度の算出ができる。その結果、信頼できる動きベクトルをより一段と確実に選択できるようになる。
【発明を実施するための最良の形態】
【００２４】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２５】
本実施の形態では、動画像の処理単位として、フレームを採用する。ただし、処理単位は、フレームに限定されず、例えばフィールドでも構わない。以下、このようなフィールドやフレームといった動画像の処理単位を、単位画像と称する。即ち、本発明は、任意の単位画像を採用することが可能であり、以下に説明するフレームは単位画像の例示にしか過ぎない点留意すべきである。
【００２６】
図２は、本発明を適用した画像処理装置１１の機能的構成例を表している。この画像処理装置１１は、動きベクトル検出部２１、および動きベクトル確度算出部２２により構成されている。図２の画像処理装置１１では、動き検出手法として、代表的なブロックマッチング法が採用されているとする。ただし、動き検出手法として別の手法を採用しても構わない。
【００２７】
動きベクトル検出部２１は、入力画像から動きベクトルを検出し、その動きベクトルと入力画像とを動きベクトル確度算出部２２に提供する。また、動きベクトル検出部２１は、入力画像が画像データと動きベクトルを含むように構成されている場合、即ち、既に動きベクトルを含む場合、画像データと動きベクトルとを分離して、動きベクトル確度算出部２２にそれぞれ提供する。画像データとその動きベクトルが既に分離された状態で入力される場合、動きベクトル検出部２１は省略しても構わない。
【００２８】
図３は、動きベクトル確度算出部２２の詳細な構成例を表している。この実施の形態においては、動きベクトル確度算出部２２は、評価値算出部４１、アクティビティ算出部４２、アクティビティ判定部４３、正規化処理部４４、および統合処理部４５により構成されている。アクティビティ算出部４２は、画素アクティビティ算出部５１、総和算出部５２、および、特徴量算出部５３により構成されている。
【００２９】
動きベクトル検出部２１から出力された動きベクトルが、評価値算出部４１に入力され、入力画像（画像データ）が、評価値算出部４１とアクティビティ算出部４２に入力される。
【００３０】
評価値算出部４１は、入力画像の評価値を算出し、正規化処理部４４に提供する。アクティビティ算出部４２は、入力画像のアクティビティを算出し、アクティビティ判定部４３と正規化処理部４４に提供する。
【００３１】
正規化処理部４４は、評価値算出部４１より提供された評価値を、アクティビティ算出部４２より提供されたアクティビティに基づいて正規化し、その正規化値に基づいて動きベクトル確度の候補値を算出して、統合処理部４５に提供する。アクティビティ判定部４３は、アクティビティ算出部４２より提供されたアクティビティの大きさを判定し、その判定結果を統合処理部４５に提供する。統合処理部４５は、正規化処理部４４からの候補値と、アクティビティ判定部４３より提供された判定結果とを統合的に判断して、動きベクトル確度を決定して、出力する。
【００３２】
以下、動きベクトル確度算出部２２を構成している各機能ブロックについて、個別に説明していく。
【００３３】
評価値算出部４１は、例えば、次のようにして、評価値を算出する。即ち、評価値は、例えば、入力画像中の時刻の異なる２つのフレームにおいて、ブロック単位で算出される値であって、ブロック同士の一致の良さを表す値である。具体的には例えば、次の式（１）の値Eval(P, Q, i, j)が評価値として、評価値算出部４１により算出される。
【００３４】
【数１】
2009193505.tif 000003
・・・（１）
【００３５】
この式（１）で表される評価値Eval(P, Q, i, j) は、画素値（輝度値）差分の絶対値和（Eval）として表されている。なお、式（１）における総和については、x が-L からL について、y が-L からL についてとされている。
【００３６】
評価値Eval(P, Q, i, j) は、一方のフレームFi 上の点P(Xp, Yp) と、他方のフレームFj上の点Q(Xq, Yq) のそれぞれを中心とするブロック間で算出される評価値である。即ち、評価値Eval(P, Q, i, j)が0 に近づくほど、ブロック同士の一致が良いことを示している。
【００３７】
ここで、ブロックの大きさは、一辺2L+1画素の正方形状の小領域とされている。即ち、動きベクトルV (vx, vy)が与えられるときに、点P(Xp, Yp) と点Q(Xq, Yq) の関係は、点Q(Xq, Yq)=点P(Xp, Yp)+V (vx, vy) で表される。そこで、評価値算出部４１は、このような関係に基づいて、評価値Eval(P, Q, i, j)を算出する。
【００３８】
なお、本実施の形態では、上述の如くブロックマッチング法に従って検出された動きベクトルが評価値算出部４１に与えられる。ただし、評価値算出部４１に与えられる動きベクトルとは、ブロックマッチング法に限定されず、その他、勾配法等の任意の動き検出に従って検出された動きベクトルであれば足りる。即ち、ブロック毎のフレーム間の差分絶対値和を算出できる動きベクトルであれば足りる。
【００３９】
画素アクティビティ算出部５１は、画像の複雑さを表す特徴量であるアクティビティであって、１つの画素についてのアクティビティ（以下、画素アクティビティActivity(x, y)と称する）を、例えば、図４に示されるように算出する。即ち、画素アクティビティ算出部５１は、図４の矢印に示される順番で、フレームを構成する各画素を順次注目画素に設定していき、注目画素の輝度値Y(x,y) とその隣接8 画素の各輝度値Y(x+k,y+l) との差分絶対値和の平均値を注目画素の画素アクティビティActivity(x, y) として算出する。即ち、注目画素の画素アクティビティActivity(x, y)は、例えば次の式（２）のように示される。
【００４０】
【数２】
2009193505.tif 000004
・・・（２）
【００４１】
例えば、図４の例では、灰色の丸印が注目画素とされており、その丸印内の数値１１０が輝度値Y(x,y)とされている。また、灰色の丸印に隣接する白色の各丸印が、注目画素の隣接８画素のそれぞれとされており、各丸印内の数値が各輝度値Y(x+k,y+l) とされている。
【００４２】
総和算出部５２は、ブロック内全画素の画素アクティビティActivity(x, y)の総和を算出する。この総和は、ブロック単位で動きベクトル確度を算出すべく、そのブロックが持つアクティビティとして取り扱われる。なお、以下、ブロックが持つアクティビティをブロックアクティビティBlock_activity(x, y)と称する。ブロックアクティビティBlock_activity(x, y)は例えば式（３）のように示される。即ち、総和算出部５２は、式（３）を演算し、その結果得られるブロックアクティビティBlock_activity(x, y)を、アクティビティ判定部４３と正規化処理部４４とに提供する。
【００４３】
【数３】
2009193505.tif 000005
・・・（３）
【００４４】
式（３）における総和については、i，j はブロック内の画素位置とされ、i が-L からL について、j が-L からL についてとされている。また、x，y はブロックの中心座標とされている。
【００４５】
ここで、特徴量算出部５３について説明する前に、正規化処理部４４について説明する。
【００４６】
正規化処理部４４の存在目的は、評価値Eval(P, Q, i, j)の最小値の単純な大小では、動きベクトルの信頼性を表現しきれないという問題に対して、ブロックアクティビティBlock_activity(x, y)との関係を考慮して評価できるようにすることである。
【００４７】
図１を用いて説明したように、アクティビティ（従来では、ここでいうブロックアクティビティBlock_activity(x, y)) が閾値Th未満の場合、検出された動きベクトルは信頼できない可能性が高い。評価値（ここでいう評価値算出部４１によって式（１）に従って算出された評価値Eval(P, Q, i, j)）の大小はアクティビティによって影響を受けており、評価値の最小値の大小がそのまま、動きベクトルの信頼性を表現しきれていないからである。
【００４８】
そこで、正規化処理部４４は、アクティビティが評価値に及ぼす影響を排除すべく、その評価値をアクティビティで正規化しているのである。そして、かかる正規化値を、動きベクトルの信頼性の指標の演算に用いることで、動きベクトルの信頼性の指標の精度を高めることができる。ここで、動きベクトルの信頼性の指標とは、動きベクトル確度を意味している。
【００４９】
即ち、正規化値とは、それが閾値より大きいことは動きベクトル確度がないこと(=0) を表し、それが大きければ大きいほど動きベクトル確度が低くなり（信頼性が低くなり）、それが小さければ小さいほど動きベクトル確度が高くなる（信頼性が高くなる）ということを表現している値であると把握することができる。
【００５０】
そこで、例えば、かかる閾値を1 とし、動きベクトル確度をV C と記述し、正規化値＝評価値／アクティビティとすると、動きベクトル確度V Cは、例えば次の式（４）のように表される。
【００５１】
【数４】
2009193505.tif 000006
・・・（４）
【００５２】
なお、式（４）において、V C < 0の ときは，V C = 0とする。また、式（４）でいう「アクティビティ」とは、ブロックアクティビティBlock_activity(x, y)を示しており、式（４）でいう「評価値」とは、評価値Eval(P, Q, i, j)の最小値を示している。即ち、本実施の形態では、この式（４）で表される値VCが動きベクトル確度を意味している。ただし、より正確に言えば、式（４）の値VCとは、後述するように、動きベクトル確度の決定値ではなく、候補値である。
【００５３】
次に、特徴量算出部５３について説明する。
【００５４】
特徴量算出部５３は、画素アクティビティActivity(x, y)に基づいた所定種類の特徴量を算出して出力する。
【００５５】
ここで、特徴量算出部５３により算出される特徴量の存在意義について説明する。
【００５６】
従来技術では、一般に、輝度変化が少ない領域では、信頼性の高い動きベクトルを検出することは難しいということから、とある閾値未満のアクティビティを示すブロックでは、動きベクトルの信頼性がないものとして取り扱うことで、動きベクトルの信頼性評価を行っていた。
【００５７】
しかしながら、従来技術では、アクティビティの大きさは、ブロック内の画素アクティビティの総和であるブロックアクティビティBlock_activity(x, y)の大きさをそのまま単純に使用していたに過ぎなかった。このため、上述した図１における領域Ｒ４といった、図１でいうアクティビティが小さい領域（＝ブロックアクティビティBlock_activity(x, y) が小さい領域）でも、比較的正しい動きが検出されることがあった。一方で、図１における領域Ｒ１といった、図１でいうアクティビティがある程度大きくて（＝ブロックアクティビティBlock_activity(x, y)がある程度大きくて）、評価値（本実施の形態でいう評価値Eval(P, Q, i, j)）が小さい領域でも、正しくない動きが検出されることがあった。
【００５８】
そこで、本実施の形態では、画像の複雑さを評価するための画素アクティビティActivity(x, y)に基づく特徴量として、「画素アクティビティが大きい画素」を定義した上で、かかる「画素アクティビティが大きい画素」に基づく特徴量を採用することにする。そして、かかる特徴量を用いてアクティビティの大きさ（ブロックアクティビティBlock_activity(x, y)の大きさそのものを意味しない点留意すべきである）を判定し、その判定結果を用いて動きベクトルの信頼性を評価することで、即ち、動きベクトル確度を算出することで、後述するように、更に精度の高い動きベクトル確度評価手法を実現することが可能になる。このことが、特徴量の存在意義である。
【００５９】
例えば、画素アクティビティActivity(x, y) ＞閾値ＴＨとなる画素を「画素アクティビティが大きい画素」と定義し、ブロック内の画素のうちの、「画素アクティビティが大きい画素」から取得できる所定種類の特徴量を用いて、アクティビティが十分大きいか否かを判定し、その判定結果に基づいて動きベクトルの信頼性を評価することができるようになる。
【００６０】
なお、「画素アクティビティが大きい画素」の定義の仕方は、上述の例に特に限定されない。例えば、3x3 画素のダイナミックレンジ＞閾値ＴＨ１となる画素を、「画素アクティビティが大きい画素」と定義することもできる。
【００６１】
また、閾値ＴＨも特に限定されない。例えば、所定の演算によって算出された値を閾値ＴＨとして採用しても構わない。具体的には例えば、ブロック内の画素毎のアクティビティの分布に応じて算出される値、より具体的には例えば、｛ブロック内の画素アクティビティActivity(x, y)の総和｝ ／画素数の何％の値といったように、ブロック毎に適応的に算出された値を閾値ＴＨとして採用することもできる。ただし、本実施の形態では、経験的に得られた固定値が閾値ＴＨとして採用されているとする。
【００６２】
以上の内容をまとめると、動きベクトル確度を算出する場合に必要な「アクティビティが十分大きいか否かの判断」は、従来では、ブロックアクティビティBlock_activity(x, y)と図１の閾値Ｔｈとの単純な比較により行われていた。これに対して、本実施の形態では、ブロック内の画素のうちの、「画素アクティビティが大きい画素」から取得できる所定種類の特徴量を用いて、「アクティビティが十分大きいか否か」が判定される。かかる判定結果を利用することで、後述するように、更に精度の高い動きベクトル確度評価手法を実現することが可能になる。このことが、特徴量の存在意義である。
【００６３】
以下、このような特徴量の具体例として、第１乃至第３の種類の特徴量について説明する。
【００６４】
第１の種類の特徴量は、「小領域内の画素アクティビティが大きい画素のカウント数」である。
【００６５】
第２の種類の特徴量は、「小領域の重心と、小領域内の画素アクティビティが大きい画素の画素位置の重心との距離＊(-1)」である。
【００６６】
第３の種類の特徴量は、「小領域内の画素アクティビティが大きい画素の画素位置のばらつき」である。
【００６７】
なお、小領域としては、本実施の形態では上述のブロックが採用される。ただし、このことは、小領域として別の領域を採用する可能性があることを妨げるものではない。
【００６８】
以下、図５を参照しつつ、第１乃至第３の種類の特徴量の詳細について説明していく。
【００６９】
図５は、動き検出の対象となるブロック内における画素のアクティビティ分布として、特徴的な２つのケースを表すブロックBla，Blbを示している。
【００７０】
ブロックBla，Blbを構成している丸印は、１つの画素を示している。具体的には、灰色または黒色の丸印（画素）は、「画素アクティビティが大きい画素」を表しており、白色の丸印（画素）は、それ以外の画素を表している。画素アクティビティActivity(x, y)の大きさは、灰色の丸印（画素）に比較して黒色の丸印（画素）が非常に大きい値であると仮定する。また、ブロック全体の画素アクティビティActivity(x,y)の総和、即ち、ブロックアクティビティBlock_activity(x, y)は、ブロックBla，Blbでほぼ同等であると仮定する。
【００７１】
先ず、第１の種類の特徴量、即ち、「小領域（ブロック）内の画素アクティビティが大きい画素のカウント数」について考える。
【００７２】
ブロックBla，Blbを比較するに、ブロックBlaは、ブロックBlbよりも、小領域（ブロック）内で「画素アクティビティが大きい画素」が多く存在する。このように、小領域（ブロック）内で「画素アクティビティが大きい画素」が多く存在する場合には、検出される動きベクトルも一般的に信頼できる可能性が高い。
【００７３】
一方、ブロックBlbは、ブロックアクティビティBlock_activity(x, y)自体はブロックBlaとほぼ同等の値、即ちある程度大きい値となっている。しかしながら、「画素アクティビティが大きい画素」の数の視点からすると、ブロックBlbは、小領域（ブロック）内で「画素アクティビティが大きい画素」が少ない。このように、ブロックアクティビティBlock_activity(x, y)はある程度大きい値となっているにもかかわらず、小領域（ブロック）内で「画素アクティビティが大きい画素」の数が少ない場合には、ブロック内の局所的な位置にエッジが混入している可能性があり、検出される動きベクトルは信頼できない可能性が高い。
【００７４】
このように、小領域（ブロック）内の「画素アクティビティが大きい画素」の数は、動きベクトルの信頼性の評価で考慮すべき指標として好適である。このため、かかる指標を第１の種類の特徴量として採用することができるのである。
【００７５】
第１の種類の特徴量としては、具体的には例えば次の式（５）に示される評価値Act_cnt(x, y)を採用することができる。
【００７６】
【数５】
2009193505.tif 000007
・・・（５）
【００７７】
式（５）において、i，j はブロック内の画素の位置を示しており、iが-L からLについて、jが-L からLについてとされている。x，yはブロックの中心座標を示している。閾値ＴＨは、経験的に得られた固定値を示している。ただし、閾値ＴＨは、ブロック内の画素アクティビティActivity(x, y)の分布に応じて適応的に算出された値を採用してもよい。
【００７８】
次に、第２の種類の特徴量、即ち、「小領域（ブロック）の重心と、小領域内（ブロック）の画素アクティビティが大きい画素の画素位置の重心との距離＊(-1)」について考える。
【００７９】
ブロックBla，Blbを比較するに、ブロックBlaは、ブロックBlbよりも、「画素アクティビティが大きい画素」がブロック内で偏りなく存在していることがわかる。このように、「画素アクティビティが大きい画素」がブロック内で偏りなく存在している場合には、検出される動きベクトルも一般的に信頼できる可能性が高い。
【００８０】
逆に、ブロックBlbは、ブロックBlaよりも、「画素アクティビティが大きい画素」がブロック内で偏って存在し、特に、ブロック端に集中して存在する。このように、「画素アクティビティが大きい画素」がブロック内で偏って存在し、特に、ブロック端に集中して存在する場合には、ブロック内の局所的な位置にエッジが混入している可能性があり、検出される動きベクトルは信頼できない可能性が高い。
【００８１】
このような関係は、「小領域（ブロック）の重心と、小領域内（ブロック）の画素アクティビティが大きい画素の画素位置の重心との距離＊(-1)」によって表すことができる。このため、かかる指標が第２の種類の特徴量として採用することができるのである。
【００８２】
具体的には例えば、次の式（６）の右辺に従って演算される値を、左辺の記載にあわせてAct_grv(x, y)と記述すると、（√Act_grv(x, y)2 ＊ (−1)）という評価値を、第２の種類の特徴量として採用することができる。なお、ルート記号が最初に記載されている理由は表記の関係上、そのようにしか表現できないからである。即ち、実際には、ルートの中身は、「Act_grv(x, y)2」となっている点留意すべきである。
【００８３】
【数６】
2009193505.tif 000008
・・・（６）
【００８４】
式（６）において、i，j はブロック内の画素の位置を示しており、i が-L からL について、j が-L からL についてとされている。x，yはブロックの中心座標を示している。P(i, j) は、ブロック内の画素の位置を示している。ただし、Act_cnt(x, y) は 0ではないとしている。
【００８５】
次に、第３の種類の特徴量、即ち、「小領域（ブロック）内の画素アクティビティが大きい画素の画素位置のばらつき」について考える。
【００８６】
第３の種類の特徴量の採用理由やその考え方は第２の種類の特徴量と基本的に同様である。たたし、「画素アクティビティが大きい画素」の各画素位置のばらつきの特徴をより反映するために、例えば、分散を用いて動きベクトルの信頼性を評価できるような特徴量を第３の種類の特徴量として採用するとする。
【００８７】
具体的には例えば、第３の種類の特徴量としては、次の式（７）に示される評価値Act_var(x, y) を採用することができる。
【００８８】
【数７】
2009193505.tif 000009
・・・（７）
【００８９】
式（７）において、i，j はブロック内の画素の位置を示しており、i が-L からL について、j が-L からL についてとされている。x，yは、ブロックの中心座標を示している。P(i, j) は、ブロック内の画素の位置をしめしている。ただし、Act_cnt(x, y) は０でないとしている。
【００９０】
以上のように、第１の種類乃至第３の種類の特徴量を用いることで、動きベクトルの信頼性を高めることができるようになる。即ち、ブロック（小領域）内に、僅かでもエッジが混入すると、ブロックアクティビティBlock_activity(x, y) は、全体として大きくなり易い。このため、ブロックアクティビティBlock_activity(x, y)をそのまま閾値判定に用いるだけの従来の技術では、検出された動きベクトルを信頼するという指標を出力する可能性が高くなっていた。しかしながら、実際に検出される動きベクトルは誤りやすい、即ち、誤判定をしてしまう、という問題点があった。そこで、第１乃至第３の種類の特徴量を用いることで、かかる問題点を解決させるのである。
【００９１】
なお、特徴量算出部５３から出力される特徴量の種類はひとつの種類に特に限定されない。即ち、特徴量算出部５３は、上述の第１の種類乃至第３の種類の特徴量のうちの何れか１種類を出力できることは勿論、それらのうちの任意の２種類あるいは全種類を出力することもできる。
【００９２】
さらに言えば、特徴量算出部５３は、上述の３種類の特徴量の出力に限定されず、任意のk種類(k ＞ 0 の整数)の特徴量を出力することもできる。この場合、特徴量算出部５３は、例えば図６に示される構成を取ることができる。即ち、この実施の形態においては、特徴量算出部５３は、ｋ個の種類別特徴量算出部５３−１乃至５３−ｋにより構成されている。種類別特徴量算出部５３−ｉ（0＜i≦k）は、画素アクティビティActivity(x, y)に基づいた所定種類の特徴量を算出して出力する。例えばk=3の場合には、種類別特徴量算出部５３−１は第１の種類の特徴量を、種類別特徴量算出部５３−２は第２の種類の特徴量を、種類別特徴量算出部５３−３は第３の種類の特徴量を、それぞれ算出して出力する。
【００９３】
次に、アクティビティ判定部４３について説明する。
【００９４】
一般に、輝度変化が少ない領域では、信頼性の高い動きベクトルを検出することは難しい。そこで、上述したように、従来技術では、ブロックアクティビティBlock_activity(x, y)についての閾値判定を行っていた。即ち、ブロックアクティビティBlock_activity(x, y)がある閾値（例えば図１の閾値Th）未満のブロックについては、動きベクトルの信頼性がないものと判定していた。
【００９５】
アクティビティ判定部４３は、この従来の閾値判定自体も実行できる。ただし、閾値は、特に図１の閾値Ｔｈに限定されない。例えば、経験的に得られる固定値を閾値として採用したり、画像全体のアクティビティに応じた可変値を閾値として採用することができる。以下に登場してくる閾値についても、同様に、符号（アルファベット）が異なる閾値はそれぞれ他とは独立しており、任意の閾値を採用することができる。
【００９６】
さらに、アクティビティ判定部４３は、ブロック（小領域）内の「画素アクティビティが大きい画素」がどのように分布しているかを考慮した閾値判定、例えば、次のような第１の種類乃至第３の種類の閾値判定を行うことができる。
【００９７】
第１の種類の閾値判定とは、上述の第１の種類の特徴量、即ち、「小領域（ブロック）内の画素アクティビティが大きい画素のカウント数」に基づく閾値判定である。
【００９８】
例えば本実施の形態では、特徴量算出部５３より第１の種類の特徴量として、上述した式（５）に示される評価値Act_cnt(x, y)がアクティビティ判定部４３に提供されてくる。そこで、アクティビティ判定部４３は、第１の種類の特徴量である評価値Act_cnt(x, y)についての閾値判定を、第１の種類の閾値判定として実行することができる。
【００９９】
即ち、「画素アクティビティが大きい画素」が少ない場合に検出される動きベクトルは信頼できないとして、評価値Act_cnt(x, y)が閾値ＴＨ２未満となっているブロックについては、動きベクトルの信頼性がないものとする、といった閾値判定が第１の種類の閾値判定である。
【０１００】
具体的には例えば、アクティビティ判定部４３は、評価値Act_cnt(x, y)が閾値ＴＨ２以上の場合、アクティビティが十分大きいと判定して「1」を出力し、評価値Act_cnt(x, y)が閾値ＴＨ２未満の場合、アクティビティが十分大きくないと判定して「0」 を出力することができる。
【０１０１】
第２の種類の閾値判定とは、上述の第２の種類の特徴量、即ち、「小領域（ブロック）の重心と、小領域内（ブロック）の画素アクティビティが大きい画素の画素位置の重心との距離＊(-1)」に基づく閾値判定である。
【０１０２】
例えば本実施の形態では、特徴量算出部５３より第２の種類の特徴量として、評価値（√Act_grv(x, y)2 ＊ (−1)）がアクティビティ判定部４３に提供されてくる。この評価値（√Act_grv(x, y)2 ＊ (−1)）は、上述した式（６）の値Act_grv(x, y) のブロック中心からの距離を示している。そこで、アクティビティ判定部４３は、第２の種類の特徴量である評価値（√Act_grv(x, y)2 ＊ (−1)）についての閾値判定を、第２の種類の閾値判定として実行することができる。
【０１０３】
即ち、「画素アクティビティが大きい画素」がブロック内で偏った位置に存在する場合、検出される動きベクトルは信頼できないとして、評価値（√Act_grv(x, y)2 ＊ (−1)）が閾値ＴＨ３未満となっているブロックについては、動きベクトルの信頼性がないものとする、といった閾値判定が第２の種類の閾値判定である。
【０１０４】
具体的には例えば、アクティビティ判定部４３は、評価値（√Act_grv(x, y)2 ＊ (−1)）が閾値ＴＨ３以上の場合、アクティビティが十分大きいと判定して「1」を出力し、評価値（√Act_grv(x, y)2 ＊ (−1)）が閾値ＴＨ３未満の場合、アクティビティが十分大きくないと判定し「0」を出力することができる。
【０１０５】
第３の種類の閾値判定とは、上述の第３の種類の特徴量、即ち、「小領域（ブロック）内の画素アクティビティが大きい画素の画素位置のばらつき」に基づく閾値判定である。
【０１０６】
例えば本実施の形態では、特徴量算出部５３より第３の種類の特徴量として、上述した式（７）に示される評価値Act_var(x, y) がアクティビティ判定部４３に提供されてくる。そこで、アクティビティ判定部４３は、第３の種類の特徴量である評価値Act_var(x, y)についての閾値判定を、第３の種類の閾値判定として実行することができる。
【０１０７】
即ち、「画素アクティビティが大きい画素」がブロック内で偏った位置に存在する場合、検出される動きベクトルは信頼できないとして、評価値Act_var(x, y) が閾値ＴＨ４未満となっているブロックについては、動きベクトルの信頼性がないものとする、といった閾値判定が第３の種類の閾値判定である。
【０１０８】
具体的には例えば、アクティビティ判定部４３は、評価値Act_var(x, y)が閾値ＴＨ４以上の場合、アクティビティが十分大きいと判定して「1」を出力し、評価値Act_var(x, y)が閾値ＴＨ４未満の場合、アクティビティが十分大きくないと判定して「0」 を出力することができる。
【０１０９】
以上のように、アクティビティ判定部４３は、従来の閾値判定に加えてさらに、第１の種類乃至第３の種類の閾値判定を行うことができる。
【０１１０】
そこで、アクティビティ判定部４３は、第１の種類乃至第３の種類の閾値判定のうちの任意の１種類以上の閾値判定の判定結果を少なくとも用いて、例えば次のような第１の種類乃至第３の種類のアクティビティ判定を行うことが可能になる。
【０１１１】
第１の種類のアクティビティ判定とは、「従来の閾値判定の結果がアクティビティが十分大きくないという結果である場合のみ、第１の種類乃至第３の種類の閾値判定のうちの任意の１種類以上の閾値判定の判定結果の論理和または論理積で判定する」という判定である。
【０１１２】
具体的には、アクティビティ判定部４３は、従来の閾値判定の結果がアクティビティが十分大きいという結果である場合、即ち、ブロックアクティビティBlock_activity(x, y)がある閾値（例えば図１の閾値Th）以上の場合、アクティビティが十分大きいと判定する。
【０１１３】
一方、アクティビティ判定部４３は、従来の閾値判定の結果がアクティビティが十分大きくないという結果である場合、即ち、ブロックアクティビティBlock_activity(x, y)がある閾値（例えば図１の閾値Th）未満の場合、論理和または論理積が「0」であるときには、アクティビティが十分大きくないと判定し、論理和または論理積が「1」であるときには、アクティビティが十分大きいと判定することができる。
【０１１４】
即ち、ブロックアクティビティBlock_activity(x, y)がある閾値（例えば図１の閾値Th）未満の場合、従来では、アクティビティが十分大きくないと直ちに判定されていた。
【０１１５】
これに対して、本実施の形態では、ブロックアクティビティBlock_activity(x, y)がある閾値（例えば図１の閾値Th）未満の場合であっても、アクティビティが十分大きくないという従来の閾値判定結果を直ちに用いて結論付けていない。即ち、本実施の形態では、かかる従来の閾値判定結果と、第１の種類乃至第３の種類の閾値判定のうちの任意の１種類以上の閾値判定の判定結果の論理和または論理積とについて、それらの統合判定を行うことができる。
【０１１６】
これにより、統計的にはより精度の高い動きベクトルの信頼性評価が実現可能となる。その結果、次のような従来の問題点を解決できるようになる。即ち、従来においては、図１の領域Ｒ４において、アクティビティが十分大きくないと判定されていたために、正しく検出された動きベクトルであっても、信頼できないと誤判定される場合があった、という問題点を解決できるようになる。
【０１１７】
さらに、第１の種類のアクティビティ判定における「従来の閾値判定の結果がアクティビティが十分大きくないという結果である場合のみ」という条件を外した第２の種類のアクティビティ判定も実現可能である。即ち、第２の種類のアクティビティ判定とは、「従来の閾値判定の結果と、第１の種類乃至第３の種類の閾値判定のうちの任意の１種類以上の閾値判定の判定結果の論理和または論理積で判定する」といった判定である。
【０１１８】
かかる判定結果を利用することで、さらに、次のような、従来の別の問題点を解決できるようになる。即ち、従来においては、図１の領域Ｒ１において、アクティビティが十分大きいと判定されていたために、誤検出された動きベクトルであっても、信頼できると誤判定される場合があった、という問題点があった。例えば、図７のブロックBlcのように、エッジを含むブロック等では、かかる問題点が生じやすくなる。そこで、第２の種類のアクティビティ判定の判定結果を用いることで、かかる別の問題点もさらに解決できるようになる。
【０１１９】
さらに、第２の種類のアクティビティ判定における「従来の閾値判定の結果と」という条件を外した第３の種類のアクティビティ判定も実現可能である。即ち、第３の種類のアクティビティ判定とは、「第１の種類乃至第３の種類の閾値判定のうちの任意の１種類以上の閾値判定の判定結果の論理和または論理積で判定する」といった判定である。
【０１２０】
具体的には、アクティビティ判定部４３は、論理和または論理積が「0」である場合、アクティビティが十分大きくないと判定し、論理和または論理積が「1」である場合、アクティビティが十分大きいと判定することができる。かかる判定結果を利用しても、従来の上述した２つの問題点を解決できるようになる。
【０１２１】
以上まとめると、従来においては、本来は正しく動きベクトルが検出されているにもかかわらず、アクティビティが十分大きくないと判定されてしまっていたため、それを信頼できないと一律に評価してしまっていた、という問題点があった。逆に、本来は誤った動きベクトルが検出されているにもかかわらず、アクティビティが十分大きいと判定されてしまっていたため、それを信頼できると評価してしまっていた、という問題点もあった。
【０１２２】
そこで、これらの問題点を解決すべく、アクティビティ判定部４３が、第１の種類乃至第３の種類の閾値判定のうちの任意の１種類以上の閾値判定の判定結果を少なくとも用いて、アクティビティ判定を行うこととしている。即ち、かかるアクティビティ判定の判定結果を用いることで、統計的にはより精度の高い動きベクトルの信頼性評価が実現可能となる。
【０１２３】
次に、統合処理部４５について説明する。
【０１２４】
統合処理部４５は、アクティビティ判定部４３の判定結果と、正規化処理部４４の処理結果とを統合し、その統合結果をブロックの動きベクトル確度として出力する。
【０１２５】
即ち、正規化処理部４４の処理結果とは、上述した式（４）に従って演算された動きベクトル確度VCの候補（以下、動きベクトル確度VC候補と称する）である。一方、アクティビティ判定部４３の判定結果とは、アクティビティが十分大きいか否かの結果である。
【０１２６】
そこで、統合処理部４４は、アクティビティ判定部４３の判定結果が、アクティビティが十分大きくないという結果の場合は、動きベクトルが最も確からしくない値（本実施の形態ではかかる値を0とする） を、動きベクトル確度VCとして決定して、出力する。これに対して、統合処理部４４は、アクティビティ判定部４３の判定結果が、アクティビティが十分大きいという結果の場合は、動きベクトル確度VC候補をそのまま動きベクトル確度VCとして決定して、出力する。
【０１２７】
次に、動きベクトル確度算出部２２の処理（以下、動きベクトル確度算出処理と称する）について説明する。
【０１２８】
図８は、ブロックマッチングにより、全画面に渡って動きベクトル確度VCを算出するときの動きベクトル確度算出処理の一例を説明するフローチャートである。
【０１２９】
ここで、入力画像（動画）中の時刻の異なる２つのフレームをImage(t1)，Image(t2) （t1, t2 はとある連続した時刻を示す）と記述する。以下、Image(t1)を処理対象とした動きベクトル確度算出処理について説明していく。
【０１３０】
ステップＳ２１において、動きベクトル確度算出部２２は、Image(t1) をブロック毎に分割する。なお、ステップＳ２１の処理主体は、動きベクトル確度算出部２２である必要は特になく、例えば、図２の動きベクトル検出部２１であってもよい。
【０１３１】
ステップＳ２２において、動きベクトル確度算出部２２は、分割された各ブロックのうちの所定の１つを処理対象ブロックに選定する。これにより、処理対象ブロックに対して、次のステップＳ２３乃至Ｓ２８の処理が実行されることになる。
【０１３２】
即ち、ステップＳ２３において、アクティビティ算出部４２は、処理対象ブロックを構成する各画素の画素アクティビティActivity(x, y)をそれぞれ算出し、処理対象ブロック全体の画素アクティビティActivity(x, y)の総和であるブロックアクティビティBlock_activity(x, y)と、処理対象ブロックについての特徴量（各画素アクティビティActivity(x, y)に基づいた特徴量）とを算出する。
【０１３３】
ステップＳ２４において、アクティビティ判定部４３は、処理対象ブロックのアクティビティの大きさの判定を行う。即ち、アクティビティが十分に大きいか否かが、ステップＳ２４の処理で判定される。
【０１３４】
評価値算出部４１は、ステップＳ２５において、Image(t1)，Image(t2) を用いてブロックマッチングを行い、評価値テーブルを作成し、ステップＳ２６において、最小評価値を検索する。即ち、最小となる動きベクトルが算出され、それと対応する評価値が最小評価値として評価値テーブルから検索されて出力される。即ち、上述の評価値Eval(P, Q, i, j)が算出され、そのうちの最小値が出力される。
【０１３５】
ステップＳ２７において、正規化処理部４４は、正規化処理を実行する。即ち、評価値Eval(P, Q, i, j)の最小値と、ブロックアクティビティBlock_activity(x, y)とを用いて、処理対象ブロックの動きベクトル確度VC候補が算出される。
【０１３６】
なお、以上のステップＳ２３乃至Ｓ２７の処理は、図８においては、紙面の都合上連続した一連の処理となっているが、図３の機能ブロック図から明らかなように、連続した一連の処理である必要は特になく、並列処理であってもよい。
【０１３７】
即ち、正規化処理部４４によるステップＳ２７の処理前であれば、評価値算出部４１によるステップＳ２５，Ｓ２６の処理と、アクティビティ算出部４２の処理であるステップＳ２３の処理とは、それぞれ独立した処理とすることが可能であり、両者の処理の順番は特に限定されない。
【０１３８】
また、後述する統合処理部４５によるステップＳ２８の処理前であれば、正規化処理部４４によるステップＳ２７の処理と、アクティビティ判定部４３によるステップＳ２４の処理とは、それぞれ独立した処理とすることが可能であり、両者の処理の順番は特に限定されない。
【０１３９】
何れの順番であっても、ステップＳ２３乃至Ｓ２７の処理が全て終了すると、処理はステップＳ２８に進む。
【０１４０】
ステップＳ２８において、統合処理部４５は、統合処理を実行する。
【０１４１】
具体的には例えば、統合処理部４５は、統合処理として図９のフローチャートに従った処理を実行する。
【０１４２】
即ち、ステップＳ４１において、統合処理部４５は、ステップＳ２７の正規化処理結果と、ステップＳ２４のアクティビティ判定結果とを取得する。
【０１４３】
ここで、ステップＳ２７の正規化処理結果とは、上述したように、式（４）の演算により得られる動きベクトル確度VC候補である。
【０１４４】
ステップＳ４２において、統合処理部４５は、アクティビティ判定結果が、アクティビティは十分大きいという結果であるか否かを判定する。
【０１４５】
アクティビティは十分大きいという判定結果である場合、ステップＳ４２の処理でＹＥＳであると判定され、処理はステップＳ４３に進む。ステップＳ４３において、統合処理部４５は、動きベクトル確度VC候補を、動きベクトル確度VCに決定する（VC=VC候補とする）。これにより、処理はステップＳ４５に進む。
【０１４６】
これに対して、アクティビティは十分大きくないという判定結果である場合、ステップＳ４２の処理でＮＯであると判定され、処理はステップＳ４４に進む。ステップＳ４４において、統合処理部４５は、０（動きベクトルが最も確からしくない値）を動きベクトル確度VCに決定する（VC=0とする）。これにより、処理はステップＳ４５に進む。
【０１４７】
ステップＳ４５において、統合処理部４５は、動きベクトル確度VCを出力する。
【０１４８】
このようにして、処理対象ブロックについての統合処理が終了すると、処理は図８のステップＳ２９に進む。
【０１４９】
ステップＳ２９において、動きベクトル確度算出部２２は、全ブロックが処理対象ブロックに選定されたか否かを判定する。
【０１５０】
Image(t1)から分割されたブロックの中に、処理対象ブロックにまだ選定されていないブロックがある場合、ステップＳ２９においてＮＯであると判定されて、ステップＳ２２に戻され、そのブロックが次の処理対象ブロックとして選定されて、ステップＳ２３乃至Ｓ２８の処理が実行される。
【０１５１】
このようにして、Image(t1)から分割されたブロック毎に、ステップＳ２２乃至Ｓ２９のループ処理が繰り返し実行されていく。そして、最後のブロックについてのステップＳ２８の統合処理が終了すると、ステップＳ２９においてＹＥＳであると判定されて、Image(t1)についての動きベクトル確度演算処理は終了となる。即ち、今度は、次のフレーム、例えばImage(t2)についての動きベクトル確度演算処理が実行されることになる。
【０１５２】
なお、動きベクトル確度演算処理の各ステップの処理単位は、図８の例のようにブロック（小領域）単位でも構わないが、図８の例に特に限定されず、例えば単位画像（フレームまたはフィールド）でも構わない。この場合、動きベクトル確度演算処理は、例えば図１０のフローチャートに従って実行される。
【０１５３】
即ち、ステップＳ６１において、評価値算出部４１は、単位画像を構成する全ブロックについて、評価値を算出する。
【０１５４】
ステップＳ６２において、アクティビティ算出部４２は、単位画像を構成する全ブロックについて、ブロックアクティビティと特徴量とを算出する。
【０１５５】
ステップＳ６３において、アクティビティ判定部４３は、単位画像を構成する全ブロックについて、アクティビティの大きさを判定する。
【０１５６】
ステップＳ６４において、正規化処理部４４は、単位画像を構成する全ブロックについて、正規化処理を実行する。
【０１５７】
ステップＳ６５において、統合処理部４５は、単位画像を構成する全ブロックについて、統合処理を実行する。
【０１５８】
これにより、動きベクトル確度演算処理は終了となる。
【０１５９】
なお、以上のステップＳ６１乃至Ｓ６５の処理は、図１０においては、紙面の都合上連続した一連の処理となっているが、図３の機能ブロック図から明らかなように、連続した一連の処理である必要は特になく、並列処理であってもよい。
【０１６０】
即ち、正規化処理部４４によるステップＳ６４の処理前であれば、評価値算出部４１によるステップＳ６１の処理と、アクティビティ算出部４２の処理であるステップＳ６２の処理とは、それぞれ独立した処理とすることが可能であり、両者の処理の順番は特に限定されない。
【０１６１】
また、統合処理部４５によるステップＳ６５の処理前であれば、正規化処理部４４によるステップＳ６４の処理と、アクティビティ判定部４３によるステップＳ６３の処理とは、それぞれ独立した処理とすることが可能であり、両者の処理の順番は特に限定されない。
【０１６２】
以上説明した動きベクトル確度算出部２２により実現された動きベクトル確度評価手法のように、本発明が適用される動きベクトル確度評価手法（以下、本発明手法）を採用することで、例えば次の第１乃至第４の効果を奏することが可能になる。
【０１６３】
第１の効果とは、本発明手法は低規模かつ低コストで実現することが可能であり、そのような本発明手法に従って算出された動きベクトル確度は、高性能な動きベクトルの信頼性の指標として利用することが可能となる、という効果である。即ち、低規模かつ低コストで高性能な動きベクトルの信頼性の指標を利用することが可能となる、という効果が第１の効果である。
【０１６４】
第２の効果とは、本発明手法は低規模かつ低コストで実現することが可能であり、そのような本発明手法に従って算出された動きベクトル確度は、手ぶれ補正に利用することが可能となる、という効果である。即ち、低規模かつ低コストで高性能な手ぶれ補正装置を実現することが可能となる、という効果が第２の効果である。
【０１６５】
第３の効果とは、本発明手法は低規模かつ低コストで実現することが可能であり、そのような本発明手法に従って算出された動きベクトル確度は、シーンチェンジ検出に利用することが可能となる、という効果である。即ち、低規模かつ低コストで高性能なシーンチェンジ検出装置を実現することが可能となる、という効果が第３の効果である。
【０１６６】
第４の効果とは、本発明手法は低規模かつ低コストで実現することが可能であり、そのような本発明手法に従って算出された動きベクトル確度は、背景動き推定に利用することが可能となる、という効果である。即ち、低規模かつ低コストで高性能な背景動き推定装置を実現することが可能となる、という効果が第４の効果である。
【０１６７】
ここで、手ぶれ補正、シーンチェンジ検出、背景動き推定等の各処理は、［背景技術］や[発明が解決しようとする課題]の欄で上述したアプリケーションプログラムによって実現することも可能である。この場合、上述した第１乃至４の効果は、アプリケーションプログラムの更なる性能向上をできるという効果であるとも把握できる。
【０１６８】
ところで、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０１６９】
この場合、上述した情報処理システムの少なくとも一部（例えば、動きベクトル確度算出処理等）として、例えば、図１１に示されるパーソナルコンピュータを採用してもよい。
【０１７０】
図１１において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１７１】
CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。
【０１７２】
入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【０１７３】
入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブルメディア２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。
【０１７４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０１７５】
このようなプログラムを含む記録媒体は、図１１に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１７６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７７】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。換言すると、図２の画像処理装置１１は、システムとして捉えることもできる。この場合、画像処理システムである画像処理装置１１は、例えば、図１１のパーソナルコンピュータ等の１台の装置として構成しても構わないし、動きベクトル検出部２１と動きベクトル確度算出部２２とをそれぞれ別々の装置で構成しても構わない。
【図面の簡単な説明】
【０１７８】
【図１】評価値とアクティビティとの相関の一例を示す図である。
【図２】本発明が適用される画像処理装置の構成例を示す図である。
【図３】図２の動きベクトル確度算出部の構成例を示す図である。
【図４】画素アクティビティの算出手法の一例を示す図である。
【図５】アクティビティがあるブロックの一例を示す図である。
【図６】図３の特徴量算出部の構成例を示す図である。
【図７】エッジを含むブロックの一例を示す図である。
【図８】図３の動きベクトル確度算出部による動きベクトル確度算出処理の一例を説明するフローチャートである。
【図９】図８のステップＳ２７の統合処理の詳細例を説明するフローチャートである。
【図１０】図３の動きベクトル確度算出部による動きベクトル確度算出処理の別の例を説明するフローチャートである。
【図１１】本発明が適用される画像処理装置としてのパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０１７９】
１１  画像処理装置，  ２１  動きベクトル検出部，  ２２  動きベクトル確度算出部，  ４１  評価値算出部，  ４２  アクティビティ算出部，  ４３  アクティビティ判定部，  ４４  正規化処理部，  ４５  統合処理部，  ５１  画素アクティビティ算出部，  ５２  総和算出部，  ５３  特徴量算出，  ２０１  CPU，  ２０２  ROM，  ２０３  RAM，  ２０８  記憶部，  ２１１  リムーバブルメディア
【図１】
2009193505.tif 000010
【図２】
2009193505.tif 000011
【図３】
2009193505.tif 000012
【図４】
2009193505.tif 000013
【図５】
2009193505.tif 000014
【図６】
2009193505.tif 000015
【図７】
2009193505.tif 000016
【図８】
2009193505.tif 000017
【図９】
2009193505.tif 000018
【図１０】
2009193505.tif 000019
【図１１】
2009193505.tif 000020