(57)【特許請求の範囲】
【請求項１】
入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出手段と、
上記動きベクトルを検出する際に動き評価値を生成する動き評価値生成手段と、
所定の画素の周辺の上記生成された動き評価値を複数個用いて、上記所定の画素のクラスを生成し、クラス毎に適応処理を施し、画素以下精度の位置における動き評価値を予測する動き評価値予測手段と、
複数の予測された上記動き評価値から動き評価値の最小を検出し、上記検出された最小値に対応する画素位置の動きベクトルとして上記第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出手段と
からなることを特徴とする動きベクトル検出装置。
【請求項２】
入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出手段と、
上記動きベクトルを検出する際に動き評価値を生成する動き評価値生成手段と、
所定の画素の周辺の上記生成された動き評価値を複数個用いて、上記所定の画素のクラスを生成するクラス生成手段と、
予め画素位置の動き評価値と画素以下位置の動き評価値とを用いて予測係数を獲得し、上記獲得された予測係数を格納する記憶手段と、
上記クラスに対応して上記記憶手段から読み出された上記予測係数と、上記動き評価値とを用いた予測式の演算から最適な予測値を生成する予測値生成手段と、
複数の予測値から最小となる予測値を検出し、上記検出された最小値に対応する画素位置の動きベクトルとして上記第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出手段と
からなることを特徴とする動きベクトル検出装置。
【請求項３】
請求項２に記載の動きベクトル検出装置において、
上記予測値生成手段で用いられる上記予測式は、線形１次結合式とすることを特徴とする動きベクトル検出装置。
【請求項４】
請求項２に記載の動きベクトル検出装置において、
上記記憶手段に格納される上記予測係数は、上記動き評価値のアクティビティーの小さい場合を学習対象から除外し、上記動き評価値に基づいて分類されるクラス毎に学習が行われることを特徴とする動きベクトル検出装置。
【請求項５】
入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出手段と、
上記動きベクトルを検出する際に動き評価値を生成する動き評価値生成手段と、
所定の画素の周辺の上記生成された動き評価値を複数個用いて、上記所定の画素のクラスを生成するクラス生成手段と、
予め画素位置毎に検出された動き評価値のレベル分布のパターンに基づき分類されたクラス毎に予測値を求め、上記予測値を格納する記憶手段と、
上記生成されたクラスに対応する予測値を上記記憶手段から読み出す予測値読み出し手段と、
複数の予測値から最小となる予測値を検出し、上記検出された最小値に対応する画素位置の動きベクトルとして上記第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出手段と
からなることを特徴とする動きベクトル検出装置。
【請求項６】
請求項５に記載の動きベクトル検出装置において、
上記記憶手段に格納される上記予測値は、上記動き評価値に基づいて分類されるクラス毎に重心法を用いて予め獲得されることを特徴とする動きベクトル検出装置。
【請求項７】
請求項５に記載の動きベクトル検出装置において、
上記記憶手段に格納される上記予測値は、上記動き評価値のアクティビティーの小さい場合を学習対象から除外し、上記動き評価値に基づいて分類されるクラス毎に学習が行われることを特徴とする動きベクトル検出装置。
【請求項８】
請求項２および請求項５に記載の動きベクトル検出装置において、
上記クラス分類は、上記動き評価値を直接分類することを特徴とする動きベクトル検出装置。
【請求項９】
入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出ステップと、
上記動きベクトルを検出する際に動き評価値を生成する動き評価値生成ステップと、
所定の画素の周辺の上記生成された動き評価値を複数個用いて、上記所定の画素のクラスを生成し、クラス毎に適応処理を施し、画素以下精度の位置における動き評価値を予測する動き評価値予測ステップと、
複数の予測された上記動き評価値から動き評価値の最小を検出し、上記検出された最小値に対応する画素位置の動きベクトルとして上記第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出ステップと
からなることを特徴とする動きベクトル検出方法。
【請求項１０】
入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出ステップと、
上記動きベクトルを検出する際に動き評価値を生成する動き評価値生成ステップと、
所定の画素の周辺の上記生成された動き評価値を複数個用いて、上記所定の画素のクラスを生成するクラス生成ステップと、
予め画素位置の動き評価値と画素以下位置の動き評価値とを用いて予測係数を獲得し、上記獲得された予測係数を記憶手段に格納する記憶ステップと、
上記クラスに対応して上記記憶手段から読み出された上記予測係数と、上記動き評価値とを用いた予測式の演算から最適な予測値を生成する予測値生成ステップと、
複数の予測値から最小となる予測値を検出し、上記検出された最小値に対応する画素位置の動きベクトルとして上記第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出ステップと
からなることを特徴とする動きベクトル検出方法。
【請求項１１】
入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出ステップと、
上記動きベクトルを検出する際に動き評価値を生成する動き評価値生成ステップと、
所定の画素の周辺の上記生成された動き評価値を複数個用いて、上記所定の画素のクラスを生成するクラス生成ステップと、
予め画素位置毎に検出された動き評価値のレベル分布のパターンに基づき分類されたクラス毎に予測値を求め、上記予測値を記憶手段に格納する記憶ステップと、
上記生成されたクラスに対応する予測値を上記記憶手段から読み出す予測値読み出しステップと、
複数の予測値から最小となる予測値を検出し、上記検出された最小値に対応する画素位置の動きベクトルとして上記第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出ステップと
からなることを特徴とする動きベクトル検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、クラス分類適応処理を用いて画素位置の動き評価値から画素以下位置の動き評価値の予測を行うことで、画素以下精度の動きベクトルが検出できる動きベクトル検出装置および方法に関する。
【０００２】
【従来の技術】
ディジタル画像を対象とした動きベクトル検出の重要度は、近年ますます高まっている。それは実用面への貢献が大きいからである。例えば、画像圧縮における動き補償に用いられる動きベクトルの精度の向上は、圧縮効率の向上をもたらしており、そのため動きベクトル検出方法に関しては、種々の提案がなされている。一般に、動画像を対象とした動きベクトルの検出方法は、次の３種類に大別される。
【０００３】
第１の動きベクトルの検出方法は、ブロックマッチング法である。このブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行う。具体例としては、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和が最小となる位置を動きベクトルとするものである。この方法は、検出精度は良いが、演算量が膨大となる欠点がある。
【０００４】
そして、第２の動きベクトルの検出方法は、勾配法である。この勾配法は、ある空間傾斜を持つ画素が、ある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づく。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。この方法は、演算量は少ないが動き量が大きくなると精度が落ちるという欠点がある。それは上述のモデルが成り立たなくなるためである。
【０００５】
また、第３の動きベクトルの検出方法は、位相相関法である。この位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のズレ量を検出し、その位相項より逆フーリエ変換を経て動きベクトルを検出する手法である。この手法の特徴として、精度を確保するためには、ある程度以上の大きいブロックサイズが要求される。そのためフーリエ変換により演算量が膨大となる。
【０００６】
これら、検出される動きベクトルの精度は、１画素単位であるのが普通である。しかしながら、動きベクトルの精度をより高いものとするには、１画素より細かい単位の動きベクトルを検出できることが望まれる。そこで、以下に画素以下精度の動きベクトル検出装置の従来例を示す。
【０００７】
この動きベクトル検出装置は、例えばブロックマッチング法を用いて画素精度の動きベクトルが検出され、その際に生成される動き評価値をもとに、画素以下精度の動きベクトルの検出が行われる。まず、ブロックマッチング法の説明のために、ブロックデータの構成例を図１に示す。隣接するフレームにおいて、あるブロックの動きベクトルを検出する場合を考える。＃ｋフレームと＃（ｋ−１）フレームにおいて、空間的に対応する位置にＭ画素×Ｎラインの大きさのブロックが設定される。
【０００８】
＃ｋフレームのブロックと、＃（ｋ−１）フレームの各座標でのブロックとの間でパターンマッチングを行い、最良な座標を検出する。各位置毎に対応するＭ画素×Ｎラインの大きさのブロック内の対応画素の差分絶対値和などが評価に用いられる。＃ｋフレームの各画素レベルをＬn （ｉ，ｊ）、＃（ｋ−１）フレームの各画素レベルをＬn-1 （ｉ，ｊ）とすると座標（ｘ，ｙ）における評価式の例として式（１）などが挙げられる。
【０００９】
評価式：
【数１】
0003651093.tif 000002
【００１０】
図１の例では、Ｘ・Ｙ点の各座標において、式（１）の動き評価値Ｅの値が算出される。Ｘ・Ｙ点の座標のうち、評価値が最小値を示す座標が動きベクトルとなる。ここで算出される評価値が各画素毎であるので、検出される動きベクトルは画素精度となる。次に、検出された画素精度の動きベクトルの座標近傍の動き評価値をもとに、画素以下精度の動きベクトルが検出される例を示す。
【００１１】
説明のため式（１）の動き評価値を１次元座標位置で検出した例を図２に示す。座標Ｘ０、Ｘ１、Ｘ２における式（１）の動き評価値をＥ０、Ｅ１、Ｅ２とする。画素精度の動きベクトルは、動き評価値が最小となる座標であるので、この場合は、Ｘ０となる。この動き評価値Ｅ０、Ｅ１、Ｅ２を用いて画素以下精度の動きベクトルを検出する例としては、図のようにＥ０、Ｅ１、Ｅ２をもとに線形補間により、画素以下の変動値ΔＸを求めることが考えられる。この算出式は式（２）で表される。
【００１２】
変動値：ΔＸ＝（Ｅ２−Ｅ１）／（２×（Ｅ２−Ｅ０））    （２）
【００１３】
この結果、図２における画素以下精度の動きベクトルは、（Ｘ０−ΔＸ）となる。この処理の構成例を図３に示す。１で示す入力端子から画素データｄ０が供給され、画素データｄ０は、メモリ部２および検出部３へ供給される。メモリ部２では、所定の時間、画素データｄ０の遅延が行われ、遅延された画素データｄ１として検出部３へ供給される。検出部３では、画素データｄ０と画素データｄ１とから画素精度の動きベクトルが検出される。例えば、上述の例のようなブロックマッチング法などでは、式（１）の動き評価値の算出と、その最小値の検出が行われ、画素精度の動きベクトルが得られる。
【００１４】
次に、検出部４では、検出部３から得られた結果に基づいて、すなわち画素精度の動きベクトルを基準に、画素精度の動き評価値を用いて画素以下精度の動きベクトルの検出が行われる。ここでは、式（２）の演算が実行される。こうして、最終的に画素以下精度の動きベクトルが出力端子５から得られる。
【００１５】
【発明が解決しようとする課題】
しかしながら、実際には、上述した線形補間では充分な精度を有する動きベクトルが得られないという問題があった。
【００１６】
したがって、この発明の目的は、クラス分類適応処理を用いて画素以下精度の動き評価値を予測し、その予測結果に基づいて画素以下精度の動きベクトルを検出することができる動きベクトル検出装置および方法を提供することにある。
【００１７】
【課題を解決するための手段】
請求項１に記載の発明は、入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出手段と、動きベクトルを検出する際に動き評価値を生成する動き評価値生成手段と、所定の画素の周辺の生成された動き評価値を複数個用いて、所定の画素のクラスを生成し、クラス毎に適応処理を施し、画素以下精度の位置における動き評価値を予測する動き評価値予測手段と、複数の予測された動き評価値から動き評価値の最小を検出し、検出された最小値に対応する画素位置の動きベクトルとして第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出手段とからなることを特徴とする動きベクトル検出装置である。
【００１８】
請求項２に記載の発明は、入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出手段と、動きベクトルを検出する際に動き評価値を生成する動き評価値生成手段と、所定の画素の周辺の生成された動き評価値を複数個用いて、所定の画素のクラスを生成するクラス生成手段と、予め画素位置の動き評価値と画素以下位置の動き評価値とを用いて予測係数を獲得し、獲得された予測係数を格納する記憶手段と、クラスに対応して記憶手段から読み出された予測係数と、動き評価値とを用いた予測式の演算から最適な予測値を生成する予測値生成手段と、複数の予測値から最小となる予測値を検出し、検出された最小値に対応する画素位置の動きベクトルとして第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出手段とからなることを特徴とする動きベクトル検出装置である。
【００１９】
請求項５に記載の発明は、入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出手段と、動きベクトルを検出する際に動き評価値を生成する動き評価値生成手段と、所定の画素の周辺の生成された動き評価値を複数個用いて、所定の画素のクラスを生成するクラス生成手段と、予め画素位置毎に検出された動き評価値のレベル分布のパターンに基づき分類されたクラス毎に予測値を求め、予測値を格納する記憶手段と、生成されたクラスに対応する予測値を記憶手段から読み出す予測値読み出し手段と、複数の予測値から最小となる予測値を検出し、検出された最小値に対応する画素位置の動きベクトルとして第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出手段とからなることを特徴とする動きベクトル検出装置である。
【００２０】
請求項９に記載の発明は、入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出ステップと、動きベクトルを検出する際に動き評価値を生成する動き評価値生成ステップと、所定の画素の周辺の生成された動き評価値を複数個用いて、所定の画素のクラスを生成し、クラス毎に適応処理を施し、画素以下精度の位置における動き評価値を予測する動き評価値予測ステップと、複数の予測された動き評価値から動き評価値の最小を検出し、検出された最小値に対応する画素位置の動きベクトルとして第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出ステップとからなることを特徴とする動きベクトル検出方法である。
【００２１】
請求項１０に記載の発明は、入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出ステップと、動きベクトルを検出する際に動き評価値を生成する動き評価値生成ステップと、所定の画素の周辺の生成された動き評価値を複数個用いて、所定の画素のクラスを生成するクラス生成ステップと、予め画素位置の動き評価値と画素以下位置の動き評価値とを用いて予測係数を獲得し、獲得された予測係数を記憶手段に格納する記憶ステップと、クラスに対応して記憶手段から読み出された予測係数と、動き評価値とを用いた予測式の演算から最適な予測値を生成する予測値生成ステップと、複数の予測値から最小となる予測値を検出し、検出された最小値に対応する画素位置の動きベクトルとして第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出ステップとからなることを特徴とする動きベクトル検出方法である。
【００２２】
請求項１１に記載の発明は、入力されたディジタル画素データから第１の動きベクトルを検出する第１の動きベクトル検出ステップと、動きベクトルを検出する際に動き評価値を生成する動き評価値生成ステップと、所定の画素の周辺の生成された動き評価値を複数個用いて、所定の画素のクラスを生成するクラス生成ステップと、予め画素位置毎に検出された動き評価値のレベル分布のパターンに基づき分類されたクラス毎に予測値を求め、予測値を記憶手段に格納する記憶ステップと、生成されたクラスに対応する予測値を記憶手段から読み出す予測値読み出しステップと、複数の予測値から最小となる予測値を検出し、検出された最小値に対応する画素位置の動きベクトルとして第１の動きベクトルを画素以下精度の第２の動きベクトルとして検出する第２の動きベクトル検出ステップとからなることを特徴とする動きベクトル検出方法である。
【００２３】
ディジタル画素データから各画素位置の動き評価値が検出され、検出された動き評価値を用いてクラス分類適応処理を施すことによって、各画素以下の位置の動き評価値が予測され、予測された動き評価値から動きベクトルを検出することによって、画素以下精度の動きベクトルが精度良く検出される。
【００２４】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。まず、画素以下精度の動きベクトルを検出する場合、上述の従来例に示したように図３の構成を想定する。すなわち、検出部３において、画素精度の動きベクトルを検出し、その検出部３で検出される動き評価値を用いて、画素以下精度の動きベクトルを検出する。従来例において、動き評価値に線形補間を適用し、画素以下位置の動き評価値の最小位置を算出している。この実施例では、各画素以下位置の動き評価値をクラス分類適応処理により予測し、対象範囲内での動き評価値の最小位置を改めて検出し、画素以下精度の動きベクトルを得るものである。
【００２５】
このクラス分類適応処理とは、入力信号のレベル分布のパターンに基づきこの入力信号を幾つかのクラスに分類し、予め用意されたクラス毎に適切な適応処理を実行する手法である。この実施例において、入力信号は、式（１）で定義される動き評価値である。
【００２６】
まず、クラス分類法の例としては、入力信号（８ビットＰＣＭデータ）に対して、クラス生成タップを設定し、入力信号のレベル分布のパターンによりクラスを生成する手法が挙げられる。信号波形のクラス生成法としては、次の例などが提案されている。
【００２７】
１）ＰＣＭ（Pluse Code Modulation ）データを直接使用する方法
２）ＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用する方法
３）ＤＰＣＭ（Differential PCM）を適用する方法
４）ＢＴＣ（Block Trancation Coding ）を適用する方法
５）ＶＱ（Vector Quantization ）を適用する方法
６）ＤＣＴ（アダマール変換）を適用する方法
【００２８】
ＰＣＭデータを直接使用する場合、クラス分類用に８ビットデータを７タップ使用すると、２56という膨大な数のクラスに分類される。レベル分布のパターンを掴むという意味では理想的であるが、回路上の負担は大きく、実用上問題である。そこで、実際は、ＡＤＲＣなどを適用しクラス数の削減を図る。ＡＤＲＣは、信号圧縮技術として開発された手法であるが、クラス表現に適している。基本的には、再量子化処理であり式（３）で示される。注目データ近傍の数タップで定義される局所的なダイナミックレンジ（最大値−最小値）をもとに、ｋビット再量子化として定義される量子化ステップ幅により、これら数タップのデータを再量子化するものである。
【００２９】
ｃi ＝（Ｅi −ＭＩＮ）／（ＤＲ／２k ）              （３）
ただし、ｃi ：ＡＤＲＣコード
Ｅi ：動き評価値
ＭＩＮ：近傍領域内最小値
ＤＲ：近傍領域内ダイナミックレンジ
ｋ：再量子化ビット数
【００３０】
注目データ近傍の数タップに対し式（３）で定義されるＡＤＲＣを用いて生成されるＡＤＲＣコードによりクラス分類を行う。例えば、９タップデータに対し１ビットＡＤＲＣを適用すると、９個のデータの中の最小値を各データから除去した上で、９個のデータから定義されるダイナミックレンジに基づき、各タップのデータを適応的に１ビットの量子化を行うので、５１２クラスに削減することが可能となる。他に圧縮技術として一般的なＤＰＣＭ、ＢＴＣ、ＶＱおよびＤＣＴなどの周波数領域を用いてクラスが表現される。
【００３１】
また、クラス分類の性能を更に向上させるため、入力信号のアクティビティーも考慮した上でクラス分類が行われることがある。アクティビティーの判定法の例としては、クラス分類法にＡＤＲＣを使用した場合、ダイナミックレンジを用いることが多い。また、ＤＰＣＭをクラス分類法に用いる場合、差分絶対値和、ＢＴＣをクラス分類法に用いる場合、標準偏差の絶対値などがアクティビティーの判定法として用いられる。
【００３２】
そして、このときには、アクティビティーによる分類結果毎に、上述のＡＤＲＣを用いたクラス分類などを行うことになる。また、学習過程において、アクティビティーの小さいデータを学習対象からはずす。この理由は、アクティビティーの小さい部分は、ノイズの影響が大きく、本来のクラスの予測値から外れることが多い。そのため、これを学習に入れると予測精度が低下する。これを避けるため、学習においては、アクティビティーの小さいデータを除外する。
【００３３】
こうして分類されたクラス毎に適応処理を実行するが、適応処理としては予め学習された予測係数を用いた予測演算を行う方式と、重心法により予測値を学習しておく方式が提案される。また、学習を行うための条件としては、目標となる教師信号を用意しておく必要がある。画素以下位置の動き評価値を予測するには、学習用に画素以下位置の動き評価値を教師信号として用意しておく。例えば、学習用にはＨＤ（High Difinition ）、スーパーＨＤまたはＵＤＴＶなどのビデオ信号等の画素密度の高い信号系を用いて、予測時の画素以下位置に対応する動き評価値を検出し、教師信号とする。
【００３４】
次に、この教師信号を用いて、予め学習により生成されたクラス毎の予測係数を用いた予測演算を行う適応処理について説明する。図４に動き評価値の配置例を示す。例えば、動き評価値Ｅ０〜Ｅ２４の２５タップより予測タップを構成し、画素以下位置の動き評価値Ｅｎ’（ｎ＝１〜８）を予測する場合を考える。上述のように、学習用には動き評価値Ｅｎ’に対応する教師信号を用意しておく。
【００３５】
【数２】
0003651093.tif 000003
ただし、Ｅn'：動き評価値の予測値
Ｅi ：動き評価値
ｗi ：予測係数
【００３６】
例えば、図４のＥ０〜Ｅ８の９個のデータに、上述の１ビットＡＤＲＣを適用し、５１２クラスに分類した場合、各クラス毎に生成された予測係数と動き評価値との積和演算により画素以下位置における動き評価値が予測される。クラス分類適応処理の回路構成の一実施例を図５に示す。入力端子１１から供給される画素位置の動き評価値ｄ１０は、クラス分類部１２および予測演算部１４へ供給される。クラス分類部１２では、上述したようなクラス分類処理に基づき、動き評価値ｄ１０に対するクラスが生成され、ｄ１１として予測係数ＲＯＭ１３へ供給される。予測係数ＲＯＭ１３では、供給されたクラスｄ１１をアドレスとして、予測係数が読み出される。読み出された予測係数は、ｄ１２として予測演算部１４へ供給される。予測演算部１４では、動き評価値ｄ１０と予測係数ｄ１２とを用いて式（４）の予測演算が実行され画素以下位置の動き評価値となる予測値ｄ１３を得る。こうして出力端子１５から予測値ｄ１３は、出力される。
【００３７】
上述の予測係数は、予め学習により生成しておくため、ここでは、その学習方法について述べる。式（４）の線形１次結合モデルに基づく予測係数を最小自乗法により生成する例を示す。最小自乗法は、次のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを予測値として次の式を考える。
【００３８】
観測方程式：ＸＷ＝Ｙ                                （５）
【数３】
0003651093.tif 000004
【００３９】
上述の観測方程式により収集されたデータに最小自乗法を適用する。式（４）の例においては、ｎ＝２５、ｍが学習データ数となる。式（５）の観測方程式をもとに、式（７）の残差方程式を考える。
【００４０】
残差方程式：
【数４】
0003651093.tif 000005
【００４１】
式（７）の残差方程式から、各ｗi の最確値は、
【数５】
0003651093.tif 000006
を最小にする条件が成り立つ場合と考えられる。すなわち、式（８）の条件を考慮すれば良いわけである。
【００４２】
【数６】
0003651093.tif 000007
【００４３】
式（８）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・、ｗn を算出すれば良い。そこで、残差方程式（７）から式（９）が得られる。
【００４４】
【数７】
0003651093.tif 000008
【００４５】
式（８）と式（９）により式（１０）が得られる。
【００４６】
【数８】
0003651093.tif 000009
【００４７】
そして、式（７）および式（１０）から、正規方程式（１１）が得られる。
【００４８】
【数９】
0003651093.tif 000010
【００４９】
式（１１）の正規方程式は、未知数の数ｎと同じ方程式を立てることが可能であるので、各ｗi の最確値を求めることが出来る。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式が解かれる。
【００５０】
ここで、上述の最小自乗法を用いた予測係数の学習方法の一例となるフローチャートを図６に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、例えば画素位置の動き評価値と画素以下位置の動き評価値とから学習データが形成される。図４に示すように、注目データ近傍の画素位置の動き評価値と注目データ近傍の画素以下位置の動き評価値とが一組の学習データである。
【００５１】
ここで、注目データ近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。
【００５２】
ステップＳ３のクラス決定は、上述のように、注目データ近傍の画素位置の動き評価値に基づいたクラス決定がなされる。ステップＳ４の正規方程式生成では、上述した式（１１）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５に移る。このステップＳ５の予測係数決定では、この正規方程式が行列解法を用いて解かれ、予測係数が決定される。ステップＳ６の予測係数登録で、予測係数をメモリにストアし、この学習のフローチャートが終了する。
【００５３】
次に、上述した図５に示すクラス分類の例としては、ＡＤＲＣなどを用いた手法の他に動き評価値のアクティビティーを組み合わせ、クラス数を増やす場合もあり、そのときの回路構成の他の実施例を図７に示す。入力端子２１から供給される画素位置の動き評価値ｄ２０は、クラス分類部２２およびアクティビティークラス分類部２３へ供給される。クラス分類部２２では、上述したように動き評価値ｄ２０に基づいてクラス分類が行われる。そのクラスは、ｄ２１として最適予測値ＲＯＭ２４へ供給される。
【００５４】
アクティビティークラス分類部２３では、供給された動き評価値ｄ２０のアクティビティーをもとにクラス分類が実行される。生成されたクラスは、ｄ２２として最適予測値ＲＯＭ２４へ供給される。最適予測値ＲＯＭ２４では、クラスｄ２１とクラスｄ２２によりアドレスが指定され、画素以下位置における動き評価値が読み出される。読み出された動き評価値は、重心法によって予め学習により求められたものであり、ｄ２３として出力端子２５から出力される。
【００５５】
ここで、クラス分類適応処理の適応処理法の一例として、重心法により予測値を学習する手法について説明する。上述のように、画素位置毎に検出された動き評価値のレベル分布のパターンに基づき分類されたクラス毎に、画素以下位置の動き評価値の最適補間値を、予め重心法を用いた学習により生成する。例えば図４の９タップデータに対して１ビットＡＤＲＣを施すことで５１２クラスに分類する場合を考える。この学習方法の一例を説明するフローチャートを図８に示す。ステップＳ１１の初期化では、この学習を行うための準備として、クラスのデータテーブルＥ（＊）およびクラスの度数カウンタＮ（＊）へ０のデータが書き込まれる。ここで、“＊”は、全てのクラスを示し、データテーブルは、Ｅ（Ｃ０）となり、クラスＣ０に対応する度数カウンタは、Ｎ（Ｃ０）となる。ステップＳ１１の制御が終了すると、ステップＳ１２へ制御が移る。
【００５６】
ステップＳ１２のクラス検出では、注目データを中心とした学習対象となる注目データ近傍の画素位置の動き評価値から、その注目データのクラスＣが決定される。そして、ステップＳ１３では、学習対象となる画素以下位置の動き評価値ｅが検出される。また、このステップＳ１３では、その動き評価値ｅが含まれるブロックのダイナミックレンジＤＲが所定のしきい値より小さいものは、学習データとして扱わない処理もなされる。
【００５７】
こうしてステップＳ１２およびステップＳ１３から制御がステップＳ１４へ移り、ステップＳ１４のデータ加算では、クラスＣのデータテーブルＥ（Ｃ）の内容に動き評価値ｅが加算される。次に、ステップＳ１５の度数加算において、そのクラスＣの度数カウンタＮ（Ｃ）が＋１インクリメントされる。全学習対象画素について、ステップＳ１２からステップＳ１５の制御が終了したか否かを判定するステップＳ１６では、全データの学習が終了していれば、ステップＳ１７へ制御が移り、全データの学習が終了していなければ、ステップＳ１２へ制御が移る。すなわち、ステップＳ１６は、全データの学習が終了になるまで、ステップＳ１２からステップＳ１５までの制御を繰り返し実行し、全てのクラスの度数カウンタＮ（＊）と対応する全てのクラスのデータテーブルＥ（＊）が生成される。
【００５８】
ステップＳ１７では、画素以下位置の動き評価値ｅの積算値が保持されている各クラスのデータテーブルＥ（＊）が対応する動き評価値ｅの出現度数が保持されている各クラスの度数カウンタＮ（＊）で除算され、各クラスの平均値が算出される。この平均値が各クラスの推定値となる。ステップＳ１８では、算出された推定値（平均値）が各クラス毎に登録される。全クラスの推定値の登録が終了すると、このフローチャートは、終了する。このように学習対象画素値の分布の平均から推定値が生成されることから、この手法は重心法と呼ばれる。
【００５９】
以上のクラス分類適応処理は、図３の動きベクトル検出ブロック構成例における検出部４の中の処理となる。この検出部４において、線形補間などを用いた画素以下精度の動きベクトル検出が行われていたが、この実施例では、画素位置の動き評価値から画素以下位置の動き評価値を求めるのにクラス分類適応処理を導入することによって、画素以下位置の動き評価値から検出される画素以下精度の動きベクトルの検出精度を向上することが可能となる。
【００６０】
これらの手法に基づく画素以下精度の動きベクトルを検出する一例のフローチャートを図９に示す。まず、ステップＳ２１では、動きベクトル検索範囲内の各画素位置の動き評価値が式（１）に基づき検出される。次に、ステップＳ２２では、それらの動き評価値に関し最小値が検出される。この最小値となる画素位置が、時間方向の相関が最も強い位置にあたるため、画素精度の動きベクトルに対応する。ここまでは、図３に示す検出部３において、行われる処理である。
【００６１】
そして、ステップＳ２３では、上述のように、各画素位置の動き評価値に対しクラス分類適応処理を適用することにより、画素以下位置の動き評価値が予測される。例えば、図４に示すＥ１’〜Ｅ８’のような画素以下位置の動き評価値が予測される。ステップＳ２４では、こうして予測された画素以下位置の動き評価値も含めた中から、動き評価値の最小値が検出される。検出された最小値に対応する画素位置が最終的な画素以下精度の動きベクトルに対応する。こうして、精度の高い画素以下精度の動きベクトルの検出が可能となる。
【００６２】
【発明の効果】
この発明に依れば、クラス分類適応処理により画素位置の動き評価値から画素以下位置の動き評価値を求めるため、画素以下精度の動きベクトルの検出が可能となり、さらに画素以下精度の検出動きベクトルの精度が向上する。
【００６３】
また、この発明を高能率符号化に適用するとで圧縮効率の向上が可能となる。
【図面の簡単な説明】
【図１】動きベクトル検出装置の説明に用いる略線図である。
【図２】動き評価値の説明に用いる略線図である。
【図３】従来の動きベクトル検出装置を示すブロック図である。
【図４】この発明に係る動き評価値の説明に用いる略線図である。
【図５】この発明が適用できる動きベクトル検出装置の一実施例を示すブロック図である。
【図６】この発明の動きベクトル検出装置の予測係数の学習方法の一例を示すフローチャートである。
【図７】この発明が適用できる動きベクトル検出装置の他の実施例を示すブロック図である。
【図８】この発明の動きベクトル検出装置の重心法の学習方法の一例を示すフローチャートである。
【図９】この発明の画素位置の動き評価値から画素以下精度の動きベクトルを検出する一例を示すフローチャートである。
【符号の説明】
１２  クラス分類部
１３  予測係数部
１４  予測演算部
【図１】
0003651093.tif 000011
【図２】
0003651093.tif 000012
【図３】
0003651093.tif 000013
【図４】
0003651093.tif 000014
【図５】
0003651093.tif 000015
【図６】
0003651093.tif 000016
【図７】
0003651093.tif 000017
【図９】
0003651093.tif 000018
【図８】
0003651093.tif 000019