(57)【特許請求の範囲】
【請求項１】
位相相関法による動きベクトル検出装置において、
対象となる画像信号に対してフーリエ変換を施し、上記フーリエ変換により得られた周波数成分から中間周期における周波数成分の予測を行う予測手段と、
予測された上記周波数成分の現画像と過去画像とを位相相関法を適用することによって、１画素単位より高い精度の動きベクトルを検出する動きベクトル検出手段とかなることを特徴とする動きベクトル検出装置。
【請求項２】
請求項１に記載の動きベクトル検出装置において、
上記予測手段は、
上記フーリエ変換により得られた周波数成分に対してクラス分類を行いクラスを生成するクラス生成手段と、
予め学習により獲得された予測係数値をクラス毎に格納する記憶手段と、
上記記憶手段から上記クラスに対応した上記予測係数値を読み出し、予測式による演算から中間周期における周波数成分の予測を行う演算手段とからなることを特徴とする動きベクトル検出装置。
【請求項３】
請求項２に記載の動きベクトル検出装置において、
上記演算手段で用いられる上記予測式は、線形１次結合式であることを特徴とする動きベクトル検出装置。
【請求項４】
請求項２に記載の動きベクトル検出装置において、
上記フーリエ変換により得られた周波数成分のアクティビティーが小さい場合、上記周波数成分を学習対象から除外して学習を行いクラス毎に上記予測係数値を獲得することを特徴とする動きベクトル検出装置。
【請求項５】
請求項１に記載の動きベクトル検出装置において、
上記予測手段は、
上記フーリエ変換により得られた周波数成分に対してクラス分類を行いクラスを生成するクラス生成手段と、
予め学習により獲得されたクラス毎の最適予測値をクラス毎に格納する記憶手段とからなることを特徴とする動きベクトル検出装置。
【請求項６】
請求項５に記載の動きベクトル検出装置において、
上記記憶手段に格納される上記最適予測値は、上記フーリエ変換により得られた周波数成分に基づいて分類されるクラス毎に、重心法を用いて予め獲得されることを特徴とする動きベクトル検出装置。
【請求項７】
請求項５に記載の動きベクトル検出装置において、
上記フーリエ変換により得られた周波数成分のアクティビティーが小さい場合、上記周波数成分を学習対象から除外して学習を行い、クラス毎に上記最適予測値を獲得することを特徴とする動きベクトル検出装置。
【請求項８】
位相相関法による動きベクトル検出方法において、
対象となる画像信号に対してフーリエ変換を施し、上記フーリエ変換により得られた周波数成分から中間周期における周波数成分の予測を行うステップと、
予測された上記周波数成分の現画像と過去画像とを位相相関法を適用することによって、１画素単位より高い精度の動きベクトルを検出するステップとかなることを特徴とする動きベクトル検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、入力されたディジタル画像信号に対してフーリエ変換を施した後、フーリエ変換出力から中間周期における周波数成分の予測がクラス分類適応処理を用いて行われ、この予測された周波数成分を用いて１画素単位より高い精度の動きベクトルが検出できる動きベクトル検出装置および検出方法に関する。
【０００２】
【従来の技術】
ディジタル画像を対象とした動きベクトル検出の重要度は、近年ますます高まっている。それは実用面への貢献が大きいからである。例えば、画像圧縮における動き補償に用いられる動きベクトルの精度の向上は、圧縮効率の向上をもたらしており、そのため動きベクトル検出方法に関しては、種々の提案がなされている。一般に、動画像を対象とした動きベクトルの検出方法は、次の３種類に大別される。
【０００３】
第１の動きベクトルの検出方法は、ブロックマッチング法である。このブロックマッチング法は、パターンマッチングと同じ発想で、現画像のブロック化された領域が、過去の画像中の何処に存在したか、現画像と過去画像の比較を行う。具体例としては、ブロック内対応画素毎の差分絶対値を加算し、ブロック毎の差分絶対値和が最小となる位置を動きベクトルとするものである。この方法は、検出精度は良いが、演算量が膨大となる欠点がある。
【０００４】
そして、第２の動きベクトルの検出方法は、勾配法である。この勾配法は、ある空間傾斜を持つ画素が、ある位置まで動くと、動き量に応じた時間差分が発生するというモデルに基づく。よって、時間差分を空間傾斜で割算すれば動きベクトルが得られる。この方法は、演算量は少ないが動き量が大きくなると精度が落ちるという欠点がある。それは上述のモデルが成り立たなくなるためである。
【０００５】
また、第３の動きベクトルの検出方法は、位相相関法である。この位相相関法は、現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、周波数領域で位相のズレ量を検出し、その位相項より逆フーリエ変換を経て動きベクトルを検出する手法である。この手法の特徴として、動きベクトルの精度は、フーリエ変換の対象画素精度になるので、入力画素ピッチの動きベクトルしか得ることができない。
【０００６】
【発明が解決しようとする課題】
このように、検出される動きベクトルの精度は、１画素単位である。しかしながら、例えば、動き補償の場合では、精度の高い補償を行うためには、１画素より高い精度の動きベクトルを検出することが必要とされる。
【０００７】
したがって、この発明の目的は、ディジタル画像信号に対してフーリエ変換を施した後、フーリエ変換出力から中間周期における周波数成分の予測がクラス分類適応処理を用いて行われ、その予測結果に対して位相相関法を施し、１画素単位より高い精度の動きベクトルを検出することができる動きベクトル検出装置および検出方法を提供することにある。
【０００８】
【課題を解決するための手段】
請求項１に記載の発明は、位相相関法による動きベクトル検出装置において、
対象となる画像信号に対してフーリエ変換を施し、フーリエ変換により得られた周波数成分から中間周期における周波数成分の予測を行う予測手段と、
予測された周波数成分の現画像と過去画像とを位相相関法を適用することによって、１画素単位より高い精度の動きベクトルを検出する動きベクトル検出手段とかなることを特徴とする動きベクトル検出装置である。
【０００９】
また、請求項８に記載の発明は、位相相関法による動きベクトル検出方法において、
対象となる画像信号に対してフーリエ変換を施し、フーリエ変換により得られた周波数成分から中間周期における周波数成分の予測を行うステップと、
予測された周波数成分の現画像と過去画像とを位相相関法を適用することによって、１画素単位より高い精度の動きベクトルを検出するステップとかなることを特徴とする動きベクトル検出方法である。
【００１０】
入力ディジタル画像がブロック毎に分割され、分割された画像に対してフーリエ変換が施され、そのフーリエ変換出力に対してクラス分類適応処理を用いて中間周期での周波数成分が予測され、その予測結果に対して位相相関法を用いることによって、１画素単位より高い精度の動きベクトルが検出される。
【００１１】
【発明の実施の形態】
以下、この発明の一実施例について図面を参照して説明する。この発明が適用された動きベクトル検出装置の一実施例を図１に示す。１で示す入力端子からディジタル画像信号ｄ０が供給され、供給された画像信号ｄ０は、ブロック生成部２へ供給される。ブロック生成部２では、供給された画像信号ｄ０から所定のブロックが生成される。ブロック化された画像信号は、ｄ１としてフーリエ変換部３およびフレームメモリ６へ供給される。フーリエ変換部３では、供給された画像信号ｄ１に対して２次元フーリエ変換が施される。このフーリエ変換により得られた周波数成分（以下、フーリエ変換出力と称する）ｄ２は、クラス分類適応処理部４へ供給される。
【００１２】
クラス分類適応処理部４は、クラス分類部１１、予測係数ＲＯＭ１２および予測演算部１３から構成される。クラス分類適応処理部４では、フーリエ変換出力ｄ２がクラス分類部１１および予測演算部１３へ供給される。クラス分類部１１では、ブロック化され、フーリエ変換出力ｄ２の波形の特徴に基づいて後述するようなクラス分類が行われる。この分類結果、すなわちクラスｄ３は、予測係数ＲＯＭ１２へ供給される。予測係数ＲＯＭ１２には、予め各クラスに対応した予測係数が格納されている。予測係数ＲＯＭ１２では、供給されたクラスｄ３に対応した予測係数がＲＯＭから読み出され、読み出された予測係数ｄ４は、予測演算部１３へ供給される。予測演算部１３では、フーリエ変換出力ｄ２から予測タップが形成され、予測タップの出力と予測係数ｄ４とを用いた線形１次結合式の演算がなされ、中間周期での周波数成分が予測される。この予測された結果が予測演算部１３から予測周波数成分ｄ５として出力される。すなわち、クラス分類適応処理部４から位相相関算出部５へ予測周波数成分ｄ５が供給される。
【００１３】
この予測周波数成分は、図２中の破線で示すようにフーリエ変換で得られる周波数成分の周期の中間に位置するものである。ただし、この図２は、説明を容易とするために一次元フーリエ変換で示した例であり、縦軸が係数値を示し、横軸が周期を示し、フーリエ変換で得られた周波数成分を実線で示している。
【００１４】
フレームメモリ６では、供給された画像信号ｄ１が１フレーム分遅延された後、画像信号ｄ６としてフーリエ変換部７へ供給される。フーリエ変換部７では、供給された画像信号ｄ６、すなわちフーリエ変換部３で処理された１フレーム前のブロックデータに対してフーリエ変換が実行される。このフーリエ変換出力ｄ７は、フーリエ変換部７からクラス分類適応処理部８へ供給される。クラス分類適応処理部８は、上述したクラス分類適応処理部４と同様の構成および処理を施す部分である。すなわち、クラス分類適応処理部８は、クラス分類部１４、予測係数ＲＯＭ１５および予測演算部１６から構成される。
【００１５】
クラス分類部１４では、遅延されたフーリエ変換出力ｄ７の波形の特徴に基づいて後述するようなクラス分類が行われる。この分類結果、すなわちクラスｄ８は、予測係数ＲＯＭ１５へ供給される。予測係数ＲＯＭ１５には、予め各クラスに対応した予測係数が格納されている。予測係数ＲＯＭ１５では、供給されたクラスｄ８に対応した予測係数がＲＯＭから読み出され、読み出された予測係数ｄ９は、予測演算部１６へ供給される。予測演算部１６では、フーリエ変換出力ｄ７から予測タップが形成され、予測タップの出力と予測係数ｄ９とを用いた線形１次結合式の演算がなされ、中間周期における周波数成分が予測される。この予測された結果が予測演算部１６から予測周波数成分ｄ１０として出力される。すなわち、クラス分類適応処理部８から位相相関算出部５へ予測周波数成分ｄ１０が供給される。
【００１６】
位相相関算出部５では、供給された２つの予測周波数成分ｄ５およびｄ１０に応じて後述する位相相関（位相差行列） exp（-jφ）が検出される。検出された位相相関 exp（-jφ）は、ベクトル検出部９へ供給され、ベクトル検出部９では、その位相相関 exp（-jφ）に対して逆フーリエ変換および位相相関関数のピーク検出が行われ、最終的に１画素単位より高い精度の動きベクトルｄ１２を得ることができる。この動きベクトルｄ１２は、出力端子１０から出力される。
【００１７】
ここで、この図１に示す一実施例の変形例を図３および図４に示す。この図３および図４は、図１に示すフレームメモリ６、フーリエ変換部７およびクラス分類適応処理部８を設けないものである。まず、図３では、所定のブロックにブロック化された画像信号ｄ１がブロック生成部２からフーリエ変換部３へ供給される。フーリエ変換部３では、画像信号ｄ１に対してフーリエ変換が施される。このフーリエ変換出力ｄ１４は、フレームメモリ１７およびクラス分類適応処理部１９へ供給される。
【００１８】
クラス分類適応処理部１９では、上述したようにフーリエ変換出力ｄ１４に対してクラス分類が施された後、適応処理が行われ、中間周期での周波数成分が予測される。この予測された予測周波数成分ｄ１７は、位相相関算出部５へ供給される。フレームメモリ１７では、フーリエ変換出力ｄ１４が１フレーム分遅延された後、遅延信号ｄ１５としてクラス分類適応処理部１８へ供給される。クラス分類適応処理部１８では、上述したように供給された遅延信号ｄ１５に対してクラス分類が施された後、適応処理が行われ、中間周期での周波数成分が予測される。この予測された予測周波数成分ｄ１６は、位相相関算出部５へ供給される。すなわち、この予測周波数成分ｄ１６は、予測周波数成分ｄ１７に対して、１フレーム遅延された同じ部分の信号となる。位相相関算出部５では、上述したように、供給された２つの予測周波数成分ｄ１６およびｄ１７に応じて位相相関（位相差行列） exp（-jφ）が検出される。
【００１９】
次に、図４に示す変形例では、所定のブロックにブロック化された画像信号ｄ１がブロック生成部２からフーリエ変換部３へ供給される。フーリエ変換部３では、画像信号ｄ１に対してフーリエ変換が施される。フーリエ変換出力ｄ２は、クラス分類適応処理部４へ供給される。クラス分類適応処理部４では、上述したようにフーリエ変換出力ｄ２に対してクラス分類が施された後、適応処理が行われ、中間周期での周波数成分が予測される。この予測された予測周波数成分ｄ１８は、位相相関算出部５およびフレームメモリ２０へ供給される。フレームメモリ２０では、予測周波数成分ｄ１８がが１フレーム分遅延された後、遅延信号ｄ１９として位相相関算出部５へ供給される。位相相関算出部５では、上述したように、供給された２つの予測周波数成分ｄ１８および１フレーム遅延された予測周波数成分の遅延信号ｄ１９に応じて位相相関（位相差行列） exp（-jφ）が検出される。
【００２０】
ここで、この発明が適用された動きベクトル検出装置の他の実施例を図５に示す。２１で示す入力端子からディジタル画像信号ｄ２１が供給され、供給された画像信号ｄ２１は、ブロック生成部２２へ供給される。ブロック生成部２２では、供給された画像信号ｄ２１から所定のブロックが生成される。ブロック化された画像信号は、ｄ２２としてフーリエ変換部２３およびフレームメモリ２６へ供給される。フーリエ変換部２３では、供給された画像信号ｄ２２に対してフーリエ変換が施される。このフーリエ変換出力ｄ２３は、クラス分類適応処理部２４へ供給される。
【００２１】
クラス分類適応処理部２４は、クラス分類部３１、予測値生成部３２から構成される。クラス分類適応処理部２４では、フーリエ変換出力ｄ２３がクラス分類部３１へ供給される。クラス分類部３１では、ブロック化されたフーリエ変換出力ｄ２３の波形の特徴に基づいて後述するようなクラス分類が行われる。この分類結果、すなわちクラスｄ２４は、予測値生成部３２へ供給される。予測値生成部３２には、予め各クラスに対応した予測値が格納されている。予測値生成部３２では、供給されたクラスｄ２４に対応した予測周波数成分となる最適予測値がＲＯＭから読み出される。読み出された最適予測値は、ｄ２５として出力される。すなわち、クラス分類適応処理部２４から位相相関算出部２５へ最適予測値ｄ２５は、供給される。
【００２２】
フレームメモリ２６では、供給された画像信号ｄ２２が１フレーム分遅延された後、画像信号ｄ２６としてフーリエ変換部２７へ供給される。フーリエ変換部２７では、供給された画像信号ｄ２６、すなわちフーリエ変換部２３で処理された１フレーム前のブロックデータに対してフーリエ変換が実行される。このフーリエ変換出力ｄ２７は、クラス分類適応処理部２８へ供給される。クラス分類適応処理部２８は、上述したクラス分類適応処理部２４と同様の構成および処理を施す部分である。すなわち、クラス分類適応処理部２８は、クラス分類部３３および予測値生成部３４から構成される。
【００２３】
クラス分類部３３では、遅延されたフーリエ変換出力ｄ２７の波形の特徴に基づいて後述するようなクラス分類が行われる。この分類結果、すなわちクラスｄ２８は、予測値生成部３４へ供給される。予測値生成部３４には、予め各クラスに対応した予測値が格納されている。予測値生成部３４では、供給されたクラスｄ２８に対応した予測周波数成分となる最適予測値がＲＯＭから読み出される。読み出された最適予測値は、ｄ２９として出力される。すなわち、クラス分類適応処理部２８から位相相関算出部２５へ最適予測値ｄ２９が供給される。
【００２４】
位相相関算出部２５では、供給された２つの予測周波数成分となる最適予測値ｄ２５およびｄ２９に応じて後述する位相相関（位相差行列） exp（-jφ）が検出される。検出された位相相関 exp（-jφ）は、ベクトル検出部２９へ供給され、ベクトル検出部２９では、その位相相関 exp（-jφ）に対して逆フーリエ変換および位相相関関数のピーク検出が行われ、最終的に１画素単位より高い精度の動きベクトルｄ３１を得ることができる。この動きベクトルｄ３１は、出力端子３０から出力される。
【００２５】
この図５に示す重心法を用いたクラス分類適応処理は、上述した図３および図４に示したように、同様の変形例に適用することが可能である。
【００２６】
このように、図１および図５に示す実施例において、１画素単位より高い精度の動きベクトルを検出する場合、対象となる画像信号にフーリエ変換が施され、そのフーリエ変換出力に対してクラス分類適応処理を適用することで、画像信号から中間周期における周波数成分の予測が行われ、予測された予測周波数成分を含む画像信号に対して位相相関法を施すことによって、１画素単位より高い精度の動きベクトルの検出が可能となる。
【００２７】
ここで、クラス分類適応処理回路４、８、２４および２８に適用されたクラス分類適応処理とは、入力信号のレベル分布のパターンに基づきこの入力信号を幾つかのクラスに分類し、予め用意されたクラス毎に適切な適応処理を実行する手法である。まず、クラス分類法の例としては、フーリエ変換により得られた周波数成分に対してクラス生成タップを設定し、この周波数成分のレベル分布のパターンによりクラスを生成する手法が挙げられる。周波数成分のクラス生成法としては、次の例などが提案されている。
【００２８】
１）ＰＣＭ（Pluse Code Modulation ）データを直接使用する方法
２）ＡＤＲＣ（Adaptive Dynamic Range Coding ）を適用する方法
３）ＤＰＣＭ（Differential PCM）を適用する方法
４）ＢＴＣ（Block Trancation Coding ）を適用する方法
５）ＶＱ（Vector Quantization ）を適用する方法
６）周波数変換（ＤＣＴ（Discrete Cosine Transform ）、アダマール変換など）を適用する方法
【００２９】
例えば、それぞれが８ビットのフーリエ変換による周波数成分（ＰＣＭデータ）を直接使用する場合、クラス分類用に８ビットデータを７タップ使用すると、２56という膨大な数のクラスに分類される。レベル分布のパターンを掴むという意味では理想的であるが、回路上の負担は大きく、実用上問題である。そこで、実際は、ＡＤＲＣなどを適用しクラス数の削減を図る。ＡＤＲＣは、信号圧縮技術として開発された手法であるが、クラス表現に適している。基本的には、再量子化処理であり式（１）で示される。注目データ近傍の数タップで定義される局所的なダイナミックレンジ（最大値−最小値）をもとに、ｋビット再量子化として定義される量子化ステップ幅により、これら数タップのデータを再量子化するものである。
【００３０】
ｃi ＝（ｘi −ＭＩＮ）／（ＤＲ／２k ）              （１）
ただし、ｃi ：ＡＤＲＣコード
ｘi ：入力周波数成分
ＭＩＮ：近傍領域内最小値
ＤＲ：近傍領域内ダイナミックレンジ
ｋ：再量子化ビット数
【００３１】
注目データ近傍の数タップに対し式（１）で定義されるＡＤＲＣを用いて生成されるＡＤＲＣコードによりクラス分類を行う。例えば、７つの周波数成分に対し１ビットの再量子化を実行する１ビットＡＤＲＣを適用すると、７つの周波数成分から定義されるダイナミックレンジに基づき、それらの最小値を除去した上で、７タップのデータを適応的に１ビット量子化する。その結果、７つの周波数成分を７ビットで表現することになり、１２８クラスに削減することが可能となる。他に圧縮技術として一般的なＤＰＣＭ、ＢＴＣ、ＶＱ、ＤＣＴ、アダマール変換等をクラス分類法として用いることが提案されている。
【００３２】
また、クラス分類の性能を更に向上させるため、入力された周波数成分のアクティビティーも考慮した上でクラス分類が行われることがある。アクティビティーの判定法の例としては、クラス分類法にＡＤＲＣを使用した場合、ダイナミックレンジを用いることが多い。また、ＤＰＣＭをクラス分類法に用いる場合、差分絶対値和、ＢＴＣをクラス分類法に用いる場合、標準偏差の絶対値などがアクティビティーの判定法として用いられる。
【００３３】
そして、このときには、アクティビティーによる分類結果毎に、上述のＡＤＲＣを用いたクラス分類などを行うことになる。また、学習過程において、アクティビティーの小さいデータを学習対象から外す。この理由は、アクティビティーの小さい部分は、ノイズの影響が大きく、本来のクラスの予測値から外れることが多い。そのため、これを学習に入れると予測精度が低下する。これを避けるため、学習においては、アクティビティーの小さいデータを除外する。
【００３４】
こうして分類されたクラス毎に適応処理を実行するが、適応処理としては上述した２つの実施例に示したように、予め学習された予測係数を用いて予測演算を行う予測法と、重心法により予測値を学習しておく方式が提案される。また、学習を行うための条件としては、目標となる教師信号を用意しておく必要がある。
【００３５】
次に、この教師信号を用いて、予め学習により生成されたクラス毎の予測係数を用いた予測演算を行う予測法について説明する。この予測法は、クラス分類適応処理回路４および８に適用され、フーリエ変化により得られた周波数成分から中間周期における周波数成分の予測がなされるものである。例えば、注目される周波数成分を含む近傍の９つの周波数成分より予測タップを形成し、予測値を生成する予測式の例を式（２）に示す。
【００３６】
【数１】
0003707125.tif 000002
ただし、ｘ’：予測値
ｘi ：入力周波数成分
ｗi ：予測係数
【００３７】
上述した図１のクラス分類適応処理部４および８は、予測法を用いたクラス分類適応処理の構成例である。
【００３８】
この予測法で用いられる予測係数ＲＯＭ１２および１５からの予測係数は、予め学習により生成しておく。この学習方法について述べる。式（２）の線形一次結合モデルに基づく予測係数を最小自乗法により生成する一例を示す。最小自乗法は、次のように適用される。一般化した例として、Ｘを入力データ、Ｗを予測係数、Ｙを予測値として次の式（３）を考える。
【００３９】
観測方程式；ＸＷ＝Ｙ                              （３）
【数２】
0003707125.tif 000003
【００４０】
上述の観測方程式により収集されたデータに最小自乗法を適用する。式（２）の例においては、ｎ＝９、ｍが学習データ数となる。式（３）の観測方程式をもとに、式（５）の残差方程式を考える。
【００４１】
残差方程式；
【数３】
0003707125.tif 000004
【００４２】
式（５）の残差方程式から、各ｗi の最確値は、
【数４】
0003707125.tif 000005
を最小にする条件が成り立つ場合と考えられる。すなわち、次の式（６）の条件を考慮すれば良いわけである。
【００４３】
【数５】
0003707125.tif 000006
【００４４】
式（６）のｉに基づくｎ個の条件を考え、これを満たすｗ1 、ｗ2 、・・・ｗn を算出すれば良い。そこで、残差方程式（５）から式（７）が得られる。
【００４５】
【数６】
0003707125.tif 000007
【００４６】
式（６）と式（３）により式（８）が得られる。
【００４７】
【数７】
0003707125.tif 000008
【００４８】
そして、式（５）および式（８）から次の正規方程式（９）が得られる。
【００４９】
【数８】
0003707125.tif 000009
【００５０】
式（９）の正規方程式は、未知数の数ｎと同じ数の方程式を立てることが可能であるので、各ｗi の最確値を求めることができる。そして、掃き出し法（Gauss-Jordanの消去法）を用いて連立方程式を解く。この連立方程式が解かれることよって、クラス毎に予測係数がＲＯＭなどの記憶媒体に格納される。この格納されたＲＯＭは、予測係数ＲＯＭ１２および１５として使用される。
【００５１】
ここで、上述の最小自乗法を用いた予測係数の学習方法の一例となるフローチャートを図６に示す。このフローチャートは、ステップＳ１から学習処理の制御が始まり、ステップＳ１の学習データ形成では、学習を行うための入力周波数成分と予測対象となる教師信号が用意される。まず、ステップＳ３のクラス決定において、入力周波数成分に対してクラス分類が行われる。上述のように、ＡＤＲＣなどの処理を用い、入力周波数成分の波形特徴に基づきクラスが生成される。次に、各クラス毎に入力信号より形成される予測タップの周波数成分と教師信号値とから上述した正規方程式（９）が生成される。
【００５２】
ここで、注目データ近傍のブロック内のダイナミックレンジが所定のしきい値より小さいもの、すなわちアクティビティーの低いものは、学習データとして扱わない制御がなされる。すなわち、ＡＤＲＣを使用する場合、ダイナミックレンジが小さいものは、ノイズの影響を受けやすく、正確な学習結果が得られないおそれがあるからである。そして、ステップＳ２のデータ終了では、入力された全データ、例えば１フレームまたは１フィールドのデータの処理が終了していれば、ステップＳ５の予測係数決定へ制御が移り、終了していなければ、ステップＳ３のクラス決定へ制御が移る。
【００５３】
ステップＳ３のクラス決定は、上述のように、注目データ近傍の周波数成分に基づいたクラス決定がなされる。ステップＳ４の正規方程式生成では、上述した式（９）の正規方程式が作成される。全データの処理が終了後、ステップＳ２のデータ終了から制御がステップＳ５に移る。多くの学習データより生成された、クラス毎の式（９）の正規方程式が解かれるこの連立方程式の解法としては、上述した掃き出し法が用いられる。次に、ステップＳ６の予測係数登録では、クラス別にアドレス分割されたＲＯＭなどの記憶手段に登録され、この学習のフローチャートは、終了する。以上の学習過程により、予測法を用いたクラス分類適応処理の予測係数が生成される。
【００５４】
次に、クラス分類適応処理の適応処理法として、重心法を用いる場合について述べる。重心法は、各クラス毎に予め学習に用いられる教師信号の分布重心を算出し、この値を最適予測値としてＲＯＭなどに蓄え、各クラス毎の最適予測値、すなわちフーリエ変換により得られた周波数成分から中間周期における周波数成分の予測が行われた予測周波数成分として出力する手法である。上述した図５のクラス分類適応処理部２４および２８は、一般に重心法を用いたクラス分類適応処理の構成例である。
【００５５】
ここで、重心法による最適予測値の学習方法の一例となるフローチャートを図７に示す。ステップＳ１１の初期化では、この学習を行うための準備として、クラスのデータテーブルＥ（＊）およびクラスの度数カウンタＮ（＊）へ０のデータが書き込まれる。ここで、“＊”は、全てのクラスを示し、データテーブルは、Ｅ（Ｃ０）となり、クラスＣ０に対応する度数カウンタは、Ｎ（Ｃ０）となる。ステップＳ１１の制御が終了すると、ステップＳ１２へ制御が移る。
【００５６】
ステップＳ１２のクラス検出では、学習対象となる周波数成分の近傍データからクラスＣを決定する。例えば、上述の例のように注目される周波数成分を含む近傍８つの周波数成分に１ビットＡＤＲＣを適用した場合、１２８クラスに分類される。また、このクラス分類の手法としては、上述のようにＡＤＲＣの他にも、ＰＣＭ表現、ＤＰＣＭ、ＢＴＣ、ＶＱ、ＤＣＴ、アダマール変換などの分類法が考えられる。また、クラス分類対象データより構成されるブロックのアクティビティーを考慮する場合は、クラス数をアクティビティーによる分類の種類だけ増やしておくことも考えられる。
【００５７】
次に、ステップＳ１３のデータ検出では、目標とする教師信号ｅが検出される。ステップＳ１４のクラス別データ加算では、クラスＣ毎に教師信号ｅがそれぞれ加算され、ステップＳ１５のクラス別度数加算では、クラスＣの学習データの度数カウンタＮ（Ｃ）が＋１インクリメントされる。全学習対象データについて繰り返しステップＳ１２からステップＳ１５の制御が終了したか否かを判定するステップＳ１６では、全データの学習が終了していれば、ステップＳ１７へ制御が移り、全データの学習対象が終了していなければ、ステップＳ１２へ制御が移る。すなわち、ステップＳ１６は、全データの学習が終了になるまで、ステップＳ１２からステップＳ１５までの制御を繰り返し実行し、全てのクラスの度数カウンタＮ（＊）と対応する全てのクラスのデータテーブルＥ（＊）が生成される。
【００５８】
ステップＳ１７のクラス別平均値算出では、各クラスのデータテーブルＥ（＊）の内容であるデータ積算値を対応クラスの度数カウンタＮ（＊）の度数で、除算が実行され、各クラスの平均値が算出される。この処理は、教師信号分布の重心を算出することと等価である。この平均値が重心法による各クラスの最適予測値となる。そして、ステップＳ１８のクラス別平均値登録では、ＲＯＭなどの記憶手段に各クラスに対応する最適予測値（予測周波数成分）を登録することで重心法による学習、すなわち、このフローチャートは、終了する。上述のように学習過程において、ノイズの影響を排除するため、アクティビティーの小さい場合を学習対象から外すことも考えられる。上述した予測法および重心法により、画素より詳細な位置となる周波数成分の予測を行うことができる。
【００５９】
次に、この発明で使用されている位相相関法について詳しく説明する。この位相相関法は、上述した位相相関算出部５および２５に適用されるものであり、上述したように現画像と過去画像の同一位置のブロックデータに対し、各々フーリエ変換を施し、フーリエ変換により得られた周波数成分から中間周期での周波数成分が予測され、この予測された予測周波数成分を用いて周波数領域での位相のズレ量を検出し、その位相項より逆フーリエ変換を経て動きベクトルを検出する手法である。以下に、画素精度の動きベクトルを検出する場合の位相相関法について説明する。最初に２つの信号ｇ1 、ｇ2 の相互相関関数ｓA （τ）は、式（１０）で定義される。
【００６０】
【数９】
0003707125.tif 000010
（−∞＜τ＜∞）
【００６１】
相互相関関数ｓA （τ）のフーリエ変換ＳA （ω）は、クロスパワースペクトラムと呼ばれ式（１１）で示される。
ＳA （ω）＝Ｇ1 * （ω）Ｇ2 （ω）                （１１）
【００６２】
ここで、Ｇ2 （ω）は、ｇ1 （ｔ）のフーリエ変換の複素共役を意味する。また、Ｇ1 * （ω）は、ｇ2 （ｔ）のフーリエ変換を意味する。こうして時間領域における２つの信号の相互相関は、周波数領域においてクロスパワースペクトラムを用いた表現が可能となる。このことを利用して位相相関法は、２つの信号間の位相差を検出する手法である。以下に位相相関法を用いた動きベクトル検出処理の手順を示す。
【００６３】
第１の処理として、２つの対象画像ｇ1 、ｇ2 （ブロックサイズ：Ｍ×Ｎ）を設定する。そして、第２の処理として、この対象画像ｇ1 、ｇ2 に対してフーリエ変換を施し、Ｇ1 、Ｇ2 を得る。
【００６４】
【数１０】
0003707125.tif 000011
（０≦ｋ1 ≦Ｍ−１，０≦ｋ2 ≦Ｎ−１）
【００６５】
第３の処理として、クロスパワースペクトラムＧ1 、Ｇ2 * を用いて、下記の位相相関（位相差行列） exp（-jφ）を算出する。φは、２つの画像ブロックの位相差に対応する。
exp（−ｊφ）＝（Ｇ1 ・Ｇ2 * ）／｜Ｇ1 ・Ｇ2 * ｜    （１４）
【００６６】
次に、第４の処理として、位相相関（位相差行列）に対し、下記の逆フーリエ変換により、位相相関関数ｄ（ｉ1 ，ｉ2 ）を得る。
【００６７】
【数１１】
0003707125.tif 000012
（０≦ｉ1 ≦Ｍ−１，０≦ｉ2 ≦Ｎ−１）
【００６８】
そして、第５の処理として、位相相関関数ｄ（ｉ1 ，ｉ2 ）において検出されるピークの位置が動きベクトルに対応する。以上の手順により、位相相関関数を用いた画素精度の動きベクトルが検出される。
【００６９】
この発明の動きベクトル検出は、この位相相関法を適用して１画素単位より高い精度の動きベクトルを検出するものである。以下に、１画素単位より高い精度の動きベクトルを検出する場合の位相相関法について説明する。最初に、式（１２）および式（１３）から得られる周波数成分の分布に対してクラス分類適応処理を適用することで中間周期における周波数成分の予測が行われる。
【００７０】
その結果、周波数成分分布Ｇ1 （ｋ1 ，ｋ2 ）およびＧ2 （ｋ1 ，ｋ2 ）における０≦ｋ1 ≦Ｍ−１かつ０≦ｋ2 ≦Ｎ−１（ブロックサイズ：Ｍ×Ｎ）という条件が０≦ｋ1 ≦Ｘ−１かつ０≦ｋ2 ≦Ｙ−１（ブロックサイズ：Ｘ×Ｙ）という条件に拡大される。ここで、Ｘ、Ｙは、予測された中間周期の分だけＭ、Ｎより増加することになる。こうして新たに予測された周波数成分分布Ｇ1 （ｋ1 ，ｋ2 ）およびＧ2 （ｋ1 ，ｋ2 ）をもとにクロスパワースペクトラムＧ1 およびＧ2 を用いて式（１６）の位相相関（位相差行列） exp（-jφ）を算出する。
【００７１】
exp（−ｊφ）＝（Ｇ1 ・Ｇ2 * ）／｜Ｇ1 ・Ｇ2 * ｜    （１６）
【００７２】
さらに、位相相関（位相差行列）に対し式（１７）の逆フーリエ変換により位相相関関数ｄ（ｉ1 ，ｉ2 ）を得る。
【００７３】
【数１２】
0003707125.tif 000013
（０≦ｉ1 ≦Ｘ−１，０≦ｉ2 ≦Ｙ−１）
【００７４】
式（１７）は、入力信号より詳細な位置における位相相関値が示されることになるので、位相相関関数ｄ（ｉ1 ，ｉ2 ）において検出されるピークの位置は、１画素単位より高い精度の動きベクトルとなる。
【００７５】
ここで、上述したこの発明の一実施例の処理を要約すれば、入力された画像信号に対して、ブロック分割が行われ、ブロック分割された画像信号は、フーリエ変換された後、クラス分類適応処理（予測法または重心法）が施され、フーリエ変換により得られた周波数成分から中間周期における周波数成分の予測が行われ、予測された予測周波数成分を含む画像信号に対して、位相相関法を適用して現画像と過去画像との位相相関が検出され、検出された位相相関に基づいて１画素単位より高い精度の動きベクトルが検出される。
【００７６】
【発明の効果】
この発明に依れば、フーリエ変換により得られた周波数成分から中間周期における周波数成分の予測がクラス分類適応処理を適用して行われ、その予測結果に基づいて１画素単位より高い精度の動きベクトルの検出が可能となる。また、検出された動きベクトルの精度が向上する。従って、この発明を高能率符号化に適用すると圧縮効率を向上することができる。
【図面の簡単な説明】
【図１】この発明が適用される動きベクトル検出装置の一実施例である。
【図２】中間周期における周波数成分を説明するための略線図である。
【図３】この発明が適用される動きベクトル検出装置の変形例である。
【図４】この発明が適用される動きベクトル検出装置の変形例である。
【図５】この発明が適用される動きベクトル検出装置の他の実施例である。
【図６】この発明の動きベクトル検出装置の予測係数の学習方法の一例を示すフローチャートである。
【図７】この発明の動きベクトル検出装置の重心法の学習方法の一例を示すフローチャートである。
【符号の説明】
２・・・ブロック生成部、３、７・・・フーリエ変換部、４、８・・・クラス分類適応処理部、５・・・位相相関算出部、６・・・フレームメモリ、８・・・ベクトル検出部
【図１】
0003707125.tif 000014
【図２】
0003707125.tif 000015
【図３】
0003707125.tif 000016
【図４】
0003707125.tif 000017
【図５】
0003707125.tif 000018
【図６】
0003707125.tif 000019
【図７】
0003707125.tif 000020