(57)【特許請求の範囲】
【請求項１】
予め定められた基準フレーム（ＰＲＦ）に基づいて、現フレーム内のＮ×Ｍ（Ｎ及びＭは各々予め定められた正の整数）個の画素からなるブロックに対して動き推定を行う動き推定装置であって、
前記現フレームのブロックと前記ＰＲＦとに基づいて、前記現フレームのブロックと対応する基準ブロック（ＣＲＢ）との間の差分を示す、Ｎ×Ｍ個の画素からなる差分ブロックを生成する差分ブロック生成手段と、
ＡＶが前記差分ブロックのアクティビティ値であり、Ｋ及びＬが各々予め定められた正の整数でＮ及びＭの約数であり、ＴＨ１、ＴＨ２及びＴＨ３が各々予め定められた第１、第２及び第３閾値（ＰＴＶ）でＴＨ１＜ＴＨ２＜ＴＨ３の関係を有するとき、ＡＶ≦ＴＨ１の場合、ゼロ・ベクトルを前記現フレームの前記ブロックに対する動きベクトルとして供給し、ＴＨ１＜ＡＶ≦ＴＨ２の場合は、前記ブロックを第１ブロックとして供給し、ＡＶ＞ＴＨ２の場合は、前記ブロックをＫ×Ｌ個の画素からなる複数のサブブロックに分割して、ＴＨ２＜ＡＶ≦ＴＨ３の場合は、前記複数のサブブロックを第２ブロックとして供給し、ＡＶ＞ＴＨ３の場合は、前記複数のサブブロックを第３ブロックとして供給する動き推定経路決定手段と、
所定のフル探索技法を採用する第１ブロック整合法を用いて、サンプル基準フレーム（ＳＲＦ）における予め定められた第１探索領域（ＰＳＲ）内のサンプル・ブロックに対する動き推定を行って、第１動きベクトルと第１補助信号とを生成し、前記第１動きベクトルと前記第１補助信号とを組合わせて、前記ブロックに対する第１動き推定データを生成する第１動き推定手段であって、前記サンプル・ブロック及び前記ＳＲＦは各々、所定のサブサンプリング技法を用いて前記第１ブロック及び前記ＰＲＦをサブサンプリングして求められ、前記第１補助信号は前記サンプル・ブロックに対して動き推定が行われたことを表す、前記第１動き推定手段と、
所定の対数探索技法を採用する第２ブロック整合法を用いて、前記ＰＲＦにおける第２のＰＳＲ内の前記第２ブロック各々に対する動き推定を行って、前記第２ブロック各々に対応する第２動きベクトルの組と第２補助信号とを生成し、前記第２動きベクトルの組と前記第２補助信号とを組合わせて、前記ブロックに対する第２動き推定データを供給する第２動き推定手段であって、前記第２補助信号は前記第２ブロックの各々に対して動き推定が行われたことを表す、前記第２動き推定手段と、
所定のフル探索技法を採用する第３ブロック整合法を用いて、前記ＰＲＦにおける第３のＰＳＲ内の前記第３ブロック各々に対する動き推定を行って、前記第３ブロック各々に対応する第３動きベクトルの組と第３補助信号を生成し、前記第３動きベクトルの組と前記第３補助信号とを組合わせて、前記ブロックに対する第３動き推定データを供給する第３動き推定手段であって、前記第３補助信号は前記第３ブロックの各々に対する動き推定が行ったことを表す、前記第３動き推定手段とを含むことを特徴とする動き推定装置。
【請求項２】
前記差分ブロック生成手段が、
前記現フレーム内の前記ブロックと同一の所に位置する前記ＰＲＦ内の基準ブロックを前記ＣＲＢとして抽出する基準ブロック抽出手段と、
前記ブロックから前記ＣＲＢを減算して前記差分ブロックを供給する減算手段とを有することを特徴とする請求項１に記載の動き推定装置。
【請求項３】
前記動き推定経路決定手段が、
前記ＡＶを計算し、ＡＶ≦ＴＨ１の場合、前記ゼロ・ベクトルを前記ブロックに対する前記動きベクトルとして供給し、ＡＶ＞ＴＨ１の場合は、前記ＡＶ及び前記ブロックを供給する第１動き推定経路決定手段と、
ＴＨ１＜ＡＶ≦ＴＨ２の場合、前記ブロックを前記第１ブロックとして供給し、ＡＶ＞ＴＨ２の場合には、前記ＡＶ及び前記ブロックを供給する第２動き推定経路決定手段と、
前記第２動き推定経路決定手段から入力された前記ブロックを、Ｋ×Ｌ個の画素からなる複数のサブブロックに分割するブロック分割手段と、
ＴＨ２＜ＡＶ≦ＴＨ３の場合、前記サブブロックをＫ×Ｌ個の画素からなる第２サブブロックの組として供給し、ＡＶ＞ＴＨ３の場合は、前記サブブロックをＫ×Ｌ個の画素からなる第３サブブロックの組として供給する第３動き推定経路決定手段とを含むことを特徴とする請求項２に記載の動き推定装置。
【請求項４】
前記Ｎ及びＫが、各々、前記Ｍ及びＬと等しいことを特徴とする請求項１に記載の動き推定装置。
【請求項５】
前記Ｎ及びＫが、各々、１６及び４であることを特徴とする請求項４に記載の動き推定装置。
【請求項６】
前記ＡＶが、前記差分ブロックの各画素の値に対する平均絶対誤差及び平均二乗誤差のうちのいずれかであることを特徴とする請求項１に記載の動き推定装置。
【請求項７】
前記サンプル・ブロックの大きさがＨ×Ｊ個の画素からなり、前記第１のＰＳＲの大きさがＸ×Ｙ個の画素からなり、前記Ｘ及びＹが各々、予め定められた正の整数で前記Ｈ及びＪより大きいことを特徴とする請求項１に記載の動き推定装置。
【請求項８】
前記所定の対数探索技法が３段階対数探索技法であり、前記第２のＰＳＲの大きさがＰ×Ｑ個の画素からなり、前記Ｐ及びＱが各々３の倍数であることを特徴とする請求項１に記載の動き推定装置。
【請求項９】
前記Ｐ及びＱが、各々、予め定められた正の整数で前記Ｎ及びＭより大きいことを特徴とする請求項８に記載の動き推定装置。
【請求項１０】
Ｕ及びＶが各々予め定められた正の整数で前記Ｋ及びＬより大きいとき、前記第３のＰＳＲの大きさがＵ×Ｖ個の画素からなることを特徴とする請求項１に記載の適応的動き推定装置。
【請求項１１】
予め定められた基準フレーム（ＰＲＦ）に基づいて、現フレーム内のＮ×Ｍ（Ｎ及びＭは各々予め定められた正の整数）個の画素からなるブロックに対して動き推定を行う動き推定方法であって、
前記現フレームのブロックと前記ＰＲＦとに基づいて、前記現フレームのブロックと対応する基準ブロック（ＣＲＢ）との間の差分を示す、Ｎ×Ｍ個の画素からなる差分ブロックを生成する第１段階と、
ＡＶが前記差分ブロックのアクティビティ値であり、Ｋ及びＬが各々予め定められた正の整数でＮ及びＭの約数であり、ＴＨ１、ＴＨ２及びＴＨ３が各々予め定められた第１、第２及び第３閾値（ＰＴＶ）でＴＨ１＜ＴＨ２＜ＴＨ３の関係を有するとき、ＡＶ≦ＴＨ１の場合、ゼロ・ベクトルを前記現フレームの前記ブロックに対する動きベクトルとして供給し、ＴＨ１＜ＡＶ≦ＴＨ２の場合は、前記ブロックを第１ブロックとして供給し、ＡＶ＞ＴＨ２の場合は、前記ブロックをＫ×Ｌ個の画素からなる複数のサブブロックに分割して、ＴＨ２＜ＡＶ≦ＴＨ３の場合は、前記複数のサブブロックを第２ブロックとして供給し、ＡＶ＞ＴＨ３の場合は、前記複数のサブブロックを第３ブロックとして供給する第２段階と、
所定のフル探索技法を採用する第１ブロック整合法を用いて、サンプル基準フレーム（ＳＲＦ）における予め定められた第１探索領域（ＰＳＲ）内のサンプル・ブロックに対する動き推定を行って、第１動きベクトルと第１補助信号とを生成し、前記第１動きベクトルと前記第１補助信号とを組合わせて、前記ブロックに対する第１動き推定データを生成する第３段階であって、前記サンプル・ブロック及び前記ＳＲＦは各々、所定のサブサンプリング技法を用いて前記第１ブロック及び前記ＰＲＦをサブサンプリングして求められ、前記第１補助信号は前記サンプル・ブロックに対して動き推定が行われたことを表す、前記第３段階と、
所定の対数探索技法を採用する第２ブロック整合法を用いて、前記ＰＲＦにおける第２のＰＳＲ内の前記第２ブロック各々に対する動き推定を行って、前記第２ブロック各々に対応する第２動きベクトルの組と第２補助信号とを生成し、前記第２動きベクトルの組と前記第２補助信号とを組合わせて、前記ブロックに対する第２動き推定データを供給する第４段階であって、前記第２補助信号は前記第２ブロックの各々に対して動き推定が行われたことを表す、前記第４段階と、
所定のフル探索技法を採用する第３ブロック整合法を用いて、前記ＰＲＦにおける第３のＰＳＲ内の前記第３ブロック各々に対する動き推定を行って、前記第３ブロック各々に対応する第３動きベクトルの組と第３補助信号を生成し、前記第３動きベクトルの組と前記第３補助信号とを組合わせて、前記ブロックに対する第３動き推定データを供給する第５段階であって、前記第３補助信号は前記第３ブロックの各々に対する動き推定が行ったことを表す、前記第５段階とを含むことを特徴とする動き推定方法。
【請求項１２】
前記第１段階が、
前記現フレーム内の前記ブロックと同一の所に位置する前記ＰＲＦ内の基準ブロックを前記ＣＲＢとして抽出する段階と、
前記ブロックから前記ＣＲＢを減算して前記差分ブロックを供給する段階
とを有することを特徴とする請求項１１に記載の動き推定方法。
【請求項１３】
前記第２段階が、
前記ＡＶを計算し、ＡＶ≦ＴＨ１の場合、前記ゼロ・ベクトルを前記ブロックに対する前記動きベクトルとして供給し、ＡＶ＞ＴＨ１の場合は、前記ＡＶ及び前記ブロックを供給する段階と、
ＴＨ１＜ＡＶ≦ＴＨ２の場合、前記ブロックを前記第１ブロックとして供給し、ＡＶ＞ＴＨ２の場合には、前記ＡＶ及び前記ブロックを供給する段階と、
前記ブロックをＫ×Ｌ個の画素からなる複数のサブブロックに分割する段階と、
ＴＨ２＜ＡＶ≦ＴＨ３の場合、前記サブブロックをＫ×Ｌ個の画素からなる第２サブブロックの組として供給し、ＡＶ＞ＴＨ３の場合は、前記サブブロックをＫ×Ｌ個の画素からなる第３サブブロックの組として供給する段階とを含むことを特徴とする請求項１２に記載の動き推定方法。
【請求項１４】
前記Ｎ及びＫが、各々、前記Ｍ及びＬと等しいことを特徴とする請求項１１に記載の動き推定方法。
【請求項１５】
前記Ｎ及びＫが、各々、１６及び４であることを特徴とする請求項１４に記載の動き推定方法。
【請求項１６】
前記ＡＶが、前記差分ブロックの各画素の値に対する平均絶対誤差及び平均二乗誤差のうちのいずれかであることを特徴とする請求項１１に記載の動き推定方法。
【請求項１７】
前記サンプル・ブロックの大きさがＨ×Ｊ個の画素からなり、前記第１のＰＳＲの大きさがＸ×Ｙ個の画素からなり、前記Ｘ及びＹが各々、予め定められた正の整数で前記Ｈ及びＪより大きいことを特徴とする請求項１１に記載の動き推定方法。
【請求項１８】
前記所定の対数探索技法が３段階対数探索技法であり、前記第２のＰＳＲの大きさがＰ×Ｑ個の画素からなり、前記Ｐ及びＱが各々３の倍数であることを特徴とする請求項１７に記載の動き推定方法。
【請求項１９】
前記Ｐ及びＱが、各々、予め定められた正の整数で前記Ｎ及びＭより大きいことを特徴とする請求項１８に記載の動き推定方法。
【請求項２０】
Ｕ及びＶが各々予め定められた正の整数で前記Ｋ及びＬより大きいとき、前記第３のＰＳＲの大きさがＵ×Ｖ個の画素からなることを特徴とする請求項１１に記載の適応的動き推定方法。
【発明の詳細な説明】
【０００１】
（技術分野）  本発明は、動き推定方法及び装置に関し、特に、適応的動き推定方法及び装置に関する。
【０００２】
（背景技術）  テレビ電話、電子会議及び高精細度テレビジョン（ＨＤＴＶ）システムのようなディジタル・ビデオ・システムにおいて、映像フレーム信号の映像ライン信号は画素と呼ばれる一連のディジタル・データからなるので、映像フレーム信号を定義するためには、相当量のデータが必要である。
【０００３】
しかし、従来の伝送チャネルで使用可能な周波数領域が制限されているので、特に、テレビ電話、電子会議システムのような低ビットレートの映像信号符号化器の場合、そのような相当量のディジタル・データを該当チャネルを通じて伝送するためには、多様なデータ圧縮技法を用いて伝送すべきデータの量を圧縮または低減する必要がある。
【０００４】
多様なビデオ圧縮技法のうち、動き補償フレーム間符号化技法は隣接する２つのビデオ・フレーム間で映像信号の時間的冗長性を用いるもので、最も効率性よい圧縮技法の１つとして知られている。
【０００５】
この動き補償フレーム間符号化技法において、現フレーム・データは、現フレーム及び前フレームにおける対応する画素データ間の動き推定値及び差分値に基づいて、その前フレーム・データから予測される。
【０００６】
従来提案されている動きベクトル推定技法のうち１つが、ブロック整合技法である。このブロック整合技法で、現フレームは同一の大きさの複数の探索ブロックに分けられ、前フレームは現フレーム内の探索ブロックと同数の大きい探索領域に分割される。ここで、各探索ブロックは典型的に８×８個〜３２×３２個の画素からなる大きさを有し、各探索領域は探索ブロックと同じ大きさの複数の候補ブロックにも分割される。
【０００７】
現フレーム内の探索ブロックに対する動きベクトルを決定するために、現フレームの探索ブロックと、前フレーム内の対応する探索領域に含まれる複数の候補ブロックの各々との間の類似度が計算される。
【０００８】
現フレームの探索ブロックと対応する探索領域内の各候補ブロックとの間の類似度は、平均二乗誤差（ＭＳＥ）関数または平均絶対誤差（ＭＡＥ）関数のような誤差関数を用いて計算される。ＭＳＥ及びＭＡＥ関数は、下記式のように示される。
【０００９】
【数１】
0004127961.tif 000002
【００１０】
ここで、Ｈ×Ｖは探索ブロックの大きさ、Ｉ（ｉ，ｊ）は探索ブロックで座標（ｉ，ｊ）に位置する画素の輝度レベル、Ｐ（ｉ，ｊ）は候補ブロックで座標（ｉ，ｊ）に位置する対応画素の輝度レベルを各々表す。
【００１１】
従来のブロック整合技法では、探索ブロックと、最適整合の候補ブロック、即ち、誤差関数を最少化する候補ブロックとの間の変位ベクトルが動きベクトル（以下、「動きベクトル」と称する）として選択される。このような動きベクトルを求めるために用いられる技法は、通常、フル探索技法と呼ばれることに注意されたい。
【００１２】
その後、動きベクトルと、探索ブロックと最適整合の候補ブロックとの間の差分を表す誤差信号とは符号化され受信端に伝送される。受信端では、受け取った符号化動きベクトル及び符号化誤差信号を用いて、その前フレームに基づきブロック単位で現フレームを復元する。
【００１３】
一方、符号化データの量及びその処理時間をより減らすために、多様なサブサンプリング技法のうちの１つを採用するブロック整合方法を用いてブロックに対する動き推定（ＭＥ）を行う装置が知られている。
【００１４】
例えば、図１を参照すると、所定のサブサンプリング技法を採用するブロック整合法を用いて、ブロックに対する動き推定を行う従来の動き推定装置１００のブロック図が示されている。この動き推定装置１００は、本特許出願と出願人を同じくする係属中の国際出願（国際出願日：１９９８年８月７日）に、「MOTION ESTIMATION METHOD AND APPARATUS EMPLOYING SUBSAMPLING TECHNIQUE」なる名称で開示されているものと同一である。
【００１５】
この動き推定装置１００は、ブロック・サブサンプリング部１１０、基準フレーム（ＲＦ）サブサンプリング部１１５、最適整合候補ブロック検出部１２０、動きベクトル生成部１２２を有する。ブロック・サブサンプリング部１１０は、ブロック分割部１０２、第１決定部１０４、第２決定部１０６及びサンプル・ブロック生成部１０８を有する。
【００１６】
上記の動き推定装置１００において、現フレーム内のＮ×Ｍ個の画素からなるブロックが現フレーム・メモリ（図示せず）からラインＬ１１を介してブロック分割部１０２へ入力される。ここで、Ｎ及びＭは各々予め定められた正の整数である。また、所定の基準フレーム（ＰＲＦ）、例えば、前フレームが基準フレーム・メモリ（図示せず）からラインＬ１３を介して基準フレーム・サブサンプリング部１１５へ入力される。ブロック分割部１０２は、受け取ったブロックをＫ×Ｌ個の画素からなる複数のサブブロック（ＳＢ）に分け、分けられたＳＢを、同一群内の全てのＳＢは互いに対角線方向に隣接するという規則に基づいて、Ａ群のＳＢとＢ群のＳＢとに分類する。ここで、Ｋ及びＬは各々予め定められた正の整数であって、Ｎ及びＭの約数である。
【００１７】
その後、ブロック分割部１０２はＡ群のＳＢ（即ち、ＡＳＢ）及びＢ群のＳＢ（即ち、ＢＳＢ）を、各々ラインＬ１３及びＬ１４を介して第１決定部１０４と第２決定部１０６へ供給する。
【００１８】
第１決定部１０４は、ＡＳＢ内の画素のうちで、所定の第１条件を満たす画素をＡＳＢに対するＡ群の代表画素として決定する。このようにして、第１決定部１０４は、全てのＡＳＢに対応するＡ群の代表画素（ＡＲＰ）を決定し、これらのＡＲＰをラインＬ１５を介してサンプル・ブロック生成部１０８へ供給する。
【００１９】
第２決定部１０６は、ＢＳＢ内の画素のうちで、所定の第２条件を満たす画素をＢＳＢに対するＢ群の代表画素として決定する。第１条件と第２条件は互いに異なる条件である。通常、第１条件は該当画素がＡＳＢ内の画素の中で最大の画素値を有することを表し、第２条件は該当画素がＢＳＢ内の画素の中で最小の画素値を有することを表す。
【００２０】
こうして、第２決定部１０６は、全てのＢＳＢに対応するＢ群の代表画素（ＢＲＰ）を決定した後、該当ＢＲＰをラインＬ１６を介してサンプル・ブロック生成部１０８へ供給する。サンプル・ブロック生成部１０８はＡＲＰとＢＲＰとを組合わせて、サンプル・ブロックを生成する。
【００２１】
一方、ＲＦサブサンプリング部１１５は、ブロック・サブサンプリング部がサンプル・ブロックを生成するのと同じ手法にて、ＰＲＰに対するサブサンプリングを行って、サンプル基準フレーム（ＳＲＦ）をラインＬ１８を通して発生する。
【００２２】
その後、最適整合候補ブロック検出部１２０はサンプル・ブロック及びＳＲＦに基づき、フル探索技法を用いる所定のブロック整合技法を使用して、ＳＲＦの所定探索領域内の各候補ブロックのうちで、サンプル・ブロックに対して最小の誤差値をもたらす候補ブロックを最適整合候補ブロックとして検出する。その後、最適整合候補ブロック検出部１２０は検出した最適整合の候補ブロックを動きベクトル生成部１２２へ供給する。
【００２３】
この動きベクトル生成部１２２は、サンプル・ブロックと最適整合の候補ブロックとの間の変位を計算して、サンプル・ブロックに対応する動きベクトル（ＭＶ）として生成する。
【００２４】
また、従来の動き推定方法の他の一つであって、対数探索技法を採用するブロック整合法がある（ＭＰＥＧ、International Organization for Standardization, Coding of Moving Pictures and Associated Audio, ISO/IEC/JTC1/SC29, March 26, 1992, 2-Annex D, PP D-32 To D-33参照）。
【００２５】
図２Ａ及び図２Ｂは各々は、対数探索技法を採用する従来のブロック整合法を説明するための図面である。以下、図２Ａ及び図２Ｂを参照して、従来のブロック整合法を説明する。
【００２６】
対数探索技法を採用する従来のブロック整合法において、図２Ａの如く、まず９個の第１グリッド（ＦＧ）、例えば、ＦＧ１〜ＦＧ９が検出される。各ＦＧは対応する第１候補ブロック（ＦＣＢ）、例えば、ＦＣＢ１〜ＦＣＢ２を有する。このＦＧの組は、ＰＲＦにおけるＦ×Ｇ個の画素からなる探索領域内の（Ｆ／３）×（Ｇ／３）個の画素からなる四角形を表すことに注目されたい。ここで，Ｆ及びＧは各々予め定められた正の整数で、３の倍数である。図２Ａは、各々が対応するＦＣＢを有する、９個のＦＧを有する探索領域の一例２００を示す。
【００２７】
９個のＦＧのうち、探索ブロックに対する最適整合のＦＣＢを有するＦＧが第１選択グリッドとして選択される。各ＦＧの中心点は各々対応する各ＦＣＢの中心点に一致することに注目されたい。
【００２８】
その後、第１選択グリッドは各々がＨ×Ｊ個の画素からなる複数の第２グリッド（ＳＧ）に分割される。Ｈ及びＪは予め定められた正の整数であって、３の約数である。図２Ｂは、ＳＧ１〜ＳＧ４を有する第１選択グリッドの例２１０を示す。図２Ｂの如く、各ＳＧは対応する第２候補ブロック（ＳＣＢ）、例えば、ＳＣＢ１〜ＳＣＢ４を有することに注目されたい。
【００２９】
然る後、ＳＧの組のうち、探索ブロックに対する最適整合のＳＣＢを有するＳＧが第２選択グリッドとして選択される。各ＳＧの中心点は対応する各ＳＣＢの中心点に一致することに注目されたい。
同様に、多段対数探索手続きが行われるが、その中で３段階の対数探索法が広く用いられる。
【００３０】
３段階の対数探索法において、フル探索技法を用いて、第２選択グリッドの複数の第３候補ブロック（ＴＳＢ）のうち、探索ブロックに対して最小の誤差関数をもたらすＴＳＢが最後の最適整合候補ブロックとして決定される。結果として、探索ブロックと最後の最適整合候補ブロックとの間の動きベクトルが求められる。各ＦＣＢ、各ＳＣＢ及び各ＴＣＢの大きさは探索ブロックの大きさに等しいことに注目されたい。
【００３１】
フル探索技法のみ採用しているブロック整合技法は高精度の動き推定が可能であるものの、計算量が多く処理時間が長くなり、実時間処理が困難であるという不都合がある。
【００３２】
また、対数探索技法を採用するブロック整合法の場合は、計算時間は短縮されるが、動き推定の精度が低下するという不都合がある。
また、サブサンプリング技法を採用するブロック整合法の場合は、上記両ブロック整合法に比べて、処理時間や動き推定の精度面で見る時、中間レベルの効果を奏する。しかし、このブロック整合法は、フレームのブロックに対する動き推定の処理時間短縮及び精度向上には限界を有するという不都合がある。
【００３３】
従って、前述した従来の各ブロック整合法に比べて、処理時間をより一層短縮させ、高精度の動き推定を行うためには、フル探索技法、サブサンプリング技法及び対数探索技法を適応的に採用する、適応的、即ちハイブリッド・ブロック整合技法を導入する必要がある。
【００３４】
（発明の開示）
従って、本発明の主な目的は、現フレーム内のブロックと所定の基準フレーム内の対応する基準ブロックとの間の差分を計算して、現フレームのブロックに対する動き推定を適応的に行い得る適応的動き推定方法及び装置を提供することにある。
【００３５】
上記目的を達成するために、本発明の好適実施例によれば、予め定められた基準フレーム（ＰＲＦ）に基づいて、現フレーム内のＮ×Ｍ（Ｎ及びＭは各々予め定められた正の整数）個の画素からなるブロックに対して動き推定を行う動き推定装置であって、前記現フレームのブロックと前記ＰＲＦとに基づいて、前記現フレームのブロックと対応する基準ブロック（ＣＲＢ）との間の差分を示す、Ｎ×Ｍ個の画素からなる差分ブロックを生成する差分ブロック生成手段と、
ＡＶが前記差分ブロックのアクティビティ値であり、Ｋ及びＬが各々予め定められた正の整数でＮ及びＭの約数であり、ＴＨ１、ＴＨ２及びＴＨ３が各々予め定められた第１、第２及び第３閾値（ＰＴＶ）でＴＨ１＜ＴＨ２＜ＴＨ３の関係を有するとき、ＡＶ≦ＴＨ１の場合、ゼロ・ベクトルを前記現フレームの前記ブロックに対する動きベクトルとして供給し、ＴＨ１＜ＡＶ≦ＴＨ２の場合は、前記ブロックを第１ブロックとして供給し、ＡＶ＞ＴＨ１の場合には、前記ブロックをＫ×Ｌ個の画素からなる複数のサブブロックに分割する動き推定経路決定手段と、
所定のフル探索技法を採用する第１ブロック整合法を用いて、サンプル基準フレーム（ＳＲＦ）における予め定められた第１探索領域（ＰＳＲ）内のサンプル・ブロックに対する動き推定を行って、第１動きベクトルと第１補助信号とを生成し、前記第１動きベクトルと前記第１補助信号とを組合わせて、前記ブロックに対する第１動き推定データを生成する第１動き推定手段であって、前記サンプル・ブロック及び前記ＳＲＦは各々、所定のサブサンプリング技法を用いて前記第１ブロック及び前記ＰＲＦをサブサンプリングして求められ、前記第１補助信号は前記サンプル・ブロックに対して動き推定が行われたことを表す、前記第１動き推定手段と、
所定の対数探索技法を採用する第２ブロック整合法を用いて、前記ＰＲＦにおける第２のＰＳＲ内の前記第２ブロック各々に対する動き推定を行って、前記第２ブロック各々に対応する第２動きベクトルの組と第２補助信号とを生成し、前記第２動きベクトルの組と前記第２補助信号とを組合わせて、前記ブロックに対する第２動き推定データを供給する第２動き推定手段であって、前記第２補助信号は前記第２ブロックの各々に対して動き推定が行われたことを表す、前記第２動き推定手段と、
所定のフル探索技法を採用する第３ブロック整合法を用いて、前記ＰＲＦにおける第３のＰＳＲ内の前記第３ブロック各々に対する動き推定を行って、前記第３ブロック各々に対応する第３動きベクトルの組と第３補助信号を生成し、前記第３動きベクトルの組と前記第３補助信号とを組合わせて、前記ブロックに対する第３動き推定データを供給する第３動き推定手段であって、前記第３補助信号は前記第３ブロックの各々に対する動き推定が行ったことを表す、前記第３動き推定手段とを含むことを特徴とする動き推定装置が提供される。
【００３６】
（発明の実施の形態）
以下、本発明の好適な実施例について、図面を参照してより詳しく説明する。図３を参照すると、本発明による適応的動き推定装置３００のブロック図が示されている。この動き推定装置３００は差分ブロック形成部３１０、動き推定（ＭＥ）経路決定部３２０、第１のＭＥ部３５０、第２のＭＥ部３６０、第３のＭＥ部３７０及び多重化器（ＭＵＸ）３８０を有する。
【００３７】
差分ブロック形成部３１０は減算器３１４及び基準ブロック抽出部３１６を有する。ＭＥ経路決定部３２０は第１のＭＥ経路決定部３２１、第２のＭＥ経路決定部３２３、ブロック分割部３２４及び第３のＭＥ経路決定部３２５を有する。
【００３８】
本発明の動き推定装置３００において、まず、現フレーム内でＮ×Ｍ個の画素からなるブロックが現フレーム・メモリ（図示せず）からラインＬ３０を介して減算器３１４及び第１のＭＥ経路決定部３２１へ入力される。ここで、Ｎ及びＭは各々予め定められた正の整数である。
【００３９】
また、所定の基準フレーム（ＰＲＦ）が基準フレーム・メモリ（図示せず）からラインＬ３１を介して基準ブロック抽出部３１６、第１のＭＥ部３５０、第２のＭＥ部３６０及び第３のＭＥ部３７０へ入力される。通常、ＰＲＦは所定の復元方法により復元される前フレームであることに注目されたい。
【００４０】
差分ブロック形成部３１０はＮ×Ｍ個の画素からなる差分ブロックを生成する。この差分ブロックは、受け取った現フレームのブロック及びＰＲＦに基づいた、該現フレームのブロックと対応する基準ブロック（ＣＲＢ）との間の差分を示す。
【００４１】
詳述すると、差分ブロック形成部３１０において、基準ブロック抽出部３１６は先ず、現フレームのブロックと同じ位置にある、ＰＲＦ内の基準ブロックをＣＲＢとして抽出し、該ＣＲＢを減算器３１４へ供給する。その後、減算器３１４は現フレームのブロックからＣＲＢを減算し、計算結果としての差分ブロックをラインＬ３２を通して第１のＭＥ経路決定部３２１へ供給する。
【００４２】
ＭＥ経路決定部３２０は、ＡＶが差分ブロックのアクティビティ値であるとき、ＡＶ≦ＴＨ１の場合、ゼロ・ベクトルを現フレームのブロックに対する動きベクトル（動きベクトル）としてラインＬ３３を介してＭＵＸ３８０に供給し、ＴＨ１＜ＡＶ≦ＴＨ２の場合は、現フレームのブロックを第１ブロックとしてラインＬ３５を介して第１のＭＥ部３５０に供給し、ＡＶ＞ＴＨ２の場合には、現フレームのブロックをＫ×Ｌ個の画素からなる複数のサブブロックに分割する。ここで、Ｋ及びＬは各々予め定められた正の整数であって、Ｎ及びＭの約数であり、ＴＨ１、ＴＨ２及びＴＨ３は各々予め定められた第１、第２及び第３閾値（ＰＴＶ）であって、ＴＨ１＜ＴＨ２＜ＴＨ３の関係を有する。
【００４３】
本発明の好適実施例によれば、ＡＶは差分ブロック内の各画素の値に対する平均絶対誤差及び平均二乗誤差のうちのいずれかであることに注目されたい。
【００４４】
次に、ＭＥ経路決定部３２０は、ＴＨ２＜ＴＨ３の条件下で、ＴＨ２＜ＡＶ≦ＴＨ３の場合、各サブブロックをＫ×Ｌ個の画素からなる第２ブロックの組としてラインＬ３８を介して第２のＭＥ部３６０に供給し、ＡＶ＞ＴＨ３の場合は、各サブブロックをＫ×Ｌ個の画素からなる第３ブロックの組としてラインＬ３９を介して第３のＭＥ部３７０に供給する。本発明の好適実施例によれば、Ｎ及びＫは各々Ｍ及びＬと等しい。普通、Ｎ及びＫは例えば、各々１６及び４である。
【００４５】
詳述すると、ＭＥ経路決定部３２０において、第１のＭＥ経路決定部３２１は先ずＡＶを計算し、ＡＶ≦ＴＨ１の場合、ゼロ・ベクトルを現フレームのブロックに対する動きベクトルとしてラインＬ３３を介してＭＵＸ３８０に供給し、ＡＶ＞ＴＨ１の場合は、ＡＶ及び該ブロックをラインＬ３４を介して第２のＭＥ経路決定部３２３に供給する。
【００４６】
第２のＭＥ経路決定部３２３は、ＴＨ１＜ＡＶ≦ＴＨ２の場合、第１のＭＥ経路決定部３２１から入力されたブロックを第１ブロックとしてラインＬ３５を介して第１のＭＥ部３５０に供給し、ＡＶ＞ＴＨ２の場合には、ＡＶ及び該ブロックをラインＬ３６を介して第３のＭＥ経路決定部３２５に供給すると共に、該ブロックをラインＬ３７を介してブロック分割部３２４にも供給する。
ブロック分割部３２４は、第２のＭＥ決定部３２３からラインＬ３７を介して入力されたブロックを、Ｋ×Ｌ個の画素からなる複数のサブブロックに分割して、該サブブロックを第３のＭＥ経路決定部３２５に供給する。
【００４７】
第３のＭＥ経路決定部３２５は、ＴＨ２＜ＡＶ≦ＴＨ３の場合、ブロック分割部３２４から入力されたサブブロックをＫ×Ｌ個の画素からなる第２サブブロックの組としてラインＬ３８を介して第２のＭＥ部３６０に供給し、ＡＶ＞ＴＨ３の場合は、該サブブロックをＫ×Ｌ個の画素からなる第３サブブロックの組としてラインＬ３９を介して第３のＭＥ部３７０に供給する。
【００４８】
第１のＭＥ部３５０は、所定のフル探索技法を採用する第１ブロック整合法を用いて、サンプル基準フレーム（ＳＲＦ）における予め定められた第１探索領域（ＰＳＲ）内のサンプル・ブロックに対する動き推定を行って、第１動きベクトルと第１補助信号とを生成する。ここで、サンプル・ブロック及びＳＲＦは各々、所定のサブサンプリング技法を用いて第１ブロック及びＰＲＦをサブサンプリングして得られ、第１補助信号は動き推定がサンプル・ブロックに対して行われたことを表す。
【００４９】
本発明の好適実施例によれば、サンプル・ブロックの大きさはＨ×Ｊ個の画素からなる大きさであり、第１のＰＳＲの大きさはＸ×Ｙ個の画素からなる大きさである。ここで、Ｈ、Ｊ、Ｘ及びＹは全て予め定められた正の整数であって、Ｈ及びＪは  Ｘ及びＹより大きい。例えば、図４Ａを参照すると、Ｘ×Ｙ個の画素からなる第１のＰＳＲ４００とＨ×Ｊ個の画素からなるサンプル・ブロック４１０が示されている。
次に、第１のＭＥ部３５０は第１動きベクトルと第１の補助信号を組合わせて、該ブロックに対する第１動き推定データを生成し、ラインＬ４０を介してＭＵＸ３８０を供給する。
【００５０】
第２のＭＥ部３６０は、所定の対数探索技法を採用する第２ブロック整合法を用いて、ＳＲＦにおける第２のＰＳＲ内の第２ブロック各々に対する動き推定を行って、第２ブロック各々に対応する第２動きベクトルの組と第２補助信号とを生成し、該第２動きベクトルの組と第２補助信号とを組合わせて、該ブロックに対する第２動き推定データをラインＬ４１を介してＭＵＸ３８０に供給する。ここで、第２補助信号は、第２ブロックの各々に対して動き推定が行われたことを表す。
【００５１】
本発明の好適実施例によれば、所定の対数探索技法は３段階対数探索技法であり、第２のＰＳＲの大きさはＰ×Ｑ個の画素からなる大きさであり、Ｐ及びＱは各々３の倍数である。また、本発明の好適実施例によれば、Ｐ及びＱは各々予め定められた正の整数であって、Ｎ及びＭより大きい。例えば、図４Ｂを参照すると、Ｐ×Ｑ個の画素からなる第２のＰＳＲ４３０とＫ×Ｌ個の画素からなる第２ブロック４５０が示されている。
【００５２】
第３のＭＥ部３７０は、所定のフル探索技法を採用する第３ブロック整合法を用いて、ＳＲＦにおける第３のＰＳＲ内の第３ブロック各々に対する動き推定を行って、第３ブロック各々に対応する第３動きベクトルの組と第３補助信号を生成し、該第３動きベクトルの組と第３補助信号とを組合わせて、該ブロックに対する第３動き推定データをラインＬ４２を介してＭＵＸ３８０に供給する。ここで、第３補助信号は、第３ブロックの各々に対する動き推定が行われたことを表す。
【００５３】
本発明の好適実施例によれば、第３のＰＳＲの大きさはＵ×Ｖ個の画素からなる大きさであり、Ｕ及びＶ各々予め定められた正の整数であって、Ｋ及びＬより大きい。例えば、図４Ｃを参照すると、Ｕ×Ｖ個の画素からなる第３のＰＳＲ４６０とＫ×Ｌ個の画素からなる第３ブロック４７０が示されている。
【００５４】
ＭＵＸ３８０は、ＭＥ経路決定部３２０からのブロックに対するゼロ・ベクトル、第１のＭＥ部３５０からの第１動き推定データ、第２のＭＥ部３６０からの第２動き推定データ及び第３のＭＥ部３７０からの第３動き推定データを多重化して、多重化データを動き推定データとして動き補償部（図示せず）及びエンコーダ（図示せず）に供給し、動き補償部は該動き推定データを補償し、エンコーダは該補償データを符号化する。
【００５５】
従って、本発明によれば、現フレーム内のブロックと所定の基準フレーム内の対応する基準ブロックとの間の差分を計算することによって、現フレームのブロックに対する動き推定を適応的に行うことができる。
【００５６】
上記において、本発明の好適な実施の形態について説明したが、本発明の請求範囲を逸脱することなく、当業者は種々の改変をなし得るであろう。
【図面の簡単な説明】
【図１】  所定のサブサンプリング技法を採用するブロック整合法を用いて、ブロックに対する動き推定（ＭＥ）を行う従来の動き推定装置のブロック図である。
【図２Ａ】  対数探索技法を採用する従来のブロック整合法を説明するためのブロック図である。
【図２Ｂ】  対数探索技法を採用する従来のブロック整合法を説明するためのブロック図である。
【図３】  本発明による適応的動き推定装置のブロック図である。
【図４Ａ】  本発明の好適実施例による動き推定方法を説明するのに用いられる探索領域を示す模式図である。
【図４Ｂ】  本発明の好適実施例による動き推定方法を説明するのに用いられる探索領域を示す模式図である。
【図４Ｃ】  本発明の好適実施例による動き推定方法を説明するのに用いられる探索領域を示す模式図である。
【図１】
0004127961.tif 000003
【図２Ａ】
0004127961.tif 000004
【図２Ｂ】
0004127961.tif 000005
【図３】
0004127961.tif 000006
【図４Ａ】
0004127961.tif 000007
【図４Ｂ】
0004127961.tif 000008
【図４Ｃ】
0004127961.tif 000009