(57)【要約】ビデオ画像データにおける動き補償のための方法及びシステムであって、前記ビデオ画像データの連続するフレームにおける動きを解析し、前記動きに依存して動きベクトル場を導き出すよう構成される動き推定器（１２）と、前記動き推定器（１２）及び第１記憶手段（１５）に接続される動き補償器（１４）とを有する方法及びシステムである。前記動き補償器（１４）は、第１記憶手段（１５）において前記ビデオ画像データのサブセットを記憶し、各ベクトルのために前記第１記憶手段（１５）から所要のデータを取り出し、ここで、前記所要のデータが前記第１記憶手段（１５）において完全には利用可能ではない場合には、少なくとも前記所要のデータの欠損部分を含むビデオ画像データが、第２記憶手段（１０）から取り出され、前記第１記憶手段（１５）において記憶されることによって動き補償を行うよう構成される。前記動き推定器（１２）は、更に、少なくとも１つの統計的特性を満たす前記ビデオ動きベクトル場中の動きベクトルを選択するよう構成される。
2004521581.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ画像データにおける動き補償のための方法であって、
ａ）前記ビデオ画像データの連続する画像における動きを解析し、前記動きに依存して動きベクトル場を導き出すステップ、及び
ｂ）第１記憶手段において前記ビデオ画像データのサブセットを記憶し、各ベクトルのために前記第１記憶手段から所要のデータを取り出し、ここで、前記所要のデータが前記第１記憶手段において完全には利用可能ではない場合には、少なくとも前記所要のデータの欠損部分を含むビデオ画像データが、第２記憶手段からフェッチされ、前記第１記憶手段において記憶されることによって動き補償を行なうステップを有し、
ステップａ）において、少なくとも１つの統計的特性を満たす前記ビデオ動きベクトル場中の動きベクトルが選択される方法。
【請求項２】
ビデオ画像データにおける動き補償のためのシステムであって、
前記ビデオ画像データの連続するフレームにおける動きを解析し、前記動きに依存して動きベクトル場を導き出すよう構成される動き推定器と、
前記動き推定器及び第１記憶手段に接続される動き補償器とを有し、前記動き補償器は、第１記憶手段において前記ビデオ画像データのサブセットを記憶し、各ベクトルのために前記第１記憶手段から所要のデータを取り出し、ここで、前記所要のデータが前記第１記憶手段において完全には利用可能ではない場合には、少なくとも前記所要のデータの欠損部分を含むビデオ画像データが、第２記憶手段からフェッチされ、前記第１記憶手段において記憶されることによって動き補償を行なうよう構成され、
前記動き推定器は、更に、少なくとも１つの統計的特性を満たす前記ビデオ動きベクトル場中の動きベクトルを選択するよう構成されるシステム。
【請求項３】
前記少なくとも１つの統計的特性が、前記第２記憶手段にアクセスするための帯域幅の第１の大きさに依存することを特徴とする請求項２に記載のシステム。
【請求項４】
前記少なくとも１つの統計的特性が、前記第１記憶手段、前記第２記憶手段、又は第１記憶手段と第２記憶手段との間の通信手段の少なくとも１つの構造上の特性に依存することを特徴とする請求項２に記載のシステム。
【請求項５】
前記少なくとも１つの統計的特性が、前記第２記憶手段にアクセスするために実際に利用可能な帯域幅に依存して動的に調整されることを特徴とする請求項２に記載のシステム。
【請求項６】
前記動き推定器が、少なくとも１つの実際に用いられる統計的特性を他のシステムに利用可能にするよう構成されることを特徴とする請求項２に記載のシステム。
【請求項７】
前記動き推定器が、前記第２記憶手段にアクセスするために実際に用いられる帯域幅を決定するために前記少なくとも１つの実際に用いられる統計的特性を使用し、利用可能な帯域幅と実際に用いられる帯域幅との間の差を前記他のシステムに利用可能にするよう構成されることを特徴とする請求項６に記載のシステム。
【請求項８】
前記動き推定器が、更に、前記画像の他のサブセットのための動きベクトル候補のセットを決定し、前に選択された動きベクトルと前記動きベクトル候補の各々との間の相関性に依存して少なくとも１つのペナルティ値を計算し、前記動きベクトル候補の少なくとも１つのペナルティ値、前に選択された動きベクトルの少なくとも１つのペナルティ値の統計値及び前記少なくとも１つの統計的特性を考慮に入れながら前記動きベクトル候補のセットから他の動きベクトルを選択するよう構成されることを特徴とする請求項２に記載のシステム。
【請求項９】
前記前に選択された動きベクトルの少なくとも１つのペナルティ値の統計値が、現在の画像中の全ての前に選択された動きベクトルに基づくことを特徴とする請求項８に記載のシステム。
【請求項１０】
前記前に選択された動きベクトルの少なくとも１つのペナルティ値の統計値が、現在の画像中の該前に選択された動きベクトルのサブセットに基づくことを特徴とする請求項８に記載のシステム。
【請求項１１】
前の画像中の選択された動きベクトルの少なくとも１つのペナルティ値の統計値が、前記他の動きベクトルの選択に更に影響を及ぼすために用いられることを特徴とする請求項８に記載のシステム。
【請求項１２】
前記画像の前記他のサブセットが、前記第１記憶手段、前記第２記憶手段又は通信手段の少なくとも１つの構造上の特性に依存して選ばれることを特徴とする請求項８に記載のシステム。
【請求項１３】
請求項２による動き補償のためのシステムを有するテレビ。
【請求項１４】
請求項２による動き補償のためのシステムを有するセットトップボックス。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本願明細書は、ビデオ画像データにおける動き推定及び動き補償のための方法及びシステムに関する。
【０００２】
【従来の技術】
動き推定及び動き補償のための既知のシステムは、外部メモリ中のビデオ画像データにアクセスするためのかなりの帯域幅要求を持つ。幾つかのシステムにおいては、この帯域幅要求を低減させるためにキャッシュが用いられる。ビデオ画像データへのアクセスにおける空間的局所性（ｓｐａｔｉａｌ ｌｏｃａｌｉｔｙ）のために、平均的な動作は改善し得る。しかしながら、このような空間的局所性があるという保証はなく、それ故、最悪の場合の動作は改善されない。従って、アクセスを行なうのに必要とされる帯域幅における保証付の低減（ｇｕａｒａｎｔｅｅｄ ｒｅｄｕｃｔｉｏｎ）は供給されない。
【０００３】
欧州特許出願第ＥＰ−Ａ−０２９４９５７号は、デジタルテレビ画像における動きベクトル処理のための方法及び装置を記載している。この文献は、幾つかの特定の状況においてベクトルの品質を向上させるための動きベクトルのフィルタ回路を記載している。このフィルタ回路は、動き推定器を画像中の雑音に対してよりロバストにさせ、動き推定回路がより信頼性の高い零ベクトルを送出することを確実にする。
【０００４】
様々な動き推定器の技術及び実施例が、Ｇ． ｄｅ Ｈａａｎらによる“Ｔｒｕｅ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ ｒｅｃｕｒｓｉｖｅ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ”， ＩＥＥＥ Ｔｒａｎｓ． ＣＳＶＴ， Ｏｃｔ． １９９３， ｐｐ． ３６８−３８８及び“ＩＣ ｆｏｒ ｍｏｔｉｏｎ−ｃｏｍｐｅｎｓａｔｅｄ ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ， ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ， ａｎｄ ｐｉｃｔｕｒｅ−ｒａｔｅ ｃｏｎｖｅｒｓｉｏｎ”， ＩＥＥＥ Ｔｒａｎｓ． ｏｎ ＣＥ， Ａｕｇ．， １９９９， ｐｐ． ６１７−６２４において記載されている。
【０００５】
【課題を解決するための手段】
本発明の目的は、小さな動き補償データキャッシュを利用しながら、動き補償中のメモリ帯域幅の使用が、全てのありうる情況において或る上限までに制限されるビデオデータの処理のための動き推定及び動き補償の方法及びシステムを提供することにある。
【０００６】
本発明によれば、ビデオ画像データにおける動き推定及び動き補償のための方法であって、ａ）ビデオ画像データの連続する画像における動きを解析し、前記動きに依存して動きベクトル場を導き出すステップ、及びｂ）第１記憶手段において前記ビデオ画像データのサブセットを記憶し、各ベクトルのために前記第１記憶手段から所要のデータを取り出し、ここで、前記所要のデータが前記第１記憶手段において利用可能ではない場合には、少なくとも前記所要のデータの欠損部分を含むビデオ画像データが、第２記憶手段からフェッチされ、前記第１記憶手段において記憶されることによって動き補償を行なうステップを有し、ステップａ）において、少なくとも１つの統計的特性（ｓｔａｔｉｓｔｉｃａｌ ｐｒｏｐｅｒｔｙ）を満たす前記ビデオ動きベクトル場中の動きベクトルが選択される方法が提供される。
【０００７】
ｄｅ Ｈａａｎによって記載されている実施例のように現在の多くのシステムは、画像のサブセットを記憶するためにキャッシュ又は二次元バッファ（ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ ｂｕｆｆｅｒ）を利用する。動き補償は、動きベクトルを利用しながらキャッシュからデータをフェッチする。典型的なシステムにおいては、前記キャッシュ又は前記二次元バッファは前記動きベクトルの全探索範囲を扱い、通常ラインメモリから成る。これは、相対的に大量のメモリ、例えば７２０ピクセル幅及び（関連最大垂直ベクトル範囲の［−１２．．１２］を備える）２４ラインをもたらす。斯くして、このようなキャッシュは少なくとも１７，２８０ピクセルのバッファを必要とする。本発明は、実質的により小さなサイズの動き補償データキャッシュを許容する。前記動き補償データキャッシュは典型的には２００乃至３００ピクセルしか記憶しないであろう。特別な方策のない小さな動き補償キャッシュの使用は、ともすれば画像記憶装置と前記キャッシュとの間の非常に高い帯域幅要求をもたらすであろう。とりわけ、様々な方向の多くの動きを備える複雑なビデオシーンの場合には、前記キャッシュのリフレッシュ速度が、ともすれば利用可能な帯域幅を超える過大なデータトラフィックをもたらし得る。結果として、前記キャッシュのリフレッシュが、遅くなり過ぎるかもしれず、これは、通常、出力画像のロスをもたらす。これは、回避されるべき非常にきびしいアーチファクトであるとみなされる。本発明は、小さなキャッシュを用いることを許容すると同時に、実質的に最悪の場合の帯域幅使用より低い所定の最大帯域幅使用を保証する。
【０００８】
データキャッシュの効率はデータ参照（ｄａｔａ ｒｅｆｅｒｅｎｃｅｓ）の空間的局所性に依存することは明らかである。この局所性は前記キャッシュの大きさと関連する。既存のシステムにおいて利用されるような大きなデータキャッシュの場合には、全てのデータアクセスがバッファからデータをフェッチするであろう。本願明細書で提案されているような小さなキャッシュの場合には、幾つかのデータ要求は前記キャッシュにおいて利用可能であるデータにアクセスし、他の要求は利用可能ではないデータにアクセスするであろう。後者は、前記データキャッシュの（部分的な）リフレッシュをもたらし、斯くして、画像記憶装置から該キャッシュへのデータ転送をもたらす。画像中の前記データがアクセスされる位置は動きベクトルに依存することから、前記キャッシュの効率はベクトル場の統計値に依存する。
【０００９】
ビデオの走査レート変換及びタイムシフト録画などの動き推定及び動き補償を用いる或るアプリケーションにおいては、単一のシステムにおいて前記動き推定の後に前記動き補償が続く。このような状況において、動き推定器は、該動き推定器が計算するベクトル場が所定のベクトルの統計値に適合するように制御され得る。結果として、画像記憶装置と動き補償キャッシュとの間の帯域幅使用は、或る限度未満であることを保証される。
【００１０】
ビデオの動きベクトル場の適切な統計的特性を用いることにより、動き補償器によって用いられるような局所的なバッファ（又はキャッシュ）の使用が、外部メモリ中のビデオ画像データにアクセスするのに必要とされる帯域幅を或る保証される範囲までに低減させることを保証することは可能である。これは、例えば、シーン中に多くの複雑な動きを備える状況において、必要とされる帯域幅が、ともすれば利用可能な帯域幅を上回り、動き補償プロセスの遅延をもたらす可能性を回避するであろう。必要とされる前記統計的特性は、前記動き補償器によって行なわれるべきアクセスの空間的局所性を改善する動きベクトル候補に優先度（ｐｒｅｆｅｒｅｎｃｅ）を付与することにより達成され得る。
【００１１】
少なくとも１つの統計的特性又は制約は、第２記憶手段にアクセスするための帯域幅の第１の大きさに依存し得る。前記第１の大きさは、前記第２記憶手段のために利用可能な大きさ、即ち、ハードウェア特性によって制限される大きさであり得る。他の例においては、前記第１の大きさは、動き補償に利用可能な帯域幅の大きさであり得る。
【００１２】
また、少なくとも１つの統計的特性は、メモリシステム、即ち、第１記憶手段、第２記憶手段及び（サポートされるデータ転送のタイプ／プロトコルを含む）第１記憶手段と第２記憶手段との間の通信手段の少なくとも１つの構造上の特性に依存し得る。
【００１３】
他の実施例において、少なくとも１つの統計的特性は、第２記憶手段にアクセスするために実際に利用可能な帯域幅に依存して動的に調整される。前記統計的特性を動的に制御する（例えば、その時々に前記統計的特性を決定する）ことにより、動き補償に起因する前記第２記憶手段からのデータトラフィックは影響を及ぼされ得る。後者は、他の機能もまた前記第２記憶手段にアクセスする共用メモリを備えるシステムにおいてとりわけ有用である。
【００１４】
他の実施例において、前記方法は、少なくとも１つの動き推定器によって実際に用いられる統計的特性を第１記憶手段を用いる他のシステムが利用できるようにする他のステップを有する。前記実際に用いられる統計的特性は前記少なくとも１つの統計的特性とは異なり得る。更に、前記少なくとも１つの実際に用いられる統計的特性は、第２記憶手段にアクセスするために実際に用いられる帯域幅を決定するために用いられてもよく、利用可能な帯域幅と実際に用いられる帯域幅との間の差が他のシステムに利用可能にされ得る。例えば、前記動き推定器は、実際に見出された統計値を前記第２記憶手段を用いる他のシステムに報告してもよい。この情報から、他のシステムの構成要素は、動き補償のための実際の帯域幅要求を決定し得る。前記動き補償が実際には利用可能な帯域幅の全ては使用しない場合には、他のシステムの構成要素はこの帯域幅を使用することを許容され得る。
【００１５】
他の実施例において、ステップａ）は、画像の他のサブセットのための動きベクトル候補のセットを決定する他のステップａ１）と、前に選択された動きベクトルと前記動きベクトル候補の各々との間の相関性に依存して少なくとも１つのペナルティ値を（ｐｅｎａｌｔｙ ｖａｌｕｅ）を計算する他のステップａ２）と、前記動きベクトル候補の少なくとも１つのペナルティ値、前に選択された動きベクトルの少なくとも１つのペナルティ値の統計値及び少なくとも１つの統計的特性を考慮に入れながら前記動きベクトル候補のセットから他の動きベクトルを選択する他のステップａ３）とを有する。前記画像の他のサブセットは、動きベクトルを選択するために予め処理されている画像の水平隣接（左／右）サブセット又は垂直隣接（上／下）サブセットであり得る。前記相関性が所定のしきい値を下回る場合には、前記ベクトルは弱く相関され、動き補償中に第１データ記憶手段を（部分的に）リフレッシュすることが必要であろう。これは、第２記憶手段中のビデオ画像データにアクセスするのに用いる帯域幅を増大させるであろう。前記ペナルティは、動き補償中に前記第２記憶手段にアクセスするのに必要とされるであろう帯域幅の大きさの目安（ｍｅａｓｕｒｅ）となるよう計算される。前記動きベクトル候補から動きベクトルを選択する場合に現在の画像中の実際に選択された動きベクトルに属するペナルティ値の統計値を考慮に入れることにより、新しく選択される動きベクトルのペナルティを含むペナルティ値の統計値は、前記動き推定器に対する入力である前記少なくとも１つの統計的特性によって限定され得る。一例として、全てのペナルティ値の合計は、動き補償中に前記第２記憶手段にアクセスするための帯域幅の或る大きさを表し得る。本願明細書に記載されている方法においては、この合計は制限されてもよく、斯くして帯域幅を制限し得る。既知の動き推定方法においては、選択は、前記動きベクトル候補のマッチングエラー（ｍａｔｃｈ ｅｒｒｏｒ）、及び現在位置に対する前記動きベクトル候補の起点（ｏｒｉｇｉｎ）などの該動きベクトル候補の他の特徴に基づく。
【００１６】
他の実施例において、前に選択された動きベクトルの少なくとも１つのペナルティ値の統計値は、全ての前に選択された動きベクトルに基づき、斯くして、現在の画像において選択されている全ての動きベクトルを考慮に入れる。このように、動き補償中に第２記憶手段にアクセスするための帯域幅は、個々の画像の粒度で制限される。結果として、画像全体に対する動き補償中の平均帯域幅使用は制限されるが、依然として前記画像の一部を処理する間のピークが高い帯域幅使用量（ｈｉｇｈ ｐｅａｋ ｂａｎｄｗｉｄｔｈ ｃｏｎｓｕｍｐｔｉｏｎ）はあり得る。
【００１７】
幾つかの状況において、これは許容可能ではなく、又はこれはより犠牲の大きい実施をもたらす。それ故、他の実施例において、これらの前に選択された動きベクトルの少なくとも１つのペナルティ値の統計値は、現在の画像において選択されている動きベクトルのサブセットしか考慮に入れない。このように、制御の粒度が前記画像の一部に対して改善（ｒｅｆｉｎｅ）され、前記画像の一部の動き補償中のピークが高い帯域幅使用量が回避され得る。
【００１８】
上記の実施例を用いる場合には、動き推定ステップが、画像の終わりにおいて少なくとも１つの統計的特性を満たすために、終わりの部分における動きベクトルが始めの部分における動きベクトルより強く相関されるようさせ得るので、画像処理の始めは、該画像処理の終わりと異なる質のものであり得る。これは、ともすれば可視のアーチファクトをもたらし得る。この状況は、通常、ビデオシーケンス中の連続する画像間には強い一時的な相関性（ｓｔｒｏｎｇ ｔｅｍｐｏｒａｌ ｃｏｒｒｅｌａｔｉｏｎ）があることを用いることにより改善され得る。画像シーケンスの前記統計的特性は、一時的なフィードバック（ｔｅｍｐｏｒａｌ ｆｅｅｄｂａｃｋ）を介して用いられてもよく、斯くして、より一様な画質を得る。これは、前の画像中の選択された動きベクトルの少なくとも１つのペナルティ値の統計値がステップａ３）の選択プロセスに更に影響を及ぼすよう用いられる他の実施例において達成され得る。
【００１９】
更に他の実施例においては、画像の他のサブセットが、第１記憶手段、第２記憶手段又は通信手段を含むメモリ及び通信手段の構造上の特性に依存して選ばれる。これは、ビデオ画像の走査順序（ｓｃａｎｎｉｎｇ ｏｒｄｅｒ）をシステムの構造上の特性に対して最適化することを可能にする。
【００２０】
他の特徴においては、本出願は請求項２乃至１２のいずれか一項によるシステムに関する。このシステムは、単純且つ効率的な実施において本願の方法の結果を達成するよう構成される。
【００２１】
このシステムは、テレビ又はセットトップボックスにおいて有利に用いられ得る。
【００２２】
添付図面に関して多数の一例としての実施例を記載することにより、以下に本発明をより詳細に説明する。
【００２３】
【発明の実施の形態】
ビデオ分野（ｖｉｄｅｏ ｄｏｍａｉｎ）における組み込みシステムのための多くのアプリケーションは、動き推定及び／又は動き補償の技術を用いている。このようなアプリケーションの重要な見地（ｋｅｙ ａｓｐｅｃｔ）は、これらのアプリケーションが、（相対的に大きい）画像メモリ中のビデオ画像にアクセスするためにかなりの帯域幅要求を持つことである。１つの選択肢は、これらの帯域幅要求を低減させるためにキャッシュを用いるものであり、ビデオデータへのアクセスにおける空間的局所性のために平均的な場合の動作の改善（ｉｍｐｒｏｖｅｄ ａｖｅｒａｇｅ ｃａｓｅ ｂｅｈａｖｉｏｒ）をもたらす。しかしながら、このような空間的局所性は保証されないことから、このようなキャッシュは、最悪の場合の動作を改善しないであろうし、その結果として、これらのアクセスを行なうのに必要とされる帯域幅における保証付の低減を供給しないであろう。
【００２４】
図１には、ビデオアプリケーション用の動き推定及び動き補償のシステムの単純化されたブロック図が示されている。このシステムは、動き推定器１２及び動き補償器１４を有する。更に、このシステムは、ビデオ画像の相対的に小さい二次元領域（２Ｄ ａｒｅａ）（例えば、３２ピクセル×８ライン）を記憶するために二次元バッファ１５を有する。このビデオ画像フレームは、動き補償器１４及び／又は二次元バッファ１５の制御下の（もしかすると外部の）画像メモリ１０から二次元バッファへの入力である。画像メモリ１０は多数のビデオ画像を収容し得る。この画像メモリは入力ビデオデータ１１で満たされる。動き推定及び動き補償の機能において、ビデオデータのブロックは動きベクトルを介してアクセスされる。ビデオデータを再利用することが出来るようにバッファ１５が用いられ、それによって、画像メモリ１０と二次元バッファ１５との間の接続部２０の帯域幅要求を効果的に低減させる。
【００２５】
動き推定器１２は、画像メモリ１０中の連続するビデオ画像の断片を解析し、よく知られている動き推定技術を用いて動きベクトルを導き出すよう構成される。様々な動き推定技術が、Ｇ． ｄｅ Ｈａａｎらによる’Ｔｒｕｅ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３−Ｄ ｒｅｃｕｒｓｉｖｅ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ’， ＩＥＥＥ Ｔｒａｎｓ． ＣＳＶＴ， Ｏｃｔ． １９９３， ｐｐ． ３６８−３８８に記載されている。
【００２６】
通信手段２２を介して、ベクトルが動き補償器１４に転送され、動き補償器１４は二次元バッファ１５中のビデオ画像データにアクセスするためにこの動きベクトルを用いる。データがバッファ中に存在しない場合には、前記バッファはビデオ画像メモリ１０からの新たなデータで（部分的に）リフレッシュされるであろう。バッファからのビデオデータを処理した後、動き補償器１４の結果はビデオ出力データ１６に転送される。
【００２７】
二次元バッファ１５の構造上の特性は、通常、特定の実施における設計の間に規定される。これは、動き補償のために所定の帯域幅を供給する画像メモリと二次元バッファとの間の接続部２０に対しても当てはまり得る。しかしながら、画像メモリが他の機能と共用される状況が存在し得る。このようなより高度なシステムは図２に示されている。
【００２８】
図２中の画像メモリは多数の機能の間で共用されることから、画像記憶装置１０とバッファ１５との間の接続手段２０が拡張される。この場合に、接続手段２０は、典型的には、通信バス２０として実施されるであろう。一例として、バスクライアント（ｂｕｓ ｃｌｉｅｎｔ）４２がシステムに付加される。このバスクライアントは、動き推定及び動き補償に関する機能と関しない機能とのいずれも実行し得る。このようなシステムにおいては、通信手段２０において動き補償器１４に利用可能な帯域幅は、例えばバスクライアント４２がアクティブであるか否かに依存して著しく変動し得る。動き補償器１４の帯域幅使用は、動き推定器１２における統計的制約（ｓｔａｔｉｓｔｉｃａｌ ｃｏｎｓｔｒａｎｉｔ）により制御され得る。このシステムにおいて、これらの統計的制約３０は、帯域幅制御ユニット４６によりバス上の利用可能な帯域幅に動的に適合される。システムの他の改善点として、帯域幅制御ユニットはまた、動き推定器１２から実際の統計的特性４８を取り出すことも出来る。この情報を解析することにより、帯域幅制御ユニット４６は、動き補償器１４が動きベクトルを利用する場合に実際に使用するであろう所要の帯域幅を予測することが出来る。帯域幅が統計的制約３０によって強いられる帯域幅限度未満である場合には、この余分の帯域幅は他の機能の質を向上させるのに用いられ得る。
【００２９】
統計的制約３０を変動させることにより、画質と帯域幅使用量との間のトレードオフの制御が可能であり、斯くして、帯域幅限度がそうすることを必要とする場合に動き補償器１４の出力画像の品質の優美な劣化（ｇｒａｃｅｆｕｌ ｄｅｇｒａｄａｔｉｏｎ）を供給する。
【００３０】
図２のシステムにおけるこれらの帯域幅制御の機構を利用することにより、バスの過負荷の場合の優美な劣化及び多数の機能にわたってのＱｏＳ（ｑｕａｌｉｔｙ ｏｆ ｓｅｒｖｉｃｅ）を実施することすら可能であり、再び、多数の機能にわたって最適化される。
【００３１】
デジタルビデオ処理技術において、動き推定機能は、画像データのブロックの動きに対するベクトル場を決定する。通常のビデオ画像シーケンス中のベクトルは、高い割合（７５％と仮定する）で高く相関され、他の割合（最悪の場合の状況において２５％と仮定する）で完全に相関されない。また、弱く相関されるベクトル及び強く相関されるベクトルの定義も与えられ得る。次のベクトルが弱く相関される場合には、所要のデータは、二次元バッファ１５中になく（又は完全にはなく）、バッファ１５は画像メモリ１０から（部分的に）補充される必要がある。しかしながら、次のベクトルが強く相関される場合には、所要のデータはバッファ１５において利用可能であろう。
【００３２】
図３及び４は、例によって、隣接動きベクトルの相関性が、どのようにキャッシュの効率に関連し、斯くして画像メモリ１０とバッファ１５との間のデータトラフィックに関連するのかを示している。図３は、画像データのサブセット６２がキャッシュ１５において利用可能である画像６０を示している。図３は、更に、画像データの２つの隣接ブロック６４及び６６に属する２つの動きベクトルを示している。これらの２つの動きベクトルは強く相関され、そのため、これらの動きベクトルを介してアクセスされる２つのブロック６５及び６７は両方とも、キャッシュ中にある画像データのサブセット６２中にある。図４において、同様の状況が描かれているが、この場合には２つの動きベクトルが弱く相関される。ベクトル間の大きな差のため、動きベクトルを介してアクセスされる画像データ６８の第２ブロックは、キャッシュ中にある画像データのサブセット６２内にはない。従って、キャッシュは（部分的に）リフレッシュされる必要がある。
【００３３】
ビデオ画像メモリ１０と二次元バッファ１５との間の通信手段２０の帯域幅要求は、二次元バッファ１５中のデータが可能な限り再利用される場合に低減され得る。平均的な場合の動作においては、ビデオデータへのアクセスの空間的局所性のためにデータの再利用の効率が増大され得る。しかしながら、通常のビデオデータにおいては、このような局所性がある保証はなく、二次元バッファの使用は、最悪の場合の動作を改善せず、それ故、ビデオ画像メモリ１０へのアクセスを行なうのに必要とされる帯域幅における保証付の低減を供給しない。
【００３４】
動き推定器は、画像メモリ１０中の画像データから動きベクトル場を決定する。ベクトル場の計算中、動き推定器１２は統計的制約３０が満たされることを確実にする。それ故、動き推定器１２は、動き補償器１４によって行なわれるべきアクセスの空間的局所性を改善する動きベクトル候補に優先度を付与し得る。これは、二次元バッファ１５のヒット率を改善し、斯くして、通信手段２０によってビデオ画像メモリ１０にアクセスするのに必要とされる帯域幅を低減させるであろう。
【００３５】
本発明においては、或る帯域幅限度が超えられないことを確実にするために、動き推定器１２によって選択され得る弱く相関されるベクトルの割合が制限される。或る画像部分の動きベクトル候補が弱く相関されるか又は強く相関されるかは、二次元バッファ１５の構造及び通信手段２０の構造に依存する。また、バッファの大きさも関連する。斯くして、統計的制約３０は、画像メモリ１０と二次元バッファ１５との間の利用可能な帯域幅、及びメモリシステムの構造上の特性に依存する。
【００３６】
一般には、動き推定器１２によって実施されるような動き推定機能は３つのステップを有する。まず、動きベクトル候補のセットが所与の画像のサブセットに対して決定される。次に、整合基準（ｍａｔｃｈ ｃｒｉｔｅｒｉｏｎ）が各ベクトル候補に対して計算され、最後に、最良の動きベクトル候補が動き推定器１２からの出力ベクトルとして選択される。これらのステップの各々が、画像の全ての部分に対して繰り返され、特定の画像の完全なベクトル場をもたらす。
【００３７】
（上記の）Ｈａａｎらによる文献において、動き推定の特定の効果的な方法は、三次元再帰的探索（ｔｈｒｅｅ ｄｉｍｅｎｓｉｏｎａｌ ｒｅｃｕｒｓｉｖｅ ｓｅａｒｃｈ）である。このような方法においては、非常に限られた数のベクトル候補しか存在しない。これらの中には、隣接する画像部分のおける計算ベクトルと同一である、又は該計算ベクトルから導き出される少数のベクトル候補がある。定義により、同一のベクトルは強く相関される。また、導き出されるベクトルは、多くの場合に強く相関され得る。この場合には、画像に対して動きベクトル場を構成する場合に、整合基準が用いられるのみならず、付加的な基準（隣接するベクトルを備えるベクトル候補の相関値）が考慮に入れられる。それ故、動き推定器は、まず、動きベクトル候補の各々に対するペナルティ値を計算する。これらのペナルティ値は、動きベクトル候補と隣接する計算動きベクトルとの間の相関性の大きさに依存する。このペナルティ値は動き補償中に必要とされる帯域幅の大きさの目安である。動きベクトル候補から結果としての動きベクトル（ｒｅｓｕｌｔ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）を選択する場合、前に選択された動きベクトルのペナルティ値の統計値も考慮に入れながら、計算ペナルティ値が解析される。それ故、通常の整合基準とは別に、このペナルティ値の解析が付加的な選択基準となる。このように、強く相関される結果としての動きベクトルが、たとえそれが最良の整合を持たない場合でも、選択され得る。斯くして、結果としての動きベクトルは、動き補償中の帯域幅がある限度内にあることを確実にするために修正される。このような修正は、幾らかの画質の低下をもたらし得る。
【００３８】
このプロセスは、好都合なことに、強く相関されるベクトルと弱く相関されるベクトルとが画像にわたって一様に分布しているという仮定の下に作用し、斯くして、これは画質もまた画像にわたって一定であることを意味することから、動き推定器における修正が画像にわたって一様に分布しているという仮定の下で作用する。幾つかのビデオシーケンスにおいて、これは違うかも知れず、上記の方法は、画像処理の終わりと比較して画像処理の始めにおいて異なる画質をもたらし得る。これは、動き推定器１２が、終わりにおいて、強く相関されるベクトルに所要の割合の弱く相関されるベクトルを達成することが出来るようにさせなければならなくなり得るというような問題に出くわすことに起因し得る。
【００３９】
ほとんどのビデオシーケンス中には、ビデオシーケンス中の連続する画像間の強い一時的な相関性が存在する。一時的な再帰的フィードバックループ（ｔｅｍｐｏｒａｌ ｒｅｃｕｒｓｉｖｅ ｆｅｅｄｂａｃｋ ｌｏｏｐ）を介して、動き推定器は１２は、シーケンスの統計的特性から特定の画像の修正の必要とされる割合又は総数を推定し、弱く相関される動きベクトル候補又は強く相関される動きベクトル候補に対する優先度を画像にわたって一様に広げることができ、斯くして、一定の品質レベルを備える画像を与えることが出来る。
【００４０】
隣接する画像部分（又は動きベクトル）は、水平に隣接（左若しくは右）又は垂直に隣接（上若しくは下）し得る。これらの選択肢のうちのどれが選ばれるかは、走査順序を最適化するためにメモリシステムの構造上の特性に依存し得る。
【００４１】
小さなキャッシュを備えるシステムにおいて動きベクトル場の統計的特性が用いられない場合には、シーン中の多くの複雑な動きを備える状況が、ビデオ画像メモリ１０への多くの必要なアクセスをもたらし、通信手段２０の過負荷をもたらすであろう。結果として、ありうる影響は、計算画像が間に合わず、事実上、ビデオ出力１６において欠損画像（ｍｉｓｓｉｎｇ ｉｍａｇｅ）をもたらすというものであり得る。
【００４２】
本発明による方法及びシステムが同じ状況において用いられる場合には、ベクトルの一貫性（ｃｏｎｓｉｓｔｅｎｃｙ）の制約が動き推定器１２に最適ではないベクトルを選択させるであろうから、結果は、動き推定器１２によるベクトル場出力の質の低下であり得る。これは、動き補償器１４による動き補償後のビデオ出力１６における画質の劣化をもたらし得る。しかしながら、ビデオストリームにおいてよりずっと深刻なアーチファクトである欠損画像は防止され、この結果として、知覚される画質は改善するであろう。また、システムの動作の信頼性及び予測も改善するであろう。更に、共用資源を用いる多数の機能を備えるシステムにおけるＱｏＳが可能にされる。
【図面の簡単な説明】
【図１】本発明の実施例による動き推定／動き補償のシステムの概略図を示す。
【図２】本発明の他の実施例による動き推定／動き補償のシステムの概略図を示す。
【図３】キャッシュの中にサブセットを含む画像を概略的に示す。
【図４】キャッシュの中に他のサブセットを含む画像を概略的に示す。
【図１】
2004521581.tif 000003
【図２】
2004521581.tif 000004
【図３】
2004521581.tif 000005
【図４】
2004521581.tif 000006
【国際公開パンフレット】
2004521581.tif 000007
2004521581.tif 000008
2004521581.tif 000009
2004521581.tif 000010
2004521581.tif 000011
2004521581.tif 000012
2004521581.tif 000013
2004521581.tif 000014
2004521581.tif 000015
2004521581.tif 000016
2004521581.tif 000017
2004521581.tif 000018
2004521581.tif 000019
2004521581.tif 000020
2004521581.tif 000021
2004521581.tif 000022
【国際調査報告】
2004521581.tif 000023
2004521581.tif 000024
2004521581.tif 000025