(57)【要約】本発明は、処理されるピクチャ又はフレームの種別（Ｉ，Ｂ又はＰ）に従って異なる種類の処理（スケーリングを含む）が実行されるフレーム種別依存（ＦＴＤ）処理に関連する。ＦＴＤ処理の基礎となるのは、復号化されたＢピクチャが他の種別のピクチャに対するアンカーとして使用されないため、Ｂピクチャ中の誤りが他のピクチャへ伝搬しないことである。言い替えれば、Ｉピクチャ又はＰピクチャはＢピクチャに依存せず、Ｂピクチャ中の全ての誤りは、いずれの他のピクチャにも広がらない。したがって、本発明は、全体のビデオの質に最も重要なピクチャに対してよりも多くのメモリ及び処理力を与える。
2004516761.tif 000002
【特許請求の範囲】
【請求項１】
順方向アンカーフレームを第１のアルゴリズムで復号化する段階と、
逆方向アンカーフレームを第１のアルゴリズムで復号化する段階と、
Ｂフレームを第２のアルゴリズムで復号化する段階とを含む、
ビデオを復号化する方法。
【請求項２】
第２のアルゴリズムは第１のアルゴリズムよりも低い計算複雑性を有する、請求項１記載の方法。
【請求項３】
第２のアルゴリズムはビデオフレームを復号化するのに第１のアルゴリズムよりも少ないメモリを使用する、請求項１記載の方法。
【請求項４】
順方向アンカーフレームをより低い解像度へダウンスケーリングする段階を更に含む、請求項１記載の方法。
【請求項５】
順方向アンカーフレームを上記より低い解像度で記憶する段階を更に含む、請求項４記載の方法。
【請求項６】
順方向アンカーフレームを廃棄する段階を更に含む、請求項１記載の方法。
【請求項７】
逆方向アンカーフレームを第２の順方向アンカーフレームとする段階を更に含む、請求項６記載の方法。
【請求項８】
順方向アンカーフレームはＩフレーム又はＰフレームのいずれかである、請求項１記載の方法。
【請求項９】
逆方向アンカーフレームはＰフレームである、請求項１記載の方法。
【請求項１０】
順方向アンカーフレームを第１のアルゴリズムで復号化するためのコードと、
逆方向アンカーフレームを第１のアルゴリズムで復号化するためのコードと、
Ｂフレームを第２のアルゴリズムで復号化するためのコードとを含む、
ビデオを復号化するためのコードを含む記憶媒体。
【請求項１１】
実行可能なコードを格納するメモリと、
（ｉ）順方向アンカーフレームを第１のアルゴリズムで復号化し、（ｉｉ）逆方向アンカーフレームを第１のアルゴリズムで復号化し、（ｉｉｉ）Ｂフレームを第２のアルゴリズムで復号化するようメモリに格納されたコードを実行するプロセッサとを含む、ビデオ復号化装置。
【発明の詳細な説明】
【０００１】
本発明は、概してビデオ圧縮に係り、特に処理されているピクチャ又はフレームの種別に従って異なる種類の処理を行うフレーム種別依存処理に関連する。
【０００２】
離散コサイン変換（ＤＣＴ）と動き予測を組み込んだビデオ圧縮は、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４及びＨ．２６２といった多数の国際標準で採用されている技術である。種々のＤＣＴ／動き予測ビデオ符号化スキームのうち、ＭＰＥＧ−２が、ＤＶＤ、衛星ＤＴＶ放送、及びディジタルテレビジョンのための米国のＡＴＳＣ標準に最も広く使用されているものである。
【０００３】
図１は、ＭＰＥＧビデオ復号化器の一例を示す図である。ＭＰＥＧビデオ復号化器は、ＭＰＥＧを基礎とする消費者ビデオ製品の重要な部分である。このような復号化器の設計上の目標は、良いビデオの質を維持しつつ複雑性を最小とすることである。
【０００４】
図１に示すように、入力ビデオストリームは、まず可変長復号化器（ＶＬＤ）２を通り、動きベクトルと離散コサイン変換（ＤＣＴ）係数のためのインデックスが生成される。動きベクトルは動き補償（ＭＣ）ユニット１０へ送られる。ＤＣＴインデックスは、逆スキャン及び逆量子化（ＩＳＩＱ）ユニット６へ送られ、ＤＣＴ係数が生成される。
【０００５】
更に、逆離散コサイン変換（ＩＤＣＴ）ユニット６はＤＣＴ係数を画素へ変換する。フレーム種別（Ｉ、Ｐ又はＢ）に応じて、得られるピクチャは、ビデオ出力へ直接進むか（Ｉの場合）、加算器８によって動き補償されたアンカーフレームへと加算されてからビデオ出力へ進む（Ｐ及びＢの場合）。現在の復号化されたＩ又はＰフレームは、後のフレームの復号化のためのアンカーとしてフレーム記憶部１２に格納される。
【０００６】
尚、ＭＰＥＧ復号化器の全ての部分は入力解像度、例えば高解像度（ＨＤ）で動作する。このような復号化器のために必要とされるフレームメモリは、ＨＤフレームのものの３倍であり、現在フレーム用、順方向予測アンカー用、及び逆方向予測アンカー用を含む。ＨＤフレームのサイズをＨとすると、必要とされるフレームメモリの総量は３Ｈである。
【０００７】
ビデオスケーリングは、ビデオを復号化する際に使用されうる他の技術である。この技術は、ビデオのフレームをディスプレイのサイズへリサイズ又はスケーリングするために使用される。しかしながら、ビデオスケーリングでは、フレームのサイズが変更されるだけでなく、解像度も変更される。
【０００８】
内部スケーリングとして知られる１つの種類のスケーリングは、１９９４年のＩＥＥＥの消費者電子機器に関する国際会議の議事録に記載のＨｉｔａｃｈｉによって文献”ＡＮ ＳＤＴＶ ＤＥＣＯＤＥＲ ＷＩＴＨ ＨＤＴＶ ＣＡＰＡＢＩＬＩＴＹ： Ａｎ ＡＬＬ−Ｆｏｒｍａｔ ＡＴＶ Ｄｅｃｏｄｅｒ”で最初に発表された。また、ＲＣＡ・トムソン・ライセンシング（ＲＣＡ Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ）に譲渡された１９９３年１１月１６日発行の「Ｌｏｗｅｒ Ｒｅｓｏｌｕｔｉｏｎ ＨＤＴＶ Ｒｅｃｅｉｖｅｒｓ」なる名称の米国特許第５，２６２，８５４号がある。
【０００９】
上述の２つのシステムは、ＨＤ圧縮されたフレームの標準解像度（ＳＤ）表示のため、又は、ＨＤＴＶに移行する際の中間段階としてのいずれかとして設計された。これは、ＨＤディスプレイにかかる費用が高いこと、又は、その部分を低い解像度で動作させることによりＨＤビデオ復号化器の複雑性を減少させることによるものである。この種類の復号化技術は、その目的が必ずしも多数のビデオフォーマットの処理を可能とするものでなくとも、「全フォーマット復号化（Ａｌｌ ｆｏｒｍａｔ Ｄｅｃｏｄｉｎｇ）」（ＡＦＤ）と称される。
【００１０】
本発明は、処理されるピクチャ又はフレームの種別（Ｉ、Ｂ又はＰ）に応じて異なる種類の処理（スケーリングを含む）が行われるフレーム種別依存（ＦＴＤ）処理に関連する。本発明によれば、順方向アンカーフレームは第１のアルゴリズムで復号化される。逆方向アンカーフレームもまた第１のアルゴリズムで復号化される。Ｂフレームは第２のアルゴリズムで復号化される。
【００１１】
更に、本発明によれば、第２のアルゴリズムは第１のアルゴリズムよりも低い計算複雑性を有する。また、第２のアルゴリズムはビデオフレームを復号化する際に第１のアルゴリズムよりも少ないメモリを使用する。
【００１２】
図面において、全ての図を通して同様の参照番号は対応する部分を示す。
【００１３】
本発明は、復号化されるビデオフレーム又はピクチャの種別に応じて異なる復号化アルゴリズムを使用するフレーム種別依存処理に関連する。図２は、本発明において使用されうるかかる異なるアルゴリズムの例を示す。図示するように、アルゴリズムは、外部スケーリング、内部スケーリング、又はハイブリッドスケーリングへ分類される。
【００１４】
外部スケーリングでは、復号化ループ外でリサイズが行われる。図３は、外部スケーリングを含む復号化アルゴリズムの例を示す図である。図示するように、このアルゴリズムは、外部スケーラ１４が加算器８の出力に配置されること以外は図１に示すＭＰＥＧ符号化器と同じである。従って、入力ビットストリームは最初に通常通り復号化され、次に外部スケーラ１４によってディスプレイのサイズへスケーリングされる。
【００１５】
内部スケーリングでは、復号化ループ内でリサイズが行われる。しかしながら、内部スケーリングは、ＤＣＴ領域スケーリング又は空間領域スケーリングへ更に分類されうる。
【００１６】
図４は、内部空間スケーリングを含む復号化アルゴリズムの例を示す図である。図示するように、ダウンスケーラ１８は、加算器８とフレーム記憶部１２との間に配置される。このように、スケーリングは、動き補償のための記憶が行われる前に空間領域において行われる。更にわかるように、アップスケーラ１６はフレーム記憶部１２とＭＣユニット１０との間に配置される。これは、ＭＣユニット１０からのフレームが、現在復号化されているフレームのサイズまで拡大され、それによりこれらのフレームが一緒に組み合わされることを可能とする。
【００１７】
図５及び図６は、内部ＤＣＴ領域スケーリングを含む復号化アルゴリズムの例を示す図である。図示するように、ダウンスケーラ２４は、ＶＬＤ２とＭＣユニット２６の間に配置される。このように、スケーリングは逆ＤＣＴの前にＤＣＴ領域で行われる。内部ＤＣＴ領域スケーリングは、４×４のＩＤＣＴを実行するもの、及び、８×８のＩＤＣＴを実行するものへ更に分割される。図５のアルゴリズムは、８×８のＩＤＣＴ２０を含み、図６のアルゴリズムは４×４のＩＤＣＴ２８を含む。図５中、８×８のＩＤＣＴ２０と加算器８との間に間引きユニット２２が配置される。これは、８×８のＩＤＣＴ２０から受信されるフレームがＭＣユニット２６からのフレームのサイズに合わされることを可能とする。
【００１８】
ハイブリッドスケーリングでは、水平方向及び垂直方向のために外部及び内部スケーリングの組合せが使用される。図７は、ハイブリッドスケーリングを含む復号化アルゴリズムの一例を示す図である。図示するように、垂直スケーラ３２は加算器８の出力に接続され、水平スケーラ３４はＶＬＤ２とＭＣユニット３６との間に結合される。従って、このアルゴリズムは、水平方向に内部周波数領域スケーリングを、垂直方向に外部スケーリングを用いる。
【００１９】
図７のハイブリッドアルゴリズムでは、両方の方向に２倍のスケーリングが想定される。従って、水平スケーリングが内部的に行われることを考慮に入れるために８×４のＩＤＣＴ３０が含まれる。更に、ＭＣユニット３６は、水平方向に四分の一の画素動き補償を、垂直に二分の一の画素動き補償を与えることによって内部スケーリングを考慮に入れる。
【００２０】
上述の復号化アルゴリズムは夫々、異なったメモリ及び計算力を要する。例えば、外部スケーリングに必要とされるメモリは、ＨＤフレームのサイズをＨとすると、大まかにいって通常のＭＰＥＧ復号化器の３倍（３Ｈ）である。内部スケーリングに必要とされるメモリは、通常のＭＰＥＧ復号化器の大まかに３倍（３Ｈ）を倍率で割ったものである。考えられうる例として、水平ディメンションと垂直ディメンションの両方について倍率は２であると想定する。この想定の下では、内部スケーリングは、外部スケーリングと比較して四分の一である３Ｈ／４のメモリを使用する。
【００２１】
必要とされる計算力について、比較は更に複雑である。内部空間スケーリングは、必要とされるメモリの量を減少させると共に、実際には更に多くの計算力を使用する。これは、いずれも空間領域で実行されるため特にソフトウエアで実現するのが非常に高価な動き補償のための記憶及びアップスケーリングのためのダウンスケーリングによるものである。しかしながら、スケーリングとフィルタリングがＤＣＴ領域へ移動されると、空間フィルタリングの畳込みがＤＣＴ領域での乗算へ変換されるため、計算複雑性はかなり低下する。
【００２２】
ビデオの質に関して、図３に示すような外部スケーリングを伴う復号化器は、復号化ループがそのままであるため最適である。一つ又は両方の次元のスケーリングを内部的に実行する全ての技術は、動き補償のためのアンカーフレームを符号化器側と比較して変更し、従って復号化されたピクチャは「正しい」ものから逸脱する。更に、この逸脱は、続くピクチャが不正確な復号化されたピクチャから予測されるときに大きくなる。この現象は一般的に、「予測ドリフト」と称され、グループ・オブ・ピクチャ（ＧＯＰ）構造に応じて出力ビデオを変化させる。
【００２３】
予測ドリフトでは、ビデオの質は、イントラピクチャで高い質から始まり、次のイントラピクチャの直前の最低の質まで低下する。このビデオの質の、特に一つのＧＯＰ中の最後のピクチャから次のイントラピクチャまでの周期的な変動は特にうっとうしい。予測ドリフト及び質の低下の問題は、入力ビデオストリームが組み合わされたときに更に悪くなる。
【００２４】
全ての非ハイブリッド内部スケーリングアルゴリズムのうち、空間スケーリングはより高い計算複雑性を犠牲として最善の質を与える。一方、特に４×４のＩＤＣＴ変化といった周波数領域スケーリングは、最も低い計算複雑性を負うが、質の低下は空間スケーリングよりも悪い。
【００２５】
ハイブリッド・スケーリング・アルゴリズムに関して、質の低下に最も寄与するのは垂直スケーリングである。従って、内部水平スケーリング及び外部垂直スケーリングを含む図７のハイブリッドアルゴリズムは、非常によい質を与える。しかしながら、このアルゴリズムによって使用されるメモリはメモリ全体の二分の一であり、これは非ハイブリッド内部スケーリングの場合の２倍である。更に、このハイブリッドアルゴリズムの複雑性の低下は、周波数領域のスケーリングアルゴリズムよりも低い。
【００２６】
尚、図７のアルゴリズムは、ハイブリッドアルゴリズムの１つの例でしかない。他のスケーリングアルゴリズムは、異なるようにビデオの水平方向及び垂直方向を処理するために組み合わされうる。しかしながら、組み合わされたアルゴリズムに応じて、メモリ要件及び計算要件は変更しうる。
【００２７】
上述のように、本発明は処理されるピクチャ又はフレームの種別（Ｉ、Ｂ又はＰ）に従って異なる種類の処理（スケーリングを含む）が実行されるフレーム種別依存（ＦＴＤ）処理に関連する。ＦＴＤ処理の基礎となるのは、復号化されたＢピクチャは他の種別のピクチャのためのアンカーとして使用されないため、Ｂピクチャ中の誤りは他のピクチャへ伝搬しないことである。言い替えれば、Ｉピクチャ及びＰピクチャはＢピクチャに依存しないため、Ｂピクチャ中の全ての誤りは他のピクチャへ広がらない。
【００２８】
上述のことに鑑みて、本発明によるＦＴＤ処理の概念は、Ｉピクチャ及びＰピクチャが、より多くのメモリを使用してより高い質で、より多くの計算力を必要とするより高い複雑性のアルゴリズムを用いて処理されることである。これは、より高い質のフレームを与えるためにＩピクチャ及びＰピクチャ中の予測ドリフトを最小限とする。更に、本発明によれば、Ｂピクチャは、より少ないメモリでより低い質で、より少ない計算力を必要とするより低い複雑性のアルゴリズムで処理される。
【００２９】
ＦＴＤ処理では、Ｂフレームを予測するために使用されるＩフレーム及びＰフレームはより良い質であるため、３つの種別のピクチャ全てが同じ質で処理される方法と比較してＢピクチャの質もまた改善される。従って、本発明は、全体のビデオの質により重要なピクチャに対してより多くのメモリ及び処理力を割り当てる。
【００３０】
本発明によれば、ＦＴＤピクチャ処理は、フレーム種別独立（ＦＴＩ）処理と比較してメモリ及び計算力の両方を節約する。この節約は、メモリ及び計算力の割当てが最悪の場合であるか適応可能な場合であるかに応じて静的又は動的のいずれかでありうる。以下の説明では、例としてメモリの節約を用いるが、計算力の節約についても同じ議論が有効である。
【００３１】
使用されるメモリは、復号化されるピクチャの種別に応じて変化する。Ｉピクチャが復号化される場合、１つのみの（スケーリングのオプションに応じて完全な又はより少ない）フレームバッファが必要とされる。Ｉピクチャは、後のピクチャを復号化するためにメモリの中に維持される。Ｐピクチャが復号化されているとき、一つがアンカー（参照）フレーム（現在のＰピクチャがＧＯＰ中の最初のＰであるかに依存してＩ又はＰでありうる）と現在ピクチャとを含む２つのフレームバッファが必要である。Ｐピクチャはメモリ中に保持され、以前のアンカーフレームと共にＢピクチャを復号化するときの逆方向及び順方向参照フレームとして作用する。
【００３２】
上述のように、使用されるメモリの量は復号化されているピクチャの種別に依存して変動する。このメモリ利用変動の明らかな影響は、メモリ割当てが最悪の場合は、Ｉ及びＰピクチャが１又は２のフレームバッファのみを必要とする場合であっても、メモリ割当てが最悪の場合は３つのフレームバッファが必要であることである。これらの要件は、Ｂピクチャのために使用されるメモリがいずれかの方法で減少されると緩められうる。適応メモリ割当ての場合、「曲線」は減少したＢフレームメモリ使用と共に下がる。
【００３３】
メモリ使用と同様に、動き補償は、Ｉピクチャではゼロ、Ｐピクチャでは一つのアンカーフレームに対して行われるのに対して、Ｂピクチャでは、２つのアンカーフレームに対して行われうるため、Ｂピクチャは復号化を行うための殆どの計算力を必要とする。従って、Ｂピクチャ処理が減少されれば、最大（最悪の場合）又は動的な処理力要件は減少されうる。
【００３４】
図８は本発明によるＦＴＤ処理の一つの例を示す図である。概して、ビデオシーケンスのためのＦＴＤ処理のイベントフローでは、Ｉピクチャ及びＰピクチャは、より複雑／より良い質のアルゴリズムで複雑性Ｃ１とメモリ使用率Ｍ１で復号化され、Ｂピクチャは、あまり複雑でなく／より低い質のアルゴリズムで複雑性Ｃ２とメモリ使用率Ｍ２で復号化される。尚、処理されるビデオシーケンスは、１以上のグループ・オブ・ピクチャ（ＧＯＰ）を含みうる。
【００３５】
ステップ４２において、順方向アンカーフレームは、複雑性Ｃ１を有する「第１の選択」のアルゴリズムで復号化される。ここで、復号化された順方向アンカーフレームはＸ１の解像度で記憶され、使用されるメモリはＸ１である。更に、順方向アンカーフレームが閉じたＧＯＰ中の最初のフレームであれば、これはＩピクチャである。そうでなければ、順方向アンカーフレームはＰピクチャである。
【００３６】
ステップ４４において、復号化された順方向アンカーフレームは、表示される前に更なる処理のために出力される。ステップ４６において、逆方向アンカーフレームもまた複雑性Ｃ１で「第１の選択」アルゴリズムで復号化される。ここで、復号化された逆方向アンカーフレームもまたＸ１の解像度で記憶され、従って使用されるメモリはＸ１＋Ｘ１＝２Ｘ１である。更に、逆方向アンカーフレームはＰピクチャである。
【００３７】
ステップ４８において、順方向アンカーフレームは、解像度Ｘ２のディスプレイ寸法へダウンスケーリングされる。ここで、順方向アンカーフレームは、動き補償のためにＸ１又はＸ２のいずれかで記憶されうる。Ｘ１＞Ｘ２であると想定されるため、順方向アンカーをＸ２の解像度で記憶することによってメモリが節約される。順方向アンカーがＭＣと出力の両方についてＸ２で記憶されるとき、使用されるメモリは、Ｘ１＋Ｘ２である。順方向アンカーがＭＣについてＸ１で記憶されるとき、使用されるメモリはＸ１＋Ｘ１＝２Ｘ１である。
【００３８】
ステップ５０において、順方向アンカーフレームと逆方向アンカーフレームの間の１以上のＢフレームが復号化され、出力される。ステップ５０において、１以上のＢフレームは、より低い複雑性Ｃ２の「第２の選択」アルゴリズムを用いて、Ｘ２の解像度の順方向アンカーフレーム及びＸ１の解像度の逆方向アンカーフレームで復号化される。「第２の選択」アルゴリズムはより低い複雑性Ｃ２を有するため、Ｂピクチャの質は他のフレームほど良くないが、Ｂピクチャを復号化するのに必要な計算力の量もまた少なくなる。ここで、復号化されたＢフレームは、Ｘ２の解像度で記憶され、従って使用される全メモリはＸ１＋２Ｘ２である。
【００３９】
ステップ５２において、現在の順方向アンカーフレームは、表示又は更なる処理のために出力される。更に、ステップ５４において、現在の逆方向アンカーは順方向アンカーとなる。これは、次の逆方向アンカーとＢフレームが処理されることを可能とする。
【００４０】
ステップ５４の後、処理は多数の選択を有する。シーケンス中に処理すべきフレームがもはやない場合は、処理はステップ５６へ進み、終了する。同じＧＯＰ中に処理すべき更なるフレームが残っている場合は、処理はステップ４６へ戻る。現在のＧＯＰにフレームが残っておらず、次のＧＯＰが現在のＧＯＰに依存しないとき（閉じたＧＯＰ）、処理はステップ４２へ戻り、次のＧＯＰを処理し始める。
【００４１】
本発明による上述のＦＴＤ処理から幾つかの考察が導かれる。アンカーフレームは常により良い質で復号化されるため、これらのフレーム中で生ずる予測ドリフトは少ない。また、Ｘ２＜Ｘ１であるため、Ｂピクチャに使用されるメモリ又は最大使用量は減少される。更に、Ｂピクチャは、低い複雑性で復号化されるため、フレーム当たりの平均計算量は減少される。
【００４２】
尚、「第１の選択」及び「第２の選択」のアルゴリズムは、公知の又は新しく開発されたアルゴリズムの多数の異なる組合せによって実施されうる。ただ、要件として、「第２の選択」のアルゴリズムがより低い複雑性Ｃ２であり、複雑性Ｃ１の「第１の選択」のアルゴリズムよりも使用するメモリが少なくなくてはならない。このような組合せの例は、図１の基本ＭＰＥＧアルゴリズムを「第１の選択」のアルゴリズムとして使用し、図３乃至図７のアルゴリズムのうちの１つを「第２の選択」のアルゴリズとして使用することを含む。
【００４３】
他の組合せは、図３の外部スケーリングアルゴリズムを「第１の選択」のアルゴリズムとして使用すると共に、図４乃至図７のアルゴリズムのうちの１つを「第２の選択」のアルゴリズムとして使用することを含む。図７のハイブリッドアルゴリズムもまた、図４乃至図６のアルゴリズムのうちの１つを「第２の選択」のアルゴリズムとして使用すると共に、「第１の選択」のアルゴリズムとして使用されうる。更に、他の組合せは、動き補償のための異なるフィルタリングのオプション、例えば、「第１の選択」のアルゴリズムとしてのポリフェーズフィルタリング及び「第２の選択」のアルゴリズムとしての双二次フィルタリングを含む。
【００４４】
図８のＦＴＤ処理のより詳細な例では、図７のハイブリッドアルゴリズムは「第１の選択」のアルゴリズムであり、図６の内部周波数領域スケーリングアルゴリズムは「第２の選択」のアルゴリズムである。この例では、水平方向及び垂直方向の両方についてスケーリングファクタは２であると想定される。
【００４５】
ステップ４２において、順方向アンカーは、ハイブリッドアルゴリズムでＣ１の計算複雑性（ハイブリッド複雑性）で復号化される。ここで、復号化された順方向アンカーフレームは解像度Ｈ／２で記憶され、従って、ここで使用されるメモリはＨ／２である。ステップ４４において、復号化された順方向アンカーフレームが出力される。ステップ４６において、次の逆方向アンカーフレームもまた計算複雑性がＣ１のハイブリッドアルゴリズムで復号化される。ここで、復号化された逆方向アンカーフレームもまた解像度Ｈ／２で記憶され、従って、使用されるメモリは、Ｈ／２＋Ｈ／２＝Ｈである。
【００４６】
ステップ４８において、順方向アンカーフレームは、Ｈ／４の解像度へダウンスケーリングされる。従って、順方向アンカーフレームは、動き補償のためにＨ／４又はＨ／２で記憶されうる。ここで使用されるメモリは、Ｈ／２＋Ｈ／４＝３Ｈ／４（ＭＣについてＨ／４で記憶された順方向アンカー）又はＨ／２＋Ｈ／２＝Ｈ（ＭＣについてＨ／２で記憶された順方向アンカー）である。
【００４７】
ステップ５０において、順方向アンカーフレームと逆方向アンカーフレームとの間の１以上のＢフレームが復号化され、出力される。ステップ５０を行う際、１以上のアンカーフレームは、Ｃ１よりも低い計算複雑性Ｃ２を有する内部周波数領域スケーリングアルゴリズムで、Ｈ／２の解像度の逆方向アンカーと、Ｈ／４又はＨ／２の解像度の順方向アンカーフレームとで復号化される。ここで、復号化されたＢフレームはＨ／４の解像度で記憶され、従って使用される全メモリはＨ／２＋Ｈ／４＋Ｈ／４＝Ｈ（Ｈ／４順方向アンカー）又はＨ／２＋Ｈ／２＋Ｈ／４＝５Ｈ／４（Ｈ／２順方向アンカー）である。
【００４８】
ステップ５２において、逆方向アンカーフレームが出力され、ステップ５４において、現在の逆方向アンカーは順方向アンカーとなる。上述のように、処理はステップ５６において終了するか、ステップ４２又はステップ４６へ戻りうる。
【００４９】
上述のフレーム種別依存ハイブリッドアルゴリズム（ＦＴＤハイブリッド）に使用されるメモリは、フレーム種別独立ハイブリッドアルゴリズムについての３Ｈ／２と比較して、順方向アンカーの解像度に依存して５Ｈ／４又はＨを超えることはない。ＦＴＤハイブリッドの計算の節約は、Ｂピクチャに対してのみである。Ｍ値が一般的な値である３をとるとき（３フレーム毎に１つのアンカーフレーム）、１つのフレーム当たりの平均計算量は、ＦＴＩハイブリッドのＣ１と比較して、（Ｃ１＋２Ｃ２）／３となる。
【００５０】
図９は、本発明によるＦＴＤ処理が実施されうるシステムの一例を示す図である。例えば、システムは、テレビジョン、セットトップボックス、デスクトップ、ラップトップ、又はパームトップコンピュータ、パーソナル・ディジタル・アシスタント（ＰＤＡ）、ビデオカセットレコーダ（ＶＣＲ）といったビデオ／画像記憶装置、ＴｉＶＯ装置等と、上記装置及び他の装置の部分又は組合せを表わしうる。システムは、１以上のビデオ源６２、１以上の入力／出力装置７０、プロセッサ６４、及びメモリ６６を含む。
【００５１】
ビデオ／画像源６２は、例えば、テレビ受像機、ＶＣＲ、又は他のビデオ／画像記憶装置を表わしうる。源６２は、或いは、例えばインターネットといったグローバルコンピュータ通信、高域ネットワーク、都市ネットワーク、ローカルエリアネットワーク、地上放送システム、ケーブル網、衛星網、無線網、又は電話網を介して１つ又は複数のサーバからビデオを受信する１以上のネットワーク接続と、これらの及び他の種類のネットワークの部分又は組合せを表わしうる。
【００５２】
入力／出力装置７０、プロセッサ６４、メモリ６６は、通信媒体６８を介して通信する。通信媒体６８は、例えば、バス、通信網、回路の１以上の内部接続、回路カード、又は他の装置、並びに、これらの及び他の通信媒体の部分及び組合せを表わしうる。源６２からの入力ビデオデータは、メモリ６４中に格納された１以上のソフトウエアプログラムに従って処理され、表示装置７２に供給される出力ビデオ／画像を発生するためにプロセッサ６６によって実行される。
【００５３】
１つの実施例では、図８のＦＴＤ処理を使用する復号化は、システムによって実行されるコンピュータ読み取り可能なコードによって実施される。コードは、メモリ６６に格納されるか、ＣＤ−ＲＯＭ又はフレキシブルディスクといった記憶媒体から読み出し／ダウンロードされうる。他の実施例では、本発明を実施するためのソフトウエア命令の代わりに、又は、ソフトウエア命令に加えて、ハードウエア回路が使用されうる。
【００５４】
本発明について特定的な例に関して上述したが、本発明は本願に記載の例に限られるものではないことが意図される。例えば、本発明はＭＥＰＧ−２の枠組みを用いて説明された。しかしながら、本願に記載の概念及び方法論は、全てのＤＣＴ／概念予測スキームに適用可能であり、より一般的には、異なる相互依存性のピクチャの種別が許される全てのフレームベースのビデオ圧縮スキームに適用可能である。従って、本発明は請求の範囲に含まれる種々の構造及び変更を網羅することが意図される。
【図面の簡単な説明】
【図１】
ＭＰＥＧ復号化器を示すブロック図である。
【図２】
異なるアルゴリズムの例を示す図である。
【図３】
外部スケーリングを用いたＭＰＥＧ復号化器を示すブロック図である。
【図４】
空間スケーリングを用いたＭＰＥＧ復号化器を示すブロック図である。
【図５】
内部周波数領域スケーリングを用いたＭＰＥＧ復号化器を示すブロック図である。
【図６】
内部周波数領域スケーリングを用いたＭＰＥＧ復号化器を示す他のブロック図である。
【図７】
ハイブリッドスケーリングを用いたＭＰＥＧ復号化器を示すブロック図である。
【図８】
本発明によるフレーム種別依存処理の１つの例を示すフローチャートである。
【図９】
本発明によるシステムの１つの例を示すブロック図である。
【図１】
2004516761.tif 000003
【図２】
2004516761.tif 000004
【図３】
2004516761.tif 000005
【図４】
2004516761.tif 000006
【図５】
2004516761.tif 000007
【図６】
2004516761.tif 000008
【図７】
2004516761.tif 000009
【図８】
2004516761.tif 000010
【図９】
2004516761.tif 000011
【国際公開パンフレット】
2004516761.tif 000012
2004516761.tif 000013
2004516761.tif 000014
2004516761.tif 000015
2004516761.tif 000016
2004516761.tif 000017
2004516761.tif 000018
2004516761.tif 000019
2004516761.tif 000020
2004516761.tif 000021
2004516761.tif 000022
2004516761.tif 000023
2004516761.tif 000024
2004516761.tif 000025
2004516761.tif 000026
2004516761.tif 000027
2004516761.tif 000028
【国際公開パンフレット（コレクトバージョン）】
2004516761.tif 000029
2004516761.tif 000030
【国際公開パンフレット（コレクトバージョン）】
2004516761.tif 000031
2004516761.tif 000032
【国際調査報告】
2004516761.tif 000033
2004516761.tif 000034
2004516761.tif 000035
2004516761.tif 000036
2004516761.tif 000037
2004516761.tif 000038