(57)【要約】      （修正有）【課題】ＤＣＴ／ＩＤＣＴに基づく関数によってアップサンプリングされる基準においてフル解像度ＭＣを行うことによって、細粒度動き補償による低減解像度ＭＣを用いた低解像度基準におけるＭＣを行う従来の高速復号器の不良な表示品質を克服する。【解決手段】アップサンプリング、フル解像度ＭＣおよびダウンスケーリングを入力としてダウンスケーリングされた画素を有する１つの行列演算に結合することによって、高速復号化を達成することができる。水平方向および垂直方向に個別に最適なＭＣを行うことによって、その最適なフィルタ係数に関する大きな記憶装置の要件を回避する。また、フル解像度へのアップコンバージョン、完全な動き補償および小さな解像度へのダウンコンバージョンを個別に行う従来の最小のエラードリフト技術と比べて、少ない計算で済み、したがって、少ない電力消費およびより高速の実行を達成することができる。【選択図】図４
2010081347.tif 000002
【特許請求の範囲】
【請求項１】
ＤＣＴに基づく低解像度復号化の方法であって、
ａ．低解像度空間データへのＤＣＴデータのフル解像度ブロックのダウンサンプリングを行うステップと、
ｂ．ダウンサンプリングされた空間基準データにおけるフル解像度動き補償を行うステップと、を含む方法。
【請求項２】
ステップａにおいて、ＤＣＴデータのフル解像度ラインのダウンサンプリングは、水平デシメーションまたは垂直デシメーションまたはその両方のいずれかを含む請求項１に記載の方法。
【請求項３】
デシメーション比は、所定の値である請求項１に記載の方法。
【請求項４】
水平ＩＤＣＴおよび垂直ＩＤＣＴが、行われる請求項２に記載の方法。
【請求項５】
２つの方向に関してＩＤＣＴの実行のシーケンスは、結果に影響することなく交互に行うことができる請求項４に記載の方法。
【請求項６】
ＤＣＴ係数は、ＩＤＣＴを行う前に
【数１】
2010081347.tif 000034
によるダウンサイズ比に基づいて、スケールダウンされ、Ｎは、元のブロックサイズであり、ｎは、ダウンサイズされたサイズである請求項２〜５のいずれか一項に記載の方法。
【請求項７】
ＤＣＴ係数の高い周波数の分布は、垂直のダウンコンバージョンのない用途に関して計算され、特定のＤＣＴブロックに存在する有効な垂直ＤＣＴ係数の数を決定する請求項２〜６のいずれか一項に記載の方法。
【請求項８】
有効な周波数の列番号は、１対のＩＤＣＴ演算に基づくハードウェア実装に関して、１、２、４および８に分類される請求項７に記載の方法。
【請求項９】
水平ＩＤＣＴおよび垂直ＩＤＣＴに関するＩＤＣＴ変換は、それぞれのダウンスケールＩＤＣＴ変換カーネルをスケーリングされたＤＣＴ係数に行列乗算することによって得られる請求項２〜８のいずれか一項に記載の方法。
【請求項１０】
垂直ダウンコンバージョンが実行されない場合には、垂直ＩＤＣＴに関する有効なＤＣＴ係数のみが、ＩＤＣＴの速度向上のために行われる請求項７〜８のいずれか一項に記載の方法。
【請求項１１】
ステップｂにおいて、Ｐ基準画像は、エラードリフトを低減するために最適に動き補償され、Ｂ基準画像は、細かい粒度でダウンスケーリングされる動きベクトルを用いて最適に動き補償されるか、または次善に動き補償されうる請求項１に記載の方法。
【請求項１２】
最適な動き補償は、ＤＣＴ／ＩＤＣＴ関数を用いたフル解像度へのダウンコンバートされる基準マクロブロックのアップコンバージョン、フル解像度ＨＤ動きベクトルによる完全な動き補償およびＤＣＴ／ＩＤＣＴ関数を用いた低減解像度への予測マクロブロックのダウンコンバージョンを必要とする請求項１１に記載の方法。
【請求項１３】
最適な動き補償は、垂直方向および水平方向に関して、２つの個別のステージにおいて低解像度基準で行われ、これらのステージは、ＤＣＴ変換が直交するとき、結果に影響を及ぼすことなく、シーケンスの順序において交互に実行されることができる請求項１２に記載の方法。
【請求項１４】
垂直ダウンコンバージョンおよび水平ダウンコンバージョンの両方が行われる場合に、第１のＭＣステージにおいて処理されることになっているラインの数は、予測ブロックによって重ねられる第２のステージの方向におけるブロックラインの数に等しい請求項１３に記載の方法。
【請求項１５】
第１のステージにおいて、ダウンスケールされるが、第２のステージにおける方向は、フル解像度からなる場合には、第１のＭＣステージにおいて処理されることになっているラインの数は、ＭＰＥＧ２ＭＣ補間仕様に基づいて、フル解像度ブロックサイズ＋１である請求項１３に記載の方法。
【請求項１６】
ダウンコンバートされる次元に関して、最適なＭＣフィルタは、最適な低解像度ＭＣを行うために用いられ、従来のＭＣ補間は、ダウンコンバージョンのないＭＣステージに関して用いられる請求項１３〜１５のいずれか一項に記載の方法。
【請求項１７】
最適なＭＣフィルタは、ｉ）ＤＣＴ変換を用いたラインのアップコンバージョンと、ｉｉ）フル解像度の動き補償およびｉｉｉ）水平方向または垂直方向のいずれかにおけるＤＣＴ変換を用いたダウンコンバージョンのステップの行列の簡略化によって得られる行列を含む請求項１５に記載の方法。
【請求項１８】
含まれるアップコンバージョン行列は、
【数２】
2010081347.tif 000035
によってＤＣＴ係数のスケーリングアップするダウンコンバートされる基準のＤＣＴ変換を必要とし、Ｎは、フル解像度ラインサイズであり、ｎは、ダウンスケールラインサイズであり、次に、より高次のＤＣＴ周波数を０で埋めることによって、フル解像度ＤＣＴを形成し、最後に、フル解像度ＩＤＣＴ変換カーネルによってＩＤＣＴを形成して、フル解像度画像を得る請求項１７に記載の方法。
【請求項１９】
動きベクトルによって指し示される予測ブロックが基準データの２つの隣接するブロックを重ねることができるときに、ＭＣ演算の方向において、隣接するダウンコンバートされた基準の２つのラインが、必要とされる請求項１８に記載の方法。
【請求項２０】
最適なＭＣフィルタは、所与のハーフ画素情報に基づき、アップコンバートされたラインにおけるフル解像度ＭＣ演算を含む請求項１６〜１９のいずれか一項に記載の方法。
【請求項２１】
最適なＭＣフィルタは、予測されたフル解像度ブロックのＤＣＴ変換、因子
【数３】
2010081347.tif 000036
によるＤＣＴ係数のスケーリングダウンを必要とする予測ブロックのダウンサンプリングのステップのための行列を含み、Ｎはフル解像度ラインサイズであり、ｎは、ダウンスケールラインサイズであり、次に、より高次のＤＣＴ周波数を打ち切ることによって、より低い解像度ＤＣＴを形成し、最後に、ダウン受けーリングされたＩＤＣＴ変換カーネルによってＩＤＣＴを形成して、ダウンコンバートされた画像を得る請求項１６〜２０のいずれか一項に記載の方法。
【請求項２２】
ダウンコンバートされた画像は、フレームバッファに保存され、連続フレームの復号化のための基準フレームとして用いられる請求項１〜２１のいずれか一項に記載の方法。
【請求項２３】
ＤＣＴに基づく低解像度復号化の装置であって、
ａ．低解像度空間データへのＤＣＴデータのフル解像度ブロックのダウンサンプリングを行う手段と、
ｂ．ダウンサンプリングされた空間基準データにおけるフル解像度動き補償を行う手段と、を含む装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、より低い解像度へのＭＰＥＧ２ビットストリームの高速復号化のための方法および装置に関する。本発明は、ディジタルビデオ復号器およびトランスコーダにおいて用いるためのディジタルビデオフォーマットのダウンコンバージョンの実装に適用可能である。本発明の一般的な用途としては、少ない電力用途向けのより小さなディスプレイＨＤＴＶ復号化、トランスコーディング目的用、ビデオ会議用およびピクチャー・イン・ピクチャーシステム用に低減解像度へのＨＤＴＶの高速復号化が挙げられる。
【背景技術】
【０００２】
ＭＰＥＧ２のコーデックへのすぐれた圧縮を提供するＨ．２６４、ＭＰＥＧ４，ＷＭＶおよびＤＩＶＸなどの高度なコーデックは、特に衛星ネットワークおよびＩＰベースのネットワークにおけるディジタルビデオブロードキャスティングおよび携帯型メディアプレイヤ向けに選択されるビデオ圧縮技術になっている。それにもかかわらず、ＭＰＥＧ２ブロードキャスティングは、長い間活用されている。既存の消費家電製品、セットトップボックスおよび統合型ディジタルＴＶを更新するためのコストが、主な理由である。これらの要因は、同一の音声ビデオ源が、多数の異なる機器で送信、格納、再生および表示されることができるようにするために、トランスコーディング、すなわち、変換フォーマット、解像度、局所的なフレームレートおよびビットレートの必要性を指摘している。
【０００３】
ＴＶは、従来のＣＲＴ（陰極線管）からフラットパネルへの変換によって主に可能となるディジタル高解像度（ＨＤ）ディスプレイへの移行が見られつつある。低減解像度のビットストリームへのＨＤビットストリームのトランスコーディングが、必要とされることがよくある。フル解像度ＨＤ復号化を伴うトランスコード処理は、高速復号化および再符号化を困難なタスクにする。これは、そのようなトランスコーディング速度が、フル解像度復号器性能によって制限されるためである。また、低減解像度によるモバイルプレイヤでフル解像度におけるＨＤビットストリームの復号化は、大電力を消費し、したがって、実用的ではない。
【０００４】
ダウンスケーリングされた画像における演算による計算要件の削減によって、ＨＤ復号器の速度向上を達成することができる。また、ダウンスケーリングされた基準で演算することによって、特に、低解像度のディスプレイの復号器の場合には、メモリおよびその帯域幅および電力消費を削減することができる。
【０００５】
低解像度ＨＤＭＰＥＧ２復号器には、４つの機能ブロック、すなわち、可変長復号器（ＶＬＤ）、逆量子化（ＩＱ）システム、逆離散コサイン変換システム（ＩＤＣＴ）および動き補償（ＭＣ）システムがある。低減解像度におけるフレームバッファは、基準フレームを格納するために用いられる。加算器は、ＩＤＣＴから出力されるエラー残留を動き補償結果と結合して、最終的なビデオ出力を形成する。
【０００６】
ＶＬＤおよびＩＱは、入ってくるＨＤ伝送を受信し、符号化されたビデオ信号で可変長復号化を行い、結果として生じるＤＣＴ係数を脱量子化して、脱量子化されたＤＣＴ係数のアレイを生成する。結果として生じるＤＣＴ係数ブロックは次に、低解像度ＩＤＣＴによって、空間領域に変換される。２つの前のアンカー画像（Ｉ画像またはＰ画像）が、低解像度フレームバッファに格納される。
【０００７】
ＭＣシステムは、フレームバッファから少なくとも１つのアンカー画像を受信して、動きベクトルによって指し示されたアンカー画像のマクロブロックを出力する。動きベクトル（ＭＶ）によって指し示されたアップコンバートされる低解像度のマクロブロックでフル解像度ＭＣを行うか、またはダウンコンバートされた基準マクロブロックで低解像度ＭＣを行うことができる。フル解像度ＭＣが行われる場合には、動き補償されるブロックは、低解像度にダウンコンバートされる。低解像度ＭＣブロックは次に、低解像度ＩＤＣＴ空間データに加算され、アンカーフレームである場合には、フレームバッファに格納される。
【０００８】
低解像度ＩＤＣＴ
Ｎ×Ｎの２次元ＤＣＴは、以下のように定義される。
【数１】
2010081347.tif 000003
尚、ｕ，ｖ，ｘ，ｙ＝０，１，２，．．．，Ｎ−１であり、式中、ｘ，ｙは、サンプル領域における空間座標であり、ｕ，ｖは、変換領域における座標である。
【０００９】
数学的実数ＩＤＣＴは、以下のように定義される。
【数２】
2010081347.tif 000004
ｆ（ｘ，ｙ）は、実数である。
【００１０】
２次元ＩＤＣＴを１次元ＩＤＣＴに分解することは、以下のように表現されることができる。
【数３】
2010081347.tif 000005
式中、０≦Ｉ≦Ｎ−１、０≦ｘ≦Ｎ−１および０≦ｋ≦Ｎ−１である。Ｘ（ｋ）は、変換入力係数であり、ｋ＝０である場合には、
【数４】
2010081347.tif 000006
であり、それ以外の場合には、Ｕ（ｋ）＝１である。
【００１１】
ＩＤＣＴ出力は、Ｏ＝Ｃ×（Ｃ×Ｉ’）’として表現され、式中、Ｃは、ＩＤＣＴ係数行列である。Ｉは、１２ビットの整数を含む入力行列（Ｆ（ｕ，ｖ））である、特性Ｂ’×Ａ’＝（Ａ×Ｂ）’を用いて、行列は、Ｃ×（Ｉ×Ｃ’）’と表現されることができる。
【００１２】
図２において、ｎｈｏｒは、ダウンコンバートされるブロックの水平解像度を示し、ｎｖｅｒは、ダウンコンバートされるブロックの垂直解像度を示す。
【００１３】
低減解像度ＩＤＣＴの演算が、図２に示されている。水平ＩＤＣＴは、ＤＣＴ入力を水平ＩＤＣＴカーネルの転置に乗算する行列によって行われる。ステージ１の出力は、次元ｎｖｅｒのＩＤＣＴカーネルに乗算され、ステージ１における行列乗算は、次元ｎｖｅｒ×ｎｈｏｒのＤＣＴ入力を必要とするだけである。低解像度画像は、低解像度垂直ＩＤＣＴカーネルをステージ１におけるＩＤＣＴの出力に乗算することによって得られる。
【００１４】
水平方向のみにおけるダウンコンバージョンの場合には、ステージ１のＩＤＣＴは、次元ｎｈｏｒ×ｎｈｏｒの水平ＩＤＣＴカーネルの転置への次元８×ｎｈｏｒのＤＣＴ入力の行列乗算を伴う。垂直ＩＤＣＴは、次元８×ｎｈｏｒのステージ１の出力への次元８×８のＩＤＣＴカーネルの乗算を伴う。
【００１５】
低解像度ＭＣ
「細粒度動き補償を用いた低減解像度ＭＣ」
Ｓｈｅｎは、細粒度動き補償を用いたサブマクロブロック再構成を行う完全な低減解像度動き補償（ＭＣ）を備えた設計を提案した（「Submacroblock Motion Compensation for Fast Down-Scale Transcoding of Compressed video」IEEE Transcations on Circuits And Systems for Video Technology、第１５巻、第１０号、２００５年１０月参照）。この方法の復号化ループが、図１に示された。ＭＣ粒度エラーを回避するために、フル解像度におけるハーフ画素動き補償が、２：１のダウンスケーリング比でダウンスケーリングされた領域におけるクォータ（４分の１）画素  動き補償を用いて再構成される。この論文に記載された研究が大きく寄与したことは、ダウンスケーリングされた基準が維持されるために、フル解像度ＭＣループからのトランスコーダの軽減およびメモリ要件の削減である。この論文は、提案した方法によれば、アップサンプリングされた解像度においてフル解像度ＭＣを行う方法に比べて、品質劣化のより少ない基準を作成したと主張している。しかし、後者のベンチマークとなる方法は、ＭＣ後に、ダウンサンプリングを行い、双線形補間を用いて、ＭＣ後にアップサンプリングを行っている。このことは、ＤＣＴ領域で行われるアップコンバージョンおよびダウンコンバージョンに比べて、劣った画像品質を生じる（「A fast scheme for downsampling and upsampling in the DCT domain」Image Processing、1999．ICIP 99． Proceedings．1999 International Conference on Volume 2、Issue，1999、909〜913ページ、ｖｏｌ．２参照）。（分割されダウンコンバートされた画素が、次善に計算されたような）次善のＭＣの利用は、画像品質における著しいエラードリフトを結果として生じることができる（「Minimal error drift in frequency scalability for motion-compensated DCT coding」，  IEEE Transactions on Circuits and Systems for Video Technology、第４巻、第４号、３９２〜４０６ページ、１９９４年８月参照）。
【００１６】
より細かい粒度のＭＶを用いた次善のＭＣ計算
低減解像度ＭＣ計算は、図３に示されている。ハーフサイズダウンコンバージョン基準で次善のＭＣを行うために、ダウンスケーリングされたＭＶの画素情報が、ダウンスケーリングされたＭＶのサブ画素情報を用いて重み付けされた入力として得られる。実施例として、低解像度領域におけるハーフ画素の画素値は、分数のｄ１＝１／４およびｄ２＝３／４に関して、（３Ａ＋Ｂ）／４を用いて計算される。
【００１７】
ダウンスケーリングされたＭＶのフル画素情報およびサブ画素情報は、固定小数点乗算および除算を用いて、得られることができる。ＭＶは、ＭＰＥＧ２においてハーフ画素情報を有する。小数部分（０または１／２）を表すビットを有する固定小数点の値として効率的に表される。ハーフ解像度の画像に関して半分だけダウンスケーリングされる場合には、小数部分の表示は、２ビット（０、１／４、１／２または３／４）である。４分の１だけダウンスケーリングされる場合には、小数部分の表示は、フル解像度ＭＶの最後の３ビット（０、１／８、１／４、３／８、１／２、５／８、３／４、７／８）である。フル画素情報は、ダウンスケーリングされた解像度における小数部分を表すＬＳＢを切り捨てるために、フル解像度画素の右シフトを行うことによって、簡単に得られることができる。次善のＭＣは、これらの２つの結果を加算する前に、フル画素の画素値Ａにｄ２／（ｄ１＋ｄ２）の重みを適用し、フル画素の画素値Ｂにｄ１／（ｄ１＋ｄ２）を適用することによって計算される。
【００１８】
記載された１次元の計算は、２次元の実装に容易に拡張されることができる。
【００１９】
動き補償が行われるＤＣＴコーディングに関する周波数拡張性における最小のエラードリフト
ＤＣＴベースの低解像度復号器は、理論的に最小の可能なエラードリフトを有することが分かった（「Minimal error drift in frequency scalability for motion-compensated DCT coding」，  IEEE Transactions on Circuits and Systems for Video Technology、第４巻、第４号、３９２〜４０６ページ、１９９４年８月参照）。このアーキテクチャ（図４）において、フレームバッファにおける低解像度の画素は、フル解像度動き補償が行われる前にＤＣＴ／ＩＤＣＴに基づく関数を用いてアップコンバートされる。フル解像度において予測されるブロックは、ＤＣＴ／ＩＤＣＴに基づく関数を用いてダウンサンプルされる。
【００２０】
この技術によって、確認においてエラードリフトを維持することができるが、これは、多くのステージ、すなわち、ＤＣＴおよびＩＤＣＴ処理を伴うアップサンプリング変換、フル解像度ＭＣ、ＤＣＴおよびＩＤＣＴを伴うダウンコンバージョン処理を伴う計算コストのかかる方法である。この技術は、Ｓｈｅｎ（図１）によって提唱される方法よりよい基準を作成するが、復号化処理の減速を結果として生じ、したがって、消費電力の少ない用途またはより低い解像度へのＨＤの高速トランスコーディング用途に適していない。
【００２１】
必要な行列計算およびフルＭＣ補間の詳細は、２次元および１次元のダウンデコーディングに関して図５に示されている。
【００２２】
予め計算されたアップコンバージョンフィルタおよびダウンコンバージョンフィルタを用いて動き補償が行われるＤＣＴコーディングに関する周波数拡張性における最小のエラードリフト
別の特許（「Three-layer scalelable decoder and method of decoding」、ＵＳ６，５１９，２８８  Ｂ１  filed by Mitsubishi Electric Research Laboratories， Inc．，  Cambridge）において、低解像度アンカー画像でＭＣ演算を行う最適な低解像度ＭＣフィルタの派生物について、記載された。しかし、これらのフィルタ係数は、巨大であり、水平および垂直の動きベクトル（ＭＶｘ，ＭＶｙ）、上部フィールド／下部フィールド、補間のオン／オフ、ＭＰＥＧ２標準におけるフレーム／フィールド予測モード（図６Ａ）の膨大な可能な組み合わせのために、大きな記憶装置を必要とする。最適なＭＣに関してそのようなフィルタを用いることは、フィルタ係数のオーバヘッドが大きなメモリ自体を必要とするため、小さなメモリの復号器を有するという目的を無効化する。
【００２３】
最小のエラードリフト周波数合成ＭＣの複雑さを低減するために、垂直方向および水平方向の両方向において、アップコンバージョンフィルタおよびダウンコンバージョンフィルタのために小さなメモリのみを必要とする２つの復号器アーキテクチャが、提案される（図６Ｂおよび図６Ｃ）。動き補償ユニットは、アップコンバートされるアンカー画像に対してフル解像度の動き補償を行う。これらの発明は、アップコンバージョンフィルタ行列およびダウンコンバージョンフィルタ行列を予め計算することによって、ＭＣ処理速度を向上するが、依然として、動き補償からアップコンバージョン処理およびダウンコンバージョン処理を分離し、その一部が処理するときに、完全な動き補償を行うことによって、処理の多くのステージからなる。
【先行技術文献】
【特許文献】
【００２４】
【特許文献１】ＵＳ６，５１９，２８８  Ｂ１
【非特許文献】
【００２５】
【非特許文献１】「Submacroblock Motion Compensation for Fast Down-Scale Transcoding of Compressed video」IEEE Transcations on Circuits And Systems for Video Technology、第１５巻、第１０号、２００５年１０月
【非特許文献２】「A fast scheme for downsampling and upsampling in the DCT domain」Image Processing、1999．ICIP 99． Proceedings.1999 International Conference on Volume 2、Issue，1999、909〜913ページ、ｖｏｌ．２
【非特許文献３】「Minimal error drift in frequency scalability for motion-compensated DCT coding」，  IEEE Transactions on Circuits and Systems for Video Technology、第４巻、第４号、３９２〜４０６ページ、１９９４年８月
【発明の概要】
【発明が解決しようとする課題】
【００２６】
本発明の目的は、低解像度画像で次善のＭＣを用いて、品質劣化の問題に対処し、高速実装および電力節約を達成することができるように、複雑さを著しく低減することによって、この目的を達成することである。本発明は、はるかに削減した数のステップで、ダウンコンバートされる基準において処理のすべてを行うことによって、動き補償が行われるＤＣＴコーディングに関する周波数拡張性における最小のエラードリフトを用いることによって、記載された問題を克服することを目的としている。本発明は、ｉ）大きな２次元補間行列を回避するために、低解像度画像に個別に最適な垂直ＭＣおよび最適な水平ＭＣを行い、ｉｉ）種々のモード（フレーム／フィールド予測、上部および下部のフィールド）が可能であるインターレース式フレーム画像に関して垂直ダウンコンバージョンを回避することによって、低解像度の最適なＭＣに関して大きなフィルタ係数メモリを必要とする問題を回避する。また、次善のＭＣ演算は、必要に応じて、表示品質の重要でない妥協によって複雑さのさらなる低減を可能にするために、ＢＶＯＰ画像処理を許容する。
【課題を解決するための手段】
【００２７】
本発明の一態様によれば、画像のダウンサンプリング手段の方法と、ビデオ復号器またはトランスコーダにおける低減した複雑さを有する動き補償が行われるＤＣＴコーディングに関する周波数拡張性における最小のエラードリフトの方法と、が提供される。
【００２８】
本発明の別の態様によれば、画像のダウンサンプリング手段の装置と、ビデオ復号器またはトランスコーダにおける低減した複雑さを有する動き補償が行われるＤＣＴコーディングに関する周波数拡張性における最小のエラードリフトの方法と、が提供される。
【００２９】
本発明の実施形態は、ビデオ復号器またはトランスコーダにおける低減解像度のＭＰＥＧ２ビットストリームを復号化するために用いられることができる。
【００３０】
本発明は、添付図面を参照して、非限定的な実施例によって記載される。
【図面の簡単な説明】
【００３１】
【図１】従来技術において記載された低解像度ビデオ復号器に関するブロック図である。
【図２】２次元ダウンコンバージョンおよび１次元水平ダウンコンバージョンのみを用いた復号器に関するＩＤＣＴ処理を示している。
【図３】より細かい粒度のダウンスケーリングされたＭＶを用いたハーフ画素計算のためのハーフ解像度の次善のＭＣに関する例示の図である。
【図４】動き補償が行われるＤＣＴコーディングに関する周波数拡張性における最小のエラードリフトを達成するためにフル解像度の動き補償に関する概略図である。
【図５】ステップＡからステップＩまでの２次元のダウンデコーディングおよびステップＣからステップＧまでの１次元の水平ダウンデコーディングに関する周波数拡張性における最小のエラードリフトの図である。
【図６Ａ】特許に記載されたフィルタ係数の格納に関する大きなメモリの要件に関して低解像度ＭＣのために最適なＭＣフィルタの使用の概略図である。
【図６Ｂ】２分の１のメモリ復号器に関する予め計算された水平および垂直のアップコンバージョンフィルタ係数およびダウンコンバージョンフィルタ係数の利用に関して特許に記載された好ましい別の設定である。
【図６Ｃ】４分の１のメモリ復号器に関する予め計算された水平および垂直のアップコンバージョンフィルタ係数およびダウンコンバージョンフィルタ係数の利用に関して特許に記載された好ましい別の設定である。
【図７】本発明の低解像度高速ビデオ復号器に関するブロック図である。
【図８】ステップＳ１０のＩＤＣＴ処理のフローチャートである。
【図９】ステップＳ１４０およびステップＳ１６０におけるＩＤＣＴ処理を示す。
【図１０】基準の垂直ダウンコンバージョンのない垂直ＩＤＣＴに関して処理されるＤＣＴの列の数が割り当てられるステップＳ１３０のフローチャートである。
【図１１】高速の最適なＭＣ機構の概略図に関するフローチャートである。
【図１２】水平方向および垂直方向の両方に関して、４に等しいサイズのダウンスケーリングされた解像度ブロックにおける高速の最適なＭＣ機構の例示の図である。
【図１３】水平方向のダウンコンバージョンがあり、垂直方向のダウンコンバージョンがない４に等しいサイズのダウンスケーリングされた解像度ブロックにおける高速の最適なＭＣ機構の例示の図である。
【図１４】図７の水平方向または垂直方向のいずれかにおける最適なラインＭＣに関するフローチャートである。
【図１５】複雑さの低減していない最適なラインＭＣに関するフローチャートである。
【図１６】高速の最適な低解像度ＭＣフィルタを達成するために簡略化された図１５におけるステップを備えた最適なラインＭＣに関するフローチャートである。
【図１７】ＭＣ補間がそれぞれ０および１であるときに、８から４にダウンデコーディング（インターレースフィールド／累進的のみ）に関する高速のＭＣ行列を計算するために得られた係数を示す。
【図１８】ＭＣ補間がそれぞれ０および１であるときに、８から３にダウンデコーディング（インターレースフィールド／累進的のみ）に関する高速のＭＣ行列を計算するために得られた係数を示す。
【図１９】ＭＣ補間がそれぞれ０および１であるときに、８から２にダウンデコーディング（インターレースフィールド／累進的のみ）に関する高速のＭＣ行列を計算するために得られた係数を示す。
【発明を実施するための形態】
【００３２】
ＤＣＴベースの低解像度復号器は、高解像度画像をダウンサンプリングし、（ステップＳ１０）、フレームバッファにそれらを格納して、最適なＭＣフィルタを用いて、ＰＶＯＰまたはＢＶＯＰに関してフル解像度ＭＣを行い、複雑さがＢＶＯＰ画像におけるある程度の表示品質の損失を犠牲にしてさらに低減されることになっている（図７）場合には、ＢＶＯＰでより細かい粒度のダウンスケーリングされたＭＶを用いてＭＣを行うことを含む。
【００３３】
ＩＤＣＴ変換を用いたダウンサンプリング手段（ステップＳ１０）
図８について言及すると、ＤＣＴ係数は、ステップＳ１１０およびステップＳ１４０において、選択されたＤＣＴの低解像度逆変換が、これらのステップにおいて行われる前に、スケーリングされる。ｎ個の点のＤＣＴ低周波係数からＮ個の点のＩＤＣＴを取る前に、係数は、ＤＣＴとＩＤＣＴのペアにおいて１／ブロックサイズスケーリングのためにスケーリングされなければならない［参考文献：Minimal Error Drift in Frequency Scalability for Motion-Compensated DCT Coding， Robert Mokry and Dimitris Anastassiou， IEEE Transactions on Circuits and Systems for Video Technology］。ステップＳ１１０における水平ＩＤＣＴに関するダウンスケーリングされた係数は、
【数５】
2010081347.tif 000007
である。
【００３４】
ステップＳ１２０において、垂直ダウンスケーリングが行われるかどうかが確認される。垂直ダウンスケーリングが、インターレースされたフレームからなる画像タイプに関して、より良好な画像を得るためにスキップされることができる。スキップされる場合には、ステップＳ１３０およびステップＳ１６０は、垂直方向におけるＩＤＣＴ処理速度向上のための手段を提供する。
【００３５】
ステップＳ１３０が、図１０に示されている。ここで、行われるＩＤＣＴである列の種々の周波数強度が、以下の関数を用いて計算される。
【数６】
2010081347.tif 000008
【００３６】
ｎ＝Ｎ−１，Ｎ−２，Ｎ−４に関する周波数強度が、ステップＳ１３１、ステップＳ１３３およびステップＳ１３５において、それぞれ、ＤＣＴ係数の分布を決定するために計算される。Ｓｕｍ（Ｎ−１）が閾値未満である場合（ステップＳ１３１）には、有効なＤＣＴ係数を含む列の数は、１に等しい。したがって、Ｎ−１のより高い周波数は、表示品質に大きな影響を及ぼすことなく捨てられることができる。ｎｖｅｒ＿ｓｉｇは、そのため、ステップＳ１３２において、１に設定される。ｎｖｅｒ＿ｓｉｇは、ステップＳ１６０において行われる垂直ＩＤＣＴにおいて有効なＤＣＴ係数の数を示す。ステップＳ１３１が偽の結果を生じる場合には、ステップＳ１３３は次に、Ｓｕｍ（Ｎ−２）が閾値未満であるかどうかを確認する。真である場合には、ステップＳ１３４においてｎｖｅｒ＿ｓｉｇは２に設定され、そうでない場合には、ステップＳ１３５においてＳｕｍ（Ｎ−４）が閾値未満であるかどうかの確認が行われる。真である場合には、ステップＳ１３６は、ステップＳ１３６においてｎｖｅｒ＿ｓｉｇは４に設定され、そうでない場合には、ｎｖｅｒ＿ｓｉｇはＮに設定される（ステップＳ１３７）。閾値が、画像品質の許容可能な損失および必要な複雑さの低減に基づいて、割り当てられる。閾値１０は、ＩＤＣＴ処理のわずかな速度向上を伴う画像品質のきわめてわずかな劣化を結果として生じるのに対し、閾値１００は、ＩＤＣＴ複雑さの大きな改善を伴う著しい劣化を結果として生じる。
【００３７】
ＣがＩＤＣＴカーネルであり、ＩがＤＣＴ係数入力である場合には、行われる２次元のＩＤＣＴ演算は、Ｃ×Ｉ×Ｃ’である。
【００３８】
ステップＳ１４０において、水平ＩＤＣＴが次に行われる（Ｉ×Ｃ’）。水平ＩＤＣＴの演算は、図９に示されている。ＤＣＴ係数が次に、ステップＳ１１０に類似であるステップＳ１５０においてスケーリングされる。スケールダウン係数は、
【数７】
2010081347.tif 000009
である。
【００３９】
ステージ２のＩＤＣＴが次に、ステップＳ１６０において行われる。ここで、ＩＤＣＴ処理は、ｎｖｅｒに割り当てられる垂直方向におけるダウン倍率で行われる。垂直方向が、ダウンスケーリングされない場合には、ｎｖｅｒはＮである。ｎｖｅｒ＿ｓｉｇは、ステップＳ１３０において得られる。ステップＳ１３０がスキップされる場合には、ｎｖｅｒ＿ｓｉｇは、ｎｖｅｒに割り当てられる。ｎｖｅｒ＿ｓｉｇには、値１、２、４または８を割り当てることができる。
【００４０】
垂直方向が、ダウンスケーリングされない場合のＩＤＣＴの速度向上は、適応処理によるステージ１のＩＤＣＴおよびステージ２のＩＤＣＴを行うことによって得られる。ステージ１において、次元ｎｖｅｒ＿ｓｉｇ×ｎｈｏｒのアレイおよびｎｈｏｒ×ｎｈｏｒのアレイの行列乗算のみが、行われる。ステージ２において、次元Ｎ×ｎｖｅｒ＿ｓｉｇのアレイおよび次元ｎｖｅｒ＿ｓｉｇ×ｎｈｏｒのアレイの行列乗算のみが、行われる。
【００４１】
［ｎｈｏｒ×ｎｈｏｒ］行列乗算への［Ｎ−ｎｖｅｒ＿ｓｉｇ×ｎｈｏｒ］行列乗算の全体的な削減および［（Ｎ−ｎｖｅｒ＿ｓｉｇ）×ｎｈｏｒ］行列乗算への［Ｎ×（Ｎ−ｎｖｅｒ＿ｓｉｇ）］行列乗算の全体的な削減は、水平ＩＤＣＴおよび垂直ＩＤＣＴに関してそれぞれ達成される
【００４２】
最小のエラードリフトの動き補償が行われるＤＣＴコーディング高速実装手段
ステップＳ２０における演算は、この節で説明される。
【００４３】
ステップＳ２２０において、水平ダウンスケーリングが行われるかどうかの確認が行われる。確認が行われる場合には、垂直ダウンスケーリングが行われるかの確認が行われる（ステップＳ２２２）。これは、ステップＳ２３０に対して処理されることになっている正しいラインに割り当てることである。垂直ダウンスケーリングが行われる場合には、処理されることになっているラインの数ｎは、Ｓ２８０がその入力としてこれらの結果を必要とするため（図１２）、予測ブロックによって重ねられる垂直低解像度ブロックのブロックラインの数（８の配置）に設定される。水平ＭＣ予測が常に、２つの水平ブロック、すなわち１６×１６ＭＣ予測および１６×８ＭＣ予測の場合を必要とするため、行われることになっている水平ブロックラインの数「最適ＭＣブロックライン」は、２に設定される。フル解像度の動きベクトルが、ｍｖｘに割り当てられ、水平の最適なＭＣが行われるステップＳ２３０に送られる。Ｓ２２２において得られた確認が偽である場合には、ｎは、垂直フル解像度のラインサイズ＋１に設定される（図１３）。これは、ＭＰＥＧ２補間フィルタの場合には、フル解像度ＭＣへの入力が、ブロックサイズ＋１であるためである。ラインのすべては、垂直の最適なＭＣを行われることができる前に、水平方向において行われる最適なＭＣを有していなければならない。ステップＳ２２０において行われる確認が偽である場合には、ブロックのフル水平解像度のＭＣが、ステップＳ２４０において行われる。
【００４４】
ステップＳ２３０またはステップＳ２４０から得られた出力は次に、ステップＳ２５０に送られる。ここで、垂直ダウンスケーリングが行われるかどうかの確認が行われる。真である場合には、最適なＭＣに関する水平ラインの数が、水平ダウンスケールラインサイズの数に設定され、フル解像度の動きベクトルが、ｍｖｙに割り当てられる。最適な垂直ＭＣに関する垂直ＭＣブロックラインの数が次に、ＭＣ予測モードを用いて、ステップＳ２６０において割り当てられる。ＭＣ予測モードが１６×１６である場合には、「最適ＭＣブロックライン」は、２に設定され、２つの垂直なブロックラインが、垂直ＭＣに関して処理されるようになっている。ＭＣ予測モードが１６×８である場合には、「最適ＭＣブロックライン」ｔは、１に設定される。割り当てられた必要な変数を用いて、垂直の最適なＭＣが、ステップＳ２８０において行われる。ステップＳ２５０の出力が偽である場合には、フル解像度の垂直ＭＣが行われる（ステップＳ２７０）。
【００４５】
ステップＳ２８０またはステップＳ２７０の後で、垂直方向および水平方向における最小のエラードリフトＭＣ処理が、完了される。
【００４６】
あるいは、ステップＳ２２０〜ステップＳ２８０は、水平方向および垂直方向に関してシーケンスの順序において交互に行われることができる。水平高速ＭＣは、アップコンバージョンおよびダウンコンバージョンにおいて用いられるＤＣＴおよびＩＤＣＴ変換が直交するため、垂直の高速ＭＣに関係なく計算されることができる。
【００４７】
最小のエラードリフトラインＭＣの演算
図１４は、ステップＳ２３０およびステップＳ２６０において行われる最小のエラードリフトＭＣに関するフローチャートである。ステップＳ３００において、「ライン」は、０に割り当てられる。「ライン」は、ラインＭＣの方向に対して垂直な方向において増分される。ステップＳ３１０において、ラインがｎ未満であるかどうかの確認が行われる。真である場合には、ステップＳ３２０は、０に設定される「ブロックライン」によって行われる。「ブロックライン」が「最適ＭＣブロックライン」未満であるかどうかの確認が次に行われる。真である場合には、ステップＳ３４０が行われ、「ブロックライン」がステップＳ３５０において増分される。次いで、ステップＳ３３０が、行われる。真である場合には、ステップＳ３４０が、ＭＣの方向において次のブロックラインで行われる。ステップＳ３３０が偽である場合には、ＭＣ方向における最適なラインＭＣが、ラインに関して完了され、「ライン」が増分される。ステップＳ３１０が、偽であることが判明すると、処理は終了する。
【００４８】
ステップＳ３４０―最適なラインＭＣ
この節は、最適なラインＭＣ機構について記載する。
【００４９】
ＤＣＴおよびＩＤＣＴカーネルＫ
Ｎ×Ｎの２次元ＤＣＴが、以下のように定義される。
【数８】
2010081347.tif 000010
尚、ｕ，ｖ，ｘ，ｙ＝０，１，２，．．．，Ｎ−１であり、式中、ｘ，ｙは、サンプル領域における空間座標であり、ｕ，ｖは、変換領域における座標である。
【数９】
2010081347.tif 000011
【００５０】
数学的な実数ＩＤＣＴは、以下のように定義される。
【数１０】
2010081347.tif 000012
ｆ（ｘ，ｙ）は、実数である。
【００５１】
ステップＳ３４０が、方向において行われるため、１次元のＩＤＣＴおよびＤＣＴが用いられる。
【００５２】
Ｎは、ブロックに対応するフル解像度のラインサイズである。ＭＰＥＧ２の場合には、Ｎは、８である。ｎがダウンスケーリングされるラインサイズである。すなわち２：１のダウン倍率では４であり、３：１のダウン倍率では２である。
【００５３】
ステップＳ３４０の詳細は、以下のように説明される。
【００５４】
ステップＳ３４１
ＤＣＴは、以下に列挙された式を用いて行われる。
【数１１】
2010081347.tif 000013
【数１２】
2010081347.tif 000014
尚、ｕ＝０，１，…，ｎ−１である。式中、ｆＬＩＮＥ（ｘｓ）は、ｎの因子に配置されるダウンスケール画像の基準ライン値である。ｆＬＩＮＥ＋１（ｘｓ）は、ｎの因子に配置されるダウンスケール画像の最適なラインＭＣの方向において、（ＭＣ演算の方向に応じて右または下への）ｆＬＩＮＥ（ｘｓ）の隣の基準ライン値である。
【００５５】
方向におけるブロックのＭＣが、２つの隣接するブロックを重ねてもよいため、２つのラインが必要とされる（図１２、図１３）。
【００５６】
ステップＳ３４２
フル解像度のサイズまでスケーリングアップされる前に、より高い周波数を０で埋めることによって、フル解像度のＤＣＴが得られる。
【００５７】
ステップＳ３４３
ステップＳ３４２において得られた出力は、ステップＳ３４３においてスケールアップされる。選択されたＤＣＴの低解像度逆変換が、行われる。ｎ個の点のＤＣＴ低周波係数からＮ個の点のＩＤＣＴを取る前に、係数は、ＤＣＴとＩＤＣＴのペアにおいて１／ブロックサイズスケーリングのためにスケーリングされなければならない［参考文献：Minimal Error Drift in Frequency Scalability for Motion-Compensated DCT Coding， Robert Mokry and Dimitris Anastassiou， IEEE Transactions on Circuits and Systems for Video Technology］。ＤＣＴ係数は次に、ＩＤＣＴの前に
【数１３】
2010081347.tif 000015
の因子によってスケールアップされる（ステップＳ３４４）。
【数１４】
2010081347.tif 000016
【００５８】
ステップＳ３４４およびステップＳ３４５
ステップＳ３４４において、フル解像度ＩＤＣＴが、動きベクトルｍｖｆによって言及される基準画素を含む基準ラインに関して行われる。
【００５９】
ステップＳ３４５において、動き補償は、入力を補間することによって行われる。補間＝０とは、補間がないことを示すのに対して、補間＝１は、ＭＣの方向において、隣接する画素に関するハーフ画素補間を示す。
【００６０】
ＩＤＣＴおよびＭＣは、動きベクトルによって指し示される画素に関してのみ行われることを留意されたい。
補間＝０である場合
ｘｆ＝ｍｖｆ，ｍｖｆ＋１，…，７であるとき、
【数１５】
2010081347.tif 000017
ｘｆ＝０，１，…，ｍｖｆ−１であるとき、
【数１６】
2010081347.tif 000018
補間＝１である場合
ｘｆ＝ｍｖｆ，ｍｖｆ＋１，…，６であるとき、
【数１７】
2010081347.tif 000019
ｘｆ＝７であるとき、
【数１８】
2010081347.tif 000020
ｘｆ＝０，１，…，ｍｖｆであるとき、
【数１９】
2010081347.tif 000021
【００６１】
ステップＳ３４６
フル解像度ＭＣから得られた結果の高解像度ＤＣＴは次に、以下に示された式を用いて行われる。
【数２０】
2010081347.tif 000022
尚、ｎより高い周波数のＤＣＴは、捨てられるため、ｕ＝０，１，…，ｎ−１である。
【００６２】
ステップＳ３４７
ステップＳ３４２において得られた出力は、ステップＳ３４３においてスケールアップされる。選択されたＤＣＴの低解像度逆変換が、行われる。ｎ個の点のＤＣＴ低周波係数からＮ個の点のＩＤＣＴを取る前に、係数は、ＤＣＴとＩＤＣＴのペアにおいて１／ブロックサイズスケーリングのためにスケーリングされなければならない［参考文献：Minimal Error Drift in Frequency Scalability for Motion-Compensated DCT Coding， Robert Mokry and Dimitris Anastassiou， IEEE Transactions on Circuits and Systems for Video Technology］。ＤＣＴ係数は次に、ＩＤＣＴの前に
【数２１】
2010081347.tif 000023
の因子によってスケールダウンされる（ステップＳ３４９）。
【数２２】
2010081347.tif 000024
【００６３】
ステップＳ３４８
小さな解像度サイズにスケールアップする前に、ダウンスケール解像度ＤＣＴが、より高い周波数を打ち切ることによって得られる。
【００６４】
ステップＳ３４９
ステップＳ３４８によって得られたＤＣＴ係数のＩＤＣＴは次に、以下の式によって予測されたダウンスケールブロックを得るために行われる。
【数２３】
2010081347.tif 000025
尚、ｘｓ＿ｐｒｅｄｉｃｔｅｄ＝０，１，２，…，ｎ−１である。
【００６５】
２ｎタップフィルタへの行列の簡略化（図１６のステップＳ４２０）
この実施形態において重要な要素は、１つの行列演算へのステップＳ３４１〜ステップＳ３４９の簡略化である。これは、これらのステップにおいて用いられる式の結合特性および分配特性を用いて達成されることができる。数学的関数は、入力｛Ｓ０ＬＩＮＥ，Ｓ１ＬＩＮＥ，…，ＳｎＬＩＮＥ｝および｛Ｓ０ＬＩＮＥ＋１，Ｓ１ＬＩＮＥ＋１，…，ＳｎＬＩＮＥ＋１｝の一般関数に簡略化されることができる。動き補償は、フレームフォーマットにおいてＤＣＴ／ＩＤＣＴに基づく関数を用いてダウンスケーリングする場合に、３つ以上の隣接ブロックの入力を必要としないため、２つのラインのみが、入力として必要とされる。
【００６６】
ステップＳ３４１およびステップＳ３４９において与えられた式は、簡略化された行列演算のこれらの係数を生成するために用いられる。ｎ＝４、ｎ＝３、ｎ＝２に関して最適なＭＣフィルタを計算するために得られた簡略された行列の係数は、補間＝０および補間＝１の場合に、それぞれ図１７〜図１９において提供される。
【００６７】
必要なフィルタ係数の数（ステップＳ５０）
図１７〜図１９の厳重な検査によって、８から４へのダウンデコーディングの場合には、行列において多数の係数が互いに同一であるために、１５０個の一意の低解像度の最適なＭＣ係数のみが、必要とされる。８から３へのダウンデコーディングの場合には、９２個の一意の低解像度の最適なＭＣ係数が、必要とされ、８から２へのダウンデコーディングの場合には、４５個の一意の低解像度の最適なＭＣ係数のみが、必要とされる。この装置の実装は、その係数に関して大きな記憶装置の要件を結果として生じない。
【００６８】
複雑さの低減
本発明の技術に関して必要な乗算および加算の数は、この節で提供される。高速行列の簡略化を用いて達成される実行サイクルおよび電力消費の両方に関する節約を示すために、必要な乗算の数は、具体的には、従来の最小のエラードリフトデコーディング技術に比較される。
【００６９】
ステップＳ３２１〜ステップＳ３２９（図１５）に関する従来の最小のエラードリフトＭＣ処理
２次元ダウンデコーディング
Ａ）垂直ＤＣＴ
［ｎｖｅｒ×ｎｖｅｒ］＊［ｎｖｅｒ×ｎｈｏｒ］
乗算：ｎｖｅｒ×ｎｈｏｒ×ｎｖｅｒの乗算
加算：ｎｖｅｒ×ｎｈｏｒ×（ｎｖｅｒ−１）
Ｂ）垂直ＩＤＣＴ
［Ｎ×ｎｖｅｒ］＊［ｎｖｅｒ×ｎｈｏｒ］
乗算：Ｎ×ｎｈｏｒ×ｎｖｅｒ乗算
加算：Ｎ×ｎｈｏｒ×（ｎｖｅｒ−１）
Ｃ）水平ＤＣＴ
［ｎｈｏｒ×ｎｈｏｒ］＊［ｎｈｏｒ×Ｎ］
乗算：ｎｈｏｒ×Ｎ×ｎｈｏｒの乗算
加算：ｎｈｏｒ×Ｎ×（ｎｈｏｒ−１）
Ｄ）水平ＩＤＣＴ
［Ｎ×ｎｈｏｒ］×［ｎｈｏｒ×Ｎ］
乗算：Ｎ×Ｎ×ｎｈｏｒの乗算
加算：Ｎ×Ｎ×（ｎｈｏｒ−１）
Ｅ）ＭＣ補間器は、最大６４×２（ｘ補間およびｙ補間の両方）加法演算およびシフト演算を必要とする。
Ｆ）水平ＤＣＴ
［ｎｈｏｒ×Ｎ］×［Ｎ×Ｎ］
乗算：ｎｈｏｒ×Ｎ×Ｎ
加算：ｎｈｏｒ×Ｎ×（Ｎ−１）
Ｇ）水平ＩＤＣＴ
［ｎｈｏｒ×ｎｈｏｒ］×［ｎｈｏｒ×Ｎ］
乗算：ｎｈｏｒ×Ｎ×ｎｈｏｒ
加算：ｎｈｏｒ×Ｎ×（ｎｈｏｒ−１）
Ｈ）垂直ＤＣＴ
［ｎｖｅｒ×Ｎ］×［Ｎ×ｎｈｏｒ］
乗算：ｎｖｅｒ×ｎｈｏｒ×Ｎ
加算：ｎｖｅｒ×ｎｈｏｒ×（Ｎ−１）
Ｉ）垂直ＩＤＣＴ
［ｎｖｅｒ×ｎｖｅｒ］×［ｎｖｅｒ×ｎｈｏｒ］
乗算：ｎｖｅｒ×ｎｈｏｒ×ｎｖｅｒ
加算：ｎｖｅｒ×ｎｈｏｒ×（ｎｖｅｒ−１）
【００７０】
ＤＣＴおよびＩＤＣＴアーキテクチャは通常、規則的なアーキテクチャであるために、予測ブロックによって重ねられたブロックのすべては、フル解像度ＭＣが行われる前に、アップコンバートされなければならない。
【００７１】
乗算要件に関する以下の計算は、ｎ＝ｎｖｅｒ＝ｎｈｏｒに基づいている。
【００７２】
１６×１６
９ブロックのＤＣＴアップコンバージョンおよびＭＣ補間および４ブロックのダウンコンバージョンが、行われる。
乗算要件＝１３＊（ｎ３＋１６ｎ２＋６４ｎ）
加算要件＝ＤＣＴアップコンバージョンおよびダウンコンバージョン＋補間
＝９＊（ｎ３＋１５ｎ２＋４８ｎ−６４）＋４＊（ｎ３＋１４ｎ２＋４８ｎ）＋６４ｘ２＊４
＝１３ｎ３＋１９１ｎ２＋６２４ｎ−６４
【００７３】
１６×８
６ブロックのＤＣＴアップコンバージョンおよびＭＣ補間および２ブロックのダウンコンバージョンが、行われる。
乗算要件＝８＊（ｎ３＋１６ｎ２＋６４ｎ）
加算要件＝ＤＣＴアップサンプリングおよびダウンサンプリング＋補間
＝６＊（ｎ３＋１５ｎ２＋４８ｎ−６４）＋２＊（ｎ３＋１４ｎ２＋４８ｎ）＋６４ｘ２＊２
＝８ｎ３＋１１８ｎ２＋３８４ｎ−１２８
【００７４】
１次元ダウンデコーディング
必要とされる計算は、ステップＣ〜ステップＨから２次元ダウンデコーディングに関して計算される計算と同一である。
Ｃ）水平ＤＣＴ
［ｎｈｏｒ×ｎｈｏｒ］＊［ｎｈｏｒ×Ｎｖｅｒｕｐ］
乗算：ｎｈｏｒ×Ｎｖｅｒｕｐ×ｎｈｏｒの乗算
加算：ｎｈｏｒ×Ｎｖｅｒｕｐ×（ｎｈｏｒ−１）
Ｄ）水平ＩＤＣＴ
［Ｎ×ｎｈｏｒ］×［ｎｈｏｒ×Ｎｖｅｒｕｐ］
乗算：Ｎ×Ｎｖｅｒｕｐ×ｎｈｏｒの乗算
加算：Ｎ×Ｎｖｅｒｕｐ×（ｎｈｏｒ−１）
Ｅ）ＭＣ補間器は、最大６４×２（ｘ補間およびｙ補間の両方）加法演算およびシフト演算を必要とする。
Ｆ）水平ＤＣＴ
［ｎｈｏｒ×Ｎ］×［Ｎ×Ｎｖｅｒｄｏｗｎ］
乗算：ｎｈｏｒ×Ｎｖｅｒｄｏｗｎ×Ｎ
加算：ｎｈｏｒ×Ｎｖｅｒｄｏｗｎ＿×（Ｎ−１）
Ｇ）水平ＩＤＣＴ
［ｎｈｏｒ×ｎｈｏｒ］×［ｎｈｏｒ×Ｎｖｅｒｄｏｗｎ］
乗算：ｎｈｏｒ×Ｎｖｅｒｄｏｗｎ×ｎｈｏｒ
加算：ｎｈｏｒ×Ｎｖｅｒｄｏｗｎ×（ｎｈｏｒ−１）
【００７５】
乗算要件に関する以下の計算は、ｎ＝ｎｖｅｒ＝ｎｈｏｒに基づいている。
【００７６】
１６×１６
３１７×４ブロックのＤＣＴアップコンバージョンおよびＭＣ補間および２１６×４ブロックのダウンコンバージョンが、行われる。
乗算要件＝３×（８Ｎｖｅｒｕｐｎ＋ｎ２Ｎｖｅｒｕｐ）＋２×（８Ｎｖｅｒｄｏｗｎｎ＋ｎ２Ｎｖｅｒｄｏｗｎ）
＝３×（８×１７×ｎ＋ｎ２×１７）＋２×（８×１６×ｎ＋ｎ２×１６）
＝６６４ｎ＋８３ｎ２
加算要件＝３×（７Ｎｖｅｒｕｐｎ−８Ｎｖｅｒｕｐ＋ｎ２Ｎｖｅｒｕｐ）＋２×（６Ｎｖｅｒｄｏｗｎｎ＋ｎ２Ｎｖｅｒｄｏｗｎ）＋６４＊２＊４
＝３×（７×１７×ｎ−８×１７＋ｎ２×１７）＋２×（６×１６×ｎ＋ｎ２×１６）＋６４＊２＊４
＝５４９ｎ＋８３ｎ２＋１０４
【００７７】
１６×８
３９×４ブロックのＤＣＴアップサンプリングおよび２８×４ブロックのダウンデコーディングが、行われる。
乗算要件＝３×（８Ｎｖｅｒｕｐｎ＋ｎ２Ｎｖｅｒｕｐ）＋２×（８Ｎｖｅｒｄｏｗｎｎ＋ｎ２Ｎｖｅｒｄｏｗｎ）
＝３×（８×９×ｎ＋ｎ２×９）＋２×（８×８×ｎ＋ｎ２×８）
＝３４４ｎ＋４３ｎ２
加算要件＝３×（７Ｎｖｅｒｕｐｎ−８Ｎｖｅｒｕｐ＋ｎ２Ｎｖｅｒｕｐ）＋２×（６Ｎｖｅｒｄｏｗｎｎ＋ｎ２Ｎｖｅｒｄｏｗｎ）＋６４＊２＊２
＝３×（７×９×ｎ−８×９＋ｎ２９）＋２×（６×８×ｎ＋ｎ２×８）＋６４＊２＊２
＝２８５ｎ＋４３ｎ２＋４０
【００７８】
ステップＳ４２０に示されているような行列の簡略化の場合
２次元ダウンデコーディング
１６×１６
ｉ）水平高速ＭＣの計算は、以下を必要とする。
２×［ｎｈｏｒ×（ｎｈｏｒ×２）］［（ｎｈｏｒ×２）×（ｎｖｅｒ×３）］
乗算：２＊ｎｈｏｒ×ｎｖｅｒ×３×ｎｈｏｒ×２の乗算
加算：２×ｎｈｏｒ×ｎｖｅｒ×３×（ｎｈｏｒ×２−１）
ｉｉ）垂直高速ＭＣの計算は、以下を必要とする。
２×［ｎｖｅｒ×（ｎｖｅｒ×２）］［（ｎｖｅｒ×２）×（ｎｈｏｒ×２）］
乗算：２×ｎｖｅｒ×ｎｈｏｒ×２×ｎｖｅｒ×２の乗算
加算：２×ｎｖｅｒ×ｎｈｏｒ×２×（ｎｖｅｒ×２−１）
【００７９】
乗算要件に関する以下の計算は、ｎ＝ｎｖｅｒ＝ｎｈｏｒに基づいている。
水平高速ＭＣの場合に必要な乗算＝１２ｎ３
垂直高速ＭＣの場合に必要な乗算＝８ｎ３
必要な全体的な乗算＝２０ｎ３
必要な全体的な加算＝２０ｎ３−１０ｎ２
【００８０】
１６×８
ｉ）水平高速ＭＣの計算は、以下を必要とする。
２×［ｎｈｏｒ×（ｎｈｏｒ×２）］［（ｎｈｏｒ×２）×（ｎｖｅｒ×２）］
乗算：２＊ｎｈｏｒ×ｎｖｅｒ×２×ｎｈｏｒ×２の乗算
加算：２×ｎｈｏｒ×ｎｖｅｒ×２×（ｎｈｏｒ×２−１）
ｉｉ）垂直高速ＭＣの計算は、以下を必要とする。
１×［ｎｖｅｒ×（ｎｖｅｒ×２）］［（ｎｖｅｒ×２）×（ｎｈｏｒ×２）］
乗算：１×ｎｖｅｒ×ｎｈｏｒ×２×ｎｖｅｒ×２の乗算
加算：１×ｎｖｅｒ×ｎｈｏｒ×２×（ｎｖｅｒ×２−１）
【００８１】
乗算要件に関する以下の計算は、ｎ＝ｎｖｅｒ＝ｎｈｏｒに基づいている。
水平高速ＭＣの場合に必要な乗算＝８ｎ３
垂直高速ＭＣの場合に必要な乗算＝４ｎ３
必要な全体的な乗算＝１２ｎ３
必要な全体的な加算＝１２ｎ３−６ｎ２
【００８２】
２次元ダウンデコーディングに関して従来の方法の場合に必要な乗算および加算の数および本発明の場合に必要な乗算および加算の数は、それぞれ表１および表２で与えられる。
【００８３】
表１．従来の周波数合成方法に対する２次元ダウンデコーディングの場合に必要な乗算（累進的／インターレースフィールドのみ）
【表１】
2010081347.tif 000026
【００８４】
表２．従来の周波数合成方法に対する２次元ダウンデコーディングの場合に必要な加算（累進的／インターレースフィールドのみ）
【表２】
2010081347.tif 000027
【００８５】
類似の態様において、アップコンバージョンフィルタ／ダウンコンバージョンフィルタを有する従来の方法の場合に必要な乗算の数が計算され、それぞれ表３および表４で与えられる。
【００８６】
表３．従来技術のアップコンバージョンフィルタ／ダウンコンバージョンフィルタを有する従来の周波数合成方法に対する２次元ダウンデコーディングの場合に必要な乗算（累進的／インターレースフィールドのみ）
【表３】
2010081347.tif 000028
【００８７】
表４．従来技術のアップコンバージョンフィルタ／ダウンコンバージョンフィルタを有する従来の周波数合成方法に対する２次元ダウンデコーディングの場合に必要な加算（累進的／インターレースフィールドのみ）
【表４】
2010081347.tif 000029
【００８８】
水平方向における１次元ダウンデコーディング
ｉ）水平高速ＭＣの計算は、以下を必要とする。
２×［ｎｈｏｒ×（ｎｈｏｒ×２）］［（ｎｈｏｒ×２）×（Ｎｖｅｒ）］
乗算：２＊ｎｈｏｒ×Ｎｖｅｒ×ｎｈｏｒ×２の乗算
加算：２×ｎｈｏｒ×Ｎｖｅｒ×（ｎｈｏｒ×２−１）
ｉｉ）垂直補間の計算は、１６×８のＭＣ予測に関して、最大２×Ｎｖｅｒｄｏｗｎ×ｎｈｏｒの加算およびシフタおよび１６×１６のＭＣ予測に関して、最大４×Ｎｖｅｒｄｏｗｎ×ｎｈｏｒの加算およびシフタを必要とする。
【００８９】
１６×１６
水平高速ＭＣの場合に必要な乗算＝１７×４ｎ２＝６８ｎ２
必要な全体的な加算＝１７×（４ｎ２−２ｎ）＋４×８×ｎ＝６８ｎ２−２ｎ
【００９０】
１６×８
水平高速ＭＣの場合に必要な乗算＝９×４ｎ２＝３６ｎ２
必要な全体的な加算＝９×（４ｎ２−２ｎ）＋２×８×ｎ＝３６ｎ２−２ｎ
【００９１】
２次元ダウンデコーディングに関して従来の方法の場合に必要な乗算および加算の数および本発明の場合に必要な乗算および加算の数は、それぞれ表５および表６で与えられる。
【００９２】
表５．従来の周波数合成方法に対する１次元ダウンデコーディングの場合に必要な乗算
【表５】
2010081347.tif 000030
【００９３】
表６．従来の周波数合成方法に対する１次元ダウンデコーディングの場合に必要な乗算
【表６】
2010081347.tif 000031
【００９４】
類似の態様において、アップコンバージョンフィルタ／ダウンコンバージョンフィルタを有する従来の方法の場合に必要な乗算の数が計算され、それぞれ表７および表８で与えられる。
【００９５】
表７．従来技術におけるアップコンバージョンフィルタ／ダウンコンバージョンフィルタを有する従来の周波数合成方法に対する１次元ダウンデコーディングの場合に必要な乗算
【表７】
2010081347.tif 000032
【００９６】
表８．従来技術におけるアップコンバージョンフィルタ／ダウンコンバージョンフィルタを有する従来の周波数合成方法に対する１次元ダウンデコーディングの場合に必要な加算
【表８】
2010081347.tif 000033
【００９７】
複雑さの低減以外には、演算の種々のステージ（アップコンバージョン、フル解像度ＭＣ、ダウンコンバージョン）を水平高速ＭＣおよび垂直高速ＭＣの２ステージに結合することによって、処理速度の向上が、さらに強化される。
【００９８】
効果
低解像度におけるＭＰＥＧ２ビットストリームの高速復号化を行うための方法および装置は、最小のエラードリフトの動き補償が行われるＤＣＴコーディング技術を利用し、簡略化された行列演算においてそれを実行することによって、良好な表示品質を達成する。適応して有効であるＤＣＴ係数においてのみ演算が行われることによって、垂直にダウンサイズされない低解像度画像に関して速度向上を達成する。
【００９９】
記載された実施形態は、簡略化された行列フィルタを用いて、特定の方向において、ＤＣＴ／ＩＤＣＴに基づく関数を利用したアップコンバージョン、完全な動き補償およびダウンコンバージョンを行う機構を提供することによって、従来技術に記載された問題を緩和する。最小のエラードリフトの動き補償が行われるＤＣＴコーディング技術を用いることによって、細粒度動き補償による低減解像度のＭＣを用いた高速デコーディング技術より良好な表示品質を達成する。また、フル解像度へのアップコンバージョン、完全な動き補償および小さな解像度へのダウンコンバージョンを個別に行う従来の最小のエラードリフト技術と比べて、本発明の方法は、少ない計算で済み、したがって、少ない電力消費およびより高速の実行を達成することができる。低解像度ＭＣの複雑さをさらに低減するために、復号化された画像のエラー伝搬に寄与しないＢＶＯＰに関して、次善のＭＣを行うことができる。
【０１００】
前述の態様において、ＤＣＴに基づく低解像度復号器における画像の最小のエラードリフトの動き補償が行われるＤＣＴコーディング技術によってダウンサンプリングおよび動き補償を行うための方法および装置が、開示される。複数の  実施形態のみが記載されているが、本発明の範囲を逸脱することなく、数々の変更および／または改変を行いうることは、本開示に照らせば、当業者には明白であろう。
【図１】
2010081347.tif 000037
【図２】
2010081347.tif 000038
【図３】
2010081347.tif 000039
【図４】
2010081347.tif 000040
【図５】
2010081347.tif 000041
【図６Ａ】
2010081347.tif 000042
【図６Ｂ】
2010081347.tif 000043
【図６Ｃ】
2010081347.tif 000044
【図７】
2010081347.tif 000045
【図８】
2010081347.tif 000046
【図９】
2010081347.tif 000047
【図１０】
2010081347.tif 000048
【図１１】
2010081347.tif 000049
【図１２】
2010081347.tif 000050
【図１３】
2010081347.tif 000051
【図１４】
2010081347.tif 000052
【図１５】
2010081347.tif 000053
【図１６】
2010081347.tif 000054
【図１７】
2010081347.tif 000055
【図１８】
2010081347.tif 000056
【図１９】
2010081347.tif 000057
【外国語明細書】
2010081347.tif 000058
2010081347.tif 000059
2010081347.tif 000060
2010081347.tif 000061
2010081347.tif 000062
2010081347.tif 000063
2010081347.tif 000064
2010081347.tif 000065
2010081347.tif 000066
2010081347.tif 000067
2010081347.tif 000068
2010081347.tif 000069
2010081347.tif 000070
2010081347.tif 000071
2010081347.tif 000072
2010081347.tif 000073
2010081347.tif 000074
2010081347.tif 000075
2010081347.tif 000076
2010081347.tif 000077
2010081347.tif 000078
2010081347.tif 000079
2010081347.tif 000080
2010081347.tif 000081
2010081347.tif 000082
2010081347.tif 000083
2010081347.tif 000084
2010081347.tif 000085
2010081347.tif 000086
2010081347.tif 000087
2010081347.tif 000088
2010081347.tif 000089
2010081347.tif 000090
2010081347.tif 000091
2010081347.tif 000092
2010081347.tif 000093
2010081347.tif 000094
2010081347.tif 000095
2010081347.tif 000096
2010081347.tif 000097
2010081347.tif 000098
2010081347.tif 000099
2010081347.tif 000100
2010081347.tif 000101
2010081347.tif 000102
2010081347.tif 000103
2010081347.tif 000104