(57)【要約】  ビデオデコーダは、低解像度動きデータを使用して低解像度参照画像と低解像度参照画像と異なる位置における補間された高解像度参照画像との両方に基づいて画素値を予測する低解像度予測器を含み、ビデオをビットストリームから復号する。高解像度予測器は、低解像度動きデータを用い、低解像度参照画像と異なる位置における非補間の高解像度参照画像を使用して画素値を予測し、非補間の高解像度参照画像と補間された高解像度参照画像とは同じ位置にある。
2014519212.tif 000002
【特許請求の範囲】
【請求項１】
ビデオをビットストリームから復号するビデオデコーダであって、前記ビデオデコーダは、
（ａ）低解像度動きデータを使用して、低解像度参照画像と補間された高解像度参照画像との両方に基づいて画素値を予測する低解像度プレディクタであって、前記低解像度参照画像と前記補間された高解像度参照画像とは同じ位置にない、前記低解像度プレディクタ；
（ｂ）前記低解像度動きデータを使用して、非補間の高解像度参照画像と前記低解像度参照画像との両方に基づいて画素値を予測する高解像度プレディクタであって、前記非補間の高解像度参照画像と前記低解像度参照画像とは同じ位置にない、前記高解像度プレディクタ；
を備える、ビデオデコーダ。
【請求項２】
前記高解像度プレディクタは、前記低解像度参照画像と異なる前記位置における前記補間された高解像度参照画像に基づく前記予測された画素値を、前記予測された非補間の高解像度参照画像によって置き換える、請求項１に記載のビデオデコーダ。
【請求項３】
前記補間された高解像度参照画像に使用されるフィルタは、ビットストリームで信号伝達される、請求項１に記載のビデオデコーダ。
【請求項４】
前記補間された高解像度参照画像に使用されるフィルタは、ビットストリーム中のインデックスによって識別される、請求項１に記載のビデオデコーダ。
【請求項５】
前記補間された高解像度参照画像は、前記低解像度参照画像に基づいて決定される、請求項１に記載のビデオデコーダ。
【請求項６】
前記補間された高解像度参照画像および前記低解像度参照画像は、高解像度画素補間モジュールから前記低解像度プレディクタに提供される、請求項１に記載のビデオデコーダ。
【請求項７】
フィルタリング・モジュールは、前記予測された補間された高解像度画像を、前記予測された非補間の高解像度画像によって置き換える、請求項１に記載のビデオデコーダ。
【請求項８】
フィルタリング・モジュールは、前記低解像度プレディクタからの前記予測された低解像度画像、前記低解像度プレディクタからの前記予測された補間された高解像度画像、前記高解像度プレディクタからの前記予測された低解像度画像、および前記予測された非補間の高解像度画像の少なくとも２つに基づいて修正された予測された高解像度画像を提供する、請求項１に記載のビデオデコーダ。
【請求項９】
前記低解像度プレディクタからの前記予測された低解像度画像、前記高解像度プレディクタからの前記予測された低解像度画像は、異なる、請求項８に記載のビデオデコーダ。
【請求項１０】
ビデオをビットストリームから復号するビデオデコーダであって、前記ビデオデコーダは、
（ａ）前記ビデオを定義するビットストリームを復号するエントロピー・デコーダ；
（ｂ）少なくとも１つの予め復号されたブロックからの近似データに基づいてブロックのイントラ予測を行うプレディクタであって、追加的な近似データが前記近似データに基づいて決定され、前記近似データおよび前記追加的な近似データに基づいて前記イントラ予測を行う、前記プレディクタ、
を備える、ビデオデコーダ。
【請求項１１】
前記追加的な近似データは、画素位置におけるサンプル値を導出するための前記近似データのバイリニア補間に基づく、請求項１０に記載のビデオデコーダ。
【請求項１２】
前記追加的な近似データは、画素位置におけるサンプル値を導出するための前記近似データのコピー技術に基づく、請求項１０に記載のビデオデコーダ。
【請求項１３】
前記追加的な近似データは、画素位置におけるサンプル値を導出するための前記近似データに基づく方向性をもつ画素推定技術を使用する、請求項１０に記載のビデオデコーダ。
【請求項１４】
前記プレディクタは、低解像度画素位置のみで画素を予測する、請求項１０に記載のビデオデコーダ。
【請求項１５】
前記プレディクタは、高解像度画素位置のみで画素を予測する、請求項１０に記載のビデオデコーダ。
【請求項１６】
前記プレディクタは、低解像度画素位置および高解像度画素位置の両方で画素を予測する、請求項１０に記載のビデオデコーダ。
【請求項１７】
前記近似データは、前記ブロックに隣接した画素のみを含む、請求項１０に記載のビデオデコーダ。
【請求項１８】
前記近似データは、前記ブロックに対して２画素以内の画素のみを含む、請求項１０に記載のビデオデコーダ。
【請求項１９】
前記近似データは、前記ブロックに対して３画素以内の画素のみを含む、請求項１０に記載のビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電力を低減したビデオデコーダに関する。
【背景技術】
【０００２】
Ｈ．２６４／ＡＶＣのような、既存のビデオ符号化標準規格は、一般に、計算複雑度が増加するという代償を払って比較的高い符号化効率を提供する。計算複雑度が比較的高くなると著しい電力消費につながり、携帯電話のような低電力デバイスにとって特に問題となる。
【０００３】
電力低減は、一般に、２つの主要な技術を使用することによって達成される。電力低減のための第１の技術は、便宜的なものであり、ビデオ符号化システムは、復号が容易なシーケンスに対して動作しているときに処理能力を低下させる。この処理能力の低下は、周波数スケーリング、電圧スケーリング、オンチップ・データ・プリフェッチ（キャッシング）および／または系統的なアイドリング策によって達成できる。多くの場合、結果として生じるデコーダ動作は標準規格に準拠する。電力低減のための第２の技術は、復号処理の間にフレームまたは画像データを破棄することである。これは、典型的に、より著しい省電力を可能にするが、一般に、画像品質の目立った劣化という代償を伴う。加えて、多くの場合、結果として生じるデコーダ動作は標準規格に準拠しない。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の一実施形態は、ビデオをビットストリームから復号するビデオデコーダを開示し、このビデオデコーダは、（ａ）低解像度動きデータを使用して、低解像度参照画像と補間された高解像度参照画像との両方に基づいて画素値を予測する低解像度プレディクタであって、前記低解像度参照画像と前記補間された高解像度参照画像とは同じ位置にない、低解像度プレディクタ；（ｂ）前記低解像度動きデータを使用して、非補間の高解像度参照画像と前記低解像度参照画像との両方に基づいて画素値を予測する高解像度プレディクタであって、前記非補間の高解像度参照画像と前記低解像度参照画像とは同じ位置にない、高解像度プレディクタを備える。
【０００５】
本発明の別の実施形態は、ビデオをビットストリームから復号するビデオデコーダを開示する  本発明のまた別の実施形態は、ビデオをビットストリームから復号するビデオデコーダを開示し、このビデオデコーダは、（ａ）前記ビデオを定義するビットストリームを復号するエントロピー・デコーダ；（ｂ）少なくとも１つの予め復号されたブロックからの近似データに基づいてブロックのイントラ予測を行うプレディクタであって、追加的な近似データが前記近似データに基づいて決定され、前記近似データおよび前記追加的な近似データに基づいて前記イントラ予測を行う、プレディクタを備える。
【０００６】
本発明の前述および他の目的、特徴および利点は、本発明の以下の詳細な記載を添付図面と併せて考察したときに、さらに容易に理解されるであろう。
【図面の簡単な説明】
【０００７】
【図１】デコーダを示す。
【図２】低解像度予測を示す。
【図３Ａ】デコーダおよびデコーダのためのデータフローを示す。
【図３Ｂ】デコーダおよびデコーダのためのデータフローを示す。
【図４】フレームバッファのサンプリング構成を示す。
【図５】デコーダにおけるフレームバッファの統合を示す。
【図６Ａ】２つのブロックの代表的な画素値を示す。
【図６Ｂ】２つのブロックの代表的な画素値を示す。
【図７】動き補償を示す。
【図８】カスケード型動き補償を示す。
【図９】低および高解像度分解を示す。
【図１０】イントラ予測を示す。
【図１１】低解像度イントラ予測を示す。
【図１２】低解像度イントラ予測のためのバイリニア補間を示す。
【図１３】低解像度イントラ予測のための直接的なコピー補間を示す。
【図１４】低解像度イントラ予測のための方向性をもつ画素推定を示す。
【図１５】低および高解像度画素補間を示す。
【発明を実施するための形態】
【０００８】
望ましいのは、典型的にフレームデータの破棄を伴う大幅な省電力を、結果として生じる画像品質の目立った劣化も標準規格への非準拠もなしに可能にすることである。適切に実装すれば、システムを符号化効率への影響を最小限にして使用できる。画像の劣化と符号化効率の損失を最小限に抑えて、かかる省電力を促進するためには、システムが低解像度データおよび高解像度データに対して択一的に動作すべきである。低解像度データと高解像度データとの組み合わせは、フル解像度データをもたらすことができる。さらに、低解像度データに対応するフル解像度データは、低解像度グリッド位置と呼ばれる。同様に、高解像度データに対応するフル解像度データは、高解像度グリッド位置と呼ばれる。低解像度データの使用は、ディスプレイが有する解像度が、送信されるコンテンツの解像度より低いときに特に適する。
【０００９】
より高い解像度のデコーダを設計するときに、電力は、１つの要素である。電力使用の主要原因の１つは、メモリ帯域幅である。メモリ帯域幅は、従来から解像度およびフレームレートの向上とともに増加し、システムを設計する際に往々にして重大なボトルネックおよびコスト要因となる。電力使用の第２の主要原因は、高解像度画素数である。高解像度画素数は、画像フレームの解像度によって直接決定され、画素処理および計算量を増加させる。各画素操作に必要とされる電力量は、復号処理の複雑度によって決定される。歴史的に、復号の複雑度は、ビデオ符号化標準規格が「改善される」毎に増加してきた。
【００１０】
図１を参照すると、システムは、エントロピー復号部１０、（逆量子化ＩＤＣＴ（ｉｎｖｅｒｓｅ  ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ：逆離散コサイン変換）を使用した逆変換のような）変換部２０、イントラ予測部３０、動き補償予測部４０、加算器８０、デブロッキングフィルタ５０、適応ループフィルタ６０、およびフレームバッファ７０に結合されたメモリ圧縮／復元モジュールを含むことができる。ビデオシステムのための様々なモジュールの配置および選択は、所望通りに修正できる。一態様において、システムは、好ましくはメモリ帯域幅およびフレームバッファの高解像度画素数の両方の電力要求を低減する。メモリ帯域幅は、フレームバッファ圧縮技術をビデオコーデック設計に組み込むことによって低減される。フレームバッファ圧縮技術の目的は、参照ピクチャ・バッファ内のデータにアクセスするために必要とされるメモリ帯域幅（および電力）を低減することである。参照ピクチャ・バッファ自体が元の画像データの圧縮版であれば、著しい符号化損失なしに多くの用途に対して参照フレームの圧縮を達成できる。
【００１１】
高解像度画素数に対処するには、ビデオコーデックが、ドリフトなしに低解像度処理モードをサポートしなければならない。これは、デコーダが低解像度およびフル解像度の動作点間で切り替えができて、標準規格に準拠しうることを意味する。これは、低解像度データのみではあるがフル解像度予測情報を使用して、低解像度および高解像度データの両方を予測することによって達成できる。さらに、低解像度データのみを使用してデブロッキングの決定を下すデブロッキング処理を用いて、これを改善できる。デブロッキングは、低解像度データに適用され、さらに必要に応じて、高解像度データにも適用される。低解像度データのデブロッキングは、高解像度データには依存しない。低解像度デブロッキングと高解像度デブロッキングとは、順次および／または並行して行うことができる。しかしながら、高解像度データのデブロッキングは、低解像度データに依存しうる。かくして、低解像度処理は、高解像度処理に依存しないので、省電力モードが可能であるが、一方で高解像度処理は、低解像度処理に依存しうるので、良好な画像品質は所望されたときに可能になる。
【００１２】
図２を参照すると、低解像度モード（Ｓ１０）で動作しているときに、デコーダは、処理すべき画素数を著しく低減するために、低解像度予測および修正されたデブロッキングの特性を利用できる。これは、低解像度データのみを予測する（Ｓ１２）ことによって達成できる。次に、低解像度データを予測した後に、高解像度データ（すなわち、画素位置）ではなく低解像度データ（すなわち、画素位置）のみに関して残差データを計算する（Ｓ１４）。残差データは、典型的にビットストリームで送信される。低解像度データに関して計算された残差データは、低解像度グリッド位置におけるフル解像度の残差データと同じ画素値を有する。主な違いは、残差データを低解像度グリッド位置で算出するだけでよいことである。残差の算出に続いて、低解像度画素値を提供するために、低解像度残差が低解像度予測に加えられる（Ｓ１６）。次に、結果として生じた信号のデブロッキングが行われる。この場合もやはり、デブロッキングは、電力消費を低減するために好ましくは低解像度グリッド位置のみで行われる（Ｓ１８）。最後に、未来の予測のために、結果が参照ピクチャ・フレームバッファに記憶される。随意的に、結果が適応ループフィルタを用いて処理されてもよい。適応ループフィルタは、フル解像度データのための適応ループフィルタに関連してもよく、または独立に信号伝達されてもよく、あるいは省略されてもよい。
【００１３】
低解像度モードで動作するシステムの例となる図が、図３Ａおよび３Ｂに示される。システムは、フル解像度モードで動作するモードも同様に含むことができる。図３Ａおよび３Ｂに示されるように、エントロピー復号は、フル解像度で行うことができるが、逆変換（逆量子化（Ｄｅｑｕａｎｔ）ＩＤＣＴ）および予測（イントラ予測；動き補償予測（ＭＣＰ：Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｐｒｅｄｉｃｔｉｏｎ））は、好ましくは低解像度で行われる。デブロッキングは、低解像度データのデブロッキングが追加的な高解像度データに依存しないように、好ましくはカスケード方式で行われる。最後に、メモリ圧縮を含むフレームバッファが、未来の予測に使用される低解像度データを記憶する。
【００１４】
図３Ａに示されるエントロピー復号１００は、フル解像度画素に関する残差データ（１０１）のエントロピー復号を行う。残差１０１における影付き画素は、低解像度位置を表し、一方で影なし画素は、高解像度位置を表す。逆量子化ＩＤＣＴ  ２００は、逆量子化およびＩＤＣＴ後の残差２０１を生成するために、残差１０１における低解像度画素データのみを逆変換する。
【００１５】
イントラ・ピクチャの場合、イントラ予測３００は、（影付き画素によって示される）低解像度位置に関してのみ予測３０１を生成する。加算器８００は、（影付き画素によって示される）低解像度位置に関してのみ再構成８０１を生成するために、逆量子化およびＩＤＣＴ後の残差２０１における低解像度画素データを予測３０１における低解像度画素データに加える。
【００１６】
インター・ピクチャの場合、図３Ｂに示されるＭＣＰ４００は、メモリ７００から（参照ピクチャ・データ７０２における影付き画素によって示される）参照ピクチャの低解像度画素データを読み出し、除去されている高解像度画素データを補間によって生成する。例えば、補間４０１に示されるように、ＭＣＰ４００は、高解像度画素データＣを、隣接画素の低解像度画素データから補間によって生成する。Ｃの上および下側に位置する画素の低解像度画素データの平均をとること、Ｃの左および右側に位置する画素の低解像度画素データの平均をとること、Ｃの上、下、左および右側に位置する画素の低解像度画素データの平均をとることを補間として用いることができる。
【００１７】
デブロッキング５００は、カスケード方式で行われる。デブロッキング５００は、１回目に低解像度データをフィルタする（５０１）のに対して、２回目には高解像度データをフィルタする（５０２）。より具体的には、デブロッキング５００は、以下のように行われる。
【００１８】
ステップ１）（５０１）
デブロッキング５００は、低解像度データおよび補間による高解像度データを使用して、低解像度データにのみ適用される。
【００１９】
ステップ２）（５０２）
デブロッキング５００は、低解像度データおよび補間による高解像度データを使用して、高解像度データにのみ適用される。
【００２０】
デブロッキング５００後のピクチャは、メモリ７００に記憶される。以下に説明するのは、デブロッキング５００後にメモリ７００に一度記憶されて、ＭＣＰ４００のために読み出されたピクチャ（７０１、７０２、７０３）である。デブロッキング５００後のピクチャ５０２は、フル解像度ピクチャであり、ピクチャ７０１と呼ぶことができる。デブロッキング５００後のピクチャ７０１は、低解像度位置のみを残してメモリ７００に記憶されるように、チェッカーボードパターンに間引かれる（７０２）。予測に使用されるときには、（７０２の影なし画素によって示される）デシメートされた高解像度画素データが補間されて、補間されたピクチャが、予測ピクチャを生成するために使用される。
【００２１】
フレームバッファ圧縮技術は、低解像度機能の構成要素であることが好ましい。フレームバッファ圧縮技術は、好ましくは画像画素データを複数の組に分割し、画素データの第１の組は、他の組に依存しない。一実施形態において、システムは、図４に示されるようなチェッカーボードパターンを用いる。図４において、影付き画素位置は第１の組に属し、影なし画素は第２の組に属する。所望通りに、他のサンプリング構成が使用されてもよい。例えば、画素の一つ置きの列が第１の組に割り当てられてもよい。代わりに、画素の一つ置きの行が第１の組に割り当てられてもよい。同様に、画素の一つ置きの列および行が第１の組に割り当てられてもよい。画素を複数の組に任意に適切に分割して使用することもできる。
【００２２】
メモリ圧縮／復元のために、フレームバッファ圧縮技術は、好ましくは、画素の第１の組における画素から画素の第２の組における画素を線形に予測する。予測は、予め定義されてもよい。代わりに、予測は、空間的に変化してもよく、あるいは他の適切な技術を使用して決定されてもよい。
【００２３】
一実施形態において、画素の第１の組における画素が符号化される。この符号化は、例えば、ヒーリー（Ｈｅａｌｙ），Ｄ．；ミッチェル（Ｍｉｔｃｈｅｌｌ），Ｏ．，「ブロック・トランケーション符号化を使用したデジタルビデオ帯域幅圧縮（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｂａｎｄｗｉｄｔｈ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｕｓｉｎｇ  Ｂｌｏｃｋ  Ｔｒｕｎｃａｔｉｏｎ  Ｃｏｄｉｎｇ）」，ＩＥＥＥトランザクションズオンコミュニケーションズ［レガシー，１９８８年以前］（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ［ｌｅｇａｃｙ，ｐｒｅ−１９８８］），第２９巻，第１２号ｐｐ．１８０９−１８１７，１９８１年１２月に記載されるような、ブロック・トランケーション符号化（ＢＴＣ：ｂｌｏｃｋ  ｔｒｕｎｃａｔｉｏｎ  ｃｏｄｉｎｇ）、レマ（Ｌｅｍａ），Ｍ．；ミッチェル（Ｍｉｔｃｈｅｌｌ），Ｏ．，「絶対モーメント・ブロック・トランケーション符号化およびカラー画像へのその応用（Ａｂｓｏｌｕｔｅ  Ｍｏｍｅｎｔ  Ｂｌｏｃｋ  Ｔｒｕｎｃａｔｉｏｎ  Ｃｏｄｉｎｇ  ａｎｄ  Ｉｔｓ  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｃｏｌｏｒ  Ｉｍａｇｅｓ）」，ＩＥＥＥトランザクションズオンコミュニケーションズ［レガシー，１９８８年以前］（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ［ｌｅｇａｃｙ，ｐｒｅ−１９８８］），第３２巻，第１０号ｐｐ．１１４８−１１５７，１９８４年１０月に記載されるような、絶対モーメント・ブロック・トランケーション符号化（ＡＭＢＴＣ；ａｂｓｏｌｕｔｅ  ｍｏｍｅｎｔ  ｂｌｏｃｋ  ｔｒｕｎｃａｔｉｏｎ  ｃｏｄｉｎｇ）、あるいはスカラー量子化のような、任意の適切な技術を使用できる。同様に、画素の第２の組における画素が任意の適切な技術を使用して符号化され、予測されてもよく、例えば、フレームバッファ圧縮エンコーダおよびフレームバッファ圧縮デコーダにとって既知の線形処理を使用して予測されてもよい。次に、予測と画素値との間の差分を計算できる。最後に、差分を圧縮できる。一実施形態において、システムは、画素の第１の組を圧縮するためにブロック・トランケーション符号化（ＢＴＣ）を使用できる。別の実施形態では、システムは、画素の第１の組を圧縮するために絶対モーメント・ブロック・トランケーション符号化（ＡＭＢＴＣ）を使用できる。別の実施形態では、システムは、画素の第１の組を圧縮するために量子化を使用できる。さらに別の実施形態では、システムは、画素の第２の組における画素値を予測するためにバイリニア補間を使用できる。さらなる実施形態において、システムは、画素の第２の組における画素値を予測するためにバイキュービック補間を使用できる。別の実施形態では、システムは、画素の第２の組における画素値を予測するためにバイリニア補間を、かつ第２の組における予測画素値と第２の組における画素値との間の残差を圧縮するために絶対モーメント・ブロック・トランケーション符号化（ＡＭＢＴＣ）を使用できる。
【００２４】
フレームバッファ圧縮技術の特徴は、低解像度処理能力を信号伝達するフラグを用いて制御されることである。一構成において、このフラグが低解像度処理能力を信号伝達しないときには、フレームバッファ・デコーダは、場合によっては圧縮された、画素値の第１の組（すなわち、低解像度画素データ）と、画素値の第１の組から予測され、かつ随意的な残差データを用いて精緻化された画素値の第２の組（すなわち、高解像度画素データ）とを含む、出力フレームを生成する。別の構成において、このフラグが低解像度処理能力を確かに信号伝達したときには、フレームバッファ・デコーダは、場合によっては圧縮された、画素値の第１の組と、画素値の第１の組から予測されたが、随意的な残差データを用いて精緻化されない画素値の第２の組とを含む、出力フレームを生成する。それに応じて、フラグは、随意的な残差データを使用すべきか否かを指示する。残差データは、予測画素値と実際の画素値との間の残差差分を表すことができる。
【００２５】
フレームバッファ圧縮エンコーダでは、フラグが低解像度処理能力を信号伝達しないときには、エンコーダは、場合によっては圧縮形態で、画素値の第１の組を記憶する。次に、エンコーダは、画素値の第１の組から画素値の第２組を予測する。いくつかの実施形態において、エンコーダは、予測と実際の画素値との間の残差分を決定し、場合によっては圧縮形態で、残差分を記憶する。いくつかの実施形態において、エンコーダは、複数の予測メカニズムから第２の組の画素にとって好ましい予測メカニズムを選択する。エンコーダは、次に、選択された予測メカニズムをフレームバッファに記憶する。一実施形態において、複数の予測メカニズムは、複数のリニアフィルタからなり、エンコーダは、各リニアフィルタの予測画素値を計算し、画素値に最も近い予測画素値を計算するリニアフィルタを選択することによって、予測メカニズムを選択する。一実施形態において、複数の予測メカニズムは、複数のリニアフィルタからなり、エンコーダは、画素位置のブロックに関して各リニアフィルタの予測画素値を計算し、画素値のブロックに最も近い予測画素値のブロックを計算するリニアフィルタを選択することによって、予測メカニズムを選択する。画素のブロックは、画像内の画素の組である。画素値のブロックに最も近い予測画素値のブロックの決定は、予測画素値のブロックと画素値のブロックとの間の差分の絶対値の最小和をもたらす、予測画素値のブロックを選択することによって決定できる。代わりに、ブロックを選択するために差分の二乗和が使用されてもよい。他の実施形態において、残差分がブロック・トランケーション符号化（ＢＴＣ）によって圧縮される。一実施形態において、残差分が絶対モーメント・ブロック・トランケーション符号化（ＡＭＢＴＣ）によって圧縮される。一実施形態において、第２の組の画素の圧縮に使用されるパラメータは、画素の第１の組の圧縮に使用されるパラメータから決定される。一実施形態において、画素の第１の組および画素の第２の組は、ＡＭＢＴＣを使用し、画素の第１の組のＡＭＢＴＣ法に使用される第１のパラメータは、画素の第２の組に対してＡＭＢＴＣ法に使用される第１のパラメータに関係する。一実施形態において、画素の第２の組に使用される前記第１のパラメータは、画素の第１の組に使用される前記第１のパラメータに等しく、記憶されない。別の実施形態では、画素の第２の組に使用される前記第１のパラメータは、画素の第１の組に使用される前記第１のパラメータに関係する。一実施形態において、この関係は、スケールファクタとして定義されてもよく、画素の第２の組に使用される前記第１のパラメータの代わりにこのスケールファクタが記憶される。他の実施形態では、この関係は、インデックスとしてスケールファクタのルックアップテーブル中に定義されてもよく、画素の第２の組に使用される前記第１のパラメータの代わりにこのインデックスが記憶される。他の実施形態では、この関係は、予め定義されてもよい。他の実施形態において、エンコーダは、選択された予測メカニズムと残差分の決定ステップとを組み合わせる。比較として、フラグが低解像度処理能力を信号伝達したときには、エンコーダは、場合によっては圧縮された形態で、画素値の第１の組を記憶する。しかしながら、エンコーダは、残差情報を記憶しない。選択される予測メカニズムを決定する上記の実施形態において、エンコーダは、選択される予測メカニズムを再構成データからは計算しない。その代わりに、任意の選択された予測メカニズムがエンコーダからデコーダへ信号伝達される。
【００２６】
フラグの信号伝達は、低解像度復号能力を作動させる。フラグが低解像度復号能力を信号伝達したときでも、デコーダは、低解像度シーケンスを復号することが必須ではない。その代わりに、デコーダは、フル解像度あるいは低解像度シーケンスのいずれかを復号することもできる。これらのシーケンスは、低解像度グリッド上の画素位置に対して、同じ復号画素値を有することになろう。これらのシーケンスは、高解像度グリッド上の画素位置に対しては、同じ復号後の画素値を有しても、有さなくてもよい。フラグの信号伝達は、フレーム毎、シーケンス毎、あるいは任意の他の基準によってもよい。
【００２７】
フラグがビットストリームに現れたときに、デコーダは、好ましくは次のステップを行う。
【００２８】
（ａ）フレームバッファ圧縮技術における残差の算出を停止する。図５に示されるように、これは、参照フレームの記憶の間に残差データの算出を停止するだけでなく、参照フレームのローディングの間も残差データの算出を停止することを含む。
【００２９】
（ｂ）前述のように、低解像度デブロッキングのために低解像度データを使用する。前述のように、高解像度グリッド位置には代わりのデブロッキング動作を使用する。
【００３０】
（ｃ）適応ループフィルタを適用する前に、参照フレームを記憶する。
【００３１】
これらの変更によって、デコーダは、フル解像度モードで動作を継続できる。具体的には、デコーダは、未来のフレームを得るために、圧縮された参照バッファからフル解像度フレームを検索して、動き補償、残差加算、デブロッキングおよびループフィルタを行うことができる。結果は、フル解像度フレームになるであろう。このフレームは、フル解像度画素グリッドの全範囲を占める周波数コンテンツを依然として含むことができる。
【００３２】
しかし、代わりに、デコーダは、低解像度データに対してのみ動作することを選ぶこともできる。これが可能なのは、バッファ圧縮構成において、より低い解像度のグリッド位置が、より高い解像度のグリッド位置に依存しないためである。動き補償のために、高解像度データが低解像度データと線形に関係するという事実を利用するように、補間処理が修正される。かくして、バイリニアフィルタ、バイキュービックフィルタ、またはエッジディレクテッドフィルタのような、修正された補間フィルタを用いて、動き推定処理を低解像度で行うことができる。同様に、残差の算出のために、システムは、デコーダの後続ステップでは低解像度データが高解像度データに依存しないという事実を利用できる。結果として、システムは、フル解像度の変換係数から低解像度グリッド位置を計算するに過ぎない短縮された逆変換プロセスを使用する。最後に、システムは、高解像度データに依存しない低解像度データのデブロッキングを行う、デブロッキングフィルタを用いる（高解像度データは低解像度データに依存してもよい）。これもやはり、高解像度データとより低い解像度のデータ間との線形関係によるものである。
【００３３】
８×８ブロック・サイズのコンテクストには、ＪＣＴ−ＶＣで検討中のテスト・モデルＪＣＴＶＣ−Ａ１１９における既存のデブロッキングフィルタが望ましい。輝度デブロッキング・フィルタリングでは、ブロック境界のデブロッキングを行うべきかどうかを判定することから処理が始まる。これは、以下を計算することによって達成される。
ｄ＝｜ｐ２２−２＊ｐ１２＋ｐ０２｜＋｜ｑ２２−２＊ｑ１２＋ｑ０２｜＋｜ｐ２５−２＊ｐ１５＋ｐ０５｜＋｜ｑ２５−２＊ｑ１５＋ｑ０５｜
式中、ｄは閾値であり、ｐｉｊおよびｑｉｊは画素値である。画素値の位置は図６に示される。図６には２つの４×４符号化ユニットが示される。しかしながら、画素値は、ブロック境界に対する画素の位置を考慮することによって任意のブロック・サイズから決定できる。
【００３４】
次に、ｄについて計算された値が閾値と比較される。値ｄが閾値より小さい場合、デブロッキングフルタが用いられる。値ｄが閾値以上である場合には、フィルタリングは適用されず、デブロッキングが行われた画素は、入力画素値と同じ値を有する。留意すべきは、閾値が量子化パラメータの関数であってもよく、ｂｅｔａ（ＱＰ）と記載されうることである。デブロッキングを行う決定は、横方向および縦方向境界に関して独立になされる。
【００３５】
境界のｄ値が、デブロッキングを行う決定につながったときには、適用すべきフィルタのタイプを決定する処理が継続する。デブロッキング動作は、強弱いずれかのフィルタ・タイプを使用する。フィルタリング強度の選択は、予め計算されたｄ、ｂｅｔａ（ＱＰ）およびさらに追加的な局所差に基づく。これは、デブロッキングが行われる境界の各ライン（行または列）に関して計算される。例えば、図６に示される画素位置の第１の行では、計算は、
ＳｔｒｏｎｇＦｉｌｔｅｒＦｌａｇ＝（（ｄ＜ｂｅｔａ（ＱＰ））＆＆（（｜ｐ３ｉ−ｐ０ｉ｜＋｜ｑ０ｉ−ｑ３ｉ｜）＜（β＞＞３）＆＆｜ｐ０ｉ−ｑ０ｉ｜＜（（５＊ｔｃ＋１）＞＞１））
として行われ、式中、ｔｃは閾値であり、典型的に量子化パラメータＱＰの関数である。
【００３６】
輝度サンプルの場合には、先述の処理が、弱いフィルタを用いて境界のデブロッキングを行い、続いてライン（行または列）のデブロッキングを行う決定につながったときには、フィルタリング処理は、以下のように記載できる。本明細書では、図６のブロックＡおよびブロックＢの間の境界に対するフィルタリング処理によってこれが記載される。この処理は、
Δ＝Ｃｌｉｐ（−ｔｃ，ｔｃ，（１３＊（ｑ０ｉ−ｐ０ｉ）＋４＊（ｑ１ｉ−ｐ１ｉ）−５＊（ｑ２ｉ−ｐ２ｉ）＋１６）＞＞５））  ｉ＝０，７
ｐ０ｉ＝Ｃｌｉｐ０−２５５（ｐ０ｉ＋Δ）  ｉ＝０，７
ｑ０ｉ＝Ｃｌｉｐ０−２５５（ｑ０ｉ−Δ）  ｉ＝０，７
ｐ１ｉ＝Ｃｌｉｐ０−２５５（ｐ１ｉ＋Δ／２）  ｉ＝０，７
ｑ１ｉ＝Ｃｌｉｐ０−２５５（ｑ１ｉ−Δ／２）  ｉ＝０，７
であり、式中、Δはオフセットであり、Ｃｌｉｐ０−２５５（）は演算子であり、入力値を範囲［０，２５５］へマッピングする。代わりの実施形態では、演算子は、入力値を代わりの範囲、例えば［１６，２３５］、［０，１０２３］あるいは他の範囲へマッピングしてもよい。
【００３７】
輝度サンプルの場合には、先述の処理が、強いフィルタを用いて境界のデブロッキングを行い、続いてライン（行または列）のデブロッキングを行う決定につながったときには、フィルタリング処理は、以下のように記載できる。本明細書では、図６のブロックＡおよびブロックＢの間の境界に対するフィルタリング処理によってこれが記載される。この処理は、
ｐ０ｉ＝Ｃｌｉｐ０−２５５（（ｐ２ｉ＋２＊ｐ１ｉ＋２＊ｐ０ｉ＋２＊ｑ０ｉ＋ｑ１ｉ＋４）＞＞３）；ｉ＝０，７
ｑ０ｉ＝Ｃｌｉｐ０−２５５（（ｐ１ｉ＋２＊ｐ０ｉ＋２＊ｑ０ｉ＋２＊ｑ１ｉ＋ｑ２ｉ＋４）＞＞３）；ｉ＝０，７
ｐ１ｉ＝Ｃｌｉｐ０−２５５（（ｐ２ｉ＋ｐ１ｉ＋ｐ０ｉ＋ｑ０ｉ＋２）＞＞２）；ｉ＝０，７
ｑ１ｉ＝Ｃｌｉｐ０−２５５（（ｐ０ｉ＋ｑ０ｉ＋ｑ１ｉ＋ｑ２ｉ＋２）＞＞２）；ｉ＝０，７
ｐ２ｉ＝Ｃｌｉｐ０−２５５（（２＊ｐ３ｉ＋３＊ｐ２ｉ＋ｐ１ｉ＋ｐ０ｉ＋ｑ０ｉ＋４）＞＞３）；ｉ＝０，７
ｑ２ｉ＝Ｃｌｉｐ０−２５５（（ｐ０ｉ＋ｑ０ｉ＋ｑ１ｉ＋３＊ｑ２ｉ＋２＊ｑ３ｉ＋４）＞＞３）；ｉ＝０，７
・・・（式４）
であり、式中、Ｃｌｉｐ０−２５５（）は入力値を範囲［０，２５５］へマッピングする演算子である。代わりの実施形態では、演算子は、入力値を代わりの範囲、例えば［１６，２３５］、［０，１０２３］あるいは他の範囲へマッピングしてもよい。
【００３８】
色差サンプルの場合には、先述のプロセスが、境界のデブロッキングを行う決定につながったときには、すべてのライン（行または列）あるいは色差成分が、弱いフィルタリング動作によって処理される。本明細書では、図６のブロックＡおよびブロックＢの間の境界に対するフィルタリング処理によってこれが記載され、但し、ブロックは、ここでは色差の画素値を含むと仮定される。この処理は、
Δ＝Ｃｌｉｐ（−ｔｃ，ｔｃ，（（（（ｑ０ｉ−ｐ０ｉ）＜＜２）＋ｐ１ｉ−ｑ１ｉ＋４）＞＞３））  ｉ＝０，７
ｐ０ｉ＝Ｃｌｉｐ０−２５５（ｐ０ｉ＋Δ）  ｉ＝０，７
ｑ０ｉ＝Ｃｌｉｐ０−２５５（ｑ０ｉ−Δ）  ｉ＝０，７
・・・（式５）
であり、式注、Δはオフセットであり、Ｃｌｉｐ０−２５５（）は演算子であり、入力値を範囲［０，２５５］へマッピングする。代わりの実施形態では、演算子は、入力値を代わりの範囲、例えば［１６，２３５］、［０，１０２３］あるいは他の範囲へマッピングしてもよい。
【００３９】
画像フレーム内の画素位置は、２つ以上の組に分割できる。フラグがビットストリームで信号伝達されるか、あるいは任意の仕方で通信されたときに、システムは、画素位置の第２の組における画素値なしに、画素位置の第１の組の処理を作動させる。この分割の例が図４に示される。図４では、ブロックが画素の２つの組に分けられる。第１の組は影付き位置に対応し、第２の組は影なし位置に対応する。
【００４０】
この代わりのモードが作動したときに、システムは、これまでのデブロッキング動作を以下のように修正できる。
【００４１】
最初に、境界のデブロッキングを行うべきかどうかを算出する際に、システムは、先述の数式、または他の適切な数式を使用する。しかしながら、画素の第１の組にない画素位置に対応する画素値に関しては、システムは、画素位置の第１の組から導出された画素値を使用できる。図６Ａおよび６Ｂにおけるｐ０１、ｐ０３、ｐ０５、ｐ０７、ｑ００、ｑ０２、ｑ０４、ｑ０６は、エントロピー復号、逆変換および予測によって算出された画素の第１の組である。ｐ００、ｐ０２、ｐ０４、ｐ０６、ｑ０１、ｑ０３、ｑ０５、ｑ０７は、図３Ｂまたは図５に示される数式によって算出された画素の第２の組である、
ｐ００＝（ｐ１０＋ｑ００）＞＞１
ｐ０２＝（ｐ０１＋ｐ０３）＞＞１
ｐ０４＝（ｐ０３＋ｐ０５）＞＞１
・・・
ｑ０７＝（ｐ０７＋ｑ１７）＞＞１                        ・・・（式６）
式１、式２、式３、式４、および式５は、これらの画素値を使用して算出される。
【００４２】
一実施形態において、システムは、画素の第１の組に位置する、隣接する画素値の線形和として画素値を導出する。第２の実施形態において、システムは、画素の第１の組に位置する画素値のバイリニア補間を使用する。好ましい実施形態において、システムは、現在の画素位置より上の画素の第１の組に位置する画素値と、現在の画素位置より下の画素の第１の組に位置する画素値との線形平均を計算する。上記の記載は、縦方向のブロック境界に対してシステムが動作している（かつ横方向のデブロッキングを適用している）と仮定することに留意されたい。システムが横方向のブロック境界に対して動作している（かつ縦方向のデブロッキングを適用している）場合には、システムは、現在の位置の左および右の画素の平均を計算する。代わりの実施形態では、システムは、平均の算出を同じブロック内の画素値に制限することもできる。例えば、現在の画素より上に位置する画素値は同じブロックにないが、現在の画素より下に位置する画素値は同じブロックにある場合には、現在の画素は、現在の画素より下の画素値に等しく設定される。
【００４３】
第２に、境界が、強弱いずれのフィルタを使用すべきかを算出する際に、システムは、上記と同じアプローチを使用できる。すなわち、画素の第１の組に対応しない画素値は、画素の第１の組から導出される。上記の決定を計算した後に、システムは、この決定を画素の第１の組の処理に使用できる。画素の後続の組を処理するデコーダは、同じ決定を使用して、画素の後続の組を処理する。
【００４４】
前述の処理が、弱いフィルタを用いて境界のデブロッキングを行い、続いてライン（行または列）のデブロッキングを行う決定につながったときには、システムは、上記の弱いフィルタリング処理を使用できる。しかしながら、Δの値を計算するときに、システムは、第１の組に続く画素の組に対応する画素値を使用しない。その代わりに、システムは、上記のように画素値を導出できる。例として、Δの値が次に第１の組における実際の画素値に適用され、デルタ値が第２の組における実際の画素値に適用される。
【００４５】
前述の処理が、強いフィルタを用いて境界のデブロッキングを行い、続いてライン（行または列）のデブロッキングを行う決定につながったときには、システムは、以下を行うことができる。
【００４６】
一実施形態において、システムは、上記の強い輝度フィルタに関する数式を使用できる。しかしながら、画素位置の第１の組にない画素値に関して、システムは、上記のように画素位置の第１の組から画素値を導出できる。システムは、次に、画素位置の第１の組に対するフィルタ処理の結果を記憶する。続いて、後続画素位置を出力として発生させるデコーダのために、システムは、第１の画素位置に関する予め計算された強いフィルタ結果と後続画素位置に関する再構成された（フィルタされない）結果に対して、上記の強い輝度フィルタに関する数式を使用する。システムは、次に、後続画素位置のみにおいてフィルタを適用する。出力は、第１のフィルタ動作に対応するフィルタされた第１の画素位置、および追加的なフィルタ・パスに対応するフィルタされた後続画素位置である。
【００４７】
要約すると、前述のように、システムは、第１の画素値を取って欠落した画素谷を補間し、第１の画素値に対する強いフィルタ結果を計算して、欠落した画素値を実際の再構成された値に更新し、欠落した画素位置に関する強いフィルタ結果を計算する。
【００４８】
第２の実施形態において、システムは、上記の強い輝度フィルタに関する数式を使用する。画素位置の第１の組にない画素値に関して、システムは、上記のように画素位置の第１の組から画素を導出する。システムは、次に、導出された値を使用して、画素位置の第１および後続の組の両方に関する強いフィルタ結果を計算する。最後に、システムは、後続位置における再構成された画素値と後続位置における強いフィルタ出力との重み付き平均を計算する。一実施形態において、重みは、エンコーダからデコーダへ送信される。代わりの実施形態では、重みは固定値である。
【００４９】
前述の処理が、境界のデブロッキングを行う決定につながったときには、システムは、上記のように色差に対する弱いフィルタリング処理を使用する。しかしながら、Δの値を計算するときに、システムは、第１の組に続く画素の組に対応する画素値を使用しない。その代わりに、システムは、好ましくは前述のように画素値を導出する。例として、Δの値が次に第１の組における実際の画素値に適用され、デルタ値が第２の組における実際の画素値に適用される。
【００５０】
カスケード式動き補償技術は、高解像度動き補償予測の改善を可能にする。低解像度動きデータを使用して低解像度動き補償予測を行うために、参照ピクチャ（単数または複数）の低解像度（ＬＲ：ｌｏｗ  ｒｅｓｏｌｕｔｉｏｎ）データが使用される。高解像度グリッド位置の欠落した画素は、バイリニアフィルタ、バイキュービックフィルタ、エッジディレクテッドフィルタ（edge directed filter）、または補間された高解像度データを生成するのに適したその他のタイプのフィルタを使用して補間される。補間された高解像度データは、低解像度動きデータを用いて高解像度動き補償予測を行うために使用され、この予測は、補間された高解像度動き補償予測とも定義される。必要に応じて、補間された高解像度データは、参照フレーム（単数または複数）において高解像度データから導出されるデータである、非補間の高解像度データに置き換えられてもよい。非補間の高解像度データは、次に、低解像度動きデータを用いて高解像度動き補償予測を行うために利用され、非補間の高解像度動き補償予測をもたらす。フル解像度動き補償予測と元の画像データとの間の差分として、エンコーダにおいて残差を計算することができ、任意の適切な技術を使用して残差を処理できる。１つのかかる処理技術は、離散コサイン変換、離散サイン変換、またはその他の適切な変換を使用して、残差の順方向変換を計算する。順方向変換は、変換係数値をもたらし、この変換係数値が次に量子化されて、デコーダへ送信される。デコーダは、次に、受信された量子化済みの係数を逆量子化によって受信された変換係数値に変える。受信された変換係数は、次に逆変換によって処理され、受信された変換係数が処理済みの残差に変えられる。第２の技術は、順方向変換を使用しない。この第２の技術では、残差が量子化されて、量子化済みの残差を生成し、この量子化済みの残差がデコーダへ送信される。デコーダは、次に、量子化済みの残差を処理済みの残差に変える。任意の処理技術について、低解像度動き補償予測に対する残差は、補間された高解像度動き補償予測に対する残差と別に処理されてもよい。代わりに、低解像度動き補償予測に対する残差は、非補間の高解像度動き補償予測に対する残差と別に処理されてもよい。さらに別の選択肢として、低解像度動き補償予測および補間された高解像度予測に対する残差は、別には処理されない（依存して処理される）。低解像度動き補償予測と高解像度動き補償予測との従属的な処理は、低解像度グリッド位置における低解像度補償予測および高解像度グリッド位置における高解像度予測データからなる残差を生成することからなり、高解像度動き補償予測のために、補間された高解像度動き補償予測あるいは非補間の高解像度動き補償予測のいずれかを使用できる。さらにまた別の選択肢として、低解像度動き補償予測および非補間の高解像度予測に対する残差は、別には処理されない（依存して処理される）。
【００５１】
代わりの実施形態では、システムは、ビットストリームで信号伝達されるフィルタを使用して、補間された高解像度データを生成し、高解像度データを補間してもよい。別の実施形態では、システムは、ビットストリーム中のインデックスによって識別されるフィルタを使用して、高解像度データを補間する。さらに別の実施形態では、システムは、高解像度データを明示的に補間しない。その代わりに、システムは、第１のパスの間に補間および動き補償ステップを同時に行う（図８を参照、補間された高解像度データ８４０を一緒に明示的に発生させるＨＲ（高解像度：Ｈｉｇｈ  Ｒｅｓｏｌｕｔｉｏｎ）画素補間モジュール８３０および低解像度ＭＣＰ（Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｉｏｎ  Ｐｒｅｄｉｃｔｉｏｎ）８５０を含む）。第２のパスの間に、参照の低解像度および高解像度成分を用い、動き補償予測も使用して（図８、高解像度ＭＣＰ８９０を参照）、現在のブロックの高解像度データを構成する。
【００５２】
図７を参照すると、動き補償予測７００は、例えば、予測信号を形成するための参照インデックスを含みうる動きベクトルのような、解析済みのサイド情報と、復号された画素バッファ７１０からの情報とに従って、参照ピクチャ（単数または複数）からの予測を受信する。予測信号は、予測画素を表すデータを含む信号である。従って、復号された画素バッファ７１０からの画素情報を動き補償予測７００に提供し、動きベクトルとともにこれを使用して、予測信号を決定できる。正常な電力低減を有効にするためには、デコーダでの低解像度動き補償予測の電力低減を可能にすべく、カスケード式動き補償技術を含むことが望ましい。
【００５３】
図８を参照すると、電力低減のためのカスケード式動き補償８００が示される。最初に、再構成フレームまたは参照フレームを含む、復号された画素バッファ８１０が、低解像度（ＬＲ）および高解像度（ＨＲ）分解、すなわちＬＲおよびＨＲグリッド位置へサンプリングされる。画像の低解像度および高解像度分解に好ましいサンプリング技術は、図９に示されるような、チェッカーボードパターンを含む。
【００５４】
復号された画素バッファ８１０内の低解像度参照（サンプル）８２０が、ＨＲ画素補間モジュール８３０に提供される。ＨＲ画素補間モジュール８３０は、（図９のａ）低解像度サンプルに示される）低解像度サンプル８２０内に含まれない（図９のｂ）高解像度サンプルに示される）高解像度グリッド位置を補間する。ＨＲ画素補間モジュール８３０は、任意の適切な技術、例えば、バイリニア補間、バイキュービック補間、またはエッジに基づく補間を使用できる。ＨＲ画素補間モジュール８３０は、高解像度データ８４０として、補間された高解像度サンプルとともに低解像度サンプル８２０の両方を含む出力を提供する。
【００５５】
低解像度動き補償予測（「ＭＣＰ」）モジュール８５０は、ＨＲ画素補間モジュール８３０からの補間された高解像度データ８４０とサイド情報（例えば、動きベクトル）８６０とを受信する。低解像度ＭＣＰモジュール８５０は、低解像度および高解像度データの両方のための予測因子として、低解像度グリッド位置に関する動きベクトルを使用する。従って、低解像度グリッド位置に関する動きベクトルが、低解像度データおよび補間された高解像度データの両方に使用される。
【００５６】
高解像度ＭＣＰモジュール８９０は、低解像度サイド情報８６０を使用して、高および低解像度データに基づいてフレームに関する高解像度データを予測する。このように、高解像度データ９００と呼ばれる、対応する高解像度画素データのみを予測するために、低解像度データと（それらのグリッド位置が低解像度画素データ内にまだ含まれていない）対応する高解像度データとの両方が使用される。それに応じて、システムは、低解像度ＭＣＰ８５０からの補間された高解像度データを含む、予測された低解像度データを維持する。さらに、システムは、同じ低解像度予測情報８６０と、非補間の高解像度データおよび低解像度データの組み合わせ８８０とに基づいて、補間された高解像度データ９００を予測する。
【００５７】
システムが所望すれば、高解像度ＭＣＰモジュール８９０を用いた追加的な処理によって性能を改善できる。高解像度ＭＣＰ８９０は、任意の適切な仕方で、好ましくは低解像度ＭＣＰ８５０に関して記載されたのと同じ仕方で、その予測を行うことができる。いくつかの場合には、システムは、低解像度動き補償画素、または低解像度ＭＣＰモジュール８５０を使用することができ、電力使用法の考慮によって、さらに複雑な高解像度動き補償画素、または非補間の高解像度ＭＣＰ８９０を随意的に含むことができる。低解像度動き補償予測は、高解像度動き補償予測に依存しないことがさらに指摘されうる。
【００５８】
フィルタリング・モジュール８７０は、予測された高解像度データ９００を高解像度ＭＣＰ８９０から受信して、低解像度ＭＣＰモジュール８５０からの補間された高解像度動き補償予測を置き換えることができる。従って、フィルタリング・モジュール８７０は、低解像度動き補償予測と非補間の高解像度動き補償予測とを含むことができる。フィルタリング・モジュール８７０は、それらの差分に対処するために、所望通りに、低解像度データおよび／または高解像度データを異なった仕方でさらにフィルタできる。このように、作動していないときには、フィルタリングは、高解像度グリッド位置における画素データを置き換えるに過ぎないが、作動しているときには、フィルタがすべての高解像度グリッド位置でデータを置き換える。かくして、フィルタの作動および非作動をビットストリームまたは他の適切な仕方で信号伝達できる。代わりの実施形態では、フィルタリング・モジュール８７０は、高解像度グリッド位置における画素データを、低解像度ＭＣＰモジュール８５０からの高解像度データの高解像度位置における画素データと、高解像度ＭＣＰモジュール８９０からの予測された高解像度データ９００の高解像度グリッド位置における画素データとから決定される値によって置き換える。フィルタ・モジュール８７０は、高解像度グリッド位置における画素データを、低解像度ＭＣＰモジュール８５０からの補間された高解像度動き補償予測と、高解像度動き補償画素、または非補間の高解像度ＭＣＰモジュール８９０からの予測された高解像度データ９００との重み付き平均として、置き換えるためにデータを計算する。さらに別の実施形態では、フィルタ・モジュールは、高解像度グリッド位置における画素データを、予測された高解像度データ９００と、低解像度動き補償画素、または低解像度ＭＣＰモジュール８５０からの予測された高解像度データとから決定される値によって置き換える。フィルタ・モジュール８７０は、予測された高解像度データ９００の重み付平均の高解像度グリッド位置に位置する画素データと、低解像度動き補償画素、または低解像度動き補償予測８９０の低解像度グリッド位置の近くに位置する画素データとを置き換えるためにデータを計算する。本明細書では、近くの低解像度グリッド位置という用語は、所定の高解像度グリッド位置に空間的に隣接したグリッド位置として定義できる。代わりの実施形態では、近くの低解像度グリッド位置は、一定数のグリッド位置以内と定義されてもよい。例えば、近くの低解像度グリッド位置は、所定の高解像度グリッド位置からの間隔が２グリッド位置を超えないこともある。代わりに、近くの低解像度グリッド位置は、所定の高解像度グリッド位置からの間隔が３グリッド位置を超えないこともある。必要に応じて、近くの低解像度グリッド位置の他の定義が使用されてもよい。
【００５９】
追加的な融通性をさらに提供するためには、低解像度イントラ予測は再構成ビデオブロック、または再構成データからの低解像度データのみを必要とすべきである。利用可能な低解像度データからの高解像度データの推定は、システムに必要とされる修正を最小限に抑える仕方で行われるべきである。
【００６０】
図１０を参照すると、従来のイントラ予測は、現在のブロックの予測信号を構成するために、上および左のブロックの完全な組からの再構成データ（通常、インループ・デブロッキングおよび適応ループ・フィルタリングの前に行われる）を使用できる。予測信号と元の信号との間の差分は、ビットストリームに符号化される。かかる予測に使用される再構成データは、現在のブロックより１ライン上の画素、および現在のブロックの１ライン左の画素である。
【００６１】
図１１を参照すると、低解像度に基づくイントラ予測では、システムが選択できる利用可能な再構成データはさらに限られる。例えば、利用可能な上および左のブロックからの再構成された低解像度画素、またはデータは、一つ置きの画素を含むことができる。一般に、利用可能な上および／または左のブロックは、すべてよりは少ない画素を含むことができる。望ましいのは、システムの残りの部分に明白な仕方で「欠落した」高解像度画素、またはデータを推定し、結果としてシステムに他の修正を必要としない効果的な推定を可能にすることである。それゆえに、イントラ予測は、省電力をもたらしうる限られたデータを有することができるが、デコーダおよび／またはエンコーダの他の部分は、同じ仕方で動作することになろう。局所的なコンテンツの特徴を効果的に利用するには、「欠落した」高解像度データ、または高解像度グリッド位置におけるデータを推定するために、以下の技術の１つ以上を使用するとよい。結果として生じる予測ブロックは、低解像度データおよび／または高解像度データを含むことができる。
【００６２】
図１２を参照すると、欠落した画素を推定するための１つの技術は、バイリニア補間を使用することによる。バイリニア補間は、利用可能な低解像度画素、またはデータに隣接した、高解像度画素、またはデータを補間することによって達成できる。位置ｉにおける横方向の高解像度画素では、位置（ｉ−１）および（ｉ＋１）は、いずれも低解像度画素であり、横方向の場合に左および右の位置である。従って、ＨＲ（ｉ）＝（ＬＲ（ｉ−１）＋ＬＲ（ｉ＋１）＋１）＞＞１である。位置ｉにおける縦方向の高解像度画素では、位置（ｉ−１）および（ｉ＋１）は、いずれも低解像度画素であり、縦方向の場合に上および下の位置である。従って、ＨＲ（ｉ）＝（ＬＲ（ｉ−１）＋ＬＲ（ｉ＋１）＋１）＞＞１である。
【００６３】
図１３を参照すると、欠落した画素を推定するための別の技術は、直接的な画素コピーを使用することによる。欠落した高解像度画素を構成するために、直接的な画素コピーを使用できる。再構成ブロックの最近接ラインからの画素を使用する代わりに、システムは、好ましくは隣のブロックからの最近接から２ライン目および／または最近接から２列目を使用する。チェッカーボードパターンの場合、システムは、最近接ラインおよび／または列における高解像度画素を推定するために、第２近接ラインおよび／または列からの低解像度画素を使用できる。
【００６４】
図１４を参照すると、欠落した画素を推定するためのまた別の技術は、方向性をもつ画素推定を使用することによる。方向性をもつ画素推定は、再構成ブロックにおける方向性をもつ画素相関を活用する。高解像度画素推定を指示するサイド情報として、上および左のブロックの予測モード（方向予測タイプ）も使用できる。例えば、予測方向に沿って利用可能な低解像度画素の線形結合を高解像度画素とすることができる。
【００６５】
別の実施形態では、システムは、図１４において、「高解像度」画素位置、または高解像度グリッド位置に関する値を決定するために、明示的なコピー動作の使用を必要としないこともありうる。その代わりに、システムは、各「高解像度」画素の近隣内の画素値の重み付き結合を使用できる。ある実施形態では、この近隣は、現在の画素位置の左、右および上の値からなってもよい。別の実施形態では、この近隣は、現在の画素位置の上、下、および左の値からなってもよい。近隣の他の定義も、所望通りに、同様に使用できる。
【００６６】
別の実施形態では、システムは、現在の画素位置に対する近隣内の画素位置における値を解析することによって、予測方向を導出できる。ある実施形態では、この解析は、近隣内の局所的な相関を計算することからなってもよい。別の実施形態では、この解析は、近隣内のエッジ方向を推定することからなってもよい。また別の実施形態では、この解析は、近隣内にエッジが現れるかどうかを最初に判定することからなってもよい。エッジが現れた場合、前記エッジの方向の解析に依存しうる第１の補間方向が選ばれる。エッジが現れない場合、第２の補間技術を選択できる。第２の補間技術は、方向技術ではない。第１の実施形態では、バイリニア演算子が使用される。第２の実施形態では、ガウシアンフィルタが使用される。第３の実施形態では、ランチョスフィルタが使用される。
【００６７】
別の実施形態では、システムは、予測方向を明示的にビットストリームで信号伝達できる。この方向をエンコーダで算出してデコーダへ送信できる。
【００６８】
また別の実施形態では、システムは、明示的にビットストリームで送信された情報から予測方向を導出できる。例として、イントラ予測処理に使用されるイントラ予測モードから予測方向を導出できる。
【００６９】
別の実施形態では、システムは、予測方向をデコーダで導出し、次に予測に対する補正をビットストリームで送信することができる。一実施形態において、システムは、現在の画素の近隣内の値の解析から予測方向を導出できる。別の実施形態では、システムは、明示的にビットストリームで送信された情報から予測方向を導出できる。さらに別の実施形態では、システムは、画素値の解析と明示的にビットストリームで送信された情報との組み合わせから予測方向を導出できる。
【００７０】
図１５を参照すると、元のブロックは、サンプルの低解像度（ＬＲ）および高解像度（ＨＲ）の組、またはグリッド位置に分解することができる。フル解像度信号は、低解像度および高解像度成分の両方の複合物である。図１５に示される線影付き画素は、低解像度画素であり、一方で（明確さのために）塗りつぶした画素は、高解像度画素、または高解像度データである。
【００７１】
高解像度画素を除去することによって、システムは、メモリアクセスを５０％節減して、メモリの電力消費を劇的に低減できる。除去した高解像度画素は「Ｘ」と呼ばれ、左近傍の画素は、「Ｌ」と呼ばれ、右近傍の画素は「Ｒ」と呼ばれ、上近傍の画素は「Ｕ」と呼ばれ、下近傍の画素は「Ｂ」と呼ばれる。図示される欠落した高解像度画素を推定するために、隣接した低解像度画素の４次の線形結合を使用できる。これは、
Ｘ＝ａ１＊Ｌ＋ａ２＊Ｕ＋ａ３＊Ｒ＋ａ４＊Ｂ
として特性を表すことができ、式中、ａ１、ａ２、ａ３およびａ４は、補間フィルタ係数である。
【００７２】
この予測に続いて、システムは、予測と目標信号との間の残差分を符号化できる。一実施形態において、システムは、すべての画素位置でエッジ保存補間処理を使用できる。別の実施形態では、エンコーダがエッジ保存補間処理の使用を信号伝達する。この信号伝達は、任意の解像度、例えば、シーケンス、フレーム、スライス、符号化単位、マクロブロック、ブロックまたは画素解像度であってもよい。さらに別の実施形態では、エッジ保存補間技術が、重み付き平均化手法を用いた他の補間法と組み合わされてもよい。さらなる実施形態において、重み付き平均（上記）における重みは、画像解析および／またはビットストリーム中の情報によって制御できる。
【００７３】
上述の明細書に用いられた用語および表現は、限定ではなく説明を目的としてそこに使用され、かかる用語および表現の使用に際して、図示され、記載された特徴またはその部分の等価物を排除することは意図されておらず、本発明の範囲は、添付の特許請求の範囲によってのみ規定され、制限されることが理解される。
【図１】
2014519212.tif 000003
【図２】
2014519212.tif 000004
【図３Ａ】
2014519212.tif 000005
【図３Ｂ】
2014519212.tif 000006
【図４】
2014519212.tif 000007
【図５】
2014519212.tif 000008
【図６Ａ】
2014519212.tif 000009
【図６Ｂ】
2014519212.tif 000010
【図７】
2014519212.tif 000011
【図８】
2014519212.tif 000012
【図９】
2014519212.tif 000013
【図１０】
2014519212.tif 000014
【図１１】
2014519212.tif 000015
【図１２】
2014519212.tif 000016
【図１３】
2014519212.tif 000017
【図１４】
2014519212.tif 000018
【図１５】
2014519212.tif 000019
【国際調査報告】
2014519212.tif 000020
2014519212.tif 000021
2014519212.tif 000022
2014519212.tif 000023