(57)【要約】  デジタルビデオコーデックにおけるメモリ使用量を低減する方法である。この方法には、一般に、（Ａ）パターンを用いて第１の参照ピクチャをダウンサンプリングすることによって、第２の参照ピクチャを生成するステップであって、このパターンが、（ｉ）二次元グリッドを含み、（ｉｉ）垂直ダウンサンプリングを実行し、かつ別個に水平ダウンサンプリングを実行することによっては達成され得ないステップと、（Ｂ）第２の参照ピクチャをアップサンプリングすることによって、第３の参照ピクチャを生成するステップと、（Ｃ）第３の参照ピクチャを用いてビデオ信号における画像を処理するステップと、が含まれる。【選択図】図１
2010512046.tif 000002
【特許請求の範囲】
【請求項１】
デジタルビデオコーデックにおけるメモリ使用量を低減する方法であって、
（Ａ）パターンを用いて第１の参照ピクチャをダウンサンプリングすることによって、第２の参照ピクチャを生成するステップであって、前記パターンが、（ｉ）二次元グリッドを含み、（ｉｉ）垂直ダウンサンプリングを実行し、かつ別個に水平ダウンサンプリングを実行することによっては達成され得ないステップと、
（Ｂ）前記第２の参照ピクチャをアップサンプリングすることによって第３の参照ピクチャを生成するステップと、
（Ｃ）前記第３の参照ピクチャを用いてビデオ信号における画像を処理するステップと、
を含む方法。
【請求項２】
前記パターンが５点形パターンを含む、請求項１に記載の方法。
【請求項３】
前記デジタルビデオコーデックが符号化を含む、請求項１に記載の方法。
【請求項４】
前記アップサンプリングが非線形補間を含む、請求項１に記載の方法。
【請求項５】
前記デジタルビデオコーデックが、（ｉ）Ｈ．２６４勧告および（ｉｉ）ＭＰＥＧ−４／高度ビデオ符号化勧告の少なくとも１つに準拠する、請求項１に記載の方法。
【請求項６】
前記ダウンサンプリングが、前記第１の参照ピクチャのルミナンスチャネルおよび２つのクロミナンスチャネルに適用される、請求項１に記載の方法。
【請求項７】
デジタルビデオコーデックにおけるメモリ使用量を低減する方法であって、
（Ａ）第１の参照ピクチャをダウンサンプリングすることによって、第２の参照ピクチャを生成するステップと、
（Ｂ）前記第２の参照ピクチャをアップサンプリングすることによって第３の参照ピクチャを生成するステップであって、前記アップサンプリングが非線形補間を含むステップと、
（Ｃ）前記第３の参照ピクチャを用いてビデオ信号における画像を処理するステップと、
を含む方法。
【請求項８】
前記非線形アップサンプリングが、２段階補間を含む、請求項７に記載の方法。
【請求項９】
前記デジタルビデオコーデックが復号化を含む、請求項７に記載の方法。
【請求項１０】
前記ダウンサンプリングが、５点形ダウンサンプリングを含む、請求項７に記載の方法。
【請求項１１】
（ｉ）パターンを用いて第１の参照ピクチャをダウンサンプリングすることによって第２の参照ピクチャを生成するが、前記パターンが、（ａ）二次元グリッドを含み、（ｂ）垂直ダウンサンプリングを実行し、かつ別個に水平ダウンサンプリングを実行することによっては達成され得ないように、（ｉｉ）前記第２の参照ピクチャをアップサンプリングすることによって第３の参照ピクチャを生成するように、かつ（ｉｉｉ）前記第３の参照ピクチャを用いてビデオ信号における画像を処理するように構成された回路と、
前記第２の参照ピクチャをバッファするように構成されたメモリと、
を含むシステム。
【請求項１２】
（ｉ）前記パターンが５点形パターンを含み、（ｉｉ）前記アップサンプリングが非線形補間を含む、請求項１１に記載のシステム。
【請求項１３】
前記回路が、（ｉ）５点形パターンにおいて特定のピクチャをダウンサンプリングするように、かつ（ｉｉ）前記特定のピクチャを前記メモリに転送するように構成されたメモリコントローラを含む、請求項１１に記載のシステム。
【請求項１４】
前記回路が、（ｉ）前記メモリから特定のピクチャを受信するように、かつ（ｉｉ）非線形補間を用いて前記特定のピクチャをアップサンプリングするように構成されたメモリコントローラを含む、請求項１１に記載のシステム。
【請求項１５】
前記回路が、（ｉ）前記メモリから受信された特定のピクチャを非線形補間を用いてアップサンプリングするように、かつ（ｉｉ）前記ビデオ信号を表示用にフォーマットするように構成されたビデオ出力モジュールを含む、請求項１１に記載のシステム。
【請求項１６】
５点形パターンを用いて第１の参照ピクチャをダウンサンプリングすることによって、第２の参照ピクチャを生成するように構成された第１のモジュールと、
前記第２の参照ピクチャをバッファするように構成されたキャッシュメモリと、
非線形補間を用いて前記第２の参照ピクチャをアップサンプリングすることによって、第３の参照ピクチャを生成するように構成された第２のモジュールと、
前記第３の参照ピクチャを用いて、ビデオ信号における画像を処理するように構成された第３のモジュールと、
を含むシステム。
【請求項１７】
複数の非参照ピクチャの、メモリモジュールにおけるバッファリングを制御するように構成された第４のモジュールをさらに含む、請求項１６に記載のシステム。
【請求項１８】
（ｉ）前記第１のモジュール、前記第２のモジュール、前記第３のモジュールおよび前記キャッシュメモリの全てが第１のチップ上に形成され、（ｉｉ）前記メモリモジュールが第２のチップ上に形成された、請求項１７に記載のシステム。
【請求項１９】
前記メモリモジュールが、（ｉ）前記５点形パターンを用いて、前記第４のモジュールから受信された前記非参照ピクチャをダウンサンプリングするように、かつ（ｉｉ）前記第４のモジュールへの送信に先立って、非線形補間を用いて前記非参照ピクチャをアップサンプリングするように構成された、請求項１７に記載のシステム。
【請求項２０】
（ｉ）バスからビデオ信号の第１のピクチャを受信するように、（ｉｉ）５点形パターンを用いて前記第１のピクチャをダウンサンプリングすることによって、前記第２のピクチャを生成するように、（ｉｉｉ）非線形補間を用いて前記第２のピクチャをアップサンプリングすることによって、第３のピクチャを生成するように、かつ（ｉｖ）前記第３のピクチャを前記バスに配置するように構成されたバスモジュールと、
前記第２のピクチャをバッファするように構成されたメモリと、
を含む回路。
【請求項２１】
前記アップサンプリングが、（ｉ）第１段階４ネイバー４点メジアンアップサンプリング、および（ｉｉ）第２段階２ネイバー３点メジアンアップサンプリングを含む、請求項２０に記載の回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、ビデオ符号化／復号化／トランスコーディング（コーデック）に関し、特に、メモリを低減したＨ．２６４／ＭＰＥＧ−４  ＡＶＣコーデックに関する。
【背景技術】
【０００２】
国際電気通信連合電気通信標準化セクタ（ＩＴＵ−Ｔ）勧告のＨ．２６４および国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）勧告で、高度ビデオ符号化用のＭＰＥＧ−４パート１０（ＭＰＥＧ−４／ＡＶＣ）は、デジタルビデオコーデックに関する。Ｈ．２６４｜ＭＰＥＧ−４／ＡＶＣドキュメント（以後は単にＨ．２６４と呼ぶ）は、デコーダ動作（セマンティックス）および圧縮ビデオ表現（ビットストリームシンタックス）の両方を規定する。効率的なシンタックスおよび多くの新しい予測オプションにより、従来のＨ．２６４ビデオエンコーダは、５０％低いビットレートを用いて、ＭＰＥＧ−２品質を提供するビットストリームを生成する。かかるものとして、高解像度デジタル光媒体フォーマット（Ｂｌｕ−ｒａｙ  ＤｉｓｃTM、ＨＤ  ＤＶＤ）、ケーブル（高解像度ビデオオンデマンド）、衛星（ＤｉｒｅｃｔＴＶ、ＤＩＳＨ  ＮｅｔｗｏｒｋTM）、インターネットプロトコルテレビ（ＩＰＴＶ）、地上高解像度テレビ（ＴＶ）、有料テレビ（フランス（Ｆｒａｎｃｅ）、イングランド（Ｅｎｇｌａｎｄ））および移動体システム（３ＧＰＰ）などのビデオ配信チャネルが、Ｈ．２６４対応設備を配置している。Ｂｌｕ−Ｒａｙは、日本の東京にあるＢｌｕ−ｒａｙ  Ｄｉｓｃ  Ａｓｓｏｃｉａｔｉｏｎの商標である。ＤＩＳＨ  Ｎｅｔｗｏｒｋは、コロラド（Ｃｏｌｏｒａｄｏ）州エングルウッド（Ｅｎｇｌｅｗｏｏｄ）にあるＥｃｈｏＳｔａｒ  Ｓａｔｅｌｌｉｔｅ  Ｌ．Ｌ．Ｃ．の登録商標である。
【０００３】
２クラスの予測が、ＩＳＯ／ＩＥＣおよびＩＴＵのブロックベースハイブリッド予測において用いられて、ビデオコーデックを変換する。フレーム間予測およびフレーム内予測が、圧縮の改善が可能なように、冗長性を排除するために用いられる。フレーム間予測は、現在のブロックの予測のために、時には動き補償された、前に復号化されたビデオフレームまたはフィールドを用いる。（予測）Ｐブロックは、前のフレームまたはフィールドからただ１つのブロックを用いて予測する。（双予測）Ｂブロックは、２つの前に復号化されたブロックから、予測の（場合によっては重み付けされた）平均を用いる。対照的に、フレーム内予測は、現在のフィールドまたはフレーム内における、前に復号化された隣接するブロックを用いる。もっぱらフレーム内予測を用いるキーフレーム（すなわちＩフレーム）は、チャネル変更または誤差回復用の圧縮ビットストリームへのアクセスポイントとして用いてもよい。イントラ予測は、近似または誤差からのミスマッチがビデオにどのように蓄積するかに対して、したがって様々な近似ベースのメモリ低減技術の有効性に対して、重大な影響がある。
【０００４】
図１を参照すると、従来のＨ．２６４マルチフレームインター予測の図が示されている。図２を参照すると、参照Ｂフレームを伴う従来のＨ．２６４階層ピクチャグループ（ＧＯＰ）の図が示されている。ピクチャ記憶メモリは、ビデオデコーダの最も高価な要素である。メモリ記憶装置は、デコーダのコストをますます左右する。Ｈ．２６４用のアプリケーションメモリ基準は、典型的には、ＩＳＯ  ＭＰＥＧ−２（ＩＴＵ−Ｔ  Ｈ．２６２）または映画テレビ技術者協会（ＳＭＰＴＥ）ＶＣ−１（ＷＭＶ−９、Ｍｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ  Ｍｅｄｉａ  ９）など、他の普通に規定されたコーデックに対するよりも高く規定されている。増設メモリは、図１および図２に示すように、多数の参照フレーム、階層フレームおよび参照Ｂフレームなど、Ｈ．２６４フレーム間予測符号化ツールをサポートするために用いられる。
【０００５】
ピクチャ記憶メモリは、ＭＰＥＧ−２について説明するように、ダウンサンプリング（すなわち、水平および／または垂直方向に解像度を低減すること）によって、低減することができる。実際には、ダウンサンプリングは、最終的なコーデックブロック／ピクチャ再構成段階と合併してもよい。（ｉ）ＭＰＥＧ−２に対しては、ＩＤＣＴ（逆離散コサイン変換）段階を用いてもよく、（ｉｉ）Ｈ．２６４およびＶＣ−１に対しては、インループ（すなわちデブロックフィルタ）を用いてもよい。同様に、効率的なインプリメンテーションは、サブペルの動き補償されたインター予測負荷とアップサンプルを合併してもよい。ＭＰＥＧ−２に関しては、Ｈ．２６４｜ＭＰＥＧ−４／ＡＶＣと異なり、次の２つの単純な方法のどちらかを用いた１／２の水平サブサンプリングによって、高品質がもたらされる。（ｉ）フィルタリングなしのダウンサンプル（すなわち、１つおきに列を捨てる）および双線形補間を用いたアップサンプル、ならびに（ｉｉ）平均化によるダウンサンプル（すなわち、隣接する列）およびフィルタリングなしのアップサンプル（すなわち複製、サンプルおよび保持）。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明は、デジタルビデオコーデックにおけるメモリ使用量を低減する方法に関する。この方法には、一般に、（Ａ）パターンを用いて第１の参照ピクチャをダウンサンプリングすることによって、第２の参照ピクチャを生成するステップであって、このパターンが、（ｉ）二次元グリッドを含み、（ｉｉ）垂直ダウンサンプリングを実行し、かつ別個に水平ダウンサンプリングを実行することによっては達成され得ないステップと、（Ｂ）第２の参照ピクチャをアップサンプリングすることによって第３の参照ピクチャを生成するステップと、（Ｃ）第３の参照ピクチャを用いてビデオ信号における画像を処理するステップと、が含まれる。
【０００７】
本発明の目的、特徴および利点には、デジタルビデオコーデックであって、（ｉ）Ｈ．２６４｜ＭＰＥＧ−４／ＡＶＣ方法／システムにおけるメモリ使用量を低減し、（ｉｉ）従来の技術と比較して、よりよい性能を提供し、（ｉｉｉ）帯域幅ペナルティがない比較的単純なメモリアクセスを維持し、（ｉｖ）ピクチャをダウンサンプリングするために５点形パターンを用い、（ｖ）ピクチャの非線形アップサンプリングを用い、かつ／または（ｖｉ）ピクチャの２段階メジアンアップサンプリングを用いることが可能なデジタルビデオコーデックを提供することが含まれる。
【０００８】
本発明のこれらおよび他の目的、特徴および利点は、以下の詳細な説明ならびに添付の特許請求の範囲および図面から明らかになろう。
【図面の簡単な説明】
【０００９】
【図１】従来のＨ．２６４マルチフレームインター予測の図である。
【図２】参照Ｂフレームを伴う従来のＨ．２６４階層ピクチャグループの図である。
【図３】本発明の好ましい実施形態による回路のブロック図である。
【図４】Ｈ．２６４の多数のイントラ予測モードの図である。
【図５】５点形サンプリングパターンの図である。
【図６】コーデックメモリ低減のための例示的な方法の流れ図である。
【図７】システムの例示的なアーキテクチャの詳細なブロック図である。
【図８】Ｉｃｅ  Ａｇｅシーケンスにおけるフレームのピーク信号対雑音比のヒストグラムである。
【発明を実施するための形態】
【００１０】
本発明は、一般に、著しく低減されたメモリサイズを用いるＨ．２６４｜ＭＰＥＧ４−ＡＶＣコーデックインプリメンテーションに関する。ＭＰＥＧ−４／ＡＶＣドキュメントは、スイス（Ｓｗｉｔｚｅｒｌａｎｄ）のジュネーブ（Ｇｅｎｅｖａ）にある国際標準化機構のムービングピクチャエクスパーツグループによって定義され得る。Ｈ．２６４ドキュメントは、スイス（Ｓｗｉｔｚｅｒｌａｎｄ）のジュネーブ（Ｇｅｎｅｖａ）にある国際電気通信連合電気通信標準化セクタによって定義され得る。
【００１１】
いくつかの異なる価格および性能ポイントを達成する、Ｈ．２６４デコーダ、トランスコーダおよび／またはエンコーダを備えた製品が、記載の技術を用いて製造可能である。例えば、ＭＰＥＧ−２にうまく用いられるピクチャ記憶低減技術の代わりに、本発明の方法を用いるＢｌｕ−ｒａｙ  ＤｉｓｃTMＨＤＴＶプレーヤは、著しく優れた主観的品質を達成する一方で、合計システムメモリを低減可能である（例えば、２５６メガバイト（ＭＢ）から１２８ＭＢに）。
【００１２】
図３を参照すると、本発明の好ましい実施形態に従って、回路１００のブロック図が示されている。回路（またはシステム）１００は、メディアプロセッサ回路として実現してもよい。回路１００には、一般に、回路（またはモジュール）１０２、バス１０３および回路（またはモジュール）１０４が含まれる。入力信号（例えば、ＩＮ）は、回路１０２によって受信してもよい。出力信号（例えば、ＯＵＴ）は、回路１０２によって生成および供給してもよい。回路１０２および回路１０４は、バス１０３を介して互いに通信し、データを交換してもよい。回路１００は、デジタルビデオエンコーダ、デジタルビデオデコーダまたはデジタルビデオトランスコーダを実現してもよい。
【００１３】
信号ＩＮは、（ｉ）一般にビットストリームと呼ばれる圧縮ビデオ信号（例えば、デコーダおよびトランスコーダ用の）、または（ｉｉ）非圧縮ビデオ信号（例えば、エンコーダ用の）であってもよい。信号ＩＮには、プログレッシブフォーマットフレームおよび／またはインターレースフォーマットフィールドのシーケンスを含んでもよい。デコーダおよびトランスコーダに対して、信号ＩＮは、Ｈ．２６４勧告に準拠してもよい。
【００１４】
信号ＯＵＴは、（ｉ）１つまたは複数のアナログビデオ信号（例えば、デコーダ用の）、（ｉｉ）１つまたは複数のデジタルビデオ信号（例えば、デコーダ用の）、または（ｉｉｉ）圧縮ビットストリーム（例えば、エンコーダおよびトランスコーダ用の）であってもよい。信号ＯＵＴには、一般に、プログレッシブフォーマットフレームおよび／またはインターレースフォーマットフィールドのシーケンスが含まれる。
【００１５】
デコーダに関して、信号ＯＵＴには、ディスプレイをビデオ情報と同期させるのに適した同期信号を含んでもよい。信号ＯＵＴは、限定するわけではないが、ＲＧＢ（赤、緑、青）信号、ＥＩＡ−７７０（例えば、ＹＣｒＣｂ）信号、Ｓビデオ信号、および／またはコンポジットビデオベースバンド信号（ＣＶＢＳ）として、アナログ形式で生成してもよい。デジタル形式では、信号ＯＵＴは、限定するわけではないが、高解像度マルチメディアインタフェース（ＨＤＭＩ）信号、デジタルビデオインタフェース（ＤＶＩ）信号、および／またはＢＴ．６５６信号として生成してもよい。信号ＯＵＴは、標準解像度信号または高解像度信号としてフォーマットしてもよい。エンコーダおよびトランスコーダに関して、信号ＯＵＴは、Ｈ．２６４勧告に準拠してもよい。
【００１６】
回路１０２は、コーデック回路として構成されたビデオデジタル信号プロセッサ（ＶＤＳＰ）として実現してもよい。回路１０２は、信号ＩＮで受信されたビデオ情報を復号化、符号化およびトランスコードして信号ＯＵＴを生成するように動作可能であってもよい。回路１０２は、第１のチップ（またはダイ）上に作製してもよい。バス１０３は、メモリバスとして実現してもよい。
【００１７】
回路１０４は、メモリ回路として実現してもよい。回路１０４は、フレーム／フィールド（ピクチャまたは画像）と、デジタルビデオおよびオーディオ情報の復号化／符号化／トランスコーディングならびにフォーマッティングにおいて用いられる他の情報と、を一時的にバッファするように動作可能であってもよい。復号化されたピクチャ／画像をバッファするために用いられる回路１０４内のバッファ領域は、復号化ピクチャバッファ（ＤＰＢ）と呼んでもよい。回路１０４は、第１のチップから独立した、回路１０２の外部における第２のチップ（またはダイ）上に作製してもよい。
【００１８】
ＭＰＥＧ−２、ＭＰＥＧ−４パート２アドバンスドシンプルプロファイル（ＡＳＰ）、ＶＣ−１およびＨ．２６４に関するサブサンプリングドリフトを検討した。ＭＰＥＧ−２において、輝度（明るさ）サンプル（画素）の８×８イントラ符号化ブロックは、離散コサイン変換（ＤＣＴ）を通して、水平、垂直および混合周波数の無相関セットとして符号化してもよい。ＤＣＴベースの無相関化は、一般に、予測符号化が行うように、圧縮を支援する。ＭＰＥＧ−２において、ＤＣ（例えば、平均ブロック値）ＤＣＴ係数は、前に符号化されたブロックＤＣ値に関連して予測的に符号化して、符号化ブロックを表わす平均ビットを低減してもよい。
【００１９】
同様に、ＭＰＥＧ−４パート２ＡＳＰおよびＶＣ−１に関して、予測モードは、イントラ符号化ブロック、すなわち、（ｉ）ブロックＤＣ、（ｉｉ）水平ＤＣＴ係数、および（ｉｉｉ）垂直ＤＣＴ係数に利用可能である。ＭＰＥＧ−２と同様に、イントラ予測は、一般に、再構成された画素を用いては形成されない。符号化された係数を予測値として用いることによって、サブサンプリングされて記憶された参照フレームからフレームに導入されるイントラ予測誤差は、イントラ予測から、隣接するイントラ符号化ブロックに伝搬させないことが可能である。したがって、上記のコーデックに関して、参照フレームサブサンプリングによる主な品質的影響は、連続的にイントラ予測されたフレーム上に蓄積する鮮明度の低下であり得る。かかる予測「ドリフト」の影響は、一般に、周期的なＩフレームによって制限される。しかしながら、ＶＣ−１のインループデブロックフィルタは、追加的な誤差伝搬の潜在的な源であり、この追加的な誤差伝搬は、ＭＰＥＧ−２用に用いられる単純なサブサンプリング方法をそれほど効果的にはしない。
【００２０】
図４を参照すると、Ｈ．２６４の多数のイントラ予測モードの図が示されている。Ｈ．２６４下で、前に符号化されたブロックの隣接画素からのイントラ予測が、一般に、変換に先行する。図４に示すように、９つの４×４ルミナンス（輝度）、９つの８×８輝度、４つのｌ６×１６輝度および４つの８×８クロミナンス（クロマ）の方向性イントラ予測モードが利用可能である。イントラ予測用に用いられる隣接画素が、規定値と著しく異なる場合には、結果としての誤差が、ブロックを横断してイントラ予測の方向に伝搬する可能性がある。イントラブロックの大きなエリアが、参照フレームサブサンプリングで近似されたイントラ予測ブロックに隣接している場合には、近似誤差は、全エリアを横切って伝搬する可能性がある。現在のフレームが、イントラ予測用の参照フレームである場合には、続く参照Ｐフレームおよび参照Ｂフレームは、引き続き誤差を伝搬する可能性がある。Ｈ．２６４およびＶＣ−１におけるループフィルタは、累積的に（再帰的に）かつ空間的に画素値を伝搬することによって、より少ないけれども同様の影響をもたらす可能性がある。ＶＣ−１ループフィルタが、一般に、Ｈ．２６４ループフィルタより弱い（例えば、潜在的により少数の画素に影響する）ので、インフレーム誤差伝搬の影響は、ＶＣ−１に対してはさらに低減される可能性がある。
【００２１】
予測誤差のインフレーム伝搬における激しさを緩和するために、さらに著しく正確なサブサンプリングおよび補間が、一般に、Ｈ．２６４参照ピクチャ用に指定され、より少ない程度で、ＶＣ−１参照ピクチャ用に指定される。さらに、Ｈ．２６４における動的バッファ管理技術を適用して、誤差を制限してもよい。
【００２２】
ＭＰＥＧ−２に関しては、上記の単純な方法を用いたダウンサンプリングおよびアップサンプリングが、十分であり得る。実際には、高品質ＭＰＥＧ−２をもたらす解決法では、一般に、水平方向にのみデシメーションし補間することによって、半水平解像度で参照ピクチャを記憶する。Ｈ．２６４に関しては、少数の追加オプションが、記憶された輝度ピクチャサブサンプリング用に存在する。すなわち、
方法１．ＨＨＲ：平均ダウンサンプリングおよび複製アップサンプリングを用いた半水平である。
【００２３】
方法２．ＨＨＲｅ：向上された半水平平均／複製。ＨＨＲｅ方法には、一般に、８×１平均画素の７最下位ビット（ＬＳＢ）に埋め込まれた各２つの８×１ブロック間の８×１ＤＣ（列）差、およびブロック平均ＬＳＢである最終ＬＳＢが含まれる。アップサンプリングの後、８×１ブロックＤＣは、再記憶してもよく、ＬＳＢには、平均ＬＳＢをロードしてもよい。
【００２４】
方法３．ＱＨＲ：５点形ダウンサンプリングには、非フィルタリングダウンサンプリングおよび水平平均アップサンプリングを含んでもよい。
【００２５】
方法４．ＱＶＲ：各フィールドにおける５点形ダウンサンプリングおよび垂直平均アップサンプリング。
【００２６】
方法５．ＱＤＲ：５点形ダウンサンプリングは、各フレームにおける４ネイバー水平および垂直中間アップサンプリングを有してもよい。
【００２７】
方法６．ＱＭＲ：５点形ダウンサンプリングには、一般に、各フレームにおける４ネイバー４点メジアンアップサンプリングが含まれる。
【００２８】
方法７．ＱＭＲｉ：５点形ダウンサンプリングには、各フレームにおける４ネイバー４点メジアンアップサンプリングが含まれる。
【００２９】
方法８．ＱＭＲａ：４ネイバー４点メジアンアップサンプリングを伴う５点形ダウンサンプリングには、（垂直細部保持を改善するために）２つの水平ネイバーを備えた３点メジアンが続く。ＱＭＲａ方法は、プログレッシブおよびインターレースされたソース用に、それぞれ、フレームまたはフィールドに適用してもよい。
【００３０】
図５を参照すると、５点形サンプリングパターンの図が示されている。５点形パターンは、さいころ／カード／ドミノ上の「５」つの点に類似してもよい。各正方形は、一般に、サンプル位置を表わす。各円は、ダウンサンプリングによって保持されるサンプルを表わしてもよい。丸で囲まれていない位置は、除去してもよい。５点形ダウンサンプリングは、一般に、水平ダウンサンプリングおよび別個の垂直ダウンサンプリングを用いることによって作成することはできない。
【００３１】
ＭＰＥＧ−２、ＭＰＥＧ−４パート２ＡＳＰおよび／またはＶＣ−１を用いて記憶されたピクチャのダウンサンプリングは、比較的単純明快であり得る。なぜなら、記憶されるフレームが、参照フレームであってもよいからである。さらに、全ての記憶された参照フレームは、一般に、フレームまたはフィールド間における誤差の順方向伝搬に対して、ほぼ同じ重要度である。例えば、Ｉフレームに対する近似を除いては、任意の記憶されたフレームにおける近似は、将来のフレームに伝搬する一時ドリフトに同様に寄与する。
【００３２】
Ｈ．２６４は、一般に、ＭＰＥＧ−２、ＭＰＥＧ−４パート２ＡＳＰおよびＶＣ−１とは異なって振る舞う。Ｈ．２６４に関して、復号化ピクチャバッファは、フレーム並べ換えおよび参照フレームの記憶の両方に用いてもよい。さらに、いくつかの参照フレームは、非常に少数のフレームに対してだけ誤差を転送する可能性がある一方で、他の参照フレームは、ずっと大きな数に影響を及ぼす可能性がある。常にではないが、制限された伝搬は、一般に、参照Ｂフレームの特性である。
【００３３】
復号化ピクチャバッファの動的管理によって、Ｈ．２６４復号化においてメモリを低減することによる「最悪の場合の」影響を制限することが可能である。次に復号化されるフィールド／フレームを記憶するのに十分なメモリ空間が解放されるまで、順番に適用可能な、優先的規則の例示的なセットは、一般に、次の通りである。
【００３４】
規則１：最初に非参照ピクチャを低減する。なぜなら、非参照ピクチャは、一般に、時間的な継続するドリフトを引き起こさないからである。
【００３５】
規則２：ミスマッチによるドリフトの期間を低減するために、予測／再構成に対して短い（例えば、どちらの方向にも１つまたは２つのピクチャ）時間的で潜在的な間接的影響を伴う参照ピクチャを低減する。
【００３６】
規則３：「最古の」参照ピクチャ、または最も遠くはなれた参照ピクチャが、予測／再構成用に（一般に）それほど頻繁に用いられない可能性があるという原理に基づいて、連続してピクチャを復号化することから時間的に最も遠い可能性がある参照ピクチャを低減する。
【００３７】
規則４：メモリ帯域幅、および既にメモリに存在するピクチャをダウンサイズする処理コストを考慮する。メモリ帯域幅および／または処理サイクルが不十分な場合には、現在復号化されているピクチャを低減するように試みて、（ｉ）再構成された情報が、低減された解像度で一度で記憶されるようにして、（ｉｉ）フル解像度で記憶され、読み出され、解像度が低減され、次に、逆にメモリに書き込まれるのではないようにしてもよい。規則４は、システムボトルネックに応じて、規則１−３より優先度が高くてもよい。メモリ記憶装置が主なシステムボトルネックである場合には、一般に、規則１、２、３を順番に適用する。処理サイクルおよび／またはメモリ帯域幅の１つまたは両方が、主なシステムボトルネックである場合には、サイクル／帯域幅がバジェット内になるまで、規則４を考慮してもよい。特定の用途の基準を満たすために、他の管理規則を実行してもよい。例えば、その規則では、最古の参照フレームをサブサンプリングするのではなく、最古の参照フレームを廃棄してもよい。
【００３８】
図６を参照すると、コーデックメモリ低減用の例示的な方法１２０の流れ図が示されている。方法（またはプロセス）１２０は、参照フレーム記憶プロセスを実行してもよい。方法１２０には、一般に、ステップ（またはブロック）１２２、ステップ（またはブロック）１２４およびステップ（またはブロック）１２６が含まれる。方法１２０は、回路１００によって実行してもよい。
【００３９】
ステップ１２２において、信号ＩＮを通して受信された参照フレームをダウンサンプリングして、メモリを節約してもよい。ダウンサンプリングは、上記の４つの規則に従ってもよい。ダウンサンプリングには、ＱＭＲａ５点形ダウンサンプリング（方法８）を含んでもよい。特定の用途の基準を満たすために、他の５点形ダウンサンプリングオプションを実行してもよい。
【００４０】
一般に、ステップ１２２には、ステップ（またはブロック）１３０およびオプションのステップ（またはブロック）１３２を含んでもよい。ステップ１３０において、参照フレームのルミナンス（輝度）チャネルは、ダウンサンプリングしてもよい。１つまたは複数の実施形態において、ステップ１３２を実行して、参照フレームのそれぞれにおける両方のクロミナンス（クロマ）チャネルをダウンサンプリングしてもよい。ダウンサンプリングは、復号化ループの一部であってもよい。
【００４１】
特定の参照フレームが、さらなる処理に適している場合には、特定の参照フレームをメモリ１０４から読み出してアップサンプリングし、オリジナルの解像度を回復してもよい。アップサンプリングは、１つまたは複数の動作として実現してもよい。例えば、アップサンプリングは、ステップ（またはブロック）１３４において、線形（例えば、平均）補間として実行してもよい。別の例において、アップサンプリングは、ステップ（またはブロック）１３６による非線形補間として実行してもよい。非線形補間には、限定するわけではないが、４ネイバー４点メジアンアップサンプリングおよび２ネイバー３点メジアンアップサンプリングを含んでもよい。さらに別の例において、アップサンプリングは、ステップ（またはブロック）１３８において２段階補間として実現してもよい。
【００４２】
ステップ１３８には、一般に、第１の段階および第２の段階をそれぞれ形成するステップ（またはブロック）１４０およびステップ（またはブロック）１４２が含まれる。ステップ１４０は、４ネイバー４点メジアンアップサンプリングを実行して、欠けたサンプル位置を満たしてもよい。ステップ１４２において、２つの水平ネイバーを用いる３点メジアンアップサンプリングを実行して、補間を完成してもよい。
【００４３】
ステップ１２４において、信号ＩＮで受信された追加的なピクチャの処理を実行してもよい。特定の処理は、一般に、実現されているシステムに依存する。例えば、ステップ１２４は、信号ＯＵＴが非圧縮ビデオ信号である場合のデコーダシステム用の復号化ステップ（またはブロック）１４４を有してもよい。エンコーダシステムでは、ステップ１２４は、符号化ステップ（またはブロック）１４６を有してもよい。ステップ１４６は、一般に、符号化されたビットストリームとして信号ＯＵＴを生成する。さらに、ステップ１２４は、トランスコーダシステムにおいて、トランスコーディングステップ（またはブロック）１４８を有してもよい。ステップ１４８は、符号化されたビットストリームとして信号ＯＵＴを生成してもよい。
【００４４】
ソフトウェアＨ．２６４デコーダが、信号ＩＮにおけるビデオルミナンスの全てのフレーム用に、上記の８つのメモリダウンサンプリング／アップサンプリング方法のそれぞれに適用された。信号ＩＮは、４：２：０クロマフォーマットを備えたＨ．２６４ビデオビットストリームとして生成された。（４：２：０フォーマットは、一般に、輝度サンプルの垂直および水平解像度の半分のクロマサンプルを有する。）追加帯域幅コストを招かないように、動的ピクチャバッファ管理を用いなかった。代わりに、全てのピクチャは、ピクチャが復号化されているときに、サブサンプリングされた。ブロックＤＣアーチファクトが、輝度よりもクロマにおいて視覚的にはるかに目障りであり、かつ（４：２：０フォーマットに関して）一般に、輝度のサブサンプリングは、クロマをサブサンプリングするより２倍多くのメモリを節約することが可能なので、参照フレームの輝度成分だけがダウンサンプリングされた。下記の公に利用可能な符号化されたＨ．２６４シーケンスが、（ＩＢＰの１秒グループピクチャ（ＧＯＰ）を用い、８×８イントラ／変換を用いず、ＱＰ〜［１２、２６］で符号化された）シミュレーション用に用いられた。
【００４５】
シーケンス１．Ｉｃｅ  Ａｇｅ、１９０４×１０５６画素、６０フレーム／秒。
【００４６】
シーケンス２．Ｗａｒｒｅｎ  Ｍｉｌｌｅｒ、１９２０×１０８０画素、６０フレーム／秒。
【００４７】
シーケンス３．Ａｅｏｎ  Ｆｌｕｘ、１２８０×７２０画素、６０フレーム／秒）。
【００４８】
次の公には利用できないビデオシーケンスが、ＪＭ１０．２Ｈ．２６４参照エンコーダで符号化された。
【００４９】
シーケンス４．Ｓｏｃｃｅｒ（７０４×４８０ｉ、６０フィールド／秒）が、ＩＢＢＰの０．５秒ＧＯＰおよび一定のＱＰ３２を用い、８×８イントラモードを用いずに符号化された。
【００５０】
シーケンス５．Ｍｏｂｉｌｅ  Ｔｅｒａｎｅｘ、ＰａｒｋｒｕｎおよびＳｔｏｃｋｈｏｌｍ（１９２０×１０８０ｉ、６０フィールド／秒）が、８×８イントラを含む全てのイントラモードを用い、ＩＢＢＰの５秒ＧＯＰおよび一定のＱＰ３２で符号化された。
【００５１】
シーケンス６．Ｐｌａｔｅａｕ（１９２０×１０８０ｉ、６０フィールド／秒）が、８×８イントラを含む全てのイントラモードを用い、ＩＰＰＰの１秒ＧＯＰおよび一定のＱＰ３２で符号化された。
【００５２】
各シーケンスに適用された各方法の結果が、完全な参照復号化に対して、最大１００デシベル（ｄＢ）までカットされたピーク信号対雑音比（ＰＳＮＲ）を用いて比較された。（ｄＢにおけるＰＳＮＲは、２０*１ｏｇ１０（２５５／ＲＭＳＥ）として計算してもよく、ここで、ＲＭＳＥは、二乗平均平方根誤差であってもよい。）結果は視覚的ランキングに対応するが、結果は、一般に、品質差の大きさを示すものではない。
【００５３】
テスト結果は、下記の表Ｉに一般的に示されている。表Ｉ内のデータは、一般に、５０％低減に対する平均シーケンスＰＳＮＲ（ｄＢ）を示す。平均ＰＳＮＲは、全シーケンスの平均品質を反映し得る。激しく損傷されたフレームの視覚的な激しさおよび数によって、品質の視覚的な評価を示すことが可能である。
【００５４】
【表１】
2010512046.tif 000003
【００５５】
シミュレーションのいくつかの視覚的評価は、一般に、次の通りである。
【００５６】
評価１．ＨＨＲ：特に背景／平面領域における、ぎざぎざした対角線、極めて不明瞭で、著しくかつ頻繁なブロッキングアーチファクト。
【００５７】
評価２：ＨＨＲｅ：全ての側面がいくらか改善可能であり、最も顕著にブロッキングが改善可能である。著しく増加されたメモリ帯域幅は、動き補償された予測に用いられた。適切なデータを含む全ての８×１ブロックが、フル解像度データを再構成するためにアクセスされた。
【００５８】
評価３．ＱＨＲ：全ての５点形サンプリング方法は、全ての点において、方法ＨＨＲより著しくよい可能性がある。方法ＱＨＲは、一般に、視覚的に不快になり得る特有のぎざぎざした縫うように進むアーチファクトを有する。
【００５９】
評価４：ＱＶＲ：方法ＱＨＲよりいくらかよいが、しかし同様（垂直方向であるが）の縫うように進むアーチファクトを有する。
【００６０】
評価５．ＱＤＲ：一般に、方法ＱＭＲほど鮮明ではなく、またより多くのアーチファクトを有する。
【００６１】
評価６．ＱＭＲ：プログレッシブシーケンスにとって、よい選択である。方法ＱＭＲは、インターレースされたシーケンスに対して、方法ＱＭＲｉより悪い可能性がある。
【００６２】
評価７．ＱＭＲｉ：ほとんどのインターレースされた内容にとって、よい選択である。しかしながら、方法ＱＭＲｉは、プログレッシブシーケンスに対しては、方法ＱＭＲほどよくない可能性がある。方法ＱＭＲｉは、ＱＨＲに比べて、細い水平ラインが途切れたり、または弱められる可能性があるという不都合を有し得る。
【００６３】
評価８．ＱＭＲａ：全ての内容にとって最善の実際的な選択である。インターレースされたシーケンスに対して、他の先行する方法と同様のＰＳＮＲであるにもかかわらず、方法ＱＭＲａは、通常、いくらか細部のひずみ／損傷という犠牲において、全体的アーチファクトがほとんどないために優れているように見える。例外は、方法ＨＨＲｅ（およびそれほどでないにせよ方法ＱＨＲ）が、（ＭｏｂｉｌｅおよびＰｌａｔｅａｕにおける単純なパンなど）頻繁なＩブロックのない綿密な長いＧＯＰシーケンスに対しては、一般に、方法ＱＭＲａより優れているように見えるということであろう。方法ＨＨＲｅは、より多くのブロックアーチファクトおよび垂直ストリーキング（１×８ブロック動作からの）を導入する可能性があるが、方法ＨＨＲｅは、一般に、より多くの詳細を保持する。インターレースされたシーケンスをパンする際に高度な垂直細部を保持することは、不鮮明化を防ぐために特に重要であり得る。方法ＱＭＲａは、一般に、高周波垂直細部の保存を改善すると考えられた。方法ＱＭＲａは、第２段階３点メジアンが水平ネイバーを再導入する２段階カスケードメジアンとして、実現してもよい。方法ＨＨＲｅを用いて改善されたシーケンスに関しては、通常、方法ＱＭＲおよび方法ＱＭＲｉに比べて方法ＱＭＲａについて、著しい改善が顕著だった。さらに、全体的な利益は、一般に、全てのテストされたシーケンスに対して顕著だった。
【００６４】
図７を参照すると、回路１００の例示的なアーキテクチャの詳細なブロック図が示されている。回路１０２には、一般に、回路（またはモジュール）１６０、回路（またはモジュール）１６２および回路（またはモジュール）１６４が含まれる。回路１０２は、オプションのブロック（または機能）１６６およびオプションのブロック（または機能）１６８が、さらに含まれる。ブロック１６２には、オプションのブロック（または機能）１７０およびオプションのブロック（または機能）１７２を含んでもよい。回路１０４には、一般に、回路（またはモジュール）１７４および回路（またはモジュール）１７６が含まれる。回路１７４には、オプションのブロック（または機能）１７８およびオプションのブロック（または機能）１８０を含んでもよい。
【００６５】
回路１６０は、キャッシュメモリとして実現してもよい。回路１６０は、一般に、ピクチャデータをバッファするように動作可能である。回路１６０の記憶容量に依存して、データは、少数のマクロブロックから、１つまたは複数のマクロブロック行、１つまたは複数のフィールドまたは１つまたは複数フレームに及んでもよい。
【００６６】
回路１６２は、メモリコントローラとして実現してもよい。回路１６２は、一般に、バス１０３を介して、回路１０４からのデータの読み出しおよびそこへのデータの書き込みを制御する。回路１６２は、回路１６０と通信して、回路１６０と回路１０４との間でデータを交換してもよい。
【００６７】
回路１６４は、処理回路として実現してもよい。処理には、限定するわけではないが、表示処理（例えば、ビデオ出力モジュール）、動き補償処理、符号化、復号化、トランスコーディング等を含んでもよい。回路１６４は、回路１６０と通信して、キャッシュされたデータを受信してもよい。回路１６４は、回路１６２と通信して、回路１０４から読み出された、バッファされたデータを受信してもよい。
【００６８】
回路１７４は、バスインタフェース回路として実現してもよい。回路１７４は、一般に、バス１０３上で通信するように、かつバス１０３と回路１７６との間でデータを転送するように動作可能である。
【００６９】
回路１７６は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）として実現してもよい。回路１７６は、一般に、バス１０３を介して受信されたデータの実際の記憶を実行する。回路１７６は、シングルデータレート（ＳＤＲ）ダイナミックランダムアクセスメモリ（ＤＲＡＭ）またはダブルデータレート（ＤＤＲ）ＤＲＡＭとして実現してもよい。特定の用途の基準を満たすために、他のメモリ技術を実行してもよい。
【００７０】
５点形ダウンサンプリングは、一般に、回路１０２によって、メモリへのピクチャデータの記憶動作中に実行される。記憶動作は、ストリップ記憶コマンドおよび／またはＲＡＭ書き込みコマンドとして実行してもよい。非圧縮ピクチャは、参照フィールド／フレームまたは非参照フィールド／フレームであってもよい。一般に、ダウンサンプリングは、表示順序並べ換えのために、および／または参照フィールド／フレームとして用いるために記憶された全てのフィールド／フレームに適用してもよい。
【００７１】
ダウンサンプリングは、特定の用途に基づいて、記憶動作の完了前に、回路１００内の１つまたは複数の位置において実行してもよい。例えば、データは、ブロック１６４によってダウンサンプリングし、その後、回路１６０においてキャッシングしてもよい。別の例において、ダウンサンプリングは、ブロック１７０によって示すように、データがバス１０３を渡って転送される直前に、回路１６２において実行してもよい。さらに別の例において、バス１０３から回路１７４で受信されたデータは、ブロック１７８によってダウンサンプリングし、その後回路１７６においてバッファリングしてもよい。
【００７２】
典型的には、記憶動作は、一度に１つまたは複数の非圧縮マクロブロック、一度に１つまたは複数のマクロブロック行、全フィールドまたは全フレーム用であってもよい。データは、一般に、最初に回路１６０に書き込まれ、続いて回路１７６に転送される。回路１６０の記憶容量に依存して、データは、回路１７６への転送なしに、単に回路１６０に書き込むだけであってもよい。回路１６０が、記憶容量において中程度である場合には、マクロブロックの行を回路１６０にキャッシュし、その後、回路１７６にコピーしてもよい。
【００７３】
非線形アップサンプリングは、一般に、メモリからのピクチャの読み出し動作中に実行される。読み出し動作は、ストリップ読み出しコマンド、動き補償ブロックロードコマンドおよび／またはＲＡＭ読み出しコマンドとして実行してもよい。アップサンプリングは、回路１００における１つまたは複数の位置で実行してもよい。最良の効率のために、アップサンプリングは、通常、回路１０２内で実行される。例えば、回路１６０から読み出されたデータは、ブロック１６８によってアップサンプリングしてもよい。別の例において、バス１０３からちょうど受信されたデータは、ブロック１７２によってアップサンプリングしてもよい。回路１７４もまた、アップサンプリングを実行してもよい。例えば、アップサンプリングをブロック１８０によって実行し、その後、データをバス１０３に配置してもよい。
【００７４】
いくつかの条件では、一般に、アップサンプリング動作が利用される。第１の条件において、アップサンプリングは、他のブロック／マクロブロックを復号化／再構成するために用いられる任意の動き補償された補間の前に、参照フィールド／フレームの読み出し動作中に実行してもよい。第２の条件において、アップサンプリングは、表示可能フォーマットのビデオ信号を生成することの一部として、実行してもよい。特定の用途の基準を満たすために、他のアップサンプリング条件を実行してもよい。一般に、メモリ（例えば、回路１６０および／または回路１７６）から読み出されたデータは、回路１６４による処理の前に、アップサンプリングしてもよい。
【００７５】
図８を参照すると、Ｉｃｅ  Ａｇｅシーケンスにおけるフレームのピーク信号対雑音比のヒストグラムが示されている。表Ｉから、方法ＨＨＲは、約１０％の非常に低品質フレーム（＜３２ｄＢ）に帰着する可能性がある。方法ＨＨＲ、ＨＨＲｅおよびＱＨＲもまた、約１０％の劣ったフレーム（３２−３６ｄＢ）を有する可能性がある。方法ＱＭＲ以外の全てのオプションは、一般に、約１０％またはいくらか超えた、損なわれたフレーム（３６−４０ｄＢ）を有する。他のフレーム（＞４０ｄＢ）は、一般に、視覚的に許容できる。特に、方法ＱＭＲは、Ｉｃｅ  Ａｇｅクリップに対して、視覚的に許容できる高解像度復号化品質をもたらすことが可能である。
【００７６】
メジアンアップサンプリングに加えた５点形画素ダウンサンプリング（サブサンプリング）によって、Ｈ．２６４復号化用の輝度サンプルの記憶基準を半分に低減することが可能になる。５点形画素ダウンサンプリングは、一般に、従来の水平および／または垂直ダウンサンプリングおよび補間より一貫して優れた品質（ほぼ１０ｄＢ  ＰＳＮＲまで）をもたらす。２段階カスケードメジアンアップサンプリングは、特に、垂直細部の改善から利益を得る高詳細化パニングのインターレースされたシーケンスに対して、品質を改善する。さらに、ブロックまたはセグメントベースのメモリ圧縮方法とは対照的に、メモリ帯域幅は低減され、メモリアクセスは、５点形などの単純なサブサンプリング方法を用いれば、それほど複雑ではない。
【００７７】
図３、６および７の図によって実現される機能は、当業者には明らかであろうように、本明細書の教示に従ってプログラムされた従来の汎用デジタルコンピュータを用いて、実現してもよい。適切なソフトウェア符号化は、当業者にはまた明らかであろうように、本開示の教示に基づいて、熟練したプログラマによって容易に準備することができる。
【００７８】
本発明はまた、ＡＳＩＣ、ＦＰＧＡを準備することによってか、または本明細書で説明するように、従来のコンポーネント回路の適切なネットワークを相互接続することによって実施してもよいが、これらの修正は、当業者には容易に明らかになろう。
【００７９】
したがって、本発明にはまた、コンピュータ製品を含んでもよいが、このコンピュータ製品は、本発明に従ってプロセスを実行するようにコンピュータをプログラムするために使用できる命令を含む記憶媒体であってもよい。記憶媒体には、限定するわけではないが、フロッピー（登録商標）ディスク、光ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気もしくは光カードを含む任意のタイプのディスク、または電子命令を記憶するのに適した任意のタイプの媒体を含むことができる。
【００８０】
本発明の好ましい実施形態に関連して本発明を特に図示し説明したが、本発明の範囲から逸脱せずに、形態および詳細において様々な変更をなし得ることが、当業者によって理解されよう。
【図１】
2010512046.tif 000004
【図２】
2010512046.tif 000005
【図３】
2010512046.tif 000006
【図４】
2010512046.tif 000007
【図５】
2010512046.tif 000008
【図６】
2010512046.tif 000009
【図７】
2010512046.tif 000010
【図８】
2010512046.tif 000011
【国際調査報告】
2010512046.tif 000012