(57)【要約】  適応補間を使用する映像符号化及び／又は復号化の方法と装置が記載されている。一実施形態では、復号化方法は、参照インデックスを復号化するステップと、動きベクトルを復号化するステップと、参照インデックスに従って参照フレームを選択するステップと、参照インデックスに従ってフィルタを選択するステップと、予測されたブロックを獲得するためにフィルタを使用して、動きベクトルにより決定された参照フレームのサンプルの組をフィルタ処理するステップとを備える。【選択図】  図４
2008544708.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上の参照のうちの１つずつが１つ以上の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記参照インデックスと関連付けられている区分が予測された区分を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記１つ以上の参照を使用して、動き補償された予測の前記予測された区分を生成する動き補償モジュールと、
入力映像データと前記動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するコーダと、
を備えるビデオエンコーダ。
【請求項２】
複数の参照のうちの各参照が複数の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記各参照と関連付けられているブロックが端数サンプル位置を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記複数の参照を使用して、動き補償された予測を生成するステップと、
入力映像データと動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するステップと、
を備える符号化方法。
【請求項３】
システムによって実行されたときに、
複数の参照のうちの各参照が複数の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記各参照と関連付けられているブロックが端数サンプル位置を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記複数の参照を使用して、動き補償された予測を生成するステップと、
入力映像データと動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するステップと、
を備える符号化方法を前記システムに実行させる命令を記憶する１つ以上の読み取り可能な媒体を有する製品。
【請求項４】
参照インデックス及び動きベクトルを復号化するデコーダと、
前記参照インデックスに従って参照フレーム及び複数のフィルタのうちの１つを選択し、前記選択されたフィルタが予測されたブロックを獲得するため動きベクトルによって決定された前記参照フレームのサンプルの組をフィルタ処理する動き補償モジュールと、
を備える装置。
【請求項５】
ビデオデコーダ内で予測されたブロックを生成する方法であって、
参照インデックスを復号化するステップと、
動きベクトルを復号化するステップと、
前記参照インデックスに従って参照フレームを選択するステップと、
前記参照インデックスに従ってフィルタを選択するステップと、
前記予測されたブロックを獲得するために前記フィルタを使用して、前記動きベクトルにより決定された前記参照フレームのサンプルの組をフィルタ処理するステップと、
を備える方法。
【請求項６】
システムによって実行されたときに、
参照インデックスを復号化するステップと、
動きベクトルを復号化するステップと、
前記参照インデックスに従って参照フレームを選択するステップと、
前記参照インデックスに従ってフィルタを選択するステップと、
予測されたブロックを獲得するために前記フィルタを使用して、前記動きベクトルにより決定された前記参照フレームのサンプルの組をフィルタ処理するステップと、
を備える予測されたブロックを生成する方法を前記システムに実行させる命令を記憶する１つ以上の読み取り可能な媒体を有する製品。
【請求項７】
ビデオデコーダ内で予測されたブロックを生成する方法であって、
第１の参照インデックス及び第２の参照インデックスを復号化するステップと、
第１の動きベクトル及び第２の動きベクトルを復号化するステップと、
前記第１の参照インデックスに応じて第１の参照フレームを選択し、前記第２の参照インデックスに従って第２の参照フレームを選択するステップと、
前記第１の参照インデックスに応じて第１のフィルタを選択し、前記第２の参照インデックスに従って第２のフィルタを選択するステップと、
第１のブロックを獲得するために前記第１のフィルタを使用して、前記第１の動きベクトルにより決定された前記第１の参照フレームの第１のサンプルの組をフィルタ処理するステップと、
第２のブロックを獲得するために前記第２のフィルタを使用して、前記第２の動きベクトルにより決定された前記第２の参照フレームの第２のサンプルの組をフィルタ処理するステップと、
前記予測されたブロックを獲得するために前記第１のブロックと前記第２のブロックを合成するステップと、
を備える方法。
【請求項８】
１つ以上のエンハンスメントレイヤを符号化し、低解像度レイヤの補間が参照インデックスとの関連性を介して前記エンハンスメントレイヤ内のブロック毎に実行されるべき方法を指定するため、適応端数サンプル補間メカニズムを使用する空間スケーラブルエンコーダ。
【請求項９】
ビットストリームを復号化するデコーダと、
各ブロックに割り当てられている複数の参照インデックスのうちの１つによって示されるような適応端数補間フィルタを使用して低解像度レイヤをアップサンプリングするアップサンプリングモジュールと、
を備える空間スケーラブルデコーダ。
【発明の詳細な説明】
【優先権】
【０００１】
[0001]本特許出願は、２００５年６月２４日に出願され、名称が“Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  Ｆｏｒ  Ｖｉｄｅｏ  Ｅｎｃｏｄｉｎｇ  ａｎｄ  Ｄｅｃｏｄｉｎｇ  Ｕｓｉｎｇ  Ａｄａｐｔｉｖｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ”である対応する仮特許出願第６０／６９３，５７５号の優先権を主張し、参照として組み入れる。
【発明の分野】
【０００２】
[0002]本発明は、映像符号化及び復号化の分野に関し、特に、本発明は動き補償における適応補間の使用に関する。
【発明の背景】
【０００３】
[0003]大部分の既存の映像圧縮システム、及び、ＭＰＥＧ−２とＪＶＴ／Ｈ．２６４／ＭＰＥＧ  ＡＶＣのような規格において、エンコーダ及びデコーダは、主として圧縮を実現するためにイントラ符号化及びインター符号化に依拠している。イントラ符号化では、空間予測法が使用され、インター符号化では、圧縮はピクチャ間に存在する時間的相関を利用することにより実現される。
【０００４】
[0004]より詳細には、予め符号化／復号化されたピクチャは将来のピクチャのための参照として使用され、動き推定及び補償は将来のピクチャ間の動きアクティビティを補償するために利用される。図１ＡはＰピクチャ（フレーム）における動き補償を説明し、図１ＢはＢピクチャ（フレーム）における動き補償を説明している。Ｈ．２６４のようなより進化したコーデックは、必要に応じてより正確な予測を生成するために（たとえば、フェードイン／アウトの間に）照明変動も考慮する。最後に、デブロッキング法がさらに予測及び量子化プロセスを通じて作成されたブロッキングアーティファクトを低減することを目的として使用される。
【０００５】
[0005]端数サンプル補間は、動きのより正確な表現を可能にするので、動き補償された予測の品質をさらに高めるため利用される技術のうちの１つである。参照の実際のサンプルを使用する代わりに、参照内のサンプルが最初に予め定義済みのフィルタを使用してフィルタ処理（補間）されるフィルタリングメカニズムが利用される。図２は、整数サンプル（大文字付きの陰影ブロック）と、クォータサンプルルマ補間のための端数サンプル位置（小文字付きの陰影無しブロック）とを説明している。画像獲得プロセス中に使用されるローパスフィルタの非理想的な性質のため、補間及び動き補償された予測を劣化させる可能性があるエイリアシングが生成され得る。
【０００６】
[0006]大部分の映像符号化アーキテクチャ、及び、ＭＰＥＧ−１／２、Ｈ．２６３及びＨ．２６４（又はＪＴＶ又はＭＰＥＧ−４  ＡＶＣ）のような符号化規格は、動き補償された予測の効率をさらに向上させるため端数サンプル動き補償を利用する。最も旧い規格は、主として、端数サンプル位置の生成のための双一次補間法に基づいている。エイリアシングを低減させる目的で、Ｈ．２６４規格（又はＪＶＴ又はＭＰＥＧ４  ＡＶＣ）は、１／４端数サンプル位置までの補間プロセス中に、フィルタ係数（１，−５，２０，−５，１）／３２を備えている６タップのウィナーフィルタを使用する。図３はＨ．２６４における補間プロセスを説明している。図３を参照すると、非適応６タップフィルタが１／２端数サンプル位置でサンプル値を生成するため使用されている。次に、非適応双一次フィルタが１／４端数サンプル位置でサンプル値を生成するため１／２端数位置でサンプルをフィルタ処理する。より詳細には、ルマの場合、フルサンプル位置（ｘＡＬ，ｙＡＬ）〜（ｘＵＬ，ｙＵＬ）でサンプル「Ａ」〜「Ｕ」を仮定すると、端数サンプル位置におけるサンプル「ａ」〜「ｓ」が導出されるべきである。これは、最初に上記のフィルタを適用することによりハーフサンプル位置（ａａ−ｈｈと、ｂ、ｈ、ｊ、ｍ及びｓ）で予測値を計算し、その後に、クォーターサンプル位置における予測値がフルサンプル位置及びハーフサンプル位置でサンプルを平均化することにより導出される。クロマの場合、これに反して、１／８サンプル位置までの双一次補間が使用される。しかし、異なる映像信号は、異なる非定常統計的特性（たとえば、エイリアシング、テクスチャ、及び、動き）を有するので、固定フィルタの使用は不十分である。
【０００７】
[0007]補間プロセス中にエイリアシングをより巧く考慮できる適応端数サンプル補間法が検討されている。Ｈ．２６４において使用されるフィルタのような固定６タップフィルタの代わりに、補間中に使用されるフィルタのフィルタ係数を表現する付加的な付加情報がフレーム毎に伝送される。より詳細には、｛ａ１，ａ２，ａ３，ａ３，ａ２，ａ１｝という形式の適応フィルタが全ての１／２サンプル位置を生成するために使用可能であり、その後に１／４サンプル生成用の双一次補間が続けられる。上記フィルタの対称的な性質を考えると、３つの係数（ａ１、ａ２及びａ３）だけが符号化される必要があった。この方法はより長い又はより短いタップフィルタを可能にするように容易に拡張可能である。
【０００８】
[0008]別の従来技術では、フィルタの係数を明示的に符号化する代わりに、フィルタのコードブックが例示的なフィルタ係数の分布に基づいて生成される。これは、エンコーダでの複雑性を減少させるとともに（先験的判定がフィルタリング係数の適当な範囲を決定するためにも使用され得るという主張がされ得るが、所定の係数の組だけがテストされるべきである）、最も重要な点は、フィルタリング係数の表現が多少改善／短縮されることであり（すなわち、フィルタリング係数を表現するために３×１２ビットを必要とする代わりに）、全フィルタが等しい確率を有するとするならば、この場合には２Ｎ通りのフィルタを表現するためにＮビットしか必要とされない。付加的な検討が、本質的にサンプル位置をインジケータとして使用する補間フィルタの適応であるとみなされる様々な１／２又は１／４サンプル位置を考慮することによって行われる。
【０００９】
[0009]フレーム／グローバルベースのフィルタ適応以外に、ブロックレベルでフィルタリングパラメータを適応させる可能性が検討されている。１つの従来技術では、ブロック毎に、４タップフィルタが符号化中に使用され伝送される。この方法は動き補償された予測信号を改善することが可能であるが、この方法はフィルタの付加的な伝送に起因するビットオーバーヘッドの点で著しい増加を正当化できない。さらに、隣接ブロックの補間フィルタの間に殆ど相関性が見られないことが指摘されている。したがって、この方法は非実用的であり、かつ、非効率的であると考えられている。しかし、所定の補間フィルタの組を送り、所定の補間フィルタだけを考慮するマクロブロック（ＭＢ）ベースの補間法が使用されている。これらの補間フィルタを伝送し、使用するかどうかの決定はピクチャレベルで行われている。
【００１０】
[0010]ある種のグローバルベースの補間法は、信号の局所特性を考慮しないので、性能が制限され得る。さらに、双予測のような複数の参照の存在下で適切な検討がなされていない。１つの従来技術では、参照毎の補間フィルタは原則的に１つの参照につき１回だけ伝送されるので、同じ補間がこのピクチャを参照するその後に続くピクチャのため使用される。しかし、動き、テクスチャなどの特性、及び、参照間の関係は時間と共に変化するので、符号化フレーム毎に、異なる補間フィルタがその参照の全てに対して必要とされると主張されることもある。たとえば、Ｐｎ＝ｆｎ，ｋ（Ｐｋ）という変換が参照ＰｋからピクチャＰｎを生成するために必要とされると仮定すると、Ｐｋは、これに反して、Ｐｊを参照するときにｆｋ，ｊ（）の使用は適切でないことを示唆するＰｊと、関係Ｐｋ＝ｆｋ，ｊ（Ｐｊ）を有する。さらに、単一予測補間フィルタが使用されない場合がある双予測された区分は考慮されていない。
【００１１】
[0011]これに反して、ブロックベースの方法は、補間フィルタの符号化のためのオーバーヘッドの著しい増加、又は、使用されるフィルタに関して柔軟性の不足の何れかに陥る。この場合も、双予測は考慮されていない。
【００１２】
[0012]よって、このような性質を考慮に入れ、フレーム毎にこのような補間フィルタを適応させる適応補間スキームが近年では提案されている。このようなスキームは、あらゆるフレームのため使用されるフィルタリングパラメータの送信を本質的に必要とし、その上、このようなパラメータの推定プロセスもまた必要である。残念ながら、提案された方法は、このような技術のための最良の動作のモードを提示しないので、オーバーヘッドの増加を招き、よって、性能の低下を招くことになる。さらに、適応はフレーム（グローバル）レベルで本質的に実行され、局所特性は考慮されていない。
【発明の概要】
【００１３】
[0013]本明細書では、適応補間を使用する映像符号化及び／又は復号化の方法及び装置が開示されている。一実施形態では、復号化方法は、参照インデックスを復号化するステップと、動きベクトルを復号化するステップと、参照インデックスに従って参照フレームを選択するステップと、参照インデックスに従ってフィルタを選択するステップと、予測されたブロックを獲得するためにフィルタを使用して、動きベクトルにより決定された参照フレームのサンプルの組をフィルタ処理するステップとを備える。
【００１４】
[0014]本発明は以下に記載されている詳細な説明と発明の種々の実施形態についての添付図面からより完全に理解されるが、添付図面は発明を特定の実施形態に限定するために利用されるべきではなく、説明と理解だけを目的としている。
【本発明の詳細な説明】
【００１５】
[0028]適応補間フィルタリングを含む映像符号化及び復号化アーキテクチャが開示されている。端数サンプル補間が単一のフィルタリングメカニズムを使用して実行されている従来の研究とは異なって、本明細書に記載されている符号化スキームは各区分が異なる端数サンプル補間フィルタに割り当てられている適応シグナリングメカニズムを使用する。適応シグナリングメカニズムは、動き補償された予測の性能に関してさらなる改良を可能にするので、既存の方法又は規格より符号化効率が増加する。一実施形態では、適応シグナリングメカニズムは、最初に、単一の参照インデックスだけでなく、複数のインデックスによって参照ピクチャを関連付けることによって実現される。参照インデックスのそれぞれは、次に、デコーダに知られているか、又は、デコーダへ明示的に伝送され得る異なる補間フィルタリングメカニズムとさらに関連付けられる。補間フィルタの選択は、このとき、各ブロックに関連付けられている参照インジケータに基づき、付加的なシグナリングは必要とされない。本明細書に記載されている符号化スキームは、ある程度まで、使用されるフィルタリング方法の局所適応を可能にさせるので、符号化効率の改善をもたらすであろう。
【００１６】
[0029]別の実施形態では、本明細書に記載されている技術は空間スケーラブル映像符号化に適用され、例示的にこのようなアプリケーションでは、ダウンサンプリングプロセス及びアップサンプリングプロセスは、ダウンサンプリング中に持ち込まれた位相シフトによる影響をかなり受ける。
【００１７】
[0030]さらに、本明細書に記載されている技術は、既存の重み付き予測法と組み合わされた場合でも重み付き予測の挙動をエミュレートするので、予測目的のための柔軟性をさらに増大させる。
【００１８】
[0031]以下の説明中、多数の細部が本発明のより完全な説明を行うために記載されている。しかし、当業者に明白であるように、本発明はこれらの特定の細部を用いることなく実施される。別の事例では、周知の構成及び装置は、本発明を分かりにくくすることを避けるために、細部にわたることなくブロック図形式で示されている。
【００１９】
[0032]以下の詳細な説明の一部は、アルゴリズム及びコンピュータメモリ内のデータビットへの演算の記号表現という形で提示されている。これらのアルゴリズム的な記述及び表現は、データ処理技術の専門家が自分の業績の内容を他の当業者へ最も効率的に伝えるためにデータ処理技術の専門家によって使用される手段である。アルゴリズムは、本明細書中で、及び、一般的に、所望の結果につながるステップの首尾一貫したシーケンスであると考えられている。ステップは、物理量の物理的操作を必要とするステップである。通常は、不可欠ではないが、物理量は、記憶、転送、合成、比較、及び、その他の操作の対象となり得る電気的又は磁気的信号の形をとる。主として慣用法の理由で、電気的又は磁気的信号をビット、値、要素、シンボル、文字、項、番号などのように呼ぶことが時には便利であることがわかった。
【００２０】
[0033]しかし、上記の用語及び類似した用語は、適切な物理量と関連付けられるべきであり、電気的又は磁気的信号に適用される便宜的なラベルに過ぎないことに注意すべきである。特に断らない限り、以下の説明から明白であるように、説明の全体を通じて、「処理」又は「コンピューティング」又は「計算」又は「決定」又は「表示」のような用語を利用する説明は、コンピュータシステムのレジスタ及びメモリ内で物理（電子）量として表現されているデータを操作し、コンピュータシステムメモリ若しくはレジスタ内、又は、その他の情報記憶装置、伝送機器、又は、表示機器内で物理量として同様に表現される他のデータへ変換する、コンピュータシステム、又は、類似した電子コンピュータ装置の作用及びプロセスを指している。
【００２１】
[0034]本発明は中で演算を実行する装置にも関する。この装置は、必要な目的のため特別に構成されることがあり、或いは、この装置は、コンピュータに記憶されているコンピュータプログラムによって選択的に作動されるか、又は、再構成される汎用コンピュータを備える。このようなコンピュータプログラムは、限定されることはないが、たとえば、各々がコンピュータシステムバスに接続されているフロッピーディスク、光ディスク、ＣＤ−ＲＯＭ、及び、光磁気ディスクを含むあらゆるタイプのディスクと、リードオンリーメモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）と、ＥＰＲＯＭと、ＥＥＰＲＯＭと、磁気又は光カードと、電子命令を記憶するため適した任意のタイプの媒体などのようなコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
【００２２】
[0035]本明細書に提示されているアルゴリズム及び表示は、何らかの特有のコンピュータ又はその他の装置に本質的に関係していない。様々な汎用システムが本明細書における教示によるプログラムと共に使用され、又は、要求されている方法ステップを実行するためにより特殊化された装置を構築する方が好都合であるとわかることもある。多種多様なこれらのシステムの必要とされる構成は以下の説明からわかるであろう。さらに、本発明は何らかの特有のプログラミング言語に関して記載されていない。多種多様なプログラミング言語が本明細書に記載されている発明の教示を実施するために使用されることが認められるであろう。
【００２３】
[0036]機械読み取り可能な媒体は、機械（たとえば、コンピュータ）によって読み取り可能な形式で情報を記憶又は伝送するメカニズムを含む。たとえば、機械読み取り可能な媒体は、リードオンリーメモリ（「ＲＯＭ」）と、ランダムアクセスメモリ（「ＲＡＭ」）と、磁気ディスク記憶媒体と、光記憶媒体と、フラッシュメモリ機器と、電気的、光学的、音響的又はその他の形式の伝搬信号（たとえば、搬送波、赤外線信号、デジタル信号など）等々を含む。
【００２４】
概論
[0037]適応端数サンプル補間の検討は動き補償された映像符号化に重大な利益となる。その理由は、適応端数サンプル補間が予測信号に関して品質の改善につながる可能性があるからである。本明細書に記載されているような適応技術を含む符号化プロセス及び復号化プロセスの実施例は後述されている。
【００２５】
[0038]図４は符号化プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
【００２６】
[0039]図４を参照すると、プロセスは、プロシングロジックが複数の参照を使用して動き補償された予測を生成することにより開始し、ここで、各参照は、フィルタパラメータの組と１つずつ関連付けられている１つ以上の参照インデックスと関連付けられ、フィルタパラメータを用いて特有の参照インデックスと関連付けられているブロックが予測されたブロックを生成するためにフィルタ処理されている（処理ブロック４０１）。一実施形態では、動き補償された予測の生成は動き補償モジュールによって実行される。
【００２７】
[0040]一実施形態では、参照内の各区分又はブロックは、異なる端数サンプル補間フィルタに対応する参照インデックスが割り当てられている。一実施形態では、フィルタパラメータの各組は補間フィルタに対応している。このような事例では、複数の参照が複数のフィルタに対応するフィルタパラメータの複数の組と関連付けられている。一実施形態では、補間フィルタは符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化する際に使用されるデコーダに知られている。別の実施形態では、補間フィルタは符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを符号化する際に使用されるデコーダへ明示的に送られている。
【００２８】
[0041]一実施形態では、フィルタは、｛１，−５，２０，２０，−５，１｝／３２という形式のパラメータと関連付けられている１つ以上の６タップフィルタと、双一次補間フィルタと、双三次補間フィルタとを含む。別の実施形態では、フィルタは１つ以上の２Ｄフィルタを含む。
【００２９】
[0042]一実施形態では、補間フィルタは、符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化する際に使用されるエンコーダとデコーダの両方に知られている。
【００３０】
[0043]一実施形態では、フィルタリングパラメータはクロマ成分の組のためにも定義されている。あるクロマ成分のためのフィルタリングパラメータは、別のクロマ成分に基づいて決定されることがある。
【００３１】
[0044]動き補償された予測を使用して、プロセシングロジックは、入力映像データと補償された予測との間の残差に対応するデータを含む映像データを符号化し（処理ブロック４０２）、符号化された映像データを伴うビットストリームの一部分である符号化された参照インデックスを生成するために参照インデックスを符号化する（処理ブロック４０３）。各インデックスはフィルタリングパラメータと関連付けられているので、符号化されたデータはデコーダへのフィルタリングパラメータを識別する。符号化演算は可変長エンコーダによって実行される。
【００３２】
[0045]復号化演算は符号化演算の逆である。図５は復号化プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
【００３３】
[0046]図５を参照すると、プロセスは、プロセシングロジックが入力映像データと動き補償された予測との間の差から生じる残差データに対応する符号化されたデータを含む符号化映像データを有するビットストリームを復号化することにより開始する（処理ロジック５０１）。一実施形態では、プロセシングロジックは動きベクトル及び参照インデックスをさらに復号化する。復号化演算は可変長デコーダによって実行されることがある。
【００３４】
[0047]次に、プロセシングロジックは、複数の参照を使用して動き補償された予測を生成し、ここで、各参照は、フィルタパラメータの組と１つずつが関連付けられている複数の参照インデックスと関連付けられ、フィルタパラメータを用いて特有の参照と関連付けられているブロックが端数サンプル位置を生成するためにフィルタ処理される（処理ブロック５０２）。一実施形態では、動き補償された予測の生成は、エンコーダ内の動き補償モジュール又はユニットによって実行される。
【００３５】
[0048]その後、プロセシングロジックは、映像データを生成するために予測を残差データと合成する（処理ブロック５０３）。合成演算はデコーダ内の加算器によって実行される。
【００３６】
[0049]図６は補間プロセスの一実施形態の説明図である。図６を参照すると、適応フィルタは、１／２端数サンプル位置でサンプル値を生成するために使用されている。次に、別の適応双一次フィルタが１／４端数サンプル位置にサンプル値を生成するために１／２端数位置でサンプルをフィルタ処理する。補間フィルタ２はフィルタ１又は双一次と同じでもよい。しかし、フィルタ２はフィルタ１と全く異なることもある。このような事例では、付加的なシグナリングが必要とされる。
【００３７】
[0050]このような補間法を知らせ、かつ、利用する効果的な方策が本明細書に記載されている。
【００３８】
シンタックスの実施例
[0051]Ｈ．２６４映像符号化規格は、参照記憶装置内の所与の参照を複数の参照インデックスと関連付ける柔軟性を提供する。参照ピクチャリスト並べ替えのための関連付けられたシンタックスは以下の表１に明らかにされている。
【表１】
2008544708.tif 000003
【００３９】
[0052]この性質は適応端数サンプル補間の枠組み内で利用されている。一実施形態では、このような補間はいつも役立つとは限らないので、補間が使用されているかどうかを示す単一のパラメータが上位レベルで（たとえば、ピクチャ内で、又は、コーデックの均等シーケンスパラメータセット内で）通知される。たとえば、Ｈ．２６４ピクチャパラメータセットＲＢＳＰシンタックスは、ｉｎｔｅｒｐｏｌａｔｅｄ＿ｐｒｅｄ＿ｆｌａｇと呼ばれる付加的な要素を持ち込むことにより、表２のように修正される。この要素が存在しているならば、次に、下位のシンタックスレイヤにおいて、付加的な補間パラメータが伝送されてもよい。
【表２】
2008544708.tif 000004
【００４０】
[0053]一実施形態では、補間予測フラグがイネーブルであるならば、補間予測テーブル（ｐｒｅｄ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｔａｂｌｅ）が通知される。表３は所定の参照のため使用される補間フィルタ情報の全部を収容している。
【表３−１】
2008544708.tif 000005
【表３−２】
2008544708.tif 000006
【００４１】
[0054]表４における予測補間テーブルシンタックスは、あらゆる参照リスト（リスト０及びリスト１）内のあらゆる参照のための補間情報の全部を収容している。より詳細には、予測補間テーブルシンタックスは、補間フィルタのタイプ（ｌｕｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅ）、このフィルタが（図６に示されているように）１／２画素位置だけのため適用され、双一次が１／４画素位置のため使用されるかどうか、又は、フィルタが全サンプル（ｌｕｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｑｐｅｌ）と、フィルタタップ数（ｌｕｍａ＿ｆｉｌｔｅｒ＿ｌｅｎｇｔｈ＿ＩＸ又はｌｕｍａ＿２Ｄｆｉｌｔｅｒ＿ｌｅｎｇｔｈ＿ＩＸ）と、フィルタ精度（ｌｕｍａ＿ｆｉｌｔｅｒ＿ｄｅｎｏｍ＿ＩＸ及びｌｕｍａ＿ｆｉｌｔｅｒ＿２Ｄｄｅｎｏｍ＿ｌＸ）と、実際のフィルタ係数（ｌｕｍａ＿ｆｉｌｔｅｒ＿ｔａｐ＿ｌＸ及びｌｕｍａ＿２Ｄｆｉｌｔｅｒ＿ｃｏｅｆｆｓ＿ｌＸ）のため適応されるかどうかを含むことがある。一実施形態では、フィルタ係数は可変長符号化されている（すなわち、ｕｅ（ｖ））。別の実施形態では、フィルタ係数は固定長符号化されている（ｕ（Ｎ）、すなわち、Ｎ＝８）。さらに別の実施形態では、フィルタ係数値の予測は、たとえば、Ｈ．２６４デフォルト補間フィルタと対比して選択されるので、差分符号化が使用されるならば、フィルタ係数はより効率的に符号化されるであろう。
【００４２】
[0055]同様のシンタックスが両方のリストのため存在するが、利用可能であるならば（たとえば、モノクロシーケンスを示唆するｃｈｒｏｍａ＿ｆｏｍａｔ＿ｉｄｃが０でないならば）、クロマ成分のためにも存在する。双予測補間フィルタを単一予測補間フィルタから分離する付加的な要素が存在する可能性もあるが、並べ替えシンタックスを通じて再びこの挙動をエミュレートすることも可能であり（すなわち、同じ参照が２つの異なる参照インデックスと関連付けられ）、一方が単一予測補間フィルタと関連付けられ、双予測重みがもう一方と関連付けられる。
【表４−１】
2008544708.tif 000007
【表４−２】
2008544708.tif 000008
【００４３】
[0056]上記表の１つの要素はフィルタタイプ（すなわち、ｌｕｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅ）である。この要素は、広範囲の可能な補間フィルタのうちの１つを示している。広範囲の補間フィルタを指定可能であることは、実行される補間に関して付加的な柔軟性を提供する。一実施形態では、ルマに対し、使用される補間メカニズムは以下の表５に記載されている。
【表５】
2008544708.tif 000009
【００４４】
[0057]同様の検討がクロマに対して行われ得るが、一実施形態では、両方のコンポーネントが異なる補間メカニズム又は同じ補間メカニズムを使用することを指定する（すなわち、このことがｃｈｒｏｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅを使用して第２の成分のため通知される）。別の実施形態では、クロマのためより適している他のフィルタが、特に、補間は１／８画素レベルに至るまで行われることに重点を置いて使用される。たとえば、一実施形態では、第１のクロマ成分のため、ｃｈｒｏｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅのセマンティックが表６に与えられている。
【表６】
2008544708.tif 000010
一方、第２の成分に対し、ｃｈｒｏｍａ＿ｉｎｔｅｒｐｏｌａｔｉｏｎ＿ｌＸ＿ｔｙｐｅ［ｉ］［１］＝０は、第１の成分のフィルタが再使用されていることを示している。一実施形態では、割り当てが表１に与えられ、又は、可能であれば、１番目のエントリーに基づいて表を適応させる。
【表７】
2008544708.tif 000011
【００４５】
代替的な実施形態
[0058]一実施形態では、本明細書に記載されている技術は、重み付き予測パラメータを知らせる代替的な方法を提供する。この方法は、Ｈ．２６４のようなコーデックによってサポートされている既存の重み付きパラメータと組み合わせることがさらに可能であり（すなわち、同様に暗黙的な重み付け、並びに、適応補間フィルタの使用）、動き補償された予測の点でさらなる柔軟性及び改善された効率を提供する。エンコーダ及びデコーダの基本構造は従来型のエンコーダ及びデコーダに依然として類似している（図７及び８）。
【００４６】
[0059]図７はエンコーダの一実施形態のブロック図である。一実施形態では、コーダは、最初に入力ビットストリームを、マクロブロックと呼ばれる、矩形状配列に分割する。マクロブロック毎に、エンコーダは、次に、イントラフレーム符号化を使用すべきか、又は、インターフレーム符号化を使用すべきかを選択する。イントラフレーム符号化は、現在の映像フレームに収容されている情報だけを使用し、Ｉフレームと呼ばれる圧縮結果を作成する。イントラフレーム符号化は、現在フレームの前後に出現する１つ以上の他のフレームの情報を使用可能である。前フレームからのデータだけを使用する圧縮結果はＰフレームと呼ばれ、現在フレームの前及び後の両方からのデータを使用する圧縮結果はＢフレームと呼ばれる。
【００４７】
[0060]図７を参照すると、映像７０１はエンコーダへ入力される。動き補償無しでフレームを符号化する事例では、映像のフレームはＤＣＴ７０３へ入力される。ＤＣＴ７０３は、ＤＣＴ係数を作成するために２次元離散コサイン変換（ＤＣＴ）を実行する。係数は量子化器７０４によって量子化される。一実施形態では、量子化器７０４によって実行される量子化は、スケーラーＱＰによって重み付けされる。一実施形態では、量子化器スケーラーパラメータＱＰは１から３１までの値をとる。ＱＰ値はピクチャレベルとマクロブロックレベルの両方で修正されても構わない。
【００４８】
[0061]その後、量子化された係数は、ビットストリーム７２０を生成するＶＬＣ７０５で可変長符号化を受ける。一実施形態では、ＶＬＣ７０５は、ハフマン符号化のようなエントロピー符号化段においてトリプレット（ラスト、ラン、レベル）を表現するために１つのシンボルを使用することによりエントロピー符号化を実行する。
【００４９】
[0062]注意すべき点は、一実施形態では、ＶＬＣ７０５より前に、並べ替えが実行され、量子化されたＤＣＴ係数は、係数の２次元配列が当分野において周知の方法で係数の１次元アレイに変換されるようにジグザグ走査されることである。並べ替えの後に、各ブロックに対応する並べ替え後の量子化された係数の配列が零係数をより良く表現するために符号化されるランレングス符号化が続けられる。このような事例では、各非零係数はトリプレット（ラスト、ラン、レベル）として符号化され、ここで、「ラスト」は係数がブロックにおける最終的な非零係数であるかどうかを示し、「ラン」は先行する０係数を示し、「レベル」は係数の符号及び大きさを示している。
【００５０】
[0063]フレームのコピーは参照フレームとして使用するため確保されている。このことはＩフレーム又はＰフレームの場合に特にこのような状況である。そのためには、量子化器７０４から出力された量子化された係数は、逆量子化器７０６によって逆量子化される。逆ＤＣＴ変換はＩＤＣＴ７０７を使用して逆量子化された係数に適用される。結果として得られるフレームデータは、Ｐフレームの事例では動き補償（ＭＣ）ユニット７０９からの動き補償された予測に加算され、次に、結果として得られたフレームがループフィルタ７１２を使用してフィルタ処理され、参照フレームとしての使用のためフレームバッファ７１１に格納される。Ｉフレームの事例では、ＩＤＣＴ７０７から出力されたデータは、ＭＣユニット７０９からの動き補償予測に加算され、ループフィルタ７１２を使用してフィルタ処理され、フレームバッファ７１１に格納される。
【００５１】
[0064]Ｐフレームの事例では、Ｐフレームは、技術的には一般的に参照フレームと呼ばれている前のＩフレーム又はＰフレームからのインター予測を用いて符号化される。この事例では、インター予測は、動き推定（ＭＥ）ブロック７１０及び動き補償ユニット７０９によって実行される。この事例では、フレーム記憶装置７１１及び入力映像７０１からの参照フレームを使用して、動き推定種ニット７１０は、現在フレーム内の現在マクロブロックと最も良く一致した参照フレーム内の領域の場所を探索する。動き推定ユニット７１０のための動きベクトルは動き補償ユニット７０９へ送られる。動き補償ユニット７０９で、残差マクロブロックを生成するために減算器７０２を使用して、予測が現在マクロブロックから減算される。残差はその後に、上述されているようにＤＣＴ７０３、量子化器７０４及びＶＬＣ７０５を使用して符号化される。
【００５２】
[0065]動き推定ユニット７１０は、重み付きパラメータを可変長符号化７０５のためのＶＬＣ７０５へ出力する。ＶＬＣ７０５の出力はビットストリーム７２０である。
【００５３】
[0066]図８はデコーダの一実施形態のブロック図である。図８を参照すると、ビットストリーム８０１は、可変長復号化を実行する可変長デコーダ８０２によって受信される。可変長復号化の出力は、量子化器７０４によって実行される量子化の反対である逆量子化演算を実行する逆量子化器８０３へ送られる。逆量子化器８０３の出力は、画像データを生成するためにＩＤＣＴ８０４によって逆ＤＣＴ変換された係数からなる。Ｉフレームの事例では、ＩＤＣＴ８０４の出力はループフィルタ８２１によってフィルタ処理され、フレームバッファ８２２に格納され、最終的に出力８６０として出力される。Ｐフレームの事例では、ＩＤＣＴ８０４から出力された画像データは、加算器８０５を使用して動き補償ユニット８１０からの予測に加算される。動き補償ユニット８１０は、上述されている重み付きパラメータを含む可変長デコーダ８２２からの出力と、フレームバッファ８２２からの参照フレームとを使用する。加算器８０５から出力される結果として得られる画像データは、ループフィルタ８２１を使用してフィルタ処理され、出力８６０の一部として最終的な出力のためフレームバッファ８２２に格納される。
【００５４】
[0067]しかし、この場合には、単一の補間メカニズムだけでなく異なる／複数の補間メカニズムを考慮するので、参照リストがどのように取り扱われるかと、動き推定及び補償のプロセスがどのように実行されるかに関して重要な相違点が存在する。図９は、エンコーダ及び／又はデコーダの一部として参照リスト使用法への影響を説明している。参照は最初に系統立てられ、動き推定及び動き補償を考慮する前に処理される。
【００５５】
[0068]図９を参照すると、参照ピクチャがメモリ９０１に記憶されている。参照ピクチャはエンコーダ又はデコーダから受信される。リスト０及びリスト１はメモリ９０１に記憶されている参照ピクチャを使用して初期化される。一実施形態では、実行される初期化は、当分野において周知のＨ．２６４規格の初期化である。注意すべき点は、リスト１はＢスライスが動き推定及び補償に使用されるときに初期化されることである。初期化後、リスト０及びリスト１内の参照は、それぞれ、並べ替えモジュール９０４及び９０５を使用して並べ替えられる。一実施形態では、並べ替えは、最も頻繁に使用される参照インデックスがリストの先頭に来るように実行される。同様に、この並べ替えはＨ．２６４規格に準じて実行され、当分野において周知である。並べ替え後に、並べ替えリスト０内の各参照に一連の関数９０７が適用される。関数９０６及び９０７から結果として得られる出力は動き推定モジュール９０８及び動き補償モジュール９０９へ送られる。（本明細書の目的のため、モジュールはハードウェアでも、ソフトウェアでも、ファームウェアでも、全ての組み合わせでも構わないことに注意すべきである。）動き補償モジュール９０９は、エンコーダ及びデコーダのための生成された動き補償予測を実行するために、これらの関数９０６及び９０７の出力を、動き推定モジュール９０８の出力と共に使用する。デコーダに関しては、動き情報がビットストリームから直接的に入手可能であるので、動き推定エレメントがデコーダに含まれていないことに注意すべきである。
【００５６】
[0069]一実施形態では、本明細書に詳述されている技術が空間スケーラブル映像符号化に適用される。このような事例では、この技術は、基底低解像度レイヤを補間する単一のメカニズムを指定するのではなく、現在の高解像度レイヤを予測するため使用され、並べ替えコマンドを使用する補間法の完全な組を所定の低解像度参照に割り当てる。これにより参照ピクチャの新しい組が生成され、各参照ピクチャは異なる参照インデックス及び補間フィルタと関連付けられている。ブロックレベルでは、参照インデックスはこの場合も、付加的なオーバーヘッドを全く必要とすることなくアップサンプリングのため使用される補間法を示している。
【００５７】
[0070]図１２は空間スケーラビリティのための適応補間を説明する図である。図１２を参照すると、低解像度バッファ１２０１は低解像度デコーダ（図示せず）からレイヤを受信する。高解像度バッファは高解像度デコーダ（図示せず）から高解像度レイヤを受信する。低解像度バッファ１２０１からの低解像度レイヤは、参照初期化モジュール１２０３内で参照を初期化するため使用される。並べ替えモジュール１２０４は、並べ替えコマンドを使用して補間法の組を参照に割り当てる。一実施形態では、この割り当てはＨ．２６４規格に記述されているように行われる。その後に、並べ替えモジュール１２０４から出力されたレイヤがアップサンプラ１２０５を使用してアップサンプリングされる。アップサンプラ１２０５は、関数の組ｇ０，０（ｘ，ｙ）−ｇ０，ｎ（ｘ，ｙ）を適用する。低解像度の基底レイヤは補間され、高解像度の現在レイヤを予測するために、動き推定モジュール１２０６と連動して動き補償モジュール１２０７によって使用される。動き補償予測は高解像度デコーダ（又はエンコーダ）へ送られる。
【００５８】
[0071]補間フィルタは、マルチパス法を実行することにより、又は、符号化されるべき内容のある特性を考慮することにより選択される。一実施形態では、初期的な移動ベクトルの組の推定は初期フィルタを使用して行われる。次に、フィルタ係数が、これらの移動ベクトルを使用して動き補償された予測を実行するときに、予測誤差のエネルギーを最小化（又は低減）することによりブロック毎に推定される。フィルタは、その後に、ヒストグラムアプローチに基づいて分類され、必要に応じて精緻化され、その後に、最良Ｎフィルタがシグナリング及び最終的な符号化のため選択される。図１０Ａは、補間パラメータを決定するプロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
【００５９】
[0072]図１０Ａを参照すると、プロセスは、プロセシングロジックがフィルタ統計量を初期化することにより開始する（処理ブロック１００１）。一実施形態では、フィルタ統計量を初期化するステップは、ヒストグラム（ＨＩＳＴＩＮＴ）を初期化するステップを含む。一実施形態では、統計量は、各フィルタが選択された回数を明らかにする。次に、プロセシングロジックはループに入る（処理ブロック１００２）。ループ内で、プロセシングロジックはバッファ内の参照毎にデフォルト補間フィルタを設定し（処理ブロック１００３）、ブロック毎に、プロセシングロジックが動き推定を実行する別のループに入り（処理ブロック１００５）、最良動きベクトルを使用して補間フィルタを精緻化し（処理ブロック１００６）、ヒストグラムＨＩＳＴＩＮＴ内の補間統計量を更新する（処理ブロック１００７）。動き推定への結果は、最良動きベクトル（ＭＶｂｅｓｔ）が突き止められることである。
【００６０】
[0073]バッファ内の参照毎に各ブロックを処理した後、プロセシングロジックは処理ブロック１０１０へ移り、プロセシングロジックは全ての参照に対する最良フィルタを決定するために統計量を解析する。一実施形態では、プロセシングロジックは、全ての参照に対する最良フィルタを決定するためにＨＩＳＴＩＮＴを調べる。次に、プロセシングロジックは補間フィルタを固定することによりフレームを再符号化する（処理ブロック１０１１）。一実施形態では、フレームを再符号化するプロセスの一部として、プロセシングロジックは動き推定及び参照を精緻化する。その後に、プロセスは終了する。
【００６１】
[0074]より低い複雑性コストをさらに有する代替的な実施形態では、動き推定はあらゆる参照を考慮してあらゆるブロックに対して実行される。あらゆる参照からの最良動きベクトルを使用して、その参照のための最良補間フィルタもまた見つけられる。しかし、最良参照からのパラメータだけが考慮され、その間に、他の全ての参照が廃棄され、要求され得る余分な処理を回避する。図１０Ｂは補間パラメータを決定する代替的な実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
【００６２】
[0075]図１０Ｂを参照すると、プロセスは、各ブロックが処理されるループで開始する（処理ブロック１０２０）。ループ内では、プロセシングロジックは、別の内側ループを処理し始め（処理ブロック１０２１）、ループ内で、バッファ内の参照毎に、プロセシングロジックがデフォルト補間フィルタを設定し（処理ブロック１０２２）、最良動きベクトル（ＭＶｂｅｓｔ）を見つけるために動き推定を実行し（処理ブロック１０２４）、最良ベクトル（ＭＶｂｅｓｔ）を使用して補間フィルタを精緻化する（処理ブロック１０２４）。バッファ内の全参照が処理されると、内側ループが終了する。
【００６３】
[0076]その後に、処理は外側ループに引き継がれ、プロセシングロジックは最良参照を選択し（処理ブロック１０２７）、最良参照からの統計量に基づいてＨＩＳＴＩＮＴ内の補間統計量を更新する（処理ブロック１０２６）。外側ループは、各ブロックが処理されるまで継続し、その後、外側ループは終了する（処理ブロック１０２８）。各ブロックが処理されると、プロセシングロジックはヘッダ情報を更新し、ビットストリームを符号化及び／又は書き込む（処理ブロック１０２９）。
【００６４】
[0077]補間フィルタへのさらなる制約（すなわち、参照１つ当たりに許容されるフィルタの最大数、導入された新しいフィルタ毎のペナルティーの考慮など）がさらに課され、制約は最良フィルタを決定するという点で役立つ。デコーダ端では、参照インデックスに基づいて補間フィルタが直ちに決定され、他の復号化プロセスに全く影響を与えることなく補間が実行される。
【００６５】
[0078]図１１はデコーダによって実行される補間選択性プロセスの一実施形態のフローチャートである。プロセスは、ハードウェア（たとえば、回路、専用ロジックなど）、（たとえば、汎用コンピュータシステム又は専用機械上で動かされる）ソフトウェア、又は、両者の組み合わせを備えるプロセシングロジックによって実行される。
【００６６】
[0078]図１１を参照すると、プロセスは、並べ替え情報、重み付けパラメータ情報及び補間情報を含むスライス情報を復号化することにより開始する（処理ブロック１１０１）。一実施形態では、並べ替え情報は並べ替えコマンドからなる。スライス情報を復号化した後、プロセシングロジックは参照リストを作成する（処理ブロック１１０２）。次に、プロセシングロジックはブロック毎にループを実行し（処理ブロック１１０３）、ループ内で、プロセシングロジックはリストｉ毎に参照インデックスｒｉを復号化し（処理ブロック１１０４）、動きベクトル及び重み付けパラメータを含む動き情報を復号化し（処理ブロック１１０５）、ｒ０及びｒ１に基づいて補間フィルタを選択し（処理ブロック１１０６）、選択されたフィルタ及び動きベクトルパラメータを使用して動き補償を実行する（処理ブロック１１０７）。その後に、ループは終了する（処理ブロック１１０８）。ループが終了した後、プロセスが終了する。
【００６７】
[0080]適応端数サンプル補間が動き補償された映像符号化にさらに役立つように明らかにされている。本明細書に記載されている技術は、Ｈ．２６４のようなある種の映像符号化規格に提供されている並べ替えメカニズムの巧く利用することにより、このような適応端数サンプル補間メカニズムを効率的に考慮し表現し、シーケンスの局所特性がエイリアシングの観点で変化するときに、符号化効率を（すなわち、所定のビットレートに対するＰＳＮＲを増加させるという点で）高め、そして、空間スケーラブル映像符号化アーキテクチャの符号化効率を高めるために使用されている。
【００６８】
コンピュータシステムの実施例
[0081]図１３は、本明細書に記載されている１つ以上の動作を実行する例示的なコンピュータシステムのブロック図である。図１３を参照すると、コンピュータシステム１３００は、例示的なクライアント又はサーバーコンピュータシステムを備える。コンピュータシステム１３００は、情報を通信する通信メカニズム又はバス１３１１と、バス１３１１と接続され、情報を処理するプロセッサ１３１２とを備える。プロセッサ１３１２は、たとえば、Ｐｅｎｔｉｕｍ（商標）、ＰｏｗｅｒＰＣ（商標）、Ａｌｐｈａ（商標）などのようなマイクロプロセッサを含むが、マイクロプロセッサには限定されない。
【００６９】
[0082]システム１３００は、バス１３１１に接続され、情報及びプロセッサ１３１２によって実行されるべき命令を記憶するランダムアクセスメモリ（ＲＡＭ）、又は、その他のダイナミック記憶装置１３０４（主メモリと呼ばれる）をさらに備える。主メモリ１３０４は、プロセッサ１３１２による命令の実行中に、一時変数又はその他の中間情報を記憶するためにも使用される。
【００７０】
[0083]コンピュータシステム１３００は、バス１３１１に接続され、静的情報及びプロセッサ１３１２のための命令を記憶するリードオンリーメモリ（ＲＯＭ）及び／又はその他のスタティック記憶装置１３０６と、磁気ディスク又は光ディスク及びこれらのディスクに対応するディスクドライブのようなデータ記憶装置１３０７とをさらに備える。データ記憶装置１３０７はバス１３１１に接続され、情報及び命令を記憶する。
【００７１】
[0084]コンピュータシステム１３００は、バス１３１１に接続され情報をコンピュータユーザへ提示する陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）のような表示装置１３２１にさらに接続されている。英数字キー及びその他のキーを含む英数字入力装置１３２２もまたバス１３１１に接続され、情報及びコマンド選択をプロセッサ１３１２へ通信する。付加的なユーザ入力装置は、バス１３１１に接続され、方向情報及びコマンド選択をプロセッサへ通信し、ディスプレイ１３２１上のカーソル移動を制御するマウス、トラックボール、トラックパッド、スタイラス、又は、カーソル方向キーのようなカーソル制御装置１３２３である。
【００７２】
[0085]バス１３１１に接続される別の装置は、紙、フィルム、又は、同様のタイプの媒体のような媒体上に情報を記録するハードコピー装置１３２４である。バス１３１１に接続される別の装置は、電話機又はハンドヘルド式パーム型装置へ通信するための有線／無線通信機能装置１３２５である。
【００７３】
[0086]システム１３００の何れか又は全部のコンポーネント、及び、関連したハードウェアが本発明において使用されることに注意すべきである。しかし、コンピュータシステムのその他の構造は装置の一部又は全部を含むことがわかる。
【００７４】
[0087]本発明の多数の代替及び変更は、おそらく上記の説明を読んだ後に当業者に明白になるが、例示のために図示され記載された特有の実施形態が制限的であるとみなされることは決して意図されていないことが理解されるべきである。したがって、様々な実施形態の細部への言及は、発明に不可欠であると考えられる特徴だけを本質的に列挙している請求項の範囲を制限することを目的としていない。
【図面の簡単な説明】
【００７５】
【図１Ａ】Ｐピクチャにおける動き補償の説明図である
【図１Ｂ】Ｂピクチャにおける動き補償の説明図である。
【図２】クォータサンプルルマ補間のための整数サンプル位置及び端数サンプル位置の説明図である。
【図３】Ｈ．２６４で使用される補間プロセスの説明図である。
【図４】符号化プロセスの一実施形態のフローチャートである。
【図５】復号化プロセスの一実施形態のフローチャートである。
【図６】補間プロセスの一実施形態の説明図である。
【図７】エンコーダの別の実施形態である。
【図８】デコーダの別の実施形態である。
【図９】補間プロセスの参照リスト使用法への影響の説明図である。
【図１０Ａ】補間パラメータを決定するプロセスの代替的な実施形態のフローチャートである。
【図１０Ｂ】補間パラメータを決定するプロセスの代替的な実施形態のフローチャートである。
【図１１】補間選択性を含む復号化プロセスの一実施形態のフローチャートである。
【図１２】空間的スケーラビリティのための適応補間の検討を説明する図である。
【図１３】コンピュータシステムの一実施形態のブロック図である。
【図１Ａ】
2008544708.tif 000012
【図１Ｂ】
2008544708.tif 000013
【図２】
2008544708.tif 000014
【図３】
2008544708.tif 000015
【図４】
2008544708.tif 000016
【図５】
2008544708.tif 000017
【図６】
2008544708.tif 000018
【図７】
2008544708.tif 000019
【図８】
2008544708.tif 000020
【図９】
2008544708.tif 000021
【図１０Ａ】
2008544708.tif 000022
【図１０Ｂ】
2008544708.tif 000023
【図１１】
2008544708.tif 000024
【図１２】
2008544708.tif 000025
【図１３】
2008544708.tif 000026
【手続補正書】
【提出日】平成20年2月19日(2008.2.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１つ以上の参照のうちの１つずつが１つ以上の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記参照インデックスと関連付けられている区分が予測された区分を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記１つ以上の参照を使用して、動き補償された予測の前記予測された区分を生成する動き補償モジュールと、
入力映像データと前記動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するコーダと、
を備えるビデオエンコーダ。
【請求項２】
前記コーダが前記符号化された映像データを伴うビットストリームの一部である符号化された参照インデックスを生成するために参照インデックスを符号化する、請求項１に記載のエンコーダ。
【請求項３】
前記複数の参照インデックスが複数のフィルタに対応する複数のフィルタパラメータの組と関連付けられるように、フィルタパラメータの各組が補間フィルタに対応している、請求項１に記載のエンコーダ。
【請求項４】
前記補間フィルタが前記符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化するときに使用されるデコーダへ明示的に伝送される、請求項３に記載のエンコーダ。
【請求項５】
前記補間フィルタが前記エンコーダと、前記符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化するときに使用されるデコーダとの両方に知られている、請求項３に記載のエンコーダ。
【請求項６】
前記複数のフィルタのうちの少なくとも１つが、｛１，−５，２０，２０，−５，−１｝／３２という形式のパラメータと関連付けられている６タップフィルタと、双一次補間フィルタと、双三次補間フィルタとからなる群から選択される、請求項５に記載のエンコーダ。
【請求項７】
前記複数のフィルタのうちの少なくとも１つ、及び、前記少なくとも１つのフィルタのフィルタパラメータがデコーダへ明示的に供給される、請求項１に記載のエンコーダ。
【請求項８】
フィルタリングパラメータが予め決められたフィルタに関して差分符号化されている、請求項７に記載のエンコーダ。
【請求項９】
フィルタリングパラメータがクロマ成分の組のためにも定義されている、請求項１に記載のエンコーダ。
【請求項１０】
複数の参照のうちの各参照が複数の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記各参照と関連付けられているブロックが端数サンプル位置を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記複数の参照を使用して、動き補償された予測を生成するステップと、
入力映像データと動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するステップと、
を備える符号化方法。
【請求項１１】
前記符号化された映像データを伴うビットストリームの一部である符号化された参照インデックスを生成するために参照インデックスを符号化するステップをさらに備える、請求項１０に記載の方法。
【請求項１２】
前記複数の参照が複数のフィルタに対応する複数のフィルタパラメータの組と関連付けられるように、フィルタパラメータの各組が補間フィルタに対応している、請求項１０に記載の方法。
【請求項１３】
前記補間フィルタが前記符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化するときに使用されるデコーダへ明示的に伝送される、請求項１２に記載の方法。
【請求項１４】
前記補間フィルタが前記エンコーダと、前記符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化するときに使用されるデコーダとの両方に知られている、請求項１２に記載の方法。
【請求項１５】
前記複数のフィルタのうちの少なくとも１つが、｛１，−５，２０，２０，−５，−１｝／３２という形式のパラメータと関連付けられている６タップフィルタと、双一次補間フィルタと、双三次補間フィルタとからなる群から選択される、請求項１２に記載の方法。
【請求項１６】
フィルタリングパラメータを予め決められたフィルタに関して差分符号化するステップをさらに備える、請求項１３に記載の方法。
【請求項１７】
フィルタリングパラメータがクロマ成分の組のためにも定義されている、請求項１０に記載の方法。
【請求項１８】
システムによって実行されたときに、
複数の参照のうちの各参照が複数の参照インデックスと関連付けられ、前記複数の参照インデックスのうちの１つずつがフィルタパラメータの組と関連付けられ、前記各参照と関連付けられているブロックが端数サンプル位置を生成するために前記フィルタパラメータを用いてフィルタ処理される、前記複数の参照を使用して、動き補償された予測を生成するステップと、
入力映像データと動き補償モジュールからの補償された予測との間の残差に対応するデータを含む映像データを符号化するステップと、
を備える符号化方法を前記システムに実行させる命令を記憶する１つ以上の読み取り可能な媒体を有する製品。
【請求項１９】
参照インデックス及び動きベクトルを復号化するデコーダと、
前記参照インデックスに従って参照フレーム及び複数のフィルタのうちの１つを選択し、前記選択されたフィルタが予測されたブロックを獲得するため動きベクトルによって決定された前記参照フレームのサンプルの組をフィルタ処理する動き補償モジュールと、
を備える装置。
【請求項２０】
複数の参照のうちの１つずつが複数のフィルタのうちの１つに対応する複数のフィルタパラメータの組のうちの１つと関連付けられるように、前記複数のフィルタのうちの１つずつが補間フィルタに対応している、請求項１９に記載の装置。
【請求項２１】
前記補間フィルタが前記符号化された映像データ及び符号化された参照インデックスを収容するビットストリームを復号化するときに使用するため明示的に伝送される、請求項２０に記載の装置。
【請求項２２】
前記複数のフィルタのうちの少なくとも１つが、｛１，−５，２０，２０，−５，−１｝／３２という形式のパラメータと関連付けられている６タップフィルタと、双一次補間フィルタと、双三次補間フィルタとからなる群から選択される、請求項２０に記載の装置。
【請求項２３】
フィルタリングパラメータがクロマ成分の組のためにも定義されている、請求項１９に記載のデコーダ。
【請求項２４】
ビデオデコーダ内で予測されたブロックを生成する方法であって、
参照インデックスを復号化するステップと、
動きベクトルを復号化するステップと、
前記参照インデックスに従って参照フレームを選択するステップと、
前記参照インデックスに従ってフィルタを選択するステップと、
前記予測されたブロックを獲得するために前記フィルタを使用して、前記動きベクトルにより決定された前記参照フレームのサンプルの組をフィルタ処理するステップと、
を備える方法。
【請求項２５】
システムによって実行されたときに、
参照インデックスを復号化するステップと、
動きベクトルを復号化するステップと、
前記参照インデックスに従って参照フレームを選択するステップと、
前記参照インデックスに従ってフィルタを選択するステップと、
予測されたブロックを獲得するために前記フィルタを使用して、前記動きベクトルにより決定された前記参照フレームのサンプルの組をフィルタ処理するステップと、
を備える予測されたブロックを生成する方法を前記システムに実行させる命令を記憶する１つ以上の読み取り可能な媒体を有する製品。
【請求項２６】
ビデオデコーダ内で予測されたブロックを生成する方法であって、
第１の参照インデックス及び第２の参照インデックスを復号化するステップと、
第１の動きベクトル及び第２の動きベクトルを復号化するステップと、
前記第１の参照インデックスに応じて第１の参照フレームを選択し、前記第２の参照インデックスに従って第２の参照フレームを選択するステップと、
前記第１の参照インデックスに応じて第１のフィルタを選択し、前記第２の参照インデックスに従って第２のフィルタを選択するステップと、
第１のブロックを獲得するために前記第１のフィルタを使用して、前記第１の動きベクトルにより決定された前記第１の参照フレームの第１のサンプルの組をフィルタ処理するステップと、
第２のブロックを獲得するために前記第２のフィルタを使用して、前記第２の動きベクトルにより決定された前記第２の参照フレームの第２のサンプルの組をフィルタ処理するステップと、
前記予測されたブロックを獲得するために前記第１のブロックと前記第２のブロックを合成するステップと、
を備える方法。
【請求項２７】
１つ以上のエンハンスメントレイヤを符号化し、低解像度レイヤの補間が参照インデックスとの関連性を介して前記エンハンスメントレイヤ内のブロック毎に実行されるべき方法を指定するため、適応端数サンプル補間メカニズムを使用する空間スケーラブルエンコーダ。
【請求項２８】
ビットストリームを復号化するデコーダと、
各ブロックに割り当てられている複数の参照インデックスのうちの１つによって示されるような適応端数補間フィルタを使用して低解像度レイヤをアップサンプリングするアップサンプリングモジュールと、
を備える空間スケーラブルデコーダ。
【国際調査報告】
2008544708.tif 000027
2008544708.tif 000028
2008544708.tif 000029
2008544708.tif 000030
2008544708.tif 000031