(57)【要約】  空間希薄誘導時間予測の方法及び装置を開示する。一実施形態において、この方法は、以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、空間領域での複数の予測を使用して、第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、変換を使用して第１ブロックのブロック変換係数を生成し、ブロック変換係数を使用して、符号化される第２ブロックの予測変換係数を生成し、予測変換係数に対して逆変換を実行することで画素領域での第２動き補償予測を作成することにより複数の予測のそれぞれを生成するステップを含む、ステップと、残差フレームを作るために現フレーム内のブロックから第２動き補償予測を減算するステップと、残差フレームを符号化するステップとを含む。【選択図】図１０
2010508708.tif 000002
【特許請求の範囲】
【請求項１】
以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、
空間領域での複数の予測を使用して前記第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、
変換を使用して前記第１ブロックのブロック変換係数を生成し、
前記ブロック変換係数を使用して、符号化される前記第２ブロックの予測変換係数を生成し、
画素領域での前記第２動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する
ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、
残差フレームを作るために現行フレーム内のブロックから前記第２動き補償予測を減算するステップと、
前記残差フレームを符号化するステップと
を含む方法。
【請求項２】
動き補償を実行することで第１ブロックの第１動き補償予測を生成する動き補償予測モジュールと、
前記動き補償予測を受け取り、空間領域での複数の予測から符号化される第２ブロックの第２動き補償予測を生成する第２予測モジュールであって、
変換を使用して前記第１ブロックのブロック変換係数を生成し、
前記ブロック変換係数を使用して、符号化される前記第２ブロックの予測変換係数を生成し、
前記予測変換係数に対して逆変換を実行することで画素領域での前記第２動き補償予測を作成する
ことによって前記複数の予測のそれぞれを生成する、第２予測モジュールと、
現フレーム内のブロックから前記第２動き補償予測を減算することで残差フレームを作る減算器と、
前記残差フレームを符号化するコーダと
を備える符号器。
【請求項３】
システムによって実行される時に、前記システムに、
以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、
空間領域での複数の予測を使用して、前記第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、
変換を使用して前記第１ブロックのブロック変換係数を生成し、
前記ブロック変換係数を使用して、符号化される前記第２ブロックの予測変換係数を生成し、
画素領域での前記第２動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する
ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、
残差フレームを作るために現行フレーム内のブロックから前記第２動き補償予測を減算するステップと、
前記残差フレームを符号化するステップと
を含む方法を実行させる命令を格納する一又は複数のコンピュータ可読媒体を有する製品。
【請求項４】
以前に復号されたフレームからの第１ブロックを使用して予測ブロックを生成するステップと、
前記予測ブロックに応答して、空間領域での複数の予測を使用して動き補償予測を生成するステップであって、
変換を使用して前記予測ブロックのブロック変換係数を生成し、
前記ブロック変換係数を使用して、符号化される第２ブロックの予測変換係数を生成し、
画素領域での前記動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する
ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、
残差フレームを復号するステップと、
前記残差フレームを前記動き補償予測に加算するステップと
を含む方法。
【請求項５】
以前に復号されたフレームからの第１ブロックを使用して予測ブロックを生成する動き補償ユニットと、
前記予測ブロックに応答して、空間領域での複数の予測から動き補償予測を生成する第２予測モジュールであって、
変換を使用して前記予測ブロックのブロック変換係数を生成し、
前記ブロック変換係数を使用して、符号化される第２ブロックの予測変換係数を生成し、
前記予測変換係数に対して逆変換を実行することで画素領域での前記動き補償予測を作成する
ことによって前記複数の予測のそれぞれを生成する、第２予測モジュールと、
残差フレームを復号する復号器と、
前記残差フレームを前記予測に加算する加算器と
を備える装置。
【発明の詳細な説明】
【優先権】
【０００１】
[0001]本発明は、２００６年１０月３１日に出願した、「Ｓｐａｔｉａｌ  Ｓｐａｒｓｉｔｙ  Ｉｎｄｕｃｅｄ  Ｔｅｍｐｏｒａｌ  Ｐｒｅｄｉｃｔｉｏｎ  ｆｏｒ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ」という名称の対応米国仮出願第６０／８５６，０４８号の優先権を主張し、参照によってこれを組み込むものである。
【関連出願】
【０００２】
[0002]本願は、本発明の法人譲受人に譲渡された、２００６年６月２０日に出願した、「Ａ  Ｎｏｎｌｉｎｅａｒ，  Ｐｒｅｄｉｃｔｉｏｎ  Ｆｉｌｔｅｒ  ｆｏｒ  Ｈｙｂｒｉｄ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ」という名称の米国特許出願第１１／４７１，７４１号に関連する。
【発明の分野】
【０００３】
[0003]本発明は、圧縮／解凍の分野に関し、より具体的には、本発明は、圧縮及び解凍の一部として動き補償で使用される変換領域での予測の生成に関する。
【発明の背景】
【０００４】
[0004]ハイブリッドビデオ圧縮は、アンカビデオフレームを符号化することと、その後に予測フレームのセットを予測符号化することからなる。予測符号化は予測誤差フレームを得るために以前に復号されたフレームに関する動き補償予測を用い、その後この予測誤差フレームが符号化される。アンカフレーム及び予測誤差は変換コーダを使用して符号化される。
【０００５】
[0005]図１は、ビデオ符号器を示すブロック図である。図１を参照すると、動き補償（ＭＣ）予測モジュールは、以前に復号されたフレームから動き補償予測を生成する。第１加算器は現フレームから動き補償予測を減算して残差フレーム（ｒｅｓｉｄｕａｌ  ｆｒａｍｅ）を得る。変換コーダは、例えば変換、量子化器、及びエントロピ符号器の組合せを使用することによって、残差フレームを符号化された差分（ｃｏｄｅｄ  ｄｉｆｆｅｒｅｎｔｉａｌ）に変換する。復号中には、変換復号器は符号化された差分を、例えばエントロピ復号器、逆量子化器、及び逆変換の組合せを使用することによって、再構成残差フレームに変換する。第２加算器は、再構成残差フレームを動き補償予測に加算して、再構成フレームを得る。遅延要素「Ｚ−１」は、ＭＣ予測モジュールによる将来の参照のために、再構成フレームを格納する。
【０００６】
[0006]関連技術の解決策には複数の短所がある。例えば、一部の従来の解決策は、ビデオフレームの間の非常に限られたタイプの時間的依存性の利用に制限されている。すなわち、包括的な動き補償予測動作は、以前に復号されたフレームからブロックを直接に使用することによる、又はこれらのブロックの低域フィルタベースの補間を使用することによる、現フレームのプレディクタの形成に制限される。動き推定が行われ、以前に復号された一又は複数のフレーム内の候補ブロックが見つかったならば、これらのブロック又はその様々な低域フィルタリングされた形が、予測フレーム内のブロックの最良のプレディクタであると仮定される。時間的に相関し周波数に富む他のブロックに対する時間的に独立の変動のような多数の時間的変動は、関連技術の解決策によって考慮されていない。例えば、そのような変動をこうむるブロックの低域フィルタリングされたバージョンは、関連する高周波数信号成分を予測から除去する可能性があり、実際に性能を損なう可能性がある。これらの考慮されない変動は、ハイブリッドビデオコーダで使用される変換コーダを用いて符号化することが非常に難しい動き補償差分を作るので、深刻な性能上の不利益を引き起こす。特定のタイプの輝度変動といったいくつかの固有の問題のある時間変動が研究者によって検討されてきた。しかし、これらの解決策は、該解決策が考案された目的である特定の問題を超えて有効ではない。したがって、これらの解決策は一般的で頑健な解決策を提供はしない。また、一部の研究者はフレーム適応動き補間フィルタをも考案したが、これらはやはり非常に固有の時間展開モデルに制限されている。更に、限られた個数のフィルタリング可能性を有することだけができるので、そのような設計の有効性は空間周波数に富んだシーンを示すビデオシーケンスに対して非常に限られたものとなる。
【０００７】
[0007]関連技術は、通常、均一な並進移動の仮定の下で区分的に滑らかなフレームモデルを用いて進められ、実際に符号化されたフレームがこれらの仮定から逸脱する時に必ず問題を引き起こす。
【発明の概要】
【０００８】
[0008]本明細書では、空間希薄誘導時間予測（ｓｐａｔｉａｌ  ｓｐａｒｓｉｔｙ  ｉｎｄｕｃｅｄ  ｔｅｍｐｏｒａｌ  ｐｒｅｄｉｃｔｉｏｎ）の方法及び装置を開示する。一実施形態において、この方法は、以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、空間領域での複数の予測を使用して、第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、変換を使用して第１ブロックのブロック変換係数を生成し、ブロック変換係数を使用して、符号化される第２ブロックの予測変換係数を生成し、画素領域での第２動き補償予測を作成するために予測変換係数に対して逆変換を実行することによって複数の予測のそれぞれを生成するステップを含む、ステップと、残差フレームを作るために現フレーム内のブロックから第２動き補償予測を減算するステップと、残差フレームを符号化するステップとを含む。
【０００９】
[0009]本発明は、本発明の様々な実施形態の下で与える詳細な説明及び添付図面からより十分に理解されるが、この説明及び図面は、本発明を特定の実施形態に限定するものと解釈されてはならず、説明及び理解のみのためのものである。
【本発明の詳細な説明】
【００１０】
[0025]ビデオフレームの改善された動き補償予測の方法及び装置を説明する。一実施形態において、本方法はビデオシーケンス内で直面する洗練された時間的発展中に自動的な成功の予測（例えば二乗平均誤差の意味で）を形成するように設計される。一実施形態において、本方法は一又は複数の以前に復号されたフレームに基づいて符号化されるフレームの予測を形成する。
【００１１】
[0026]本明細書で説明する技法は、伝統的な動き補償予測が失敗するか良く動作しない多数のシナリオにおいてうまく動作することができる。例えば、時間的に無相関の白色雑音がビデオフレーム内に存在し、符号化されるフレームの予測が以前に復号されたフレーム内の雑音の除去から恩恵を受ける場合に、一実施形態において本方法は、動き補償予測中に以前に復号されたフレームの雑音除去を自動的に達成する。また、一実施形態において、複数のシーンの混合がビデオフレーム内に存在し、符号化されるフレームの予測が以前に復号されたフレームの混合の除去（ｄｅｂｌｅｎｄｉｎｇ）から恩恵を受ける場合に、本方法は動き補償予測中に自動的に混合の除去を行う。同様に、一実施形態において本方法は、伝統的な動き補償が失敗するフェードや照明変化などの間に、成功するプレディクタを自動的に検出し形成する。更に、本明細書で説明する技法は、複数の洗練された時間的発展が非常に複雑な時間的発展を形成するために存在する時であっても成功の予測を形成する。
【００１２】
[0027]一実施形態において、本明細書で説明する技法は、符号器及び復号器が提供される予測利益から恩恵を受けるために動き補償予測ループ内で本方法を使用する、ハイブリッドビデオ圧縮システム内部の符号器−復号器の設定で展開される。一実施形態において本方法は、予測に使用されるフレーム及び予測フレームが希薄である領域で適応予測を行うことに基づく。この希薄な領域は、検討中のフレームに対して固定されたものとするか又は最適に計算することができる。
【００１３】
[0028]最後に、説明される技法は頑健で一般的であり、多数のイメージ領域タイプ及び多数の圧縮技法を有効に扱うことができる。導出されるプレディクタは多数のイメージ領域タイプについて正しい周波数選択性を適応的且つ自律的に展開する。
【００１４】
[0029]次の説明では、本発明のより完全な説明を提供するために多数の詳細を示す。しかし、当業者には、これらの特定の詳細なしで本発明を実践できることは明白であろう。他の場合には、本発明を不明瞭にすることを避けるために、周知の構造及びデバイスを詳細にではなくブロック図形式で示す。
【００１５】
[0030]次の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する操作のアルゴリズム及び記号表現に関して提示される。これらのアルゴリズム的説明及び表現は、データ処理技術の当業者が、彼らの成果の実質をデータ処理技術の他の当業者に最も有効に伝えるのに使用する手段である。アルゴリズムは、本明細書において及び一般に、所望の結果につながるステップの自己完結的シーケンスと考えられる。これらのステップは、物理的量の物理的操作を必要とするステップである。必ずではないが通常、これらの量は、格納、転送、組合せ、比較、及び他の形の操作が可能な電気信号又は磁気信号の形をとる。時々、これらの信号をビット、値、要素、記号、文字、項、数、又は類似物と呼ぶことが、主に一般的使用の理由から便利であることがわかっている。
【００１６】
[0031]しかし、これら及び類似する用語のすべてが、適当な物理的量に関連付けられねばならず、これらの量に適用される単に便利なラベルであることに留意されたい。次の議論から明白なとおり、そうではないと特に述べない限り、この説明全体を通じて、「処理」、「コンピューティング」、「計算」、「判定」、「表示」、又は類似物などの用語を利用する議論は、コンピュータシステムのレジスタ及びメモリ内の物理的（電子）量として表されたデータを操作し、コンピュータシステムメモリ又はレジスタ或いは他のそのような情報記憶デバイス、情報伝送デバイス、又は情報表示デバイス内の物理的量として同様に表される他のデータに変換する、コンピュータシステム又は類似する電子コンピューティングデバイスの動作及び処理を指すことを了解されたい。
【００１７】
[0032]本発明は、本明細書の動作を実行する装置にも関する。この装置は、必要な目的のために特に構成することができ、或いは、コンピュータに格納されたコンピュータプログラムによって選択的に起動するか再構成される汎用コンピュータを含むことができる。そのようなコンピュータプログラムは、フロッピディスク、光ディスク、ＣＤ−ＲＯＭ、及び光磁気ディスクを含む任意のタイプのディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光カード、又は電子命令を格納するのに適する、それぞれがコンピュータシステムバスに接続された任意のタイプの媒体などであるがこれらに限定はされないコンピュータ可読記憶媒体に格納することができる。
【００１８】
[0033]本明細書で提示されるアルゴリズム及び表示は、任意の特定のコンピュータ又は他の装置に固有に関係付けられたものではない。様々な汎用システムを、本明細書の教示に従うプログラムと共に使用することができ、或いは、必要な方法ステップを実行するためにより特殊化された装置を構成することが便利であるとわかる場合がある。様々なこれらのシステムの必要な構造は下の説明から明白になる。更に、本発明は特定のプログラミング言語に関して説明されるのではない。様々なプログラミング言語を使用して本明細書で説明される本発明の教示を実施できることを了解されたい。
【００１９】
[0034]機械可読媒体は、機械（例えば、コンピュータ）によって可読の形で情報を格納するか伝送するすべての機構を含む。例えば、機械可読媒体は、読取専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電気的、光学的、音響的、又は他の形の伝搬される信号（例えば、搬送波、赤外線信号、ディジタル信号など）などを含む。
【００２０】
概要
[0035]希薄誘導予測を、動き補償処理の一部として使用することができる。より具体的には、符号化されるフレーム内でブロックを予測するために、以前に符号化されたフレームからの候補ブロックを得る。一実施形態においては、必要な場合に、適切な動き補償補間を候補ブロックに適用する。一実施形態においては、予測されるブロックを画素領域で予測するのではなく、予測は変換領域で実行される。したがって、まず候補ブロックがその変換係数を得るために線形変換を使用して変換され、次にこれらの候補ブロック変換係数が予測されるブロックの変換係数を予測／推定するのに使用される。一実施形態において、予測されるブロックの各変換係数は二乗平均予測誤差を最小にすることによって予測される。予測されるブロックの変換係数が予測されたならば、これらを逆変換して画素領域希薄誘導予測を得る。
【００２１】
[0036]一実施形態において、予測の形成中に、必要な時に、符号器は復号器が同一の予測を形成するのを助けるサイド情報を判定して復号器に送る。そのようなサイド情報には、復号器が予測されるブロックに対して希薄誘導予測を使用すべきか否かの指示を含めることができる。そのようなサイド情報には、予測される各ブロック又はブロックの部分集合を予測する時に使用すべき予測パラメータをも含めることができる。
【００２２】
[0037]復号中に、復号器は予測処理を複製して符号器と同一の予測ブロックを得る。一実施形態において、希薄誘導予測が（変換領域で空間的に予測を行うことと同等の計算を実行することによって）画素領域で直接に導出され、最終的な予測オペレータが画素領域で直接に適用される。一実施形態において、符号器は、ブロックの予測が例えば二乗平均誤差の意味で最も有効になるように、各ブロックを予測する前に最適の変換を見つける。サイド情報が符号器によって送信された場合には、復号器はそのサイド情報の助けを得て、符号器が計算した変換と一致させる。一実施形態において、符号器は最良の希薄誘導予測が生じるように動き補償処理を最適化する。
【００２３】
[0038]以下により詳細に述べるように、符号器は使用可能な情報を使用して考えられる予測の部分集合を指定し、サイド情報を介して特定の予測を送ることができる。一実施形態において、本発明の予測技法が、時間的変換を利用するビデオ圧縮アプリケーションで使用される時間的変換を設計するためのリフティングなどの手法と組み合わされることに留意されたい。
【００２４】
[0039]希薄誘導予測の使用は、以前に復号されたフレームからの同一ブロックを取るが符号化されるフレームのより良いプレディクタを形成するために異なる予測技法を適用する追加の予測オプションを提供することによって、動き補償予測を改善する。これは、動きだけを考慮すると、結果の予測が符号化されるフレームに関連しない大量の情報を含むからである。動き補償予測は、この関連しない情報が破棄される場合に実質的に改善される。
【００２５】
[0040]例えば、時間的に無相関の雑音を含むビデオシーケンスでは、以前に復号されたブロックが符号化されるフレームの予測に使用される前にこれらのブロック内の雑音を除去する技法が有益である。あるシーンから別のシーンへのフェードを示すビデオシーケンスでは、以前に復号されたフレームはこの２つのシーンの混合であるが、予測フレームはこの２つのシーンのうちの一方だけを示す場合がある。したがって、以前に復号されたフレームから関連しないシーンを除去する技法は、予測フレームのより良いプレディクタの形成において非常に有益である可能性がある。類似する照明変化、視覚効果、及びビデオシーケンス内の他の変動が、動き補償予測の正確さに悪影響を及ぼす可能性がある。そのような問題及びそれらの問題が引き起こす予測性能損失のすべてを、本明細書で説明する技法を用いて軽減することができる。
【００２６】
[0041]本明細書で説明する技法は、例えばオーディオや医療ボリュームのイメージなどのより高次元の信号などの他のタイプの信号にも適用することができるが、これらに限定されるものではない。
【００２７】
符号器及び復号器の例
[0042]図２Ａは希薄誘導予測を有するハイブリッドビデオコーダの一実施形態のブロック図である。図２Ａを参照すると、動き補償（ＭＣ）予測モジュール２１６は以前に復号されたフレーム２０３から動き補償予測を生成する。希薄誘導予測モジュール２１７は、本明細書で説明するように動き補償予測を増補して、符号化されるフレームのより良い予測を作る。一実施形態において、希薄誘導予測モジュール２１７は因果情報２３０などの因果情報に基づいて動き補償予測を増補する。
【００２８】
[0043]加算器２１１は、増補された動き補償予測を現フレーム２０１から減算して残差フレームを得る。変換コーダ２１２は、例えば変換、量子化器、及びエントロピ符号器の組合せを使用することによって、残差フレームを符号化された差分２０２に変換する。復号中に、変換復号器２１３は、例えばエントロピ復号器、逆量子化器、及び逆変換の組合せを使用することによって、符号化された差分を再構成残差フレームに変換する。加算器２１４は、再構成残差フレームを増補された動き補償予測に加算して再構成フレームを得る。遅延要素「Ｚ−１」２１５は、ＭＣ予測モジュール２１６による将来の参照のために再構成フレームを格納する。
【００２９】
[0044]一実施形態において、ビデオ復号器は、以前に復号されたフレームからのブロックを使用して予測ブロックを生成する動き補償ユニットと、復号されるフレームのより良い予測を作るために動き補償予測を増補する希薄誘導予測モジュールと、残差フレームを復号する復号器と、及び残差フレームを非線形予測に加算する加算器とを含む。遅延要素「Ｚ−１」は、ＭＣ予測モジュールによる将来の参照のために、フィルタリングされたフレームを格納する。
【００３０】
[0045]図２Ｂは機能強化されたビデオ復号器の一実施形態のブロック図である。図２Ｂを参照すると、ＭＣ予測モジュール２２４は以前に復号されたフレーム２３３から動き補償予測を生成する。希薄誘導予測モジュール２２３は、動き補償予測を増補して、復号されるフレームのより良い予測を作る。これは、符号化されたビットストリームから受け取られる予測パラメータ２３２に応答して行われる。一実施形態において、希薄誘導予測モジュール２２３は因果情報２３１などの因果情報に基づいて動き補償予測を増補する。変換復号器２２１は、例えばエントロピ復号器、逆量子化器、及び逆変換の組合せを使用することによって、符号化された差分２３１を再構成残差フレームに変換する。加算器２２２は、再構成残差フレームを増補された動き補償予測に加算して再構成フレームを取得し、この再構成フレームがビデオ復号器から出力される。この出力はディスプレイに送られてもよい。遅延要素「Ｚ−１」２２５は、ＭＣ予測モジュール２２４による将来の参照のために、フィルタリングされたフレームを格納する。
【００３１】
[0046]希薄誘導予測モジュールの動作を以下に更に説明する。
【００３２】
変換
[0047]一実施形態において、上で説明した、候補ブロックに適用される線形変換（予測変換）は、ブロックｐ×ｐ  ＤＣＴなどの正規直交ブロック変換である。他の変換すなわち、非直交変換、非ブロック変換を適用することもできる。適用される変換が非ブロック変換であるときには、やはり、符号化されるフレーム／ブロック内の変換係数の予測を形成し、予測が上述したように達成された後に逆変換を実行することができる。空間領域のタイリング（ｔｉｌｉｎｇ）、及び非ブロック変換（ウェーブレット変換、ラップド変換（ｌａｐｐｅｄ  ｔｒａｎｓｆｏｒｍ）など）を用いる境界処理を、信号処理における確立された技法を用いて行うことができる。計算を効率的な形で実行するためにこの変換が高速の実施態様を有することが望ましいが、必須ではない。
【００３３】
[0048]一般性を失わずに、利用される予測変換がｐ×ｐブロックＤＣＴであると仮定する。一実施形態において、利用される予測変換が予測誤差の変換符号化に使用される変換とは異なることに留意されたい。
【００３４】
[0049]本明細書で説明する技法を例を通して説明することができる。図３は、符号化されるマクロブロック及び現マクロブロックに関して以前に符号化されたマクロブロックを示す、符号化される現フレームの例の図である。図３を参照すると、現フレーム３００は、以前に復号されたマクロブロック３０１及び符号化されるマクロブロック３０３と共に現マクロブロック３０２を含む。
【００３５】
[0050]本明細書での目的のために、ｘは予測されるｐ×ｐブロックを表す（ｐ２×１ベクトルに配置される）。図４は予測ブロックｘ及び関連する近傍Λｘの例を示す図である。図４を参照すると、ブロックｘ（４０１）は現フレーム３００の現マクロブロック３０２内に示されている。ブロックｘ（４０１）及びマクロブロック３０２の位置は近傍Λｘ（４０２）に対して相対的に図示されている。
【００３６】
[0051]本明細書での目的のために、ｙ（ｐ２×１ベクトルに配置される）は、ｘを予測する際に使用されるフレームからの動き補償ブロックを表す。図５は、Λｘの内部のトレーニングブロック及び動き補償予測内の参照を形成する過去フレーム内の対応するブロックの位置の例を示す図である。図５を参照すると、現フレーム３００及び過去フレーム５００が、近傍Λｘ（４０２）の内部のトレーニングブロックｔ１〜ｔ３の位置と、動きベクトル５０１を作る動き補償予測で参照として使用される過去フレーム５００内の対応するブロックｕ１〜ｕ３の位置と共に示されている。
【００３７】
[0052]Ｈが上の段落で指定された線形ブロック変換（予測変換）（ｐ２×ｐ２行列）を表すものとする。ｘの変換係数はｃ＝Ｈｘによって与えられ、ｙの変換係数はｄ＝Ｈｙによって与えられる。
【００３８】
[0053]ｃ（ｉ）がｘの第ｉ変換係数（ｉ＝１，…，ｐ２）を表すものとする。一実施形態においてｃ（ｉ）は
【数１】
2010508708.tif 000003
としてｄ（ｉ）から予測され、ここで、
【数２】
2010508708.tif 000004
は予測であり、αｉは予測重みである。しかし、予測をより一般的及び非線形とすることもできることに留意されたい（例えば、２００６年６月２０日に出願した、「Ａ  Ｎｏｎｌｉｎｅａｒ，  Ｐｒｅｄｉｃｔｉｏｎ  Ｆｉｌｔｅｒ  ｆｏｒ  Ｈｙｂｒｉｄ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ」という名称の米国特許出願第１１／４７１，７４１号）。補正項ｏｉを式（１）に追加して、
【数３】
2010508708.tif 000005
を介して平均値の変化を考慮に入れることもできる。二乗平均誤差又は類似するメトリックを最小にするためにそのような項を最適に選択することもできる。更に、ｄ（ｉ）のうちでｃ（ｉ）の予測に関連しない部分を除去して
【数４】
2010508708.tif 000006
を作り、
【数５】
2010508708.tif 000007
を介して予測を形成することができるようにするために、空間予測技法を適用することができる。
【００３９】
[0054]いくつかの場合に（例えば、複数の参照フレームが使用可能であるとき、参照フレーム内の複数のブロックが予測されるブロックに一致すると考えられるときなど）、そこから予測すべき複数の以前に復号されたブロックを有する可能性がある。その場合に、これらのブロックの変換係数を線形の形で使用することによって予測を形成することができる。例えば、ｚが、ｅ＝Ｈｚによって与えられる変換係数を有する他の以前に復号されたブロックである場合には、
【数６】
2010508708.tif 000008
を形成することができる。
【００４０】
[0055]予測
【数７】
2010508708.tif 000009
がｉ＝１，…，ｐ２について形成されたならば、ｐ２×１ベクトル
【数８】
2010508708.tif 000010
を得ることができる。予測ブロック
【数９】
2010508708.tif 000011
は
【数１０】
2010508708.tif 000012
によって与えられる。
【００４１】
[0056]一実施形態において、予測重みαｉは予測フレーム内の以前に送られたブロックを使用して因果的に判定される。図４を再び参照し、ブロックｘについて、Λｘが、符号化されるフレーム内の少なくともいくつかの以前に復号された画素を含むｘ周辺の空間的近傍を表すものとする。図５に示されているように、各ｔｊ⊂Λｘ及び各ｔｊ内のすべての画素が使用可能であるように、トレーニングブロックｔ１，ｔ２，…，ｔＬはΛｘの内部にあり、ブロックｕ１，ｕ２，…，ｕＬは以前に復号されたフレーム内のトレーニングブロックｔ１，ｔ２，…，ｔＬに対応する。これらのブロックの変換係数を
ｆｊ＝Ｈｔｊ，
ｇｊ＝Ｈｕｊ
を介して得ることによって、
【数１１】
2010508708.tif 000013
を得ることが可能になる。
【００４２】
[0057]空間的近傍Λｘ内の情報をよりよく利用できるように、トレーニングブロックｔ１，ｔ２，…，ｔＬをオーバーラップさせることができる。一実施形態において、近傍Λｘは、図４に示されているように、サイズＭ×Ｍのブロックｘの周囲の正方形近傍である。Ｍは、例えばＭ＝３ｐ（行／列方向での変換Ｈ基礎関数のサイズの３倍）、Ｍ＝２ｐなどとすることができる。Ｍは他の整数とすることもできる。別の実施形態では、Λｘは長方形近傍である。更に別の実施形態では近傍Λｘはより一般的な形状を有する。
【００４３】
[0058]一実施形態において、重み判定の上記処理は複数のブロックが予測処理（式（２））で利用される場合に拡張される。別の実施形態において、予測は
【数１２】
2010508708.tif 000014
を介して異なるインデックスを有する係数を利用し、上記のように予測重みを因果的に得るように拡張される。
【００４４】
[0059]一実施形態において、符号器と復号器の対は、二乗平均予測誤差が最小になるように、用いる変換Ｈを最適化する。この動作は、符号器によって非因果的に実行された、以前に符号化された情報、復号器に伝達された結果の変換、又はこの２つの混合に基づいて、符号器／復号器によって因果的に実行することができる。一実施形態において変換の最適化は、予測重みの所与のセットから開始し、二乗平均予測誤差が最小になるように重みを条件として最適変換を見つけ、重みを再計算し、その後変換を再計算することなどによって連続して行われる。
【００４５】
[0060]予測動作は、予測される空間領域内の画素の一部又はすべてが複数回予測されるように、オーバーラップする形で行うことができる。その後、最終的な予測が複数の予測の空間的な画素ごとの平均化を行うことによって得られる。サイズｎ×ｎのブロック変換が予測誤差の変換符号化に使用されると仮定する。図６に、ｎ×ｎ圧縮変換ブロックへの現マクロブロックの分解の例を示す。現マクロブロックを符号化する場合に、最初のｎ×ｎブロックが予測され、予測誤差が符号化され、その後第２ブロックが予測され、第２ブロックの予測誤差が符号化されなどする。この符号化の順序はラスタスキャン又はある任意の形とすることができる。
【００４６】
[0061]図７は、予測されるｎ×ｎブロックにオーバーラップする３つのｐ×ｐ予測ブロックの例を示す図である。図７を参照すると、符号化されるブロック７０１がｎ×ｎ圧縮変換ブロック７０２内に示されている。ｐ×ｐ予測ブロック１〜３はブロック７０１にオーバーラップする。これらの３つの予測はブロック７０１の予測誤差を符号化する前に生成される。各予測は、ｐ×ｐ予測ブロック１からｐ×ｐ予測ブロック３までのようにマークされたｐ×ｐ空間領域を予測する。ｐ×ｐ予測ブロックのそれぞれはｎ×ｎブロックを異なる形でカバーする。
【００４７】
[0062]予測されるｎ×ｎブロックを領域（Ａ，Ｂ，Ｃ，Ｄ）に分割することで、これらの領域のそれぞれは、ｐ×ｐ予測ブロックのどれがその領域にオーバーラップするかに応じて異なって予測されるようになる。図８に、図７の３つのｐ×ｐ予測ブロック１〜３がｎ×ｎブロック７０１の全体的な予測を形成する手法を示す。領域Ａ内の画素は、３つの予測ブロックのすべてが領域Ａ内でオーバーラップするので、３つのすべての予測ブロックによって予測される（最終的な予測は３つの予測の線形組合せである）。領域Ｂ内の画素は、ブロック２及び３がそこでオーバーラップするので、予測ブロックのうちの２つ（２及び３）によって予測される（最終的な予測はこの２つの予測の線形組合せである）。領域Ｃ内の画素は、ブロック１及び３がそこでオーバーラップするので、予測ブロックのうちの異なる２つ（１及び３）によって予測される（最終的な予測はこの２つの予測の線形組合せである）。領域Ｄ内の画素は、（予測ブロック３がそこでどの予測ブロックともオーバーラップしないので、）１つの予測ブロック（３）によって予測される。
【００４８】
[0063]ある画素が、それにオーバーラップするｋ個の予測ブロックを有する場合に、この画素の最終的な予測が、ｐ×ｐ予測ブロックのそれぞれによって提供される予測の線形組合せによって形成されることを理解されたい。一実施形態において、線形組合せは単純な平均化によって形成される。別の実施形態では、線形組合せは加重平均を実行することによって形成される。
【００４９】
[0064]ｐ×ｐ予測ブロックによって使用される予測重みは、一実施形態においてトレーニングブロックのセットに対して因果的に計算されるので、現在の予測を助けるために、以前に符号化されたｎ×ｎ変換ブロックを利用することが有利である。図９に、以前に復号されたマクロブロック及び以前に復号されたｎ×ｎブロックを利用したｎ×ｎブロックの予測を示す。図９を参照すると、符号化されるｎ×ｎブロックすなわちブロック９０１の予測は、予測ブロック１〜３を作成するのに使用される、以前に復号されたマクロブロック及び以前に復号されたｎ×ｎブロック（その一部は以前に復号されたｎ×ｎブロック９０３として図示されている）を利用して実行される。
【００５０】
[0065]予測が形成されたならば、符号器は、例えば２００６年６月２０日に出願された、「Ａ  Ｎｏｎｌｉｎｅａｒ，  Ｐｒｅｄｉｃｔｉｏｎ  Ｆｉｌｔｅｒ  ｆｏｒ  Ｈｙｂｒｉｄ  Ｖｉｄｅｏ  Ｃｏｍｐｒｅｓｓｉｏｎ」という名称の米国特許出願第１１／４７１，７４１号に概要を示された技法を使用して、この予測を使用すべきなのか、或いは他の予測を優先してこの予測を破棄すべきなのかを判断することができる。符号器は、予測及び予測重みを指定するのを助けるサイド情報も送ることができる。符号器は、最良の希薄誘導予測が生じるようにするために、動きベクトルの検索を最適化することもできる。符号器は、因果トレーニングブロックを使用して、考えられる予測重みの部分集合を指定し、サイド情報を介してその特定の重みを送ることもできる。一実施形態において、符号器は、因果トレーニングブロックを使用して、考えられる予測重みの確率分布を構成し、構成された分布に基づくエントロピ符号化を介して得られたサイド情報を介してその特定の重みを送ることもできる。符号器は、予測されるブロックの係数のプレディクタを指定する際に、ベクトル量子化及びベクトル符号化技法を使用することもできる。一実施形態において、本方法を、時間的変換を利用するビデオ圧縮アプリケーションで変換設計手法（リフティングベースの手法など）に基づく予測と組み合わせることができる。
【００５１】
[0066]本発明の実施形態が変換符号化でブロック変換並びに非ブロック変換を使用するビデオコーダに対処できることに留意されたい。
【００５２】
[0067]本発明の実施形態は、低域通過、帯域通過、高域通過、テクスチャ、エッジなどのような、大きい範囲の統計に起因する画素値を有するビデオフレームに適用可能である。しかし、本発明は滑らかに変化する画素値を有するビデオフレームに限定されない。
【００５３】
[0068]本発明の一実施形態は、広範囲のビデオの時間的進展にまたがる予測において有効である。一実施形態において、通常のビデオフレームに対するレート−ひずみ性能、及び通常のビデオフレームでの視覚的品質は関連技術より良い。
【００５４】
[0069]本発明の実施形態は計算の複雑さを抑制することを達成する形で展開することもできる。
【００５５】
様々な実施形態
[0070]一実施形態において、希薄誘導予測処理で利用される予測変換はｐ×ｐブロックＤＣＴであり、ここで、ｐは４、５、８、１６などとすることができる。一実施形態において、変換係数予測は式１を使用して実行され、予測重みは式３を介して得られる。近傍Λｘ内の使用可能な既に符号化されたデータに対応するすべてのオーバーラップするｐ×ｐブロック（ｐ×ｐスライディングウィンドウによって決定される）は、トレーニングすなわち式３での計算に使用される。
【００５６】
[0071]予測形成に関して、ｐ×ｐ予測ブロックは、少なくとも１つのトレーニングブロックがその予測ブロックの重みを判定するのに使用可能である場合に形成される。一実施形態において、オーバーラップする予測は、ｎ×ｎ変換ブロック内の各画素が最大の可能な個数の予測を有するようにすべてのシフトで実行される。この個数は予測の形成に使用可能な以前に復号された情報の量のみによって制限される。
【００５７】
[0072]一実施形態において、複数の予測の画素ごとの平均は加重平均によって与えられる。これは、等しい重みを用いて、又は例えばＯｎｕｒ  Ｇ．  Ｇｕｌｅｒｙｕｚの「Ｗｅｉｇｈｔｅｄ  Ｏｖｅｒｃｏｍｐｌｅｔｅ  Ｄｅｎｏｉｓｉｎｇ」（Ｐｒｏｃ．  Ａｓｉｌｏｍａｒ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｉｇｎａｌｓ  ａｎｄ  Ｓｙｓｔｅｍｓ、米国カリフォルニア州パシフィックグローブ、２００３年１１月）などに示されるような、当技術分野で既知のより洗練された重み判定技法を用いて行うことができる。
【００５８】
[0073]上記説明はブロックに関して述べたものであるが、他のサイズ及び形状の領域（例えば非ブロック）を、一般的なサイズ及び形状の領域すなわち非ブロックに対応する予測ベクトルを有すること及びそのようなベクトルを予測することを含むがこれに限定されずに、本発明と共に使用できることに留意されたい。
【００５９】
符号化処理及び復号処理の例
図１０は符号器でのブロックの希薄誘導予測の処理の一実施形態の流れ図である。この処理はハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で動作するものなど）、又はこの両方の組合せを含めることができる処理ロジックによって実行される。
【００６０】
[0074]図１０を参照すると、この処理は、処理ロジックが、予測される各ｎ×ｎブロックと等しくなるように変数ｂをセットし（処理ブロック１００１）、ｂにオーバーラップするすべてのｐ×ｐフレームブロックと等しくなるように変数ｘをセットすること（処理ブロック１００２）で開始される。予測されるブロックｂごとに、処理ロジックは各ｐ×ｐブロックを取り、ｘの変換係数を予測する（処理ブロック１００３）。変換領域でのこれらの予測を本明細書では
【数１３】
2010508708.tif 000015
と称する。
【００６１】
[0075]次に、処理ロジックは空間予測
【数１４】
2010508708.tif 000016
を判定する（処理ブロック１００４）。空間予測
【数１５】
2010508708.tif 000017
は予測
【数１６】
2010508708.tif 000018
を逆変換することによって判定される。
【００６２】
[0076]次に、処理ロジックは、ｘによって表されるｐ×ｐブロックとブロックｂとの交差を判定する（処理ブロック１００５）。言い換えると、空間予測の関連成分が、それがｂとオーバーラップする部分として判定される。処理ロジックは交差内部の予測部分を累算する（処理ブロック１００６）。したがって、関連成分がｂ内の関連画素にまたがって累算される。処理ロジックは交差内の画素の予測カウントを１つ増分する（処理ブロック１００７）。
【００６３】
[0077]次に処理ロジックは、ｂとオーバーラップするすべてのｐ×ｐフレームブロックを検討したかどうかをチェックする（処理ブロック１００８）。そうでない場合には、処理は処理ブロック１００２に推移し、この処理は継続される。検討し終えている場合には、処理ブロックは処理ブロック１００９に推移する。
【００６４】
[0078]処理ブロック１００９で、処理ロジックは、ｂ内の画素ごとに、累算された予測値を累算された予測カウントによって除算してｂの最終的な予測を形成する。累算及び予測カウントは最終的な予測判定を可能にし、その結果ｂ内の画素がｋ個のｐ×ｐブロック（ｋ≧１）によって予測され、累算がｋ個の予測の合計になり、画素の予測がｋになり、最終的な断定がｋによって除算された累算になる。
【００６５】
[0079]最終予測が形成されたならば、処理ロジックはｂの予測誤差を計算する（処理ブロック１０１０）。処理ロジックは予測誤差を符号化し（処理ブロック１０１１）、この予測誤差を復号器に送る。
【００６６】
[0080]また、処理ロジックは予測誤差を復号する（処理ブロック１０１２）。これは復号器によって復号されるはずのものと同一の予測誤差である。処理ロジックは復号された予測誤差を処理ブロック１００９で生成された予測に加算する（処理ブロック１０１３）。これは復号されたブロックｂを形成する。処理ロジックは、復号されたブロックｂを、将来の予測動作によって作られる、以前に復号されたブロックに加算する（処理ブロック１０１４）。本質的に、これは以前に復号された情報を更新する。
【００６７】
[0081]その後、処理ロジックは予測すべき各ｎ×ｎブロックが予測されたかどうかを検出する（処理ブロック１０１５）。検出した場合にはこの処理は終了し、検出しない場合には、この処理は処理ブロック１００１に推移して繰り返し実行される。
【００６８】
[0082]図１１は復号器でのブロックの希薄誘導予測の処理の一実施形態の流れ図である。この処理はハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で動作するものなど）、又はこの両方の組合せを含めることができる処理ロジックによって実行される。
【００６９】
[0083]図１１を参照すると、この処理は、処理ロジックが、予測される各ｎ×ｎブロックと等しくなるように変数ｂをセットし（処理ブロック１１０１）、ｂにオーバーラップするすべてのｐ×ｐフレームブロックと等しくなるように変数ｘをセットすること（処理ブロック１１０２）で開始される。予測されるブロックｂごとに、処理ロジックは各ｐ×ｐブロックを取りｘの変換係数を予測する（処理ブロック１１０３）。変換領域でのこれらの予測を本明細書では
【数１７】
2010508708.tif 000019
と称する。
【００７０】
[0084]次に、処理ロジックは空間予測
【数１８】
2010508708.tif 000020
を判定する（処理ブロック１１０４）。空間予測
【数１９】
2010508708.tif 000021
は予測
【数２０】
2010508708.tif 000022
を逆変換することによって判定される。
【００７１】
[0085]次に、処理ロジックはｘによって表されるｐ×ｐブロックとブロックｂとの交差を判定する（処理ブロック１１０５）。言い換えると、空間予測の関連成分がｂとオーバーラップする部分として判定される。処理ロジックは交差内部の予測部分を累算する（処理ブロック１１０６）。したがって、関連成分がｂ内の関連画素にまたがって累算される。処理ロジックは交差内の画素の予測カウントを１つ増分する（処理ブロック１１０７）。
【００７２】
[0086]次に、処理ロジックは、ｂとオーバーラップするすべてのｐ×ｐフレームブロックを検討したかどうかをチェックする（処理ブロック１１０８）。検討し終えていない場合には、処理は処理ブロック１１０２に推移し、そこでこの処理は継続する。検討し終えている場合には、処理ブロックは処理ブロック１１０９に推移する。
【００７３】
[0087]処理ブロック１１０９で、処理ロジックは、ｂ内の画素ごとに、累算された予測値を累算された予測カウントによって除算してｂの最終的な予測を形成する。累算及び予測カウントは最終的な予測判定を可能にし、その結果、ｂ内の画素がｋ個のｐ×ｐブロック（ｋ≧１）によって予測され、累算がｋ個の予測の合計になり、画素の予測がｋになり、最終的な断定がｋによって除算された累算になる。
【００７４】
[0088]最終予測を形成した後に、処理ロジックは予測と予測誤差とを合計し（処理ブロック１１１０）、ここで処理ロジックは、復号器から受信したブロックｂの予測誤差を復号する（処理ブロック１１１１）。
【００７５】
[0089]予測と予測誤差とを合計した後に、処理ロジックは以前に復号された情報を更新する（処理ブロック１１１２）。一実施形態において、以前に復号された情報の更新は、将来使用するために、復号されたブロックｂを以前に復号されたブロックに追加することを含む。
【００７６】
[0090]以前に復号された情報を更新した後に、処理ロジックは予測される各ｎ×ｎブロックを予測したかどうかをチェックする（処理ブロック１１１３）。予測した場合にはこの処理は終了し、そうでない場合にはこの処理は処理ブロック１１０１に推移して繰り返し実行される。
【００７７】
[0091]図１２は変換領域予測を実行する処理の一実施形態の流れ図である。この処理はハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で動作するものなど）、又はこの両方の組合せを含めることができる処理ロジックによって実行される。
【００７８】
[0092]図１２を参照すると、この処理は、所与のブロックｘごとに、処理ロジックがｘの動き補償予測であるｙを判定すること（処理ブロック１２０２）によって開始される。次に、処理ロジックは
ｄ＝Ｈｙ
に従ってｙの変換係数を計算する（処理ブロック１２０３）。
【００７９】
[0093]その後、処理ロジックは、インデックスｉ＝１，…，ｐ２によってインデックス付けされた、ｄの各成分の予測重みαｉを判定する（処理ブロック１２０４及び１２０５）。次に、処理ロジックは、次のように予測ベクトル
【数２１】
2010508708.tif 000023
を形成する（処理ブロック１２０６）。
【数２２】
2010508708.tif 000024
【００８０】
[0094]一実施形態において、変換係数を生成することなく予測を生成できることに留意されたい。例えば、画素領域フィルタの適用が変換領域で予測を行うことと同等である場合に、画素領域フィルタを動き補償予測に適用することができる。その場合に、この処理は、前に符号化されたフレームからの第１のブロックを使用して、第１の動き補償予測を生成するために動き補償を実行するステップと、複数の予測を使用して第１の動き補償予測から符号化される第２ブロックの第２の動き補償予測を生成するステップであって、画素領域フィルタの適用の結果が予測変換係数を生成することと同等である場合に、その後に画素領域での第２の動き補償予測を作成するために逆変換されるブロック変換係数から、第１の動き補償予測に画素領域フィルタを適用することによって複数の予測のそれぞれを生成することを含むステップと、残差フレームを作るために現フレーム内のブロックから第２の動き補償予測を減算するステップと、残差フレームを符号化するステップとを含む。
【００８１】
[0095]別の実施形態では、ルックアップテーブルが設計され、その結果、同等の画素領域フィルタ計算が行われるのではなく、変換係数が単にルックアップテーブルへのインデックスを形成するために使用されるようになり、このルックアップテーブルは画素領域フィルタを得るのに使用され、このフィルタが画素領域で適用される。すなわち、一実施形態において、画素領域フィルタは一又は複数の変換係数から形成されるインデックスに基づいてルックアップテーブルから選択される。
【００８２】
[0096]図１３は予測重みを計算する処理の一実施形態の流れ図である。この処理はハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（汎用コンピュータシステム又は専用機械で動作するものなど）、又はこの両方の組合せを含めることができる処理ロジックによって実行される。
【００８３】
[0097]図１３を参照すると、この処理は、処理ロジックが、必要であればサイド情報を使用して予測重みαｉ（ｉ＝１，…，ｐ２）を初期化することによって開始される（処理ブロック１３０１）。処理ロジックは所与のブロックｘについて画素の近傍Λｘを判定する（処理ブロック１３０２）。
【００８４】
[0098]次に、処理ロジックはΛｘ内の考えられるすべてのｐ×ｐブロックをチェックして、ブロック内のすべての画素が符号器と復号器との両方で使用可能であるか、すなわち以前に符号化され／復号されているかどうかを判定する（処理ブロック１３０３及び１３０４）。
【００８５】
[0099]ブロック内のすべての画素が符号器と復号器との両方で使用可能である場合には、処理ロジックは変数ｊを増分し（処理ブロック１３０５）、動き補償を介して参照フレーム内のマッチングブロックｕを判定する（処理ブロック１３０６）。すなわち、処理ロジックはブロックｔの動き補償予測を判定する。次に、処理ロジックはブロックｔ及びマッチングブロックｕについて変換係数を計算する（処理ブロック１３０７）。
【００８６】
[00100]すべての検討されるブロックに関連する変換係数を計算したならば、処理ロジックは使用可能なサイド情報を利用して予測重みを解く（例えば上記式（３）を使用して）（処理ブロック１３０８）。その後、処理ロジックは予測重みを出力する（処理ブロック１３０９）。
【００８７】
コンピュータシステムの例
[00101]図１４は、本明細書で説明される動作のうちの一又は複数を実行できる例示的コンピュータシステムのブロック図である。図１４を参照すると、コンピュータシステム１４００は、例示的なクライアントコンピュータシステム又はサーバコンピュータシステムを含むことができる。コンピュータシステム１４００は、情報を通信する通信機構又はバス１４１１と、情報を処理する、バス１４１１に接続されたプロセッサ１４１２とを含む。プロセッサ１４１２は、例えばＰｅｎｔｉｕｍ（商標）、ＰｏｗｅｒＰＣ（商標）、Ａｌｐｈａ（商標）など、マイクロプロセッサを含むが、マイクロプロセッサに限定はされない。
【００８８】
[00102]システム１４００は、更に、情報及びプロセッサ１４１２によって実行される命令を格納する、バス１４１１に接続されたランダムアクセスメモリ（ＲＡＭ）又は他のダイナミックストレージデバイス１４０４（メインメモリと称する）を含む。メインメモリ１４０４は、プロセッサ１４１２による命令の実行中に一時変数又は他の中間情報を格納するのに使用することもできる。
【００８９】
[00103]コンピュータシステム１４００は、プロセッサ１４１２用の静的な情報及び命令を格納する、バス１４１１に接続された読取専用メモリ（ＲＯＭ）及び／又は他の静的ストレージデバイス１４０６と、磁気ディスク又は光ディスク及びそれに対応するディスクドライブなどのデータストレージデバイス１４０７とも含む。データストレージデバイス１４０７は、情報及び命令を格納するためにバス１４１１に接続される。
【００９０】
[00104]コンピュータシステム１４００を、更に、コンピュータユーザに情報を表示する、バス１４１１に接続された、陰極線管（ＣＲＴ）又は液晶ディスプレイ（ＬＣＤ）などのディスプレイデバイス１４２１に接続することができる。英数字キー及び他のキーを含む英数字入力デバイス１４２２も、プロセッサ１４１２に情報及びコマンド選択を通信するためにバス１４１１に接続することができる。追加のユーザ入力デバイスは、方向情報及びコマンド選択をプロセッサ１４１２に通信し、ディスプレイ１４２１上のカーソル移動を制御する、バス１４１１に接続された、マウス、トラックボール、タッチパッド、スタイラス、又はカーソル方向キーなどのカーソルコントロール１４２３である。
【００９１】
[00105]バス１４１１に接続できるもう１つのデバイスが、紙、フィルム、又は類似するタイプの媒体に情報をマークするのに使用できるハードコピーデバイス１４２４である。バス１４１１に接続できるもう１つのデバイスが、電話機又はハンドヘルドパームデバイスと通信する有線／無線通信機能１４２５である。
【００９２】
[00106]システム１４００の構成要素のいずれか又はすべて及び関連するハードウェアを本発明において使用できることに留意されたい。しかし、コンピュータシステムの他の構成がこれらのデバイスの一部又はすべてを含むことができることを了解されたい。
【００９３】
[00107]本発明の多数の代替形態及び修正形態は、前述の説明を読んだ後に疑いなく当業者に明白になるが、当然ながら、例証として図示され説明された任意の特定の実施形態は、限定的に考えられることを意図するものではない。したがって、様々な実施形態の詳細への言及は、特許請求の範囲を限定することを意図するものではなく、特許請求の範囲自体は本発明に必須と考えられる特徴のみを列挙するものである。
【図面の簡単な説明】
【００９４】
【図１】ビデオ符号器を示すブロック図である。
【図２Ａ】希薄誘導予測を有するハイブリッドビデオコーダの一実施形態を示すブロック図である。
【図２Ｂ】機能強化されたビデオ復号器を示すブロック図である。
【図３】符号化される現フレームの例を示す図である。
【図４】予測ブロックｘ及び関連する近傍Λｘの例を示す図である。
【図５】近傍Λｘの内部のトレーニングブロック及び動き補償予測内の基準を形成する過去フレーム内の対応するブロックの位置の例を示す図である。
【図６】ｎ×ｎ圧縮変換ブロックへの現マクロブロックの分解の例を示す図である。
【図７】予測されるｎ×ｎブロックにオーバーラップする３つのｐ×ｐ予測ブロックの例を示す図である。
【図８】図７の３つのｐ×ｐ予測ブロックがｎ×ｎブロックの全体的な予測を形成する形を示す図である。
【図９】以前に復号されたマクロブロック及び以前に復号されたｎ×ｎブロックを用いたｎ×ｎブロックの予測を示す図である。
【図１０】符号器でブロックの希薄誘導予測を実行する処理の一実施形態を示す流れ図である。
【図１１】復号器でブロックの希薄誘導予測を実行する処理の一実施形態を示す流れ図である。
【図１２】変換領域予測を形成する処理の一実施形態を示す流れ図である。
【図１３】予測重みを計算する処理の一実施形態を示す流れ図である。
【図１４】例示的コンピュータシステムを示すブロック図である。
【図１】
2010508708.tif 000025
【図２Ａ】
2010508708.tif 000026
【図２Ｂ】
2010508708.tif 000027
【図３】
2010508708.tif 000028
【図４】
2010508708.tif 000029
【図５】
2010508708.tif 000030
【図６】
2010508708.tif 000031
【図７】
2010508708.tif 000032
【図８】
2010508708.tif 000033
【図９】
2010508708.tif 000034
【図１０】
2010508708.tif 000035
【図１１】
2010508708.tif 000036
【図１２】
2010508708.tif 000037
【図１３】
2010508708.tif 000038
【図１４】
2010508708.tif 000039
【手続補正書】
【提出日】平成21年6月18日(2009.6.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、  空間領域での複数の予測を使用して前記第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、    変換を使用して前記第１ブロックのブロック変換係数を生成し、    前記ブロック変換係数を使用して、符号化される前記第２ブロックの予測変換係数を生成し、    画素領域での前記第２動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する  ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、  残差フレームを作るために現行フレーム内のブロックから前記第２動き補償予測を減算するステップと、  前記残差フレームを符号化するステップと  を含む方法。
【請求項２】
予測変換係数を生成するステップは、前記ブロックの各ブロック変換係数に予測重みを乗ずることを含む、請求項１に記載の方法。
【請求項３】
前記ブロックは候補ブロックの補間されたバージョンである、請求項２に記載の方法。
【請求項４】
以前に符号化されたブロックを使用して予測重みを因果的に判定するステップをさらに含む、請求項２に記載の方法。
【請求項５】
トレーニングブロックを使用して予測重みを因果的に判定するステップをさらに含む、請求項２に記載の方法。
【請求項６】
前記フレーム内の少なくともいくつかの以前に復号された画素を含む符号化される前記ブロック周辺の空間的近傍を判定するステップであって、前記トレーニングブロックが前記空間的近傍内にある、ステップと、 以前に符号化されたフレーム内のマッチングブロックを識別するステップであって、前記マッチングブロックのそれぞれが前記トレーニングブロックのうちの１つに対応する、ステップと、 トレーニングブロック及びマッチングブロックの変換係数を得るステップと、 トレーニングブロック及びマッチングブロックの前記変換係数に基づいて前記変換重みを生成するステップと をさらに含む、請求項５に記載の方法。
【請求項７】
前記トレーニングブロックがオーバーラップしている、請求項５に記載の方法。
【請求項８】
前記トレーニングブロック及びサイド情報を使用して変換重みのセットを指定するステップをさらに含む、請求項５に記載の方法。
【請求項９】
前記変換が過完備ブロック変換を含む、請求項１に記載の方法。
【請求項１０】
前記空間領域での複数の予測から前記ブロックの前記第２動き補償予測を生成するステップが、 予測される前記ブロックにオーバーラップする複数の予測ブロックを判定するステップと、 前記複数の予測ブロックに基づいて予測を生成するステップと、 前記複数の予測の線形組合せを実行するステップと を含む、請求項１に記載の方法。
【請求項１１】
前記線形組合せが平均化によって形成される、請求項１０に記載の方法。
【請求項１２】
動き補償を実行することで第１ブロックの第１動き補償予測を生成する動き補償予測モジュールと、  前記動き補償予測を受け取り、空間領域での複数の予測から符号化される第２ブロックの第２動き補償予測を生成する第２予測モジュールであって、    変換を使用して前記第１ブロックのブロック変換係数を生成し、    前記ブロック変換係数を使用して、符号化される前記第２ブロックの予測変換係数を生成し、    前記予測変換係数に対して逆変換を実行することで画素領域での前記第２動き補償予測を作成する  ことによって前記複数の予測のそれぞれを生成する、第２予測モジュールと、  現フレーム内のブロックから前記第２動き補償予測を減算することで残差フレームを作る減算器と、  前記残差フレームを符号化するコーダと  を備える符号器。
【請求項１３】
前記第２予測モジュールが、前記ブロックの各ブロック変換係数に予測重みを乗ずることによって予測変換係数を生成する、請求項１２に記載の符号器。
【請求項１４】
前記第２予測モジュールが、トレーニングブロックを使用して予測重みを因果的に判定する、請求項１３に記載の符号器。
【請求項１５】
前記第２予測モジュールが、 前記フレーム内の少なくともいくつかの以前に復号された画素を含む前記符号化されるブロック周辺の空間的近傍を判定し、前記トレーニングブロックは前記空間的近傍内にあり、 以前に符号化されたフレーム内のマッチングブロックを識別し、前記マッチングブロックのそれぞれは前記トレーニングブロックのうちの１つに対応し、 トレーニングブロック及びマッチングブロックの変換係数を取得し、 トレーニングブロック及びマッチングブロックの前記変換係数に基づいて前記変換重みを生成する、 請求項１４に記載の符号器。
【請求項１６】
前記第２予測モジュールが、 予測される前記ブロックにオーバーラップする複数の予測ブロックを判定し、 前記複数の予測ブロックに基づいて予測を生成し、 前記複数の予測の線形組合せを実行することによって前記空間領域での複数の予測から前記ブロックの前記第２動き補償予測を生成する、請求項１２に記載の符号器。
【請求項１７】
システムによって実行される時に、前記システムに、  以前に符号化されたフレームからの第１ブロックを使用して第１動き補償予測を生成するために動き補償を実行するステップと、  空間領域での複数の予測を使用して、前記第１動き補償予測から符号化される第２ブロックの第２動き補償予測を生成するステップであって、    変換を使用して前記第１ブロックのブロック変換係数を生成し、    前記ブロック変換係数を使用して、符号化される前記第２ブロックの予測変換係数を生成し、    画素領域での前記第２動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する  ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、  残差フレームを作るために現行フレーム内のブロックから前記第２動き補償予測を減算するステップと、  前記残差フレームを符号化するステップと  を含む方法を実行させる命令を格納する一又は複数のコンピュータ可読媒体を有する製品。
【請求項１８】
以前に復号されたフレームからの第１ブロックを使用して予測ブロックを生成するステップと、  前記予測ブロックに応答して、空間領域での複数の予測を使用して動き補償予測を生成するステップであって、    変換を使用して前記予測ブロックのブロック変換係数を生成し、    前記ブロック変換係数を使用して、符号化される第２ブロックの予測変換係数を生成し、    画素領域での前記動き補償予測を作成するために前記予測変換係数に対して逆変換を実行する  ことによって前記複数の予測のそれぞれを生成するステップを含む、ステップと、  残差フレームを復号するステップと、  前記残差フレームを前記動き補償予測に加算するステップと  を含む方法。
【請求項１９】
予測変換係数を生成するステップが、前記ブロックの各ブロック変換係数に予測重みを乗ずることを含む、請求項１８に記載の方法。
【請求項２０】
前記第２予測モジュールが、トレーニングブロックを使用して予測重みを因果的に判定する、請求項１９に記載の方法。
【請求項２１】
前記フレーム内の少なくともいくつかの以前に復号された画素を含む符号化される前記ブロック周辺の空間的近傍を判定するステップであって、前記トレーニングブロックが前記空間的近傍内にある、ステップと、 以前に符号化されたフレーム内のマッチングブロックを識別するステップであって、前記マッチングブロックのそれぞれが前記トレーニングブロックのうちの１つに対応する、ステップと、 トレーニングブロック及びマッチングブロックの変換係数を入手するステップと、 トレーニングブロック及びマッチングブロックの前記変換係数に基づいて前記変換重みを生成するステップと をさらに含む、請求項２０に記載の方法。
【請求項２２】
前記空間領域での複数の予測から前記ブロックの前記第２動き補償予測を生成するステップが、 予測される前記ブロックにオーバーラップする複数の予測ブロックを判定するステップと、 前記複数の予測ブロックに基づいて予測を生成するステップと、 前記複数の予測の線形組合せを実行するステップと を含む、請求項１８に記載の方法。
【請求項２３】
以前に復号されたフレームからの第１ブロックを使用して予測ブロックを生成する動き補償ユニットと、  前記予測ブロックに応答して、空間領域での複数の予測から動き補償予測を生成する第２予測モジュールであって、    変換を使用して前記予測ブロックのブロック変換係数を生成し、    前記ブロック変換係数を使用して、符号化される第２ブロックの予測変換係数を生成し、    前記予測変換係数に対して逆変換を実行することで画素領域での前記動き補償予測を作成する  ことによって前記複数の予測のそれぞれを生成する、第２予測モジュールと、  残差フレームを復号する復号器と、  前記残差フレームを前記予測に加算する加算器と  を備える装置。
【請求項２４】
前記第２予測モジュールが、前記ブロックの各ブロック変換係数に予測重みを乗ずることによって予測変換係数を生成し、予測重みはトレーニングブロックを使用して因果的に判定される、請求項２３に記載の符号器。
【請求項２５】
前記予測モジュールが、 予測される前記ブロックにオーバーラップする複数の予測ブロックを判定し、 前記複数の予測ブロックに基づいて予測を生成し、 前記複数の予測の線形組合せを実行することによって前記動き補償予測を生成する、請求項２３に記載の符号器。
【国際調査報告】
2010508708.tif 000040
2010508708.tif 000041
2010508708.tif 000042