(57)【要約】  非正方形ブロックのエンコーダまたはデコーダでイントラ予測を実行するための方法および装置は、非正方形ブロックの上の行および非正方形ブロックの左側の行からの参照サンプルの組み合わせが、予測のために使用されることを可能にする。一実施形態では、参照サンプルの重み付けされた組み合わせが使用される。別の実施形態では、予測角度は、非正方形ブロックのより長い方向に拡張され、その結果、より少ない予測角度がより短い方向において使用される。【選択図】図６
2021531677.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
非正方形ビデオブロックの上の行からのＮ個の参照サンプルのうちの少なくとも１つ、または前記非正方形ビデオブロックの左側の列からのＭ個の参照サンプルのうちの少なくとも１つを使用して、前記非正方形ビデオブロックのサンプルを予測することと、
イントラコード化モードにおいて、前記予測を使用して、前記非正方形ビデオブロックを符号化することと、を含む、方法。
【請求項２】
装置であって、
プロセッサを備え、前記プロセッサは、
非正方形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ、または前記非正方形ビデオブロックの左側の列からのＭ個の参照サンプルの少なくとも１つを使用して、前記非正方形ビデオブロックのサンプルを予測し、
イントラコード化モードにおいて、前記予測を使用して、前記非正方形ビデオブロックを符号化するように構成されている、装置。
【請求項３】
方法であって、
非正方形ビデオブロックの上の行からのＮ個の参照サンプルのうちの少なくとも１つ、または前記非正方形ビデオブロックの左側の列からのＭ個の参照サンプルのうちの少なくとも１つを使用して、前記非正方形ビデオブロックのサンプルを予測することと、
イントラコード化モードにおいて、前記予測を使用して、前記非正方形ビデオブロックを復号化することと、を含む、方法。
【請求項４】
装置であって、
プロセッサを備え、前記プロセッサは、
非正方形ビデオブロックの上の行からのＮ個の参照サンプルの少なくとも１つ、または前記非正方形ビデオブロックの左側の列からのＭ個の参照サンプルの少なくとも１つを使用して、前記非正方形ビデオブロックのサンプルを予測し、
イントラコード化モードにおいて、前記予測を使用して、前記非正方形ビデオブロックを復号化するように構成されている、装置。
【請求項５】
前記予測が、前記参照サンプルの重み付けされた組み合わせを含む、請求項１もしくは３に記載の方法、または請求項２もしくは４に記載の装置。
【請求項６】
Ｎ対Ｍの比が、前記非正方形ビデオブロックの幅対高さの比に実質的に等しい、請求項１もしくは３に記載の方法、または請求項２もしくは４に記載の装置。
【請求項７】
前記イントラコード化モードが、前記非正方形ビデオブロックの上の前記Ｎ個の参照サンプルおよび左の前記Ｍ個の参照サンプルからの参照サンプルを使用する、請求項１もしくは３に記載の方法、または請求項２もしくは４に記載の装置。
【請求項８】
Ｎが、前記非正方形ビデオブロックの幅の２倍であり、Ｍが、前記非正方形ビデオブロックの高さの２倍である、請求項１もしくは３に記載の方法、または請求項２もしくは４に記載の装置。
【請求項９】
イントラ予測モードが、４５度および−１３５度の角度を超えて拡張する、請求項１もしくは３に記載の方法、または請求項２もしくは４に記載の装置。
【請求項１０】
前記Ｎが前記非正方形ブロックの幅よりも大きく、前記Ｎ個の参照サンプルが前記非正方形ブロックの右端を超えて拡張する、請求項１もしくは３に記載の方法、または請求項２もしくは４に記載の装置。
【請求項１１】
前記Ｍが前記非正方形ブロックの高さよりも大きく、前記Ｍ個の参照サンプルが前記非正方形ブロックの下端を超えて拡張する、請求項１もしくは３に記載の方法、または請求項２もしくは４に記載の装置。
【請求項１２】
デバイスであって、
請求項４〜１１のいずれかに記載の装置と、
（ｉ）信号を受信するように構成されたアンテナであって、前記信号は、ビデオブロックを含む、アンテナ、（ｉｉ）前記受信した信号を、前記ビデオブロックを含む周波数の帯域に制限するように構成された帯域制限器、および（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備える、デバイス。
【請求項１３】
プロセッサを使用する再生のために、請求項１および５〜１１のいずれか一項に記載の方法に従って、または請求項２および５〜１１のいずれか一項に記載の装置によって生成されたデータコンテンツを含む、非一時的なコンピュータ可読媒体。
【請求項１４】
プロセッサを使用する再生のために、請求項１および５〜１１のいずれか一項に記載の方法に従って、または請求項２および５〜１１のいずれか一項に記載の装置によって生成されたビデオデータを含む、信号。
【請求項１５】
命令を備える、コンピュータプログラム製品であって、前記命令は、前記プログラムがコンピュータによって実行されたときに、前記コンピュータに、請求項１、３、および５〜１１のいずれか一項に記載の方法を実行させる、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態のうちの少なくとも１つは、概して、ビデオ符号化または復号化の方法または装置に関する。
【背景技術】
【０００２】
高い圧縮効率を達成するために、画像およびビデオのコード化スキームは、通常、動きベクトル予測を含む予測および変換を用いて、ビデオコンテンツの空間的および時間的冗長性を活用する。一般に、イントラまたはインター予測は、イントラフレームまたはインターフレームの相関を活用するために使用され、次いで、予測誤差または予測残差として表されることが多い、元の画像と予測された画像との間の差は、変換され、量子化され、エントロピーコード化される。ビデオを再構築するために、圧縮データは、エントロピーコード化、量子化、変換、および予測に対応する逆プロセスによって復号化される。
【発明の概要】
【０００３】
従来技術の欠点および不利点は、本明細書に記載の一般的な態様によって対処することができ、これらは、符号化および復号化におけるブロック形状適応型イントラ予測方向を対象としている。
【０００４】
第１の態様によれば、方法が提供される。この方法は、非正方形ビデオブロックの上の行からのＮ個の参照サンプルのうちの少なくとも１つ、または非正方形ビデオブロックの左側の列からのＭ個の参照サンプルのうちの少なくとも１つを使用して、非正方形ビデオブロックのサンプルを予測し、イントラコード化モードにおいて、該予測を使用して、非正方形ビデオブロックを符号化するためのステップを含む。
【０００５】
別の態様によれば、別の方法が提供される。この方法は、非正方形ビデオブロックの上の行からのＮ個の参照サンプルのうちの少なくとも１つ、または非正方形ビデオブロックの左側の列からのＭ個の参照サンプルのうちの少なくとも１つを使用して、非正方形ビデオブロックのサンプルを予測し、イントラコード化モードにおいて、該予測を使用して、非正方形ビデオブロックを復号化するためのステップを含む。
【０００６】
別の態様によれば、装置が提供される。この装置は、プロセッサを備える。プロセッサは、前述の方法のうちのいずれかを実行することにより、ビデオのブロックを符号化するか、またはビットストリームを復号化するように構成することができる。
【０００７】
少なくとも１つの実施形態の別の一般的な態様によれば、デバイスであって、復号化の実施形態のうちのいずれかによる装置と、（ｉ）信号を受信するように構成されたアンテナであって、信号は、ビデオブロックを含む、アンテナ、（ｉｉ）受信した信号を、ビデオブロックを含む周波数の帯域に制限するように構成された帯域制限器、または（ｉｉｉ）ビデオブロックを表す出力を表示するように構成されたディスプレイ、のうちの少なくとも１つと、を備える、デバイスが提供される。
【０００８】
少なくとも１つの実施形態の別の一般的な態様によれば、説明された符号化の実施形態または変形例のうちのいずれかに従って生成されたデータコンテンツを含む、非一時的なコンピュータ可読媒体が提供される。
【０００９】
少なくとも１つの実施形態の別の一般的な態様によれば、説明された符号化の実施形態または変形例のうちのいずれかに従って生成されたビデオデータを含む、信号が提供される。
【００１０】
少なくとも１つの実施形態の別の一般的な態様によれば、ビットストリームは、説明された符号化の実施形態または変形例のうちのいずれかに従って生成されたデータコンテンツを含むようにフォーマットされる。
【００１１】
少なくとも１つの実施形態の別の一般的な態様によれば、命令を備える、コンピュータプログラム製品であって、命令は、プログラムがコンピュータによって実行されると、コンピュータに、説明された復号化の実施形態または変形例のうちのいずれかを実行させる、コンピュータプログラム製品が提供される。
【００１２】
これらおよび他の態様、特徴、および一般的な態様の利点は、添付の図面に関連して読まれる例示的な実施形態の以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【００１３】
【図１】イントラ予測に使用される拡張参照配列を有する正方形のブロックを示す。
【図２】長さＷ＋Ｈ＋１の上部および左側の参照配列を示す。
【図３】長方形のターゲットブロック（左側がフラットブロック、右側がトールブロック）とその上部および左側の参照配列を示す。
【図４】対角および隣接角イントラモードへのＰＤＰＣ拡張で使用されるサンプルの定義を示す。
【図５】長方形のブロックと様々なイントラ予測モードの定義を示す。
【図６】上部の参照配列の長さが２Ｗ＋１で、左側の参照配列の長さが２Ｈ＋１であることを示す。
【図７】アスペクト比が似ているが中心から角までの角度が等しい２つの長方形の例を示す。
【図８】説明されている一般的な態様に適用可能なイントラ方向性モードの例を示す。
【図９】説明されている一般的な態様に適用可能なイントラ方向性モードの別の例を示す。
【図１０】複数の領域にインループフィルタリングを使用した符号化方法の一実施形態を示す。
【図１１】複数の領域にインループフィルタリングを使用した別の復号化方法の一実施形態を示す。
【図１２】複数の領域にインループフィルタリングを使用して符号化または復号化するための装置の実施形態を示す。
【図１３】一般的な標準符号化方式を示す。
【図１４】一般的な標準復号化方式を示す。
【図１５】説明された実施形態を実施することができる典型的なプロセッサ構成を示す。
【発明を実施するための形態】
【００１４】
ここで説明する実施形態は、ビデオ圧縮の分野にあり、ビデオ圧縮、ならびにビデオの符号化および復号化に関する。
【００１５】
ＨＥＶＣ（高効率ビデオ符号化、ＩＳＯ／ＩＥＣ２３００８−２、ＩＴＵ−Ｔ  Ｈ．２６５）ビデオ圧縮規格では、動き補償された時間予測を使用して、ビデオの連続するピクチャ間に存在する冗長性を利用する。
【００１６】
それを行うために、動きベクトルが各予測単位（ＰＵ）に関連付けられている。各コード化木単位（ＣＴＵ）は、圧縮ドメインのコード化木によって表される。これは、ＣＴＵの４分木分割であり、各リーフがコード化単位（ＣＵ）と呼ばれる。
【００１７】
次に、各ＣＵには、イントラまたはインター予測パラメータ（予測情報）がいくつか与えられる。それを行うために、それは、１つ以上の予測単位（ＰＵ）に空間的に分割され、各ＰＵには、いくつかの予測情報が割り当てられる。イントラまたはインターコード化モードが、ＣＵレベルに割り当てられる。
【００１８】
ＪＶＥＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｔｅａｍ）が提案するＪｏｉｎｔ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｍｏｄｅｌ（ＪＥＭ）として知られる新しいビデオ圧縮標準では、圧縮性能が高いため、４分木−２分木（ＱＴＢＴ）ブロック分割構造を受け入れることが提案されている。２分木（ＢＴ）のブロックは、中央で水平または垂直に分割することにより、２つの同じサイズのサブブロックに分割することができる。その結果、ＢＴブロックは、ブロックが常に同じ高さと幅の正方形であるＱＴのブロックとは異なり、幅と高さが等しくない長方形の形状を有することができる。ＨＥＶＣでは、角度イントラ予測方向は１８０度にわたる４５度から−１３５度まで定義され、ターゲットブロックの形状に関係なく角度方向を定義しているＪＥＭ内に維持される。
【００１９】
これらのブロックを符号化するために、イントラ予測を使用して、以前に再構築された隣接サンプルを使用してブロックの推定バージョンを提供する。次に、ソースブロックと予測の差が符号化される。上記の従来のコーデックでは、現在のブロックの左側と上部に１行の参照サンプルが使用されている。
【００２０】
最近の研究では、従来の４５度よりも高いイントラ予測方向角度を可能にする広角イントラ予測が提案された。また、位置依存イントラ予測の組み合わせ（ＰＤＰＣ）は、次世代のビデオコード化Ｈ．２６６／ＶＶＣの現在の仕様で採用された。
【００２１】
説明した実施形態の下で、広角モードと対角モードおよび隣接対角モードに適用されるＰＤＰＣとの間の相互作用を解決することが提案されている。説明されている一般的な態様によって解決される問題は、広角イントラ予測と位置依存イントラ予測の組み合わせ（ＰＤＰＣ）を効率的に組み合わせる方法である。
【００２２】
ＪＶＥＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｔｅａｍ）が提案するＪｏｉｎｔ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｍｏｄｅｌ（ＪＥＭ）として知られる新しいビデオ圧縮標準では、圧縮性能が高いため、４分木−２分木（ＱＴＢＴ）ブロック分割構造を受け入れることが提案されている。２分木（ＢＴ）のブロックは、中央で水平または垂直に分割することにより、２つの同じサイズのサブブロックに分割することができる。その結果、ＢＴブロックは、ブロックが常に同じ高さと幅の正方形である４分木（ＱＴ）のブロックとは異なり、幅と高さが等しくない長方形の形状を有することができる。ＨＥＶＣでは、角度イントラ予測方向は１８０度にわたる４５度から−１３５度まで定義され、ターゲットブロックの形状に関係なく角度方向を定義しているＪＥＭ内に維持される。ただし、コード化木単位（ＣＴＵ）をＣＵに分割するという考え方は、オブジェクトまたはオブジェクトの一部をキャプチャすることであり、ブロックの形状はオブジェクトの方向性に関連付けられているため、ブロック形状に応じて定義された予測方向を適応させることは、圧縮効率を高めるためには意味のあることである。これに関連して、説明されている一般的な態様は、長方形のターゲットブロックのイントラ予測方向を再定義することを提案している。
【００２３】
本明細書に記載の実施形態は、ＱＴＢＴ構造によるイントラ予測を改善することによって、従来のビデオの圧縮性能を改善することを目的としている。ＣＵの形状に応じてイントラ予測方向を適応させることを提案している。ＣＵの形状が正方形の場合、ＪＥＭですでに定義されている方向は変更されない。それ以外の場合、検索された方向はＣＵの形状に応じて変更される。ただし、ＣＵの角度方向の総数は変更されない。予測方向をブロック形状に適応させる目的は、ブロック形状に依存しない、現在定義されている予測方向のセットよりも予測精度を向上させることである。
【００２４】
さらに、ターゲットＣＵの予測方向の総数は変更されないため、ＭＰＭ（Ｍｏｓｔ  Ｐｒｏｂａｂｌｅ  Ｍｏｄｅ：最確モード）セットを使用した予測モードの符号化と復号化は変更されない。ただし、形状が異なるＣＵは、異なる定義された方向セットを有するため、隣接ブロックの予測モードはターゲットブロックの予測モードにマッピングされる。マッピングはモードの再インデックス付けにすぎないが、実際の予測方向は変更されない。
【００２５】
ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：高効率ビデオ符号化、Ｈ．２６５）では、ビデオシーケンスのフレームの符号化は、４分木（ＱＴ）ブロック分割構造に基づいている。フレームは正方形のコード化木単位（ＣＴＵ）に分割され、すべてがレート歪み（ＲＤ）基準に基づいて複数のコード化単位（ＣＵ）に４分木ベースで分割される。各ＣＵは、イントラ予測、つまり、原因となる隣接ＣＵから空間的に予測されるか、またはインター予測、つまり、すでに復号化された参照フレームから時間的に予測される。Ｉスライスでは、すべてのＣＵがイントラ予測されるが、ＰスライスとＢスライスでは、ＣＵはイントラ予測またはインター予測の両方が可能である。イントラ予測の場合、ＨＥＶＣは、１つの平面モード（モード０としてインデックス付け）、１つのＤＣモード（モード１としてインデックス付け）、および３３の角度モード（モード２〜３４としてインデックス付け）を含む３５の予測モードを定義する。角度モードは、時計回りに４５度から−１３５度の範囲の予測方向に関連付けられている。ＨＥＶＣは４分木（ＱＴ）ブロック分割構造をサポートしているため、すべての予測単位（ＰＵ）は正方形である。したがって、４５度から−１３５度までの予測角度の定義は、ＰＵ（予測単位）形状の観点から正当化される。サイズＮｘＮピクセルのターゲット予測単位の場合、上部の参照配列と左側の参照配列はそれぞれサイズ２Ｎ＋１のサンプルであり、すべてのターゲットピクセルの前述の角度範囲をカバーするために必要である。ＰＵの高さと幅が同じ長さであることを考えると、２つの参照配列の長さが等しいことも理にかなっている。
【００２６】
次のビデオコード化標準では、Ｊｏｉｎｔ  Ｅｘｐｌｏｒａｔｉｏｎ  Ｍｏｄｅｌ（ＪＥＭ）としてのＪＶＥＴの試みは、平面モードとＤＣモードに加えて６５の角度イントラ予測モードを使用することを提案している。ただし、予測方向は同じ角度範囲にわたって、つまり時計回りに４５度から−１３５度で定義される。サイズがＷＸＨピクセルのターゲットブロックの場合、上部の参照配列と左側の参照配列はそれぞれサイズ（Ｗ＋Ｈ＋１）ピクセルであり、すべてのターゲットピクセルの前述の角度範囲をカバーするために必要である。ＪＥＭでのこの角度の定義は、他の特定の理由というよりも、単純化のために行われたものである。ただし、そうすることで、何らかの非効率性が導入された。
【００２７】
ＪＥＭでは、圧縮性能が高いため、４分木構造だけでなく、４分木２分木（ＱＴＢＴ）ブロック分割構造を使用することが提案されている。常に正方形であるＱＴブロックとは異なり、ＢＴブロックは、水平または垂直の２分割により、幅と高さが等しくない長方形にすることができる。現在のＪＥＭコードでは、長方形のブロックのアスペクト比は２：１から８：１まで変化する可能性がある。したがって、様々な角度予測モードの考え方は、様々なオブジェクトの方向性をキャプチャすることであり、ＣＴＵをＣＵに分割するという考え方は、そのような方向性を有するオブジェクトまたはオブジェクトの一部をキャプチャすることである。したがって、ターゲットブロックの形状は、ブロック内のオブジェクトの方向性に構造的に関連している。ブロックの形状が長方形の場合、特定の予測方向が他の予測方向よりも発生する可能性が高い場合があるため、ＪＥＭの場合のように、予測方向の定義がターゲットブロックの形状と無関係であってはならない。
【００２８】
正方形のブロックの場合、構造的な対称性がある。正方形のブロックは、高さと幅の両方に沿って対称であるだけでなく、図１に見られるように、２つの参照配列に対して対称に配置されている。
【００２９】
図１は、上部と左側の参照配列を有する正方形のターゲットブロックを示す。ターゲットブロックは、２つの参照配列に対して対称に配置されている。予測方向は時計回りに４５度から−１３５度まで定義され、モード２は４５度の角度に対応し、モード６６は−１３５度の角度に対応する。
【００３０】
長方形のブロックの場合、これは現在定義されている方向ではそうではない。ブロックがフラット（つまり、Ｗ＞Ｈ）の場合、ブロックは上部の参照配列の近くに配置されるが、非対称である。同様に、ブロックの背が高い（つまり、Ｗ＜Ｈ）場合、ブロックは左側の参照配列の近くに配置されるが、非対称である。この非対称性を図２に示す。
【００３１】
図２は、長方形のターゲットブロック（左側がフラットブロック、右側がトールブロック）とその上部および左側の参照配列を示す。ターゲットブロックは、２つの参照配列に対して非対称に配置されている。
【００３２】
この非対称性の結果、一部の予測モードでは、ターゲットピクセルはより遠い参照配列から予測されるが、定義された角度のため、より近い参照配列は除外される。これを図３に示す。
【００３３】
図３は、長方形のターゲットブロック（左側がフラットブロック、右側がトールブロック）とその上部および左側の参照配列を示す。左側では、ターゲットピクセルＡの左側の参照配列に予測サンプルＬがあり、予測方向は水平である。上部の参照配列のサンプルＴはより近くにあるが、ＴがＡの予測サンプルになる可能性があるため、垂直予測方向はＪＥＭでは許容されていない。右の図は、トールブロック内のターゲットピクセルの類似のケースを示す。
【００３４】
ブロックが平坦または背が高いほど（つまり、長辺と短辺の比率が高いほど）、この非対称性はより顕著になる。予測が不正確であるため、実際のテスト結果に見られるように、このような予測モードの可能性は低くなる。
【００３５】
現在定義されている方向の非効率性に関するもう１つの論点は、水平方向と垂直方向の予測方向の数が等しいことである。ＪＥＭでは、対角モード（モード３４）を除いて、水平方向と垂直方向の両方に３２のモードがある。高さと幅の両方が等しい正方形のＣＵの場合、水平方向と垂直方向の両方に沿って同じ数の予測モードを有することは理にかなっている。ブロックが長方形で、一方の辺がもう一方の辺よりも長い場合、長辺の予測方向の数は、単にその辺の構造方向性の数が多い可能性があるということから、多くなるはずである。フラットブロックの場合、垂直モード番号と水平モード番号の比率は、幅と高さの比率程度であるはずである。同様に、トールブロックの場合、水平モード番号と垂直モード番号の比率は、高さと幅の比率程度であるはずである。考慮すべき関連点は、参照配列の長さである。高さと幅の両方が等しい正方形のＣＵの場合、参照配列の長さを同じにすることは理にかなっている。ただし、長方形のブロックの場合、直感的には、幅が高さよりも大きい場合、上部の参照配列には左側の配列よりも多くのサンプルがなくてはならない。
【００３６】
同様に、高さが幅よりも大きいブロックの場合、左側の参照配列には上部の配列よりも多くのサンプルがなくてはならない。この直感は、平坦な（背の高い）長方形のブロックには、水平（垂直）方向に沿ってより多くのサンプルまたは情報があるという事実に基づいている。同様に、背の高い長方形のブロックには、垂直方向に沿ってより多くのサンプルまたは情報がある。したがって、４５度から−１３５度までの現在定義されている方向は、水平方向と垂直方向の両方で同じ数の予測モード、および同じ長さの参照配列となり、長方形のブロックではやや非効率的である。
【００３７】
ＪＥＭでは、ＢＴ（２分木）ターゲットブロックは、幅と高さの長さに応じて様々な形状を有することができる。図７に示すように、長方形は幅Ｗと高さＨで定義される。図に示すように、Ａ、Ｂ、Ｃ、およびＤがその４つの頂点を表す場合、ＡＣはその主対角線であり、ＢＤはその二次対角線である。Ｗ＝Ｈの場合、正方形は特別な長方形である。図７は、長方形のブロックの属性を示す。
【００３８】
図５に示すように、幅Ｗおよび高さＨのターゲットブロックの場合、二次対角線に沿って、モード２は頂点Ｄから頂点Ｂに向かう方向に関連付けられ、モード６６は頂点Ｂから頂点Ｄに向かう方向に関連付けられる。対角線モードは、主対角線に沿って頂点Ａから頂点Ｃに向かう方向に関連付けられている。モード２から対角モードまでのすべてのモードは、左モードと呼ばれる。同様に、対角モードを含む対角モードからモード６６までのすべてのモードは、上モードと呼ばれる。左モードは水平方向に関連付けられている。同様に、上モードは、垂直方向に関連付けられている。水平モード、または完全水平モードは、０度の角度に対応する左モードである。垂直モード、または完全垂直モードは、−９０度の角度に対応する上モードである。
【００３９】
図５は、長方形のブロックの予測方向の定義を示す。モード２は、頂点Ｄから頂点Ｂに向かう二次対角線に沿っている。モード６６は、モード２とは反対の方向に沿っている。対角モードは、頂点Ａから頂点Ｃに向かう主対角線に沿っている。
【００４０】
図６は、上部の参照配列の長さが２Ｗ＋１、左側の参照配列の長さが２Ｈ＋１であることを示す。幅Ｗと高さＨは、図６の白いブロックの寸法である。
【００４１】
これらの予測方向をサポートするために、長さ２Ｗ＋１の上部の参照と長さ２Ｈ＋１の左側の参照を図６に示すように定義する。正方形のブロックの場合、図は図１の図と同じになり、ここでＷ＝Ｈ＝Ｎである。
【００４２】
注意すべきは、フラットブロックの場合、上部の参照の長さが左側の参照配列の長さよりも長いことである。左モードと比較した上モードの数も同様である。同様に、トールブロックの場合、その逆が当てはまる。その場合、左側の参照の長さは上部の参照配列の長さよりも長くなる。
【００４３】
さらに、ブロックの位置は参照配列に関して対称である。ターゲットブロックが正方形の場合、完全な対称性があり、図１のように、予測方向と参照配列の長さがＪＥＭ定義と正確に一致する。
【００４４】
上記の定義の利点は、ブロック形状による予測方向の適応性である。ここで注意すべきは、モード２および６６は、４５度の角度と−１３５度の角度に沿った方向に対応するように定義されておらず、むしろ二次対角線に沿った方向に対応するように定義されていることである。フラットブロックの場合、４５度付近を含むいくつかの方向が削除されるが、−１３５度の角度を超えてまったく反対方向に同じ数の方向が追加される。同様に、トールブロックの場合、−１３５度付近を含むいくつかの方向が削除されるが、４５度の角度を超えて、まったく反対の方向に同じ数の方向が追加される。４５度の角度からのモード２のオフセットを、（モード２と４５度の角度の間で）削除されたモードの数、または同等に、（角度−１３５度およびモード６６の間で）追加されたモードの数として定義される「ｍｏｄｅＳｈｉｆｔ」と呼ぶことにする。フラットブロックには正のｍｏｄｅＳｈｉｆｔがあるが、トールブロックには負のｍｏｄｅＳｈｉｆｔがある。正方形のブロックの場合、ｍｏｄｅＳｈｉｆｔは０に等しくなる。
【００４５】
ブロックのｍｏｄｅＳｈｉｆｔは、正方形ブロックの開始モードに対するその開始モード（つまりモード２）のオフセットを表す。明らかに、それはブロックの形状の関数である。重要な注意点は、ブロックのｍｏｄｅＳｈｉｆｔは、その幅と高さの絶対値に依存するのではなく、むしろそれらの比率に依存するということである。これを図７に示す。長方形ＡＢＣＤ（幅Ｗ１と高さＨ１）と長方形ＥＦＧＨ（幅Ｗ２と高さＨ２）の予測方向は同じ（したがって、同じｍｏｄｅＳｈｉｆｔ）である。三角形の相似性を使用して、Ｗ１／Ｗ２＝Ｈ１／Ｈ２であることを示すことができる。したがって、Ｗ１／Ｈ１＝Ｗ２／Ｈ２である。したがって、幅と高さの比率が同じ（またはその逆の）ブロックは、水平方向と垂直方向の両方で同じ予測モードになる。
【００４６】
図７は、同じアスペクト比（幅と高さの比率）を有するブロックの予測方向が同じであるため、ｍｏｄｅＳｈｉｆｔが同じであることを示す。
【００４７】
広角イントラ予測は、ブロックが長方形の場合に、より適切なイントラ予測方向のセットを定義することを目的としている。
【００４８】
非正方形ブロックの場合、一部の予測モードでは、ターゲットピクセルはより遠い参照配列から予測されるが、定義された角度のため、より近い参照配列は除外される。これを図３に示す。
【００４９】
図３は、長方形のターゲットブロック（左側がフラットブロック、右側がトールブロック）とその上部および左側の参照配列を示す。左側では、ターゲットピクセルＡの左側の参照配列に予測サンプルＬがあり、予測方向は水平である。上部の参照配列のサンプルＴはより近くにあるが、垂直予測方向は、ＴがＡの予測サンプルになる可能性があるため、ＶＴＭ／ＢＭＳでは許容されない。右の図は、トールブロック内のターゲットピクセルの類似のケースを示す。
【００５０】
非正方形ブロックの場合、いくつかの従来の角度イントラ予測モードを広角方向性モードに置き換えることが提案されている。置き換えられたモードは、元の方法を使用して通知され、解析後に広角モードのインデックスに再マップされる。イントラ予測モードの総数は変更されておらず、イントラモードのコード化も変更されていない。
【００５１】
これらの予測方向をサポートするために、長さ２Ｗ＋１の上部参照と、長さ２Ｈ＋１の左側参照を定義することが提案されている。
【００５２】
図６は、上部の参照配列の長さが２Ｗ＋１、左側の参照配列の長さが２Ｈ＋１であることを示す。正方形のブロックの場合、参照配列の方向と長さはＶＴＭ／ＢＭＳの場合と同じである。
【００５３】
図８は、６５のイントラ方向性モードが使用されている場合のイントラ予測方向を示す。対角モードは、モード＃２（−１３５度）とモード＃６６（４５度）に対応する。いくつかの例が３５のイントラ方向性モードで示されているとしても、本明細書で説明される実施形態は、この場合にも適用される。
【００５４】
図９は、３５のイントラ方向性モードの場合に、非正方形ブロックの角度イントラモードが広角モードに置き換えられる方法の例を示す。この例では、モード２とモード３は広角モード３５とモード３６に置き換えられ、モード３５の方向はモード３の反対方向を指し、モード３６の方向はモード４の反対方向を指している。
【００５５】
図９は、平坦な長方形（幅＞高さ）の場合のイントラ方向の置き換えを示す。この例では、２つのモード（＃２と＃３）が広角モード（３５と３６）に置き換えられている。
【００５６】
図８の６５のイントラ方向性モードの場合、広角イントラ予測は最大１０のモードを転送することができる。ブロックが高さよりも広い幅を有する場合、例えば、モード＃２からモード＃１１が削除され、モード＃６７から＃７６が、本明細書に記載の一般的な実施形態の下で追加される。
【００５７】
ＰＤＰＣは、将来の標準Ｈ．２６６／ＶＶＣのドラフトで現在採用されているように、いくつかのイントラモード、すなわち、平面、ＤＣ、水平、垂直、対角モード、およびいわゆる隣接対角モード、つまり対角に近い方向に適用される。図３の例では、対角モードはモード２と３４に対応している。対角方向ごとに２つの隣接モードが追加される場合、隣接モードには、例えば、モード３、４、３２、３３を含めることができる。採用されたＰＤＰＣの現在の設計では、対角線ごとに８つのモード、つまり合計１６の隣接対角線モードが考慮されている。対角モードと隣接対角モードのＰＤＰＣは以下に詳述される。
【００５８】
図４（ａ）は、ＰＤＰＣを右上対角モードに拡張するための参照サンプルＲx、-1、Ｒ-1、y、およびＲ-1、-1の定義を示す。予測サンプルｐｒｅｄ（ｘ’、ｙ’）は、予測ブロック内の（ｘ’、ｙ’）にある。参照サンプルＲx、-1の座標ｘは、式、ｘ＝ｘ’＋ｙ’＋１で得られ、参照サンプルＲ-1、yの座標ｙは同様に式、ｙ＝ｘ’＋ｙ’＋１で得られる。
【００５９】
右上対角モードのＰＤＰＣの重みは次のとおりである。
ｗＴ＝１６＞＞（（ｙ’＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝１６＞＞（（ｘ’＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０。
【００６０】
図４は、対角および隣接角イントラモードへのＰＤＰＣ拡張によって使用されるサンプルの定義を示している。
【００６１】
同様に、図４（ｂ）は、ＰＤＰＣを左下対角モードに拡張するための参照サンプルＲx、-1、Ｒ-1、y、およびＲ-1、-1の定義を示す。参照サンプルＲx、-1の座標ｘは、式、ｘ＝ｘ’＋ｙ’＋１で得られ、参照サンプルＲ-1、yの座標ｙは、ｙ＝ｘ’＋ｙ’＋１である。右上対角モードのＰＤＰＣの重みは、ｗＴ＝１６＞＞（（ｙ’＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝１６＞＞（（ｘ’＜＜１）＞＞ｓｈｉｆｔ）、ｗＴＬ＝０である。隣接右上対角モードの場合を図４（ｃ）に示す。隣接右上対角モードのＰＤＰＣの重みは、ｗＴ＝３２＞＞（（ｙ’＜＜１）＞＞ｓｈｉｆｔ）、ｗＬ＝０、ｗＴＬ＝０である。同様に、隣接左下対角モードの場合を図４（ｄ）に示す。隣接左下対角モードのＰＤＰＣの重みは、ｗＬ＝３２＞＞（（ｘ’＜＜１）＞＞ｓｈｉｆｔ）、ｗＴ＝０、ｗＴＬ＝０である。最後の２つのケースの参照サンプル座標は、角度モードのイントラ予測にすでに使用されているテーブルを使用して計算される。分数参照サンプル座標が計算される場合、参照サンプルの線形補間が使用される。
【００６２】
対角モードと隣接対角モードの場合、広角イントラ予測との相互作用が存在する。
【００６３】
まず、現在のＪＥＭ設計では、図１に示すように、任意のブロックで利用可能な参照サンプルが、サイズが幅＋高さ＋１の上部の線分と左側の線分に位置している。対角線角の場合、Ｒ（ｘ、−１）とＲ（−１、ｙ）の両方が常に利用可能であるため、ＰＤＰＣはブロック内の任意のピクセルに適用することができる。これは、ブロックの右下のピクセルを通過する線が利用可能なサンプルセグメントと交差しない場合がある隣接対角線角には当てはまらない。その場合、ＰＤＰＣはブロック全体に部分的に適用されるため、参照サンプルの可用性をピクセル単位でテストする必要がある。これは、実装の複雑性に関する問題と見なすことができる。
【００６４】
説明されている一般的な態様のいくつかの実施形態も、この問題を解決することを目的としている。
【００６５】
説明した実施形態では、非正方形ブロックの場合にＰＤＰＣが適用されるモードのセットを変更することが提案されている。
【００６６】
現在のＪＥＭ設計では、隣接モードのセットには拡張モードが含まれていない。例えば、図３では、モード＃３５および＃３６は、ＰＤＰＣの恩恵を受けることができない。
【００６７】
隣接対角モードを追加された広角モードに拡張することが提案されている。
【００６８】
変形例１：
ＰＤＰＣは、対角モードと隣接対角モードに加えて、すべての広角モードに適用される。
【００６９】
変形例２：
ＰＤＰＣは、対角モードの両側から同数の隣接モードに適用される。
【００７０】
変形例３：
隣接モードでは、ブロック全体にＰＤＰＣを部分的に適用するという問題が発生することから、参照サンプルが常に利用可能であるとは限らないため、ＰＤＰＣを既存の隣接モード、例えば、図３のモード３３に適用するのではなく、参照サンプルがこれらの方向の両側で利用可能であるため、拡張方向に適用することが提案されている。
【００７１】
変形例４：
非正方形ブロックの場合、現在の場合ように対角モードを４５度または−１３５度とは見なさず、最後に拡張された広い方向を対角線と見なし、この新しい方向への隣接角度をＰＤＰＣの隣接対角モードと見なす。
【００７２】
図４で説明されているように、隣接対角モードの場合のＰＤＰＣでは、上部と左側の両方の参照サンプルが利用可能である必要がある。
【００７３】
ＪＶＥＴ−Ｋ０５００に示されているように、広角イントラ予測は、参照サンプルバッファのサイズを、左と上の両方の行のｗｉｄｔｈ＋ｈｅｉｇｈｔ＋１から、それぞれ左、右参照バッファの２＊ｈｅｉｇｈｔ＋１と２＊ｈｅｉｇｈｔ＋１に、それぞれ変更する。これにより、ＰＤＰＣで利用可能なサンプルが変更される。
【００７４】
変形例５：
最小側に関連する参照サンプルバッファのサイズを低減しないことが提案されている。例えば、図２（左側）のようなフラットブロックの場合、２＊ｈｅｉｇｈｔ＋１の代わりにｗｉｄｔｈ＋ｈｅｉｇｈｔ＋１サンプルを使用する。これにより、現在の設計のブロック全体に適用することができるが、サイズが２＊ｈｅｉｇｈｔ＋１に変更された場合、現在のブロックの右下のいくつかのサンプルには適用できない対角ＰＤＰＣのケースが解決される。その場合、すべての広角モードもＰＤＰＣの恩恵を十分に受けることができ、つまり、ブロックのすべてのサンプルを処理することができる。
【００７５】
変形例６：
参照バッファのサイズが拡張されていない場合、利用可能な参照サンプルがないときにＰＤＰＣの使用を制約せず、行の最後の参照サンプルの値を取得する。
【００７６】
ここで説明する一般的な態様を使用してビデオデータのブロックを符号化するための方法１０００の一実施形態を図１０に示す。この方法は、開始ブロック１００１で開始され、制御は、非正方形ビデオブロックの上の行からのＮ個の参照サンプルのうちの少なくとも１つまたは非正方形ビデオブロックの左側の列からのＭ個の参照サンプルのうちの少なくとも１つを使用して、非正方形ビデオブロックのサンプルを予測するための機能ブロック１０１０に進む。次に、制御は、ブロック１０１０からブロック１０２０に進み、イントラコード化モードにおいて、該予測を使用して、非正方形ビデオブロックを符号化する。
【００７７】
ここで説明する一般的な態様を使用してビデオデータのブロックを復号化するための方法１１００の一実施形態を図１１に示す。この方法は、開始ブロック１１０１で開始され、制御は、非正方形ビデオブロックの上の行からのＮ個の参照サンプルのうちの少なくとも１つまたは非正方形ビデオブロックの左側の列からのＭ個の参照サンプルのうちの少なくとも１つを使用して、非正方形ビデオブロックのサンプルを予測するための機能ブロック１１１０に進む。次に、制御は、ブロック１１１０からブロック１１２０に進み、イントラコード化モードにおいて、該予測を使用して、非正方形ビデオブロックを復号化する。
【００７８】
図１２は、ビデオデータのブロックを符号化または復号化するための装置１２００の一実施形態を示している。この装置は、プロセッサ１２１０を備え、少なくとも１つのポートを介してメモリ１２２０に相互接続することができる。プロセッサ１２１０およびメモリ１２２０の両方はまた、外部接続への１つ以上の追加の相互接続を有することができる。
【００７９】
プロセッサ１２１０は、非正方形ビデオブロックの上の行からのＮ個の参照サンプルのうちの少なくとも１つ、または非正方形ビデオブロックの左側の列からのＭ個の参照サンプルのうちの少なくとも１つを使用して非正方形ビデオブロックを符号化または復号化し、およびイントラコード化モードにおいて、予測を使用して、非正方形ビデオブロックを符号化または復号化するように構成されている。
【００８０】
本文書では、ツール、特徴、実施形態、モデル、アプローチなどを含む様々な態様について説明する。これらの態様の多くは、特異的に、また、少なくとも個々の特性を示すために説明されており、しばしば限定的に聞こえ得るように説明される。ただし、これは説明を明確にするためのものであり、これらの態様の適用または範囲を限定するものではない。実際、様々な態様のすべてを組み合わせて、交換し、さらなる態様を提供することができる。さらに、これらの態様は、以前の出願で説明された態様とも組み合わせて、交換することができる。
【００８１】
本文書で説明および企図される実施形態は、多くの異なる形式で実装することができる。以下の図１３、図１４、および図１５は、いくつかの実施形態を提供するが、他の実施形態が企図されており、図１３、図１４、および図１５の考察は、実装形態の幅を限定するものではない。これらの態様のうちの少なくとも１つは、概して、ビデオ符号化および復号化に関連し、少なくとも１つの他の態様は、概して、生成または符号化されたビットストリームを送信することに関連する。これらおよび他の態様は、方法、装置、説明された方法のいずれかに従ってビデオデータを符号化または復号化する命令を記憶するコンピュータ可読記憶媒体、および／または説明された方法のいずれかに従って生成されるビットストリームを記憶するコンピュータ可読記憶媒体として実装することができる。
【００８２】
本出願では、「再構築された」および「復号化された」という用語は互換的に使用され得、「ピクセル」および「サンプル」という用語は互換的に使用され得、「画像」、「ピクチャ」、および「フレーム」という用語は互換的に使用され得る。必ずしもではないが、通常は、「再構築された」という用語は、エンコーダ側で使用され、一方で「復号化された」は、デコーダ側で使用される。
【００８３】
様々な方法が本明細書で説明されており、各方法は、説明された方法を達成するための１つ以上のステップまたは動作を含む。本方法の正しい操作のために特定の順序のステップまたは動作が必要でない限り、特定のステップおよび／または動作の順序および／または使用を、変更してもよく、または組み合わせてもよい。
【００８４】
本文書に記載されている様々な方法および他の態様を使用して、図１３および図１４に示すようなビデオエンコーダ１００およびデコーダ２００のモジュール、例えば、イントラ予測、エントロピーコード化、および／または復号化モジュール（１６０、３６０、１４５、３３０）を変更することができる。さらに、本態様はＶＶＣまたはＨＥＶＣに限定されず、例えば、既存かまたは将来開発されるかどうかにかかわらず、他の規格および推奨事項、ならびにそのような規格および推奨事項（ＶＶＣ  およびＨＥＶＣを含む）の拡張に適用することができる。特に明記されていない限り、または技術的に除外されていない限り、本文書で説明されている態様は、個別に、または組み合わせて使用することができる。
【００８５】
本文書では、例えば、｛｛１，０｝，｛３，１｝，｛１，１｝｝といった様々な数値を使用している。特定の値は例示を目的とし、説明される態様はこれらの特定の値に限定されない。
【００８６】
図１３は、エンコーダ１００を示している。このエンコーダ１００の変形が企図されるが、エンコーダ１００は、すべての予想される変形を説明することなく、明確にするために以下に説明される。
【００８７】
符号化される前に、ビデオシーケンスは事前コード化処理（１０１）、例えば、入力色ピクチャに色変換（例えば、ＲＧＢ  ４：４：４からＹＣｂＣｒ  ４：２：０への変換）を適用すること、または、（例えば、色成分のうちの１つのヒストグラム等化を使用して）圧縮に対してより復元力のある信号分布を得るために、入力ピクチャ成分の再マッピングを実行することを経る場合がある。メタデータは、前処理に関連付けてビットストリームに添付することができる。
【００８８】
例示的なエンコーダ１００において、ピクチャは、以下に説明するように、エンコーダ要素によって符号化される。符号化されるピクチャは、分割され（１０２）、例えば、ＣＵの単位で処理される。各単位は、例えば、イントラモードまたはインターモードのいずれかを使用して符号化される。単位がイントラモードで符号化されるとき、イントラ予測（１６０）を実行する。インターモードにおいて、動き推定（１７５）および動き補償（１７０）が行われる。エンコーダは、イントラモードまたはインターモードのどちらをその単位の符号化に使用するかを判断し（１０５）、例えば、予測モードフラグによって、イントラ／インター判断を示す。予測残差は、例えば、元の画像ブロックから予測されたブロックを減算すること（１１０）によって、計算される。
【００８９】
次いで、予測残差が変換され（１２５）、量子化される（１３０）。量子化された変換係数に加えて、動きベクトルおよび他の構文要素は、ビットストリームを出力するためにエントロピーコード化される（１４５）。エンコーダは、変換をスキップし、非変換残差信号に直接量子化を適用し得る。エンコーダは、変換および量子化の両方をバイパスすることもでき、すなわち、残差は、変換または量子化プロセスを適用せずに直接コード化される。
【００９０】
エンコーダは、符号化されたブロックを復号化して、さらに予測するための参照を提供する。量子化された変換係数は非量子化され（１４０）、逆変換され（１５０）、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて（１５５）、画像ブロックが再構築される。ループ内フィルタ（１６５）は、再構築されたピクチャに適用され、例えば、デブロッキング／ＳＡＯ（サンプル適応オフセット）フィルタリングを行い、符号化アーティファクトを低減する。フィルタリングされた画像は、参照ピクチャバッファ（１８０）に記憶される。
【００９１】
図１４は、ビデオデコーダ２００のブロック図を示している。デコーダ２００において、ビットストリームは、以下に説明するように、デコーダ要素によって復号化される。ビデオデコーダ２００は、概して、図１３で説明されたような符号化パスの逆の復号化パスを行う。エンコーダ１００はまた、概して、ビデオデータの符号化の一部としてビデオ復号化を実行する。
【００９２】
特に、デコーダの入力は、ビデオエンコーダ１００によって生成され得るビデオビットストリームを含む。まず、ビットストリームがエントロピー復号化され（２３０）、変換係数、動きベクトル、および他のコード化された情報を取得する。ピクチャ分割情報は、ピクチャがどのように分割されているかを示す。したがって、デコーダは、復号化されたピクチャ分割情報に従ってピクチャを分割することができる（２３５）。変換係数は非量子化され（２４０）、逆変換され（２５０）、予測残差を復号化する。復号化された予測残差と予測されたブロックとを組み合わせて（２５５）、画像ブロックが再構築される。予測されたブロックは、イントラ予測（２６０）または動き補償予測（すなわち、インター予測）（２７５）から取得され得る（２７０）。ループ内フィルタ（２６５）は、再構築された画像に適用される。フィルタリングされた画像は、参照ピクチャバッファ（２８０）に記憶される。
【００９３】
復号化されたピクチャは、復号化後処理（２８５）、例えば、逆色変換（例えば、ＹＣｂＣｒ  ４：２：０からＲＧＢ  ４：４：４への変換）または事前符号化処理（１０１）で行われる再マッピングプロセスの逆を実行する逆再マッピングをさらに経ることができる。復号化後処理では、事前符号化処理で導出され、ビットストリームで信号通知されるメタデータを使用することができる。
【００９４】
図１５は、様々な実施形態が実装されるシステムの一例のブロック図を示す。システム１０００は、以下で説明される様々な構成要素を含むデバイスとして具体化することができ、本文書で説明される態様の１つ以上を実行するように構成されている。このようなデバイスの例には、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受像機、パーソナルビデオ録画システム、コネクテッド家電、およびサーバなどの様々な電子デバイスが含まれるが、これらに限定されない。システム１０００の要素は、単独でも組み合わせでも、１つの集積回路、複数のＩＣ、および／またはディスクリート部品に具体化され得る。例えば、少なくとも１つの実施形態において、システム１０００の処理およびエンコーダ／デコーダ要素は、複数のＩＣおよび／またはディスクリート部品にわたって分散している。様々な実施形態において、システム１０００は、他の同様のシステムに、または他の電子デバイスに、例えば、通信バスを介して、または専用の入力および／もしくは出力ポートを通して、通信可能に結合される。様々な実施形態において、システム１０００は、本文書に記載の態様のうちの１つ以上を実装するように構成される。
【００９５】
システム１０００は、例えば、本文書に記載の様々な態様を実装する際に、読み込まれた命令を実行するように構成された少なくとも１つのプロセッサ１０１０を含む。プロセッサ１０１０は、当技術分野で周知であるように、埋め込みメモリ、入出力インターフェース、および他の様々な回路を含み得る。システム１０００は、少なくとも１つのメモリ１０２０（例えば、揮発性メモリデバイス、および／または不揮発性メモリデバイス）を含む。システム１０００は、ストレージデバイス１０４０を含み、これには、ＥＥＰＲＯＭ、ＲＯＭ、ＰＲＯＭ、ＲＡＭ、ＤＲＡＭ、ＳＲＡＭ、フラッシュ、磁気ディスクドライブ、および／または光ディスクドライブが含まれるがこれらに限定されない、不揮発性メモリおよび／または揮発性メモリが含まれ得る。ストレージデバイス１０４０は、非限定的な例として、内部ストレージデバイス、付属のストレージデバイス、および／またはネットワークアクセス可能なストレージデバイスを含み得る。
【００９６】
システム１０００は、例えば、符号化されたビデオまたは復号化されたビデオを提供するためにデータを処理するように構成されたエンコーダ／デコーダモジュール１０３０を含み、エンコーダ／デコーダモジュール１０３０は、独自のプロセッサおよびメモリを含み得る。エンコーダ／デコーダモジュール１０３０は、符号化機能および／または復号化機能を実行するデバイスに含まれ得るモジュール（複数可）を表す。周知であるように、デバイスは、符号化および復号化モジュールの一方または両方を含み得る。さらに、エンコーダ／デコーダモジュール１０３０は、システム１０００の別個の要素として実装されてもよく、または、当業者には周知であるように、ハードウェアとソフトウェアとの組み合わせとして、プロセッサ１０１０内に組み込まれてもよい。
【００９７】
本文書に記載の様々な態様を実行するためにプロセッサ１０１０またはエンコーダ／デコーダ１０３０に読み込まれるプログラムコードは、ストレージデバイス１０４０に格納され、続いて、プロセッサ１０１０による実行のためにメモリ１０２０に読み込まれ得る。様々な実施形態によれば、プロセッサ１０１０、メモリ１０２０、ストレージデバイス１０４０、およびエンコーダ／デコーダモジュール１０３０のうちの１つ以上は、本文書に記載のプロセスの実行中、様々な項目のうちの１つ以上を格納することができる。このような格納される項目には、入力ビデオ、復号化されたビデオまたは復号化されたビデオの一部、ビットストリーム、行列、変数、また方程式、式、演算、およびオペレーショナルロジックの処理からの中間結果または最終結果が含まれ得るが、これらに限定されない。
【００９８】
いくつかの実施形態において、プロセッサ１０１０および／またはエンコーダ／デコーダモジュール１０３０の内部のメモリを使用して、命令を格納し、符号化または復号化中に必要とされる処理のために、ワーキングメモリを提供する。しかしながら、他の実施形態において、処理デバイス（例えば、処理デバイスは、プロセッサ１０１０またはエンコーダ／デコーダモジュール１０３０のいずれかであり得る）の外部のメモリは、これらの機能のうちの１つ以上に使用される。外部メモリは、メモリ１０２０および／またはストレージデバイス１０４０であり得、例えば、ダイナミック揮発性メモリおよび／または不揮発性フラッシュメモリであり得る。いくつかの実施形態において、テレビのオペレーティングシステムを格納するのに外部不揮発性フラッシュメモリが使用される。少なくとも１つの実施形態において、ＲＡＭなどの高速外部ダイナミック揮発性メモリが、ＭＰＥＧ−２、ＨＥＶＣ、またはＶＶＣ（バーサタイルビデオコード化）など、ビデオコード化および復号化作業に、ワーキングメモリとして使用される。
【００９９】
システム１０００の要素への入力は、ブロック１１３０に示されるような様々な入力デバイスを通して提供され得る。このような入力デバイスには、（ｉ）例えば、ブロードキャスタによって無線通信経由で、送信されたＲＦ信号を受信するＲＦ部、（ｉｉ）コンポジット入力端子、（ｉｉｉ）ＵＳＢ入力端子、および／または（ｉｖ）ＨＤＭＩ入力端子が含まれるが、これらに限定されない。
【０１００】
様々な実施形態において、ブロック１１３０の入力デバイスは、当技術分野で周知であるような対応するそれぞれの入力処理要素を有する。例えば、ＲＦ部は、（ｉ）所望の周波数を選択する（信号を選択する、またはある周波数帯域に信号を帯域制限する、とも称される）、（ｉｉ）選択された信号をダウンコンバートする、（ｉｉｉ）（例えば）ある特定の実施形態ではチャネルと称される場合がある信号周波数帯域を選択するために、より狭い周波数帯域に再び帯域制限する、（ｉｖ）ダウンコンバートされ、帯域制限された信号を復調する、（ｖ）誤り訂正を実行する、および（ｖｉ）逆多重化して、所望のデータパケットストリームを選択する要素に関連付けられ得る。様々な実施形態のＲＦ部には、これらの機能、例えば、周波数セレクタ、信号セレクタ、帯域リミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、誤り訂正器、およびデマルチプレクサを実行する１つ以上の要素が含まれる。ＲＦ部には、例えば、受信された信号をより低い周波数に（例えば、中間周波数またはベースバンドに近い周波数）、またはベースバンドにダウンコンバートすることを含む、様々なこれらの機能を実行する波長調整器が含まれ得る。１つのセットトップボックス実施形態において、ＲＦ部およびその関連付けられた入力処理要素は、有線（例えば、ケーブル）媒体経由で送信されたＲＦ信号を受信し、フィルタ処理し、ダウンコンバートし、所望の周波数帯域に再びフィルタ処理することによって、周波数選択を実行する。様々な実施形態では、上記（および他の）要素の順番が並べ替えられ、これらの要素のうちのいくつかが取り除かれ、かつ／または同様または異なる機能を実行する他の要素が加えられる。要素を加えることには、既存の要素間に要素を挿入すること、例えば、増幅器およびアナログ−デジタル変換器を挿入することが含まれ得る。様々な実施形態において、ＲＦ部には、アンテナが含まれる。
【０１０１】
また、ＵＳＢおよび／またはＨＤＭＩ端子は、ＵＳＢおよび／またはＨＤＭＩ接続にわたる他の電子デバイスにシステム１０００を接続するためのそれぞれのインターフェースプロセッサを含み得る。入力処理の様々な態様、例えば、リード・ソロモン誤り訂正が、例えば、別個の入力処理ＩＣ内またはプロセッサ１０１０内で実装され得ることを理解されたい。同様に、ＵＳＢまたはＨＤＭＩインターフェース処理の態様が、別個のインターフェースＩＣ内またはプロセッサ１０１０内で実装され得る。例えば、出力デバイス上での表示のために、データストリームを処理するように、メモリおよび記憶要素と組んで動作するプロセッサ１０１０、およびエンコーダ／デコーダ１０３０を含む、様々な処理要素に、復調され、誤り訂正され、かつ逆多重化されたストリームが提供される。
【０１０２】
システム１０００の様々な要素は、一体型ハウジング内に提供され得、一体型ハウジング内では、様々な要素は、相互接続して、好適な接続配置１１４０、例えば、Ｉ２Ｃバス、配線、およびプリント回路基板を含む、当技術分野で周知であるような内部バスを使用して、それらの間でデータを送信することができる。
【０１０３】
システム１０００は、通信チャネル１０６０を介して他のデバイスとの通信を可能にする通信インターフェース１０５０を含む。通信インターフェース１０５０には、通信チャネル１０６０経由でデータを送受信するように構成されたトランシーバが含まれ得るが、これに限定されない。通信インターフェース１０５０には、モデムまたはネットワークカードが含まれ得るが、これらに限定されず、通信チャネル１０６０は、例えば、有線および／または無線媒体内に実装され得る。
【０１０４】
様々な実施形態において、データは、ＩＥＥＥ８０２．１１などの無線ネットワークを使用して、システム１０００にストリーミングされる。これらの実施形態の無線信号は、例えば、Ｗｉ−Ｆｉ通信に適合された通信チャネル１０６０および通信インターフェース１０５０を介して受信される。これらの実施形態の通信チャネル１０６０は、通常、アクセスポイントまたはルータに接続され、アクセスポイントまたはルータは、アプリケーションをストリーミングすることおよび他のオーバー・ザ・トップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供する。他の実施形態は、入力ブロック１１３０のＨＤＭＩ接続経由でデータを配信するセットトップボックスを使用して、ストリーミングされたデータをシステム１０００に提供する。さらに他の実施形態は、入力ブロック１１３０のＲＦ接続を使用して、ストリーミングされたデータをシステム１０００に提供する。
【０１０５】
システム１０００は、ディスプレイ１１００、スピーカ１１１０、および他の周辺デバイス１１２０を含む、様々な出力デバイスに出力信号を提供することができる。他の周辺デバイス１１２０には、様々な実施形態例において、スタンドアローンＤＶＲ、ディスクプレーヤ、ステレオシステム、照明システム、およびシステム１０００の出力に基づき、機能を提供する他のデバイスのうちの１つ以上が含まれる。様々な実施形態において、システム１０００と、ディスプレイ１１００、スピーカ１１１０、または他の周辺デバイス１１２０との間で、ＡＶリンク、ＣＥＣ、またはユーザの介入の有無に関わらず、デバイス・ツー・デバイス制御を可能にする他の通信プロトコルなどの信号通知を使用して、制御信号が伝達される。出力デバイスは、それぞれのインターフェース１０７０、１０８０、および１０９０を通して専用接続を介してシステム１０００に通信可能に結合され得る。代替的に、出力デバイスは、通信インターフェース１０５０を介して、通信チャネル１０６０を使用してシステム１０００に接続され得る。ディスプレイ１１００およびスピーカ１１１０は、例えば、テレビである電子デバイス内のシステム１０００の他の構成要素と、単一のユニットに統合され得る。様々な実施形態において、ディスプレイインターフェース１０７０には、例えば、タイミングコントローラ（Ｔ  Ｃｏｎ）チップであるディスプレイドライバが含まれる。
【０１０６】
代替的に、ディスプレイ１１００およびスピーカ１１１０は、例えば、入力１１３０のＲＦ部が別個のセットトップボックスの一部である場合、他の構成要素のうちの１つ以上とは別個であってもよい。ディスプレイ１１００およびスピーカ１１１０が外部構成要素である様々な実施形態において、例えば、ＨＤＭＩポート、ＵＳＢポート、またはＣＯＭＰ出力部を含む専用出力接続を介して出力信号が提供され得る。
【０１０７】
実施形態は、プロセッサ１０１０によって実装されるコンピュータソフトウェアによって、またはハードウェアによって、またはハードウェアとソフトウェアとの組み合わせによって、実施されてもよい。非限定的な例として、実施形態は、１つ以上の集積回路によって実装され得る。メモリ１０２０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、光メモリデバイス、磁気メモリデバイス、半導体ベースのメモリデバイス、固定メモリ、および取り外し可能なメモリなどの任意の適切なデータストレージ技術を使用して実装され得る。プロセッサ１０１０は、技術的環境に適切な任意のタイプのものであり得、非限定的な例として、マイクロプロセッサ、汎用コンピュータ、専用コンピュータ、およびマルチコアアーキテクチャに基づくプロセッサのうちの１つ以上を包含し得る。
【０１０８】
様々な実装には復号化が含まれる。本出願で使用される「復号化」は、表示に適した最終出力を生成するために、例えば、受信した符号化されたシーケンスに対して実行されるプロセスのすべてまたは一部を包含することができる。様々な実施形態では、そのようなプロセスは、典型的にはデコーダによって実行される１つまたは複数のプロセス、例えば、エントロピー復号化、逆量子化、逆変換、および差動復号化を含む。様々な実施形態では、そのようなプロセスはまた、または代替的に、本出願で説明される様々な実装のデコーダによって実行されるプロセス、例えば、様々なイントラ予測参照配列に使用される重みのインデックスを抽出することを含む。
【０１０９】
さらなる例として、一実施形態では、「復号化」は、エントロピー復号化のみを指し、別の実施形態では、「復号化」は、差動復号化のみを指し、別の実施形態では、「復号化」は、エントロピー復号化と差動復号化の組み合わせを指す。「復号化プロセス」という句が、具体的に操作のサブセットを指すことを意図するのか、または概してより広い復号化プロセスを指すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。
【０１１０】
様々な実装には符号化が伴う。「復号化」に関する上記の説明と同様に、本出願で使用される「符号化」は、例えば、符号化されたビットストリームを生成するために入力ビデオシーケンスに対して実行されるプロセスのすべてまたは一部を包含することができる。様々な実施形態では、そのようなプロセスは、典型的にはエンコーダによって実行される１つ以上のプロセス、例えば、分割、差動符号化、変換、量子化、およびエントロピー符号化を含む。様々な実施形態では、そのようなプロセスはまた、または代替的に、本出願で説明される様々な実装のエンコーダによって実行されるプロセス、例えば、イントラ予測参照配列の重み付けを含む。
【０１１１】
さらなる例として、一実施形態では、「符号化」は、エントロピー符号化のみを指し、別の実施形態では、「符号化」は、差動符号化のみを指し、別の実施形態では、「符号化」は、差動符号化とエントロピー符号化の組み合わせを指す。「符号化プロセス」という句が、具体的に操作のサブセットを指すことを意図するのか、または概してより広い符号化プロセスを指すことを意図するのかは、特定の説明の文脈に基づいて明確になり、当業者によって十分に理解されると考えられる。
【０１１２】
なお、本明細書で使用されている構文要素は説明的な用語である。そのため、他の構文要素名の使用を排除するものではない。
【０１１３】
図がフロー図として提示される場合、それは対応する装置のブロック図も提供することを理解されたい。同様に、図がブロック図として提示される場合、それは対応する方法／プロセスのフロー図も提供することを理解されたい。
【０１１４】
様々な実施形態は、レート歪み計算またはレート歪み最適化を参照する。特に、符号化プロセス中、多くの場合、計算の複雑さの制約を考慮して、レートと歪みのバランスまたはトレードオフが通常考慮される。レート歪みの最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するものとして定式化される。レート歪みの最適化問題を解決するには、様々なアプローチがある。例えば、アプローチは、考慮されるすべてのモードまたはコード化パラメータ値を含むすべての符号化オプションの広範なテストに基づいて、コード化および復号化後に再構築された信号のコード化コストおよび関連する歪みを完全に評価することができる。特に、再構築された信号ではなく、予測または予測残差信号に基づいて近似歪みを計算することによって、符号化の複雑さを軽減するために、より高速なアプローチを使用することもできる。可能な符号化オプションの一部にのみ近似歪みを使用し、他の符号化オプションに完全な歪みを使用するなどによって、これら２つのアプローチを組み合わせて使用することもできる。他のアプローチでは、可能な符号化オプションのサブセットのみを評価する。より一般的には、多くのアプローチは最適化を実行するために様々な手法のいずれかを採用するが、最適化は必ずしもコード化コストと関連する歪みの両方の完全な評価ではない。
【０１１５】
本明細書で説明された実装形態および態様は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。単一の実装形態の文脈でのみ考察された（例えば、方法としてのみ考察された）としても、考察された特徴の実装はまた、他の形態（例えば、装置またはプログラム）で実装することができる。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装することができる。方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブル論理デバイスを含む処理デバイス全般を指す、例えば、プロセッサに実装することができる。プロセッサは、通信デバイス、例えば、コンピュータ、携帯電話機、ポータブル／パーソナルデジタルアシスタンス（「ＰＤＡ」）、およびエンドユーザ間の情報の伝達を容易にする他のデバイスなども含む。
【０１１６】
「一実施形態（ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ）」もしくは「実施形態（ａｎ  ｅｍｂｏｄｉｍｅｎｔ）」または「一実装形態（ｏｎｅ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」もしくは「実装形態（ａｎ  ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）」、ならびにそれらの他の変形への言及は、本実施形態に関連して説明された特定の特徴、構造、特性などが、少なくとも１つの実施形態に含まれることを意味する。したがって、本文書全体にわたって様々な箇所においてみられる、「一実施形態では」もしくは「実施形態では」または「一実装形態では」もしくは「実装形態では」という句、ならびに任意の他の変形の出現は、必ずしもすべてが同じ実施形態を指しているわけではない。
【０１１７】
さらに、本文書は、情報の様々な部分を「決定すること」に言及する場合がある。情報の決定には、例えば、情報の推定、情報の計算、情報の予測、またはメモリからの情報の検索のうちの１つ以上が含まれ得る。
【０１１８】
さらに、本文書は、情報の様々な部分に「アクセスすること」に言及する場合がある。情報にアクセスすることには、例えば、情報を受信する、（例えば、メモリから）情報を検索する、情報を格納する、情報を移動させる、情報をコピーする、情報を計算する、情報を推定する、情報を予測する、または情報を判断することのうちの１つ以上が含まれ得る。
【０１１９】
さらに、本文書は、情報の様々な部分を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることが意図されている。情報を受信することには、例えば、情報へのアクセス、または（例えば、メモリからの）情報の検索のうちの１つ以上が含まれ得る。さらに、「受信すること」は、典型的には、何らかの方法で、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の消去、情報の計算、情報の決定、情報の予測、または情報の推定などの動作中に含まれる。
【０１２０】
例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、ならびに「ＡおよびＢのうちの少なくとも１つ」の場合、「／」、「および／または」、ならびに「のうちの少なくとも１つ」のいずれかの使用は、最初に挙げた選択肢（Ａ）のみの選択、または２番目に挙げた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を網羅することを意図していることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」ならびに「Ａ、ＢおよびＣのうちの少なくとも１つ」の場合、このような言い回しは、最初に挙げた選択肢（Ａ）のみの選択、または２番目に挙げた選択肢（Ｂ）のみの選択、または３番目に挙げた選択肢（Ｃ）のみの選択、または最初および２番目に挙げた選択肢（ＡおよびＢ）のみの選択、または最初および３番目に挙げた選択肢（ＡおよびＣ）のみの選択、または２番目および３番目に挙げた選択肢（ＢおよびＣ）のみの選択、または全３つの選択肢（Ａ、ＢおよびＣ）の選択、を網羅することを意図している。これは、当技術分野および関連する技術分野の当業者にはすぐに分かるように、列挙される項目の数だけ拡張され得る。
【０１２１】
また、本明細書で使用される場合、「信号」という単語は、とりわけ、対応するデコーダに何かを指示することを指す。例えば、特定の実施形態では、エンコーダは、イントラ予測参照配列に使用される複数の重みのうちの特定の１つに信号を送る。このように、一実施形態では、同じパラメータがエンコーダ側とデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信（明示的な信号通知）することができる。逆に、デコーダがすでに特定のパラメータと他のパラメータを持っている場合は、送信せずに信号通知を使用して（暗黙の信号通知）、単純にデコーダが特定のパラメータを認識および選択することを可能にすることができる。実際の機能の送信を回避することにより、様々な実施形態でビット削減が実現される。信号通知は、様々な方法で達成することができることを理解されたい。例えば、１つ以上の構文要素、フラグなどは、様々な実施形態において、対応するデコーダに情報を信号で送るために使用される。上記は「信号」という単語の動詞形に関するものであるが、「信号」という単語は本明細書では名詞として使用することもできる。
【０１２２】
当業者には明らかであるように、実装形態は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされる多種多様な信号を生成することができる。情報は、例えば、方法を実行する命令、または説明される実装形態のうちの１つにより生成されたデータを含むことができる。例えば、信号は、説明された実施形態のビットストリームを搬送するようにフォーマットされ得る。このような信号は、例えば、（例えば、スペクトルの無線周波数部分を使用する）、電磁波として、またはベースバンド信号としてフォーマットすることができる。フォーマットすることは、例えば、データストリームを符号化することと、搬送波を符号化データストリームで変調することと、を含むことができる。信号が搬送する情報は、例えば、アナログまたはデジタル情報とすることができる。信号は、周知のように、種々の異なる有線または無線リンクを介して送信することができる。信号は、プロセッサ可読媒体上に記憶することができる。
【０１２３】
前述の説明は、いくつかの実施形態について説明した。これらおよびさらなる実施形態は、様々な異なる特許請求のカテゴリおよびタイプにわたって、以下のオプションの機能を単独でまたは任意の組み合わせで含む。
−−１３５度および４５度を超える符号化および復号化でのイントラ予測中に予測方向を使用すること。
−ワイドエンジェルモードとＰＤＰＣ間の相互作用を拡張すること。
−予測方向を水平方向または垂直方向に拡張し、反対方向のいくつかの方向を削除して、合計方向の数を同じに維持すること。
−方向の数を−１３５度と４５度の両方を超えて拡張すること。
−ＰＤＰＣと広角イントラ予測をブロック内のサンプルに組み合わせること。
−どの予測方向が使用されているかをエンコーダからデコーダに信号通知すること。
−予測方向のサブセットを使用すること。
−ブロックは長方形のＣＵであること。
−他のブロックは隣接ブロックであること。
−記載された構文要素またはその変形のうちの１つ以上を含むビットストリームまたは信号。
−デコーダが、エンコーダによって実行されるのとは逆の方法でビットストリームを処理することを可能にする構文要素を信号通知に挿入すること。
−記載された構文要素またはその変形のうちの１つ以上を含むビットストリームまたは信号を作成し、および／または送信し、および／または受信し、および／または復号化すること。
−記載された実施形態のいずれかを実行するテレビ、セットトップボックス、携帯電話機、タブレット、または他の電子デバイス。
−記載された実施形態のいずれかを実行し、結果の画像を（例えば、モニタ、スクリーン、もしくは他のタイプのディスプレイを使用して）表示するテレビ、セットトップボックス、携帯電話機、タブレット、または他の電子デバイス。
−符号化された画像を含む信号を受信するように（例えば、チューナを使用して）チャネルを調整し、記載された実施形態のいずれかを実行するテレビ、セットトップボックス、携帯電話機、タブレット、または他の電子デバイス。
−符号化された画像を含む信号を、（例えば、アンテナを使用して）受信し、記載された実施形態のいずれかを実行するテレビ、セットトップボックス、携帯電話機、タブレット、または他の電子デバイス。
−他の様々な一般化され、ならびに特定化された特徴もまた、本開示全体を通してサポートおよび企図される。
【図１】
2021531677.tif 000003
【図２】
2021531677.tif 000004
【図３】
2021531677.tif 000005
【図４】
2021531677.tif 000006
【図５】
2021531677.tif 000007
【図６】
2021531677.tif 000008
【図７】
2021531677.tif 000009
【図８】
2021531677.tif 000010
【図９】
2021531677.tif 000011
【図１０】
2021531677.tif 000012
【図１１】
2021531677.tif 000013
【図１２】
2021531677.tif 000014
【図１３】
2021531677.tif 000015
【図１４】
2021531677.tif 000016
【図１５】
2021531677.tif 000017
【国際調査報告】
2021531677.tif 000018
2021531677.tif 000019
2021531677.tif 000020
2021531677.tif 000021
2021531677.tif 000022