(57)【要約】  ブロックのイントラ予測の方法であって、前記方法は、前記ブロックのイントラ予測モードを取得するステップと、前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、を含む方法。【特許請求の範囲】
【請求項１】
ブロックのイントラ予測の方法であって、前記方法は、
前記ブロックのイントラ予測モードを取得するステップと、
前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、
を含む方法。
【請求項２】
前記ブロックの前記イントラ予測モードは、整数勾配広角モードである、請求項１に記載の方法。
【請求項３】
前記整数勾配広角モードは、−１４、−１２、−１０、−６、７２、７６、７８、８０のうちの少なくとも１つである、請求項２に記載の方法。
【請求項４】
前記参照サンプルをフィルタリングする前記フィルタは、以下の係数：［１，２，１］／４により定義される、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記方法は、
前記ブロックの前記イントラ予測モードが広角モードであるかに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するステップ、を更に含む請求項１〜４のいずれかに記載の方法。
【請求項６】
位置依存予測組み合わせ（ＰＤＰＣ）は、前記ブロックの前記イントラ予測モードが広角モードか、及び前記参照サンプルから取得された前記ブロックの前記予測サンプルに基づき、フィルタリング済みの又は未フィルタリングの参照サンプルについて実行される、請求項１〜５のいずれかに記載の方法。
【請求項７】
前記方法は、
前記ブロックの前記イントラ予測モードが広角モードであるかを決定するステップ、を更に含む請求項１〜６のいずれかに記載の方法。
【請求項８】
ブロックのイントラ予測のための機器であって、前記機器は、
前記ブロックのイントラ予測モードを取得するよう構成される取得ユニットと、
前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するよう構成される広角予測ユニットと、
を含む機器。
【請求項９】
前記ブロックの前記イントラ予測モードは、整数勾配広角モードである、請求項８に記載の機器。
【請求項１０】
前記整数勾配広角モードは、−１４、−１２、−１０、−６、７２、７６、７８、８０のうちの少なくとも１つである、請求項９に記載の機器。
【請求項１１】
前記参照サンプルをフィルタリングする前記フィルタは、以下の係数：［１，２，１］／４により定義される、請求項８〜１０のいずれか一項に記載の機器。
【請求項１２】
前記機器は、
前記ブロックの前記イントラ予測モードが広角モードであるかを決定するよう構成される決定ユニット、を更に含む請求項８〜１１のいずれかに記載の機器。
【請求項１３】
前記決定ユニットは、前記ブロックの前記イントラ予測モードが広角モードか否かに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するよう更に構成される、請求項１２に記載の機器。
【請求項１４】
位置依存予測組み合わせ（ＰＤＰＣ）は、前記ブロックの前記イントラ予測モードが広角モードか、及び前記参照サンプルから取得された前記ブロックの前記予測サンプルに基づき、フィルタリング済みの又は未フィルタリングの参照サンプルについて実行される、請求項８〜１３のいずれかに記載の機器。
【請求項１５】
請求項１乃至７のいずれか一項に記載の方法を実行する処理回路を含むエンコーダ。
【請求項１６】
請求項１乃至７のいずれか一項に記載の方法を実行する処理回路を含むデコーダ。
【請求項１７】
請求項１乃至７のいずれか一項に記載の方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本願は、参照により本願明細書に組み込まれる米国仮出願番号第６２／７６７，４９６号、２０１８年１１月１４日出願、名称「Method  and  Apparatus  for  Prediction」の利益を請求する。
［技術分野］
本開示は、画像及び／又はビデオ符号化及び復号の技術分野に関し、特に、イントラ／インター予測のための方法及び機器に関する。
【背景技術】
【０００２】
デジタルビデオは、ＤＶＤディスクの導入以来、広く使用されている。送信前、ビデオは符号化され、伝送媒体を用いて送信される。視聴者は、ビデオを受信し、視聴装置を用いてビデオを復号し表示する。何年にも渡り、例えばより高い解像度、色深度及びフレームレートにより、ビデオの品質は向上してきた。これは、今日インターネット及びモバイル通信ネットワークを介して一般に伝送されているより大きなデータストリームをもたらした。
【０００３】
より高い解像度のビデオは、しかしながら、標準的に、それらがより多くの情報を有するので、より多くの帯域幅を必要とする。帯域幅要件を低減するために、ビデオの圧縮を含むビデオ符号化規格が導入されている。ビデオが符号化されると、帯域幅要件（又は記憶の場合には対応するメモリ要件）が低減される。時に、この低減は品質を犠牲にする。従って、ビデオ符号化規格は、帯域幅要件と品質との間のバランスを見い出そうとする。
【０００４】
高効率ビデオ符号化（High  Efficiency  Video  Coding  (HEVC)）は、当業者に一般に知られているビデオ符号化規格の例である。ＨＥＶＣでは、符号化単位（coding  unit  (CU)）を予測単位（prediction  units  (PU)）又は変換単位（transform  unit  (TU)）に分割する。バーサタイルビデオ符号化（Versatile  Video  Coding  (VVC)）次世代規格は、共同ビデオ探索チーム（Joint  Video  Exploration  Team  (JVET)）として知られているパートナーシップで一緒に作業しているＩＴＵ−Ｔビデオ符号化専門家委員会（Video  Coding  Experts  Group  (VCEG)）及びＩＳＯ／ＩＥＣ動画専門家委員会（ISO/IEC  Moving  Picture  Experts  Group  (MPEG)）標準化組織の最新の共同ビデオプロジェクトである。ＶＶＣは、ＩＴＵ−Ｔ  Ｈ．２６６／次世代ビデオ符号化（Next  Generation  Video  Coding  (NGVC)）規格とも呼ばれる。ＶＶＣでは、複数のパーティションタイプの概念、つまり、ＣＵ、ＰＵ、及びＴＵ概念の分離は、最大変換長に対して大きすぎるサイズを有するＣＵで必要とされる場合を除き、除去されるべきであり、ＣＵパーティション形状の更なる柔軟性をサポートする。
【０００５】
これらの符号化単位（coding  unit  (CU)）（ブロックとも呼ばれる）の処理は、それらのサイズ、空間的位置、及びエンコーダにより指定される符号化モードに依存する。符号化モードは、予測タイプに従い２つのグループ：イントラ予測及びインター予測モードに分類できる。イントラ予測モードは、同じピクチャ（フレーム又は画像とも呼ばれる）のサンプルを用いて、参照サンプルを生成し、再構成されているブロックのサンプルの予測値を計算する。イントラ予測は、空間予測とも呼ばれる。インター予測モードは、時間的予測のために設計され、現在ピクチャのブロックのサンプルを予測するために前又は次のピクチャの参照サンプルを使用する。
【０００６】
ＩＴＵ−Ｔ  ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＩＥＣ  ＭＰＥＧ（ＪＴＣ  １／ＳＣ  ２９／ＷＧ１１）は、現在のＨＥＶＣ規格（スクリーンコンテンツ符号化及び高ダイナミックレンジ符号化のための、その現在の拡張及び極めて近い将来の拡張を含む）のものを有意に超える圧縮能力を有する将来のビデオ符号化技術の標準化の潜在的な必要性を研究している。委員会は、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム（Joint  Video  Exploration  Team  (JVET)）として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
【０００７】
ＶＴＭ（Versatile  Test  Model）規格は３５個のイントラモードを使用し、一方で、ＢＭＳ（Benchmark  Set）は６７個のイントラモードを使用する。
【０００８】
イントラ予測方式は複雑であると考えられる。
【発明の概要】
【０００９】
イントラ予測のための機器及び方法が開示される。
【００１０】
第１の態様によると、本開示は、ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測の方法であって、前記方法は、
前記ブロックのイントラ予測モードを取得するステップと、
前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、
を含む方法に関する。
【００１１】
第１の態様による方法の可能な実装形式では、前記ブロックの前記イントラ予測モードは、整数勾配広角モードである。前記整数勾配広角モードは、−１４、−１２、−１０、−６、７２、７６、７８、８０のうちの少なくとも１つである。
【００１２】
第１の態様は、方向予測の出力及び予測ブロックの視覚的品質を向上するために使用される追加予測信号の組み合わせにより、参照サンプル処理の統一を目指す。この統一の結果、参照サンプルは１回だけ処理され、この処理の結果は、方向イントラ予測処理及び追加予測の生成の両方により再利用される。例えば、フィルタリング済み参照サンプルは、広角モードのために使用され、従って、１回のみフィルタリング済み参照サンプルバッファが必要である。
【００１３】
以下のステップは、イントラ予測方法を実施するために実行されてよい。
【００１４】
ステップ１。参照サンプル、イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅ及び／又はブロック寸法（幅及び高さ）に基づき、参照サンプルフィルタリングを実行する。
【００１５】
ステップ２。ｉｎｔｒａＰｒｅｄＡｎｇｌｅに従い、処理済み（フィルタリング済み又は未フィルタリング参照サンプル）参照サンプル（ステップ１の結果）に基づき、方向イントラ予測を実行する。
【００１６】
ステップ３。ステップ２で取得された結果を、ＰＤＰＣ又は簡易ＰＤＰＣであり得る予測組み合わせにより更新する。ここで、ステップ３で使用される入力参照サンプルは、整数勾配広角モード（例えば、以下の表Ｘ及びＹで指定されるように、−１４、−１２、−１０、−６、７２、７６、７８、８０）について、ステップ１で取得されステップ２で使用された参照サンプルと同じである。
【００１７】
任意で、ｐｒｅｄＭｏｄｅＩｎｔｒａに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるべきかを決定する。これは、以下の表５にリストされたフィルタのうちの１つを適用することにより実行され得る。ＶＶＣでは、インデックス０及び１を有するフィルタが使用される。
【００１８】
参照サンプルは、ｐｒｅｄＭｏｄｅが２、３４、又は６６に等しいとき、及びｎＴｂＳ＞２のときに、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
【００１９】
上述の方法の代替的実施形態は、このステップで、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａの代わりに、角度パラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅとして更に示される）を使用することである。この場合、ｉｎｔｒａＰｒｅｄＡｎｇｌｅの値が３２の倍数である場合、及びｎＴｂＳ＞２のとき、参照サンプルは、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
【００２０】
本発明の第１の態様による方法は、本発明の第２の態様による機器により実行できる。例えば、前記機器は、取得ユニットと、広角予測ユニットと、を含んでよい。前記取得ユニットは、前記ブロックのイントラ予測モードを取得するよう構成され、前記広角予測ユニットは、前記ブロックの前記イントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するよう構成される。
【００２１】
本発明の第２の態様による方法の更なる特徴及び実装形式は、本発明の第１の態様による機器の特徴及び実装形式に対応する。
【００２２】
第２の態様による機器の利点は、第１の態様による方法の対応する実装形式のものと同じである。
【００２３】
第３の態様によると、本発明は、プロセッサとメモリとを含む、ビデオストリームを復号する機器に関する。前記メモリは、前記プロセッサに第１の態様による方法を実行させる命令を格納している。
【００２４】
第４の態様によると、本発明は、プロセッサとメモリとを含む、ビデオストリームを符号化する機器に関する。前記メモリは、前記プロセッサに第１の態様による方法を実行させる命令を格納している。
【００２５】
第５の態様によると、実行されると１つ以上のプロセッサをビデオデータを符号化するよう構成させる命令を格納したコンピュータ可読記憶媒体が提案される。前記命令は、前記１つ以上のプロセッサに、第１の態様又は第１の態様の任意の可能な実施形態による方法を実行させる。
【００２６】
第６の態様によると、本発明は、コンピュータ上で実行されると第１の態様又は第１の態様の任意の可能な実施形態による方法を実行するためのプログラムコードを含むコンピュータプログラムに関する。
【００２７】
１つ以上の実施形態の詳細は、添付の図面及び以下の説明において説明される。他の特徴、目的、及び利点は、説明、図面、及び請求項から明らかになるだろう。
【図面の簡単な説明】
【００２８】
以下の実施形態は、添付の図面及び図を参照して更に詳細に説明される。
【００２９】
【図１】本発明の実施形態を実施するよう構成されるビデオ符号化システムの例を示すブロック図である。
【００３０】
【図２】本発明の実施形態を実施するよう構成されるビデオエンコーダの例を示すブロック図である。
【００３１】
【図３】本発明の実施形態を実施するよう構成されるビデオデコーダの例示的な構造を示すブロック図である。
【００３２】
【図４Ａ】提案される６７個のイントラ予測モードを示す概略図を示す。
【００３３】
【図４Ｂ】提案される９３個のイントラ予測モードを示す概略図を示し、破線の方向は非正方形ブロックにのみ適用される広角モードに関連付けられる。
【００３４】
【図５】補間フィルタの異なる例を示す。
【図６】補間フィルタの異なる例を示す。
【図７】補間フィルタの異なる例を示す。
【図８】補間フィルタの異なる例を示す。
【図９】補間フィルタの異なる例を示す。
【図１０】補間フィルタの異なる例を示す。
【図１１】補間フィルタの異なる例を示す。
【００３５】
【図１２】インター及びイントラ予測における４タップ補間フィルタを再利用する例を示す。
【００３６】
【図１３】提案される用途の例示的な実装を示す。
【００３７】
【図１４】ＬＵＴ係数の再利用に基づく提案される用途の例示的な実装を示す。
【００３８】
【図１５】補間フィルタ選択の例を示す。
【００３９】
【図１６】ＱＴＢＴの例を示す。
【００４０】
【図１７】長方形ブロックの方向の例を示す。
【００４１】
【図１８】辺の長さに依存する参照フィルタ選択の例を示す。
【００４２】
【図１９】補間フィルタ選択処理の間に、イントラ予測モードを閾値設定する代替方向の例を示す。
【００４３】
【図２０】使用中の参照サンプルがどちらの辺に属するかに依存する異なる補間フィルタの使用を示す。
【００４４】
【図２１】１つの４×４ブロックの内部の（０，０）及び（１，０）位置のＤＣモードＰＤＰＣ重みを示す。
【００４５】
【図２２】対角及び隣接角度イントラモードへのＰＤＰＣ拡張により使用されるサンプルの定義を示す。
【００４６】
【図２３】簡易ＰＤＰＣの例示的な実装を示す。
【００４７】
【図２４】例示的な統一実装を示す。
【００４８】
【図２５】ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測のための機器の例示的な構造を示すブロック図である。
【００４９】
【図２６】種々の実施形態を実装するために使用可能な機器１５００のブロック図である。
【００５０】
【図２７】コンテンツ配信サービスを提供するコンテンツ供給システムの例示的な構造を示すブロック図である。
【００５１】
【図２８】端末装置の例の構造を示すブロック図である。
【発明を実施するための形態】
【００５２】
略語の定義、及び用語集
【００５３】
JEM：Joint  Exploration  Model（将来のビデオ符号化探索のためのソフトウェアコードベース）
【００５４】
JVET：Joint  Video  Experts  Team
【００５５】
LUT：Look−Up  Table
【００５６】
PDPC：Position−Dependent  Prediction  Combination
【００５７】
QT：Quad  Tree
【００５８】
QTBT：Quad  Tree  plus  Binary  Tree
【００５９】
RDO：Rate−distortion  Optimization
【００６０】
ROM：Read−Only  Memory
【００６１】
VTM：VVC  Test  Model
【００６２】
VVC：Versatile  Video  Coding,  ＪＶＥＴにより展開される標準化プロジェクト
【００６３】
CTU/CTB：Coding  Tree  Unit/Coding  Tree  Block
【００６４】
CU/CB：Coding  Unit/Coding  Block
【００６５】
PU/PB：Prediction  Unit/Prediction  Block
【００６６】
TU/TB：Transform  Unit/Transform  Block
【００６７】
HEVC：High  Efficiency  Video  Coding
【００６８】
Ｈ．２６４／ＡＶＣ及びＨＥＶＣのようなビデオ符号化方式は、ブロックに基づくハイブリッドビデオ符号化の成功した原理に沿って設計されている。この原理を用いて、ピクチャは、先ずブロックにパーティションされ、次に、各ブロックはイントラピクチャ又はインターピクチャ予測を用いて予測される。
【００６９】
Ｈ．２６１以降の幾つかのビデオ符号化規格は、「損失ハイブリッドビデオコーデック」のグループに属する（つまり、サンプルドメインにおける空間及び時間予測と、変換ドメインにおける量子化を適用する２Ｄ変換符号化と、を結合する）。ビデオシーケンスの各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされ、符号化は、標準的に、ブロックレベルで実行される。言い換えると、エンコーダにおいて、例えば空間（イントラピクチャ）予測及び時間（インターピクチャ）予測を用いて予測ブロックを生成し、予測ブロックを現在ブロック（現在処理されている／処理されるべきブロック）から減算して残差ブロックを取得し、残差ブロックを変換し、及び変換ドメインで残差ブロックを量子化して、伝送されるべきデータ量を削減すること（圧縮）により、ビデオは標準的にブロック（ピクチャブロック）レベルで処理される、つまり符号化される。一方で、デコーダにおいて、エンコーダと比べて逆の処理が、符号化又は圧縮されたブロックに対して部分的に適用されて、提示するために現在ブロックを再構成する。更に、エンコーダは、デコーダ処理ループを複製して、後続のブロックを処理する、つまり符号化するために、両方が同一の予測（例えば、イントラ及びインター予測）及び／又は再構成を生成するようにする。
【００７０】
本願明細書で使用されるとき、用語「ブロック」はピクチャ又はフレームの一部であってよい。説明の便宜上、本発明の実施形態は、本願明細書で、高効率ビデオ符号化（High−Efficiency  Video  Coding  (HEVC)）、又はＩＴＵ−Ｔビデオ符号化専門家委員会（ITU−T  Video  Coding  Experts  Group  (VCEG)）及びＩＳＯ／ＩＥＣ動画専門家委員会（Motion  Picture  Experts  Group  (MPEG)）のビデオ符号化に関する共同作業部会（Joint  Collaboration  Team  on  Video  Coding  (JCT−VC)）により開発されたバーサタイルビデオ符号化（Versatile  video  coding  (VVC)）のリファレンスソフトウェアを参照して説明される。当業者は、本発明の実施形態がＨＥＶＣ又はＶＶＣに限定されないことを理解するだろう。ＣＵ、ＰＵ、及びＴＵを参照し得る。ＨＥＶＣでは、ＣＴＵは、符号化ツリーとして示される４分木構造を用いてＣＵに分割される。ピクチャ領域をインターピクチャ（時間）又はイントラピクチャ（空間）予測を用いて符号化するかの決定は、ＣＵレベルで行われる。各ＣＵは、ＰＵ分割タイプに従い、１、２、又は４個のＰＵに更に分割できる。１個のＰＵ内で、同じ予測処理が適用され、関連情報がＰＵ毎にデコーダへ伝送される。ＰＵ分割タイプに基づき予測処理を適用することにより、残差ブロックを取得した後に、ＣＵは、ＣＵの符号化ツリーと同様の別の４分木構造に従い、変換ユニット（transform  unit  (TU)）にパーティションすることができる。ビデオ圧縮技術の最新の進展では、４分木及び２分木（Quad−tree  and  binary  tree  (QTBT)）パーティションが、符号化ブロックをパーティションするために使用される。ＱＴＢＴブロック構造では、ＣＵは正方形又は長方形形状のいずれかを有し得る。例えば、符号化木単位（coding  tree  unit  (CTU)）は、先ず、４分木構造によりパーティションされる。４分木のリーフノードは、２分木構造により更にパーティションされる。２分木のリーフノードは、符号化単位（coding  unit  (CU)）と呼ばれ、そのセグメント化は、更なるパーティションを伴わず、予測及び変換処理のために使用される。これは、ＣＵ、ＰＵ、及びＴＵが、ＱＴＢＴ符号化ブロック構造において同じブロックサイズを有することを意味する。同時に、多重パーティション、例えば３分木パーティションも、ＱＴＢＴブロック構造と一緒に使用するために提案された。
【００７１】
ＩＴＵ−Ｔ  ＶＣＥＧ（Ｑ６／１６）及びＩＳＯ／ＩＥＣ  ＭＰＥＧ（ＪＴＣ  １／ＳＣ２９／ＷＧ１１）は、現在のＨＥＶＣ規格（スクリーンコンテンツ符号化及び高ダイナミックレンジ符号化のための、その現在の拡張及び極めて近い将来の拡張を含む）のものを有意に超える圧縮能力を有する将来のビデオ符号化技術の標準化の潜在的な必要性を研究している。委員会は、当分野のそれらの専門家により提案された圧縮技術設計を評価するために、共同ビデオ探索チーム（Joint  Video  Exploration  Team  (JVET)）として知られている共同連携努力においてこの探求活動に一緒に取り組んでいる。
【００７２】
ＶＴＭ（Versatile  Test  Model）は３５個のイントラモードを使用し、一方で、ＢＭＳ（Benchmark  Set）は６７個のイントラモードを使用する。イントラ予測は、所与のフレームのみが含まれ得る場合に圧縮効率を向上するために、多くのビデオ符号化の枠組みの中で使用されるメカニズムである。
【００７３】
図１は、本願（本開示）の技術を利用し得る例示的な符号化システム１０、例えばビデオ符号化システム１０を示す概念的又は概略的ブロック図である。ビデオ符号化システム１０のエンコーダ２０（例えば、ビデオエンコーダ２０）及びデコーダ３０（例えば、ビデオデコーダ３０）は、本願で説明される種々の例に従う技術を実行するよう構成され得る装置の例を表す。図１に示すように、符号化システム１０は、符号化データ１３、例えば符号化ピクチャ１３を、例えば符号化データ１３を復号する宛先装置１４に提供するよう構成されるソース装置１２を含む。
【００７４】
ソース装置１２は、エンコーダ２０を含み、追加でつまり任意で、ピクチャソース１６、前処理ユニット１８、例えばピクチャ前処理ユニット１８、及び通信インタフェース又は通信ユニット２２を含んでもよい。
【００７５】
ピクチャソース１６は、例えば現実のピクチャをキャプチャする任意の種類のピクチャキャプチャ装置、及び／又は任意の種類のピクチャ若しくはコメント（スクリーンコンテンツ符号化では、スクリーン上の何らかのテキストも符号化されるべきピクチャ又は画像の一部と考えられる）生成装置、例えばコンピュータアニメーションピクチャを生成するコンピュータグラフィックプロセッサ、又は現実のピクチャ、コンピュータアニメーションピクチャ（例えば、スクリーンコンテンツ、仮想現実（virtual  reality  (VR)）ピクチャ）及び／又はそれらの任意の組み合わせ（例えば、拡張現実（augmented  reality  (AR)）ピクチャ）を取得し及び／又は提供する任意の種類の装置、を含んでよく又はそれであってよい。
【００７６】
（デジタル）ピクチャは、強度値を有するサンプルの２次元配列又は行列と考えられる又は考えることができる。配列の中のサンプルは、ピクセル（pixel）（ピクチャ要素の短縮形）又はペル（pel）とも呼ばれてよい。配列又はピクチャの水平及び垂直方向（又は軸）にあるサンプルの数は、ピクチャのサイズ及び／又は解像度を定める。色の表現のために、標準的に３つの色成分が利用される。つまり、ピクチャは、３つのサンプル配列で表現され又はそれらを含んでよい。ＲＢＧ形式又は色空間では、ピクチャは、対応する赤、緑、及び青色サンプル配列を含む。しかしながら、ビデオ符号化では、各ピクセルは、標準的に、輝度／色度形式、又は色空間、例えば、Ｙ（時には代わりにＬが使用されることもある）により示される輝度成分と及びＣｂ及びＣｒにより示される２つの色度成分を含むＹＣｂＣｒとで表現される。輝度（又は略してｌｕｍａ）成分Ｙは、明るさ又はグレーレベル強度（例えば、グレイスケールピクチャにおけるような）を表現する。一方で、２つの色度（又は略してｃｈｒｏｍａ）成分Ｃｂ及びＣｒは、色度又は色情報成分を表現する。したがって、ＹＣｂＣｒ形式のピクチャは、輝度サンプル値（Ｙ）の輝度サンプル配列と、色度値（Ｃｂ及びＣｒ）の２つの色度サンプル配列とを含む。ＲＧＢ形式のピクチャは、ＹＣｂＣｒ形式に転換され又は変換されてよく、逆も同様であり、その処理は色転換又は色変換としても知られる。ピクチャが単色である場合、ピクチャは、輝度サンプル配列のみを含んでよい。
【００７７】
ピクチャソース１６（例えば、ビデオソース１６）は、例えばピクチャをキャプチャするカメラ、前にキャプチャした若しくは生成したピクチャを含む若しくは格納するメモリ、例えばピクチャメモリ、及び／又はピクチャを取得し若しくは受信するための任意の種類の（内部又は外部）インタフェースであってよい。カメラは、例えば、ソース装置に統合されたローカル又は内蔵カメラであってよい。メモリは、例えばソース装置に統合されたローカル又は内蔵メモリであってよい。インタフェースは、例えば、ピクチャを外部ビデオソース、例えばカメラのような外部ピクチャキャプチャ装置、外部メモリ、又は外部ピクチャ生成装置、例えば外部コンピュータグラフィックプロセッサ、コンピュータ若しくはサーバから受信する外部インタフェースであってよい。インタフェースは、任意の特性又は標準化インタフェースプロトコルに従い、任意の種類のインタフェース、例えば有線若しくは無線インタフェース、光インタフェースであり得る。ピクチャデータ１７を取得するインタフェースは、通信インタフェース２２と同じインタフェース又はその一部であってよい。
【００７８】
前処理ユニット１８及び前処理ユニット１８により実行される処理と区別して、ピクチャ又はピクチャデータ１７（例えばビデオデータ１６）は、生ピクチャ又は生ピクチャデータ１７とも呼ばれてよい。
【００７９】
前処理ユニット１８は、（生）ピクチャデータ１７を受信し、ピクチャデータ１７に前処理を実行して、前処理済みピクチャ１９又は前処理済みピクチャデータ１９を取得するよう構成される。前処理ユニット１８により実行される前処理は、例えばトリミング、色形式変換（例えば、ＲＧＢからＹＣｂＣｒへ）、色補正、又はノイズ除去を含んでよい。前処理ユニット１８は任意のコンポーネントであってよいことが理解できる。
【００８０】
エンコーダ２０（例えばビデオエンコーダ２０）は、前処理済みピクチャデータ１９を受信し、符号化ピクチャデータ２１を提供するよう構成される（更なる詳細は、例えば図２に基づき後述される）。
【００８１】
ソース装置１２の通信インタフェース２２は、符号化ピクチャデータ２１を受信し、それを別の装置、例えば宛先装置１４若しくは任意の他の装置へと、記憶又は直接再構成のために伝送し、又は、符号化データ１３を格納する、及び／又は別の装置、例えば宛先装置１４又は復号又は格納のための任意の他の装置へと符号化データ１３を伝送する前に、それぞれ符号化データ２１を処理するよう構成されてよい。
【００８２】
宛先装置１４は、デコーダ３０（例えば、ビデオデコーダ３０）を含み、追加で、つまり任意で、通信インタフェース又は通信ユニット２８、後処理ユニット３２、及びディスプレイ装置３４を含んでよい。
【００８３】
宛先装置１４の通信インタフェース２８は、符号化ピクチャデータ２１又は符号化データ１３を、例えばソース装置１２から直接に又は任意の他のソース、例えば記憶装置、例えば符号化ピクチャデータ記憶装置から受信するよう構成される。
【００８４】
通信インタフェース２２及び通信インタフェース２８は、符号化ピクチャデータ２１又は符号化データ１３を、ソース装置１２と宛先装置１４との間の直接通信リンク、例えば直接有線又は無線接続、又は任意の種類のネットワーク、例えば有線又は無線ネットワーク、又はそれらの任意の組み合わせ、又は任意の種類の私設又は公衆ネットワーク、又はそれらの任意の種類の組み合わせを介して送信又は受信するよう構成されてよい。
【００８５】
通信インタフェース２２は、通信リンク又は通信ネットワークを介して伝送するために、例えば、符号化ピクチャデータ２１を適切な形式、例えばパケットにパッケージするよう構成されてよい。
【００８６】
通信インタフェース２２の相手方を形成する通信インタフェース２８は、例えば、符号化データ１３をパッケージ解除して符号化ピクチャデータ２１を取得するよう構成されてよい。
【００８７】
通信インタフェース２２及び通信インタフェース２８の両者は、図１Ａのソース装置１２から宛先装置１４を指す符号化データ１３の矢印により示されるように、単方向通信インタフェース、又は、双方向通信インタフェースとして構成されてよく、例えば接続を確立するため、通信リンク及び／又はデータ伝送、例えば符号化ピクチャデータ伝送に関連する任意の他の情報を肯定応答し及び交換するために、例えばメッセージを送信し及び受信するよう構成されてよい。
【００８８】
デコーダ３０は、符号化ピクチャデータ２１を受信し、復号ピクチャデータ３１又は復号ピクチャ３１を提供するよう構成される（更なる詳細は、例えば図３に基づき後述される）。
【００８９】
宛先装置１４の後処理３２は、復号ピクチャデータ３１（再構成済みピクチャデータとも呼ばれる）、例えば復号ピクチャ３１を後処理して、後処理済みピクチャデータ３３、例えば後処理済みピクチャ３３を取得するよう構成される。後処理ユニット３２により実行される後処理は、例えば色形式変換（例えば、ＹＣｂＣｒからＲＧＢへ）、色補正、トリミング、又は再サンプリング、又は、例えば復号ピクチャデータ３１を例えばディスプレイ装置３４による表示のために準備するための任意の他の処理、を含んでよい。
【００９０】
宛先装置１４のディスプレイ装置３４は、例えばユーザ又は見る人にピクチャを表示するために、後処理済みピクチャデータ３３を受信するよう構成される。ディスプレイ装置３４は、再構成済みピクチャを提示する任意の種類のディスプレイ、例えば内蔵又は外部ディスプレイ又はモニタであり又はそれを含んでよい。ディスプレイは、例えば液晶ディスプレイ（liquid  crystal  displays  (LCD)）、有機発光ダイオード（organic  light  emitting  diodes  (OLED)）ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロＬＥＤディスプレイ、シリコン上の液晶（liquid  crystal  on  silicon  (LCoS)）、デジタル光プロセッサ（digital  light  processor(DLP)）又は任意の種類の他のディスプレイを含んでよい。
【００９１】
図１はソース装置１２及び宛先装置１４を別個の装置として示すが、装置の実施形態は、ソース装置１２又は対応する機能と宛先装置１４又は対応する機能の両方又は両方の機能を含んでもよい。このような実施形態では、ソース装置１２又は対応する機能及び宛先装置１４又は対応する機能は、同じハードウェア及び／又はソフトウェア又は別個のハードウェア及び／又はソフトウェア又はそれらの任意の組み合わせを用いて実装されてよい。
【００９２】
説明に基づき当業者に明らかになるであろうように、図１に示されるようなソース装置１２及び／又は宛先装置１４内の異なるユニット又は機能の存在及びその（正確な）分割は、実際の装置及び用途に依存して変化してよい。
【００９３】
エンコーダ２０（例えば、ビデオエンコーダ２０）及びデコーダ３０（例えば、ビデオデコーダ３０）の各々は、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（digital  signal  processors  (DSP)）、特定用途向け集積回路（application−specific  integrated  circuits  (ASIC)）、フィールドプログラマブルゲートアレイ（field−programmable  gate  arrays  (FPGA)）、個別ロジック、ハードウェア、又はそれらの任意の組み合わせのような、様々な適切な回路のうちのいずれか１つとして実装されてよい。技術が部分的にソフトウェアで実装される場合、装置は、適切な非一時的コンピュータ可読記憶媒体内のソフトウェアのための命令を格納してよく、命令をハードウェアで１つ以上のプロセッサを用いて実行して、本開示の技術を実行してよい。前述のいずれか１つ（ハードウェア、ソフトウェア、ハードウェアとソフトウェアとの組み合わせ、等を含む）は、１つ以上のプロセッサであると考えられてよい。ビデオエンコーダ２０及びビデオデコーダ３０の各々は、１つ以上のエンコーダ又はデコーダに含まれてよく、いずれも、結合されたエンコーダ／デコーダ（encoder/decoder,  CODEC）の部分としてそれぞれの装置内に統合されてよい。
【００９４】
図２は、本願の技術を実施するよう構成される例示的なビデオエンコーダ２０の概略的／概念的ブロック図を示す。図２の例では、ビデオエンコーダ２０は、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、逆量子化ユニット２１０及び逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタユニット２２０、復号ピクチャバッファ（decoded  picture  buffer  (DPB)）２３０、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０を含む。予測処理ユニット２６０は、インター予測ユニット２４４、イントラ予測処理ユニット２５４、及びモード選択ユニット２６２を含んでよい。インター予測ユニット２４４は、動き推定ユニット及び動き補償ユニット（図示しない）を含んでよい。図２に示すようなビデオエンコーダ２０は、ハイブリッドビデオエンコーダ又はハイブリッドビデオコーデックに従うビデオエンコーダとも呼ばれてよい。
【００９５】
例えば、残差計算ユニット２０４、変換処理ユニット２０６、量子化ユニット２０８、予測処理ユニット２６０、及びエントロピー符号化ユニット２７０は、エンコーダ２０の順方向信号経路を形成する。一方で、例えば、逆量子化ユニット２１０、逆変換処理ユニット２１２、再構成ユニット２１４、バッファ２１６、ループフィルタ２２０、復号ピクチャバッファ（decoded  picture  buffer  (DPB)）２３０、予測処理ユニット２６０は、エンコーダの逆方向信号経路を形成し、エンコーダの逆方向信号経路はデコーダの信号経路に対応する（図３のデコーダ３０を参照）。
【００９６】
エンコーダ２０は、例えば入力２０２により、ピクチャ２０１又はピクチャ２０１のブロック２０３、例えばビデオ又はビデオシーケンスを形成するピクチャのシーケンスのピクチャを受信するよう構成される。ピクチャブロック２０３は、（特に、ビデオ符号化では、現在ピクチャを他のピクチャ、例えば同じビデオシーケンス、つまり現在ピクチャも含むビデオシーケンスの前の符号化及び／又は復号ピクチャと区別するために）現在ピクチャブロック又は被符号化ピクチャブロック、及び現在ピクチャ又は被符号化ピクチャとしてのピクチャ２０１とも呼ばれてよい。
【００９７】
予測処理ユニット２６０は、ブロック予測処理ユニット２６０とも呼ばれ、ブロック２０３（現在ピクチャ２０１の現在ブロック２０３）及び再構成ピクチャデータ、例えば同じ（現在）ピクチャの参照サンプルをバッファ２１６から、及び／又は１又は複数の前に復号したピクチャからの参照ピクチャデータ２３１を復号ピクチャバッファ２３０から受信し又は取得し、このようなデータを予測のために処理し、つまりインター予測ブロック２４５又はイントラ予測ブロック２５５であってよい予測ブロック２６５を提供するよう構成される。
【００９８】
モード選択ユニット２６２は、予測モード（例えば、イントラ又はインター予測モード）及び／又は残差ブロック２０５の計算のために及び再構成ブロック２１５の再構成のために予測ブロック２６５として使用されるべき対応する予測ブロック２４５又は２５５を選択するよう構成されてよい。
【００９９】
モード選択ユニット２６２の実施形態は、最も適する又は言い換えると最小残差（最小残差は伝送又は記憶のためのより良い圧縮を意味する）又は最小シグナリングオーバヘッド（最小シグナリングオーバヘッドは伝送又は記憶のためのより良い圧縮を意味する）を提供する又は両者を考慮する若しくはバランスを取る予測モードを（例えば、予測処理ユニット２６０によりサポートされるものから）選択するよう構成されてよい。モード選択ユニット２６２は、レート歪み最適化（rate  distortion  optimization,  RDO）に基づき、予測モードを決定するよう、つまり、最小のレート歪み最適化を提供する若しくは予測モード選択基準を少なくとも満たすレート歪みに関連する予測モードを選択するよう構成されてよい。
【０１００】
イントラ予測ユニット２５４は、イントラ予測パラメータ、例えば選択されたイントラ予測モードに基づき、イントラ予測ブロック２５５を決定するよう更に構成される。いずれの場合にも、ブロックのイントラ予測モードを選択した後に、イントラ予測ユニット２５４は、また、イントラ予測パラメータ、つまり、ブロックについて選択されたイントラ予測モードを示す情報をエントロピー符号化ユニット２７０に提供するよう構成される。一例では、イントラ予測ユニット２５４は、後述するイントラ予測技術の任意の組み合わせを実行するよう構成されてよい。
【０１０１】
図３は、本願の技術を実施するよう構成される例示的なビデオデコーダ３０である。ビデオデコーダ３０は、復号ピクチャ１３１を取得するために、例えばエンコーダ１００により符号化された符号化ピクチャデータ（例えば、符号化ビットストリーム）２１を受信するよう構成される。復号処理の間、ビデオデコーダ３０は、ビデオデータ、例えば符号化ビデオスライスのピクチャブロック及び関連するシンタックス要素を表す符号化ビデオビットストリームを、ビデオエンコーダ１００から受信する。
【０１０２】
図３の例では、デコーダ３０は、エントロピー復号ユニット３０４、逆量子化ユニット３１０、逆変換処理ユニット３１２、再構成ユニット３１４（例えば、加算器３１４）、バッファ３１６、ループフィルタ３２０、復号ピクチャバッファ３３０、及び予測処理ユニット３６０を含む。予測処理ユニット３６０は、インター予測ユニット３４４、イントラ予測処理ユニット３５４、及びモード選択ユニット３６２を含んでよい。ビデオデコーダ３０は、幾つかの例では、図２からビデオエンコーダ１００に関して説明した符号化経路に対して通常相互的な復号経路を実行してよい。
【０１０３】
エントロピー復号ユニット３０４は、エントロピー復号を、符号化ピクチャデータ２１に対して実行して、例えば量子化された係数３０９、及び／又は復号された符号化パラメータ（図３に示されない）、例えばインター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、及び／又は他のシンタックス要素のうちの（復号された）いずれか又は全部を取得するよう構成される。エントロピー復号ユニット３０４は、インター予測パラメータ、イントラ予測パラメータ、及び／又は他のシンタックス要素を、予測処理ユニット３６０に転送するよう更に構成される。ビデオデコーダ３０は、ビデオスライスレベル及び／又はビデオブロックレベルのシンタックス要素を受信してよい。
【０１０４】
逆量子化ユニット３１０は逆量子化ユニット１１０と機能的に同一であってよく、逆変換処理ユニット３１２は逆変換処理ユニット１１２と機能的に同一であってよく、再構成ユニット３１４は再構成ユニット１１４と機能的に同一であってよく、バッファ３１６はバッファ１１６と機能的に同一であってよく、ループフィルタ３２０はループフィルタ１２０と機能的に同一であってよく、復号ピクチャバッファ３３０は復号ピクチャバッファ１３０と機能的に同一であってよい。
【０１０５】
予測処理ユニット３６０は、インター予測ユニット３４４及びイントラ予測ユニット３５４を含んでよい。ここで、インター予測ユニット３４４はインター予測ユニット１４４と機能的に似ていてよく、イントラ予測ユニット３５４はイントラ予測ユニット１５４と機能的に似ていてよい。予測処理ユニット３６０は、標準的に、ブロック予測を実行し、及び／又は予測ブロック３６５を符号化データ２１から取得し、及び予測関連パラメータ及び／又は選択された予測モードに関する情報を、例えばエントロピー復号ユニット３０４から（明示的に又は暗示的に）受信し又は取得するよう構成される。
【０１０６】
ビデオスライスがイントラ符号化（intra  coded(Ｉ)）スライスとして符号化されるとき、予測処理ユニット３６０のイントラ予測ユニット３５４は、シグナリングされたイントラ予測モード及び現在フレーム又はピクチャの前に復号されたブロックからのデータに基づき、現在ビデオスライスのピクチャブロックについて予測ブロック３６５を生成するよう構成される。ビデオフレームがインター符号化（つまり、Ｂ又はＰ）スライスとして符号化されるとき、予測処理ユニット３６０のインター予測ユニット３４４（例えば動き補償ユニット）は、動きベクトル及びエントロピー復号ユニット３０４から受信した他のシンタックス要素に基づき、現在ビデオスライスのビデオブロックについて予測ブロック３６５を生成するよう構成される。インター予測では、予測ブロックは、参照ピクチャリストのうちの１つの中の参照ピクチャのうちの１つから生成されてよい。ビデオデコーダ３０は、ＤＰＢ３３０に格納された参照ピクチャに基づき、規定構成技術を用いて、参照フレームリスト、リスト０及びリスト１、を構成してよい。
【０１０７】
予測処理ユニット３６０は、動きベクトル及び他のシンタックス要素をパースすることにより、現在ビデオスライスのビデオブロックについて予測情報を決定し、予測情報を使用して、復号中の現在ビデオブロックについて予測ブロックを生成するよう構成される。例えば、予測処理ユニット３６０は、受信したシンタックス要素のうちの幾つかを使用して、ビデオスライスのビデオブロックを符号化するために使用される予測モード（例えば、イントラ又はインター予測）、インター予測スライスタイプ（例えば、Ｂスライス、Ｐスライス、又はＧＰＢスライス）、スライスの参照ピクチャリストのうちの１つ以上の構成情報、スライスの各インター符号化ビデオブロックの動きベクトル、スライスの各インター符号化ビデオブロックのインター予測状態、及び現在ビデオスライス内のビデオブロックを復号するための他の情報を決定する。
【０１０８】
逆量子化ユニット３１０は、ビットストリーム内で提供され、エントロピー復号ユニット３０４により復号された量子化された変換係数を逆量子化、つまり量子化解除するよう構成される。逆量子化処理は、ビデオスライス内の各ビデオブロックに対して、ビデオエンコーダ１００により計算された量子化パラメータを使用して、量子化の程度、及び同様に適用されるべき逆量子化の程度を決定することを含んでよい。
【０１０９】
逆変換処理ユニット３１２は、ピクセルドメインにおいて残差ブロックを生成するために、逆変換、例えば、逆ＤＣＴ、逆整数変換、又は概念的に類似する逆変換処理を、変換係数に適用するよう構成される。
【０１１０】
再構成ユニット３１４（例えば、加算器３１４）は、逆変換ブロック３１３（つまり再構成された残差ブロック３１３）を予測ブロック３６５に加算して、例えば再構成された残差ブロック３１３のサンプル値と予測ブロック３６５のサンプル値とを加算することにより、サンプルドメイン内の再構成ブロック３１５を取得するよう構成される。
【０１１１】
ループフィルタユニット３２０（符号化ループ内にある又は符号化ループの後にある）は、再構成されたブロック３１５をフィルタリングして、フィルタリング済みブロック３２１を取得するよう、例えばピクセル遷移を円滑化するよう或いはビデオ品質を向上するよう構成される。一例では、ループフィルタユニット３２０は、後述するフィルタリング技術の任意の組み合わせを実行するよう構成されてよい。ループフィルタユニット３２０は、逆ブロッキングフィルタ、サンプル適応オフセット（sample−adaptive  offset  (SAO)）フィルタ又は他のフィルタ、例えばバイラテラルフィルタ又は適応ループフィルタ（adaptive  loop  filter  (ALF)）又は先鋭化若しくは円滑化フィルタ又は共同フィルタのような１つ以上のループフィルタを表すことを意図する。ループフィルタユニット３２０はループフィルタ内にあるとして図３に示されるが、他の構成では、ループフィルタユニット３２０は後置きループフィルタとして実装されてよい。
【０１１２】
所与のフレーム又はピクチャ内の復号ビデオブロック３２１は、次に、後の動き補償のために使用される参照ピクチャを格納する復号ピクチャバッファ３３０に格納される。
【０１１３】
デコーダ３０は、ユーザへの提示又は閲覧のために、復号ピクチャ３３１を、例えば出力３３２を介して出力するよう構成される。
【０１１４】
ビデオデコーダ３０の他の変形は、圧縮ビットストリームを復号するために使用され得る。例えば、デコーダ３０は、ループフィルタリングユニット３２０を有しないで、出力ビデオストリームを生成できる。例えば、非変換に基づくデコーダ３０は、逆変換処理ユニット３１２を有しないで、特定のブロック又はフレームについて、残差信号を直接逆量子化できる。別の実装では、ビデオデコーダ３０は、結合されて単一のユニットになった、逆量子化ユニット３１０及び逆変換処理ユニット３１２を有し得る。
【０１１５】
図４Ａ及び４Ｂに示すように、ＪＥＭの最新バージョンは、スキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。ＨＥＶＣ及びＶＶＣは、２つの隣接参照サンプルの間の線形補間を使用する。ＪＥＭは、より高度な４タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主な参照辺の選択についての決定と調和させられる。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主な参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主な辺参照は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが８サンプル以下である場合、キュービック補間４タップが適用される。その他の場合、補間フィルタは４タップガウスフィルタである。
【０１１６】
図４Ａは、例えばＶＶＣのために提案されているような６７個のイントラ予測モードの例を示す。６７個のイントラ予測モードのうちの複数のイントラ予測は、平面モード（インデックス０）、ＤＣモード（インデックス１）、及びインデックス２〜６６を有する角度モードを含む。ここで、図４Ａの左下の角度モードはインデックス２を表し、インデックスの番号付けは、インデックス６６が図４Ａの最も右上の角度モードになるまでインクリメントされる。図４Ｂに示すように、ＶＶＣの最新バージョンは、広角方向（破線として示される）を含むスキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。
【０１１７】
ＪＥＭで使用される特定のフィルタ係数は表１に示される。予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表１から選択された係数による畳み込みにより、以下のように計算される。
【０１１８】
【数１】
2021533618.tif 000002
【０１１９】
この式で、「＞＞」はビット毎の右シフト演算を示す。
【０１２０】
キュービックフィルタが選択された場合、予測サンプルは、ＳＰＳで定義される又は選択されたコンポーネントのビット深さから導出される許容値範囲に更にクリッピングされる。
［表１］イントラ予測補間フィルタ
【表１】
2021533618.tif 000003
【０１２１】
動き補償処理も、参照ブロックのピクセルの変位が分数であるとき、サンプル値を予測するためにフィルタリングを利用する。ＪＥＭでは、輝度成分に対して８タップフィルタリングが使用され、色度成分について４タップ長フィルタリングが使用される。動き補間フィルタは、先ず水平方向に適用され、水平フィルタリングの出力は更に垂直方向にフィルタリングされる。４タップ色度フィルタの係数は、表２に示される。
［表２］色度動き補間フィルタ係数
【表２】
2021533618.tif 000004
【０１２２】
従来のビデオ符号化ソリューションは、イントラ及びインター予測で異なる補間フィルタを使用する。特に、図５〜１１は、補間フィルタの異なる例を示す。例えば、図５は、ＪＥＭで使用される補間フィルタを示し、図６は、コアエクスペリメント（Core  Experiment）ＣＥ３−３．１．３（ＪＶＥＴ−Ｋ１０２３）のために提案された補間フィルタを示す。
【０１２３】
ピクセル値を補間する色度動き補償サブペルフィルタのルックアップテーブル及びハードウェアモジュールは、それらが参照サンプルの間の分数位置に含まれる場合、イントラ予測器の中で再利用されてよい。インター及びイントラ予測の両方に同じハードウェアが使用されることが意図されるので、フィルタ係数の精度は一致すべきである。つまり、イントラ参照サンプル補間のフィルタ係数を表すビット数は、サブペル動き補償補間フィルタリングの係数精度と揃えられるべきである。
【０１２４】
図１２は、提案された発明の実施形態を示す。破線の「色度のための６ビット係数を有する４タップ補間フィルタ」（更に「統一イントラ／インターフィルタ」と呼ばれる）は、両方の処理、イントラ及びインター予測サンプルの補間のために使用されてよい。
【０１２５】
この設計を利用する特定の実施形態は図１３に示される。この実装では、フィルタリングモジュールは、動き補償における色度サンプルの予測と、イントラ予測を実行するときの輝度及び色度サンプルの予測と、の両方に従事する別個のユニットとして実装されている。この実装では、ハードウェアフィルタリング部分は、イントラ及びインター予測処理の両方で使用されている。
【０１２６】
別の実施形態は、フィルタ係数のＬＵＴのみが再利用されるときの実装を示す（図１４を参照）。この実装では、ハードウェアフィルタリングモジュールは、ＲＯＭに格納されたＬＵＴから係数をロードする。イントラ予測処理の中に示されるスイッチは、イントラ予測処理のために選択された主な辺の長さに依存して、使用されるフィルタタイプを決定する。
【０１２７】
提案された用途の実用的な実施形態は、以下の係数を使用してよい（表３Ａ及び表３Ｂを参照）。
【０１２８】
［表３Ａ］イントラ及びインター補間フィルタ
【表３】
2021533618.tif 000005
［表３Ｂ］イントラ及びインター補間フィルタ
【表４】
2021533618.tif 000006
【０１２９】
イントラ予測サンプルは、サブピクセルオフセット及びフィルタタイプに従い、表３Ａ又は表３Ｂから選択された係数による畳み込みにより、以下のように計算される。
【数２】
2021533618.tif 000007
【０１３０】
この式で、「＞＞」はビット毎の右シフト演算を示す。
【０１３１】
「統一イントラ／インターフィルタ」フィルタが選択された場合、予測サンプルは、ＳＰＳで定義される又は選択されたコンポーネントのビット深さから導出される許容値範囲に更にクリッピングされる。
【０１３２】
イントラ参照サンプル補間及びサブペル動き補償補間に対して、同じフィルタが使用でき、ハードウェアモジュールを再利用し、及び必要なメモリの合計サイズを削減する。
【０１３３】
再利用されるフィルタに加えて、イントラ参照サンプル補間のために使用されるフィルタ係数の精度は、上述の再利用されるフィルタの係数の精度と揃えられるべきである。
【０１３４】
動き補償におけるルマ処理は、必ずしも８タップフィルタリングを使用せず、４タップフィルタリング上でも動作してよい。この場合、４タップフィルタは統一されるために選択され得る。
【０１３５】
実施形態は、補間を含み得るイントラ予測処理の異なる部分において適用されてよい。特に、主な参照サンプルを拡張するとき、辺の参照サンプルは、統一補間フィルタを用いてフィルタリングされてもよい（詳細についてはＪＶＥＴ−Ｋ０２１１を参照）。
【０１３６】
イントラブロック複製演算も、提案される発明を使用してよい補間ステップを含む（イントラブロック複製の説明については、［Xiaozhong  Xu,  Shan  Liu,  Tzu−Der  Chuang,  Yu−Wen  Huang,  Shawmin  Lei,  Krishnakanth  Rapaka,  Chao  Pang,  Vadim  Seregin,  Ye−Kui  Wang,  Marta  Karczewicz:  Intra  Block  Copyin  HEVC  Screen  Content  Coding  Extensions.  IEEE  J.  Emerg.  Sel.  Topics  Circuits  Syst.  ６(４):  ４０９−４１９  (２０１６)］を参照）。
【０１３７】
イントラ予測のためのアスペクト比に依存するフィルタリングの方法が開示され、該方法は、ブロックのアスペクト比に依存して予測されるべきブロックの補間フィルタを選択するステップを含む。
【０１３８】
一例では、補間フィルタを選択するステップは、予測されるべきブロックのイントラ予測モードを閾値設定するための方向に依存する。
【０１３９】
一例では、方向は、予測されるべきブロックの主対角線の角度に対応する。
【０１４０】
一例では、方向の角度は以下のように計算される。
【数３】
2021533618.tif 000008
【０１４１】
ここで、Ｗ，Ｈは、それぞれ予測されるべきブロックの幅及び高さである。
【０１４２】
一例では、アスペクト比は、
【０１４３】
【数４】
2021533618.tif 000009
ここで、Ｗ，Ｈは、それぞれ予測されるべきブロックの幅及び高さである。
【０１４４】
一例では、予測されるべきブロックの主対角線の角度は、アスペクト比に基づき決定される。
【０１４５】
一例では、ブロックのイントラ予測モードの閾値は、予測されるべきブロックの主対角線の角度に基づき決定される。
【０１４６】
一例では、補間フィルタを選択するステップは、使用中の参照サンプルがどの辺に属するかに依存する。
【０１４７】
一例では、イントラ方向に対応する角度を有する直線は、ブロックを２つの領域に分割する。
【０１４８】
一例では、異なる領域に属する参照サンプルは、異なる補間フィルタを用いて予測される。
【０１４９】
一例では、フィルタは、キュービック補間フィルタ又はガウス補間フィルタを含む。
【０１５０】
本願の一実装形式では、フレームはピクチャと同じである。
【０１５１】
本願の一実装形式では、ＶＥＲ＿ＩＤＸに対応する値は５０であり、ＨＯＲ＿ＩＤＸに対応する値は１８であり、ＶＤＩＡ＿ＩＤＸに対応する値は６６であり、この値は角度モードに対応する値の中で最大値であってよく、イントラモード２に対応する値２は角度モードに対応する値の中で最小値であってよく、ＤＩＡ＿ＩＤＸに対応する値は３４である。
【０１５２】
本開示は、イントラモードシグナリング方式の向上を目標とする。本開示では、ビデオ復号方法及びビデオデコーダが提案される。
【０１５３】
本願の別の態様では、上述の復号方法を実行するよう構成される処理回路を含むデコーダが開示される。
【０１５４】
本願の別の態様では、上述の復号方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
【０１５５】
本願の別の態様では、ビデオデータを復号するデコーダが開示される。前記デコーダは、１つ以上のプロセッサと、プロセッサに結合されプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、該プログラミングは、プロセッサにより実行されると、上述の復号方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と、を含む。
【０１５６】
処理回路は、ハードウェアで、又はハードウェアとソフトウェアとの組み合わせで、例えばソフトウェアプログラマブルプロセッサ等により、実装できる。
【０１５７】
処理回路は、ハードウェアで、又はハードウェアとソフトウェアとの組み合わせで、例えばソフトウェアプログラマブルプロセッサ等により、実装できる。
【０１５８】
Ｈ．２６４／ＡＶＣ及びＨＥＶＣは、イントラ予測処理で使用される前に、参照サンプルに低域通過フィルタが適用され得ることを指定する。参照サンプルフィルタを使用するか否かの決定は、イントラ予測モード及びブロックサイズにより決定される。このメカニズムは、モード依存イントラ平滑化（Mode  Dependent  Intra  Smoothing  (MDIS)）と呼ばれてよい。ＭＤＩＳに関連する複数の方法も存在する。例えば、適応型参照サンプル平滑化（Adaptive  Reference  Sample  Smoothing  (ARSS)）方法は、明示的に（つまり、フラグがビットストリームに含まれる）又は暗示的に（つまり、例えば、シグナリングオーバヘッドを削減するために、ビットストリームにフラグを入れることを回避するために、データ隠蔽が使用される）、予測サンプルがフィルタリングされるか否かをシグナリングしてよい。この場合、エンコーダは、全ての可能なイントラ予測モードについてレート歪み（Rate−Distortion  (RD)）コストをテストすることにより、平滑化について決定を行ってよい。
【０１５９】
図４Ａ及び４Ｂに示すように、ＪＥＭ（ＪＥＭ−７．２）の最新バージョンは、スキューイントラ予測方向に対応する幾つかのモードを有する。これらのモードのうちのいずれかでは、ブロックの辺の中の対応する位置が分数である場合、ブロックの中でサンプルを予測するために、近隣参照サンプルのセットの補間が実行されるべきである。ＨＥＶＣ及びＶＶＣは、２つの隣接参照サンプルの間の線形補間を使用する。ＪＥＭは、より高度な４タップ補間フィルタを使用する。フィルタ係数は、幅又は高さ値に依存してガウス又はキュービック係数のいずれかとなるよう選択される。幅又は高さを使用するかについての決定は、主要な参照辺の選択についての決定と調和させられる。イントラ予測モードが対角モードより大きい又は等しいとき、参照サンプルの上辺が、主な参照辺として選択され、使用中の補間フィルタを決定するために幅値が選択される。或いは、主な辺参照は、ブロックの左側から選択され、高さはフィルタ選択処理を制御する。具体的に、選択された辺の長さが８サンプル以下である場合、キュービック補間４タップが適用される。その他の場合、補間フィルタは４タップガウスフィルタである。
【０１６０】
３２×４ブロックの場合の対角モード（４５°として示される）より小さい及び大きいモードの補間フィルタ選択の一例は、図１５に示される。
【０１６１】
ＶＶＣでは、４分木及び２分木の両方に基づくＱＴＢＴとして知られるパーティションメカニズムが使用される。図１６に示すように、ＱＴＢＴパーティショニングは、正方形だけでなく長方形のブロックも提供できる。勿論、ＨＥＶＣ／Ｈ．２６４規格で使用される従来の４分木に基づくパーティショニングと比べて、幾らかのシグナリングオーバヘッド及びエンコーダ側での増大する計算の複雑さは、ＱＴＢＴパーティショニングの代償である。それでもなお、ＱＴＢＴに基づくパーティショニングは、より良いセグメント化特性を有し、従って、従来の４分木より有意に高い符号化効率を実証する。
【０１６２】
しかしながら、ＶＶＣは、その現在の状態では、参照サンプルの両辺（左及び上の辺）に同じフィルタを適用する。ブロックが垂直方向又は水平方向に向けられているかに関わらず、参照サンプルフィルタは、両方の参照サンプルの辺について同じである。
【０１６３】
本文書では、用語「垂直方向に向けられたブロック」（「ブロックの垂直方向」）及び「水平方向に向けられたブロック」（「ブロックの水平方向」）は、ＱＴＢＴフレームワークにより生成された長方形ブロックに適用される。これらの用語は、図１７に示すのと同じ意味を有する。
【０１６４】
本開示は、ブロックの方向を考慮するために、異なる参照サンプルフィルタを選択するメカニズムを提案する。具体的には、ブロックの幅及び高さは、個別にチェックされる。従って、異なる参照サンプルフィルタは、予測されるべきブロックの異なる辺に位置する参照サンプルに適用される。
【０１６５】
従来技術を復習すると、補間フィルタ選択は主な参照辺選択についての決定と調和させられると説明された。これらの決定の両方は、現在、イントラ予測モードの対角（４５度）方向との比較に依存する。
【０１６６】
しかしながら、この設計は細長いブロックについて深刻な欠点を有することが分かる。図１８から、モード比較基準を用いて、短い辺が主な参照として選択された場合でも、依然として、予測ピクセルの大部分が、より長い辺の参照サンプルから導出されるであろうこと（破線領域として示される）が分かる。
【０１６７】
本開示は、補間フィルタ選択処理の間に、イントラ予測モードを閾値設定する代替方向を使用すること提案する。具体的に、方向は、予測されるべきブロックの主対角線の角度に対応する。例えば、サイズ３２×４及び４×３２のブロックでは、参照サンプルフィルタを決定するために使用される閾値モードｍＴは、図１９に示されるように定義される。
【０１６８】
閾値イントラ予測角度の特定の値は、次式を用いて計算され得る。
【数５】
2021533618.tif 000010
ここで、Ｗ及びＨはそれぞれブロック幅及び高さである。
【０１６９】
本開示の別の実施形態は、使用されている参照サンプルがどの辺に属するかに依存して異なる補間フィルタの使用することである。この決定の一例は図２０に示される。
【０１７０】
イントラ方向ｍに対応する角度を有する直線は、予測ブロックを２つの領域に分割する。異なる領域に属するサンプルは、異なる補間フィルタを用いて予測される。
（ＢＭＳ１．０で定義されたイントラ予測モードのセットについて）ｍＴの例示的な値、及び対応する角度は、表４に示される。角度αは図１９〜２０に示されるように与えられる。
［表４］（ＢＭＳ１．０で定義されたイントラ予測モードのセットについて）ｍＴの例示的な値
【表５】
2021533618.tif 000011
【０１７１】
既存の技術及びソリューションと比べて、本開示は、異なる補間フィルタを用いて予測されるブロック内のサンプルを使用する。ここで、サンプルを予測するために使用される補間フィルタはブロック形状、水平又は垂直である方向、及びイントラ予測モード角度に従い選択される。
【０１７２】
本開示は、参照サンプルフィルタリングの段階で適用されてよい。特に、補間フィルタ選択処理について上述したのと同様のルールを用いて、参照サンプル平滑化フィルタを決定することが可能である。
【０１７３】
補間フィルタリングに加えて、参照サンプルフィルタリングは、また、イントラ予測器内でサンプルを予測する直前に、参照サンプルに適用できる。参照サンプルフィルタリングの後に取得されたフィルタリング済み参照サンプルは、イントラ予測モードの選択された方向に従いイントラ予測器内でそれらを対応するサンプルにコピーするため、又は更なる補間フィルタリングのために、使用できる。以下のフィルタは、このように参照サンプルに適用できる。
［表５］例示的な参照サンプルフィルタ
【表６】
2021533618.tif 000012
【０１７４】
方向予測の結果は、以下を含む異なる手段により取得された予測の結果と組み合わせられ得る。
・境界平滑化、
・ＰＤＰＣ及び簡易ＰＤＰＣ。
【０１７５】
境界平滑化及びＰＤＰＣの場合、予測ブロックの幾つかの第１列又は幾つかの第１行が、近隣サンプルから生成された追加予測信号と組み合わせられる。
【０１７６】
簡易ＰＤＰＣの特定の実装は、イントラ予測モードに依存して異なる方法で実行され得る。
【０１７７】
平面、ＤＣ、ＨＯＲ／ＶＥＲイントラ予測モード（図４Ａ及び図４Ｂにそれぞれ０、１、１８、５０として示される）について、以下のステップが実行される。
（ｘ，ｙ）に位置する予測サンプルＰ（ｘ，ｙ）は以下のように計算される。
【数６】
2021533618.tif 000013
ここで、Ｒｘ，−１、Ｒ−１，ｙは、現在サンプル（ｘ，ｙ）の上及び左に位置する参照サンプルを表し、Ｒ−１，−１は現在ブロックの左上角の位置する参照サンプルを表す。ＤＣモード重みは以下のように計算される。
【数７】
2021533618.tif 000014
【０１７８】
平面モードではｗＴＬ＝０であり、一方で水平モードではｗＴＬ＝ｗＴであり、垂直モードではｗＴＬ＝ｗＬである。１個の４×４ブロックの内側の（０，０）及び（１，０）位置のＤＣモードＰＤＰＣ重み（ｗＬ，ｗＴ，ｗＴＬ）が示される。
【０１７９】
対角（図４Ａ及び図４Ｂで２及び６６として示される）及び隣接モード（図４Ａ又は図４Ｂで５８より小さくなく且つ１０より大きくない方向モード）では、処理は以下に説明するように実行される。
【０１８０】
図２２（ａ）は、右上対角モードに対するＰＤＰＣの拡張について、参照サンプルＲｘ，−１、Ｒ−１，ｙ、及びＲ−１，−１の定義を示す。予測サンプルｐｒｅｄ（ｘ’，ｙ’）は、予測ブロック内の（ｘ’，ｙ’）に位置する。参照サンプルＲｘ，−１の座標ｘは、ｘ＝ｘ’＋ｙ’＋１により与えられ、参照サンプルＲ−１，ｙの座標ｙは、同様にｙ＝ｘ’＋ｙ’＋１により与えられる。
右上対角モードのＰＤＰＣ重みは、
【数８】
2021533618.tif 000015
【０１８１】
同様に、図２２（ｂ）は、左下対角モードに対するＰＤＰＣの拡張について、参照サンプルＲｘ，−１、Ｒ−１，ｙ、及びＲ−１，−１の定義を示す。参照サンプルＲｘ，−１の座標ｘは、ｘ＝ｘ’＋ｙ’＋１により与えられ、参照サンプルＲ−１，ｙの座標ｙは、ｙ＝ｘ’＋ｙ’＋１により与えられる。右上対角モードのＰＤＰＣ重みは、
【数９】
2021533618.tif 000016
隣接右上対角モードの場合は、図２２（ｃ）に示される。隣接右上対角モードのＰＤＰＣ重みは、
【数１０】
2021533618.tif 000017
同様に、隣接左下対角モードの場合は、図２２（ｄ）に示される。隣接左下対角モードのＰＤＰＣ重みは、
【数１１】
2021533618.tif 000018
最後の２つの場合の参照サンプル座標は、角度モードイントラ予測のために既に使用された表を用いて計算される。分数参照サンプル座標が計算される場合、参照サンプルの線形補間が使用される。
【０１８２】
しかしながら、方向イントラ予測のための入力処理として使用される近隣サンプルの処理（例えば、フィルタリング）は、ＰＤＰＣ又は簡易ＰＤＰＣの入力に渡されるものと異なってよい。例えば、方向イントラ予測は、フィルタリング済み参照サンプルを使用し、一方で、ＰＤＰＣ又は簡易ＰＤＰＣは未フィルタリングサンプルを使用し得る。特に、方向イントラ予測モードが、整数サンプルサブピクセルオフセットを有する広角モードである場合（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ、表Ｘに示され更に説明される）、参照サンプルはフィルタリングされ、一方でＰＤＰＣは未フィルタリング参照サンプルを使用し得る。
【０１８３】
簡易ＰＤＰＣの場合、現在の実装は図２３に示される。
【０１８４】
図２３で、破線ボックスは、以下のうちの１つを指定し得る。
・簡易ＰＤＰＣ処理、
・ＰＤＰＣ処理（例えば、ＪＥＭで指定される）、
・境界平滑化（例えば、ＨＥＶＣで指定される）。
イントラ予測の結果を更新するために線形結合を使用する他の方法。
【０１８５】
これらの場合の全部で、この処理は、更新ステップ、つまり、イントラ予測及び追加部分生成ステップの出力の線形結合を含む。
【０１８６】
特定の実装では、「参照サンプルフィルタリング＃１」及びイントラ予測のステップは、サブピクセル補間フィルタ係数を参照サンプルフィルタの係数により畳み込みすることによりマージされ得る。しかしながら、非分数変位を有するイントラ予測モードでは（ｉｎｔｒａＰｒｅｄＡｎｇｌｅが３２の倍数である場合）、図２３に示すように、この場合のフィルタリング動作は、参照サンプル毎ではなく予測サンプル毎に実行されるので、このマージは冗長である。
【０１８７】
図２３から、参照サンプルは、指定されたｉｎｔｒａＰｒｅｄＭｏｄｅに依存して、異なる方法でフィルタリングされ得ることが分かる。例えば、参照サンプルに適用されるフィルタについての決定は、表Ｘに従い行われ得る。表Ｘは以下の表記を用いる。
・「Ｓ」は、決定がブロックサイズに依存することを意味する。このサイズ依存性は、以下のように実行される。（ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＞＞１に等しく設定されたブロックサイズパラメータｎＴｂＳは、所定の閾値ＴＳと比較される。ｎＴｂＳ＞ＴＳの場合、「１」の値について更に説明されるのと同じ処理が適用される。或いは、ｎＴｂＳ≦ＴＳの場合、「０」の値について更に説明されるのと同じ処理が適用される。ここで、ｎＴｂＷ及びｎＴｂＨは、それぞれ予測ブロックの幅及び高さを示し、「＞＞」は右シフト演算を示す。ＴＳの値は、例えば２に設定され、又は（例えば、ＨＥＶＣのＭＤＩＳの場合に行われるように）イントラ予測モードに依存して定義され得る。
・「１」は、処理が有効にされることを意味する。参照サンプルフィルタリングの場合、「１」の値は、参照サンプルが［１  ２  １］フィルタにより処理されることを意味する。
・「０」は、処理が無効にされることを意味する。参照サンプルフィルタリングの場合、「１」の値は、参照サンプルが［１］フィルタにより処理されること、つまりフィルタリングが参照サンプルに適用されないことを意味する。
［表Ｘ］（図４Ｂに示すような）方向ｉｎｔｒａＰｒｅｄＭｏｄｅに依存する参照サンプルフィルタリングの決定
【表７】
2021533618.tif 000019
【０１８８】
本発明の実施形態は、方向予測の出力及び予測ブロックの視覚的品質を向上するために使用される追加予測信号の組み合わせにより、参照サンプル処理の統一を目指す。この統一の結果、参照サンプルは１回だけ処理され、この処理の結果は、方向イントラ予測処理及び追加予測の生成の両方により再利用される（図２４を参照）。
【０１８９】
図２４に示す場合では、参照サンプルフィルタリングの１回のみのステップしか必要ないことが分かる。従って、フィルタリング決定は、表Ｙに従い行われる。
［表Ｙ］（図４Ｂに示すような）方向ｉｎｔｒａＰｒｅｄＭｏｄｅに依存する参照サンプルフィルタリングの決定
【表８】
2021533618.tif 000020
【０１９０】
簡易ＰＤＰＣの場合の追加部分は、ＶＶＣ仕様で指定されたように実行され得る。更に、以下の表記が使用される。
【数１２】
2021533618.tif 000021
Ｆｌｏｏｒ（ｘ）は、ｘ以下の最大整数である。
Ｌｏｇ２（ｘ）は、２を底とするｘの対数である。
ｉｎｔｒａＰｒｅｄＡｎｇｌｅは、表Ｘ又は表Ｙで指定された角度パラメータである。
Ａ＝Ｃ？Ｂ：Ｄは、三項代入演算であり、ここで条件Ｃが真の場合、ＡはＢに等しく設定される。或いは、条件Ｃが偽の場合、ＡはＤに等しく設定される。
ＩＮＴＲＡ＿ＰＬＡＮＡＲは、平面イントラ予測モード（）である。
ＩＮＴＲＡ＿ＤＣは、ＤＣイントラ予測モードである。
ＩＮＴＲＡ＿ＡＮＧＵＬＡＲＸＸは、方向イントラ予測モードのうちの１つであり、ここでＸＸは、図４Bに示されるその番号及び対応する方向を示す。
【０１９１】
以上の表記が与えられると、簡易ＰＤＰＣのステップは以下の通り定義され得る。
この処理への入力は：
・イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ、
・変換ブロック幅を指定する変数ｎＴｂＷ、
・変換ブロック高さを指定する変数ｎＴｂＨ、
・参照サンプル幅を指定する変数ｒｅｆＷ、
・参照サンプル高さを指定する変数ｒｅｆＨ、
・予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］、ここでｘ＝０．．．ｎＴｂＷ−１、ｙ＝０．．．ｎＴｂＨ−１、
・近隣サンプルｐ［ｘ］［ｙ］、ここで、ｘ＝−１、ｙ＝−１．．．ｒｅｆＨ−１、及びｘ＝０．．．ｒｅｆＷ−１、ｙ＝−１、
・現在ブロックの色成分を指定する変数ｃＩｄｘ。
この処理の出力は、変更された予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］、ここでｘ＝０．．．ｎＴｂＷ−１、ｙ＝０．．．ｎＴｂＨ−１である。
ｃＩｄｘの値に依存して、関数ｃｌｉｐ１Ｃｍｐは以下の通り設定される。
・ｃＩｄｘが０に等しい場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｙに等しく設定され、
・その他の場合、ｃｌｉｐ１ＣｍｐはＣｌｉｐ１Ｃに等しく設定される。
変数ｎＳｃａｌｅは以下に設定される：
【数１３】
2021533618.tif 000022
参照サンプル配列ｍａｉｎＲｅｆ［ｘ］及びｓｉｄｅＲｅｆ［ｙ］、ここでｘ＝０．．．ｒｅｆＷ−１及びｙ＝０．．．ｒｅｆＨ−１は、以下のように導出される：
【数１４】
2021533618.tif 000023
変数ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、ｗＬ［ｘ］、及びｗＴＬ［ｘ］［ｙ］、ここでｘ＝０．．．ｎＴｂＷ−１、ｙ＝０．．．ｎＴｂＨ−１は、以下のように導出される：
・ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＰＬＡＮＡＲ、ＩＮＴＲＡ＿ＤＣ、ＩＮＴＲＡ＿ＡＮＧＵＬＡＲ１８、又はＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５０に等しい場合、以下が適用される：
【数１５】
2021533618.tif 000024
・或いは、ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ２、又はＩＮＴＲＡ＿ＡＮＧＵＬＡＲ６６に等しい場合、以下が適用される：
【数１６】
2021533618.tif 000025
・或いは、ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ１０より小さい又は等しい場合、以下の順序のステップが適用される：
１．変数ｄＸＰｏｓ［ｙ］、ｄＸＦｒａｃ［ｙ］、ｄＸＩｎｔ［ｙ］、及びｄＸ［ｘ］［ｙ］は、ｉｎｖＡｎｇｌｅを用いて以下のように導出される：
【数１７】
2021533618.tif 000026
２．変数ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、ｗＬ［ｘ］、及びｗＴＬ［ｘ］［ｙ］は、以下のように導出される：
【数１８】
2021533618.tif 000027
・或いは、ｐｒｅｄＭｏｄｅＩｎｔｒａがＩＮＴＲＡ＿ＡＮＧＵＬＡＲ５８（図４Ｂを参照）より大きい又は等しい場合、以下の順序のステップが適用される：
１．変数ｄＹＰｏｓ［ｘ］、ｄＹＦｒａｃ［ｘ］、ｄＹＩｎｔ［ｘ］、及びｄＹ［ｘ］［ｙ］は、ｉｎｔｒａＰｒｅｄＭｏｄｅに依存して以下に指定されるようにｉｎｖＡｎｇｌｅを用いて以下のように導出される：
【数１９】
2021533618.tif 000028
２．変数ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、ｗＬ［ｘ］、及びｗＴＬ［ｘ］［ｙ］は、以下のように導出される：
【数２０】
2021533618.tif 000029
・その他の場合、ｒｅｆＬ［ｘ］［ｙ］、ｒｅｆＴ［ｘ］［ｙ］、ｗＴ［ｙ］、ｗＬ［ｘ］、及びｗＴＬ［ｘ］［ｙ］は、全部０に等しく設定される。変更された予測サンプルｐｒｅｄＳａｍｐｌｅｓ［ｘ］［ｙ］の値、ここでｘ＝０．．．ｎＴｂＷ−１、ｙ＝０．．．ｎＴｂＨ−１、は以下のように導出される：
【数２１】
2021533618.tif 000030
割り当て式１で、上述の簡易ＰＤＰＣは、線形補間の代わりに最近接近隣補間を使用してよい：
【数２２】
2021533618.tif 000031
同様に、割り当て式２も、最近接近隣補間を使用し得る：
【数２３】
2021533618.tif 000032
【０１９２】
従って、エンコーダ及びデコーダ側の両方で、提案された方法は、入力データとして以下を使用する：
・方向イントラ予測モード（図４Ａ及び図４Ｂに示されるｐｒｅｄＭｏｄｅＩｎｔｒａとして更に示される）、
・ブロックサイズパラメータｎＴｂＳ、これは、（ｌｏｇ２（ｎＴｂＷ）＋Ｌｏｇ２（ｎＴｂＨ））＞＞１に等しく設定され、ここで、ｎＴｂＷ及びｎＴｂＨは、それぞれ予測ブロックの幅及び高さを示し、「＞＞」は右シフト演算を示す。
【０１９３】
以下のステップは、イントラ予測方法を実施するために実行されてよい。
ステップ１。参照サンプル、イントラ予測モードｉｎｔｒａＰｒｅｄＭｏｄｅ及び／又はブロック寸法（幅及び高さ）に基づき、参照サンプルフィルタリングを実行する。
ステップ２。ｉｎｔｒａＰｒｅｄＡｎｇｌｅに従い、処理済み（フィルタリング済み又は未フィルタリング参照サンプル）参照サンプル（ステップ１の結果）に基づき、方向イントラ予測を実行する。
ステップ３。ステップ２で取得された結果を、以下であり得る予測組み合わせにより更新する：
・ＰＤＰＣ、
・簡易ＰＤＰＣ。
【０１９４】
ここで、ステップ３で使用される入力参照サンプルは、整数勾配広角モード（例えば、表６及び７で指定されるように、−１４、−１２、−１０、−６、７２、７６、７８、８０）について、ステップ１で取得されステップ２で使用されたのと同じ参照サンプルである。
【０１９５】
参照サンプルフィルタリングは以下を含んでよい：
ｐｒｅｄＭｏｄｅＩｎｔｒａに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるべきかを決定する。これは、以下の表５にリストされたフィルタのうちの１つを適用することにより実行され得る。ＶＶＣでは、インデックス０及び１を有するフィルタが使用される。例えば、参照サンプルは、ｐｒｅｄＭｏｄｅが２、３４、又は６６に等しいとき、及びｎＴｂＳ＞２のときに、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
【０１９６】
上述の方法の代替的実施形態は、このステップで、イントラ予測モードｐｒｅｄＭｏｄｅＩｎｔｒａ（ＩｎｔｒａＰｒｅｄＭｏｄｅとも記述される）の代わりに、角度パラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅとして更に示される）を使用することである。この場合、ｉｎｔｒａＰｒｅｄＡｎｇｌｅの値が３２の倍数である場合、及びｎＴｂＳ＞２のとき、参照サンプルは、フィルタリングされる（表５のフィルタインデックス「１」が使用される）。
【０１９７】
提案された方法の使用を可能にするＶＣＣ仕様の変更は、簡易ＰＤＰＣを記載するセクションにおいて、「近隣サンプルｐ［ｘ］［ｙ］」を「参照サンプルｐ［ｘ］［ｙ］」で置き換えることを含んでよい。
【０１９８】
角度パラメータｉｎｔｒａＰｒｅｄＡｎｇｌｅは、５ビットに等しい分数部分の長さを有する固定点表現で予測サンプルの２つの隣接する行の間のサブピクセルオフセットを示す。このパラメータは、イントラ予測モードから導出され得、ｐｒｅｄＭｏｄｅＩｎｔｒａから導出される。ｐｒｅｄＭｏｄｅＩｎｔｒａからのｉｎｔｒａＰｒｅｄＡｎｇｌｅの例示的な導出は、例えば表８に示されるように、ＬＵＴにより定義され得る。
［表８］ｉｎｔｒａＰｒｅｄＡｎｇｌｅをｐｒｅｄＭｏｄｅＩｎｔｒａから導出するための例示的なＬＵＴ
【表９】
2021533618.tif 000033
【０１９９】
例えば、記載の方法に関連する開示は、該方法を実行するよう構成される対応する装置又はシステムについても当てはまる可能性があり、逆も同様であることが理解される。例えば、特定の方法のステップが記載される場合、ユニットが明示的に記載され又は図中に示されない場合でも、対応する装置は記載された方法のステップを実行するためのユニットを含んでよい。更に、本願明細書で説明される種々の例示的な態様の特徴は、特に断りのない限り、互いに結合されてよいことが理解される。
【０２００】
ビデオ符号化とは、通常は、ビデオ又はビデオシーケンスを形成する、ピクチャのシーケンスの処理のことを言う。用語ピクチャ、画像又はフレームは、ビデオ符号化の分野において同義的に使用されてよく／使用され、本願においても同様である。各ピクチャは、標準的に、重なり合わないブロックのセットにパーティションされる。ピクチャの符号化／復号は、標準的に、ブロックレベルで実行される。ここで、例えば、インターフレーム予測又はイントラフレーム予測が、予測ブロックを生成するために使用され、予測ブロックを現在ブロック（現在処理されている／処理されるべきブロック）から減算し、残差ブロックを取得し、これは更に変換され量子化されて、送信されるべきデータの量を削減する（圧縮）。一方で、デコーダ側では、符号化／圧縮ブロックに逆の処理が適用されて、提示のためにブロックを再構成する。
【０２０１】
本発明は、以下の実施形態を更に提供する。
実施形態１。イントラ予測の方法であって、前記方法は、
参照サンプルを処理するステップと、
イントラ予測に従い、前記処理された参照サンプルに基づき、方向イントラ予測を実行するステップと、
前記処理された参照サンプルに基づき、追加予測を実行するステップと、を含む方法。
実施形態２。参照サンプルを処理する前記ステップは、参照サンプルフィルタリング又はサブピクセル補間フィルタリングを含む、実施形態１に記載の方法。
実施形態３。前記方向イントラ予測モードは、
Ａ．垂直又は水平モード、
Ｂ．４５°の倍数である角度を表す対角モード、
Ｃ．残りの方向モード、
のうちの少なくとも１つのグループに含まれる、実施形態１に記載の方法。
実施形態４。前記方向イントラ予測モードが、グループＡに属するとして分類されるとき、イントラ予測器を生成するために参照サンプルにフィルタが適用されない、実施形態３に記載の方法。
実施形態５。前記方向モードがグループＢに含まれるとき、前記選択された方向に従い、フィルタされた値をイントラ予測器にコピーするために、参照サンプルフィルタが参照サンプルに適用される（補間フィルタは適用されない）、実施形態３に記載の方法。
実施形態６。前記方向モードがグループＣに属するとして分類されるとき、選択された方向に従い、参照サンプルの間の分数又は整数位置に含まれる予測サンプルを生成するために、イントラ参照サンプル補間フィルタのみが参照サンプルに適用される（参照サンプルフィルタリングは実行されない）、実施形態３に記載の方法。
実施形態７。参照サンプル、イントラ予測モード（ＩｎｔｒａＰｒｅｄＭｏｄｅ）、又はブロックサイズパラメータ、のうちの少なくとも１つに基づき参照サンプルフィルタリングを実行する、実施形態１〜６のいずれか１つに記載の方法。
実施形態８。前記処理された参照サンプルは、フィルタリング済み参照サンプル又は未フィルタリング参照サンプルを含む、実施形態７に記載の方法。
実施形態９。前記方法は、前記ｐｒｅｄＭｏｄｅＩｎｔｒａに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定すること、を更に含む実施形態７に記載の方法。
実施形態１０。インデックス０又は１を有するフィルタが使用される、実施形態９に記載の方法。
実施形態１１。参照サンプルは、ｐｒｅｄＭｏｄｅが２、３４、又は６６に等しいとき、及びｎＴｂＳ＞２のときに、フィルタリングされる（表５のフィルタインデックス「１」が使用される）、実施形態９に記載の方法。
実施形態１２。前記方法は、前記ブロックサイズパラメータに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するステップであって、前記ブロックサイズパラメータは角度パラメータ（ｉｎｔｒａＰｒｅｄＡｎｇｌｅ）である、ステップ、を更に含む実施形態７に記載の方法。
実施形態１３。前記ｉｎｔｒａＰｒｅｄＡｎｇｌｅの値が３２の倍数であるとき、及びｎＴｂＳ＞２のとき、参照サンプルは、フィルタリングされる（表５のフィルタインデックス「１」が使用される）、実施形態１２に記載の方法。
実施形態１４。前記追加予測は、位置依存予測組み合わせ（Position−Dependent  Prediction  Combination  (PDPC)）又は簡易ＰＤＰＣである、実施形態１〜１３のいずれか１つに記載の方法。
実施形態１５。前記イントラ予測及び前記追加予測は、並列に実行される、実施形態１〜１４のいずれか１つに記載の方法。
実施形態１６。前記方向イントラ予測は、整数勾配広角モード（例えば、表Ｘ及びＹで指定されたような−１４、−１２、−１０、−６、７２、７６、７８、８０）を含む、実施形態１〜１５のいずれか１つに記載の方法。
【０２０２】
上述の方法を実行するよう構成される処理回路を含むデコーダ又はエンコーダ。
【０２０３】
本開示では、上述の方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
本開示では、ビデオデータを復号するデコーダが開示される。前記デコーダは、
１つ以上のプロセッサと、
プロセッサに結合されプロセッサによる実行のためのプログラミングを格納する非一時的コンピュータ可読記憶媒体であって、該プログラミングは、プロセッサにより実行されると、上述の方法を実行するようデコーダを構成する、非一時的コンピュータ可読記憶媒体と、
を含む。
【０２０４】
図２５は、ビデオの現在ピクチャの中の現在画像ブロックのイントラ予測のための機器２５００の例示的な構造を示すブロック図である。一例では、機器２５００は、図２のイントラ予測ユニット２５４に対応してよい。別の例では、機器２５００は、図３のイントラ予測ユニット３５４に対応してよい。機器２５００は、上述の方法を実行するよう構成され、
ブロックのイントラ予測モードを取得するよう構成される取得ユニット２５０２と、
ブロックのイントラ予測モードが広角モードであるとき、フィルタリング済み参照サンプルに基づき、ブロックの予測サンプルを取得するよう構成される広角予測ユニット２５０４と、
を含んでよい。
【０２０５】
機器２５００は、ブロックのイントラ予測モードが広角モードであるかを決定するよう構成される決定ユニット（図２５に示されない）を更に含んでよい。
【０２０６】
図２６は、種々の実施形態を実装するために使用可能な機器１５００のブロック図である。機器１５００は、図１に示すようなソース装置１０２、又は図２に示すようなビデオエンコーダ２００、又は図１に示すような宛先装置１０４、又は図３に示すようなビデオデコーダ３００であってよい。更に、機器１５００は、記載された要素のうちの１つ以上をホスティングできる。幾つかの実施形態では、機器１５００は、スピーカ、マイクロフォン、マウス、タッチスクリーン、キーバッド、キーボード、プリンタ、ディスプレイ、等のような１つ以上の入力／出力装置を備える。機器１５００は、バスに接続された、１つ以上の中央処理ユニット（central  processing  unit  (CPU)）１５１０、メモリ１５２０、大容量記憶１５３０、ビデオアダプタ１５４０、及び／又はＩ／Ｏインタフェース１５６０を含んでよい。バスは、メモリバス又はメモリ制御部、周辺機器バス、ビデオバス等を含む、任意の種類の幾つかのバスアーキテクチャのうちの１つ以上である。
【０２０７】
ＣＰＵ１５１０は、任意の種類の電子データプロセッサを有してよい。メモリ１５２０は、静的ランダムアクセスメモリ（static  random  access  memory  (SRAM)）、動的ランダムアクセスメモリ（dynamic  random  access  memory  (DRAM)）、同期ＤＲＡＭ（synchronous  DRAM  (SDRAM)）、読み出し専用メモリ（read−only  memory  (ROM)）、それらの組み合わせ、等のような任意の種類のシステムメモリであり又は有してよい。一実施形態では、メモリ１５２０は、ブートアップで使用するためのＲＯＭ、及びプログラムの実行中に使用するためのプログラム及びデータ記憶のためのＤＲＡＭを含んでよい。実施形態では、メモリ１５２０は、非一時的である。大容量記憶１５３０は、データ、プログラム、及び他の情報を格納し、データ、プログラム、及び他の情報をバスを介してアクセス可能にする任意の種類の記憶装置を含む。大容量記憶１５３０は、例えば、固体ドライブ、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、等のうちの１つ以上を含む。
【０２０８】
ビデオアダプタ１５４０及びＩ／Ｏインタフェース１５６０は、外部入力及び出力装置を機器１５００に接続するためのインタフェースを提供する。例えば、機器１５００は、ＳＱＬコマンドインタフェースをクライアントに提供してよい。図示のように、入力及び出力装置の例は、ビデオアダプタ１５４０に接続されたディスプレイ１５９０、及びＩ／Ｏインタフェース１５６０に接続されたマウス／キーボード／プリンタ１５７０の任意の組み合わせを含む。他の装置が機器１５００に接続されてよく、追加又はより少ないインタフェースカードが利用されてよい。例えば、シリアルインタフェースカード（図示しない）は、プリンタのためのシリアルインタフェースを提供するために使用されてよい。
【０２０９】
機器１５００は、イーサネットケーブル等のような有線リンク及び／又はノード又は１つ以上のネットワーク１５８０にアクセスするための無線リンクを含む１つ以上のネットワークインタフェース１５５０も含む。ネットワークインタフェース１５５０は、機器１５００がネットワーク１５８０を介して遠隔ユニットと通信することを可能にする。例えば、ネットワークインタフェース１５５０は、データベースへの通信を提供してよい。一実施形態では、機器１５００は、データ処理及び他の処理ユニットのような遠隔装置、インターネット、遠隔記憶設備、等との通信のためにローカルエリアネットワーク又は広域ネットワークに接続される。
【０２１０】
以下は、上述の実施形態に示されたような符号化方法及び復号方法の適用、及びそれらを使用するシステムの説明である。
【０２１１】
図２７は、コンテンツ配信サービスを実現するコンテンツ供給システム３１００を示すブロック図である。このコンテンツ供給システム３１００は、キャプチャ装置３１０２、端末装置３１０６を含み、及び任意的にディスプレイ３１２６を含む。キャプチャ装置３１０２は、通信リンク３１０４を介して端末装置３１０６と通信する。通信リンクは、上述の通信チャネル１３を含んでよい。通信リンク３１０４は、限定ではないが、ＷＩＦＩ、イーサネット、ケーブル、無線（３Ｇ／４Ｇ／５Ｇ）、ＵＳＢ、又はそれらの任意の種類の組み合わせ、等を含む。
【０２１２】
キャプチャ装置３１０２は、データを生成し、上述の実施形態で示されたような符号化方法によりデータを符号化してよい。或いは、キャプチャ装置３１０２は、データをストリーミングサーバ（図に示されない）へ配信してよく、サーバは、データを符号化し、符号化データを端末装置３１０６へ送信する。キャプチャ装置３１０２は、限定ではないが、カメラ、スマートフォン又はＰａｄ、コンピュータ又はラップトップ、ビデオ会議システム、ＰＤＡ、車載装置、又はそれらのいずれかの組み合わせ、等を含む。例えば、キャプチャ装置３１０２は、上述のようなソース装置１０２を含んでよい。データがビデオを含むとき、キャプチャ装置３１０２に含まれるビデオエンコーダ２０は、実際に、ビデオ符号化処理を実行してよい。データがオーディオ（つまり、音声）を含むとき、キャプチャ装置３１０２に含まれるオーディオエンコーダは、実際に、オーディオ符号化処理を実行してよい。幾つかの実用的なシナリオでは、キャプチャ装置３１０２は、符号化ビデオ及びオーディオデータを、それらを一緒に多重化することにより、配信する。他の実用的なシナリオでは、例えば、ビデオ会議システムで、符号化オーディオデータ及び符号化ビデオデータは、多重化されない。キャプチャ装置３１０２は、符号化オーディオデータ及び符号化ビデオデータを端末装置３１０６へ別個に配信する。
【０２１３】
コンテンツ供給システム３１００では、端末装置３１０は、符号化データを受信し再生する。端末装置３１０６は、上述の符号化データを復号する能力のある、スマートフォン又はＰａｄ３１０８、コンピュータ又はラップトップ３１１０、ネットワークビデオレコーダ（network  video  recorder  (NVR)）／デジタルビデオレコーダ（digital  video  recorder  (DVR)）３１１２、ＴＶ３１１４、セットトップボックス（set  top  box  (STB)）３１１６、ビデオ会議システム３１１８、ビデオ監視システム３１２０、パーソナルデジタルアシスタント（personal  digital  assistant  (PDA)）３１２２、車載装置３１２４、又はそれらの任意の組み合わせ等のような、データ受信及び復元能力を備えた装置であり得る。例えば、端末装置３１０６は、上述のような宛先装置１４を含んでよい。符号化データがビデオを含むとき、端末装置に含まれるビデオデコーダ３０は、ビデオ復号を実行するために優先される。符号化データがオーディオを含むとき、端末装置に含まれるオーディオデコーダは、オーディオ復号処理を実行するために優先される。
【０２１４】
ディスプレイを備える端末装置、例えば、スマートフォン、又はＰａｄ３１０８、コンピュータ又はラップトップ３１１０、ネットワークビデオレコーダ（network  video  recorder  (NVR)）／デジタルビデオデコーダ（digital  video  recorder  (DVR)）３１２２、ＴＶ３１１４、パーソナルデジタルアシスタント（personal  digital  assistant  (PDA)）３１２２、又は車載装置３１２４では、端末装置は復号データを自身のディスプレイに供給できる。ディスプレイを備えない端末装置、例えばＳＴＢ３１１６、ビデオ会議システム３１１８、又はビデオ監視システム３１２０では、外部ディスプレイ３１２６は、復号データを受信し表示するために内部で連絡される。
【０２１５】
このシステム内の各装置が符号化又は復号を実行するとき、上述の実施形態において示されたように、ピクチャ符号化装置又はピクチャ復号装置が使用できる。
【０２１６】
図２８は、端末装置３１０６の例の構造を示す図である。端末装置３１０６がキャプチャ装置３１０２からストリームを受信した後に、プロトコル進行ユニット３２０２は、ストリームの送信プロトコルを分析する。プロトコルは、限定ではないが、リアルタイムストリーミングプロトコル（Real  Time  Streaming  Protocol  (RTSP)）、ハイパーテキスト転送プロトコル（Hyper  Text  Transfer  Protocol  (HTTP)）、ＨＴＴＰライブストリーミングプロトコル（HTTP  Live  streaming  protocol  (HLS)）、ＭＰＥＧ−ＤＡＳＨ、リアルタイムトランスポートプロトコル（Real−time  Transport  protocol  (RTP)）、リアルタイムメッセージングプロトコル（Real  Time  Messaging  Protocol  (RTMP)）、又はそれらの任意の種類の組み合わせ、等を含む。
【０２１７】
プロトコル処理ユニット３２０２がストリームを処理した後に、ストリームファイルが生成される。ファイルは、逆多重化ユニット３２０４へと出力される。逆多重化ユニット３２０４は、多重化データを符号化オーディオデータ及び符号化ビデオデータに分離できる。上述のように、幾つかの実用的なシナリオでは、例えば、ビデオ会議システムで、符号化オーディオデータ及び符号化ビデオデータは、多重化されない。この状況では、符号化データは、逆多重化ユニット３２０４を通らずに、ビデオデコーダ３２０６及びオーディオデコーダ３２０８へと送信される。
【０２１８】
逆多重化処理により、ビデオエレメンタリストリーム（elementary  stream  (ES)）、オーディオＥＳ、及任意のサブタイトルが生成される。上述の実施形態において説明したようなビデオデコーダ３０を含むビデオデコーダ３２０６は、上述の実施形態において示したような復号方法によりビデオＥＳを復号して、ビデオフレームを生成し、このデータを同期ユニット３２１２に供給する。オーディオデコーダ３２０８は、オーディオＥＳを復号してオーディオフレームを生成し、このデータを同期ユニット３２１２に供給する。或いは、ビデオフレームは、同期ユニット３２１２にそれを供給する前に、バッファ（図Ｙに示されない）に格納してよい。同様に、オーディオフレームは、同期ユニット３２１２にそれを供給する前に、バッファ（図Ｙに示されない）に格納してよい。
【０２１９】
同期ユニット３２１２は、ビデオフレーム及びオーディオフレームを同期化し、ビデオ／オーディオをビデオ／オーディオディスプレイ３２１４に供給する。例えば、同期ユニット３２１２は、ビデオ及びオーディオ情報の提示を同期化する。情報は、符号化オーディオ及び視覚データの提示に関するタイムスタンプ、及びデータストリーム自体の配信に関するタイムスタンプを用いてシンタックス内に符号化してよい。
【０２２０】
サブタイトルがストリームに含まれる場合、サブタイトルデコーダ３２１０は、サブタイトルを復号し、それをビデオフレーム及びオーディオフレームと同期化させ、ビデオ／オーディオ／サブタイトルをビデオ／オーディオ／サブタイトルディスプレイ３２１６に供給する。
【０２２１】
本発明は、上述のシステムに限定されず、上述の実施形態におけるピクチャ符号化装置又はピクチャ復号装置のいずれも、他のシステム、例えば車両システムに組み込むことができる。
【０２２２】
本開示に記載された主題及び動作の実装は、デジタル電子回路で、又は本開示に開示された構造及びそれらの構造的均等物を含む、コンピュータソフトウェア、ファームウェア、又はハードウェアで、又はそれらの１つ以上の組み合わせで、実装されてよい。本開示に記載された主題の実装は、データ処理機器による実行のための、又はその動作を制御するための、コンピュータ記憶媒体上に符号化された１つ以上のコンピュータプログラム、つまり、コンピュータプログラム命令の１つ以上のモジュールとして実装されてよい。代替又は追加で、プログラム命令は、人工的に生成された伝搬信号、例えば、データ処理機器による実行のために適切な受信側機器へ伝送するために情報を符号化するために生成される、機械により生成された電気、光、又は電磁信号に符号化されてよい。コンピュータ記憶媒体、例えば、コンピュータ可読媒体は、コンピュータ可読記憶装置、コンピュータ可読記憶基板、ランダム又はシリアルアクセスメモリアレイ若しくは装置、又はそれらの１つ以上の組み合わせであってよく、又はそれに含まれてよい。更に、コンピュータ記憶媒体は伝搬信号ではないが、コンピュータ記憶媒体は、人工的に生成された伝搬信号内に符号化されたコンピュータプログラム命令のソース又は宛先であってよい。コンピュータ記憶媒体は、１つ以上の別個の物理及び／又は非一時的構成要素又は媒体（例えば、複数のＣＤ、ディスク、又は他の記憶装置）であってもよく、又はそれに含まれてよい。
【０２２３】
幾つかの実装では、本開示に記載された動作は、クラウドコンピューティングネットワーク内のサーバ上で提供されるホスティングされたサービスとして実装されてよい。例えば、コンピュータ可読記憶媒体は、論理的にグループ化され、クラウドコンピューティングネットワーク内でアクセス可能であってよい。クラウドコンピューティングネットワーク内のサーバは、クラウドに基づくサービスを提供するクラウドコンピューティングプラットフォームを含んでよい。用語「クラウド」、「クラウドコンピューティング」、及び「クラウドに基づく」は、本開示の範囲から逸脱することなく、必要に応じて同義的に使用されてよい。クラウドに基づくサービスは、クライアントコンピュータ上でローカルに実行されるアプリケーションを拡張し、補強し、又は置き換えるために、サーバにより提供されクライアントプラットフォームにネットワークに渡り配信されるホスティングされたサービスであってよい。回路はクラウドに基づくサービスを使用して、そうでなければリソースが回路に配信され得るまでに長い期間のかかる、ソフトウェアアップグレード、アプリケーション、及び他のリソースを迅速に受信してよい。
【０２２４】
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる）は、コンパイルされた又はインタープリットされた言語、宣言型又は手続き型言語を含む任意の形式のプログラミング言語で記述されてよく、それは、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、オブジェクト、又はコンピューティング環境内での使用に適する他のユニットを含む任意の形式で展開されてよい。コンピュータプログラムは、ファイルシステム内のファイルに対応してよいが、そうする必要はない。プログラムは、他のプログラム又はデータ（例えば、マークアップ言語文書内に格納された１つ以上のスクリプト）を保持するファイルの一部に、対象のプログラムに専用の単一のファイルに、又は複数の連携ファイル（例えば、１つ以上モジュール、サブプログラム、又はコードの部分を格納するファイル）に、格納されてよい。コンピュータプログラムは、１つのコンピュータ上で、又は１つの場所に置かれる若しくは複数の場所に分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるよう展開されてよい。
【０２２５】
本開示に記載の処理及びロジックフローは、入力データに作用し及び出力を生成することにより動作を実行する１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサにより実行されてよい。特定用途論理回路、例えば、ＦＰＧＡ（field  programmable  gate  array）又はＡＳＩＣ（application−specific  integrated  circuit）により、処理及びロジックフローが実行されてもよく、それとして機器が実装されてもよい。
【０２２６】
コンピュータプログラムの実行に適するプロセッサは、例として、汎用及び特定用途向けマイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又はその両者から受信する。コンピュータの基本的要素は、命令に従い動作を実行するプロセッサ、及び命令及びデータを格納する１つ以上のメモリ装置である。通常、コンピュータは、データを格納する１つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスク、も含み、又はそれらからデータを受信し又はそれらへデータを転送するために又はその両方のために動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。更に、コンピュータは、別の装置、例えば、少数の例を挙げると、携帯電話機、パーソナルデジタルアシスタント（personal  digital  assistant  (PDA)）、モバイルオーディオ又はビデオプレイヤ、ゲームコンソール、全地球測位システム（Global  Positioning  System  (GPS)）受信機、又はポータブル記憶装置（例えば、ユニバーサルシリアルバス（universal  serial  bus  (USB)）フラッシュドライブ）、に埋め込まれてよい。コンピュータプログラム命令及びデータを格納するのに適する装置は、例として半導体メモリ装置、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ，及びフラッシュメモリ装置、磁気ディスク、例えば内部ハードディスク又は取り外し可能ディスク、光磁気ディスク、及びＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む、全ての形式の不揮発性メモリ、媒体、及びメモリ装置を含む。プロセッサ及びメモリは、特定用途向け論理回路により補足され、又はその中に組み込まれてよい。
【０２２７】
本開示は多数の特定の実装の詳細を含むが、これらは、任意の実装の又は請求され得るものの範囲に対する限定としてではなく、むしろ、特定の実装の特定の実装に固有の特徴の説明として考えられるべきである。別個の実装の文脈で本開示に記載された特定の特徴は、単一の実装で組み合わされて実装されてもよい。反対に、単一の実装の文脈で記載された種々の特徴は、複数の実装で別個に又は任意の適切な部分的組み合わせで実装されてもよい。更に、特徴は特定の組み合わせで動作するよう上述され、当初はそのようなものとして請求されることさえあり得るが、請求される組み合わせからの１つ以上の特徴は、場合によっては、組み合わせから切り離されてよく、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。
【０２２８】
同様に、動作は、図中に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で又はシーケンシャルな順序で実行されること、又は全ての図示の動作が実行されること、が要求されると理解されるべきではない。特定の環境では、マルチタスク及び並列処理が有利であり得る。更に、上述の実装における種々のシステムコンポーネントの分離は、そのような分離が全ての実装で要求されると理解されるべきではなく、記載されたプログラムコンポーネント及びシステムが通常、単一のソフトウェアプロダクトに一緒に統合され又は複数のソフトウェアプロダクトにパッケージされてよいことが理解されるべきである。
【０２２９】
上述したように、主題の特定の実装が記載された。他の実装は、以下の請求の範囲の範囲内にある。場合によっては、請求項に記載された動作は、異なる順序で実行されてもよく、それでもなお望ましい結果を達成し得る。更に、添付の図面に示された処理は、必ずしも、望ましい結果を達成するために示された特定の順序又はシーケンシャルな順序を必要としない。特定の実装では、マルチタスク及び並列処理が有利であり得る。
【０２３０】
幾つかの実施形態が本開示において提供されたが、開示のシステム及び方法は、本開示の精神又は範囲から逸脱することなく、多くの他の特定の形式で実施され得ることが理解されるべきである。本発明の例は、例示的であり限定的ではないと考えられるべきであり、本願明細書に与えられた詳細事項に限定されることを意図しない。例えば、種々の要素又はコンポーネントは、組み合わされ、又は別のシステムに統合されてよく、或いは、特定の特徴は、省略され又は実施されなくてよい。
【０２３１】
更に、種々の実施形態において個別の又は分離していると説明され示された技術、システム、サブシステム、及び方法は、本開示の範囲から逸脱することなく、他のシステム、モジュール、技術、又は方法と組み合わされ又は統合されてよい。互いに結合され又は直接結合され又は通信するとして示され又は議論された他のアイテムは、間接的に結合され又は、電気的、機械的、又はその他にかかわらず何らかのインタフェース、装置、又は中間コンポーネントを通じて通信してよい。変更、代用、及び改造の他の例は、当業者により確認され、本願明細書に開示した精神および範囲から逸脱することなく行われ得る。
【図１】
2021533618.tif 000034
【図２】
2021533618.tif 000035
【図３】
2021533618.tif 000036
【図４Ａ】
2021533618.tif 000037
【図４Ｂ】
2021533618.tif 000038
【図５】
2021533618.tif 000039
【図６】
2021533618.tif 000040
【図７】
2021533618.tif 000041
【図８】
2021533618.tif 000042
【図９】
2021533618.tif 000043
【図１０】
2021533618.tif 000044
【図１１】
2021533618.tif 000045
【図１２】
2021533618.tif 000046
【図１３】
2021533618.tif 000047
【図１４】
2021533618.tif 000048
【図１５】
2021533618.tif 000049
【図１６】
2021533618.tif 000050
【図１７】
2021533618.tif 000051
【図１８】
2021533618.tif 000052
【図１９】
2021533618.tif 000053
【図２０】
2021533618.tif 000054
【図２１】
2021533618.tif 000055
【図２２】
2021533618.tif 000056
【図２３】
2021533618.tif 000057
【図２４】
2021533618.tif 000058
【図２５】
2021533618.tif 000059
【図２６】
2021533618.tif 000060
【図２７】
2021533618.tif 000061
【図２８】
2021533618.tif 000062
【手続補正書】
【提出日】令和3年1月27日(2021.1.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ブロックのイントラ予測の方法であって、前記方法は、
前記ブロックのイントラ予測モードを取得するステップと、
前記ブロックの前記イントラ予測モードが広角モードか否かを決定するステップと、
前記ブロックの前記イントラ予測モードが前記広角モードであるとき、参照サンプルをフィルタリングするステップと、
前記ブロックの前記イントラ予測モードが前記広角モードであるとき、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するステップと、
を含む方法。
【請求項２】
前記ブロックの前記イントラ予測モードは、整数勾配広角モードである、請求項１に記載の方法。
【請求項３】
前記整数勾配広角モードに対応する値は、−１４、−１２、−１０、−６、７２、７６、７８、又は８０のうちの少なくとも１つである、請求項２に記載の方法。
【請求項４】
前記参照サンプルをフィルタリングするために使用されるフィルタは、以下の係数：［１，２，１］／４により定義される、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記方法は、
前記ブロックの前記イントラ予測モードが広角モードであるかに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するステップ、を更に含む請求項１〜４のいずれかに記載の方法。
【請求項６】
位置依存予測組み合わせ（ＰＤＰＣ）は、前記ブロックの前記イントラ予測モードが広角モードか、及び前記参照サンプルから取得された前記ブロックの予測サンプルに基づき、フィルタリング済みの又は未フィルタリングの参照サンプルについて実行される、請求項１〜５のいずれかに記載の方法。
【請求項７】
前記ブロックの前記イントラ予測モードは前記広角モードではないとき、前記方法は、
前記イントラ予測モードに対応するモード値が２、３４、又は６６のうちの１つであるかを決定するステップと、
前記ブロックの前記イントラ予測モードに対応する前記モード値が２、３４、又は６６のうちの１つであるとき、参照サンプルをフィルタリングするステップと、
を更に含む請求項１〜６のいずれかに記載の方法。
【請求項８】
ブロックのイントラ予測のための機器であって、前記機器は、
前記ブロックのイントラ予測モードを取得するよう構成される取得ユニットと、
前記ブロックの前記イントラ予測モードが広角モードであるかを決定するよう構成される決定ユニットと、
前記ブロックの前記イントラ予測モードが前記広角モードであるとき、参照サンプルをフィルタリングし、フィルタリング済み参照サンプルに基づき、前記ブロックの予測サンプルを取得するよう構成される広角予測ユニットと、
を含む機器。
【請求項９】
前記ブロックの前記イントラ予測モードは、整数勾配広角モードである、請求項８に記載の機器。
【請求項１０】
前記整数勾配広角モードに対応する値は、−１４、−１２、−１０、−６、７２、７６、７８、又は８０のうちの少なくとも１つである、請求項９に記載の機器。
【請求項１１】
前記参照サンプルをフィルタリングするために使用されるフィルタは、以下の係数：［１，２，１］／４により定義される、請求項８〜１０のいずれか一項に記載の機器。
【請求項１２】
前記決定ユニットは、
前記ブロックの前記イントラ予測モードが前記広角モードではないとき、前記ブロックの前記イントラ予測モードに対応する値が２、３４、又は６６のうちの１つであるかを決定し、
前記ブロックの前記イントラ予測モードに対応する前記値が２、３４、又は６６のうちの１つであるとき、参照サンプルをフィルタリングするよう更に構成される、請求項８〜１１のいずれかに記載の機器。
【請求項１３】
前記決定ユニットは、前記ブロックの前記イントラ予測モードが広角モードか否かに基づき、フィルタリング済み又は未フィルタリング参照サンプルバッファが使用されるかを決定するよう更に構成される、請求項８〜１２のいずれかに記載の機器。
【請求項１４】
位置依存予測組み合わせ（ＰＤＰＣ）は、前記ブロックの前記イントラ予測モードが広角モードか否か、及び前記参照サンプルから取得された前記ブロックの前記予測サンプルに基づき、フィルタリング済みの又は未フィルタリングの参照サンプルについて実行される、請求項８〜１３のいずれかに記載の機器。
【請求項１５】
請求項１乃至７のいずれか一項に記載の方法を実行する処理回路を含むエンコーダ。
【請求項１６】
請求項１乃至７のいずれか一項に記載の方法を実行する処理回路を含むデコーダ。
【請求項１７】
請求項１乃至７のいずれか一項に記載の方法を実行するためのコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
［技術分野］
本開示は、画像及び／又はビデオ符号化及び復号の技術分野に関し、特に、イントラ／インター予測のための方法及び機器に関する。
【国際調査報告】
2021533618.tif 000063
2021533618.tif 000064