(57)【要約】ビデオビットストリームをコーディングするための制御点ベースのイントラモードについてのシステムおよび方法が説明される。例示的な実施形態では、ピクチャ内の少なくとも２つの制御点が選択される。制御点は、例えば、カレントブロックにある点またはカレントブロックの２つ以上の隅に隣接する点であってもよい。制御点ごとに、関連付けられたイントラ予測方向が識別される。イントラ予測方向は、例えば、差分コーディングを使用してビットストリームにおいて符号化されてもよい。導出されたイントラ予測方向は、制御点に対する画素の（又はブロックの）位置に基づいて補間され、導出されたイントラ予測方向は、ビデオ内の１つ以上のサンプルを予測するために使用される。三角形補間または双線形補間などの差分補間技法が使用されてもよい。
2019519972.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリーム内のビデオをコーディングする方法であって、前記ビデオは、複数のフレームを含み、各々のフレームは、サンプルのブロックを含み、
少なくともカレントブロックについて、少なくとも第１の制御点についての第１のイントラ方向および第２の制御点についての第２のイントラ方向を識別するステップと、
前記カレントブロック内の少なくとも１つのカレントサンプルについて、少なくとも前記第１のイントラ方向および前記第２のイントラ方向からの方向を補間することによって、前記サンプルについてのイントラ予測方向を導出するステップと、
前記導出されたイントラ予測方向を使用して、イントラ予測と共に前記サンプルを予測するステップと
を備えたことを特徴とする方法。
【請求項２】
前記導出されたイントラ方向は、前記第１のイントラ方向、前記第２のイントラ方向、および第３の制御点についての第３のイントラ方向から補間されることを特徴とする請求項１に記載の方法。
【請求項３】
少なくとも前記第１の制御点および前記第２の制御点の位置は、前記ビットストリームにおいてシグナリングされることを特徴とする請求項１乃至２のいずれか一項に記載の方法。
【請求項４】
少なくとも前記第１のイントラ予測方向は、前記ビットストリームにおいてシグナリングされることを特徴とする請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
少なくとも前記第１の制御点および前記第２の制御点は、前記ブロックの左上隅にある第１の制御点、前記ブロックの右上隅にある第２の制御点、前記ブロックの左下隅にある第３の制御点、前記ブロックの右下隅にある第４の制御点、および前記ビットストリームにおいてシグナリングされたカスタム制御点から構成されたグループから選択されることを特徴とする請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記第１の制御点は、前記カレントブロックの左上隅にあり、前記第２の制御点は、前記カレントブロックの右上隅または左下隅にあることを特徴とする請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記第２の制御点の前記位置は、前記カレントブロックについての最も可能性の高いモードのリスト内のイントラモードに基づいて決定され、前記リストは、隣接するブロックをコーディングするために使用されるイントラモードに基づいて決定され、
前記最も可能性の高いモードのより多くが垂直よりも水平である場合、前記第２の制御点は、前記カレントブロックの右上隅にあり、
前記最も可能性の高いモードのより多くが水平よりも垂直である場合、前記第２の制御点は、前記カレントブロックの左下隅にある
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記カレントサンプルは、前記カレントブロックのカレントサブブロックにあり、前記導出されたイントラ予測方向を使用して前記カレントサブブロックの全てのサンプルを予測するステップをさらに備えたことを特徴とする請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記カレントブロックは、サンプルの複数のサブブロックを含み、前記方法は、
少なくとも前記第１のイントラ方向および前記第２のイントラ方向からのそれぞれの方向を補間することによって、前記サブブロックごとのそれぞれのイントラ予測方向を導出するステップと、
前記それぞれの導出されたイントラ予測方向を使用したイントラ予測によって、前記サブブロックの各々の中のサンプルを予測するステップと
をさらに備えたことを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１のイントラ方向および前記第２のイントラ方向は、最も可能性の高いモードのリストから選択され、前記リストは、隣接するブロックをコーディングするために使用されるイントラモードに基づいて決定されることを特徴とする請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
前記カレントブロックについての前記制御点のうちの少なくとも１つの前記イントラ方向は、隣接するブロックのイントラコーディングのための最も可能性の高いモードのリストに含まれることを特徴とする請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
少なくとも前記第２のイントラ方向は、前記第１のイントラ方向に対する差分コーディングを使用して前記ビットストリームにおいてコーディングされることを特徴とする請求項１乃至１１のいずれか一項に記載の方法。
【請求項１３】
前記制御点に隣接するテンプレート領域内のサンプルから、少なくとも前記第１のイントラ方向を導出するステップをさらに備えたことを特徴とする請求項１乃至３または５乃至１２のいずれか一項に記載の方法。
【請求項１４】
前記補間することは、三角形補間を使用して実行されることを特徴とする請求項１乃至１３のいずれか一項に記載の方法。
【請求項１５】
前記補間することは、双線形補間を使用して実行されることを特徴とする請求項１乃至１３のいずれか一項に記載の方法。
【請求項１６】
前記ビットストリームは、ｔｈａｔ制御点イントラコーディングが前記カレントブロックに対して使用されることを示すフラグを含むことを特徴とする請求項１乃至１５のいずれか一項に記載の方法。
【請求項１７】
前記方法は、ビデオエンコーダによって実行され、前記方法は、前記サンプルについての予測残差を決定するステップと、前記ビットストリーム内の前記予測残差を符号化するステップとをさらに備えたことを特徴とする請求項１乃至１６のいずれか一項に記載の方法。
【請求項１８】
前記方法は、ビデオデコーダによって実行され、前記方法は、前記サンプルについての予測残差を復号するステップと、前記予測残差を使用して前記サンプルを再構築するステップとをさらに備えたことを特徴とする請求項１乃至１６のいずれか一項に記載の方法。
【請求項１９】
ビットストリームにビデオを符号化するエンコーダであって、前記ビデオは、複数のフレームを含み、各々のフレームは、サンプルのブロックを含み、前記エンコーダは、
少なくともカレントブロックについて、少なくとも第１の制御点についての第１のイントラ方向および第２の制御点についての第２のイントラ方向を識別することと、
前記カレントブロック内の少なくとも１つのカレントサンプルについて、少なくとも前記第１のイントラ方向および前記第２のイントラ方向からの方向を補間することによって、前記サンプルについてのイントラ予測方向を導出することと、
前記導出されたイントラ予測方向を使用して、イントラ予測と共に前記サンプルを予測することと
を含む機能を実行するように動作可能であることを特徴とするエンコーダ。
【請求項２０】
ビットストリームからビデオを復号するデコーダであって、前記ビデオは、複数のフレームを含み、各々のフレームは、サンプルのブロックを含み、前記デコーダは、
少なくともカレントブロックについて、少なくとも第１の制御点についての第１のイントラ方向および第２の制御点についての第２のイントラ方向を識別することと、
前記カレントブロック内の少なくとも１つのカレントサンプルについて、少なくとも前記第１のイントラ方向および前記第２のイントラ方向からの方向を補間することによって、前記サンプルについてのイントラ予測方向を導出することと、
前記導出されたイントラ予測方向を使用して、イントラ予測と共に前記サンプルを予測することと
を含む機能を実行するように動作可能であることを特徴とするデコーダ。
【発明の詳細な説明】
【背景技術】
【０００１】
関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれている、「ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＩＮＴＲＡ  ＣＯＤＩＮＧ  ＷＩＴＨ  ＣＯＮＴＲＯＬ−ＰＯＩＮＴ  ＢＡＳＥＤ  ＩＮＴＲＡ  ＤＩＲＥＣＴＩＯＮ  ＲＥＰＲＥＳＥＮＴＡＴＩＯＮ」と題する、２０１６年５月５日に出願した米国特許仮出願第６２／３３２，３５７号の非仮出願であり、それから３５Ｕ．Ｓ．Ｃ．§１１９（ｃ）の下での利益を主張するものである。
【０００２】
ビデオコーディングシステムは、デジタルビデオ信号を圧縮してそのような信号の記憶要件および／または送信帯域幅を低減させるために広く使用される。ブロックベースシステム、ウェーブレットベースシステム、およびオブジェクトベースシステムのような、様々なタイプのビデオコーディングシステムの中で、最近では、ブロックベースのハイブリッドビデオコーディングシステムが最も広く使用され、展開されている。ブロックベースのビデオコーディングシステムの例は、ＭＰＥＧ１／２／４パート２、Ｈ．２６４／ＭＰＥＧ−４パート１０ＡＶＣ、ＶＣ−１のような国際的なビデオコーディング規格と、ＩＴＵ−Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧおよびＩＳＯ／ＩＥＣ／ＭＰＥＧのＪＣＴ−ＶＣ（ビデオコーディングに関する共同研究チーム）によって開発された高効率ビデオコーディング（ＨＥＶＣ）と呼ばれる最新のビデオコーディング規格とを含む。
【０００３】
ＨＥＶＣ規格の最初のバージョンは、２０１３年１０月に完成され、前の世代のビデオコーディング規格Ｈ．２６４／ＭＰＥＧ  ＡＶＣと比較して約５０％のビットレートの節約または同等の知覚品質を提供する。ＨＥＶＣ規格は、その前身を上回る大幅なコーディング改善を提供するが、優れたコーディング効率がＨＥＶＣを上回る追加のコーディングツールを用いて達成され得るという証拠がある。最近、ＶＣＥＧとＭＰＥＧの両方が、将来のビデオコーディング規格化のための新しいコーディング技術の探索作業を開始した。２０１５年１０月、ＩＴＵ−Ｔ  ＶＥＣＧおよびＩＳＯ／ＩＥＣ  ＭＰＥＧは、共同ビデオ探索チーム（ＪＶＥＴ）を形成して、ＨＥＶＣを上回るコーディング効率の相当な強化を可能にすることができる先進技術の重要な研究を開始した。同月、共同探索モデル（ＪＥＭ）と呼ばれるソフトウェアコードベースが、将来のビデオコーディング探索作業のために確立された。ＪＥＭリファレンスソフトウェアは、ＨＥＶＣのためにＪＣＴ−ＶＣによって開発されたＨＥＶＣテストモデル（ＨＭ）に基づいていた。コーディングツールにおける新しい開発は、ＪＥＭソフトウェアに統合され得、ＪＶＥＴ共通テスト条件（ＣＴＣ）を使用するテストを受けられ得る。記憶要件および帯域幅要件をさらに低減させるための、ビデオデータをコーディングするための改善されたシステムおよび方法は、デジタルビデオシステムの消費者およびプロバイダにとって望ましい。
【発明の概要】
【０００４】
予測方向の制御点表現に基づくイントラコーディングのためのシステムおよび方法が本明細書で開示される。提案されたシステムおよび方法は、ブロックパーティションおよびイントラ予測モードを通知することのオーバヘッドを増加させることなく、イントラ予測方向の精度を高めることによってイントラコーディングの効率を改善させることができる。例示的な方法では、ビデオブロック内のサンプルのイントラ予測方向は、カレントブロックに関する制御イントラ予測方向のセットから導出される。加えて、制御点ベースのイントラ予測が可能であるかどうかを示すために、フラグが通知されてもよい。制御点ベースのイントラ予測が可能である場合、カレントブロックに関する制御点のイントラモードがデコーダに送信され得、ブロック内のサンプルのイントラモードが制御点イントラ方向（intra direction）から導出される。カレントブロック内のサンプルのテクスチャが方向を変える場合、制御点ベースのイントラ予測は、ブロック内のサンプルに関するイントラ予測方向の良好な推定を提供することができる。制御点ベースのイントラ予測のシステムおよび方法は、比較的大きいイントラコーディングユニット（ＣＵ）および予測ユニット（ＰＵ）を活用することができ、したがって、ＣＵ／ＰＵパーティションおよびイントラ方向情報を通知するために使用されるオーバヘッドを低減させる。
【０００５】
ビットストリーム内のビデオを符号化および／または復号する（集合的に「コーディングする」）ための例示的な方法が提供され、ビデオは、複数のフレームを備え、各フレームは、サンプルのブロックを備える。１つの例示的な方法では、少なくともカレントブロックについて、第１の制御点に関して少なくとも第１のイントラ方向が識別され、第２の制御点に関して第２のイントラ方向が識別される。カレントブロック内の少なくとも１つのカレントサンプルについて、第１のイントラ方向および第２のイントラ方向に基づく補間によってサンプルに関するイントラ予測方向が導出され、サンプルは、導出されたイントラ予測方向を使用してイントラ予測を用いて予測される。補間は、双線形補間、三角形補間、または他の補間技法を使用して実行されてもよい。いくつかの実施形態では、イントラ予測方向の補間は、第３の制御点に関する第３のイントラ方向にさらに基づく。いくつかの実施形態では、少なくとも第１の制御点および第２の制御点の位置がビットストリームにおいて通知される。いくつかの実施形態では、少なくとも第１のイントラ予測方向がビットストリームにおいて通知される。
【０００６】
少なくとも第１および第２の制御点は、ブロックの左上隅にある第１の制御点と、ブロックの右上隅にある第２の制御点と、ブロックの左下隅にある第３の制御点と、ブロックの右下隅にある第４の制御点と、ビットストリームにおいて通知されるカスタム制御点とからなるグループから選択されてもよい。いくつかの実施形態では、隅のうちの１つまたは複数にある制御点は、分割操作を単純化するために、１つまたは複数のピクセルだけシフトされる。
【０００７】
いくつかの実施形態では、第１の制御点は、カレントブロックの左上隅にあり、第２の制御点は、カレントブロックの右上隅または左下隅にある。第２の制御点の位置は、カレントブロックに関する最も可能性の高いモードのリスト内のイントラモードに基づいて決定されてもよい。最も可能性の高いモードのより多くが垂直よりも水平である場合、第２の制御点は、カレントブロックの右上隅にあるように選択され、最も可能性の高いモードのより多くが水平よりも垂直である場合、第２の制御点は、カレントブロックの左下隅にあるように選択される。
【０００８】
いくつかの実施形態では、導出されたイントラ予測方向は、サブブロック内のすべてのサンプルに対して使用される。たとえば、カレントサンプルがカレントブロックのカレントサブブロック内にある場合、カレントサブブロックのすべてのサンプルが、導出されたイントラ予測方向を使用して予測されてもよい。異なるイントラ予測方向が、カレントブロックの異なるサブブロックについて導出されてもよい。
【０００９】
いくつかの実施形態では、第１および第２のイントラ方向は、最も可能性の高いモードのリストから選択され、リストは、隣接するブロックをコーディングするために使用されるイントラモードに基づいて決定される。
【００１０】
いくつかの実施形態では、カレントブロックに関する制御点のうちの少なくとも１つのイントラ方向は、隣接するブロックのイントラコーディングに関する最も可能性の高いモードのリストに含まれる。
【００１１】
いくつかの実施形態では、少なくとも第２のイントラ方向は、第１のイントラ方向に対する差分（differential）コーディングを使用してビットストリーム内にコーディングされる。
【００１２】
いくつかの実施形態では、少なくとも第１のイントラ方向は、制御点に隣接するテンプレート内のサンプルから導出される。
【００１３】
いくつかの実施形態では、カレントブロックに対する制御点ベースのイントラコーディングの使用は、ブロックレベルにおいてビットストリーム内のフラグによって通知される。
【００１４】
追加の実施形態は、制御点ベースのイントラコーディングを実行するように動作するエンコーダおよびデコーダを説明する。
【００１５】
本明細書におけるシステムおよび方法は、ピクセル値の予測のための新規な技法を提供する。そのような技法は、エンコーダとデコーダの両方によって使用され得る。ピクセルの予測は、符号化方法において、元のピクセル入力値から減算され、ビットストリーム内で符号化される残差を決定することができるピクセル値をもたらす。復号方法では、残差がビットストリームから復号され、予測されたピクセル値に加算され、元の入力ピクセルと同一または近似する再構成されたピクセルを得ることができる。したがって、本明細書において説明される予測方法は、少なくともいくつかの実施形態では、ビデオを符号化および復号するために必要とされるビットの数を減らすことによって、ビデオエンコーダおよびデコーダの動作を改善する。ビデオエンコーダおよびデコーダの動作に対する例示的な予測方法のさらなる利益は、詳細な説明において説明される。
【００１６】
より詳細な理解は、以下で最初に簡単に説明される添付図面に関連して例として提示される以下の説明から得られ得る。
【図面の簡単な説明】
【００１７】
【図１】ブロックベースのビデオエンコーダの例を示す機能ブロック図である。
【図２】ブロックベースのビデオデコーダの例を示す機能ブロック図である。
【図３】イントラ予測における参照サンプル（reference sample）を説明するために本開示で使用される表記を示す図である。
【図４】ＨＥＶＣにおける３３の方向性イントラ予測モード（directional intra prediction mode）および２つの非方向性イントラ予測モード（non-directional intra prediction mode）の例を示す図である。
【図５】ＪＥＭにおけるイントラモードに関する予測方向を示す図である。実線は、ＪＥＭモードのサブセットであるＨＥＶＣイントラモード方向に対応する。数字は、ＨＥＶＣに関するモード番号である。
【図６】位置依存イントラ予測組合せ（position-dependent intra prediction combination）の概略表現である。
【図７Ａ】異なるイントラモード区画化方法を比較する概略図であり、元のブロックである。
【図７Ｂ】異なるイントラモード区画化方法を比較する概略図であり、１つのＣＵ区画である。
【図７Ｃ】異なるイントラモード区画化方法を比較する概略図であり、４つのＣＵ区画化である。
【図７Ｄ】異なるイントラモード区画化方法を比較する概略図であり、ＣＵ＋ＰＵ区画である。
【図８】制御点ベースのイントラ予測モジュールを含むハイブリッドビデオエンコーダのブロック図である。
【図９】制御点ベースのイントラ予測モジュールを含むハイブリッドビデオデコーダのブロック図である。
【図１０】イントラ予測方向の例示的な制御点表現（control-point representation）の概略図である。
【図１１Ａ】２つの制御イントラ予測方向（controlling intra prediction direction）が適用される実施形態における制御点の選択の概略図であり、水平制御点選択である。
【図１１Ｂ】２つの制御イントラ予測方向が適用される実施形態における制御点の選択の概略図であり、垂直制御点選択である。
【図１１Ｃ】２つの制御イントラ予測方向が適用される実施形態における制御点の選択の概略図であり、対角線制御点選択である。
【図１１Ｄ】２つの制御イントラ予測方向が適用される実施形態における制御点の選択の概略図であり、反対角線制御点選択である。
【図１２Ａ】３つの制御点が適用される実施形態におけるイントラ予測方向の導出の概略図であり、ＰＵレベルにおける導出である。
【図１２Ｂ】３つの制御点が適用される実施形態におけるイントラ予測方向の導出の概略図であり、ＴＵレベルにおける導出である。
【図１３】例示的な実施形態における制御イントラ予測方向のデコーダ側の導出の概略図である。
【図１４】制御点のイントラ方向を使用するイントラ予測信号の重み付けされた組合せを使用するイントラ予測サンプルの生成の概略図である。
【図１５】コーディングされたビットストリーム構造の例を示す図である。
【図１６】例示的な通信システムを示す図である。
【図１７】いくつかの実施形態におけるエンコーダまたはデコーダとして使用されてもよい例示的な無線送信／受信ユニット（ＷＴＲＵ）を示す図である。
【発明を実施するための形態】
【００１８】
例示的なブロックベースの符号化および復号システムおよび方法。
ＨＥＶＣおよびＪＥＭソフトウェアのような、本明細書で開示される実施形態は、ブロックベースのハイブリッドビデオコーディングフレームワーク上に構築される。
【００１９】
図１は、ブロックベースのハイブリッドビデオ符号化システムの機能ブロック図である。入力ビデオ信号１０２は、ブロックごとに処理される。ＨＥＶＣでは、拡張されたブロックサイズ（「コーディングユニット」またはＣＵ）が使用され、高解像度（１０８０ｐ以上）ビデオ信号を効率的に圧縮する。ＨＥＶＣでは、ＣＵは、６４×６４ピクセルまで可能であり、ＪＥＭでは、高い解像度のビデオ（たとえば、７２０ｐ以上）の符号化のために２５６×２５６までのより大きいブロックサイズが許される。ＣＵは、別個の予測方法が適用される予測ユニット（ＰＵ）にさらに分割され得る。各入力ビデオブロック（ＭＢまたはＣＵ）について、空間予測（１６０）および／または時間予測（１６２）が実行されてもよい。空間予測（または「イントラ予測」）は、同じビデオピクチャ／スライス内のすでにコーディングされた隣接ブロックからのピクセルを使用して、カレントビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間的冗長性を低減させる。時間予測（「インター予測」または「動き補償された予測」とも呼ばれる）は、すでにコーディングされたビデオピクチャからの再構成されたピクセルを使用して、カレントビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減させる。所与のビデオブロックに関する時間予測信号は、通常カレントブロックとその参照ブロックとの間の動きの量および方向を示す１つまたは複数の動きベクトルによって通知される。また、（Ｈ．２６４／ＡＶＣまたはＨＥＶＣのような最近のビデオコーディング規格の場合のように）複数の参照ピクチャがサポートされている場合、各ビデオブロックについて、その参照ピクチャインデックスが追加で送られ、参照インデックスは、参照ピクチャストア（１６４）内のどの参照ピクチャから時間予測信号が来るかを識別するために使用される。空間および／または時間予測の後、エンコーダ内のモード決定ブロック（１８０）は、たとえば、レート歪み最適化方法に基づいて、最良の予測モードを選択する。次いで、予測ブロックがカレントビデオブロック（１１６）から減算され、予測残差は、変換（１０４）および量子化（１０６）を使用して非相関化されて、目標ビットレートを達成する。量子化された残差係数は、逆量子化され（１１０）、逆変換されて（１１２）、再構成された残差を形成し、再構成された残差は、次いで、予測ブロックに再度加算されて（１２６）、再構成されたビデオブロックを形成する。さらに、参照ピクチャストア（１６４）に入れられ、将来のビデオブロックをコーディングするために使用される前に、再構成されたビデオブロックに対してデブロッキングフィルタおよび適応ループフィルタのようなループ内フィルタリングが適用されてもよい（１６６）。出力ビデオビットストリーム１２０を形成するために、コーディングモード（インターまたはイントラ）、予測モード情報、動き情報、および量子化された残差係数はすべて、エントロピーコーディングユニット（１０８）に送られ、さらに圧縮およびパックされて、ビットストリームを形成する。
【００２０】
図２は、ブロックベースのビデオデコーダの機能ブロック図である。ビデオビットストリーム２０２は、エントロピー復号ユニット２０８において最初にアンパックされ、エントロピー復号される。コーディングモードおよび予測情報は、空間予測ユニット２６０（イントラコーディングされている場合）または時間予測ユニット２６２（インターコーディングされている場合）のいずれかに送られて、予測ブロックを形成する。残差変換係数は、逆量子化ユニット２１０および逆変換ユニット２１２に送られて、残差ブロックを再構成する。予測ブロックおよび残差ブロックは、次いで、２２６において合算される。再構成されたブロックは、参照ピクチャストア２６４に記憶される前に、ループ内フィルタリングをさらに通過してもよい。再構成されたビデオは、次いで、ディスプレイデバイスを駆動するために送出され、ならびに将来のビデオブロックを予測するために使用される。
【００２１】
ＨＥＶＣにおけるイントラコーディングツール。
【００２２】
ＨＥＶＣは、先行するビデオコーディング規格よりもイントラ予測の効率を改善するいくつかのコーディングツールを組み込んでいる。それらのイントラコーディングツールは、徐々に変化するサンプル値を用いて、異なる方向性テクスチャならびに平滑領域をより正確にモデル化することができる。さらに、ＤＣならびに直接水平方向および垂直方向に関する生成されたイントラ予測の参照サンプルおよび境界サンプルの適応的な平滑化を行うことによって潜在的なブロッキングアーティファクトを有する人工エッジの導入を避けるために、設計の間に追加の努力も行われた。
【００２３】
ＨＥＶＣのイントラコーディングに利用されるコーディング構造は、コーデックの全体的な構造に密接に従う。具体的には、１つのピクチャは、イントラコーディングを行うために使用される基本的な４分木分割領域を表すいくつかのＣＵに分割される。１つのＣＵの内部には、複数の重複しない予測ユニット（ＰＵ）が定義され得、その各々は、個々のイントラ予測モードを有する領域を指定する。ＨＥＶＣでは、１つのイントラコーディングされたＣＵは２つのタイプのＰＵパーティション、すなわち、ＰＡＲＴ＿２Ｎｘ２ＮとＰＡＲＴ＿ＮｘＮとを有してもよい。ＰＡＲＴ＿２Ｎｘ２Ｎは、ＣＵ内のすべてのサンプルが同じイントラ予測モードによって予測されることを示し、ＰＡＲＴ＿ＮｘＮは、ＣＵが４つの等しいサイズのＰＵに分割され、その各々がそれ自体のイントラ予測モードによって予測されることを示す。所与のＰＵは、変換ユニット（ＴＵ）の４分木にさらに分割され得、その各々は、ＴＵのサイズによる変換を用いる残差コーディングを適用する基本動作ユニットである。加えて、ＨＥＶＣ仕様では、ＨＥＶＣにおけるすべてのイントラ予測モードの予測動作は、イントラ予測の改善された効率のための予測において使用される予測されたサンプルと参照サンプルとの間の距離を最小にするようにＴＵベースで定義される。
【００２４】
可能なイントラ予測モードの数の理由から、ＨＥＶＣは、輝度イントラ予測モードをコーディングするとき、５つの最も確からしいモード（ＭＰＭ）を考慮する。５つのＭＰＭのうち、最初の２つは、上および左の隣接ブロックのイントラ予測モードを検出することによって導出され、残りの３つのＭＰＭは、平面、ＤＣ、および垂直方向として定義される（２６）。加えて、上ブロックと左ブロックの両方が同じ角度モードを有する場合、その方向に最も近い２つの隣接する角度方向もＭＰＭリストに含まれることになる。
【００２５】
イントラ予測モード。ＨＥＶＣにおけるすべてのイントラ予測モードについて、（図３に示されているように）カレントＴＵの上および左からの前に復号された境界サンプルの同じセットが予測ために使用される。３３の異なる角度配向を有する方向予測が、４×４から３２×３２の範囲の様々なＴＵサイズに対して定義される。角度方向に加えて、（境界から導出された水平および垂直勾配を有する徐々に変化する表面を仮定する）平面予測、および（平坦な表面を仮定する）ＤＣ予測も使用され得る。表１は、モードインデックスと、各モードインデックスに関連付けられたイントラ予測モードとを指定する。図４は、ＨＥＶＣにおいて定義された既存のイントラ予測モードを示す。彩度について、水平モード、垂直モード、平面モード、およびＤＣモードは、ビットストリーム内で明示的に通知され、加えて、彩度予測モードが、ＤＭモードを介する輝度予測モードと同じであるように示され得る。
【００２６】
【表１】
2019519972.tif 000003
【００２７】
参照サンプルの平滑化。ＨＥＶＣでは、イントラ予測のために使用される参照サンプルは、ときには、ＴＵのサイズおよびイントラ予測の方向性に応じて、３タップフィルタ［１，２，１］／４によってフィルタリングされる。３２×３２ＴＵについて、直接の水平および垂直を除くすべての角度モードは、フィルタリングされた参照サンプルを使用する。１６×１６ＴＵについて、フィルタリングされた参照サンプルを使用しないイントラモードは、水平および垂直に最も近い４つのモード（９、１１、２５、および２７）に拡張される。８×８以下のＴＵについて、対角モード（２、１８、および３４）のみが、フィルタリングされた参照を予測のために使用する。加えて、ＴＵサイズが８×８以上のとき、平面モードにも参照平滑化が適用される。
【００２８】
ＪＥＭにおけるイントラコーディングツール。一般に、ＨＥＶＣイントラコーディングの基本構造は、ＪＥＭにおいて変化されないままであり、拡張されたイントラ予測方向、４タップイントラ補間（4-tap intra interpolation）、拡張された境界平滑化（extended boundary smoothing）、位置依存のイントラ予測の組合せ（position-dependent intra prediction combination）、モード依存の非分離可能な二次変換（mode-dependent non-separable secondary transform）、および適応参照フィルタリング（adaptive reference filtering）を含む、イントラ予測に関連付けられたいくつかのモジュールが、さらに拡張および／または改善されている。以下では、ＪＥＭにおけるいくつかのイントラコーディングツールが簡単に概説される。
【００２９】
拡張されたイントラ予測方向。自然なビデオにおいて提示されるより細かいエッジ方向を捕捉するために、ＪＥＭでは、角度イントラ予測モードの数は、ＨＥＶＣにおける３３から６５に拡張される。図５は、ＪＥＭにおいて定義されるイントラ予測モードを示し、ＨＥＶＣに対して新しい方向性モードは、点線として強調表示され、平面モードおよびＤＣモードは、同じままである。ＨＥＶＣと同様に、拡張された方向性イントラ予測モードは、すべてのＴＵサイズ、および輝度と彩度の両方のイントラ予測に適合する。
【００３０】
方向性イントラモードの増加された数に対応するために、改善されたイントラモードコーディング方法は、６つのＭＰＭを使用する。６つのＭＰＭのセットを導出するために、左および上の隣接ブロックのイントラモードがチェックされる。ＨＥＶＣのように上および左の隣接ブロックからのイントラモードを直接使用する代わりに、上の隣接行に沿ったおよび左の隣接列に沿った最も頻繁に使用されるイントラモードが計算され、次いで、それぞれ、左および上の隣接モードとして使用される。次に、実際の６つのＭＰＭを導出するために、ＨＥＶＣで使用された同じルールが最初に適用されて、３つのＭＰＭを得て、次いで、残りの３つのＭＰＭは、ＭＰＭのリストにすでに含まれている角度モードに（予測方向に関して）最も近い３つのイントラモードとして定義される。表２は、ＪＥＭにおいて現在使用されているＭＰＭ導出方法を示しており、ＬおよびＡは、それぞれ、左および上の隣接ブロックの最も頻繁に使用されるイントラ予測モードを指定し、ＭａｘおよびＭｉｎは、それぞれ、左および上の隣接ブロックのイントラ予測モードの最大値および最小値を指定する。
【００３１】
【表２】
2019519972.tif 000004
【００３２】
参照サンプルの適応フィルタリング。ＨＥＶＣのイントラ予測では、ローパスフィルタ［１，２，１］／４が使用されて、いくつかのイントラ予測モードに関する参照サンプルを平滑化する。平滑フィルタリングが適用されるイントラ予測モードの数は、ブロックサイズおよび予測モードに依存する。具体的には、３２×３２のブロックについて、水平および垂直を除くすべての角度モードがフィルタリングされた参照を使用し、１６×１６のブロックについて、フィルタリングされた参照を使用しないモードは、水平および垂直に最も近い４つのモード（９、１１、２５、２７）に拡張され、８×８のブロックについて、対角モード（２、１８、３４）のみがフィルタリングされた参照を使用する。平滑化は、平面モードが使用される場合、８×８以上のブロックサイズに対しても適用される。
【００３３】
予測のブロックサイズおよび方向性に基づいて選択的に参照サンプルの平滑化を適用することは、参照サンプルアレイ内のエッジによって引き起こされる輪郭アーティファクトを減少させるように動作してもよい。ＪＥＭでは、イントラ予測効率を改善するために、以下のようなローパスフィルタの２つのセットが参照サンプル適応フィルタリング（ＲＡＳＦ）によって適用されて、イントラ予測のための参照サンプルを平滑化する。
−  ［１，２，１］／４の係数を有する３タップＬＰＦ（ＨＥＶＣのデフォルトの参照平滑化フィルタ）、
−  ［２，３，６，３，２］／１６の係数を有する５タップＬＰＦ。
【００３４】
ＲＡＳＦが達成することができる利得を最大にするために、２つの参照平滑化フィルタの選択は、ＴＵレベルにおいて実行される。
【００３５】
データ隠蔽は、主に透かし入れに使用される技法である。ＨＥＶＣでは、この方法は、ＴＵの係数グループ（ＣＧ）の最上位係数の符号を符号ビット隠蔽（ＳＢＨ）と呼ばれるＣＧ係数の絶対値のパリティに隠蔽するために適用される。ＲＡＳＦフラグ通知のオーバヘッドを低減させるために、データ隠蔽が使用されて、参照フィルタリングが所与のＴＵのために有効にされるかどうかを示すフラグをそのＴＵの変換係数に隠蔽する。所与のＴＵにおける係数のすべてを使用するＳＢＨとは対照的に、ＲＡＳＦは、ＴＵ内の奇数位置に位置するそれらの変換係数のみを使用して、フィルタリングフラグの値を隠蔽する。
【００３６】
位置依存のイントラ予測の組合せ。ＨＥＶＣでは、イントラ予測は、予測子モードおよびブロックサイズに応じて、参照境界ピクセルのフィルタリングされていないセットまたはフィルタリングされたセットのいずれかから計算される。位置依存のイントラ予測の組合せ（ＰＤＰＣ）は、フィルタリングされた参照と、フィルタリングされていない参照から計算された予測サンプルとの重み付けされた組合せを用いることによってこの方法を拡張し、重みは、予測子モードおよびピクセル位置に依存する。図６に示されているようにイントラ予測子を定義するために使用される表記に基づいて、ｒおよびｓは、それぞれ、フィルタリングされていない参照サンプルおよびフィルタリングされた参照サンプルを表す。ｑ［ｘ，ｙ］は、ＨＥＶＣにおいて定義されるようにフィルタリングされた参照ｓから導出された方向予測であるが、ＤＣならびに直接的な水平および垂直のイントラ方向に関する境界フィルタを無効にする。値ｘおよびｙは、ブロック境界からの水平距離および垂直距離である。右ビットシフト演算を表すために「＞＞」を使用し、フィルタリングされていない参照サンプルｒ［ｘ，ｙ］の重み付けされた値を予測信号ｑ［ｘ，ｙ］と組み合わせる新しい予測ｐ［ｘ，ｙ］は、
【００３７】
【数１】
2019519972.tif 000005
【００３８】
のように導出され、ここで、
【００３９】
【数２】
2019519972.tif 000006
【００４０】
は、予め定義された予測パラメータであり、１６×１６までのブロックサイズについてはｄ＝１、より大きいブロックについてはｄ＝２であり、
【００４１】
【数３】
2019519972.tif 000007
【００４２】
は、正規化係数である。
【００４３】
フィルタリングされた参照は、それらが整数計算および近似ガウスフィルタに対して容易に調整され得るので、二項ローパスフィルタを使用することによって導出される。予測パラメータ
【００４４】
【数４】
2019519972.tif 000008
【００４５】
およびローパスフィルタパラメータは、予測方向（隣接する予測方向が３５対にグループ化される）およびブロックサイズごとに定義される。所与のブロックに関する３５の予測方向対の各々について、予測パラメータおよびローパスフィルタの３つのセットが予め定義される。これらの３つのセットのうちの選択された１つがＣＵレベルにおいて通知される。
【００４６】
モード依存の非分離可能な二次変換。空間的に隣接するサンプル間の相関が時間領域における相関よりもはるかに小さいという事実のために、通常、イントラ予測から生成された残差サンプル内に強い相関が存在する。イントラコーディングの効率をさらに改善するために、モード依存の非分離可能な二次変換（ＮＳＳＴ）がカレントＪＥＭにおいて適用される。ＮＳＳＴは、イントラ予測の各４×４変換係数ブロックに非分離可能な変換を適用する。具体的には、０から３までの値をもつＣＵレベルインデックスが明示的に通知されて、どの予め定義された二次変換が適用されるのかを識別する。インデックスがゼロである場合、二次変換は使用されず、さもなければ、３つの予め定義された４×４の非分離可能な変換のうちの１つが使用される。１つのＴＵの各４×４の係数ブロックについて、ＣＵレベルのインデックスによって識別される４×４の非分離可能な変換が適用される。加えて、ＣＵレベルのＮＳＳＴフラグは、カレントＣＵにおいて少なくとも１つの非ゼロ変換係数が存在するときにのみ通知される。
【００４７】
非分離可能な変換を適用するために、１つの４×４の入力ブロックＸ
【００４８】
【数５】
2019519972.tif 000009
【００４９】
が最初にベクトル
【００５０】
【数６】
2019519972.tif 000010
【００５１】
【数７】
2019519972.tif 000011
【００５２】
に再配列される。
【００５３】
非分離可能な変換は、
【００５４】
【数８】
2019519972.tif 000012
【００５５】
として計算され、ここで、
【００５６】
【数９】
2019519972.tif 000013
【００５７】
は、変換係数ベクトルを示し、Ｔは、１６×１６の変換行列である。１６×１の係数ベクトル
【００５８】
【数１０】
2019519972.tif 000014
【００５９】
は、その後、そのブロックに関する走査順序（水平、垂直、または対角）を使用して４×４のブロックとして再編成される。
【００６０】
彩度イントラ予測のための成分間予測。コーディング性能は、成分間相関を調べることによって改善され得る。ＪＥＭでは、成分間線形モデル（ＬＭ）予測モードが彩度イントラ予測のために使用される。ＬＭ予測モードでは、彩度サンプルは、以下のように線形モデルを使用することによって同じブロックの再構成された輝度サンプルに基づいて予測され、
ｐｒｅｄC（ｉ，ｊ）＝α・ｒｅｃL（ｉ，ｊ）＋β    （５）
ここで、ｐｒｅｄC（ｉ，ｊ）は、ブロック内の彩度サンプルの予測を表し、ｒｅｃL（ｉ，ｊ）は、４：２：０の彩度フォーマットのコンテンツのためにダウンサンプリングされてもよい、彩度ブロックと同じ解像度における同じブロックの再構成された輝度サンプルを表す。パラメータαおよびβは、カレントブロックのまわりの隣接する再構成された輝度サンプルと彩度サンプルとの間の回帰誤差を最小化することによって導出される。
【００６１】
加えて、ＬＭ予測モードは、２つの彩度成分間の相関も利用し、すなわち、Ｃｒ成分は、Ｃｂ成分から予測される。再構成されたサンプル信号を使用する代わりに、成分間予測が残差領域において適用される。これは、重み付けされた再構成されたＣｂ残差を元のＣｒイントラ予測に加算して、最終的なＣｒ予測、
【００６２】
【数１１】
2019519972.tif 000015
【００６３】
を形成することによって実施される。スケーリング係数γは、上記で説明されているパラメータαおよびβの導出と同じように導出される。唯一の違いは、導出されたスケーリング係数がデフォルト値（−０．５）に向かってバイアスされるように、誤差関数におけるデフォルトのγ値に対する回帰コストの加算である。
【００６４】
イントラ予測コーディングのオーバヘッド。
上記で論じられているように、イントラ予測のためにサポートされる方向の数を増やすことによって、ＨＥＶＣおよびＪＥＭにおけるイントラコーディングに関して高いコーディング効率が達成され得る。加えて、ＣＵは、複数の非重複ＰＵにさらに分割され得、その各々は、異なるイントラ予測モードを有することができる。イントラ予測方向のこのＰＵベースの表現は、特に異なる方向のエッジを有する領域に対して良好なコーディング効率を提供する。しかしながら、自然なコンテンツでは、１つのオブジェクトのエッジは、特定の範囲の方向に沿って徐々に変化している場合があり、それは、正方形であるように限定されたＣＵ／ＰＵパーティションの形状と必ずしも完全に整列しない。したがって、予測されたテクスチャ方向がオブジェクトの実際のエッジ方向と整列されるために、各々が異なるイントラ予測方向を有する小さいＣＵ／ＰＵに領域を分割する際に、大量の通知オーバヘッド（たとえば、ＣＵパーティションの深さ、ＰＵパーティションのタイプ、およびイントラ予測方向を示すためのビット）が費やされる。上述の問題を説明するために、図７Ａ〜図７Ｄは、イントラコーディングのためのいくつかの分配方法の比較を示す。図７Ａ〜図７Ｄでは、カレント領域が、０°（直接水平）から９０°（直接垂直）まで徐々に変化するエッジに沿って境界サンプルを有する図７Ａの（パターン化されたストライプ内に囲まれた）円弧状オブジェクトを含む１６×１６のブロックであると仮定される。図７Ｂでは、全領域は、単一のイントラ予測方向によって（破線内に囲まれているような）１つのＣＵとしてコーディングされるが、ブロック内の異なる方向におけるエッジ上に位置するサンプルは、正確に予測され得ない。図７Ｃは、全領域を（破線内に囲まれているような）４つのＣＵに分割し、各ＣＵは、それ自体の方向において予測され、結果として、正確に予測されたサンプルの数が増加される。図７Ｄは、（破線内に囲まれているような）ＣＵパーティションと（点線内に囲まれているような）ＰＵパーティションの両方が適用されるパーティション構造を示す。この方法は、異なるイントラ予測モードを各ＣＵ／ＰＵに割り当てることによって、イントラ予測精度をさらに増加させる。しかしながら、前述されているように、この方法のペナルティは、ビットストリームにおいてパーティション構造およびイントラ予測方向を示すために通知される必要がある多数のビットである。
【００６５】
制御点ベースのイントラ予測。
予測方向の制御点表現に基づくイントラコーディングのためのシステムおよび方法が本明細書で開示される。提案されたシステムおよび方法は、ブロックパーティションおよびイントラ予測モードを通知するオーバヘッドを実質的に増加させることなく、イントラ予測方向の精度を増加させることによって、イントラコーディングの効率を改善してもよい。例示的な方法では、ビデオブロック内のサンプルのイントラ予測方向は、カレントブロックに関する制御イントラ予測方向のセットから導出される。加えて、フラグが通知されて、制御点ベースのイントラ予測が可能であるかどうかを示してもよい。制御点ベースのイントラ予測が可能である場合、カレントブロックに関する制御点のイントラモードがデコーダに送信され得、ブロック内のサンプルのイントラモードが制御点イントラ方向から導出される。カレントブロック内のサンプルのテクスチャが方向を変える場合、制御点ベースのイントラ予測は、ブロック内のサンプルに関するイントラ予測方向の良好な推定を提供することができる。制御点ベースのイントラ予測のシステムおよび方法は、比較的大きいイントラコーディングユニット（ＣＵ）および予測ユニット（ＰＵ）を活用することができ、したがって、ＣＵ／ＰＵパーティションおよびイントラ方向情報を通知するために使用されるオーバヘッドを低減させる。
【００６６】
上記で論じられているように、ＰＵベースのイントラ方向の通知について、イントラ方向の適応は、ＰＵパーティションの正方形形状によって制限される。ローカルなオブジェクトのエッジは、ブロック内の方向を徐々に変化させる場合があるので、イントラ予測方向をローカルなオブジェクトのエッジと整列させるために、カレントブロックを小さいＰＵに分割するために、通常、大量のオーバヘッドが必要とされる。この課題に対処するために、イントラ予測方向の新しい制御点に基づく表現方法が本明細書で説明される。例示的な実施形態は、ブロックパーティションおよびイントラ予測方向を通知するオーバヘッドを大幅に増加させることなく、イントラ予測方向の精度を増加させることによって、イントラコーディングの効率を改善することができる。具体的には、例示的な実施形態では、１つまたは複数の制御点におけるイントラ予測方向が、所与のビデオブロックについて通知される。次いで、隣接するサンプル（またはブロック）間の空間相関を利用することによって、カレントブロック内の各サンプル（またはサンプルのサブブロック）のイントラ予測方向が、制御点のイントラ予測方向から導出される。
【００６７】
カレントブロック内のサンプルのイントラ方向が制御点におけるものから直接導出されると仮定すると、１つのブロックにつき１つまたは複数のイントラ方向のみが通知される必要があるので、提案されたシステムおよび方法は、イントラ方向の比較的小さい通知オーバヘッドを有する。加えて、提案された表現方法は、より細かい粒度レベル（たとえば、サンプルレベルおよび様々なサブブロックレベル）におけるイントラ予測方向の導出を可能にするので、カレント領域を小さいＣＵ／ＰＵに分割する必要性が少ない。これは、大きいイントラＣＵ／ＰＵの増加された使用につながる可能性があり、したがって、ＣＵ／ＰＵパーティションを通知するために使用されるオーバヘッドを低減させる可能性がある。それらの２つの態様は両方とも、制御点イントラ予測を使用してコーディングされるビデオブロックの改善されたコーディング性能をもたらすことができる。
【００６８】
制御点ベースのイントラ予測モードを用いるハイブリッドビデオコーディング。
上記で説明されているように、例示的な制御点ベースのイントラ予測システムおよび方法は、ブロックパーティション（たとえば、ＣＵ、ＰＵ、およびＴＵパーティション）およびイントラ予測方向の通知オーバヘッドを低減させることができる。制御点ベースのイントラ予測モデルが領域内のローカルなイントラ方向の良好な推定を提供することができる場合、ブロック境界をローカルエッジの変動に整列させるために、領域を小さいＣＵ／ＰＵパーティションに分割する必要がなく、また、領域内のイントラ予測方向は、明示的に通知される代わりに、制御点におけるそれらの方向から導出され得る。したがって、圧縮利得が達成される。しかしながら、提案された制御点に基づくイントラ予測モデルは、必ずしも十分に正確ではない場合があり、大きい予測誤差のためにイントラ予測効率を損なう可能性がある。したがって、コーディング性能をさらに改善するために、提案された方法は、特定のブロックレベルにおいて適応的に選択されるように提案される。いくつかの実施形態では、フラグがビットストリームにおいて通知されて、エンコーダの決定をデコーダに送信し、カレントブロックが制御点イントラ予測モードまたは既存のイントラ予測モードのいずれかを使用して予測されることを示す。たとえば、エンコーダは、ＨＭおよびＪＥＭにおいて使用されるラグランジュ最適化法と同様にレート−歪み（Ｒ−Ｄ）最適化決定を使用して、制御点イントラ予測を使用してカレントブロックを予測するかどうかを決定してもよい。
【００６９】
図８は、制御点ベースのイントラ予測モードを実装するように構成された例示的なハイブリッドビデオエンコーダの機能ブロック図である。イントラコーディングされたブロックについて、エンコーダは、たとえば、Ｒ−Ｄ最適化を使用して、従来のイントラ予測モードおよび提案された方法から選択することによって、イントラ予測モードを推定する。（図１に示されているような）既存のビデオエンコーダと同様に、イントラ予測モジュールは、ブロックのサンプルを、隣接ブロックに属するその隣接する再構成されたサンプルから予測することによって、イントラ予測信号を生成する。元の信号は、イントラ予測信号によって減算されて、空間的冗長性を除去し、対応する残差信号を生成する。変換および量子化が残差信号に適用され、残差信号は、次いで、エントロピーコーディングされ、ビットストリームに出力される。再構成された信号を得るために、再構成された残差信号は、逆量子化され、その後逆変換される。再構成された残差は、予測信号に加算される。さらに、ループ内フィルタリングプロセス、たとえば、デブロッキング、ＳＡＯ、およびＡＬＦが、出力のための再構成されたビデオ信号に適用される。上述されているように、コーディング利得を改善するために、制御点イントラモード予測フラグ（たとえば、ｃｏｎｔｒｏｌ＿ｐｏｉｎｔ＿ｉｎｔｒａ＿ｐｒｅｄｉｃｔｉｏｎ＿ｍｏｄｅ＿ｆｌａｇ）が、所与のブロックレベル（たとえば、ＣＵ、ＰＵ、またはＴＵレベル）において通知されて、提案された制御点ベースのイントラ予測がカレントブロックに適用されるかどうかを示してもよい。それがカレントブロックに適用される場合、制御点ベースのイントラ予測モジュール８０２が、本明細書で説明されている技法を使用してイントラ予測を実行する。
【００７０】
図９は、制御点ベースのイントラ予測モードを実装するように構成されたハイブリッドビデオデコーダの機能ブロック図である。図９のデコーダは、図８のエンコーダによって生成されたビットストリームを受信するように構成されてもよい。デコーダにおいて、ビットストリームは、エントロピーデコーダによって構文解析される。残差係数は、逆量子化され、逆変換されて、再構成された残差を得る。コーディングモードおよび予測情報は、空間予測または時間予測のいずれかを使用して予測信号を得るために使用される。イントラコーディングされたブロックについて、制御点ベースイントラモード予測フラグ（たとえば、ｃｏｎｔｒｏｌ＿ｐｏｉｎｔ＿ｉｎｔｒａ＿ｐｒｅｄｉｃｔｉｏｎ＿ｍｏｄｅ＿ｆｌａｇ）が真である場合、予測信号は、制御点ベースのイントラ予測モジュール９０２を使用して、提案された制御点ベースのイントラ予測方法によって生成され、そうでなければ、予測信号は、従来のイントラ予測プロセスによって生成される。予測信号および再構成された残差は、合算されて、再構成されたビデオを得る。再構成されたビデオは、表示されるため、および／または将来のビデオ信号を復号するために使用されるために参照ピクチャストアに記憶される前に、ループフィルタリングをさらに受けてもよい。
【００７１】
本明細書で提案された様々な制御点ベースのイントラ予測符号化および復号方法のいくつかの特徴が、以下でより詳細に説明される。
【００７２】
制御点ベースのイントラ予測モードの方向表現。
例示的なコーディングプロセスでは、Ｎ×ＮのブロックであるカレントＣＵを考え、図１０に示すように座標系を設定する。左上隅、右上隅、および左下隅、（０，０）、（Ｎ−１，０）、および（０，Ｎ−１）は、それぞれ、ＣＰ0、ＣＰ1、およびＣＰ2として示される３つの制御点として機能する。位置（ｘ，ｙ）に位置する目標サンプルは、イントラ予測方向を推定することが望まれるカレントサンプルを指定する。ＩＭ（ＣＰi）およびＩＭ（ｘ，ｙ）が、ｉ番目の制御点ＣＰi、ｉ＝０，１，２のイントラ予測方向、および、推定されるべき目標サンプルのイントラ予測方向であるとする。このとき、本実施形態における提案された制御点ベースのイントラ方向導出方法は、
【００７３】
【数１２】
2019519972.tif 000016
【００７４】
として記述され、ここで、Φi（ｘ，ｙ）は、目標サンプルの結果として得られるイントラ方向へのｉ番目の制御イントラ方向の寄与を指定する補間カーネル関数であり、Ｋは、方向補間処理で使用される制御点の数である（Ｋは、図１０によって示されている例では３に等しい）。異なる補間カーネル関数、たとえば、三角形補間、双線形補間、ガウス、スプライン補間などが、例示的な実施形態において適用されてもよい。本明細書で使用される「補間」という用語は、本明細書では補間が制御点の幾何学的境界内に厳密に入る点に限定されないという外挿を含むことが留意されるべきである。
【００７５】
三角形補間が使用される例示的な実施形態では、（７）における３つの制御点に関連付けられた補間カーネル関数は、
Φ0（ｘ，ｙ）＝（Ｎ−１−ｘ−ｙ）／（Ｎ−１）
Φ1（ｘ，ｙ）＝ｘ／（Ｎ−１）
Φ2（ｘ，ｙ）＝ｙ／（Ｎ−１）
（８）
として与えられてもよい。
【００７６】
目標点がＣＰ1、ＣＰ0、およびＣＰ2によって形成される三角形内にある場合（図１０における影領域内のサンプル）、三角形補間の結果は、制御点によって制限される範囲内にある。目標点が三角形の外側にある場合（図１０における空白領域内のサンプル）、三角形補間の結果は、それが外挿され、おそらくは制御点によって制限される範囲の外側にあるので、有効範囲内に切り詰められる場合がある。
【００７７】
別の例では、双線形補間が使用される。この場合、３つの制御点の補間カーネル関数は、
Φ0（ｘ，ｙ）＝（Ｎ−１−ｘ）（Ｎ−１−ｙ）／（Ｎ−１）2
Φ1（ｘ，ｙ）＝（ｘ（Ｎ−１−ｙ）＋ｘ（Ｎ−１））／（２（Ｎ−１）2）
Φ2（ｘ，ｙ）＝（ｙ（Ｎ−１−ｘ）＋ｙ（Ｎ−１））／（２（Ｎ−１）2）
（９）
として与えられてもよい。式（７）〜式（９）において示されているように、提案された制御点ベースのイントラ方向導出方法の補間プロセスは、（Ｎ−１）または（Ｎ−１）2による除算を含んでもよい。ビデオブロックサイズＮが通常２の累乗であるとすると、（Ｎ−１）または（Ｎ−１）2による除算は、通常、ビットシフト演算として実施され得ず、したがって、望ましくない計算上の複雑性を必要とする。いくつかの実施形態では、除算をより効率的に実行するために、固定小数点近似が使用されて結果を計算してもよい。一般性を失うことなく、（Ｎ−１）による除算を例として考える。この除算は、
【００７８】
【数１３】
2019519972.tif 000017
【００７９】
として示されるように、２つの整数値ＭおよびＢによって近似されてもよい。したがって、いくつかの実施形態では、除算は、Ｍによる乗算と、それに続くＢの右へのビットシフトとして実施されてもよい。
【００８０】
代替的には、いくつかの実施形態では、効率的な除算を促進させるために、制御点の位置は、隣接するブロック間でわずかに重複されてもよい。具体的には、図１０において定義されている座標系を使用すると、左上の制御点（ＣＰ0）の位置は、（０，０）において変更されない。しかしながら、右上、左下の制御点（ＣＰ1およびＣＰ2）の位置は、新しい位置のＣＰ1およびＣＰ2が、それぞれ、カレントブロックの右および下の隣接ブロックに属する（Ｎ，０）および（０，Ｎ）になるように、それぞれ、１つの追加の列および１つの追加の行だけブロック境界を横切るように移動される。相応して、式（７）〜式（９）における（Ｎ−１）の値は、この調整の後にＮになる。したがって、Ｎが２の累乗である場合、式（７）〜式（９）における乗算は、ビットシフトを使用して実施されてもよい。
【００８１】
さらに別の実施形態では、制御点ＣＰ1およびＣＰ2は、カレントブロックの右上隅および左下隅から、すなわち、それぞれ、（Ｎ−１，０）および（０，Ｎ−１）の位置から得られ、制御点ＣＰ0は、カレントブロックの左上の隣接サンプルから、すなわち、位置（−１，−１）から得られる。このようにして、式（７）〜式（９）における分母もＮになり、Ｎが２の累乗である場合、除算は、ビットシフトを使用して実施され得る。
【００８２】
制御点の選択。
【００８３】
ビデオコーディングでは、イントラ方向のコーディングは、かなりの量のビットを要する可能性があり、したがって、特に低ビットレートにおいて、全体のコーディング性能に影響を与える可能性がある。制御イントラ方向を通知する結果として生じるオーバヘッドは、提案された制御点表現の利点を無効にする可能性がある。異なる実施形態では、様々な位置を有する異なる数の制御点が選択され得、それは、ビデオコンテンツの異なるコーディング性能をもたらす可能性がある。より多くの制御点を使用することは、１つのビデオブロック内の変動するイントラ予測方向のより正確な推定をもたらすことができるという意味で有利である。しかしながら、より多数の制御点は、より多くの制御イントラ方向が送られる必要があることから、増加されたオーバヘッドにつながる。一方、より少数の制御点は、正確なイントラ予測推定をいつも提供することができるとは限らないが、通知オーバヘッドを減少させることができる。したがって、例示的な実施形態は、適切な通知オーバヘッドをもたらしながら、ブロック内のイントラ予測方向の正確な推定のために十分に大きい制御点の数で、異なる数の制御点が異なるビデオコンテンツに対して選択されることを可能にする。一実施形態では、（図１１Ａに示されているように）カレントビデオブロックの左上隅および右上隅が提案されたイントラ予測導出方法のための制御点として使用される。双線形補間が適用される場合、（式（９）に示されているような）制御点の補間カーネル関数は、
Φ0（ｘ，ｙ）＝（Ｎ−１−ｘ）／（Ｎ−１）
Φ1（ｘ，ｙ）＝ｘ／（Ｎ−１）
（１０）
として表され得る。
【００８４】
２つの制御点が水平に得られるとすると、この制御点の選択は、水平方向において支配的なエッジを有するビデオブロックのイントラ方向を推定するのにより効率的である。別の実施形態では、（図１１Ｂに示されているように）カレントビデオブロックの左上隅および左下隅が提案されたイントラ予測導出方法のための制御点として使用される。双線形補間が適用される場合、（式（９）に示されているような）制御点の補間カーネル関数は、
Φ0（ｘ，ｙ）＝（Ｎ−１−ｙ）／（Ｎ−１）
Φ2（ｘ，ｙ）＝ｙ／（Ｎ−１）
（１１）
として表され得る。
【００８５】
２つの制御点が垂直に得られるので、この制御点選択は、垂直方向において支配的なエッジを有するビデオブロックのイントラ方向を推定するのに効率的である。
【００８６】
（図１１Ｃに示されているように）カレントビデオブロックの左上隅および右下隅が制御点として使用される実施形態では、補間カーネル関数は、以下の、
Φ0（ｘ，ｙ）＝（Ｎ−１−（ｘ＋ｙ）／２）／（Ｎ−１）
Φ3（ｘ，ｙ）＝（（ｘ＋ｙ）／２）／（Ｎ−１）
（１２）
のように表されてもよい。
【００８７】
（図１１Ｄに示されているように）カレントビデオブロックの右上隅および左下隅が制御点として使用される場合、補間カーネル関数は、以下の、
Φ1（ｘ，ｙ）＝（（Ｎ−１＋ｘ−ｙ）／２）／（Ｎ−１）
Φ2（ｘ，ｙ）＝（（Ｎ−１−ｘ＋ｙ）／２）／（Ｎ−１）
（１３）
のように表されてもよい。
【００８８】
提案された制御点ベースのイントラ予測導出方法は、３つの制御点または２つの制御点のような、コンテンツの特性に基づいてコーディングのための様々な数の制御点を使用してもよい。いくつかの実施形態では、制御点構成は、ピクチャレベルまたはスライスレベルで通知される。たとえば、ブロック内の制御点の識別は、表３におけるように定義され得、ここで、ｂｌｏｃｋ＿ｗｉｄｔｈおよびｂｌｏｃｋ＿ｈｅｉｇｈｔは、制御点が適用されるブロックの幅および高さである。例示的な制御点の表が、制御点の数と各制御点の位置とを指定する表４において定義されている。ピクチャレベル（たとえば、ピクチャパラメータセットにおける）またはシーケンスレベル（たとえば、シーケンスパラメータセットにおける）において、表４において定義された複数の制御点の表が通知されてもよく、それらは、「ｃｏｎｔｒｏｌ＿ｐｏｉｎｔｓ＿ｍｏｄｅｌ＿ｉｄ」によって区別されてもよい。「ｃｏｎｔｒｏｌ＿ｐｏｉｎｔｓ＿ｍｏｄｅｌ＿ｉｄ」はまた、スライスレベルまたはコーディングブロックレベル（たとえば、ＣＴＵ、ＣＵ）において通知されてもよい。
【００８９】
【表３】
2019519972.tif 000018
【００９０】
【表４】
2019519972.tif 000019
【００９１】
ｃｏｎｔｒｏｌ＿ｐｏｉｎｔｓ＿ｍｏｄｅｌ＿ｉｄ：表において通知されるｃｏｎｔｒｏｌ＿ｐｏｉｎｔモデルのＩＤを示す。
ｎｕｍ＿ｃｏｎｔｒｏｌ＿ｐｏｉｎｔｓ：このモデルのための制御点の数を指定する。
ＣＰ＿Ｉｄ：制御点の表３において定義されるＩＤを指定する。
ｐｏｓ＿ｘ：ＩＤが４に等しい制御点の水平位置を指定する。実際の位置は、（ｐｏｓ＿ｘ＊ｂｌｏｃｋ＿ｗｉｄｔｈ＋１２８）／２５６として計算される。ｂｌｏｃｋ＿ｗｉｄｔｈは、ブロックの幅である。
ｐｏｓ＿ｙ：ＩＤが４に等しい制御点の垂直位置を指定する。ブロック内の実際の位置は、（ｐｏｓ＿ｘ＊ｂｌｏｃｋ＿ｈｅｉｇｈｔ＋１２８）／２５６として計算される。ｂｌｏｃｋ＿ｈｅｉｇｈｔは、ブロックの高さである。
【００９２】
式（１０）〜式（１３）に関して、（Ｎ−１）による効率的な除算のための上記で説明されている技法が適用されもよいことが留意されるべきである。
【００９３】
図１１Ａおよび図１１Ｂに示されているように、異なる制御点を選択することは、異なる方向的特性を提示するビデオ領域にとって有益である可能性がある。この側面を考慮すると、領域ベースの制御点の適応が適用されてもよい。具体的には、例示的な方法では、（図１１Ａに示されているように）水平制御点選択は、支配的な水平エッジ情報を有する領域に対して可能にされ、（図１１Ｂに示されているように）垂直制御点選択は、支配的な垂直エッジ情報を有する領域に対して可能にされる。エッジが水平でも垂直でもない非平坦領域について、（図１０に示されているように）３つの制御点が選択されてもよい。１つの領域における支配的なエッジ方向は、カレントビデオブロックの再構成された隣接するサンプルから決定され得る。一実施形態では、Ｓｏｂｅｌ演算子が使用されて、隣接する再構成されたサンプルの水平導関数および垂直導関数を計算する。
【００９４】
【数１４】
2019519972.tif 000020
【００９５】
ＧyとＧxとの間の比が予め定義された閾値（Ｔ1）よりも大きい場合、領域は、水平エッジ領域として分類されてもよく、ＧyとＧxとの間の比が別の予め定義された閾値（Ｔ2，Ｔ2＜＜Ｔ1）よりも小さい場合、領域は、垂直エッジ領域として分類されてもよく、さもなければ、領域のエッジは、水平でも垂直でもないとみなされてもよい。
【００９６】
別の実施形態では、カレントブロック内のテクスチャのありそうな方向は、ＭＰＭのセットから導出されてもよい。たとえば、ＭＰＭセット内の大多数のモードが水平方向を示す場合、図１１Ａ内の２つの水平制御点が使用されてもよい。ＭＰＭセット内の大多数のモードが垂直方向を示す場合、図１１Ｂ内の２つの垂直制御点が使用されてもよい。ＭＰＭモードからの水平または垂直の強い指示がない場合、図１０内の３つの制御点が使用されてもよい。
【００９７】
制御点に基づくイントラ予測方向を導出する粒状性。
【００９８】
図１０および図１１Ａ〜図１１Ｄの実施形態では、イントラ予測方向は、サンプルユニットに基づいて（ビデオブロック内の各サンプルがその自体のイントラ方向を有してもよいように）導出されるが、本開示によるイントラ方向導出方法は、ＣＵレベル、ＰＵレベル、およびＴＵレベルのような様々なレベルにおいて行われてもよく、各適応レベルは、異なるイントラ方向適応能力および符号化／復号化の複雑度を提供してもよい。たとえば、イントラ予測方向がＴＵレベルにおいて導出される場合、エンコーダ／デコーダは、各ＴＵについてイントラ予測モードを導出し、１つのＴＵ内のサンプルは、同じ導出されたイントラ方向を使用する。イントラ予測方向がＰＵで導出される場合、エンコーダまたはデコーダは、各ＰＵについてイントラ方向を導出するだけでよく、ＰＵ内のすべてのＴＵは、それら自体のイントラ予測について同じ導出されたイントラ方向を使用する。３つの制御点が使用される場合、図１２Ａ〜図１２Ｂは、提案された制御点ベースのイントラ予測方向に関するＰＵレベル（図１２Ａ）およびＴＵレベル（図１２Ｂ）においてイントラ予測方向を導出する場合を示し、実線および破線は、それぞれ、ＰＵおよびＴＵの境界を示す。図１２Ａでは、目標ブロックは、予測ユニットＰＵ3であり、図１２Ｂでは、目標ブロックは、変換ユニットＴＵ0である。例示的な実施形態として、図１２Ａ〜図１２Ｂでは、目標ブロックの中心位置が代表座標として使用されて、ブロックに関するイントラ方向を導出する。他の実施形態では、他の位置が代表座標として選択されてもよい。
【００９９】
制御点ベースのイントラ予測が有効／無効にされるレベル（たとえば、フラグｃｏｎｔｒｏｌ＿ｐｏｉｎｔ＿ｉｎｔｒａ＿ｐｒｅｄｉｃｔｉｏｎ＿ｍｏｄｅ＿ｆｌａｇが通知されるレベル、または制御点が定義されるレベル）は、多くの実施形態において、イントラ方向導出のレベルよりも高い。たとえば、制御点ベースのイントラ予測は、ＣＵレベルにおいて有効にされてもよく、対応するイントラ予測導出は、ＰＵレベル、ＴＵレベル、またはサンプルレベルにおいて実行されてもよい。イントラ方向の導出が制御点を定義するのと同じレベル（たとえば、両方ともＣＵレベル）で繰り越される場合、実際にはブロックの通知されたイントラ予測モードである単一の制御点のみが必要とされるので、提案された方法は、通常のイントラモードに退化する。
【０１００】
制御点イントラ方向の予測および通知。
【０１０１】
制御点のイントラ方向の通知オーバヘッドは、提案された制御点ベースのイントラ予測モードの全体的な性能に影響を与える。通知オーバヘッドを減少させるために、本開示の一実施形態では、制御点イントラ方向を通知するためにＨＭおよびＪＥＭにおける既存のイントラモード通知方法を直接再利用することが提案される。具体的には、各制御点について、ＭＰＭ候補のセットが、その左および右の隣接物のＤＣモード、平面モード、およびイントラモードから生成される。制御イントラ方向がＭＰＭ候補の１つと同一である場合、候補に対応するインデックのみが送られ、そうでなければ、制御イントラ方向は、固定長コードを使用して通知される。別の実施形態では、非角度イントラ方向（ＤＣおよび平面）は、制御点イントラ予測において使用されないので、ＭＰＭ候補リストは、制御点ベースのイントラ予測モードが有効にされているときの角度方向を含むことのみによって構成されてもよい。
【０１０２】
差分コーディングは、現代のビデオコーデックにおける様々な構文要素の通知オーバヘッドを減少させるために広く用いられる。たとえば、ＨＭおよびＪＥＭでは、差分コーディングは、効率的な動きベクトル（ＭＶ）コーディングのために使用され、１つのＭＶは、その空間的隣接物または時間的隣接物のうちの１つから予測され、残差のみが送信される必要がある。隣接するビデオブロックのイントラ予測方向との強い相関が与えられると、１つのビデオブロックについて、制御点のイントラ予測方向は、非常に類似している可能性がある。したがって、本開示の一実施形態では、制御点イントラ方向を通知するために差分コーディングを使用することが提案される。より具体的には、制御点の１つ（たとえば、図１０および図１１におけるＣＰ0）は、最初に、既存のＭＰＭベースのイントラモード予測方法に基づいて通知される。次いで、この制御点のイントラ方向が使用されて、他の制御点（たとえば、図１０および図１１におけるＣＰ1およびＣＰ2）のイントラ方向を予測する。相応して、モード間の差のみが通知される。
【０１０３】
制御点ベースのイントラ予測モードに関する高精度イントラ予測。
【０１０４】
ＪＥＭでは、角度イントラモードの数は６５である。６５の数は、増加されたイントラ予測精度から得られたコーディング利得を無効にする可能性があるイントラ予測モードの通知オーバヘッドを圧倒的に増加させることなく、増加されたイントラ予測粒度を提供するために選択される。本明細書で開示される実施形態では、カレントブロック内のサンプルのイントラ方向は、制御点から導出され、ビットストリームにおいて（たとえば、式（７）を使用して）カレントブロック内のそれらの導出されたイントラ方向のためにオーバヘッドが通知される必要はない。したがって、制御点ベースのイントラ予測モードが有効にされた場合、ブロック内のそれらのサンプルの方向性イントラ予測モードの数は、通知コストなしで増加され得る。自然なビデオにおけるエッジ方向をより正確に捕捉するために、本開示の一実施形態では、制御点ベースのイントラ予測モードが有効にされたとき、より細かい粒度の方向指示を用いて角度イントラ予測モードの数を増加させることが提案される。
【０１０５】
ＨＥＶＣでは、目標サンプルが分数位置において１つの参照サンプルから予測されるとき、双線形補間が適用されて、イントラ予測を得る。具体的には、位置（ｘ，ｙ）における各予測されたサンプルＰ（ｘ，ｙ）は、その位置を選択された予測方向に基づいてピクセルの参照行上に投影し、予測されたサンプルに関する値を１／３２サンプル精度で補間することによって得られ、双線形補間は、整数位置において、２つの最も近い参照サンプルＲiおよびＲi+1を利用して実行される。
ｐ（ｘ，ｙ）＝（（３２−ｗy）・Ｒi＋ｗy・Ｒi+1＋１６）＞＞５    （１５）
ここで、ｗyは、投影された分数位置をカバーするセグメントを指定する２つの整数参照サンプルＲiとＲi+1との間の重み付けパラメータであり、＞＞は、右ビットシフト演算を示す。参照サンプルインデックスｉおよびｗyは、
ｃy＝（ｙ・ｄ）＞＞５
ｗy＝（ｙ・ｄ）＆３１
ｉ＝ｘ＋ｃy
（１６）
として、（１／３２サンプルの精度におけるイントラ予測方向の正接を記述する）選択されたイントラ予測モードに対応する投影変位ｄ（projection displacement d）に基づいて計算され、ここで、「＆」は、ビット単位のＡＮＤ演算を示す。表５は、異なるイントラ予測方向に対する投影変位ｄの例示的な値を指定する。
【０１０６】
【表５】
2019519972.tif 000021
【０１０７】
上記で論じられているように、制御点イントラ予測モードが選択されたとき、サポートされる角度イントラ予測方向の数が増加される可能性がある。相応して、既存の１／３２のサンプル精度は、より細かい粒度においてすべての可能な方向性イントラ予測を表現するには不十分である可能性がある。したがって、本開示の一実施形態では、提案された制御点ベースのイントラ予測がカレントビデオブロックに対して有効にされているとき、イントラ補間フィルタリングの精度を増加させることが提案される。より細かい粒度のイントラ予測のための定義された分数サンプルの数として２Bを示すと、（式（１５）の）双線形フィルタリングプロセスおよび（式（１６）の）参照サンプルインデックス導出は、
ｐ（ｘ，ｙ）＝（（２B−ｗy）・Ｒi＋ｗy・Ｒi+1＋２B-1）＞＞Ｂ    （１７）
ｃy＝（ｙ・ｄ）＞＞Ｂ
ｗy＝（ｙ・ｄ）＆２B
ｉ＝ｘ＋ｃy
（１８）
として表されてもよい。
【０１０８】
加えて、投影変位ｄのダイナミックレンジが、増加されたイントラ予測の粒度の正接値を表すために拡大されてもよい。イントラ補間の精度が１／６４サンプルで、イントラ予測方向の数が１３１（平面、ＤＣ、および１２９個の角度イントラ方向を含む）である実施形態では、表６は、１２９個の角度イントラ予測方向に関連付けられた例示的な投影変位値ｄを示す。
【０１０９】
【表６】
2019519972.tif 000022
【０１１０】
別の実施形態では、角度方向粒度が増加された制御点ベースのイントラ予測方法が、他の補間方法と組み合わせて使用されてもよい。適用される補間フィルタの係数として
【０１１１】
【数１５】
2019519972.tif 000023
【０１１２】
を示すと、ｋ＝−（Ｌ／２−１），．．．，０，１，．．．Ｌ／２、ここで、Ｌは、補間フィルタの長さであり、位置（ｘ，ｙ）における予測されるサンプルＰ（ｘ，ｙ）の値は、
【０１１３】
【数１６】
2019519972.tif 000024
【０１１４】
ｃy＝（ｙ・ｄ）＞＞Ｂ
ｗy＝（ｙ・ｄ）＆２B
ｉ＝ｘ＋ｃy
（２０）
として計算されてもよく、ここで、Ｈは、フィルタ係数を表すためのビットの数である。式（１９）において示されているように、フィルタ係数
【０１１５】
【数１７】
2019519972.tif 000025
【０１１６】
は、対応する整数サンプルの中間の補完された分数サンプルの対応する位相（すなわち、ｗy，ｗy＝０，１，．．．，２B−１）に依存する。
【０１１７】
１つのイントラブロックが制御点ベースのイントラ予測モードにおいてコーディングされるとき、導出されたイントラ予測方向は、ＭＰＭ候補のうちの１つとして使用されて、隣接するイントラブロックのイントラ予測モードを予測してもよい。相応して、制御点コーディングされたブロックの高精度イントラ予測方向は、同じ精度を有する予測されたイントラ予測方向およびＭＰＭ候補を保証するために、通常のイントラモードのイントラ予測精度に丸められてもよい。したがって、本開示の一実施形態では、より細かい粒度のイントラ予測が制御点のコーディングされたブロックに対して有効にされているとき（たとえば、１２９個の角度方向）、その隣接するイントラブロックのイントラ予測モードを予測するためのＭＰＭ候補として記憶され使用される前に、カレントブロックの高精度イントラ予測モードを粗い粒度（たとえば、ＪＥＭにおける６５個の角度方向およびＨＭにおける３３）における最も近いイントラ予測モードに丸めることが提案される。２つの隣接する粗い精度のイントラ方向が高精度のイントラ方向と等しい距離にある場合、一定の規則（たとえば、より小さいイントラ方向インデックスを有する粗い精度のイントラ方向に常に丸める、または、４５度により近い粗い精度のイントラ方向に常に丸める）が適用されてもよい。
【０１１８】
いくつかの実施形態では、カレントブロックの制御点における通知されたイントラ予測方向が使用されて、イントラ方向が明示的に通知される隣接ブロックのイントラ方向を予測する。したがって、イントラモードを通知するオーバヘッドを減少させるために、カレントブロックの右に隣接するブロックのＭＰＭリストを生成するための１つの候補として右上の制御点（図１０におけるＣＰ1）のイントラ方向を使用することが提案され、同様に、カレントブロックの下の隣接するブロックのＭＰＭリストを生成するための１つの候補として左下の制御点（図１０のＣＰ2）のイントラ方向を使用することも提案される。加えて、本開示の一実施形態では、制御点のイントラ方向を１つの追加のＭＰＭ候補として加え、ＭＰＭリストのサイズを１だけ増加させることが提案される。別の実施形態では、ＭＰＭインデックスの通知オーバヘッドを増加させないために、ＭＰＭリストのサイズが変更されないままであるように、制御点のイントラ方向を使用して既存のＭＰＭ候補のうちの１つ（たとえば、ＭＰＭリストの最後の候補）を置き換えることが提案される。
【０１１９】
デコーダ側の制御点の導出。
【０１２０】
上記で説明されている例示的な方法では、制御点のイントラ方向は、制御点ベースのイントラ予測モードのためにエンコーダからデコーダに通知され、それは、無視できない数のビットを消費する可能性があり、したがって、提案された制御点ベースのイントラ予測モードの全体的なコーディング性能を減少させる可能性がある。いくつかの実施形態では、デコーダ側のイントラモード導出（ＤＩＭＤ）手法が使用されて、デコーダ側においてカレントブロックの再構成された隣接サンプルのグループ（テンプレートと呼ばれる）に基づいて１つのビデオブロックのイントラ予測モードを推定することによって、イントラ予測パラメータを通知するオーバヘッドを減少させてもよい。イントラ方向を制御する通知オーバヘッドを減少させるために、本開示の一実施形態では、提案された制御点ベースのイントラ予測方法にＤＩＭＤ手法を適用することが提案される。この場合、制御点のイントラ方向は、明示的に通知される代わりに、ＤＩＭＤを使用してデコーダ側において導出されてもよい。具体的には、制御点ベースのイントラ予測が有効にされているとき、制御点のイントラ方向をビットストリームにおいて示す代わりに、エンコーダ／デコーダは、カレントブロックに隣接する再構成されたサンプルから制御点のイントラ方向を導出する。図１３は、提案されたデコーダ側の制御点導出方法を示す。選択された制御点（ＣＰ0、ＣＰ1、およびＣＰ2）の位置が与えられると、（３つの制御点に関して異なるパターン化領域によって示される）テンプレートサンプルは、対応する制御点のイントラ予測方向を導出するために使用されるすでに再構成されたサンプルのセットを指す。各制御点のテンプレートサンプルに基づいて、デコーダ側の制御イントラ方向導出方法は、各イントラ予測方向について、再構成されたテンプレートサンプルとテンプレートの予測サンプルとの間のコストを計算するステップを含んでもよい。テンプレートコストは、その２つの間の歪みとして測定されてもよい。次いで、最小コストをもたらすイントラ方向が制御イントラ方向として選択されてもよい。
【０１２１】
異なる実施形態では、差の絶対値の和（ＳＡＤ）、差の二乗の和（ＳＳＤ）、および変換された差の絶対値の和（ＳＡＴＤ）のような別のコスト測定値がデコーダ側のイントラ方向導出方法において適用されてもよい。コストはまた、テンプレート内に含まれる小さいサブブロックユニット（たとえば、２×２または４×４）のコスト測定値の和として測定されてもよい。
【０１２２】
テンプレートサンプルの選択は、ブロックの符号化／復号の順序に基づいて制限されてもよい。図１３において、各制御点のまわりの最も近い再構成されたサンプルがテンプレートとして使用される。実際には、異なるテンプレートサイズが使用されてもよい。多数のテンプレートサンプルは、コーディングノイズの存在下でイントラ方向のより確実な推定につながることができる。しかしながら、大きなテンプレートサイズは、テンプレートサンプルと、モードが推定される制御点の位置との間の距離も増加させる。したがって、距離が増加するにつれて、そのような推定の精度は、（テンプレートと制御点との間の減少された相関を与えられると）減少される可能性がある。一方、より小さいテンプレートは、より正確な推定を提供する可能性があるが、コーディングノイズにより敏感である可能性がある。したがって、異なるブロックサイズに対して、局所的なエッジの方向を正確に捕捉するためのサイズ限界を超えずに、ノイズに対して堅牢であるのに十分な大きさであるべきである最適なテンプレートサイズを選択することが望ましい。一実施形態では、２のテンプレートサイズ（すなわち、図１３におけるＬ＝２）が４×４および８×８のブロックに対して使用され、４のテンプレートサイズ（すなわち、図１３におけるＬ＝４）が１６×１６以上のビデオブロックに対して使用される。
【０１２３】
本開示の他の実施形態では、例示的な制御点ベースのイントラ予測方法において、他のデコーダ側のイントラモード導出技法を含む他のイントラモード導出方法が用いられてもよい。
【０１２４】
彩度コーディングのための制御点ベースのイントラ予測。
【０１２５】
人間の視覚システムは、彩度よりも輝度の変動に対してはるかにより敏感であるので、ビデオコーディングシステムは、通常、たとえば、輝度成分と彩度成分との間の量子化パラメータ（ＱＰ）デルタ値を調整することによって、彩度成分よりも輝度成分により多くのビットを充てる。したがって、彩度成分は、輝度成分よりもはるかに少ない詳細情報（たとえば、エッジおよびテクスチャ）を含む。この観察に基づいて、輝度イントラ予測に関するよりも少ない制御点を彩度イントラ予測のために通知してもよい。一方、輝度平面と彩度平面との間の強い相関が与えられると、彩度予測が輝度予測と同じイントラ予測方向を使用する可能性が高い。したがって、本開示の一実施形態では、制御点イントラ予測モードが１つのビデオブロックのために有効にされているとき、エンコーダ／デコーダは、同じイントラ予測方向が輝度成分と彩度成分の両方に使用されるように、輝度成分の同じ制御点を再利用して、彩度成分のイントラ予測方向を導出する。本開示の別の実施形態では、制御点ベースのイントラ予測モードが有効にされているとき、輝度成分および再度成分について別々に、制御点の２つの異なるセットがデコーダに送信される。
【０１２６】
制御点ベースのイントラモード表現を使用するイントラ予測方法。
【０１２７】
上記で説明されている例示的な方法では、制御点ベースのイントラ予測は、一般に、制御点のイントラ方向が最初に使用されて、式（７）に従ってカレントビデオブロック内の各サンプル（またはサブブロック）に関するイントラ方向を導出し、次いで、（ＨＥＶＣまたはＪＥＭにおいて定義される）既存のイントラ予測プロセスが適用されて、導出されたイントラ方向を使用してカレントブロックの予測信号を生成するように実行される。式（７）における表記を再利用し、ＩＰ（ｉｎｔｒａＤｉｒ）が、イントラ予測方向ｉｎｔｒａＤｉｒを使用してイントラ予測を実行する関数であるとすると、上述されているような制御点ベースの予測プロセスは、
【０１２８】
【数１８】
2019519972.tif 000026
【０１２９】
として記述され得る。
【０１３０】
いくつかの実施形態では、イントラ予測演算ＩＰ（・）は、線形関数として厳密に近似され得、式（２１）は、以下の
【０１３１】
【数１９】
2019519972.tif 000027
【０１３２】
のように近似形式で表され得る。
【０１３３】
この式において、ＩＰ（ＩＭ（ＣＰi））は、制御点ＣＰiのイントラ方向を使用して１つのサンプルにイントラ予測を適用することに対応する。したがって、式（２２）に基づいて、提案された制御点ベースのイントラ予測方法を使用して別のイントラ予測方法が用いられてもよい。この方法では、Ｋの制御点ＣＰi、ｉ＝０，１，Ｋ−１が与えられると、エンコーダ／デコーダは、最初に、それぞれ、１つの制御点のイントラ予測方向ＩＭ（ＣＰi）を使用して、カレントブロックに対してＫの異なるイントラ予測信号を生成し、次いで、これらのＫの制御点ベースのイントラ予測信号（ＩＭ（ＣＰi））の重み付けされた組合せを用いることによって最終的なイントラ予測が得られ、ここで、重みは、式（７）において指定されているように補間カーネル関数に従って計算されてもよい。３つの制御点がカレントブロックに対して使用される場合（Ｋ＝３）、図１４は、制御点のイントラ方向を使用してイントラ予測信号の重み付けされた組合せを示すための一例を示す。式（２２）において、重み係数は、目標サンプルの位置（ｘ，ｙ）に依存する。別の実施形態では、他の重み係数（たとえば、位置依存ではないか、またはカーネル関数を使用しない）が式（２２）において適用されて、生成されたイントラ予測信号を異なる制御点からの方向と組み合わせてもよい。
【０１３４】
式（７）を使用する方法と比較して、式（２２）を使用する制御点ベースのイントラ予測方法は、制御点におけるイントラ予測方向がＤＣおよび平面のような非角度方向モードであることを可能にする。したがって、ＭＰＭベースのイントラモード予測が適用されて制御イントラ方向を予測する場合、ＭＰＭ候補リストは、角度イントラ方向と非角度イントラ方向の両方を含むことによって生成されてもよい。
【０１３５】
図１５は、コーディングされたビットストリーム構造の例を示す概略図である。コーディングされたビットストリーム１０００は、いくつかのＮＡＬ（ネットワーク抽象化層）ユニット１００１からなる。ＮＡＬユニットは、コーディングされたスライス１００６のようなコーディングされたサンプルデータ、または、パラメータセットデータ、スライスヘッダデータ１００５、もしくは補足的な強化情報データ１００７（ＳＥＩメッセージと呼ばれる場合がある）のような高レベル構文メタデータを含んでもよい。パラメータセットは、複数のビットストリーム層に適合してもよい（たとえば、ビデオパラメータセット１００２（ＶＰＳ））、または１つの層内のコーディングされたビデオシーケンスに適合してもよい（たとえば、シーケンスパラメータセット１００３（ＳＰＳ））、または１つのコーディングされたビデオシーケンス内のいくつかのコーディングされたピクチャに適合してもよい（たとえば、ピクチャパラメータセット１００４（ＰＰＳ））本質的な構文要素を含む高レベル構文構造である。パラメータセットは、ビデオビットストリームのコーディングされたピクチャと一緒に送られ得、または、（信頼性の高いチャネルを使用する帯域外送信、ハードコーティングなどを含む）他の手段を介して送られ得る。スライスヘッダも、比較的小さい、または特定のスライスもしくはピクチャタイプにのみ関連するいくらかのピクチャ関連情報を含んでもよい高レベル構文構造である。ＳＥＩメッセージ１００７は、復号プロセスによって必要とされない可能性があるが、ピクチャ出力のタイミングまたは表示ならびに損失検出および隠蔽のような様々な他の目的のために使用され得る情報を搬送する。
【０１３６】
図１６は、通信システムの例を示す概略図である。通信システム１３００は、エンコーダ１３０２と、通信ネットワーク１３０４と、デコーダ１３０６とを備えてもよい。エンコーダ１３０２は、有線接続または無線接続であってもよい接続１３０８を介してネットワーク１３０４と通信してもよい。エンコーダ１３０２は、図１のブロックベースのビデオエンコーダと同様であってもよい。エンコーダ１３０２は、単一層コーデック（たとえば、図１）または多層コーデックを含んでもよい。たとえば、エンコーダ１３０２は、ピクチャレベルのＩＬＰサポートを有する多層（たとえば、２層）スケーラブルコーディングシステムであってもよい。デコーダ１３０６は、有線接続または無線接続であってもよい接続１３１０を介してネットワーク１３０４と通信してもよい。デコーダ１３０６は、図２のブロックベースのビデオデコーダと同様であってもよい。デコーダ１３０６は、単一層コーデック（たとえば、図２）または多層コーデックを含んでもよい。たとえば、デコーダ１３０６は、ピクチャレベルのＩＬＰサポートを有する多層（たとえば、２層）スケーラブル復号システムであってもよい。
【０１３７】
エンコーダ１３０２および／またはデコーダ１３０６は、限定はされないが、デジタルテレビジョン、無線ブロードキャストシステム、ネットワーク要素／端末、（たとえば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバのような）コンテンツサーバまたはウェブサーバなどのサーバ、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録デバイス、ビデオゲームデバイス、ビデオゲームコンソール、セルラ電話または衛星無線電話、デジタルメディアプレーヤ、などのような、多種多様な有線通信デバイスおよび／または無線送信／受信ユニット（ＷＴＲＵ）に組み込まれてもよい。
【０１３８】
通信ネットワーク１３０４は、適切なタイプの通信ネットワークであってもよい。たとえば、通信ネットワーク１３０４は、音声、データ、ビデオ、メッセージング、ブロードキャストなどのようなコンテンツを複数の無線ユーザに提供する多元接続システムであってもよい。通信ネットワーク１３０４は、無線帯域幅を含むシステムリソースの共有を介してそのようなコンテンツに複数の無線ユーザがアクセスすることを可能にしてもよい。たとえば、通信ネットワーク１３０４は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＦ−ＦＤＭＡ）などのような１つまたは複数のチャネルアクセス方法を用いてもよい。通信ネットワーク１３０４は、複数の接続された通信ネットワークを含んでもよい。通信ネットワーク１３０４は、インターネット、および／または、セルラネットワーク、ＷｉＦｉホットスポット、インターネットサービスプロバイダ（ＩＳＰ）ネットワークなどのような１つもしくは複数のプライベート商用ネットワークを含んでもよい。
【０１３９】
図１７は、本明細書で説明されているようなエンコーダまたはデコーダが実装されてもよい例示的なＷＴＲＵのシステム図である。図示されているように、例示的なＷＴＲＵ１２０２は、プロセッサ１２１８、送受信機１２２０、送信／受信要素１２２２、スピーカ／マイクロフォン１２２４、キーパッドもしくはキーボード１２２６、ディスプレイ／タッチパッド１２２８、非リムーバブルメモリ１２３０、リムーバブルメモリ１２３２、電源１２３４、全地球測位システム（ＧＰＳ）チップセット１２３６、および／または他の周辺機器１２３８を含んでもよい。ＷＴＲＵ１２０２は、実施形態と一致したままで、上記の要素の任意の部分的組合せを含んでもよいことが理解されよう。さらに、エンコーダ（たとえば、エンコーダ１００）および／またはデコーダ（たとえば、デコーダ２００）が組み込まれる端末は、図１７に示され、図１７のＷＴＲＵ１２０２を参照して本明細書で説明されている要素のうちのいくつかまたはすべてを含んでもよい。
【０１４０】
プロセッサ１２１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理ユニット（ＧＰＵ）複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、任意の他のタイプの集積回路（ＩＣ）、状態機械などであってもよい。プロセッサ１２１８は、信号コーディング、データ処理、電力制御、入力／出力処理、ならびに／または、ＷＴＲＵ１５００が有線および／もしくは無線環境において動作することを可能にする任意の他の機能を実行してもよい。プロセッサ１２１８は、送信／受信要素１２２２に結合されてもよい送受信機１２２０に結合されてもよい。図１７は、プロセッサ１２１８および送受信機１２２０を別々の構成要素として示しているが、プロセッサ１２１８および送受信機１２２０は、電子パッケージおよび／またはチップ内に一緒に集積されてもよいことが理解されよう。
【０１４１】
送信／受信要素１２２２は、無線インターフェース１２１５を介して、別の端末に信号を送信する、および／または、別の端末から信号を受信するように構成されてもよい。たとえば、１つまたは複数の実施形態では、送信／受信要素１２２２は、ＲＦ信号を送信および／または受信するように構成されたアンテナであってもよい。１つまたは複数の実施形態では、送信／受信要素１２２２は、たとえば、ＩＲ、ＵＶ、または可視光信号を送信および／または受信するように構成された発光器／検出器であってもよい。１つまたは複数の実施形態では、送信／受信要素１２２２は、ＲＦ信号と光信号の両方を送信および／または受信するように構成されてもよい。送信／受信要素１２２２は、無線信号の任意の組合せを送信および／または受信するように構成されてもよいことが理解されよう。
【０１４２】
加えて、送信／受信要素１２２２は、図１７において単一の要素として示されているが、ＷＴＲＵ１２０２は、任意の数の送信／受信要素１２２２を含んでもよい。より具体的には、ＷＴＲＵ１２０２は、ＭＩＭＯ技術を用いてもよい。したがって、一実施形態では、ＷＴＲＵ１２０２は、無線インターフェース１２１５を介して無線信号を送信および受信するための２つ以上の送信／受信要素１２２２（たとえば、複数のアンテナ）を含んでもよい。
【０１４３】
送受信機１２２０は、送信／受信要素１２２２によって送信されるべき信号を変調する、および／または、送信／受信要素１２２２によって受信される信号を復調するように構成されてもよい。上述されているように、ＷＴＲＵ１２０２は、マルチモード能力を有してもよい。したがって、送受信機１２２０は、ＷＴＲＵ１５００が、たとえば、ＵＴＲＡおよびＩＥＥＥ８０２．１１のような複数のＲＡＴを介して通信することを可能にするための複数の送受信機を含んでもよい。
【０１４４】
ＷＴＲＵ１２０２のプロセッサ１２１８は、スピーカ／マイクロフォン１２２４、キーパッド１２２６、および／またはディスプレイ／タッチパッド１２２８（たとえば、液晶ディスプレイ（ＬＣＤ）ディスプレイユニットまたは有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合されてもよく、そこからユーザ入力データを受信してもよい。プロセッサ１２１８はまた、スピーカ／マイクロフォン１２２４、キーパッド１２２６、および／またはディスプレイ／タッチパッド１２２８にユーザデータを出力してもよい。加えて、プロセッサ１２１８は、非リムーバブルメモリ１２３０および／またはリムーバブルメモリ１２３２のような任意のタイプの適切なメモリからの情報にアクセスしてもよく、そこにデータを記憶してもよい。非リムーバブルメモリ１２３０は、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、ハードディスク、または任意の他のタイプのメモリ記憶デバイスを含んでもよい。リムーバブルメモリ１２３２は、加入者識別モジュール（ＳＦＭ）カード、メモリスティック、セキュアデジタル（ＳＤ）メモリカードなどを含んでもよい。１つまたは複数の実施形態では、プロセッサ１２１８は、サーバまたはホームコンピュータ（図示せず）のようなＷＴＲＵ１２０２上に物理的に配置されていないメモリからの情報にアクセスしてもよく、そこにデータを記憶してもよい。
【０１４５】
プロセッサ１２１８は、電源１２３４から電力を受け取ってもよく、ＷＴＲＵ１２０２内の他の構成要素への電力を分配および／または制御するように構成されてもよい。電源１２３４は、ＷＴＲＵ１２０２に電力を供給するための任意の適切なデバイスであってもよい。たとえば、電源１２３４は、１つまたは複数の乾電池（たとえば、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル金属水素化物（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）など）、太陽電池、燃料電池などを含んでもよい。
【０１４６】
プロセッサ１２１８は、ＷＴＲＵ１２０２の現在位置に関する位置情報（たとえば、経度および緯度）を提供するように構成されてもよいＧＰＳチップセット１２３６に結合されてもよい。ＧＰＳチップセット１２３６からの情報に加えて、またはその代わりに、ＷＴＲＵ１２０２は、無線インターフェース１２１５を介して端末（たとえば、基地局）から位置情報を受信してもよく、および／または、２つ以上の近くの基地局から受信されている信号のタイミングに基づいてその位置を決定してもよい。ＷＴＲＵ１２０２は、実施形態と一致したままで、任意の適切な位置決定方法によって位置情報を取得してもよいことが理解されよう。
【０１４７】
プロセッサ１２１８は、追加の特徴、機能、および／または有線もしくは無線接続性を提供する１つまたは複数のソフトウェアおよび／またはハードウェアモジュールを含んでもよい他の周辺機器１２３８にさらに結合されてもよい。たとえば、周辺機器１２３８は、加速度計、方位センサ、動きセンサ、近接センサ、電子コンパス、衛星送受信機、デジタルカメラおよび／またはビデオレコーダ（たとえば、写真および／またはビデオ用）、ユニバーサルシリアルバス（ＵＳＢ）ポート、振動デバイス、テレビジョン送受信機、ハンズフリーヘッドセット、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュール、周波数変調（ＦＭ）無線ユニット、ならびに、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザなどのようなソフトウェアモジュールを含んでもよい。
【０１４８】
例として、ＷＴＲＵ１２０２は、無線信号を送信および／または受信するように構成されてもよく、ユーザ機器（ＵＥ）、移動局、固定またはモバイル加入者ユニット、ページャ、セルラ電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、タブレットコンピュータ、パーソナルコンピュータ、無線センサ、家庭用電化製品、または、圧縮されたビデオ通信を受信し処理することができる任意の他の端末を含んでもよい。
【０１４９】
ＷＴＲＵ１２０２および／または通信ネットワーク（たとえば、通信ネットワーク８０４）は、広帯域ＣＤＭＡ（ＷＣＤＭＡ）を使用して無線インターフェース１２１５を確立してもよいユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）のような無線技術を実装してもよい。ＷＣＤＭＡは、高速パケットアクセス（ＨＳＰＡ）および／または進化型ＨＳＰＡ（ＨＳＰＡ＋）のような通信プロトコルを含んでもよい。ＨＳＰＡは、高速ダウンリンクパケットアクセス（ＨＳＤＰＡ）および／または高速アップリンクパケットアクセス（ＨＳＵＰＡ）を含んでもよい。ＷＴＲＵ１２０２および／または通信ネットワーク（たとえば、通信ネットワーク８０４）は、ロングタームエボリューション（ＬＴＥ）および／またはＬＴＥアドバンスト（ＬＴＥ−Ａ）を使用して無線インターフェース１５１５を確立してもよい進化形ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）のような無線技術を実装してもよい。
【０１５０】
ＷＴＲＵ１２０２および／または通信ネットワーク（たとえば、通信ネットワーク８０４）は、ＩＥＥＥ８０２．１６（たとえば、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ））、ＣＤＭＡ２０００、ＣＤＭＡ２０００ＩＸ、ＣＤＭＡ２０００ＥＶ−ＤＯ、暫定規格２０００（ＩＳ−２０００）、暫定規格９５（ＩＳ−９５）、暫定規格８５６（ＩＳ−８５６）、グローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭ）、ＧＳＭ進化型高速データレート（ＥＤＧＥ）、ＧＳＭ  ＥＤＧＥ（ＧＥＲＡＮ）などのような無線技術を実装してもよい。ＷＴＲＵ１５００および／または通信ネットワーク（たとえば、通信ネットワーク８０４）は、ＩＥＥＥ８０２．１１、ＩＥＥＥ８０２．１５などのような無線技術を実装してもよい。
【０１５１】
説明された実施形態のうちの１つまたは複数の様々なハードウェア要素は、それぞれのモジュールに関連して本明細書で説明されている様々な機能を成し遂げる（すなわち、行う、実行するなど）「モジュール」と呼ばれることに留意されたい。本明細書で使用されるとき、モジュールは、所与の実装形態に対して当業者によって適切であるとみなされるハードウェア（たとえば、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコントローラ、１つまたは複数のマイクロチップ、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つまたは複数のメモリデバイス）を含む。各説明されているモジュールはまた、それぞれのモジュールによって成し遂げられるものとして説明されている１つまたは複数の機能を成し遂げるために実行可能な命令を含んでもよく、それらの命令は、ハードウェア（すなわちハードワイヤード）命令、ファームウェア命令、ソフトウェア命令などの形態をとることができ、またはそれらを含むことができ、一般にＲＡＭ、ＲＯＭなどと呼ばれるような、１つまたは複数の任意の適切な非一時的なコンピュータ可読媒体に記憶されてもよいことに留意する。
【０１５２】
特徴および要素が特定の組合せにおいて上記で説明されているが、当業者は、各特徴または要素が、単独で、または他の特徴および要素との任意の組合せにおいて使用され得ることを理解するであろう。加えて、本明細書で説明されている方法は、コンピュータまたはプロセッサによる実行のためにコンピュータ可読媒体内に組み込まれたコンピュータプログラム、ソフトウェア、またはファームウェアにおいて実装されてもよい。コンピュータ可読媒体の例は、（有線接続または無線接続を介して送信される）電子信号と、コンピュータ可読記憶媒体とを含む。コンピュータ可読記憶媒体の例は、限定はされないが、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内部ハードディスクおよびリムーバブルディスクのような磁気媒体、光磁気媒体、ならびに、ＣＤ−ＲＯＭディスクおよびデジタル多用途ディスク（ＤＶＤ）のような光媒体を含む。ソフトウェアに関連するプロセッサが使用されて、ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、または任意のホストコンピュータにおける使用のための無線周波数送受信機を実装してもよい。
【図１】
2019519972.tif 000028
【図２】
2019519972.tif 000029
【図３】
2019519972.tif 000030
【図４】
2019519972.tif 000031
【図５】
2019519972.tif 000032
【図６】
2019519972.tif 000033
【図７Ａ】
2019519972.tif 000034
【図７Ｂ】
2019519972.tif 000035
【図７Ｃ】
2019519972.tif 000036
【図７Ｄ】
2019519972.tif 000037
【図８】
2019519972.tif 000038
【図９】
2019519972.tif 000039
【図１０】
2019519972.tif 000040
【図１１Ａ】
2019519972.tif 000041
【図１１Ｂ】
2019519972.tif 000042
【図１１Ｃ】
2019519972.tif 000043
【図１１Ｄ】
2019519972.tif 000044
【図１２Ａ】
2019519972.tif 000045
【図１２Ｂ】
2019519972.tif 000046
【図１３】
2019519972.tif 000047
【図１４】
2019519972.tif 000048
【図１５】
2019519972.tif 000049
【図１６】
2019519972.tif 000050
【図１７】
2019519972.tif 000051
【手続補正書】
【提出日】平成31年1月7日(2019.1.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビットストリーム内のビデオをコーディングする方法であって、前記ビデオは、複数のフレームを含み、各々のフレームは、サンプルのブロックを含み、
少なくともカレントブロックについて、少なくとも第１の制御点についての第１のイントラ方向および第２の制御点についての第２のイントラ方向を識別するステップと、
前記カレントブロック内の少なくとも１つのカレントサンプルについて、少なくとも前記第１のイントラ方向および前記第２のイントラ方向からの方向を補間することによって、前記サンプルについてのイントラ予測方向を導出するステップと、
前記導出されたイントラ予測方向を使用して、イントラ予測と共に前記サンプルを予測するステップと
を備えたことを特徴とする方法。
【請求項２】
前記導出されたイントラ方向は、前記第１のイントラ方向、前記第２のイントラ方向、および第３の制御点についての第３のイントラ方向から補間されることを特徴とする請求項１に記載の方法。
【請求項３】
少なくとも前記第１の制御点および前記第２の制御点の位置は、前記ビットストリームにおいてシグナリングされることを特徴とする請求項１乃至２のいずれか一項に記載の方法。
【請求項４】
少なくとも前記第１のイントラ方向は、前記ビットストリームにおいてシグナリングされることを特徴とする請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
少なくとも前記第１の制御点および前記第２の制御点は、前記ブロックの左上隅にある制御点、前記ブロックの右上隅にある制御点、前記ブロックの左下隅にある制御点、前記ブロックの右下隅にある制御点、および前記ビットストリームにおいてシグナリングされたカスタム制御点から構成されたグループから選択されることを特徴とする請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記第１の制御点は、前記カレントブロックの左上隅にあり、前記第２の制御点は、前記カレントブロックの右上隅または左下隅にあることを特徴とする請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記第２の制御点の位置は、前記カレントブロックについての最も可能性の高いモードのリスト内のイントラモードに基づいて決定され、前記リストは、隣接するブロックをコーディングするために使用されるイントラモードに基づいて決定され、
前記最も可能性の高いモードのより多くが垂直よりも水平である場合、前記第２の制御点は、前記カレントブロックの右上隅にあり、
前記最も可能性の高いモードのより多くが水平よりも垂直である場合、前記第２の制御点は、前記カレントブロックの左下隅にある
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記カレントサンプルは、前記カレントブロックのカレントサブブロックにあり、前記導出されたイントラ予測方向を使用して前記カレントサブブロックの全てのサンプルを予測するステップをさらに備えたことを特徴とする請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記カレントブロックは、サンプルの複数のサブブロックを含み、前記方法は、
少なくとも前記第１のイントラ方向および前記第２のイントラ方向からのそれぞれの方向を補間することによって、前記サブブロックごとのそれぞれのイントラ予測方向を導出するステップと、
前記導出されたそれぞれのイントラ予測方向を使用したイントラ予測によって、前記サブブロックの各々の中のサンプルを予測するステップと
をさらに備えたことを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１のイントラ方向および前記第２のイントラ方向は、最も可能性の高いモードのリストから選択され、前記リストは、隣接するブロックをコーディングするために使用されるイントラモードに基づいて決定されることを特徴とする請求項１乃至９のいずれか一項に記載の方法。
【請求項１１】
前記カレントブロックについての前記第１の制御点の前記第１のイントラ方向または前記第２の制御点の前記第２のイントラ方向は、隣接するブロックのイントラコーディングのための最も可能性の高いモードのリストに含まれることを特徴とする請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
少なくとも前記第２のイントラ方向は、前記第１のイントラ方向に対する差分コーディングを使用して前記ビットストリームにおいてコーディングされることを特徴とする請求項１乃至１１のいずれか一項に記載の方法。
【請求項１３】
前記第１の制御点または前記第２の制御点に隣接するテンプレート領域内のサンプルから、少なくとも前記第１のイントラ方向を導出するステップをさらに備えたことを特徴とする請求項１乃至３または５乃至１２のいずれか一項に記載の方法。
【請求項１４】
前記補間することは、三角形補間を使用して実行されることを特徴とする請求項１乃至１３のいずれか一項に記載の方法。
【請求項１５】
前記補間することは、双線形補間を使用して実行されることを特徴とする請求項１乃至１３のいずれか一項に記載の方法。
【請求項１６】
前記ビットストリームは、制御点イントラコーディングが前記カレントブロックに対して使用されることを示すフラグを含むことを特徴とする請求項１乃至１５のいずれか一項に記載の方法。
【請求項１７】
前記方法は、ビデオエンコーダによって実行され、前記方法は、前記サンプルについての予測残差を決定するステップと、前記ビットストリーム内の前記予測残差を符号化するステップとをさらに備えたことを特徴とする請求項１乃至１６のいずれか一項に記載の方法。
【請求項１８】
前記方法は、ビデオデコーダによって実行され、前記方法は、前記サンプルについての予測残差を復号するステップと、前記予測残差を使用して前記サンプルを再構築するステップとをさらに備えたことを特徴とする請求項１乃至１６のいずれか一項に記載の方法。
【請求項１９】
ビットストリームにビデオを符号化するエンコーダであって、前記ビデオは、複数のフレームを含み、各々のフレームは、サンプルのブロックを含み、前記エンコーダは、
少なくともカレントブロックについて、少なくとも第１の制御点についての第１のイントラ方向および第２の制御点についての第２のイントラ方向を識別することと、
前記カレントブロック内の少なくとも１つのカレントサンプルについて、少なくとも前記第１のイントラ方向および前記第２のイントラ方向からの方向を補間することによって、前記サンプルについてのイントラ予測方向を導出することと、
前記導出されたイントラ予測方向を使用して、イントラ予測と共に前記サンプルを予測することと
を含む機能を実行するように動作可能であることを特徴とするエンコーダ。
【請求項２０】
ビットストリームからビデオを復号するデコーダであって、前記ビデオは、複数のフレームを含み、各々のフレームは、サンプルのブロックを含み、前記デコーダは、
少なくともカレントブロックについて、少なくとも第１の制御点についての第１のイントラ方向および第２の制御点についての第２のイントラ方向を識別することと、
前記カレントブロック内の少なくとも１つのカレントサンプルについて、少なくとも前記第１のイントラ方向および前記第２のイントラ方向からの方向を補間することによって、前記サンプルについてのイントラ予測方向を導出することと、
前記導出されたイントラ予測方向を使用して、イントラ予測と共に前記サンプルを予測することと
を含む機能を実行するように動作可能であることを特徴とするデコーダ。
【国際調査報告】
2019519972.tif 000052
2019519972.tif 000053
2019519972.tif 000054