(57)【要約】  デコーダにおけるビデオ復号のための方法では、ブロックの予測情報は、符号化ビデオビットストリームから現在ピクチャの中で復号される。予測情報は、インター予測モードにおけるアフィンモデルに関連付けられた予測オフセットの複数のオフセットインデックスを含む。複数のオフセットインデックスは、距離オフセットインデックス、オフセット方向インデックス、デルタスケーリングインデックス、及びデルタ回転インデックス、のうちの少なくとも１つを含む。さらに、アフィンモデルのパラメータは、複数のオフセットインデックスに基づき決定される。複数のオフセットインデックスの各々は、インデックスと対応するオフセット値とを含むそれぞれの所定のマッピングテーブルを含む。アフィンモデルのパラメータは、ブロックと再構成された参照ピクチャの中の参照ブロックとの間で変換するために使用される。ブロックの少なくとも１つのサンプルは、アフィンモデルに従い再構成される。
2021520753.tif 000002
【特許請求の範囲】
【請求項１】
デコーダが実行する動画の復号方法であって、
符号化ビデオビットストリームから、現在ピクチャの中のブロックの予測情報を復号するステップであって、前記予測情報は、インター予測モードにおけるアフィンモデルに関連付けられた予測オフセットの複数のオフセットインデックスを含む、ステップと、
前記複数のオフセットインデックスに基づき、前記アフィンモデルのパラメータを決定するステップであって、前記複数のオフセットインデックスの各々が、インデックスと対応オフセット値とを含む、それぞれの所定のマッピングテーブルを含み、前記アフィンモデルのパラメータが、前記ブロックと再構成された参照ピクチャ内の参照ブロックとの間で変換するために使用される、ステップと、
前記アフィンモデルに従い前記ブロックの少なくとも１つのサンプルを再構成するステップと、
を含む方法。
【請求項２】
前記複数のオフセットインデックスは、距離オフセットインデックス、オフセット方向インデックス、デルタスケーリングインデックス、及びデルタ回転インデックス、のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項３】
シグナリングされた基本予測子インデックスに基づき、予測子候補リストから前記ブロックの基本予測子を決定するステップであって、前記ブロックは２つ以上の制御点を含み、前記予測子候補リストは１つより多くの予測子候補を含む、ステップと、
前記基本予測子インデックスがシグナリングされないとき、所定の基本予測子インデックスに基づき、前記ブロックの基本予測子を決定するステップと、
を更に含む請求項２に記載の方法。
【請求項４】
前記距離オフセットインデックスの前記それぞれの所定のマッピングテーブルに基づき距離オフセット値を決定するために、前記距離オフセットインデックスを復号するステップと、
前記オフセット方向インデックスの前記それぞれの所定のマッピングテーブルに基づきオフセット方向を決定するために、前記オフセット方向インデックスを復号するステップと、
前記基本予測子、前記距離オフセット値、及び前記オフセット方向のうちの少なくとも１つに基づき、前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの１つの動きベクトルを導出するステップと、
を更に含む請求項３に記載の方法。
【請求項５】
前記導出するステップは、
ゼロ動きベクトル差フラグが真であるという決定に基づき、前記基本予測子の制御点の動きベクトルを、前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの前記１つの動きベクトルとして設定するステップを更に含む、請求項４に記載の方法。
【請求項６】
前記導出するステップは、
ゼロ動きベクトル差フラグが偽であるという決定に基づき、前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの前記１つの前記動きベクトルを生成するために、前記基本予測子の制御点の動きベクトルに、前記距離オフセット値及び前記オフセット方向を適用するステップを更に含む、請求項４に記載の方法。
【請求項７】
前記導出するステップは、
第１ゼロ動きベクトル差フラグが偽であるという決定に基づき、第１インター予測方向にある前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの前記１つの第１動きベクトルを生成するために、前記第１インター予測方向にある前記基本予測子の制御点の第１動きベクトルに、第１距離オフセット値及び第１オフセット方向を適用するステップと、
第２ゼロ動きベクトル差フラグが偽であるという決定に基づき、第２インター予測方向にある前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの前記１つの第２動きベクトルを生成するために、前記第２インター予測方向にある前記基本予測子の前記制御点の第２動きベクトルに、第２距離オフセット値及び第２オフセット方向を適用するステップと、
を更に含む、請求項４に記載の方法。
【請求項８】
前記所定のマッピングテーブルは、調整可能であり、シーケンスレベル、スライスレベル、タイルレベル、タイルグループレベル、及びブロックレベル、のうちの１つで受信される、請求項１乃至７のいずれか一項に記載の方法。
【請求項９】
前記デルタスケーリングインデックスの前記それぞれの所定のマッピングテーブルに基づき、デルタスケーリングパラメータを決定するために、前記デルタスケーリングインデックスを復号するステップと、
前記デルタ回転インデックスの前記それぞれの所定のマッピングテーブルに基づき、デルタ回転パラメータを決定するために、前記デルタ回転インデックスを復号するステップと、
前記距離オフセットインデックスの前記それぞれの所定のマッピングテーブルに基づき、距離オフセット値を決定するために、前記距離オフセットインデックスを復号するステップと、
前記オフセット方向インデックスの前記それぞれの所定のマッピングテーブルに基づき、オフセット方向を決定するために、前記オフセット方向インデックスを復号するステップと、
前記基本予測子、前記デルタスケーリングパラメータ、前記デルタ回転パラメータ、前記距離オフセット値、及び前記オフセット方向、のうちの少なくとも１つに基づき、前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの１つの動きベクトルを導出するステップと、
を更に含む請求項３に記載の方法。
【請求項１０】
前記導出するステップは、
ゼロデルタフラグが真であるという決定に基づき、前記基本予測子のスケーリングパラメータを前記現在ピクチャの中の前記ブロックのスケーリングパラメータとして設定するステップと、
前記ゼロデルタフラグが偽であるという決定に基づき、前記ブロックの前記スケーリングパラメータを生成するために、前記デルタスケーリングパラメータを前記基本予測子の前記スケーリングパラメータに適用するステップと、
を更に含む、請求項９に記載の方法。
【請求項１１】
前記導出するステップは、
ゼロデルタフラグが真であるという決定に基づき、前記基本予測子の回転パラメータを前記ブロックの回転パラメータとして設定するステップと、
前記ゼロデルタフラグが偽であるという決定に基づき、前記現在ピクチャの中の前記ブロックの前記回転パラメータを生成するために、前記デルタ回転パラメータを前記基本予測子の前記回転パラメータに適用するステップと、
を更に含む、請求項９に記載の方法。
【請求項１２】
前記導出するステップは、
ゼロ動きベクトル差フラグが真であるという決定に基づき、前記基本予測子の平行移動動きベクトルを前記ブロックの平行移動動きベクトルとして設定するステップと、
前記ゼロ動きベクトル差フラグが偽であるという決定に基づき、前記ブロックの前記平行移動動きベクトルを生成するために、前記基本予測子の前記平行移動動きベクトルに前記距離オフセット値及び前記オフセット方向を適用するステップと、
を更に含む、請求項９に記載の方法。
【請求項１３】
動画を復号する機器であって、
処理回路であって、
符号化ビデオビットストリームから、現在ピクチャの中のブロックの予測情報を復号し、前記予測情報は、インター予測モードにおけるアフィンモデルに関連付けられた予測オフセットの複数のオフセットインデックスを含み、
前記複数のオフセットインデックスに基づき、前記アフィンモデルのパラメータを決定し、前記複数のオフセットインデックスの各々が、インデックスと対応するオフセット値とを含む、それぞれの所定のマッピングテーブルを含み、前記アフィンモデルのパラメータが、前記ブロックと再構成された参照ピクチャ内の参照ブロックとの間で変換するために使用され、
前記アフィンモデルに従い前記ブロックの少なくとも１つのサンプルを再構成し、
前記複数のオフセットインデックスは、距離オフセットインデックス、オフセット方向インデックス、デルタスケーリングインデックス、及びデルタ回転インデックス、のうちの少なくとも１つを含む、
よう構成される処理回路を含む機器。
【請求項１４】
前記処理回路は、
シグナリングされた基本予測子インデックスに基づき、予測子候補リストから前記ブロックの基本予測子を決定し、前記ブロックは２つ以上の制御点を含み、前記予測子候補リストは１つより多くの予測子候補を含み、
前記基本予測子インデックスがシグナリングされないとき、所定の基本予測子インデックスに基づき、前記ブロックの基本予測子を決定する、
よう構成される、請求項１３に記載の機器。
【請求項１５】
前記処理回路は、
前記距離オフセットインデックスの前記それぞれの所定のマッピングテーブルに基づき距離オフセット値を決定するために、前記距離オフセットインデックスを復号し、
前記オフセット方向インデックスの前記それぞれの所定のマッピングテーブルに基づきオフセット方向を決定するために、前記オフセット方向インデックスを復号し、
前記基本予測子、前記距離オフセット値、及び前記オフセット方向のうちの少なくとも１つに基づき、前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの１つの動きベクトルを導出する、
よう構成される、請求項１４に記載の機器。
【請求項１６】
前記処理回路は、
ゼロ動きベクトル差フラグが真であるという決定に基づき、前記基本予測子の制御点の動きベクトルを、前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの前記１つの動きベクトルとして設定するよう構成される、請求項１５に記載の機器。
【請求項１７】
前記処理回路は、
ゼロ動きベクトル差フラグが偽であるという決定に基づき、前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの前記１つの前記動きベクトルを生成するために、前記基本予測子の制御点の動きベクトルに、前記距離オフセット値及び前記オフセット方向を適用するよう構成される、請求項１５に記載の機器。
【請求項１８】
前記処理回路は、
第１ゼロ動きベクトル差フラグが偽であるという決定に基づき、第１インター予測方向にある前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの前記１つの第１動きベクトルを生成するために、前記第１インター予測方向にある前記基本予測子の制御点の第１動きベクトルに、第１距離オフセット値及び第１オフセット方向を適用し、
第２ゼロ動きベクトル差フラグが偽であるという決定に基づき、第２インター予測方向にある前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの前記１つの第２動きベクトルを生成するために、前記第２インター予測方向にある前記基本予測子の前記制御点の第２動きベクトルに、第２距離オフセット値及び第２オフセット方向を適用する、
よう構成される、請求項１５に記載の機器。
【請求項１９】
前記処理回路は、
前記デルタスケーリングインデックスの前記それぞれの所定のマッピングテーブルに基づき、デルタスケーリングパラメータを決定するために、前記デルタスケーリングインデックスを復号し、
前記デルタ回転インデックスの前記それぞれの所定のマッピングテーブルに基づき、デルタ回転パラメータを決定するために、前記デルタ回転インデックスを復号し、
前記距離オフセットインデックスの前記それぞれの所定のマッピングテーブルに基づき、距離オフセット値を決定するために、前記距離オフセットインデックスを復号し、
前記オフセット方向インデックスの前記それぞれの所定のマッピングテーブルに基づき、オフセット方向を決定するために、前記オフセット方向インデックスを復号し、
前記基本予測子、前記デルタスケーリングパラメータ、前記デルタ回転パラメータ、前記距離オフセット値、及び前記オフセット方向、のうちの少なくとも１つに基づき、前記現在ピクチャの中の前記ブロックの前記２つ以上の制御点のうちの１つの動きベクトルを導出する、
よう構成される、請求項１４に記載の機器。
【請求項２０】
コンピュータに、請求項1乃至１２の何れか一項に記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願］
本願は、米国仮出願番号第６２／７３４，９９８号、「TECHNIQUES  FOR  SIMPLIFIED  AFFINE  MOTION  MODEL  CODING  WITH  PREDICTION  OFFSETS」、２０１８年９月２１日出願、の終戦県の利益を主張する、米国特許出願番号第１６／３９８，３０８号、「TECHNIQUES  FOR  SIMPLIFIED  AFFINE  MOTION  MODEL  CODING  WITH  PREDICTION  OFFSETS」、２０１９年４月３０日出願、の優先権の利益を主張する。これらの出願の全体の内容は、参照によりここに組み込まれる。
【０００２】
［技術分野］
本開示は、概して、ビデオ符号化及び復号に関連する実施形態を記載する。
【背景技術】
【０００３】
ここに提供される背景の説明は、本開示のコンテキストの概要を提示するためである。現在名前の挙げられた発明者の研究は、この背景の章に記載された研究の範囲で、出願時に従来技術として見なされない可能性のある記載の態様と同様に、本開示に対する従来技術として明示的に又は暗示的にも認められるものではない。
【０００４】
ビデオ符号化及び復号は、動き補償を伴うインターピクチャ予測を用いて実行できる。非圧縮デジタルビデオは、一連のピクチャを含むことができ、各ピクチャは、例えば１９２０×１０８０個のルミナンスサンプル及び関連するクロミナンスサンプルの空間次元を有する。一連のピクチャは、例えば毎秒６０ピクチャ又は６０Hｚの固定又は可変ピクチャレート（略式にフレームレートとしても知られている）を有し得る。非圧縮ビデオは、かなりのビットレート要件を有する。例えば、８ビット／サンプルの１０８０ｐ６０  ４：２：０ビデオ（６０Hzフレームレートで１９２０×１０８０ルミナンスサンプル解像度）は、１．５Ｇｂｉｔ／ｓの帯域幅を必要とする。１時間のこのようなビデオは６００Ｇｂｙｔｅより多くの記憶空間を必要とする。
【０００５】
ビデオ符号化及び復号の１つの目的は、圧縮を通じて、入力ビデオ信号の中の冗長性の削減であり得る。圧縮は、幾つかの場合には大きさで２桁以上も、前述の帯域幅又は記憶空間要件を軽減するのを助けることができる。損失又は無損失圧縮の両方、及びそれらの組み合わせが利用できる。無損失圧縮は、元の信号の正確なコピーが圧縮された元の信号から再構成可能である技術を表す。損失圧縮を用いると、再構成された信号は、元の信号と同一ではないが、元の信号と再構成された信号との間の歪みは、意図されるアプリケーションのために有用な再構成された信号を生成するのに十分に小さい。ビデオの場合には、損失圧縮が広く利用される。耐えうる歪みの量は、アプリケーションに依存し、特定の消費者ストリーミングアプリケーションのユーザは、テレビジョン配信アプリケーションのユーザよりも高に歪みに耐え得る。達成可能な圧縮比は、許容可能／耐性のある歪みが高いほど、高い圧縮比を生じ得ることを反映できる。
【０００６】
動き補償は、損失圧縮技術であり、前に再構成されたピクチャ又はその部分（参照ピクチャ）からのサンプルデータのブロックが、動きベクトル（以後、ＭＶ）により示される方向に空間的にシフトされた後に、新しく再構成されたピクチャ又はピクチャ部分の予測のために使用される技術に関連し得る。幾つかの場合には、参照ピクチャは、現在再構成中のピクチャと同じであり得る。ＭＶは、２つの次元Ｘ及びＹ、又は第３の次元が使用中の参照ピクチャの指示である３つの次元を有することができる（後者は、間接的に時間次元であり得る）。
【０００７】
幾つかのビデオ圧縮技術では、サンプルデータの特定領域に適用可能なＭＶは他のＭＶから、例えば再構成中の領域に空間的に隣接するサンプルデータの別の領域に関連し且つ復号順序の中で当該ＭＶに先行するＭＶから、予測できる。そうすることは、ＭＶを符号化するために必要なデータ量を有意に削減でき、それにより、冗長性を除去し圧縮を向上する。ＭＶ予測は、例えばカメラから得られた入力ビデオ信号（自然なビデオ（natural  video）として知られる）を符号化するとき、単一のＭＶが適用可能な領域より大きな領域が同様の方向に動き、したがって、幾つかの場合には近隣領域のＭＶから導出した同様の動きベクトルを用いて予測可能である、統計的可能性がある。これは、周囲のＭＶから予測したＭＶと同様の又は同じ、所与の領域について見付かったＭＶをもたらす。また、これは、エントロピー符号化の後に、ＭＶを直接符号化する場合に使用され得るより少ない数のビットで提示され得る。幾つかの場合には、ＭＶ予測は、元の信号（つまり、サンプルストリーム）から得た信号（つまり、ＭＶ）の無損失圧縮の一例であり得る。他の場合には、ＭＶ予測自体は、例えば幾つかの周囲のＭＶから予測子を計算するとき、丸め込み誤差のために損失になり得る。
【０００８】
種々のＭＶ予測メカニズムは、Ｈ．２６５／ＨＥＶＣ（ITU−T  Rec.  H.２６５,  "High  Efficiency  Video  Coding",  December  ２０１６）に記載されている。ここに記載される、Ｈ．２６５の提供する多くのＭＶ予測メカニズムのうちの１つは、以下で、「空間融合（spatial  merge）」と呼ばれる技術である。
【０００９】
図１を参照すると、現在ブロック（１０１）は、動き探索処理の間に、空間的にシフトされた同じサイズの前のブロックから予測可能であるとしてエンコーダにより見付けられたサンプルを含む。ＭＶを直接符号化する代わりに、ＭＶは、１つ以上の参照ピクチャに関連付けられたメタデータから、例えば（復号順で）最近の参照ピクチャから、Ａ０、Ａ１、及びＢ０、Ｂ１、Ｂ２（それぞれ１０２〜１０６）と示される５個の周囲のサンプルのうちのいずれか１つに関連付けられたＭＶを用いて導出できる。Ｈ．２６５では、ＭＶ予測は、近隣ブロックの使用する同じ参照ピクチャからの予測子を使用できる。
【発明の概要】
【００１０】
開示の態様は、ビデオ符号化・復号のための方法及び機器を提供する。幾つかの例では、ビデオ復号のための機器は、受信回路と処理回路とを含む。
【００１１】
本開示の一態様によると、デコーダにおけるビデオ復号のための方法が提供される。開示の方法では、ブロックの予測情報は、符号化ビデオビットストリームからの現在ピクチャの中で復号される。予測情報は、インター予測モードにおける」アフィンモデルに関連付けられた予測オフセットの複数のオフセットインデックスを含む。したがって、アフィンモデルのパラメータは、複数のオフセットインデックスに基づき決定される。複数のオフセットインデックスの各々は、インデックスと対応するオフセット値とを含むそれぞれの所定のマッピングテーブルを含む。アフィンモデルのパラメータは、ブロックと再構成された参照ピクチャの中の参照ブロックとの間で変換するために使用される。さらに、ブロックの少なくとも１つのサンプルは、アフィンモデルに従い再構成される。
【００１２】
幾つかの実施形態では、複数のオフセットインデックスは、距離オフセットインデックス、オフセット方向インデックス、デルタスケーリングインデックス、及びデルタ回転インデックス、のうちの少なくとも１つを含む。
【００１３】
幾つかの実施形態では、ブロックの基本予測子は、シグナリングされた基本予測子インデックスに基づき、予測子候補リストから決定される。ブロックは、２つ以上の制御点を含み、予測子候補リストは１つより多くの予測候補を含む。幾つかの実施形態では、ブロックの基本予測子がシグナリングされないとき、所定の基本予測子インデックスに基づき、ブロックの基本予測子が決定される。
【００１４】
幾つかの実施形態では、距離オフセットインデックスのそれぞれの所定のマッピングテーブルに基づき、距離オフセット値を決定するために、距離オフセットインデックスが復号される。オフセット方向インデックスのそれぞれの所定のマッピングテーブルに基づき、オフセット方向を決定するために、オフセット方向インデックスが復号される。ブロックの２つ以上の制御点のうちの１つの動きベクトルは、したがって、基本予測子、距離オフセット値、及びオフセット方向のうちの少なくとも１つに基づき、現在ピクチャの中で導出される。
【００１５】
幾つかの実施形態では、基本予測子の制御点の動きベクトルは、ゼロ動きベクトル差フラグが真であるという決定に基づき、現在ピクチャの中のブロックの２つ以上の制御点のうちの１つの動きベクトルとして設定される。
【００１６】
幾つかの実施形態では、ゼロ動きベクトル差フラグが偽であるという決定に基づき、現在ピクチャの中のブロックの２つ以上の制御点のうちの１つの動きベクトルを生成するために、基本予測子の制御点の動きベクトルに、距離オフセット値及びオフセット方向が適用される。
【００１７】
幾つかの実施形態では、第１ゼロ動きベクトル差フラグが偽であるという決定に基づき、第１インター予測方向にある現在ピクチャの中のブロックの２つ以上の制御点のうちの１つの第１動きベクトルを生成するために、第１インター予測方向にある基本予測子の制御点の第１動きベクトルに、第１距離オフセット値及び第１オフセット方向が適用される。さらに、第２ゼロ動きベクトル差フラグが偽であるという決定に基づき、第２インター予測方向にある現在ピクチャの中のブロックの２つ以上の制御点のうちの１つの第２動きベクトルを生成するために、第２インター予測方向にある基本予測子の制御点の第２動きベクトルに、第２距離オフセット値及び第２オフセット方向が適用される。
【００１８】
幾つかの実施形態では、所定のマッピングテーブルは、シーケンスレベル、スライスレベル、タイルレベル、タイルグループレベル、及びブロックレベル、のうちの１つで調整可能であり受信される。
【００１９】
幾つかの実施形態では、デルタスケーリングインデックスのそれぞれの所定のマッピングテーブルに基づき、デルタスケーリングパラメータを決定するために、デルタスケーリングインデックスが復号される。デルタ回転インデックスのそれぞれの所定のマッピングテーブルに基づき、デルタ回転パラメータを決定するために、デルタ回転インデックスが復号される。距離オフセットインデックスのそれぞれの所定のマッピングテーブルに基づき、距離オフセット値を決定するために、距離オフセットインデックスが復号される。オフセット方向インデックスのそれぞれの所定のマッピングテーブルに基づき、オフセット方向を決定するために、オフセット方向インデックスが復号される。ブロックの２つ以上の制御点のうちの１つの動きベクトルは、したがって、基本予測子、デルタスケーリングパラメータ、デルタ回転パラメータ、距離オフセット値、及びオフセット方向のうちの少なくとも１つに基づき、現在ピクチャの中で導出される。
【００２０】
幾つかの実施形態では、基本予測子のスケーリングパラメータは、ゼロデルタフラグが真であるという決定に基づき、現在ピクチャの中のブロックのスケーリングパラメータとして設定される。デルタスケーリングパラメータは、ゼロデルタフラグが偽であるという決定に基づき、ブロックのスケーリングパラメータを生成するために、基本予測子のスケーリングパラメータに適用される。
【００２１】
幾つかの実施形態では、基本予測子の回転パラメータは、ゼロデルタフラグが真であるという決定に基づき、ブロックの回転パラメータとして設定される。デルタ回転パラメータは、ゼロデルタフラグが偽であるという決定に基づき、現在ピクチャの中のブロックの回転パラメータを生成するために、基本予測子の回転パラメータに適用される。
【００２２】
幾つかの実施形態では、基本予測子の平行移動ベクトルは、ゼロ動きベクトル差フラグが真であるという決定に基づき、ブロックの平行移動動きベクトルとして設定される。距離オフセット値及びオフセット方向は、ゼロ動きベクトル差フラグが偽であるという決定に基づき、ブロックの平行移動動きベクトルを生成するために、基本予測子の平行移動動きベクトルに適用される。
【００２３】
本開示の別の態様によると、機器が提供される。機器は、処理回路を含む。処理回路は、ビデオ符号化のための開示の方法を実行するよう構成される。
【００２４】
本開示の態様は、ビデオ復号のためのコンピュータにより実行されると該コンピュータにビデオ復号のための方法を実行させる命令を格納する非一時的コンピュータ可読媒体も提供する。
【図面の簡単な説明】
【００２５】
開示の主題の更なる特徴、特性、及び種々の利点は、以下の詳細な説明及び添付の図面から一層明らかになるだろう。 
【００２６】
【図１】一例における現在ブロック及びその周囲の空間的融合候補の概略図である。
【００２７】
【図２】一実施形態による、通信システム（２００）の簡易ブロック図の概略図である。
【００２８】
【図３】一実施形態による、通信システム（３００）の簡易ブロック図の概略図である。
【００２９】
【図４】一実施形態による、デコーダの簡易ブロック図の概略図である。
【００３０】
【図５】一実施形態による、エンコーダの簡易ブロック図の概略図である。
【００３１】
【図６】別の実施形態による、エンコーダのブロック図を示す。
【００３２】
【図７】別の実施形態による、デコーダのブロック図を示す。
【００３３】
【図８】幾つかの例における空間的及び時間的候補の一例を示す。
【００３４】
【図９】本開示の一実施形態によるＵＭＶＥの例を示す。
【００３５】
【図１０】本開示の一実施形態によるＵＭＶＥの例を示す。
【００３６】
【図１１】アフィン動きモデルによるブロックの一例を示す。
【００３７】
【図１２】本開示の幾つかの実施形態によるアフィン変換の例を示す。
【００３８】
【図１３】本開示の幾つかの実施形態による、現在ブロック、及び現在ブロックの２つの制御点ＣＰ０及びＣＰ１の図を示す。
【００３９】
【図１４】本開示の幾つかの実施形態による、処理例の概要を示す第１のフローチャートを示す。
【００４０】
【図１５】本開示の幾つかの実施形態による、処理例の概要を示す第２のフローチャートを示す。
【００４１】
【図１６】本開示の幾つかの実施形態による、処理例の概要を示す第３のフローチャートを示す。
【００４２】
【図１７】一実施形態による、コンピュータシステムの概略図である。
【発明を実施するための形態】
【００４３】
図２は、本発明の一実施形態による通信システム（２００）の簡易ブロック図を示す。通信システム（２００）は、例えばネットワーク（２５０）を介して互いに通信できる複数の端末装置を含む。例えば、通信システム（２００）は、ネットワーク（２５０）を介して相互接続された端末装置（２１０）及び（２２０）の第１ペアを含む。図２の例では、端末装置（２１０）及び（２２０）の第１ペアは、データの単方向伝送を実行する。例えば、端末装置（２１０）は、ネットワーク（２５０）を介して他の端末装置（２２０）への送信のために、ビデオデータ（端末装置（２１０）によりキャプチャされたビデオピクチャのストリーム）を符号化する。符号化ビデオデータは、１つ以上の符号化ビデオビットストリームの形式で、送信できる。端末装置（２２０）は、ネットワーク（２５０）から符号化ビデオデータを受信し、符号化ビデオデータを復号してビデオピクチャを復元し、復元したビデオデータに従いビデオピクチャを表示してよい。単方向データ伝送は、メディアサービングアプリケーション等で一般的であってよい。
【００４４】
別の例では、通信システム（２００）は、例えばビデオ会議の間に生じ得る符号化ビデオデータの双方向伝送を実行する端末装置（２３０）及び（２４０）の第２ペアを含む。データの双方向伝送では、端末装置（２３０）及び（２４０）は、ネットワーク（２５０）を介して端末装置（２３０）及び（２４０）への送信のために、ビデオデータ（例えば、端末装置によりキャプチャされたビデオピクチャのストリーム）を符号化してよい。端末装置（２３０）及び（２４０）のうちの各端末装置は、端末装置（２３０）及び（２４０）のうちの他方の端末装置により送信された符号化ビデオデータを受信してよく、符号化ビデオデータを復号してビデオピクチャを復元してよく、復元したビデオデータに従い、アクセス可能なディスプレイ装置においてビデオピクチャを表示してよい。
【００４５】
図２の例では、端末装置（２１０）、（２２０）、（２３０）及び（２４０）は、サーバ、パーソナルコンピュータ、及びスマートフォンとして示されてよいが、本開示の原理はこれらに限定されない。本開示の実施形態は、ラップトップコンピュータ、タブレットコンピュータ、メディアプレイヤ、及び／又は専用ビデオ会議設備による適用がある。ネットワーク（２５０）は、端末装置（２１０）、（２２０）、（２３０）、及び（２４０）の間で符号化ビデオデータを運ぶ任意の数のネットワークを表し、例えば有線（ワイヤード）及び／又は無線通信ネットワークを含む。通信ネットワーク（２５０）は、回線切り替え及び／又はパケット切り替えチャネルでデータを交換してよい。代表的なネットワークは、電子通信ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／又はインターネットを含む。本発明の議論の目的で、ネットワーク（２５０）のアーキテクチャ及びトポロジは、以下で特に断りの無い限り、本開示の動作にとって重要でないことがある。
【００４６】
図３は、開示の主題の適用の一例として、ストリーミング環境におけるビデオエンコーダ及びビデオデコーダの配置を示す。開示の主題は、例えばビデオ会議、デジタルＴＶ、ＣＤ、ＤＶＤ、メモリスティック、等を含むデジタル媒体への圧縮ビデオの格納、他のビデオ可能アプリケーション、等に等しく適用可能である。
【００４７】
ストリーミングシステムは、例えば非圧縮のビデオピクチャストリーム（３０２）を生成するビデオソース（３０１）を含み得るキャプチャサブシステム（３１３）を含んでよい。一例では、ビデオピクチャストリーム（３０２）は、デジタルカメラにより取り込まれたサンプルを含む。ビデオピクチャストリーム（３０２）は、符号化ビデオデータ（３０４）（又は符号化ビデオビットストリーム）と比べたとき、高データ容量を強調するために太線で示され、ビデオソース（３０１）と結合されたビデオエンコーダ（３０３）を含む電子装置（３２０）により処理され得る。ビデオエンコーダ（３０３）は、ハードウェア、ソフトウェア、又はそれらの組み合わせを含み、以下に詳述するように開示の主題の態様を可能にし又は実装することができる。符号化ビデオデータ（３０４）（又はビデオビットストリーム（３０４））は、ビデオピクチャストリーム（３０２）と比べたとき、低データ容量を強調するために細線で示され、将来の使用のためにストリーミングサーバに格納され得る。図３のクライアントサブシステム（３０６）及び（３０８）のような１つ以上のストリーミングクライアントサブシステムは、ストリーミングサーバ（３０５）にアクセスして、符号化ビデオデータ（３０４）のコピー（３０７）及び（３０９）を読み出すことができる。クライアントサブシステム（３０６）は、例えば電子装置（３３０）内にビデオデコーダ（３１０）を含み得る。ビデオデコーダ（３１０）は、符号化ビデオデータの入力コピー（３０７）を復号し、ディスプレイ（３１２）（例えばディスプレイスクリーン）又は他のレンダリング装置（図示しない）上でレンダリングできる出力ビデオピクチャストリーム（３１１）を生成する。幾つかのストリーミングシステムでは、符号化ビデオデータ（３０４）、（３０７）、及び（３０９）（例えば、ビデオビットストリーム）は、特定のビデオ符号化／圧縮標準に従い符号化され得る。これらの標準の例は、ＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６５を含む。一例では、策定中のビデオ符号化標準は、略式にＶＶＣ（Versatile  Video  Coding）として知られている。開示の主題は、ＶＶＣの文脈で使用されてよい。
【００４８】
電子装置（３２０）及び（３３０）は他のコンポーネント（図示しない）を含み得ることに留意する。例えば、電子装置（３２０）は、ビデオデコーダ（図示しない）を含むことができ、電子装置（３３０）もビデオエンコーダ（図示しない）を含むことができる。
【００４９】
図４は、本開示の一実施形態によるビデオデコーダ（４１０）のブロック図を示す。ビデオデコーダ（４１０）は、電子装置（４３０）に含まれ得る。電子装置（４３０）は、受信機（４３１）（例えば、受信回路）を含み得る。ビデオデコーダ（４１０）は、図３の例では、ビデオデコーダ（３１０）の代わりに使用できる。
【００５０】
受信機（４３１）は、ビデオデコーダ（４１０）により符号化されるべき１つ以上の符号化ビデオシーケンス、同じ又は別の実施形態では、一度に１つの符号化ビデオシーケンスを受信してよい。ここで、各符号化ビデオシーケンスの復号は、他の符号化ビデオシーケンスと独立している。符号化ビデオシーケンスは、符号化ビデオデータを格納する記憶装置へのハードウェア／ソフトウェアリンクであってよいチャネル（４０１）から受信されてよい。受信機（４３１）は、他のデータ、例えば、それぞれの使用エンティティ（図示しない）へと転送され得る符号化音声データ及び／又は付随的データストリームと共に、符号化ビデオデータを受信してよい。受信機（４３１）は、他のデータから符号化ビデオシーケンスを分離してよい。ネットワークジッタを除去するために、バッファメモリ（４１５）は、受信機（４３１）とエントロピーデコーダ／パーサ（４２０）（以後、「パーサ（４２０）」）との間に結合されてよい。特定の適用では、バッファメモリ（４１５）は、ビデオデコーダ（４１０）の一部である。他に、ビデオデコーダ（４１０）（図示しない）の外部にあり得る。更に他では、例えばネットワークジッタを除去するために、ビデオデコーダ（４１０）の外部に、例えば再生（playout）タイミングを処理するために、ビデオデコーダ（４１０）の内部にある別のバッファメモリ（４１５）に加えて、バッファメモリ（図示しない）が存在し得る。受信機（４３１）が、十分な帯域幅の記憶／転送装置から制御可能に、又はアイソクロナス（isochronous）ネットワークから、データを受信しているとき、バッファメモリ（４１５）は、必要なくてよく又は小さくできる。インターネットのようなベストエフォート型パケットネットワークで使用するために、バッファメモリ（４１５）が必要とされてよく、比較的大きくなり、有利なことに適応型サイズであり、少なくとも部分的にオペレーティングシステム又はビデオデコーダ（４１０）の外部の同様の要素（図示しない）に実装されてよい。
【００５１】
ビデオデコーダ（４１０）は、符号化ビデオシーケンスからシンボル（４２１）を再構成するために、パーサ（４２０）を含んでよい。これらのシンボルのカテゴリは、ビデオデコーダ（４１０）の動作を管理するために使用される情報、及び場合によっては図４に示したように電子装置（４３０）の統合部分ではないが電子装置（４３０）に結合され得るレンダー装置（４１２）（例えば、ディスプレイスクリーン）のようなレンダリング装置を制御するための情報を含む。レンダリング装置のための制御情報は、ＳＥＩ（Supplemental  Enhancement  Information）メッセージ又はＶＵＩ（Video  Usability  Information）パラメータセットフラグメント（図示しない）の形式であってよい。パーサ（４２０）は、受信された符号化ビデオシーケンスをパース／エントロピー復号してよい。符号化ビデオシーケンスの符号化は、ビデオ符号化技術又は標準に従うことができ、依存性を有する又は有しない算術的符号化、等を含む、種々の原理に従うことができる。パーサ（４２０）は、符号化ビデオシーケンスから、ビデオデコーダの中のピクセルのサブグループのうちの少なくとも１つについて、該グループに対応する少なくとも１つのパラメータに基づき、サブグループパラメータのセットを抽出してよい。サブグループは、ＧＯＰ（Groups  of  Picture）、ピクチャ、タイル、スライス、マクロブロック、符号化ユニット（Coding  Units：CU）、ブロック、変換ユニット（Transform  Units：TU）、予測ユニット（Prediction  Units：PU）、等を含み得る。パーサ（４２０）は、符号化ビデオシーケンスから、変換係数、量子化パラメータ値、動きベクトル、等のような情報も抽出してよい。
【００５２】
パーサ（４２０）は、バッファメモリ（４１５）から受信したビデオシーケンスに対してエントロピー復号／パース動作を実行して、シンボル（４２１）を生成してよい。
【００５３】
シンボル（４２１）の再構成は、符号化ビデオピクチャ又はその部分の種類（例えば、インター及びイントラピクチャ、インター及びイントラブロック）及び他の要因に依存して、複数の異なるユニットを含み得る。どのユニットがどのように含まれるかは、パーサ（４２０）により符号化ビデオシーケンスからパースされたサブグループ制御情報により制御できる。パーサ（４２０）と以下の複数のユニットとの間のこのようなサブグループ制御情報のフローは、明確さのために示されない。
【００５４】
既に言及した機能ブロックを超えて、ビデオデコーダ（４１０）は、後述のように、多数の機能ユニットに概念的に細分化できる。商用的制約の下で動作する実際の実装では、これらのユニットの多くは、互いに密に相互作用し、少なくとも部分的に互いに統合され得る。しかしながら、開示の主題を説明する目的で、機能ユニットへの以下の概念的細分化は適切である。
【００５５】
第１ユニットは、スケーラ／逆変換ユニット（４５１）である。スケーラ／逆変換ユニット（４５１）は、量子化された変換係数、及び、どの変換が使用されるべきか、ブロックサイズ、量子化係数、量子化スケーリングマトリクス、等を含む制御情報を、パーサ（４２０）からのシンボル（４２１）として受信する。スケーラ／逆変換ユニット（４５１）は、アグリゲータ（４５５）に入力され得るサンプル値を含むブロックを出力できる。
【００５６】
幾つかの例では、スケーラ／逆変換ユニット（４５１）の出力サンプルは、イントラ符号化ブロック、つまり、前に再構成されたピクチャからの予測情報を使用しないが現在ピクチャの前に再構成された部分からの予測情報を使用可能なブロック、に属することができる。このような予測情報は、イントラピクチャ予測ユニット（４５２）により提供できる。幾つかの場合には、イントラピクチャ予測ユニット（４５２）は、再構成中のブロックと同じサイズ及び形状のブロックを、現在ピクチャバッファ（４５８）からフェッチした周囲の既に再構成された情報を用いて、生成する。現在ピクチャバッファ（４５８）は、例えば、再構成された現在ピクチャを部分的に及び／又は再構成された現在ピクチャを完全にバッファリングする。アグリゲータ（４５５）は、幾つかの場合には、サンプル毎に、イントラ予測ユニット（４５２）の生成した予測情報を、スケーラ／逆変換ユニット（４５１）により提供された出力サンプル情報に追加する。
【００５７】
他の場合には、スケーラ／逆変換ユニット（４５１）の出力サンプルは、インター符号化された、場合によっては動き補償されたブロックに関連し得る。このような場合には、動き補償予測ユニット（４５３）は、参照ピクチャメモリ（４５７）にアクセスして、予測ために使用されるサンプルをフェッチできる。ブロックに関連するシンボル（４２１）に従いフェッチしたサンプルを動き補償した後に、これらのサンプルは、アグリゲータ（４５５）により、出力サンプル情報を生成するために、スケーラ／逆変換ユニット（４５１）の出力に追加され得る（この場合、残差サンプル又は残差信号と呼ばれる）。動き補償予測ユニット（４５３）が予測サンプルをフェッチする参照ピクチャメモリ（４５７）内のアドレスは、例えばＸ、Ｙ及び参照ピクチャコンポーネントを有し得るシンボル（４２１）の形式で、動き補償予測ユニット（４５３）の利用可能な動きベクトルにより制御できる。動き補償は、サブサンプルの正確な動きベクトルが使用中であるとき参照ピクチャメモリ（４５７）からフェッチされたサンプル値の補間、動きベクトル予測メカニズム、等を含み得る。
【００５８】
アグリゲータ（４５５）の出力サンプルは、ループフィルタユニット（４５６）において種々のループフィルタリング技術を受け得る。ビデオ圧縮技術は、符号化ビデオシーケンス（符号化ビデオビットストリームとも呼ばれる）に含まれ且つパーサ（４２０）からのシンボル（４２１）としてループフィルタユニット（４５６）に利用可能にされたパラメータにより制御されるが、符号化ピクチャ又は符号化ビデオシーケンスの（復号順序で）前の部分の復号中に取得されたメタ情報にも応答し、前に再構成されループフィルタリングされたサンプル値にも応答し得るインループフィルタ技術を含み得る。
【００５９】
ループフィルタユニット（４５６）の出力は、レンダー装置（４１２）へと出力でき及び将来のインターピクチャ予測で使用するために参照ピクチャメモリ（４５７）に格納され得るサンプルストリームであり得る。
【００６０】
特定の符号化ピクチャは、一旦完全に再構成されると、将来の予測のための参照ピクチャとして使用できる。例えば、現在ピクチャに対応する符号化ピクチャが完全に再構成され、符号化ピクチャが（例えばパーサ（４２０）により）参照ピクチャとして識別されると、現在ピクチャバッファ（４５８）は、参照ピクチャメモリ（４５７）の一部になることができ、後続の符号化ピクチャの再構成を開始する前に、新鮮な現在ピクチャバッファを再割り当てできる。
【００６１】
ビデオデコーダ（４１０）は、ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６５のような標準の所定のビデオ圧縮技術に従い復号動作を実行してよい。符号化ビデオシーケンスがビデオ圧縮技術又は標準、及びビデオ圧縮技術又は標準において文書化されたプロファイルの両方に従うという意味で、符号化ビデオシーケンスは、使用中のビデオ圧縮技術又は標準により指定されたシンタックスに従ってよい。具体的に、プロファイルは、ビデオ圧縮技術又は標準において利用可能な全部のツールから、プロファイルの下でのみ使用可能なツールとして、特定のツールを選択できる。また、遵守のために必要なことは、符号化ビデオシーケンスの複雑さが、ビデオ圧縮技術又は標準のレベルにより定められる限界の範囲内であることであり得る。幾つかの場合には、レベルは、最大ピクチャサイズ、最大フレームレート、最大再構成サンプルレート（例えばメガサンプル／秒で測定される）、最大参照ピクチャサイズ、等を制限する。レベルにより設定される限界は、幾つかの場合には、ＨＲＤ（Hypothetical  Reference  Decoder）仕様及び符号化ビデオシーケンスの中でシグナリングされるＨＤＲバッファ管理のためのメタデータを通じて更に制限され得る。
【００６２】
一実施形態では、受信機（４３１）は、符号化ビデオと共に追加（冗長）データを受信してよい。追加データは、符号化ビデオシーケンスの部分として含まれてよい。追加データは、データを正しく復号するため及び／又は元のビデオデータをより正確に再構成するために、ビデオデコーダ（４１０）により使用されてよい。追加データは、例えば、時間的、空間的、又は信号雑音比（ＳＮＲ）の拡張レイヤ、冗長スライス、冗長ピクチャ、前方誤り訂正符号、等の形式であり得る。
【００６３】
図５は、本開示の一実施形態によるビデオエンコーダ（５０３）のブロック図を示す。ビデオエンコーダ（５０３）は、電子装置（５２０）に含まれる。電子装置（５２０）は、送信機（５４０）（例えば、送信回路）を含む。ビデオエンコーダ（５０３）は、図３の例では、ビデオエンコーダ（３０３）の代わりに使用できる。
【００６４】
ビデオエンコーダ（５０３）は、ビデオサンプルを、ビデオエンコーダ（５０３）により符号化されるべきビデオ画像をキャプチャし得るビデオソース（５０１）（図５の例では、電子装置（５２０）の部分ではない）から受信してよい。別の例では、ビデオソース（５０１）は、電子装置（５２０）の一部である。
【００６５】
ビデオソース（５０１）は、ビデオエンコーダ（５０３）により符号化されるべきソースビデオシーケンスを、任意の適切なビット深さ（例えば、８ビット、１０ビット、１２ビット、．．．）、任意の色空間（例えば、ＢＴ．６０１  ＹＣｒＣｂ、ＲＧＢ、．．．）、及び任意の適切なサンプリング構造（例えば、ＹＣｒＣｂ  ４：２：０、ＹＣｒＣｂ  ４：４：４）のデジタルビデオサンプルストリームの形式で、提供してよい。メディア提供システムでは、ビデオソース（５０１）は、前に準備されたビデオを格納する記憶装置であってよい。ビデオ会議システムでは、ビデオソース（５０１）は、ビデオシーケンスとしてローカル画像情報をキャプチャするカメラであってよい。ビデオデータは、続けて閲覧されると動きを与える複数の個別ピクチャとして提供されてよい。ピクチャ自体は、ピクセルの空間的配列として組織化されてよい。各ピクセルは、使用中のサンプリング構造、色空間、等に依存して、１つ以上のサンプルを含み得る。当業者は、ピクセルとサンプルとの間の関係を直ちに理解できる。以下の説明はサンプルに焦点を当てる。
【００６６】
一実施形態によると、ビデオエンコーダ（５０３）は、ソースビデオシーケンスのピクチャを、符号化ビデオシーケンス（５４３）へと、リアルタイムに又はアプリケーションにより要求される任意の他の時間制約の下で符号化し圧縮してよい。適切な符号化速度の実施は、制御部（５５０）の１つの機能である。幾つかの実施形態では、制御部（５５０）は、後述する他の機能ユニットを制御し、他の機能ユニットに機能的に結合される。結合は、明確さのために図示されない。制御部（５５０）により設定されるパラメータは、レート制御関連パラメータ（ピクチャスキップ、量子化器、レート歪み最適化技術のラムダ値、．．．）、ピクチャサイズ、ＧＯＰ（group  of  pictures）レイアウト、最大動きベクトル探索範囲、等を含み得る。制御部（５５０）は、特定のシステム設計に最適化されたビデオエンコーダ（５０３）に関連する他の適切な機能を有するよう構成され得る。
【００６７】
幾つかの実施形態では、ビデオエンコーダ（５０３）は、符号化ループの中で動作するよう構成される。非常に簡略化された説明として、一例では、符号化ループは、ソースコーダ（５３０）（例えば、シンボルストリームのようなシンボルを、符号化されるべき入力ピクチャ及び参照ピクチャに基づき生成することを担う）、及びビデオエンコーダ（５０３）に内蔵された（ローカル）デコーダ（５３３）を含み得る。デコーダ（５３３）は、（シンボルと符号化ビットストリームとの間の任意の圧縮が、開示の主題において検討されるビデオ圧縮技術において無損失であるとき）（遠隔にある）デコーダが生成するのと同様の方法で、シンボルを再構成して、サンプルデータを生成する。再構成されたサンプルストリーム（サンプルデータ）は、参照ピクチャメモリ（５３４）に入力される。シンボルストリームの復号が、デコーダ位置（ローカル又はリモート）と独立にビット正確な結果をもたらすとき、参照ピクチャメモリ（５３４）の内容も、ローカルエンコーダとリモートエンコーダとの間でビット正確である。言い換えると、エンコーダの予測部分が、復号中に予測を用いるときデコーダが「見る」のと正確に同じサンプル値を、参照ピクチャサンプルとして「見る」。参照ピクチャ同期性のこの基本原理（及び、例えばチャネルエラーのために同期性が維持できない場合には、結果として生じるドリフト）は、幾つかの関連技術で同様に使用される。
【００６８】
「ローカル」デコーダ（５３３）の動作は、図４と関連して以上に詳述したビデオデコーダ（４１０）のような「リモート」デコーダのものと同じであり得る。簡単に一時的に図４も参照すると、しかしながら、、シンボルが利用可能であり、エントロピーコーダ（５４５）及びパーサ（４２０）による符号化ビデオシーケンスへのシンボルの符号化／復号が無損失であり得るので、バッファメモリ（４１５）を含むビデオデコーダ（４１０）のエントロピー復号部分、及びパーサ（４２０）は、ローカルデコーダ（５３３）に完全に実装されなくてよい。
【００６９】
この点で行われる考察は、デコーダ内に存在するパース／エントロピー復号を除く任意のデコーダ技術も、対応するエンコーダ内と実質的に同一の機能形式で存在する必要があるということである。この理由から、開示の主題は、デコーダ動作に焦点を当てる。エンコーダ技術の説明は、それらが包括的に説明されるデコーダ技術の逆であるので、省略できる。特定の領域においてのみ、より詳細な説明が必要であり、以下に提供される。
【００７０】
動作中、幾つかの例では、ソースコーダ（５３０）は、動き補償された予測符号化を実行してよい。これは、「参照ピクチャ」として指定されたビデオシーケンスからの１つ以上の前に符号化されたピクチャを参照して予測的に入力ピクチャを符号化する。この方法では、符号化エンジン（５３２）は、入力ピクチャのピクセルブロックと、入力ピクチャに対する予測基準として選択されてよい参照ピクチャのピクセルブロックとの間の差分を符号化する。
【００７１】
ローカルビデオデコーダ（５３３）は、ソースコーダ（５３０）により生成されたシンボルに基づき、参照ピクチャとして指定されてよいピクチャの符号化ビデオデータを復号してよい。符号化エンジン（５３２）の動作は、有利なことに、損失処理であってよい。符号化ビデオデータがビデオデコーダ（図５に図示されない）において復号され得るとき、再構成ビデオシーケンスは、標準的に、幾つかのエラーを有するソースビデオシーケンスの複製であってよい。ローカルビデオデコーダ（５３３）は、参照ピクチャに対してビデオデコーダにより実行され得る復号処理を複製し、参照ピクチャキャッシュ（５３４）に格納されるべき再構成参照ピクチャを生じ得る。このように、ビデオエンコーダ（５０３）は、（伝送誤りが無ければ）遠端ビデオデコーダにより取得される再構成参照ピクチャと共通の内容を有する再構成参照ピクチャのコピーを格納してよい。
【００７２】
予測器（５３５）は、符号化エンジン（５３２）のために予測探索を実行してよい。つまり、符号化されるべき新しいピクチャについて、予測器（５３５）は、新しいピクチャのための適切な予測基準として機能し得る（候補参照ピクセルブロックのような）サンプルデータ又は参照ピクチャ動きベクトル、ブロック形状、等のような特定のメタデータについて、参照ピクチャメモリ（５３４）を検索してよい。予測器（５３５）は、適切な予測基準を見付けるために、サンプルブロック−ピクセルブロック毎に動作してよい。幾つかの例では、予測器（５３５）により取得された検索結果により決定されるように、入力ピクチャは、参照ピクチャメモリ（５３４）に格納された複数の参照ピクチャから引き出された予測基準を有してよい。
【００７３】
制御部（５５０）は、例えば、ビデオデータの符号化のために使用されるパラメータ及びサブグループパラメータの設定を含む、ソースコーダ（５３０）の符号化動作を管理してよい。
【００７４】
全ての前述の機能ユニットの出力は、エントロピーコーダ（５４５）におけるエントロピー符号化を受けてよい。エントロピーコーダ（５４５）は、ハフマン符号化、可変長符号化、算術符号化、等のような技術に従いシンボルを無損失圧縮することにより、種々の機能ユニットにより生成されたシンボルを、符号化ビデオシーケンスへと変換する。
【００７５】
送信機（５４０）は、符号化ビデオデータを格納し得る記憶装置へのハードウェア／ソフトウェアリンクであってよい通信チャネル（５６０）を介する伝送のために準備するために、エントロピーコーダ（５４５）により生成された符号化ビデオシーケンスをバッファリングしてよい。送信機（５４０）は、ビデオコーダ（５０３）からの符号化ビデオデータを、送信されるべき他のデータ、例えば符号化音声データ及び／又は補助データストリーム（図示されないソース）と融合（merge）してよい。
【００７６】
制御部（５５０）は、ビデオエンコーダ（５０３）の動作を管理してよい。符号化中、制御部（５５０）は、それぞれのピクチャに適用され得る符号化技術に影響し得る特定の符号化ピクチャタイプを、各符号化ピクチャに割り当ててよい。例えば、ピクチャは、多くの場合、以下のピクチャタイプのうちの１つとして割り当てられてよい。
【００７７】
イントラピクチャ（Ｉピクチャ）は、予測のソースとしてシーケンス内の任意の他のピクチャを使用せずに符号化及び復号され得るピクチャであってよい。幾つかのビデオコーデックは、例えばＩＤＲ（Independent  Decoder  Refresh）ピクチャを含む異なる種類のイントラピクチャを許容する。当業者は、Ｉピクチャの変形、及びそれらの個々の適用及び特徴を認識する。
【００７８】
予測ピクチャ（Ｐピクチャ）は、各ブロックのサンプル値を予測するために最大１つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いて符号化及び復号され得るピクチャであってよい。
【００７９】
双方向予測ピクチャ（Ｂピクチャ）は、各ブロックのサンプル値を予測するために最大２つの動きベクトル及び参照インデックスを用いてイントラ予測又はインター予測を用いて符号化及び復号され得るピクチャであってよい。同様に、マルチ予測ピクチャは、単一のブロックの再構成のために、２つより多くの参照ピクチャ及び関連付けられたメタデータを使用できる。
【００８０】
ソースピクチャは、共通に、複数のサンプルブロック（例えば、それぞれ４×４、８×８、４×８、又は１６×１６個のサンプルのブロック）に空間的に細分化され、ブロック毎に符号化されてよい。ブロックは、ブロックのそれぞれのピクチャに適用される符号化割り当てにより決定される他の（既に符号化された）ブロックへの参照により予測的に符号化されてよい。例えば、Ｉピクチャのブロックは、非予測的に符号化されてよく、又はそれらは同じピクチャの既に符号化されたブロックを参照して予測的に符号化されてよい（空間予測又はイントラ予測）。Ｐピクチャのピクセルブロックは、１つの前に符号化された参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的に符号化されてよい。Ｂピクチャのブロックは、１つ又は２つの前に符号化された参照ピクチャを参照して、空間予測を介して又は時間予測を介して、予測的に符号化されてよい。
【００８１】
ビデオデコーダ（５０３）は、ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６５のような所定のビデオ符号化技術又は標準に従い符号化動作を実行してよい。その動作において、ビデオエンコーダ（５０３）は、入力ビデオシーケンスの中の時間的及び空間的冗長性を利用する予測符号化動作を含む種々の圧縮動作を実行してよい。符号化ビデオデータは、したがって、使用されているビデオ符号化技術又は標準により指定されたシンタックスに従ってよい。
【００８２】
一実施形態では、送信機（５４０）は、符号化ビデオと共に追加データを送信してよい。ソースコーダ（５３０）は、このようなデータを符号化ビデオシーケンスの部分として含んでよい。追加データは、時間／空間／ＳＮＲ拡張レイヤ、冗長ピクチャ及びスライスのような他の形式の冗長データ、ＳＥＩメッセージ、ＶＵＩパラメータセットフラグメント、等を含んでよい。
【００８３】
ビデオは、時系列の中の複数のソースピクチャ（ビデオピクチャ）としてキャプチャされてよい。イントラピクチャ予測（イントラ予測と省略されることがある）は、所与のピクチャの中の空間的相関を利用し、インターピクチャ予測は、ピクチャ間の（時間的又は他の）相関を利用する。一例では、符号化／復号中の特定のピクチャは、現在ピクチャと呼ばれ、ブロックにパーティションされる。現在ピクチャの中のブロックが、ビデオの中の前に符号化され且つ未だバッファリングされている参照ピクチャの中の参照ブロックと同様であるとき、現在ピクチャの中のブロックは、動きベクトルと呼ばれるベクトルにより符号化できる。動きベクトルは、参照ピクチャ内の参照ブロックを指し、複数の参照ピクチャが使用中である場合には、参照ピクチャを識別する第３次元を有することができる。
【００８４】
幾つかの実施形態では、双方向予測（bi−prediction）技術が、インターピクチャ予測で使用できる。双方向予測技術によると、両方とも復号順序でビデオの中の現在ピクチャより前にある（が、それぞれ表示順序で過去及び未来にあってよい）第１参照ピクチャ及び第２参照ピクチャのような２つの参照ピクチャが使用される。現在ピクチャ内のブロックは、第１参照ピクチャ内の第１参照ブロックを指す第１動きベクトル、及び第２参照ピクチャ内の第２参照ブロックを指す第２動きベクトルにより符号化できる。ブロックは、第１参照ブロック及び第２参照ブロックの結合により予測できる。
【００８５】
さらに、符号化効率を向上するために、インターピクチャ予測において融合モード技術が使用できる。
【００８６】
本開示の幾つかの実施形態によると、インターピクチャ予測及びイントラピクチャ予測のような予測は、ブロックのユニットの中で実行される。例えば、ＨＥＶＣ標準によると、ビデオピクチャシーケンスの中のピクチャは、圧縮の前に符号化木ユニット（coding  tree  unit：CTU）にパーティションされる。ピクチャ内のＣＴＵは、６４×６４ピクセル、３２×３２ピクセル、又は１６×１６ピクセルのような、同じサイズを有する。通常、ＣＴＵは、３個の符号化木ブロック（coding  tree  blocks：CTB）、つまり１個のルマＣＴＢ及び２個のクロマＣＴＢ、を含む。各ＣＴＵは、１又は複数の符号化ユニット（coding  unit：CU）に再帰的に４分木分割できる。例えば、６４×６４ピクセルのＣＴＵは、６４×６４ピクセルの１個のＣＵ、又は３２×３２ピクセルの４個のＣＵ、又は１６×１６ピクセルの１６個のＣＵに分割できる。一例では、各ＣＵは、インター予測タイプ又はイントラ予測タイプのようなＣＵの予測タイプを決定するために分析される。ＣＵは、時間的及び／又は空間的予測性に依存して、１つ以上の予測ユニット（prediction  unit：PU）に分割される。通常、各ＰＵは、ルマ予測ブロック（prediction  block：PB）、及び２個のクロマＰＢを含む。一実施形態では、符号化（符号化／復号）における予測演算が、予測ブロックのユニットの中で実行される。ルマ予測ブロックを予測ブロックの一例として用いると、予測ブロックは、８×８ピクセル、１６×１６ピクセル、８×１６ピクセル、１６×８ピクセル、等のようなピクセルについて値（例えば、ルマ値）のマトリクスを含む。
【００８７】
図６は、本開示の別の実施形態によるビデオエンコーダ（６０３）の図を示す。ビデオエンコーダ（６０３）は、ビデオピクチャシーケンスの中の現在ビデオピクチャ内のサンプル値の処理ブロック（例えば、予測ブロック）を受信し、処理ブロックを符号化ビデオシーケンスの部分である符号化ピクチャに符号化するよう構成される。一例では、ビデオエンコーダ（６０３）は、図３の例では、ビデオエンコーダ（３０３）の代わりに使用される。
【００８８】
ＨＥＶＣの例では、ビデオエンコーダ（６０３）は、８×８サンプル等の予測ブロックのような、処理ブロックのサンプル値のマトリクスを受信する。ビデオエンコーダ（６０３）は、例えばレート歪み最適化を用いて、処理ブロックがイントラモード、インターモード、又は双方向予測モードを用いて最適に符号化されるかを決定する。処理ブロックはイントラモードで符号化されるとき、ビデオエンコーダ（６０３）は、処理ブロックを符号化ピクチャへと符号化するために、イントラ予測技術を使用してよい。処理ブロックがインターモード又は双方向予測モードで符号化されるとき、ビデオエンコーダ（６０３）は、処理ブロックを符号化ピクチャへと符号化するために、それぞれインター予測又は双方向技術を使用してよい。特定のビデオ符号化技術では、融合モードは、予測器の外部の符号化動きベクトルコンポーネント無しに、動きベクトルが１つ以上の動きベクトル予測子から得られるインターピクチャ予測サブモードであり得る。特定の他のビデオ符号化技術では、対象ブロックに適用可能な動きベクトルコンポーネントが存在し得る。一例では、ビデオエンコーダ（６０３）は、処理ブロックのモードを決定するために、モード決定モジュール（図示しない）のような他のコンポーネントを含む。
【００８９】
図６の例では、ビデオエンコーダ（６０３）は、図６に示したように一緒にインターエンコーダ（６３０）、イントラエンコーダ（６２２）、残差計算器（６２３）、スイッチ（６２６）、残差エンコーダ（６２４）、汎用制御部（６２１）、及びエントロピーエンコーダ（６２５）を含む。
【００９０】
インターエンコーダ（６３０）は、現在ブロック（例えば、処理中のブロック）のサンプルを受信し、ブロックを参照ピクチャ内の１つ以上の参照ブロック（例えば、前のピクチャ及び後のピクチャの中のブロック）と比較し、インター予測情報（例えば、インター符号化技術による冗長情報の説明、動きベクトル、融合モード情報）を生成し、任意の適切な技術を用いてインター予測情報に基づきインター予測結果（例えば、予測ブロック）を計算するよう構成される。幾つかの例では、参照ピクチャは、符号化ビデオ情報に基づき復号された、復号参照ピクチャである。
【００９１】
イントラエンコーダ（６２２）は、現在ブロック（例えば、処理中のブロック）のサンプルを受信し、幾つかの場合には、ブロックをサンプルピクチャ内の既に符号化されたブロックと比較し、変換後に量子化された係数を、幾つかの場合にはイントラ予測情報（例えば、１つ以上のイントラ符号化技術によるイントラ予測方向情報）も生成するよう構成される。一例では、イントラエンコーダ（６２２）は、イントラ予測情報及び同じピクチャ内の参照ブロックに基づき、イントラ予測結果（例えば、予測したブロック）も計算する。
【００９２】
汎用制御部（６２１）は、一般制御データを決定し、一般制御データに基づきビデオエンコーダ（６０３）の他のコンポーネントを制御するよう構成される。一例では、汎用制御部（６２１）は、ブロックのモードを決定し、モードに基づき、制御信号をスイッチ（６２６）に提供する。例えば、モードがイントラモードであるとき、汎用制御部（６２１）は、残差計算器（６２３）による使用のためにイントラモード結果を選択するようスイッチ（６２６）を制御し、イントラ予測情報を選択してビットストリーム内にイントラ予測情報を含めるよう、エントロピーエンコーダ（６２５）を制御し、モードがインターモードであるとき、汎用制御部（６２１）は、残差計算器（６２３）による使用のためにインター予測結果を選択するようスイッチ（６２６）を制御し、インター予測情報を選択してビットストリーム内にインター予測情報を含めるよう、エントロピーエンコーダ（６２５）を制御する。
【００９３】
残差計算器（６２３）は、受信したブロックとイントラエンコーダ（６２２）又はインターエンコーダ（６３０）からの選択された予測結果との間の差（残差データ）を計算するよう構成される。残差エンコーダ（６２４）は、残差データに基づき動作して、残差データを符号化し、変換係数を生成するよう構成される。一例では、残差エンコーダ（６２４）は、残差データを空間ドメインから周波数ドメインへと変換し、変換係数を生成するよう構成される。変換係数は、次に、量子化変換係数を得るために、量子化処理を受ける。種々の実施形態では、ビデオエンコーダ（６０３）も残差デコーダ（６２８）を含む。残差デコーダ（６２８）は、逆変換を実行し、復号残差データを生成するよう構成される。復号残差データは、イントラエンコーダ（６２２）及びインターエンコーダ（６３０）により適切に使用できる。例えば、インターエンコーダ（６３０）は、復号残差データ及びインター予測情報に基づき復号ブロックを生成でき、イントラエンコーダ（６２２）は、復号残差データ及びイントラ予測情報に基づき復号ブロックを生成できる。復号ブロックは、復号ピクチャを生成するために適切に処理され、復号ピクチャは、幾つかの例では、メモリ回路（図示しない）にバッファされ、参照ピクチャとして使用され得る。
【００９４】
エントロピーエンコーダ（６２５）は、符号化ブロックを含めるために、ビットストリームをフォーマットするよう構成される。エントロピーエンコーダ（６２５）は、ＨＥＶＣ標準のような適切な標準に従い種々の情報を含むよう構成される。一例では、エントロピーエンコーダ（６２５）は、ビットストリームに、一般制御データ、選択された予測情報（例えば、イントラ予測情報又はインター予測情報）、残差情報、及び他の適切な情報を含めるよう構成される。開示の主題によると、インターモード又は双方向予測モードのいずれかの融合サブモードでブロックを符号化するとき、残差情報は存在しないことに留意する。
【００９５】
図７は、本開示の別の実施形態によるビデオエンコーダ（７１０）の図を示す。ビデオデコーダ（７１０）は、符号化ビデオシーケンスの部分である符号化ピクチャを受信し、符号化ピクチャを復号して再構成ピクチャを生成するよう構成される。一例では、ビデオデコーダ（７１０）は、図３の例では、ビデオエンデコーダ（３１０）の代わりに使用される。
【００９６】
図７の例では、ビデオデコーダ（７１０）は、図７に示したように一緒にエントロピーデコーダ（７７１）、インターデコーダ（７８０）、残差デコーダ（７７３）、再構成モジュール（７７４）、イントラデコーダ（７７２）を含む。
【００９７】
エントロピーデコーダ（７７１）は、符号化ピクチャから、符号化ピクチャの生成されたシンタックス要素を表す特定のシンボルを再構成するよう構成され得る。このようなシンボルは、例えば、ブロックの符号化されたモード（例えば、イントラモード、インターモード、双方向モード、融合サブモード又は別のサブモードの後者の２つ）、それぞれイントラデコーダ（７７２）又はインターデコーダ（７８０）による予測のために使用される特定のサンプル又はメタデータを特定できる予測情報（例えば、イントラ予測情報又はインター予測情報）、例えば量子化された変換係数の形式の残差情報、等を含み得る。一例では、予測モードがインター又は双方向予測モードであるとき、インター予測情報がインターデコーダ（７８０）に提供され、予測タイプがイントラ予測タイプであるとき、イントラ予測情報がイントラデコーダ（７７２）に提供される。残差情報は、逆量子化され、残差デコーダ（７７３）に提供される。
【００９８】
インターデコーダ（７８０）は、インター予測情報を受信し、インター予測情報に基づきインター予測結果を生成するよう構成される。
【００９９】
イントラデコーダ（７７２）は、イントラ予測情報を受信し、イントラ予測情報に基づき予測結果を生成するよう構成される。
【０１００】
残差デコーダ（７７３）は、逆量子化を実行して、逆量子化された変換係数を抽出し、逆量子化された変換係数を処理して、残差を周波数ドメインから空間ドメインへと変換するよう構成される。残差デコーダ（７７３）は、（量子化器パラメータ（Quantizer  Parameter：QP）を含むための）特定の制御情報も要求してよい。この情報は、エントロピーデコーダ（７７１）により提供されてよい（これは低容量制御情報のみなので、データ経路は示されない）。
【０１０１】
再構成モジュール（７７４）は、空間ドメインで、残差デコーダ（７７３）による出力としての残差と（場合によりインター又はイントラ予測モジュールによる出力としての）予測結果とを結合して、再構成ピクチャの部分であり得る、一方で再構成ビデオの部分であり得る、再構成ブロックを形成するよう構成される。デブロッキング動作などのような他の適切な動作が、視覚的品質を向上するために実行できる。
【０１０２】
ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、任意の適切な技術を用いて実装できることに留意する。一実施形態では、ビデオエンコーダ（３０３）、（５０３）、及び（６０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、１つ以上の集積回路を用いて実装できる。別の実施形態では、ビデオエンコーダ（３０３）、（５０３）、及び（５０３）、並びにビデオデコーダ（３１０）、（４１０）、及び（７１０）は、ソフトウェア命令を実行する１つ以上のプロセッサを用いて実装できる。
【０１０３】
本開示の態様は、ビデオ符号化（符号化／復号）においてアフィンモデル予測のための技術を提供する。一般的に、ブロックの動きベクトルは、明示的方法で、動きベクトル予測子に対する差をシグナリングするように（例えば、高度動きベクトル予測（advanced  motion  vector  prediction又はＡＭＶＰモード）、又は暗示的方法で、１つの前に符号化され又は生成された動きベクトルから完全に示されるように、符号化できる。後者は、融合モードと呼ばれ、現在ブロックが自身の動き情報を用いて前の符号化ブロックに融合されることを意味する。
【０１０４】
ＡＭＶＰモード及び融合モードの両者は、復号中に候補リストを構成する。図８は、幾つかの例における空間的及び時間的候補の一例を示す。
【０１０５】
インター予測の融合モードでは、候補リストの中の融合候補は、現在ブロックの空間又は時間的近隣ブロックのいずれかからの動き情報をチェックすることにより主に形成される。図８の例では、候補ブロックＡ１、Ｂ１、Ｂ０、Ａ０、及びＢ２は、順次チェックされる。候補ブロックのうちのいずれかが有効な候補である、例えば動きベクトルにより符号化されるとき、有効な候補ブロックの動き情報は、融合候補リストに追加できる。重複する候補がリストに再び入れられないように、何らかの刈り込み（pruning）動作が実行される。候補ブロックＡ１、Ｂ１、Ｂ０、Ａ０、及びＢ２は、現在ブロックの角に隣接し、角候補と呼ばれる。
【０１０６】
空間的候補の後に、時間的候補もチェックされリストに入れられる。幾つかの例では、指定された参照ピクチャ内で、現在ブロックと同一位置にある（co−located）ブロックが、見付けられる。同一位置ブロックのＣ０位置（現在ブロックの右下角）にある動き情報は、時間的融合候補として使用される。この位置にあるブロックがインターモードで符号化されていない又は利用できない場合、Ｃ１位置（同一位置ブロックの中心の外側右下角）が代わりに使用される。本開示は、融合モードを更に向上するための技術を提供する。
【０１０７】
ＨＥＶＣのＡＭＶＰ（advanced  motion  vector  prediction）モードは、現在ブロックの動き情報を予測するために、空間的及び時間的近隣ブロックの動き情報を使用することに言及している。一方で、予測残差が更に符号化される。空間的及び時間的近隣候補の例も、図８に示される。
【０１０８】
幾つかの実施形態では、ＡＭＶＰモードで、２候補の動きベクトル予測子リストが形成される。例えば、リストは、第１候補予測子及び第２候補予測子を含む。第１候補予測子は、空間的にＡ０、Ａ１位置の順で、左端からの第１利用可能動きベクトルからである。第２候補予測子は、空間的にＢ０、Ｂ１、Ｂ２位置の順で、上端からの第１利用可能動きベクトルからである。左端又は上端のいずれについてもチェックした位置から有効な動きベクトルが発見できない場合、リストに入れられる候補はない。２つの候補が利用可能であり同じである場合、１つのみがリスト内に保持される。（２つの異なる候補により）リストが一杯にならない場合、Ｃ０位置からの（スケーリング後に）時間的に同一位置にある動きベクトルが、別の候補として使用される。Ｃ０位置にある動き情報が利用可能ではない場合、位置Ｃ１が代わりに使用される。
【０１０９】
幾つかの例では、十分な動きベクトル予測子候補が未だない場合、ゼロ動きベクトルがリストを満たすために使用される。
【０１１０】
幾つかの実施形態では、予測オフセットは、既存の融合候補の一番上でシグナリングできる。例えば、最終的な動きベクトル表現（ultimate  motion  vector  expression：UMVE）と呼ばれる技術は、既存の融合候補の一番上にあるオフセット（大きさ及び方向の両方）がシグナリングされる特別融合モードを使用する。この技術では、予測方向ＩＤＸ、基本候補ＩＤＸ、距離ＩＤＸ、探索方向ＩＤＸ、等のような幾つかのシンタックス要素が、このようなオフセットを説明するためにシグナリングされる。例えば、予測方向ＩＤＸは、予測方向（時間的予測方向、例えばＬ０参照方向、Ｌ１参照方向、又はＬ０及びＬ１参照方向）のうちのどれがＵＭＶＥモードのために使用されるかを示すために使用される。基本候補ＩＤＸは、既存の融合候補のうちのどれが、オフセットを適用すべき開始点（に基づく候補）として使用されるかを示すために使用される。距離ＩＤＸは、オフセットの開始点からの（ｘ又はｙ方向に沿った、しかしその両方ではない）大きさを示すために使用される。オフセットの大きさは、固定数の選択肢から選択される。探索方向ＩＤＸは、オフセットを適用すべき方向（ｘ又はｙ、＋又は−方向）を示すために使用される。
【０１１１】
一例では、開始点ＭＶがＭＶ＿Ｓであると仮定すると、オフセットはＭＶ＿ｏｆｆｓｅｔである。次に、最終的なＭＶ予測子は、ＭＶ＿ｆｉｎａｌ＝ＭＶ＿Ｓ＋ＭＶ＿ｏｆｆｓｅｔである。
【０１１２】
図９は、本開示の一実施形態によるＵＭＶＥの例を示す。一例では、図９において、開始点ＭＶは（例えば、予測方向ＩＤＸ及び基本候補ＩＤＸに従い）（９１１）により示され、オフセットは（例えば、距離ＩＤＸ及び探索方向ＩＤＸに従い）（９１２）により示され、最終ＭＶ予測子は（９１３）により示される。別の例では、図９において、開始点ＭＶは（例えば、予測方向ＩＤＸ及び基本候補ＩＤＸに従い）（９２１）により示され、オフセットは（例えば、距離ＩＤＸ及び探索方向ＩＤＸに従い）（９２２）により示され、最終ＭＶ予測子は（９２３）により示される。
【０１１３】
図１０は、本開示の一実施形態によるＵＭＶＥの例を示す。例えば、開始点ＭＶは、（例えば、予測方向ＩＤＸ及び基本候補ＩＤＸに従い）（１０１１）により示される。図１０の例では、＋Ｙ、−Ｙ、＋Ｘ、及び−Ｘのような４つの探索方向が使用され、４つの探索方向は０、１、２、３によりインデックスを付される。距離は、０（開始点ＭＶまでの距離０）、１（開始点ＭＶまで１ｓ）、２（開始点ＭＶまで２ｓ）、３（開始点ＭＶまで３ｓ）、等によりインデックスを付される。したがって、探索方向ＩＤＸが３であり、距離ＩＤＸが２であるとき、最終ＭＶ予測子は１０１５として示される。
【０１１４】
別の例では、探索方向及び距離は、インデックス付けのために結合できる。例えば、開始点ＭＶは、（例えば、予測方向ＩＤＸ及び基本候補ＩＤＸに従い）（１０２１）により示される。探索方向及び距離は、図１０に示すように、０〜１２によりインデックスを付されるよう結合される。
【０１１５】
本開示の一態様によると、アフィン動き補償は、符号化ブロックについて６パラメータ（又は簡略化された４パラメータ）アフィンモデルを説明することにより、現在ブロック内のサンプルについて動き情報を効率的に予測できる。より具体的には、アフィン符号化又は説明された符号化ブロックでは、サンプルの異なる部分は異なる動きベクトルを有し得る。アフィン符号化又は説明されたブロック内の動きベクトルを有するべき基本ユニットは、サブブロックと呼ばれる。サブブロックのサイズは、１サンプルのみの小ささであり、現在ブロックのサイズと同じ大きさである。
【０１１６】
アフィンモデルが決定されると、現在ブロックの各サンプルについて、（対象参照ピクチャに対する）その動きベクトルは、このようなモデル（例えば、６パラメータのアフィン動きモデル、又は４パラメータのアフィン動きモデル）を用いて導出できる。実装の複雑さを低減するために、アフィン動き補償が、サンプル毎の代わりに、サブブロック毎に実行される。これは、各サブブロックが自身の動きベクトルを導出すること、及び各サブブロック内のサンプルについて、動きベクトルが同じであることを意味する。サブブロックの左上又は中心点のような各サブブロックの特定位置は、代表位置であると仮定される。一例では、このようなサブブロックサイズは４×４サンプルを含む。
【０１１７】
通常、アフィン動きモデルは、ブロックの動き情報を説明するために６個のパラメータを有する。アフィン変換の後に、長方形ブロックは平行四辺形になる。一例では、アフィン符号化ブロックの６個のパラメータは、ブロックの３つの異なる位置における３つの動きベクトルにより表すことができる。
【０１１８】
図１１は、アフィン動きモデルによるブロック（１１００）の一例を示す。ブロック（１１００）は、ブロック（１１００）のために使用されるアフィン動きモデルの動き情報を説明するために、３つの角位置Ａ、Ｂ、Ｃにおける動きベクトルｖ０→、ｖ１→、ｖ２→を使用する。これらの位置Ａ、Ｂ、Ｃは、制御点と呼ばれる。
【０１１９】
簡易な例では、アフィン動きモデルは、アフィン変換の後にブロックの形状が変化しないという仮定に基づき、ブロックの動き情報を説明するために、４個のパラメータを使用する。したがって、長方形ブロックは、変換後に、長方形及び同じアスペクト比（例えば、高さ／幅）を残している。このようなブロックのアフィン動きモデルは、角位置Ａ及びＢのような２つの異なる位置における２つの動きベクトルにより表すことができる。
【０１２０】
図１２は、（６パラメータのアフィンモデルを用いる）６パラメータのアフィンモード、及び（４パラメータのアフィンモデルを用いる）４パラメータのアフィンモードのアフィン変換の例を示す。
【０１２１】
一例では、オブジェクトはズーム及び平行移動の動きのみを有する、又はオブジェクトは回転及び平行移動モデルのみを有する、というような仮定がなされるとき、アフィン動きモデルは、平行移動部分を示すための２個のパラメータ及びズームのための倍率又は回転のための角度因子のいずれかを示すための１個のパラメータを有する３パラメータのアフィン動きモデルに更に簡略化できる。
【０１２２】
本開示の一態様によると、アフィン動き補償が使用されるとき、２つのシグナリング技術が使用できる。２つのシグナリング技術は、融合モードに基づくシグナリング技術、及び残差（ＡＭＶＰ）モードに基づくシグナリング技術と呼ばれる。
【０１２３】
融合モードに基づくシグナリング技術では、現在ブロックのアフィン情報は、前にアフィン符号化されたブロックから予測される。ある方法では、現在ブロックは、参照ブロックと同じアフィンオブジェクト内にあると仮定される。その結果、現在ブロックの制御点におけるＭＶは、参照ブロックのモデルから導出できる。現在ブロックの他の位置におけるＭＶは、参照ブロック内のある制御点から別の制御点へと同じ方法で線形的に変更されるだけである。この方法は、モデルに基づくアフィン予測と呼ばれる。別の方法では、近隣ブロックの動きベクトルは、現在ブロックの制御点における動きベクトルとして直接使用される。次に、ブロックの残りにおける動きベクトルは、制御点からの情報を用いて生成される。この方法は、制御点に基づくアフィン予測と呼ばれる。いずれの方法でも、現在ブロックにおけるＭＶの残差コンポーネントは、シグナリングされるべきである。言い換えると、ＭＶの残差コンポーネントがシグナリングされる。
【０１２４】
残差（ＡＭＶＰ）モードに基づくシグナリング技術では、アフィンパラメータ、又は現在ブロックの制御点におけるＭＶが、予測されるべきである。１つより多くの動きベクトルが予測されるので、全ての制御点における動きベクトルの候補リストは、リスト内の各候補が全ての制御点の動きベクトルのセットを含むような方法で、グループに編成される。例えば、候補１＝｛制御点Ａの予測子、制御点Ｂの予測子、制御点Ｃの予測子｝、候補２＝｛制御点Ａの予測子、制御点Ｂの予測子、制御点Ｃの予測子｝、等である。異なる候補の中の同じ制御点の予測子は、同じ又は異なり得る。動きベクトル予測子フラグ（Ｌｉｓｔ０のｍｖｐ＿１０＿ｆｌａｇ、又はＬｉｓｔ１のｍｖｐ＿１１＿ｆｌａｇ）は、リストからどの候補が選択されるかを示すために使用される。予測の後に、パラメータの残差部分、又は実際のＭＶの制御点におけるＭＶ予測子に対する差は、シグナリングされる。各制御点におけるＭＶ予測子は、融合モードに基づくシグナリング技術の説明から説明した方法を用いて、その近隣のうちの１つからのモデルに基づくアフィン予測に由来し得る。
【０１２５】
幾つかの関連する方法では、ブロックのアフィンパラメータは、純粋に、近隣ブロックのアフィンモデル又は制御点のＭＶ予測子から、又は制御点におけるＭＶ差の明示的信号から、導出できる。しかしながら、多くの場合、アフィンパラメータの非平行移動部分は０に非常に近い。シグナリングするために非制約ＭＶ差符号化を用いると、アフィンパラメータは冗長性を有する。
【０１２６】
本開示の態様は、アフィン動き補償の効率を向上するために新しい技術を提供する。より具体的には、アフィンモデルパラメータをより効率的に予測するためである。本開示では、ブロックのアフィン動き情報は、アフィンモデルパラメータ予測を用いて表現される。使用される予測候補（又は予測子）は、上述のアフィン融合候補またはアフィンＡＭＶＰ候補と同様であり得る。予測ブロックと予測候補フロックとの間の動き情報のデルタは、２つの方法で表現できる。（１）アフィンパラメータのデルタを用いる、（２）現在ブロックの制御点の動きベクトルのデルタを用いる。アフィンパラメータの各々のデルタ、又は制御点における動きベクトルの各々のデルタは、所定のオフセット値のそれぞれのセットであってよい。所定のオフセット値は、予測子の対応する基本パラメータの周囲の何らかの改良又はオフセットと考えることができる。エンコーダは、所定のオフセット値から最適オプションを評価し、オフセット選択のインデックスをデコーダへシグナリングする。デコーダは、シグナリングされたインデックスに従い、アフィンモデルパラメータ又は制御点における動きベクトルを復元する。
【０１２７】
本開示では、アフィン融合候補は、２つ以上の制御点を含むことができる。制御点の各々は、１つ以上のＭＶを含むことができる。制御点のＭＶの各々のオフセット（例えば、距離及び方向）は、アフィン動きを表すために、エンコーダにより送信され得る。距離オフセットテーブルサイズは、可変であり、又はシグナリング又は予め定めることができる。距離オフセットの値範囲は、可変であり、高レベルシンタックスにより決定され得る。候補ステップサイズのセットが提供される。スライスレベルにおけるように、選択のインデックスがシグナリングされ得る。エンコーダは、決定を行うために、前の符号化ピクチャからのデータを使用してよい。
【０１２８】
幾つかの実施形態では、現在ブロックは、Ｎ個の制御点（ＣＰ）を有し、Ｎは正整数であり、１より大きい。Ｎ個のＣＰの各々について、ｚｅｒｏ＿ＭＶＤフラグが、動きベクトル差（ＭＶＤ）が０であるか否かを示すために使用される。ＭＶＤは、制御点のＭＶと制御点の動きベクトル予測（ＭＰＶ）との間の差である。最初の（Ｎ−１）個のＣＰが、１（つまり、ゼロＭＶＤ）に等しいｚｅｒｏ＿ＭＶＤフラグを有する場合、最後のＣＰのｚｅｒｏ＿ＭＶＤフラグはゼロである（つまり、非ゼロＭＶＤ）と推定される。
【０１２９】
幾つかの実施形態では、本開示は、アフィンパラメータに基づくアフィンモードオフセットシグナリングを含む。
【０１３０】
本方法は、図１３に示すように、２個の制御点（例えば、ＣＰ０及びＣＰ１）を有する４パラメータアフィンモデルに基づき説明できる。しかしながら、図１３は、単なる例であり、本開示の方法は、他の動きモデル又は異なる数のパラメータを有するアフィンモデルにまで拡張できる。幾つかの実施形態では、使用されるモデルは、常にアフィンモデルでなくてよく、他の種類の動きも可能である。
【０１３１】
一例では、式１に示すような、４パラメータのアフィンモデルが説明される。
【数１】
2021520753.tif 000003
ここで、ρはズームの倍率であり、θは回転の角度因子であり、（ｃ，ｆ）は平行移動動きを説明するための動きベクトルである。（ｘ，ｙ）は現在ピクチャの中のピクセル位置であり、（ｘ’，ｙ’）は参照ピクチャの中の対応するピクセル位置である。
【０１３２】
ａ＝ρｃｏｓθ、ｂ＝ρｓｉｎθとすると、式１は式２のような以下の形式になる。
【数２】
2021520753.tif 000004
したがって、４パラメータのアフィンモデルは、モデルに基づくパラメータのセット｛ρ，θ，ｃ，ｆ｝又は｛ａ，ｂ，ｃ，ｆ｝により表現できる。式２に基づき、ピクセル位置（ｘ，ｙ）における動きベクトル（ＭＶｘ，ＭＶｙ）は、式３のように記載できる。
【数３】
2021520753.tif 000005
ここで、Ｖｘは水平動きベクトル値であり、Ｖｙは垂直動きベクトル値である。
【０１３３】
４パラメータのアフィンモデルは、ブロックの２個の制御点ＣＰ０及びＣＰ１の動きベクトルによっても表現できる。同様に、６パラメータのアフィンモデルを表すために、３個の制御点が必要であってよい。現在ブロックの中の位置（ｘ，ｙ）における動きベクトルを導出するために、以下の式４が使用できる。
【数４】
2021520753.tif 000006
ここで、（ｖ０ｘ，ｖ０ｙ）は左上角制御点、図１３に示されたＣＰ０の動きベクトルであり、（ｖ１ｘ，ｖ１ｙ）は右上角制御点、図１３に示されたＣＰ１の動きベクトルである。したがって、制御点に基づくモデルでは、ブロックのアフィンモデルは、｛ｖ０ｘ，ｖ０ｙ，ｖ１ｘ，ｖ１ｙ｝により表すことができる。
【０１３４】
アフィンモデルは、モデルに基づく予測または角の制御点に基づく予測のいずれかにより、現在ブロックの２個又は３個の角に位置する制御点のＭＶを用いて予測できる。２又は３個の制御点についての動きベクトル予測の後に、制御点のＭＶ差（ＭＶＤ）がシグナリングできる。所定のデルタ値のセットは、実際のＭＶ差を表すために適用できる。
【０１３５】
図１４は、制御点動きベクトルに基づくオフセットとのアフィン融合の例示的な処理（１４００）の概略を示す第１のフローチャートを示す。図１４に示すように、処理（１４００）は、（Ｓ１４１０）で開始し、現在ブロックの融合フラグ及びａｆｆｉｎｅ＿ｍｅｒｇｅ＿ｗｉｔｈ＿ｏｆｆｓｅｔ使用フラグがエンコーダによりシグナリングされ、デコーダにより後に符号化される。融合フラグ及びａｆｆｉｎｅ＿ｍｅｒｇｅ＿ｗｉｔｈ＿ｏｆｆｓｅｔ使用フラグの両方が偽であるとき、処理（１４００）は（Ｓ１４２０）に進み、現在ブロックを予測するために伝統的な融合モードが適用される。融合フラグ及びａｆｆｉｎｅ＿ｍｅｒｇｅ＿ｗｉｔｈ＿ｏｆｆｓｅｔ使用フラグの両方が真であるとき、処理（１４００）は（Ｓ１４３０）に進む。（Ｓ１４３０）で、基本予測子を決定するために１つより多くの予測子候補が使用されるとき、（Ｓ１４５０）で基本予測子インデックスがエンコーダによりシグナリングされる。その他の場合、処理（１４００）は、（Ｓ１４４０）に進み、所定の基本予測子インデックスが適用される。
【０１３６】
処理（１４００）は、次に、基本予測子が（Ｓ１４３０）又は（Ｓ１４４０）で定められると、（Ｓ１４６０）に進む。（Ｓ１４６０）で、現在ブロックの制御点の各々について、ｚｅｒｏ＿ＭＶＤフラグがエンコーダによりシグナリングされる。留意すべきことに、全ての他のＣＰが１（つまり真）に等しいｚｅｒｏ＿ＭＶＤを有するとき、最後のＣＰは、シグナリング無しに０（つまり偽）であると推定される。
【０１３７】
更に（Ｓ１４６０）を参照して、ｚｅｒｏ＿ＭＶＤフラグが真であるとき、処理（１４００）は、（Ｓ１４８０）に進み、基本予測子の制御点のＭＶがブロックの制御点のＭＶとして設定される。ｚｅｒｏ＿ＭＶＤフラグが偽であるとき、処理（１４００）は、（Ｓ１４７０）に進み、ブロックのＣＰの距離オフセットインデックス及びオフセット方向インデックスがエンコーダによりシグナリングされる。（Ｓ１４８０）で、デコーダは、後に、距離オフセットインデックスを復号して、距離オフセット値を決定し、オフセット方向インデックスを復号して、オフセット方向を決定する。距離オフセット値及びオフセット方向は、したがって、現在ピクチャ内のブロックの制御点の動きベクトルを生成するために、基本予測子の制御点の動きベクトルに適用される。
【０１３８】
一実施形態では、使用フラグは、融合フラグの後に、提案された方法が使用されるか否かを示すために、シグナリングされる。提案された方法はアフィンインター予測のために適用されるので、使用フラグが真であるとシグナリングされたとき、現在ブロックのアフィンフラグは真であると推定できる。したがって、アフィンフラグのシグナリングはスキップできる。
【０１３９】
別の実施形態では、使用フラグは、融合フラグ及びアフィンフラグの両方が真であるとき、融合フラグ及びアフィンフラグの後にシグナリングされる。その他の場合、融合フラグが偽である又はアフィンフラグが偽であるとき、使用フラグは偽であると推定される。
【０１４０】
提案された方法が使用されるとき、どのアフィン予測子候補が基本予測子として使用されるかを示すために、基本インデックスがシグナリングできる。一実施形態では、１つのアフィン予測子候補のみが許可されるとき、基本インデックスはスキップでき、所定のアフィン予測子候補が基本予測子として使用できる。一実施形態では、基本インデックスは、アフィン融合候補リストからのどの候補が基本予測子として使用されるべきかを示す。別の実施形態では、基本インデックスは、どのアフィンＭＶＰ候補が基本予測子として使用されるべきかを示す。アフィン融合候補又はアフィンＭＶＰ候補が利用できないとき、提案された方法は、無効にされてよく、又は平行移動モデル又はゼロ動きベクトル、等のような規定の基本アフィンモデルにより有効にされてよい。
【０１４１】
現在ブロックの制御点の各々について、動きベクトル差（ＭＶＤ）が該制御点について０であるか否かを示すために、ｚｅｒｏ＿ＭＶＤフラグが使用できる。ＭＶＤがゼロであると示されるとき、制御点のＭＶは基本予測子の対応する制御点のＭＶとして設定される。
【０１４２】
一実施形態では、ｚｅｒｏ＿ＭＶＤフラグは、全ての制御点について明示的にシグナリングされてよい。別の実施形態では、全ての前の制御点が真であるとシグナリングされたｚｅｒｏ＿ＭＶＤフラグを有するとき、最後の制御点のｚｅｒｏ＿ＭＶＤフラグは偽であると推定できる。
【０１４３】
ＭＶＤ値が制御点について０ではないとき、距離オフセットインデックス及びオフセット方向インデックスは、対応する制御点のＭＶＤを表すためにシグナリングできる。表１は、２個の制御点を有する、４パラメータのアフィンモデルに適用される信号の例である。
表１：４パラメータのアフィンモデルに適用される信号
【表１】
2021520753.tif 000007
【０１４４】
６パラメータのアフィンモデルでは、３個の制御点（ＣＰ）がシグナリングでき、シグナリングは表２のように示される。
表２：６パラメータのアフィンモデルに適用される信号
【表２】
2021520753.tif 000008
【０１４５】
提案された方法では、ピクセル距離オフセットは、距離オフセットインデックスによりシグナリングできる。距離オフセットテーブルでは、距離オフセットインデックスは、ピクセル数で、対応する距離オフセットにマッピングされる。距離オフセット値は、整数又は分数値であり得る。距離オフセット値は、基本予測子の動きベクトル値に更に適用できる。
【０１４６】
一実施形態では、４個のインデックスのサイズを有する距離オフセットテーブルが表３に示される。表３の距離オフセット値は、ピクセルの観点で、｛１／２，１，２，４｝である。
表３：４個のインデックスのサイズを有する距離オフセットテーブル
【表３】
2021520753.tif 000009
【０１４７】
別の実施形態では、表４は、距離オフセット値が、ピクセルの観点で｛１／８，１／４，１／２，１｝であり得ることを示す。
表４：４個のインデックスのサイズを有する別の距離オフセットテーブル
【表４】
2021520753.tif 000010
【０１４８】
一実施形態では、５個のインデックスのサイズを有する距離オフセットテーブルが表５に示される。表５の距離オフセット値は、ピクセルの観点で、｛１／２，１，２，４，８｝である。
表５：５個のインデックスのサイズを有する距離オフセットテーブル
【表５】
2021520753.tif 000011
【０１４９】
別の実施形態では、８個のインデックスを有する距離オフセット値のマッピングテーブルは、表６に示される。距離オフセット値は、１／４ピクセル〜３２ピクセルまでの範囲にあり得る。
表６：８個のインデックスのサイズを有する距離オフセットテーブル
【表６】
2021520753.tif 000012
【０１５０】
別の実施形態では、８個のインデックスを有する距離オフセット値のマッピングテーブルは、表７に示される。表７の距離オフセット値は、１／１６ピクセル〜８ピクセルまでの範囲にあり得る。
表７：８個のインデックスのサイズを有する別の距離オフセットテーブル
【表７】
2021520753.tif 000013
【０１５１】
留意すべきことに、上述のテーブルは、単なる例である。距離オフセットテーブルの中の距離インデックスは、それぞれ表３、５、及び６に示される４、５、又は８のような種々のサイズを有することができる。距離オフセットテーブルでは、距離オフセットインデックスの各々は、それぞれの距離オフセットにマッピングされる。距離オフセットは、異なる値を有し、又は異なる範囲にあり得る。
【０１５２】
一実施形態では、距離オフセットテーブルのサイズは、現在ブロックの全ての制御点について同じであり得る。
【０１５３】
別の実施形態では、距離オフセットテーブルのサイズは、制御点の各々について異なり得る。例えば、２個の制御点を有する４パラメータのアフィンモデルでは、第１制御点ＣＰ０は、５個のエントリ（インデックス）を有する距離オフセットテーブルを有し得る。第２制御点ＣＰ１は、４個のエントリ（インデックス）を有する距離オフセットテーブルを有し得る。可能なテーブルサイズは、表３〜７の上述の例に限定されない。
【０１５４】
提案された方法では、オフセット方向インデックスは、ｘ軸及びｙ軸のような１つ以上のオフセット方向にマッピングされる。オフセット方向インデックスは、基本予測子のＭＶ値に対してＭＶＤの方向に対応する。オフセット方向の各々は、基本予測子のＭＶに適用可能な距離オフセットのコンポーネントに相関される。
【０１５５】
一実施形態では、オフセット方向インデックスは、表８に示されるような４個の方向を含み得る。４個の方向の各々は、それぞれのｘ軸（ｘオフセット方向コンポーネント）及びそれぞれのｙ軸（ｙオフセット方向コンポーネント）を含み得る。表８に示すように、ＭＶＤは、ｘ軸又はｙ軸のいずれかに存在するが、両方の軸には存在しない。
表８：方向ＩＤＸの方向へのマッピング
【表８】
2021520753.tif 000014
【０１５６】
別の例では、ＭＶＤは、表９に示されるように、ｘ軸のみ、ｙ軸のみ、又は両方の軸に存在できる。表９に示すように、オフセット方向インデックスは、８個の方向を含み、８個の方向のうちの１つが適用できる。
表９：方向ＩＤＸの方向へのマッピング
【表９】
2021520753.tif 000015
【０１５７】
本開示では、提案された方法が適用されるとき、アフィンモードと同様に、現在ブロックのインター予測方向は、基本予測子からのインター予測方向を使用できる。
【０１５８】
幾つかの実施形態では、基本予測子のインター予測が単方向であるとき、これは、現在ブロックの制御点の動きベクトルが前又は後ろ方向のいずれかに沿って１つの参照ピクチャのみを指していることを意味し、現在ブロックのＭＶと現在ブロックのＭＶＰ（つまり基本予測子のＭＶ）との間の動きベクトル差（ＭＶＤ）は、有効なインター予測方向に基づき導出できる。上述のオフセット方向の各々について、距離オフセット値は、ゼロではないオフセット方向コンポーネント（例えば、ｘ軸、ｙ軸）に沿った基本予測子の対応する制御点の動きベクトル値に適用できる。
【０１５９】
例えば、現在ブロックは、２個の制御点ＣＰ０及びＣＰ１を有し得る。制御点ＣＰ０は動きベクトルＭＶ０（ｖ０ｘ，ｖ０ｙ）を有することができ、制御点ＣＰ１は動きベクトルＭＶ１（ｖ１ｘ，ｖ１ｙ）を有することができる。現在ブロックの基本予測子は、２個の制御点ＣＰ０ｐ及びＣＰ１ｐを有し得る。制御点ＣＰ０ｐは動きベクトルＭＶＰ０（ｖ０px，ｖ０py）を有することができ、制御点ＣＰ１ｐは動きベクトルＭＶＰ１（ｖ１px，ｖ１py）を有することができる。ＣＰ０のＭＶＤフラグが、ＣＰ０のＭＶＤは非ゼロＭＶＤであることを示すとき、ＣＰ０の距離オフセットは１ｐｅｌであるとシグナリングされ、ＣＰ０のオフセット方向はｘ軸で「＋０」であり且つｙ軸で０であるとシグナリングされる。ＣＰ１のＭＶＤフラグが、ＣＰ１のＭＶＤは非ゼロであることを示すとき、ＣＰ１の距離オフセットは２ｐｅｌであるとシグナリングされ、ＣＰ１のオフセット方向はｘ軸で０であり且つｙ軸で「−」であるとシグナリングされる。ＣＰ０及びＣＯ１の動きベクトル値は以下のように導出できる。
【数５】
2021520753.tif 000016
ここで、ＭＶ（１，０）は現在ブロックのＣＰ０のＭＶＤであり、ＭＶ（０，−２）は現在ブロックのＣＰ１のＭＶＤである。
【０１６０】
幾つかの実施形態では、基本予測子のインター予測が双方向であるとき、現在ブロックの制御点の各々は、両方のインター予測方向の動きベクトルを有することができ、２つの有効な方向の動きベクトルを導出するために異なる方法が適用される。
【０１６１】
一実施形態では、シグナリングされた距離オフセット及びオフセット方向は、同じ方法で、両方のインター予測方向の制御点のＭＶＰに適用できる。例えば、距離オフセットインデックス及びオフセット方向インデックスは、それぞれの２つの予測方向の２つの動きベクトル予測子値を有する現在ブロックの制御点についてシグナリングされ、距離オフセットインデックス及びオフセット方向インデックスは、同じ方法で、制御点の２つの動きベクトル予測子値に適用できる。シグナリングされた距離オフセット及びオフセット方向は、参照リストＬ０によりインター方向のＭＶＰ値の一番上に適用できる。同じ距離オフセット及びオフセット方向は、参照リストＬ１によりインター方向のＭＶＰ値の一番上に適用できる。
【０１６２】
例えば、現在ブロックは、２個の制御点ＣＰ０及びＣＰ１を有し得る。ＣＰ０はインター方向Ｌ０の動きベクトルＬ０＿ＭＶ０（Ｌ０＿ｖ０ｘ，Ｌ０＿ｖ０ｙ）、及びインター方向Ｌ１の動きベクトルＬ１＿ＭＶ０（Ｌ１＿ｖ０ｘ，Ｌ１＿ｖ０ｙ）を有する。ＣＰ１はインター方向Ｌ０の動きベクトルＬ０_ＭＶ１（Ｌ０＿ｖ１x，Ｌ０＿ｖ１y）、及びインター方向Ｌ１の動きベクトルＬ１_ＭＶ１（Ｌ０＿ｖ１x，Ｌ０＿ｖ１y）を有する。基本予測子は、２個の制御点ＣＰ０ｐ及びＣＰ１ｐを有し得る。ＣＰ０ｐはインター方向Ｌ０の動きベクトルＬ０_ＭＶＰ０（Ｌ０＿ｖ０px，Ｌ０＿ｖ０py）、及びインター方向Ｌ１の動きベクトルＬ１_ＭＶＰ０（Ｌ１＿ｖ０px，Ｌ１＿ｖ０py）を有し得る。ＣＰ１ｐはインター方向Ｌ０の動きベクトルＬ０_ＭＶＰ１（Ｌ０＿ｖ１px，Ｌ０＿ｖ１py）、及びインター方向Ｌ１の動きベクトルＬ１_ＭＶＰ１（Ｌ１＿ｖ１px，Ｌ１＿ｖ１py）を有し得る。ＣＰ０のＭＶＤフラグが、ＣＰ０のＭＶＤは非ゼロＭＶＤであることを示すとき、ＣＰ０の距離オフセットは１ｐｅｌであるとシグナリングされ、ＣＰ０のオフセット方向はｘ軸で「＋」であり且つｙ軸で０であるとシグナリングされる。ＣＰ１のＭＶＤフラグが、ＣＰ１のＭＶＤは非ゼロＭＶＤであることを示すとき、ＣＰ１の距離オフセットは２ｐｅｌであるとシグナリングされ、ＣＰ１のオフセット方向はｘ軸で０であり且つｙ軸で「−」であるとシグナリングされる。現在ブロックのＣＰ０及びＣＰ１の導出される動きベクトル値は以下であり得る。
【数６】
2021520753.tif 000017
【０１６３】
別の実施形態では、シグナリングされた距離オフセット及びオフセット方向は、同じ距離オフセットを有するが鏡像反転されたオフセット方向にある２つのインター予測方向にある制御点のＭＶＰに適用できる。例えば、距離オフセットインデックス及びオフセット方向インデックスは、それぞれの２つの予測方向の２つの動きベクトル予測子値を有する現在ブロックの制御点についてシグナリングされるが、距離オフセットインデックス及びオフセット方向インデックスは、異なる方法で、制御点の２つの動きベクトル予測子値に適用できる。シグナリングされた距離オフセット及びオフセット方向は、参照リストＬ０によりインター方向のＭＶＰの一番上に適用でき、同じ距離オフセット及び反対のオフセット方向は、参照リストＬ１によりインター方向のＭＶＰの一番上に適用できる。
【０１６４】
例えば、現在ブロックは、２個の制御点ＣＰ０及びＣＰ１を有し得る。ＣＰ０はインター方向Ｌ０の動きベクトルＬ０＿ＭＶ０（Ｌ０＿ｖ０ｘ，Ｌ０＿ｖ０ｙ）、及びインター方向Ｌ１の動きベクトルＬ１＿ＭＶ０（Ｌ１＿ｖ０ｘ，Ｌ１＿ｖ０ｙ）を有する。ＣＰ１はインター方向Ｌ０の動きベクトルＬ０_ＭＶ１（Ｌ０＿ｖ１x，Ｌ０＿ｖ１y）、及びインター方向Ｌ１の動きベクトルＬ１_ＭＶ１（Ｌ０＿ｖ１x，Ｌ０＿ｖ１y）を有する。基本予測子は、２個の制御点ＣＰ０ｐ及びＣＰ１ｐを有し得る。ＣＰ０ｐはインター方向Ｌ０の動きベクトルＬ０_ＭＶＰ０（Ｌ０＿ｖ０px，Ｌ０＿ｖ０py）、及びインター方向Ｌ１の動きベクトルＬ１_ＭＶＰ０（Ｌ１＿ｖ０px，Ｌ１＿ｖ０py）を有し得る。ＣＰ１ｐはインター方向Ｌ０の動きベクトルＬ０_ＭＶＰ１（Ｌ０＿ｖ１px，Ｌ０＿ｖ１py）、及びインター方向Ｌ１の動きベクトルＬ１_ＭＶＰ１（Ｌ１＿ｖ１px，Ｌ１＿ｖ１py）を有し得る。ＣＰ０のＭＶＤフラグが、ＣＰ０のＭＶＤは非ゼロＭＶＤであることを示すとき、ＣＰ０の距離オフセットは１ｐｅｌであるとシグナリングされ、ＣＰ０のオフセット方向はｘ軸で「＋」であり且つｙ軸で０であるとシグナリングされる。ＣＰ１のＭＶＤフラグが、ＣＰ１のＭＶＤは非ゼロＭＶＤであることを示すとき、ＣＰ１の距離オフセットは２ｐｅｌであるとシグナリングされ、ＣＰ１のオフセット方向はｘ軸で０であり且つｙ軸で「−」であるとシグナリングされる。現在ブロックのＣＰ０及びＣＰ１の導出される動きベクトル値は以下であり得る。
【数７】
2021520753.tif 000018
【０１６５】
別の実施形態では、距離オフセットインデックス及びオフセット方向のシグナリングは、インター予測方向の各々について別個に行われる。その結果、双方向アフィンインター予測による制御点の各々について、２つの距離オフセットインデックス及び２つのオフセット方向がエンコーダによりシグナリングできる。
【０１６６】
一実施形態では、同じ距離オフセットマッピングテーブル及び／又はオフセット方向マッピングテーブルは、上述の全ての場合について使用できる。
【０１６７】
別の実施形態では、異なる距離オフセットマッピングテーブル及び／又は異なるオフセット方向マッピングテーブルが使用できる。決定されたマッピングテーブルは、シーケンスレベル、スライスレベル、タイルレベル、タイルグループレベル、又はブロックレベルでシグナリングできる。
【０１６８】
別の実施形態では、異なる距離オフセットマッピングテーブル及び／又は異なるオフセット方向マッピングテーブルは、シグナリング無しで各シーケンスについて使用できる。マッピングテーブルの決定は、符号化ビデオシーケンスの解像度、符号化のプロファイル／レベル、ユーザ構成、等に基づき行うことができる。
【０１６９】
一実施形態では、上述の派生物は、アフィンモードの制御点のＭＶ差（ＭＶＤ）の各々に適用できる。
【０１７０】
別の実施形態では、第１制御点のＭＶ差の符号化の後に、第１制御点のＭＶ差は、他の制御点の他のＭＶＤについてＭＶＤ符号化を実行する前に、他のＭＶ差を予測するために使用できる。このような処理は、ＭＶＤ予測と呼ばれる。ＭＶＤ予測の後に、ＭＶＤ予測誤差は、ＭＶＤの実際の値を近似するために所定の値のセットを適用する本開示で提案された方法を用いて符号化できる。
【０１７１】
提案された方法では、エンコーダ側で、提案されたＭＶＤ符号化方法のために使用する最適パラメータを決定するために、異なる探索方法が適用できる。
【０１７２】
一実施形態では、基本予測子、制御点の各々のＭＶＤ符号化フラグ、距離オフセットインデックス、及びオフセット方向インデックスの全ての可能な組み合わせが、最適レート歪みコストとの最適な組み合わせを見付けるためにテストされ得る。
【０１７３】
別の実施形態では、２回の探索が適用できる。第１回の探索では、固定距離オフセット値が、ＭＶＤフラグとオフセット方向との全ての可能な組み合わせと一緒に適用できる。第１回の探索で決定された最適なＭＶＤフラグ及び／又はオフセット方向に基づき、第２回の探索は、最終的な最適予測を発見するために、全ての残りの距離オフセットインデックスをテストできる。
【０１７４】
本開示では、アフィンモデルは、また、アフィンパラメータ｛ρ，θ，ｃ，ｆ｝に基づくアフィン動き情報予測を通じて、現在ブロックの２個又は３個の角に位置する制御点のＭＶを用いて予測できる。上述の方法は、アフィンパラメータに基づくアフィン動き情報予測にも適用できる。ここで、基本予測子のアフィンモデルパラメータの周囲の所定のデルタ値のセットは、現在ブロックの中で使用される実際のアフィンモデルを導出するために適用できる。デルタ値の数は限られているので、提案された方法は、アフィンパラメータのシグナリングの量子化されたバージョンとして考えられる。
【０１７５】
以下の議論は、アフィンモデルを定めるために、ρ及びθの値を指定する幾つかの実施形態を提供する。ｉｄｘ＿ρ及びｉｄｘ＿θは、それぞれ２つのパラメータρ及びθに関連付けられたインデックスである。ｉｄｘ＿ρ及びｉｄｘ＿θが０であるとき、モデルは平行移動モデルに戻る。ｉｄｘ＿ρ及びｉｄｘ＿θが０ではないとき、現在ブロックのアフィンモデルパラメータを生成するために、小さいデルタが基本予測子のアフィンパラメータ値に適用できる。
【０１７６】
図１５は、アフィンパラメータに基づくオフセットとのアフィン融合の処理（１５００）の概略を示す第２のフローチャートを示す。図１５に示すように、処理（１５００）は、（Ｓ１５０２）で開始し、現在ブロックの融合フラグ及びａｆｆｉｎｅ＿ｍｅｒｇｅ＿ｗｉｔｈ＿ｏｆｆｓｅｔ使用フラグがエンコーダによりシグナリングされ、デコーダにより後に符号化される。融合フラグ及びａｆｆｉｎｅ＿ｍｅｒｇｅ＿ｗｉｔｈ＿ｏｆｆｓｅｔ使用フラグの両方が偽であるとき、処理（１５００）は（Ｓ１５０３）に進み、現在ブロックを予測するために伝統的な融合モードが適用される。融合フラグ及びａｆｆｉｎｅ＿ｍｅｒｇｅ＿ｗｉｔｈ＿ｏｆｆｓｅｔ使用フラグの両方が真であるとき、処理（１５００）は（Ｓ１５０４）に進む。（Ｓ１５０４）で、基本予測子を決定するために１つより多くの予測子候補が使用されるとき、（Ｓ１５０６）で基本予測子インデックスがエンコーダによりシグナリングされる。その他の場合、処理（１５００）は、（Ｓ１５０５）に進み、所定の基本予測子インデックスが適用される。
【０１７７】
処理（１５００）は、次に、基本予測子が（Ｓ１５０５）又は（Ｓ１５０６）で定められると、（Ｓ１５０７）に進む。（Ｓ１５０７）で、現在ブロックの制御点の各々について、ｚｅｒｏ＿ｄｅｌｔａフラグがエンコーダによりシグナリングされる。ｚｅｒｏ＿ｄｅｌｔａフラグが真であるとき、それに応じて処理（１５００）は（Ｓ１５０８）及び（Ｓ１５１２）に進む。（Ｓ１５０８）で、現在ブロックのスケーリングパラメータは、基本予測子のスケーリングパラメータρに等しく設定される。（Ｓ１５１２）で、現在ブロックの回転パラメータは、基本予測子の回転パラメータθに等しく設定される。
【０１７８】
ｚｅｒｏ＿ｄｅｌｔａフラグが偽であるとき、それに応じて処理（１５００）は（Ｓ１５０９）及び（Ｓ１５１１）に進む。（Ｓ１５０９）で、デルタスケーリングインデックスは、エンコーダによりシグナリングされる。デルタスケーリングインデックスは、デルタスケーリングパラメータに関連付けられる。（Ｓ１５１０）で、デコーダは、デルタスケーリングインデックスを復号して、デルタスケーリングパラメータを導出する。現在ブロックのスケーリングパラメータは、基本予測子のスケーリングパラメータとデルタスケーリングパラメータとを結合することにより生成される。同様に、（Ｓ１５１１）で、デルタ回転インデックスは、エンコーダによりシグナリングされる。デルタ回転インデックスは、デルタ回転パラメータに関連付けられる。（Ｓ１５１３）で、デコーダは、デルタ回転インデックスを復号して、デルタ回転パラメータを導出する。現在ブロックの回転パラメータは、基本予測子の回転パラメータとデルタ回転パラメータとを結合することにより生成される。
【０１７９】
処理１５００は実質的に（Ｓ１５１４）に進む。（Ｓ１５１４）で、現在ブロックの制御点の各々について、ｚｅｒｏ＿ＭＶＤフラグがエンコーダによりシグナリングされる。ｚｅｒｏ＿ＭＶＤフラグが真であるとき、処理（１５００）は、（Ｓ１５１６）に進み、基本予測子の制御点の平行移動ＭＶがブロックの制御点の平行移動ＭＶとして設定される。ｚｅｒｏ＿ＭＶＤフラグが偽であるとき、処理（１５００）は、（Ｓ１５１５）に進み、ブロックのＣＰの距離オフセットインデックス及びオフセット方向インデックスがエンコーダによりシグナリングされる。デコーダは、後に、距離オフセットインデックスを復号して、距離オフセット値を決定し、オフセット方向インデックスを復号して、オフセット方向を決定する。距離オフセット値及びオフセット方向は、したがって、現在ピクチャ内の制御点の平行移動ＭＶを生成するために、基本予測子の制御点の平行移動ＭＶに適用される。
【０１８０】
本開示の一実施形態では、使用フラグは、融合フラグの後に、提案された方法が使用されるか否かを示すために、シグナリングされる。提案された方法はアフィンインター予測のために適用されるので、使用フラグが真であるとシグナリングされたとき、現在ブロックのアフィンフラグは真であると推定できる。
【０１８１】
別の実施形態では、使用フラグは、融合フラグ及びアフィンフラグの両方が真であるとき、融合フラグ及びアフィンフラグの後にシグナリングされる。その他の場合、融合フラグが偽である又はアフィンフラグが偽であるとき、使用フラグは偽であると推定される。
【０１８２】
提案された方法が使用されるとき、どのアフィン予測子候補が基本予測子として使用されるかを示すために、基本インデックスがシグナリングできる。１つのアフィン予測子候補のみが許可されるとき、基本インデックスはスキップできる。
【０１８３】
一実施形態では、基本インデックスは、アフィン融合候補リストからのどの候補が基本予測子として使用されるべきかを示す。
【０１８４】
別の実施形態では、基本インデックスは、どのアフィンＭＶＰ候補が基本予測子として使用されるべきかを示す。
【０１８５】
幾つかの実施形態では、アフィン融合候補又はアフィンＭＶＰ候補が利用できないとき、提案された方法は無効にでき、又は平行移動モデル又はゼロ動きベクトル、等のような規定の基本アフィンモデルにより有効にできる。
【０１８６】
アフィンパラメータでは、ｚｅｒｏ＿ｄｅｌｔａフラグは、アフィン動きパラメータデータ（affine  motion  parameter  delta：AMPD）が０でるか否かを示すために使用されてよい。ＡＭＰＤが０であると示されるとき、現在ブロックのアフィンモデルパラメータ対応するアフィンパラメータは、基本予測子のアフィンパラメータとして設定される。
【０１８７】
一実施形態では、それぞれのｚｅｒｏ＿ｄｅｌｔａフラグは、回転パラメータ、スケーリングパラメータ、及び平行移動ＭＶＤのようなアフィンパラメータの各々について明示的にシグナリングできる。それぞれのｚｅｒｏ＿ｄｅｌｔａフラグが偽であるとき、対応するアフィンパラメータがシグナリングできる。
【０１８８】
別の実施形態では、１つのｚｅｒｏ＿ｄｅｌｔａフラグのみが、ブロックの全部のアフィンパラメータについてシグナリングできる。ｚｅｒｏ＿ｄｅｌｔａフラグが偽であるとき、全部のアフィンパラメータがシグナリングできる。
【０１８９】
幾つかの実施形態では、デルタスケーリングパラメータは、デルタスケーリングインデックスＩｄｘ＿ρを送信することによりシグナリングできる。対応するデルタスケーリングパラメータ値は、デルタスケーリングインデックスに関連付けられたデルタスケーリングパラメータから導出できる。
【０１９０】
一実施形態では、表１０にデルタスケーリングパラメータテーブルが示され、デルタスケーリングインデックスＩｄｘ＿ρは９個のインデックスを含み、９個のインデックスの各々は対応するデルタスケーリングパラメータΔρを含み得る。デルタスケーリングパラメータΔρは、ｎの倍数である値に等しくてよい。ｎはプリセット又はシグナリングされたスケーリングパラメータであり得る。ｎのシグナリングは、ブロックレベル、ＣＴＵレベル、スライス／ピクチャレベル、又はシーケンスレベルで行うことができる。例えば、ｎは１／１６であり得る。ｎの値は、所定の固定値でもあり得る。
表１０：方向ＩＤＸの方向へのマッピング
【表１０】
2021520753.tif 000019
【０１９１】
デルタ回転パラメータは、デルタ回転インデックスＩｄｘ＿θを送信することによりシグナリングできる。対応するデルタ回転パラメータ値は、インデックスＩｄｘ＿θを用いてデルタ回転パラメータテーブルから導出できる。
【０１９２】
一実施形態では、デルタ回転パラメータテーブルは表１１に示され得る。表１１に示すように、デルタ回転インデックスＩｄｘ＿θは、９個のインデックスを含み、９個のインデックスの各々は、対応する回転角θのｓｉｎ及びｃｏｓ値のペアにマッピングされる。
表１１：ｉｄｘ＿θのｓｉｎθ及び（ｃｏｓθ）＾２へのマッピング
【表１１】
2021520753.tif 000020
【０１９３】
別の実施形態では、αはプリセット又はシグナリングされたデルタ角度パラメータである。インデックスの各々は、表１２に示されるそれぞれのデルタ角度値Δθにマッピングされ得る。
表１２：ｉｄｘ＿θ及びΔθのマッピング
【表１２】
2021520753.tif 000021
【０１９４】
表１３は、ｉｄｘ＿θ及びΔθの別のマッピング例を提供する。
表１３：ｉｄｘ＿θ及びΔθのマッピング
【表１３】
2021520753.tif 000022
【０１９５】
αのシグナリングは、ブロックレベル、ＣＴＵレベル、スライス／ピクチャレベル、又はシーケンスレベルで行うことができる。αの値は、所定の固定値でもあり得る。    
【０１９６】
留意すべきことに、上述の表は、単なる例であり、デルタ値の可能な数は８に固定されない。他の適切な値、例えば４、１６等が使用できる。
【０１９７】
上述の例では、デルタスケーリングインデックス及び／又はデルタ回転インデックスの２値化は以下の方法で構成できる。つまり、インデックスが０か否かをシグナリングするために、１ビットが使用される。０である場合、追加ビットは必要ない。０でない場合、一実施形態では、打ち切り（truncated）２進法、指数ゴロム符号、等のような可変長符号化がインデックス１〜８に適用される。別の実施形態では、０でない場合、固定長符号化がインデックス１〜８をシグナリングするために使用される。
【０１９８】
アフィンモデルの平行移動動き情報部分｛ｃ，ｆ｝では、予測方法は、上述の制御点動きベクトル予測方法と同じであり得る。上述の制御点に基づくオフセットとのアフィン融合方法は、アフィンブロックの平行移動ＭＶを導出するために適用できる。例えば、平行移動ｚｅｒｏ＿ＭＶＤフラグは、予測平行移動ＭＶと現在ブロックの平行移動ＭＶとの間の動きベクトル差が存在するか否かを示すために使用できる。平行移動ｚｅｒｏ＿ＭＶＤフラグが偽であるとき、平行移動距離オフセットインデックス及び平行移動オフセット方向インデックスは、エンコーダによりシグナリングできる。デコーダは、距離オフセットインデックスを復号して、距離オフセット値を導出し、オフセット方向インデックスを復号して、オフセット方向を決定する。距離オフセット値及びオフセット方向は、ブロックの平行移動動きベクトルを生成するために、基本予測子の平行移動動きベクトルに適用できる。
【０１９９】
表１４は、上述の方法に適用可能なインデックス及びフラグのシグナリングの一例である。
表１４：インデックス及びフラグのシグナリングの一例
【表１４】
2021520753.tif 000023
【０２００】
表１５は、上述の方法に適用可能なインデックス及びフラグのシグナリングの別の例である。
表１５：インデックス及びフラグのシグナリングの別の例
【表１５】
2021520753.tif 000024
【０２０１】
図１６は、本開示の一実施形態による、処理（１６００）の概要を示すフローチャートを示す。処理（１６００）は、再構成中のブロックについて予測ブロックを生成するために、イントラモードで符号化されたブロックの再構成において使用できる。種々の実施形態では、処理（１６００）は、端末装置（２１０）、（２２０）、（２３０）及び（２４０）内の処理回路、ビデオエンコーダ（３０３）の機能を実行する処理回路、ビデオデコーダ（３１０）の機能を実行する処理回路、ビデオデコーダ（４１０）の機能を実行する処理回路、イントラ予測モジュール（４５２）の機能を実行する処理回路、ビデオエンコーダ（５０３）の機能を実行する処理回路、予測器（５３５）の機能を実行する処理回路、イントラエンコーダ（６２２）の機能を実行する処理回路、イントラデコーダ（７７２）の機能を実行する処理回路、等のような処理回路により実行される。幾つかの実施形態では、処理（１６００）は、ソフトウェア命令で実装され、したがって、処理回路がソフトウェア命令を実行すると、処理回路が処理（１６００）を実行する。処理は（Ｓ１６０１）で開始し、（Ｓ１６１０）に進む。
【０２０２】
（Ｓ１６１０）で、現在ブロック内のブロックの予測情報が符号化ビデオビットストリームから復号できる。予測情報は、インター予測モードにおけるアフィンモデルに関連付けられた予測オフセットの複数のオフセットインデックスを含む。
【０２０３】
（Ｓ１６２０）で、アフィンモデルのパラメータは、複数のオフセットインデックスに基づき決定できる。複数のオフセットインデックスの各々は、インデックスと対応するオフセット値とを含むそれぞれの所定のマッピングテーブルを含む。アフィンモデルのパラメータは、ブロックと再構成された参照ピクチャの中の参照ブロックとの間で変換するために使用できる。表３〜１３は、インデックスとオフセット値との間の所定のマッピングの種々の例を示し、アフィンモデルのパラメータを決定するために使用できる。
【０２０４】
（Ｓ１６３０）で、ブロックのサンプルは、アフィンモデルに従い再構成される。一例では、ブロック内のピクセルに対応する参照ピクチャ内の参照ピクセルは、アフィンモデルに従い決定される。さらに、ブロック内のピクセルは、参照ピクチャ内の参照ピクセルに従い再構成される。次に、処理は（Ｓ１６９９）に進み終了する。
【０２０５】
本開示では、提案された方法は、別個に使用され、及び任意の順序で結合できる。さらに、方法（又は実施形態）は、処理回路（例えば、１つ以上のプロセッサ又は１つ以上の集積回路）により実施されてよい。一例では、１つ以上のプロセッサは、非一時的コンピュータ可読媒体に格納されたプログラムを実行する。
【０２０６】
上述の技術は、コンピュータ可読命令を用いてコンピュータソフトウェアとして実装でき、１つ以上のコンピュータ可読媒体に物理的に格納でる。例えば、図１７は、本開示の主題の特定の実施形態を実装するのに適するコンピュータシステム（１７００）を示す。
【０２０７】
コンピュータソフトウェアは、アセンブリ、コンパイル、リンク等のメカニズムにより処理されて、１つ以上のコンピュータ中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、等により直接又はインタープリット、マイクロコード実行、等を通じて実行可能な命令を含むコードを生成し得る、任意の適切な機械コードまたはコンピュータ言語を用いて符号化できる。
【０２０８】
命令は、例えばパーソナルコンピュータ、タブレットコンピュータ、サーバ、スマートフォン、ゲーム装置、モノのインターネット装置、等を含む種々のコンピュータ又はそのコンポーネントで実行できる。
【０２０９】
コンピュータシステム（１７００）の図１７に示すコンポーネントは、本来例示であり、本開示の実施形態を実装するコンピュータソフトウェアの使用又は機能の範囲に対するようないかなる限定も示唆しない。さらに、コンポーネントの構成も、コンピュータシステム（１７００）の例示的な実施形態に示されたコンポーネントのうちのいずれか又は組み合わせに関連する任意の依存性又は要件を有すると解釈されるべきではない。
【０２１０】
コンピュータシステム（１７００）は、特定のヒューマンインタフェース入力装置を含んでよい。このようなヒューマンインタフェース入力装置は、例えば感覚入力（例えば、キーストローク、スワイプ、データグラブ動作）、音声入力（例えば、音声、クラッピング）、視覚的入力（例えば、ジェスチャ）、嗅覚入力（示されない）を通じた１人以上の人間のユーザによる入力に応答してよい。ヒューマンインタフェース装置は、必ずしも人間による意識的入力に直接関連する必要のない特定の媒体、例えば音声（例えば、会話、音楽、環境音）、画像（例えば、スキャンされた画像、デジタルカメラから取得された写真画像）、ビデオ（例えば、２次元ビデオ、３次元ビデオ、立体ビデオを含む）をキャプチャするためにも使用できる。
【０２１１】
入力ヒューマンインタフェース装置は、キーボード（１７０１）、マウス（１７０２）、トラックパッド（１７０３）、タッチスクリーン（１７１０）、データグラブ（図示しない）、ジョイスティック（１７０５）、マイクロフォン（１７０６）、スキャナ（１７０７）、カメラ（１７０８）、のうちの１つ以上を含んでよい（そのうちの１つのみが示される）。
【０２１２】
コンピュータシステム（１７００）は、特定のヒューマンインタフェース出力装置も含んでよい。このようなヒューマンインタフェース出力装置は、例えば感覚出力、音声、光、及び匂い／味を通じて１人以上の人間のユーザの感覚を刺激してよい。このようなヒューマンインタフェース出力装置は、感覚出力装置を含んでよい（例えば、タッチスクリーン（１７１０）、データグラブ（図示しない）、又はジョイスティック（１７０５（による感覚フィードバック、しかし入力装置として機能しない感覚フィードバック装置も存在し得る）、音声出力装置（例えば、スピーカ（１７０９）、ヘッドフォン（図示しない）、視覚的出力装置（例えば、スクリーン（１７１０）、ＣＲＴスクリーン、ＬＣＤスクリーン、プラズマスクリーン、ＯＬＥＤスクリーンを含み、それぞれタッチスクリーン入力能力を有し又は有さず、それぞれ感覚フィードバック能力を有し又は有さず、これらのうちの幾つかは例えば立体出力、仮想現実眼鏡（図示しない）、ホログラフィックディスプレイ、及び発煙剤タンク（図示しない）、及びプリンタ（図示しない）のような手段を通じて２次元視覚出力又は３次元以上の出力を出力可能であってよい））。
【０２１３】
コンピュータシステム（１７００）は、人間のアクセス可能な記憶装置、及び、例えばＣＤ／ＤＶＤ等の媒体（１７２１）を備えるＣＤ／ＤＶＤ  ＲＯＭ／ＲＷ（１７２０）のような光学媒体、サムドライブ（１７２２）、取り外し可能ハードドライブ又は個体状態ドライブ（１７２３）、テープ及びフロッピディスク（図示しない）のようなレガシー磁気媒体、セキュリティドングル（図示しない）等のような専用ＲＯＭ／ＡＳＩＣ／ＰＬＤに基づく装置のような関連する媒体も含み得る。
【０２１４】
当業者は、本開示の主題と関連して使用される用語「コンピュータ可読媒体」が伝送媒体、搬送波、又は他の一時的信号を包含しないことも理解すべきである。
【０２１５】
コンピュータシステム（１７００）は、１つ以上の通信ネットワークへのインタフェースも含み得る。ネットワークは、例えば無線、有線、光であり得る。ネットワークは、更に、ローカル、広域、都市域、車両及び産業、リアルタイム、耐遅延性、等であり得る。ネットワークの例は、イーサネットのようなローカルエリアネットワーク、無線ＬＡＮ、ＧＳＭ、３Ｇ、４Ｇ、５Ｇ、ＬＥＴ等を含むセルラネットワーク、ケーブルＴＶ、衛星ＴＶ、地上波放送ＴＶを含むＴＶ有線又は無線広域デジタルネットワーク、ＣＡＮＢｕｓを含む車両及び産業、等を含む。特定のネットワークは、一般に、特定の汎用データポート又は周辺機器バス（１７４９）（例えば、コンピュータシステム（１７００）のＵＳＢポート）に取り付けられる外部ネットワークインタフェースを必要とする。他のものは、一般に、後述するようなシステムバスへの取り付けによりコンピュータシステム（１７００）のコアに統合される（例えば、イーサネットインタフェースをＰＣコンピュータシステムへ、又はセルラネットワークインタフェースをスマートフォンコンピュータシステムへ）。これらのネットワークを用いて、コンピュータシステム（１７００）は、他のエンティティと通信できる。このような通信は、単方向受信のみ（例えば、放送ＴＶ）、単方向送信のみ（例えば、特定のＣＡＮｂｕｓ装置へのＣＡＮｂｕｓ）、又は例えばローカル又は広域デジタルネットワークを用いて他のコンピュータシステムへの双方向であり得る。特定のプロトコル及びプロトコルスタックが、上述のネットワーク及びネットワークインタフェースの各々で使用され得る。
【０２１６】
前述のヒューマンインタフェース装置、人間のアクセス可能な記憶装置、及びネットワークインタフェースは、コンピュータシステム（１７００）のコア（１７４０）に取り付け可能である。
【０２１７】
コア（１７４０）は、１つ以上の中央処理ユニット（ＣＰＵ）（１７４１）、グラフィック処理ユニット（ＧＰＵ）（１７４２）、ＧＰＧＡの形式の専用プログラマブル処理ユニット（１７４３）、特定タスクのためのハードウェアアクセラレータ（１７４４）、等を含み得る。これらの装置は、読み出し専用メモリ（ＲＯＭ）（１７４５）、ランダムアクセスメモリ（１７４６）、内部のユーザアクセス不可能なハードドライブ、ＳＳＤ、等のような内蔵大容量記憶装置（１７４７）と共に、システムバス（１７４８）を通じて接続されてよい。幾つかのコンピュータシステムでは、追加ＣＰＵ、ＧＰＵ、等による拡張を可能にするために、システムバス（１７４８）は、１つ以上の物理プラグの形式でアクセス可能である。周辺機器は、コアのシステムバス（１７４８）に直接に、又は周辺機器バス（１７４９）を通じて、取り付け可能である。周辺機器バスのアーキテクチャは、ＰＣＩ、ＵＳＢ、等を含む。
【０２１８】
ＣＰＵ（１７４１）、ＧＰＵ（１７４２）、ＦＰＧＡ（１７４３）、及びアクセラレータ（１７４４）は、結合されて前述のコンピュータコードを生成可能な特定の命令を実行できる。該コンピュータコードは、ＲＯＭ（１７４５）又はＲＡＭ（１７４６）に格納できる。一時的データもＲＡＭ（１７４６）に格納でき、一方で、永久的データは例えば内蔵大容量記憶装置（１７４７）に格納できる。メモリ装置のうちのいずれかへの高速記憶及び読み出しは、ＣＰＵ（１７４１）、ＧＰＵ（１７４２）、大容量記憶装置（１７４７）、ＲＯＭ（１７４５）、ＲＡＭ（１７４６）等のうちの１つ以上に密接に関連付けられ得るキャッシュメモリの使用を通じて可能にできる。
【０２１９】
コンピュータ可読媒体は、種々のコンピュータにより実施される動作を実行するためのコンピュータコードを有し得る。媒体及びコンピュータコードは、本開示の目的のために特別に設計され構成されたものであり得、又は、コンピュータソフトウェア分野の当業者によく知られ利用可能な種類のものであり得る。
【０２２０】
例として及び限定ではなく、アーキテクチャを有するコンピュータシステム（１７００）、及び具体的にはコア（１７４０）は、プロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、アクセラレータ、等を含む）が１つ以上の有形コンピュータ可読媒体内に具現化されたソフトウェアを実行した結果として、機能を提供できる。このようなコンピュータ可読媒体は、コア内蔵大容量記憶装置（１７４７）又はＲＯＭ（１７４５）のような非一時的特性のコア（１７４０）の特定の記憶装置、及び上述のようなユーザアクセス可能な大容量記憶装置と関連付けられた媒体であり得る。本開示の種々の実施形態を実装するソフトウェアは、このような装置に格納されコア（１７４０）により実行できる。コンピュータ可読媒体は、特定の必要に従い、１つ以上のメモリ装置又はチップを含み得る。ソフトウェアは、コア（１７４０）及び具体的にはその中のプロセッサ（ＣＰＵ、ＧＰＵ、ＦＰＧＡ、等を含む）に、ソフトウェアにより定義された処理に従うＲＡＭ（１７４６）に格納されたデータ構造の定義及び該データ構造の変更を含む、ここに記載した特定の処理又は特定の処理の特定の部分を実行させることができる。追加又は代替として、コンピュータシステムは、ここに記載の特定の処理又は特定の処理の特定の部分を実行するためにソフトウェアと一緒に又はそれに代わって動作可能な論理ハードワイヤド又は他の回路内の実装（例えば、アクセラレータ（１７４４））の結果として機能を提供できる。ソフトウェアへの言及は、ロジックを含み、適切な場合にはその逆も同様である。コンピュータ可読媒体への言及は、適切な場合には、実行のためにソフトウェアを格納する（集積回路（ＩＣ）のような）回路、実行のためにロジックを実装する回路、又はそれらの両方を含み得る。本開示は、ハードウェア及びソフトウェアの任意の適切な組み合わせを含む。
【０２２１】
付録Ａ：用語集
JEM:  joint  exploration  model
VVC:  versatile  video  coding
BMS:  benchmark  set
MV：  Motion  Vector
HEVC：  High  Efficiency  Video  Coding
SEI：  Supplementary  Enhancement  Information
VUI：  Video  Usability  Information
GOPs:  Groups  of  Pictures
TUs:  Transform  Units,
PUs:  Prediction  Units
CTUs:  Coding  Tree  Units
CTBs:  Coding  Tree  Blocks
PBs:  Prediction  Blocks
HRD:  Hypothetical  Reference  Decoder
SNR：  Signal  Noise  Ratio
CPUs:  Central  Processing  Units
GPUs:  Graphics  Processing  Units
CRT：  Cathode  Ray  Tube
LCD:  Liquid−Crystal  Display
OLED：  Organic  Light−Emitting  Diode
CD：  Compact  Disc
DVD：  Digital  Video  Disc
ROM：  Read−Only  Memory
RAM：  Random  Access  Memory
ASIC：  Application−Specific  Integrated  Circuit
PLD：  Programmable  Logic  Device
LAN：  Local  Area  Network
GSM：  Global  System  for  Mobile  communications
LTE：  Long−Term  Evolution
CANBus:  Controller  Area  Network  Bus
USB:  Universal  Serial  Bus
PCI：  Peripheral  Component  Interconnect
FPGA：  Field  Programmable  Gate  Areas
SSD:  solid−state  drive
IC：  Integrated  Circuit
CU：  Coding  Unit
【０２２２】
本開示は、幾つかの例示的な実施形態を記載したが、代替、置換、及び種々の代用の均等物が存在し、それらは本開示の範囲に包含される。当業者に明らかなことに、ここに明示的に示され又は説明されないが、本開示の原理を実施し、したがって、本開示の精神及び範囲に含まれる多数のシステム及び方法を考案可能である。
【図１】
2021520753.tif 000025
【図２】
2021520753.tif 000026
【図３】
2021520753.tif 000027
【図４】
2021520753.tif 000028
【図５】
2021520753.tif 000029
【図６】
2021520753.tif 000030
【図７】
2021520753.tif 000031
【図８】
2021520753.tif 000032
【図９】
2021520753.tif 000033
【図１０】
2021520753.tif 000034
【図１１】
2021520753.tif 000035
【図１２】
2021520753.tif 000036
【図１３】
2021520753.tif 000037
【図１４】
2021520753.tif 000038
【図１５】
2021520753.tif 000039
【図１６】
2021520753.tif 000040
【図１７】
2021520753.tif 000041
【国際調査報告】
2021520753.tif 000042