(57)【要約】  適応精度でアフィン動きモデルを使用するビデオ符号化のためのシステム及び方法が説明される。一例では、ビデオのブロックがアフィン動きモデルを使用してビットストリームに符号化され、アフィン動きモデルは少なくとも２つの動きベクトルによって特徴付けられる。動きベクトルのそれぞれについて精度が選択され、選択された精度がビットストリームにおいてシグナリングされる。いくつかの実施形態では、精度は、選択された所定の精度セット内の複数の要素のうちの１つを特定する情報をビットストリームに含むことによってシグナリングされる。特定された要素は、アフィン動きモデルを特徴付ける動きベクトルのそれぞれの精度を指示する。いくつかの実施形態では、使用される精度セットは、ビットストリームにおいて明示的にシグナリングされ、他の実施形態では、精度セットは、例えばブロックサイズ、ブロック形状、又は時間的レイヤから推測され得る。
2021536686.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリームからビデオを復号する方法であって、前記方法が、前記ビデオにおける少なくとも１つの現在のブロックについて、
前記ビットストリームから、少なくとも第１の動きベクトル予測子及び第２の動きベクトル予測子を特定する情報を読み取ることと、
前記ビットストリームから、少なくとも第１の差分動きベクトル及び第２の差分動きベクトルを読み取ることであって、前記第１及び第２の差分動きベクトルが精度を有する、ことと、
前記ビットストリームから、所定の精度セット内の複数の精度のうちの１つを特定する情報を読み取ることであって、前記特定された精度が、前記第１及び第２の差分動きベクトルの前記精度を指示する、ことと、
少なくとも（ｉ）前記第１の動きベクトル予測子及び前記第１の差分動きベクトルから第１の制御点動きベクトルと、（ｉｉ）前記第２の動きベクトル予測子及び前記第２の差分動きベクトルから第２の制御点動きベクトルとを生成することと、
アフィン動きモデルを使用して前記現在のブロックの予測を生成することであって、前記アフィン動きモデルが、少なくとも前記第１の制御点動きベクトル及び前記第２の制御点動きベクトルによって特徴付けられる、ことと
を含む、方法。
【請求項２】
前記所定の精度セット内の前記複数の精度が、１／４画素精度、１／１６画素精度、及び１画素精度を含む、請求項１に記載の方法。
【請求項３】
前記アフィン動きモデルが４パラメータの動きモデルである、請求項１又は２に記載の方法。
【請求項４】
前記アフィン動きモデルが６パラメータの動きモデルであり、前記方法が、
前記ビットストリームから、第３の動きベクトル予測子を特定する情報を読み取ることと、
前記ビットストリームから、前記特定された精度を有する第３の差分動きベクトルを読み取ることと、
前記第３の動きベクトル予測子及び前記第３の差分動きベクトルから第３の制御点動きベクトルを生成することであって、
前記アフィン動きモデルが、前記第１の制御点動きベクトル、前記第２の制御点動きベクトル、及び前記第３の制御点動きベクトルによって特徴付けられる、ことと
を更に含む、請求項１又は２に記載の方法。
【請求項５】
前記複数の精度のうちの１つを特定する前記情報が、前記ビットストリームからブロック単位で読み取られる、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記動きベクトル予測子のうちの少なくとも１つを前記特定された精度に丸めることを更に含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記制御点動きベクトルのそれぞれが、対応する差分動きベクトルをそれぞれの動きベクトル予測子に加えることによって生成される、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記所定の精度セットが、前記ビデオにおける非アフィンインター符号化に使用される所定の精度セットとは異なる、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
前記現在のブロックの予測を生成することが、
前記アフィン動きモデルを使用して、前記現在のブロックの複数のサブブロックのそれぞれについてそれぞれのサブブロック動きベクトルを決定することと、
前記それぞれのサブブロック動きベクトルを使用して、前記サブブロックのそれぞれのインター予測を生成することと
を含む、請求項１〜８のいずれか一項に記載の方法。
【請求項１０】
前記ビットストリームから、前記現在のブロックについて残差を読み取ることと、
前記残差を前記現在のブロックの前記予測に加えることにより前記現在のブロックを再構成することと
を更に含む、請求項１〜９のいずれか一項に記載の方法。
【請求項１１】
ビットストリームからビデオを復号するためのシステムであって、前記システムが、プロセッサと、前記ビデオにおける少なくとも１つの現在のブロックについて、
前記ビットストリームから、少なくとも第１の動きベクトル予測子及び第２の動きベクトル予測子を特定する情報を読み取ることと、
前記ビットストリームから、少なくとも第１の差分動きベクトル及び第２の差分動きベクトルを読み取ることであって、前記第１及び第２の差分動きベクトルが精度を有する、ことと、
前記ビットストリームから、所定の精度セット内の複数の精度のうちの１つを特定する情報を読み取ることであって、前記特定された精度が、前記第１及び第２の差分動きベクトルの前記精度を指示する、ことと、
少なくとも（ｉ）前記第１の動きベクトル予測子及び前記第１の差分動きベクトルから第１の制御点動きベクトルと、（ｉｉ）前記第２の動きベクトル予測子及び前記第２の差分動きベクトルから第２の制御点動きベクトルとを生成することと、
アフィン動きモデルを使用して前記現在のブロックの予測を生成することであって、前記アフィン動きモデルが、少なくとも前記第１の制御点動きベクトル及び前記第２の制御点動きベクトルによって特徴付けられる、ことと
を含む機能を実行するように動作する命令を格納する非一時的コンピュータ可読媒体とを備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]  本出願は、「Adaptive Motion Vector Precision for Affine Motion Model Based Video Coding」といずれも題する（２０１８年８月２９日に出願された）米国仮特許出願第６２／７２４，５００号、（２０１８年１１月２９日に出願された）米国仮特許出願第６２／７７３，０６９号、及び（２０１８年１２月３１日に出願された）米国仮特許出願第６２／７８６，７６８号からの米国特許法第１１９条（ｅ）下での利益を主張する通常の特許出願であり、これらの仮出願は、参照によりそれら全体が本明細書に援用される。
【背景技術】
【０００２】
背景
[0002]  ビデオ符号化システムは、デジタルビデオ信号を圧縮して、そのような信号のストレージの必要性及び／又は送信帯域幅を削減するために広く使用されている。ブロックベースのシステム、ウェーブレットベースのシステム、及びオブジェクトベースのシステムなど、様々なタイプのビデオ符号化システムの中でも、現在、ブロックベースのハイブリッドビデオ符号化システムが最も広く使用され、配備されている。ブロックベースのビデオ符号化システムの例としては、ＭＰＥＧ１／２／４パート２、Ｈ．２６４／ＭＰＥＧ−４パート１０ＡＶＣ、ＶＣ−１、及び高効率ビデオ符号化（High Efficiency Video Coding、ＨＥＶＣ）と呼ばれる最新のビデオ符号化規格などの国際ビデオ符号化規格が挙げられる。ＨＥＶＣは、ＩＴＵ−Ｔ／ＳＧ１６／Ｑ．６／ＶＣＥＧ及びＩＳＯ／ＩＥＣ／ＭＰＥＧのＪＣＴ−ＶＣ（Joint Collaborative Team on Video Coding、映像符号化に関する合同協力チーム）によって開発されたものである。
【０００３】
[0003]  ＨＥＶＣ規格の最初のバージョンは２０１３年１０月に完成し、前世代のビデオ符号化規格Ｈ．２６４／ＭＰＥＧ  ＡＶＣと比較して約５０％のビットレート削減又は同等の知覚品質を提供するものである。ＨＥＶＣ規格は、その前身に比べて大幅な符号化の改善をもたらすが、更なる符号化ツールによって、ＨＥＶＣよりも優れた符号化効率を達成できるという証拠がある。これに基づいて、ＶＣＥＧ及びＭＰＥＧの両方が、将来のビデオ符号化規格化のための新しい符号化技術の調査作業を開始した。２０１５年１０月には、ＩＴＵ−Ｔ  ＶＥＣＧ及びＩＳＯ／ＩＥＣ  ＭＰＥＧはＪＶＥＴ（Joint Video Exploration Team）を結成して、ＨＥＶＣよりも符号化効率を大幅に向上させることを可能にし得る高度な技術の重要な研究を開始した。同月には、ＪＥＭ（Joint Exploration Model）と呼ばれるソフトウェアコードベースが、将来のビデオ符号化調査作業のために確立された。ＪＥＭ参照ソフトウェアは、ＨＥＶＣのためにＪＣＴ−ＶＣによって開発されたＨＥＶＣテストモデル（ＨＭ）に基づくものである。いかなる追加の提案される符号化ツールもＪＥＭソフトウェアに統合され、ＪＶＥＴ共通テスト条件（ＣＴＣ）を用いてテストされ得る。
【０００４】
[0004]  ２０１７年１０月には、ＩＴＵ−Ｔ及びＩＳＯ／ＩＥＣによって、ＨＥＶＣを超える機能を備えたビデオ圧縮に関する共同提案募集（ＣｆＰ）が発行された。２０１８年４月には、スタンダードダイナミックレンジカテゴリについての２２のＣｆＰ回答が受理され、第１０回ＪＶＥＴ会議で評価され、ＨＥＶＣに対する圧縮効率の向上が約４０％であることが実証された。このような評価結果に基づいて、ＪＶＥＴ（Joint Video Expert Team）は、ＶＶＣ（Versatile Video Coding）と名付けられた次世代ビデオ符号化規格を開発するための新しいプロジェクトを立ち上げた。同月には、ＶＶＣ規格のリファレンス実装を実証するために、ＶＶＣテストモデル（ＶＴＭ）と呼ばれる参照ソフトウェアコードベースが確立された。初期のＶＴＭ−１．０では、マルチタイプツリーベースのブロック分割構造がＶＴＭで使用されることを除いて、イントラ予測、インター予測、変換／逆変換及び量子化／逆量子化、並びにループ内フィルタを含むほとんどの符号化モジュールは、既存のＨＥＶＣ設計に従う。一方、新しい符号化ツールの評価を容易にするために、ベンチマークセット（ＢＭＳ）と呼ばれる別の参照ソフトウェアベースも作られている。ＢＭＳコードベースでは、より高い符号化効率及び適度な実装の複雑度をもたらす、ＪＥＭから継承された一連の符号化ツールがＶＴＭの上に含まれ、ＶＶＣ規格化の過程で同様の符号化技術を評価する場合のベンチマークとして使用される。具体的には、ＢＭＳ−１．０に統合された９つのＪＥＭ符号化ツールがあり、これには、６５の角度イントラ予測方向、修正係数符号化、高度な多重変換（ＡＭＴ）＋４×４非分離型再変換（ＮＳＳＴ）、アフィン動きモデル、一般化適応ループフィルタ（ＧＡＬＦ）、高度な時間的動きベクトル予測（ＡＴＭＶＰ）、適応動きベクトル精度、復号器側動きベクトル精緻化（ＤＭＶＲ）、及び線形モデル（ＬＭ）クロマモードが含まれる。
【発明の概要】
【課題を解決するための手段】
【０００５】
概要
[0005]  本明細書に記載の実施形態は、ビデオの符号化及び復号（総称して「符号化」）で使用される方法を含む。いくつかの実施形態では、ビットストリームからビデオを復号する方法であって、本方法が、ビデオにおける少なくとも１つの現在のブロックについて、ビットストリームから、少なくとも第１の動きベクトル予測子及び第２の動きベクトル予測子を特定する情報を読み取ることと、ビットストリームから、所定の精度セット内の複数の精度のうちの１つを特定する情報を読み取ることと、ビットストリームから、少なくとも第１の差分動きベクトル及び第２の差分動きベクトルを読み取ることであって、第１及び第２の差分動きベクトルが特定された精度を有する、ことと、少なくとも（ｉ）第１の動きベクトル予測子及び第１の差分動きベクトルから第１の制御点動きベクトルと、（ｉｉ）第２の動きベクトル予測子及び第２の差分動きベクトルから第２の制御点動きベクトルとを生成することと、アフィン動きモデルを使用して現在のブロックの予測を生成することであって、アフィン動きモデルが、少なくとも第１の制御点動きベクトル及び第２の制御点動きベクトルによって特徴付けられる、こととを含む、方法が提供される。
【０００６】
[0006]  所定の精度セット内の複数の精度は、１／４画素精度、１／１６画素精度、及び１画素精度を含み得る。所定の精度セットは、同じビデオにおける非アフィンインター符号化に使用される所定の精度セットとは異なる。
【０００７】
[0007]  アフィン動きモデルは４パラメータの動きモデル又は６パラメータの動きモデルとすることができる。アフィン動きモデルが６パラメータの動きモデルの場合、本方法は、ビットストリームから、第３の動きベクトル予測子を特定する情報を読み取ることと、ビットストリームから、特定された精度を有する第３の差分動きベクトルを読み取ることと、第３の動きベクトル予測子及び第３の差分動きベクトルから第３の制御点動きベクトルを生成することであって、アフィン動きモデルが、第１の制御点動きベクトル、第２の制御点動きベクトル、及び第３の制御点動きベクトルによって特徴付けられる、こととを更に含み得る。
【０００８】
[0008]  複数の精度のうちの１つを特定する情報は、ビットストリームからブロック単位で読み取られて、画像内の異なるブロックが異なる精度を使用することを可能にし得る。
【０００９】
[0009]  いくつかの実施形態では、動きベクトル予測子は特定された精度に丸められる。制御点動きベクトルのそれぞれが、対応する差分動きベクトルをそれぞれの動きベクトル予測子に加えることによって生成され得る。
【００１０】
[0010]  いくつかの実施形態では、現在のブロックの予測は、アフィン動きモデルを使用して、現在のブロックの複数のサブブロックのそれぞれについてそれぞれのサブブロック動きベクトルを決定することと、それぞれのサブブロック動きベクトルを使用して、サブブロックのそれぞれのインター予測を生成することとによって生成される。
【００１１】
[0011]  いくつかの実施形態では、本方法は、ビットストリームから、現在のブロックについて残差を読み取ることと、残差を現在のブロックの予測に加えることにより現在のブロックを再構成することとを更に含む。
【００１２】
[0012]  アフィン動きベクトルの精度を適応的に選択するため、またアフィン動きモデルについて動き推定を実行するためのシステム及び方法も説明される。
【００１３】
[0013]  追加的な実施形態では、符号化器及び復号器システムが、本明細書に記載の方法を実行するために提供される。符号化器又は復号器システムは、プロセッサと、本明細書に記載の方法を実行するための命令を格納する非一時的コンピュータ可読媒体とを備え得る。更なる実施形態は、本明細書に開示される方法のいずれかを使用して符号化されたビデオを格納する非一時的コンピュータ可読記憶媒体を含む。
【図面の簡単な説明】
【００１４】
図面の簡単な説明
【図１Ａ】[0014]１つ又は複数の開示される実施形態が実施され得る例示的な通信システムを示すシステム図である。
【図１Ｂ】[0015]一実施形態による、図１Ａに示す通信システム内で使用され得る例示的な無線送信／受信ユニット（ＷＴＲＵ）を示すシステム図である。
【図２Ａ】[0016]ＶＶＣに使用される符号化器など、ブロックベースのビデオ符号化器の機能ブロック図である。
【図２Ｂ】[0017]ＶＶＣに使用される復号器など、ブロックベースのビデオ復号器の機能ブロック図である。
【図３Ａ】[0018]図３Ａはブロック分割をマルチタイプツリー構造で示す図であり、四分木分割を示す図である。
【図３Ｂ】[0018]図３Ｂはブロック分割をマルチタイプツリー構造で示す図であり、垂直二分木分割を示す図である。
【図３Ｃ】[0018]図３Ｃはブロック分割をマルチタイプツリー構造で示す図であり、水平二分木分割を示す図である。
【図３Ｄ】[0018]図３Ｄはブロック分割をマルチタイプツリー構造で示す図であり、垂直三分木分割を示す図である。
【図３Ｅ】[0018]図３Ｅはブロック分割をマルチタイプツリー構造で示す図であり、水平三分木分割を示す図である。
【図４Ａ】[0019]図４Ａは４パラメータのアフィン動きモデルを示す図であり、アフィンモデルを示す図である。
【図４Ｂ】[0019]図４Ｂは４パラメータのアフィン動きモデルを示す図であり、アフィンブロックにおけるサブブロックレベルの動き導出を示す図である。
【図５】[0020]アフィンマージ候補を示す図である。候補可用性チェック順序は、Ｎ0、Ｎ1、Ｎ2、Ｎ3、Ｎ4である。
【図６】[0021]アフィン動きモデルの制御点における動きベクトル導出を示す図である。
【図７】[0022]ブロック｛Ａ，Ｂ，Ｃ｝、｛Ｄ，Ｅ｝、及び｛Ｆ，Ｇ｝における動きベクトルからのアフィン動きベクトル予測子の構築を示す図である。
【図８】[0023]アフィン動きベクトル（ＭＶ）予測子生成のためのＭＶ時間スケーリングの例を示す図である。
【図９】[0024]ブロックＢCのコンテキスト導出に使用される隣接するブロックを示す図である。
【図１０】[0025]分割なしのＣＵ符号化におけるモード決定方法を示す図である。
【図１１】[0026]デフォルトの精度（並進運動モデルについては１／４画素、アフィン動きモデルについては（１／４画素，１／４画素））以外の精度における動きモデル及び精度の選択方法を示す図である。
【図１２】[0027]（ｐ０画素，ｐ１画素）の精度におけるアフィン動き推定方法を示す図である。
【図１３】[0028]最も近い８つの位置を使用するＭＶ０の精緻化を示す図である。ステップ１：｛Ｐ１，Ｐ２，Ｐ３，Ｐ４｝において最良の位置を選択する。ステップ２：ステップ１でＭＶ0が更新された場合、２つの隣接する位置から最良の位置を選択する。
【図１４】[0029]６パラメータのアフィンモードを示す図である。Ｖ0、Ｖ1、及びＶ2は制御点であり、（ＭＶx，ＭＶy）は、位置（ｘ，ｙ）を中心とするサブブロックの動きベクトルである。
【図１５】[0030]符号化されたビットストリーム構造の例を示す図である。
【図１６】[0031]例示的な通信システムを示す図である。
【図１７】[0032]８×４符号化ユニットのサブブロックにおける動きベクトル導出を示す図である。
【図１８】[0033]いくつかの実施形態における復号器によって実行される方法を示す図である。
【発明を実施するための形態】
【００１５】
実施形態の実装のための例示的なネットワーク
[0034]  図１Ａは、１つ又は複数の開示される実施形態を実施し得る例示的な通信システム１００を示す図である。通信システム１００は、音声、データ、ビデオ、メッセージング、放送などのコンテンツを複数の無線ユーザに提供する多元接続システムとすることができる。通信システム１００は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にし得る。例えば、通信システム１００は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、及びシングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）、ゼロテールユニークワードＤＦＴ拡散ＯＦＤＭ（ＺＴ  ＵＷ  ＤＴＳ−ｓ  ＯＦＤＭ）、ユニークワードＯＦＤＭ（ＵＷ−ＯＦＤＭ）、リソースブロックフィルタードＯＦＤＭ（resource block-filtered OFDM）、フィルタバンクマルチキャリア（ＦＢＭＣ）など、１つ又は複数のチャネルアクセス方法を利用することができる。
【００１６】
[0035]  図１Ａに示すように、通信システム１００は、無線送信／受信ユニット（ＷＴＲＵ）１０２ａ、１０２ｂ、１０２ｃ、１０２ｄ、ＲＡＮ１０４、ＣＮ１０６、公衆交換電話網（ＰＳＴＮ）１０８、インターネット１１０、及び他のネットワーク１１２を含むことができるが、開示される実施形態は、任意の数のＷＴＲＵ、基地局、ネットワーク、及び／又はネットワーク要素を企図していることを理解されたい。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのそれぞれは、無線環境において動作及び／又は通信するように構成された任意のタイプの装置とすることができる。例を挙げると、「ステーション」及び／又は「ＳＴＡ」といずれも呼ばれ得るＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、無線信号を送信及び／又は受信するように構成されてもよく、ユーザ機器（ＵＥ）、移動局、固定若しくは移動加入者ユニット、サブスクリプションベースのユニット、ポケットベル、セルラ電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、ホットスポット若しくはMi-Fi装置、モノのインターネット（ＩｏＴ）装置、腕時計若しくは他のウェアラブル、ヘッドマウントディスプレイ（ＨＭＤ）、乗物、ドローン、医療装置及びアプリケーション（例えば、遠隔手術）、産業用装置及びアプリケーション（例えば、産業用及び／又は自動処理チェーンの状況で動作するロボット及び／又は他の無線装置）、消費者向け電子装置、商用及び／又は産業用無線ネットワーク上で動作する装置などを含むことができる。ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、及び１０２ｄのいずれも、交換可能にＵＥと呼ばれ得る。
【００１７】
[0036]  通信システム１００はまた、基地局１１４ａ及び／又は基地局１１４ｂを含むことができる。基地局１１４ａ、１１４ｂのそれぞれは、ＣＮ１０６、インターネット１１０、及び／又は他のネットワーク１１２などの１つ又は複数の通信ネットワークへのアクセスを容易にするために、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの少なくとも１つと無線でインターフェースを取るように構成された任意のタイプの装置とすることができる。例を挙げると、基地局１１４ａ、１１４ｂは、ベーストランシーバ基地局（ＢＴＳ）、Ｎｏｄｅ−Ｂ、ｅＮｏｄｅＢ、ホームＮｏｄｅＢ、ホームｅＮｏｄｅＢ、ｇＮＢ、ＮＲ  ＮｏｄｅＢ、サイトコントローラ、アクセスポイント（ＡＰ）、及び無線ルータなどとすることができる。基地局１１４ａ、１１４ｂは、それぞれ単一の要素として示されているが、基地局１１４ａ、１１４ｂは、任意の数の相互接続された基地局及び／又はネットワーク要素を含み得ることが理解されよう。
【００１８】
[0037]  基地局１１４ａは、ＲＡＮ１０４の一部とすることができ、ＲＡＮ１０４は、他の基地局、及び／又は基地局コントローラ（ＢＳＣ）、無線ネットワークコントローラ（ＲＮＣ）、中継ノードなどのネットワーク要素（図示せず）も含むことができる。基地局１１４ａ及び／又は基地局１１４ｂは、セル（図示せず）と呼ばれることがある１つ又は複数のキャリア周波数で、無線信号を送信及び／又は受信するように構成され得る。これらの周波数は、認可されたスペクトル、認可されていないスペクトル、又は認可されたスペクトルと認可されていないスペクトルとの組み合わせにあり得る。セルは、比較的固定されている場合もあれば、時間の経過とともに変化する場合もある特定の地理的領域に無線サービスのカバレッジを提供することができる。セルは、セルセクタに更に分割され得る。例えば、基地局１１４ａに関連付けられたセルは、３つのセクタに分割され得る。よって、一実施形態では、基地局１１４ａは、３つの送受信機を、すなわち、セルのセクタごとに１つずつ含むことができる。一実施形態では、基地局１１４ａは、多入力多出力（ＭＩＭＯ）技術を利用することができ、セルのセクタごとに複数の送受信機を利用することができる。例えば、ビームフォーミングを使用して、所望の空間的方向に信号を送信及び／又は受信することができる。
【００１９】
[0038]  基地局１１４ａ、１１４ｂは、無線インターフェース１１６を介してＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つ又は複数と通信することができ、無線インターフェース１１６は、任意の適切な無線通信リンク（例えば、無線周波（ＲＦ）、マイクロ波、センチメートル波、ミリ波、赤外線（ＩＲ）、紫外線（ＵＶ）、可視光など）とすることができる。無線インターフェース１１６は、任意の適切な無線アクセス技術（ＲＡＴ）を使用して確立され得る。
【００２０】
[0039]  より具体的には、上述のように、通信システム１００は、多元接続システムとすることができ、ＣＤＭＡ、ＴＤＭＡ、ＦＤＭＡ、ＯＦＤＭＡ、及びＳＣ−ＦＤＭＡなどの、１つ又は複数のチャネルアクセス方式を利用することができる。例えば、ＲＡＮ１０４内の基地局１１４ａ、及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、広帯域CDMA（WCDMA（登録商標））を使用して無線インターフェース１１６を確立することができる、ユニバーサル移動体通信システム（ＵＭＴＳ）地上無線アクセス（ＵＴＲＡ）などの無線技術を実装することができる。WCDMA（登録商標）は、高速パケットアクセス（ＨＳＰＡ）及び／又は発展型ＨＳＰＡ（ＨＳＰＡ＋）などの通信プロトコルを含むことができる。ＨＳＰＡは、高速ダウンリンク（ＤＬ）パケットアクセス（ＨＳＤＰＡ）及び／又は高速ＵＬパケットアクセス（ＨＳＵＰＡ）を含むことができる。
【００２１】
[0040]  一実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ロングタームエボリューション（LTE）及び／又はLTE-Advanced（LTE-A）及び／又はLTE-Advanced Pro（LTE-A Pro）を使用して無線インターフェース１１６を確立することができる、発展型ＵＭＴＳ地上無線アクセス（Ｅ−ＵＴＲＡ）などの無線技術を実装することができる。
【００２２】
[0041]  一実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、Ｎｅｗ  Ｒａｄｉｏ（ＮＲ）を使用して無線インターフェース１１６を確立することができる、ＮＲ無線アクセスなどの無線技術を実装することができる。
【００２３】
[0042]  一実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、複数の無線アクセス技術を実装することができる。例えば、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、例えばデュアルコネクティビティ（ＤＣ）の原理を使用して、LTE無線アクセス及びＮＲ無線アクセスを一緒に実装することができる。よって、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃによって利用される無線インターフェースは、複数のタイプの基地局（例えば、ｅＮＢ及びｇＮＢ）との間で送受信される複数のタイプの無線アクセス技術及び／又は送信によって特徴付けられ得る。
【００２４】
[0043]  他の実施形態では、基地局１１４ａ及びＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃは、ＩＥＥＥ８０２．１１（すなわち、ワイヤレスフィデリティ（Wi-Fi））、ＩＥＥＥ８０２．１６、（すなわち、ワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（WiMAX））、CDMA2000、CDMA2000 1X、CDMA2000 EV-DO、暫定標準２０００（ＩＳ−２０００）、暫定標準９５（ＩＳ−９５）、暫定標準８５６（ＩＳ−８５６）、汎欧州デジタル移動体通信システム（GSM）、エンハンスト・データレート・フォー・GSMエボリューション（EDGE）、及びGSM EDGE（ＧＥＲＡＮ）などの無線技術を実装することができる。
【００２５】
[0044]  図１Ａの基地局１１４ｂは、例えば、無線ルータ、ホームＮｏｄｅＢ、ホームｅＮｏｄｅＢ、又はアクセスポイントとすることができ、職場、家庭、乗物、キャンパス、産業用施設、エアコリドー（例えば、ドローンによる使用のため）、及び道路などの局所的エリアにおける無線接続を容易にするための任意の適切なＲＡＴを利用することができる。一実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１１などの無線技術を実装して、無線ローカルエリアネットワーク（ＷＬＡＮ）を確立することができる。一実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、ＩＥＥＥ８０２．１５などの無線技術を実装して、無線パーソナルエリアネットワーク（ＷＰＡＮ）を確立することができる。また別の実施形態では、基地局１１４ｂ及びＷＴＲＵ１０２ｃ、１０２ｄは、セルラベースのＲＡＴ（例えば、WCDMA（登録商標）、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、ＮＲなど）を利用して、ピコセル又はフェムトセルを確立することができる。図１Ａに示すように、基地局１１４ｂは、インターネット１１０への直接的な接続を有し得る。よって、基地局１１４ｂは、ＣＮ１０６を介して、インターネット１１０にアクセスする必要がないことがある。
【００２６】
[0045]  ＲＡＮ１０４はＣＮ１０６と通信することができ、ＣＮ１０６は、音声、データ、アプリケーション、及び／又はボイスオーバインターネットプロトコル（ＶｏＩＰ）サービスをＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのうちの１つ又は複数に提供するように構成された任意のタイプのネットワークとすることができる。データは、異なるスループット要件、遅延要件、誤差許容要件、信頼性要件、データスループット要件、及びモビリティ要件など、様々なサービス品質（ＱｏＳ）要件を有し得る。ＣＮ１０６は、呼制御、請求サービス、モバイルロケーションベースのサービス、プリペイド通話、インターネット接続、ビデオ配信などを提供することができる、及び／又はユーザ認証などの高レベルのセキュリティ機能を実行することができる。図１Ａには示されていないが、ＲＡＮ１０４及び／又はＣＮ１０６は、ＲＡＮ１０４と同じＲＡＴ又は異なるＲＡＴを利用する他のＲＡＮと直接又は間接的に通信することができることが理解されよう。例えば、ＮＲ無線技術を利用し得るＲＡＮ１０４に接続するのに加えて、ＣＮ１０６は、GSM、ＵＭＴＳ、CDMA2000、WiMAX、Ｅ−ＵＴＲＡ、又はWi-Fi無線技術を利用する別のＲＡＮ（図示せず）とも通信することができる。
【００２７】
[0046]  ＣＮ１０６は、ＰＳＴＮ１０８、インターネット１１０、及び／又は他のネットワーク１１２にアクセスするための、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのためのゲートウェイとしても働くことができる。ＰＳＴＮ１０８は、基本電話サービス（ＰＯＴＳ）を提供する回線交換電話網を含むことができる。インターネット１１０は、ＴＣＰ／ＩＰインターネットプロトコルスイート内の伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、及び／又はインターネットプロトコル（ＩＰ）など、共通の通信プロトコルを使用する、相互接続されたコンピュータネットワーク及び装置から構成されるグローバルシステムを含むことができる。ネットワーク１１２は、他のサービスプロバイダによって所有及び／又は運営される有線及び／又は無線通信ネットワークを含むことができる。例えば、ネットワーク１１２は、ＲＡＮ１０４と同じＲＡＴ又は異なるＲＡＴを利用し得る１つ又は複数のＲＡＮに接続された別のＣＮを含むことができる。
【００２８】
[0047]  通信システム１００内のＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄのいくつか又はすべては、マルチモード機能を含むことができる（例えば、ＷＴＲＵ１０２ａ、１０２ｂ、１０２ｃ、１０２ｄは、異なる無線リンクを介して異なる無線ネットワークと通信するための複数の送受信機を含むことができる）。例えば、図１Ａに示すＷＴＲＵ１０２ｃは、セルラベースの無線技術を利用し得る基地局１１４ａと通信するように、またＩＥＥＥ８０２無線技術を利用し得る基地局１１４ｂと通信するように構成され得る。
【００２９】
[0048]  図１Ｂは、例示的なＷＴＲＵ１０２を示すシステム図である。図１Ｂに示すように、ＷＴＲＵ１０２は、とりわけ、プロセッサ１１８、送受信機１２０、送信／受信要素１２２、スピーカ／マイクロフォン１２４、キーパッド１２６、ディスプレイ／タッチパッド１２８、着脱不能メモリ１３０、着脱可能メモリ１３２、電源１３４、全地球測位システム（ＧＰＳ）チップセット１３６、及び／又は他の周辺機器１３８を備え得る。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、上記の要素の任意のサブコンビネーションを含むことができることが理解されよう。
【００３０】
[0049]  プロセッサ１１８は、汎用プロセッサ、専用プロセッサ、従来のプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つ又は複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）回路、他の任意のタイプの集積回路（ＩＣ）、及び状態機械などとすることができる。プロセッサ１１８は、信号符号化、データ処理、電力制御、入力／出力処理、及び／又はＷＴＲＵ１０２が無線環境で動作することを可能にする他の任意の機能を実行することができる。プロセッサ１１８は送受信機１２０に結合することができ、送受信機１２０は送信／受信要素１２２に結合することができる。図１Ｂは、プロセッサ１１８と送受信機１２０とを別々の構成要素として示しているが、プロセッサ１１８と送受信機１２０とは、電子パッケージ又はチップ内に一緒に統合することができることが理解されよう。
【００３１】
[0050]  送信／受信要素１２２は、無線インターフェース１１６を介して基地局（例えば、基地局１１４ａ）に信号を送信する、又は基地局から信号を受信するように構成され得る。例えば、一実施形態では、送信／受信要素１２２は、ＲＦ信号を送信及び／又は受信するように構成されたアンテナとすることができる。一実施形態では、送信／受信要素１２２は、例えば、ＩＲ、ＵＶ、又は可視光信号を送信及び／又は受信するように構成された放出器／検出器とすることができる。また別の実施形態では、送信／受信要素１２２は、ＲＦ信号と光信号との両方を送信及び／又は受信するように構成され得る。送信／受信要素１２２は、無線信号の任意の組み合わせを送信及び／又は受信するように構成され得ることが理解されよう。
【００３２】
[0051]  図１Ｂでは、送信／受信要素１２２は単一の要素として示されているが、ＷＴＲＵ１０２は、任意の数の送信／受信要素１２２を含むことができる。より具体的には、ＷＴＲＵ１０２は、ＭＩＭＯ技術を利用することができる。よって、一実施形態では、ＷＴＲＵ１０２は、無線インターフェース１１６を介して無線信号を送信及び受信するための２つ以上の送信／受信要素１２２（例えば、複数のアンテナ）を含むことができる。
【００３３】
[0052]  送受信機１２０は、送信／受信要素１２２によって送信される信号を変調するように、また送信／受信要素１２２によって受信された信号を復調するように構成され得る。上述のように、ＷＴＲＵ１０２は、マルチモード機能を有することができる。よって、送受信機１２０は、ＷＴＲＵ１０２が、例えば、ＮＲ及びＩＥＥＥ８０２．１１などの複数のＲＡＴを介して通信することを可能にするための複数の送受信機を含むことができる。
【００３４】
[0053]  ＷＴＲＵ１０２のプロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、及び／又はディスプレイ／タッチパッド１２８（例えば、液晶表示（ＬＣＤ）ディスプレイユニット又は有機発光ダイオード（ＯＬＥＤ）ディスプレイユニット）に結合することができ、それらからユーザ入力データを受信することができる。プロセッサ１１８は、スピーカ／マイクロフォン１２４、キーパッド１２６、及び／又はディスプレイ／タッチパッド１２８にユーザデータを出力することもできる。加えて、プロセッサ１１８は、着脱不能メモリ１３０及び／又は着脱可能メモリ１３２など、任意のタイプの適切なメモリから情報を入手することができ、それらにデータを格納することができる。着脱不能メモリ１３０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、ハードディスク、又は他の任意のタイプのメモリ記憶装置を含むことができる。着脱可能メモリ１３２は、加入者識別モジュール（ＳＩＭ）カード、メモリスティック、及びセキュアデジタル（ＳＤ）メモリカードなどを含むことができる。他の実施形態では、プロセッサ１１８は、ＷＴＲＵ１０２上に物理的に配置されたメモリではなく、サーバ又はホームコンピュータ（図示せず）上などに配置されたメモリからの情報にアクセスすることができ、それらにデータを格納することができる。
【００３５】
[0054]  プロセッサ１１８は、電源１３４から電力を受け取ることができ、ＷＴＲＵ１０２内の他の構成要素に電力を分配及び／又は制御するように構成され得る。電源１３４は、ＷＴＲＵ１０２に給電するための任意の適切な装置とすることができる。例えば、電源１３４は、１つ又は複数の乾電池（例えば、ニッケル−カドミウム（ＮｉＣｄ）、ニッケル−亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）など）、太陽電池、及び燃料電池などを含むことができる。
【００３６】
[0055]  プロセッサ１１８はＧＰＳチップセット１３６にも結合することができ、ＧＰＳチップセット１３６は、ＷＴＲＵ１０２の現在位置に関する位置情報（例えば、経度及び緯度）を提供するように構成され得る。ＧＰＳチップセット１３６からの情報に加えて、又はその代わりに、ＷＴＲＵ１０２は、基地局（例えば、基地局１１４ａ、１１４ｂ）から無線インターフェース１１６を介して位置情報を受信することができる、及び／又は２つ以上の近くの基地局から受信した信号のタイミングに基づいて、自らの位置を決定することができる。ＷＴＲＵ１０２は、実施形態との整合性を保ちながら、任意の適切な位置決定方法を用いて、位置情報を獲得することができることが理解されよう。
【００３７】
[0056]  プロセッサ１１８は他の周辺機器１３８に更に結合することができ、他の周辺機器１３８は、追加的な特徴、機能、及び／又は有線若しくは無線接続を提供する、１つ又は複数のソフトウェアモジュール及び／又はハードウェアモジュールを含むことができる。例えば、周辺機器１３８は、加速度計、ｅコンパス、衛星送受信機、（写真及び／又はビデオ用の）デジタルカメラ、ユニバーサルシリアルバス（ＵＳＢ）ポート、バイブレーション装置、テレビ送受信機、ハンズフリーヘッドセット、Bluetooth（登録商標）モジュール、周波数変調（ＦＭ）ラジオユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ、仮想現実及び／又は拡張現実（ＶＲ／ＡＲ）装置、並びにアクティビティトラッカなどを含むことができる。周辺機器１３８は１つ又は複数のセンサを含むことができ、センサは、ジャイロスコープ、加速度計、ホール効果センサ、磁力計、方向センサ、近接センサ、温度センサ、時間センサ、ジオロケーションセンサ、高度計、光センサ、タッチセンサ、磁力計、気圧計、ジェスチャーセンサ、生体認証センサ、及び／又は湿度センサのうちの１つ又は複数であり得る。
【００３８】
[0057]  ＷＴＲＵ１０２は、（例えば、ＵＬ（例えば、送信用）及びダウンリンク（例えば、受信用）の両方の特定のサブフレームに関連付けられている信号の一部又はすべての送信及び受信が並行して及び／又は同時に行われ得る全二重無線を含むことができる。全二重無線は、ハードウェア（チョークなど）又はプロセッサ（例えば、別のプロセッサ（図示せず）又はプロセッサ１１８を介して）による信号処理のいずれかを介した自己干渉を削減及び又は実質的に排除するために干渉管理ユニットを含むことができる。一実施形態では、ＷＴＲＵ１０２は、（例えば、ＵＬ（例えば、送信用）又はダウンリンク（例えば、受信用）のいずれかの特定のサブフレームに関連付けられている）信号の一部又はすべての送信及び受信のための半二重無線を含むことができる。
【００３９】
[0058]  図１Ａ〜図１ＢではＷＴＲＵは無線端末として記載されているが、特定の代表的な実施形態では、そのような端末が通信ネットワークとの有線通信インターフェースを（例えば、一時的又は恒久的に）使用できることが企図されている。
【００４０】
[0059]  代表的な実施形態では、他のネットワーク１１２はＷＬＡＮであり得る。
【００４１】
[0060]  図１Ａ〜図１Ｂ及び対応する説明を考慮して、本明細書に記載の機能のうちの１つ若しくは複数、又はすべては、１つ又は複数のエミュレーション装置（図示せず）によって実行され得る。エミュレーション装置は、本明細書に記載の機能の１つ若しくは複数、又はすべてをエミュレートするように構成された１つ又は複数の装置であり得る。例えば、エミュレーション装置は、他の装置をテストする、及び／又はネットワーク及び／又はＷＴＲＵ機能をシミュレートするために使用され得る。
【００４２】
[0061]  エミュレーション装置は、ラボ環境及び／又は事業者ネットワーク環境で他の装置の１つ又は複数のテストを実施するように設計され得る。例えば、１つ又は複数のエミュレーション装置は、通信ネットワーク内の他の装置をテストするために、有線及び／又は無線通信ネットワークの一部として完全に若しくは部分的に実装及び／又は配備されるとともに、１つ若しくは複数、又はすべての機能を実行し得る。１つ又は複数のエミュレーション装置は、有線及び／又は無線通信ネットワークの一部として一時的に実装／配備されるとともに、１つ若しくは複数、又はすべての機能を実行し得る。エミュレーション装置は、テストの目的で別の装置に直接結合できる、及び／又は無線通信を使用してテストを実行し得る。
【００４３】
[0062]  １つ又は複数のエミュレーション装置は、有線及び／又は無線通信ネットワークの一部として実装／配備されることなしに、１つ又はすべてを含む複数の機能を実行し得る。例えば、エミュレーション装置は、１つ又は複数の構成要素のテストを実施するために、テストラボでのテストシナリオ及び／又は配備されていない（例えば、テストしている）有線及び／又は無線通信ネットワークで利用され得る。１つ又は複数のエミュレーション装置はテスト機器とすることができる。直接ＲＦ結合及び／又はＲＦ回路（例えば、１つ又は複数のアンテナを含み得る）を介した無線通信は、データを送信及び／又は受信するためにエミュレーション装置によって使用され得る。
【００４４】
詳細な説明
ブロックベースのビデオ符号化
[0063]  ＨＥＶＣと同様に、ＶＶＣはブロックベースのハイブリッドビデオ符号化フレームワークに基づいて構築されている。図２Ａは、ブロックベースのハイブリッドビデオ符号化システムの例のブロック図を示している。入力ビデオ信号１０３が（符号化ユニット（ＣＵ）と呼ばれる）ブロック単位で処理される。ＶＴＭ−１．０では、ＣＵは最大１２８×１２８画素とすることができる。しかしながら、四分木のみに基づいてブロックを分割するＨＥＶＣとは異なり、ＶＴＭ−１．０では、四分木／二分木／三分木に基づいて様々なローカル特性に適応するように、１つの符号化ツリーユニット（ＣＴＵ）がＣＵに分割される。加えて、ＨＥＶＣにおけるマルチ分割ユニットタイプの概念が削除され、つまり、ＣＵ、予測ユニット（ＰＵ）、及び変換ユニット（ＴＵ）の区別はＶＶＣ−１．０には存在しなくなり、代わりに、各ＣＵが、それ以上の分割なしに常に予測と変換との両方の基本単位として使用される。マルチタイプツリー構造では、１つのＣＴＵが四分木構造によってまず分割される。次に、各四分木葉ノードが二分木及び三分木構造で更に分割され得る。図３Ａ〜図３Ｅに示すように、四分木分割、水平二分木分割、垂直二分木分割、水平三分木分割、及び垂直三分木分割の５つの分割タイプがある。図２Ａでは、空間的予測（１６０）及び／又は時間的予測（１６２）が実行され得る。空間的予測（又は「イントラ予測」）は、同じビデオ画像／スライス内の既に符号化された隣接するブロックのサンプル（参照サンプルと呼ばれる）からの画素を使用して、現在のビデオブロックを予測する。空間的予測は、ビデオ信号に固有の空間的冗長性を低減する。時間的予測（「インター予測」又は「動き補償予測」とも呼ばれる）は、既に符号化されたビデオ画像からの再構成された画素を使用して、現在のビデオブロックを予測する。時間的予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のＣＵの時間的予測信号は、通常、現在のＣＵとその時間的参照との間の動きの量及び方向を指示する１つ又は複数の動きベクトル（ＭＶ）によってシグナリングされる。また、複数の参照画像がサポートされている場合、１つの参照画像インデックスが追加的に送信され、１つの参照画像インデックスは、参照画像ストア（１６４）内のどの参照画像から時間的予測信号が到来したかを特定するために使用される。空間的及び／又は時間的予測の後に、符号化器内のモード決定ブロック（１８０）は、例えばレート歪み最適化法に基づいて最良の予測モードを選択する。次いで、予測ブロックは、現在のビデオブロックから差し引かれ（１１７）、予測残差は、変換（１０５）を使用して無相関化され、量子化される（１０７）。量子化された残差係数は、逆量子化され（１１１）、逆変換され（１１３）て再構成された残差を形成し、次いで、再構成された残差は、予測ブロックに再び加えられ（１２７）てＣＵの再構成された信号を形成する。デブロッキングフィルタなどの更なるループ内フィルタリングが、再構成されたＣＵが参照画像ストア（１６４）中に入れられ、将来のビデオブロックを符号化するために使用される前に、再構成されたＣＵに適用され得る（１６６）。出力ビデオビットストリーム��２１を形成するために、符号化モード（インター又はイントラ）、予測モード情報、動き情報、及び量子化された残差係数がすべてエントロピー符号化ユニット（１０９）に送信されて、更に圧縮され、パックされてビットストリームを形成する。
【００４５】
[0064]  図２Ｂは、ブロックベースのビデオ復号器の例のブロック図を示している。ビデオビットストリーム２０２は、まずエントロピー復号ユニット２０８においてアンパックされ、エントロピー復号される。符号化モード及び予測情報は、予測ブロックを形成するために（イントラ符号化された場合は）空間的予測ユニット２６０に又は（インター符号化された場合は）時間的予測ユニット２６２に送信される。残差変換係数は、残差ブロックを再構成するために逆量子化ユニット２１０と逆変換ユニット２１２とに送信される。次いで予測ブロックと残差ブロックとは、２２６において足し合わされる。再構成されたブロックは、それが参照画像ストア２６４に格納される前にループ内フィルタリングを更に経ることができる。次いで、参照画像ストア内の再構成されたビデオは、ディスプレイ装置を駆動するために送出され得、また将来のビデオブロックを予測するために使用され得る。
【００４６】
[0065]  上述のように、ＢＭＳ−１．０は、図２Ａ及び図２Ｂに示すのと同じＶＴＭ−１．０の符号化／復号ワークフローに準拠している。しかしながら、いくつかの符号化モジュール、特に時間的予測に関連するモジュールは、更に拡張及び強化される。以下では、ＢＭＳ−１．０又は以前のＪＥＭに含まれている１つのインター符号化ツールとしてのアフィン動き補償について簡単に説明する。
【００４７】
アフィンモード
[0066]  ＨＥＶＣでは、並進運動モデルのみが動き補償予測に適用される。一方で、実際には、多くの種類の動き、例えばズームイン／アウト、回転、射影運動、及び他の不規則な動きがある。ＢＭＳでは、簡略化されたアフィン変換動き補償予測が適用される。インター符号された各ＣＵのフラグが、並進運動又はアフィン動きモデルのどちらがインター予測に適用されるかを指示するためにシグナリングされる。
【００４８】
[0067]  簡略化されたアフィン動きモデルは４パラメータのモデルであり、つまり、水平方向及び垂直方向における並進移動のための２つのパラメータ、ズーム運動のための１つのパラメータ、並びに回転運動のための１つのパラメータである。水平ズームパラメータは垂直ズームパラメータに等しい。水平回転パラメータは垂直回転パラメータに等しい。４パラメータのアフィン動きモデルは、ＢＭＳにおいて、現在のＣＵの左上隅及び右上隅において定義された２つの制御点位置において２つの動きベクトルを１つの対として使用して符号化される。図４Ａに示すように、ブロックのアフィン動き場は、２つの制御点動きベクトル（Ｖ0，Ｖ1）によって記述される。制御点動きに基づいて、アフィン符号化されたブロックの動き場（ｖx，ｖy）は、次のように表される。
【数１】
2021536686.tif 000003
図４Ａに示すように、（ｖ0x，ｖ0y）は、左上隅の制御点の動きベクトルであり、（ｖ1x，ｖ1y）は、右上隅の制御点の動きベクトルである。加えて、ブロックがアフィンモードで符号化されるとき、その動き場は、サブブロックの粒度に基づいて導出される。具体的には、各サブブロックの動きベクトルを導出するために、（図４Ｂに示すような）各サブブロックの中央サンプルの動きベクトルは（１）にしたがって計算され、１／１６画素精度に丸められる。次いで、導出された動きベクトルは、現在のブロック内の各サブブロックの予測信号を生成するために、動き補償ステージにおいて使用される。加えて、アフィン動き補償に適用されるサブブロックサイズは次のように計算される。
【数２】
2021536686.tif 000004
（ｖ2x，ｖ2y）は左下の制御点の動きベクトルであり、ｗ及びｈは（１）により計算されたＣＵ幅及びＣＵ高さであり、Ｍ及びＮは、導出されたサブブロックサイズの幅及び高さである。
【００４９】
[0068]  ４つのアフィンモデルパラメータは繰り返し推定され得る。ステップｋにおけるＭＶ対を
【数３】
2021536686.tif 000005
とし、元の輝度信号をＩ（ｉ，ｊ）とし、予測輝度信号をＩ’k（ｉ，ｊ）として表す。空間的勾配ｇx（ｉ，ｊ）及びｇy（ｉ，ｊ）は、予測信号Ｉ’k（ｉ，ｊ）に対して水平方向及び垂直方向にそれぞれ適用されたソーベルフィルタを使用して導出される。式（１）の導関数は次のとおりである。
【数４】
2021536686.tif 000006
（ａ，ｂ）は、ステップｋにおける差分並進運動パラメータであり、（ｃ，ｄ）は差分ズーム及び回転パラメータである。
【数５】
2021536686.tif 000007
【００５０】
[0069]  オプティカルフロー方程式に基づいて、輝度の変化と空間的勾配及び時間的移動との間の関係は次のように定式化される。
【数６】
2021536686.tif 000008
【００５１】
[0070]
【数７】
2021536686.tif 000009
及び
【数８】
2021536686.tif 000010
を式（３）に代入すると、パラメータ（ａ，ｂ，ｃ，ｄ）についての式が得られる。
Ｉ’k（ｉ，ｊ）−Ｉ（ｉ，ｊ）＝（ｇx（ｉ，ｊ）＊ｉ＋ｇy（ｉ，ｊ）＊ｊ）＊ｃ＋（−ｇx（ｉ，ｊ）＊ｊ＋ｇy（ｉ，ｊ）＊ｉ）＊ｄ＋ｇx（ｉ，ｊ）＊ａ＋ｇy（ｉ，ｊ）＊ｂ  （７）
【００５２】
[0071]  ＣＵ内のすべてのサンプルが式（７）を満たすため、パラメータセット（ａ，ｂ，ｃ，ｄ）は、最小二乗法を使用して解くことができる。ステップ（ｋ＋１）における２つの制御点
【数９】
2021536686.tif 000011
におけるＭＶは、式（４）及び（５）で解くことができ、指定された精度に丸められる（すなわち、１／４画素、ｉ。繰り返しを使用して、２つの制御点におけるＭＶは、パラメータ（ａ，ｂ，ｃ，ｄ）がすべてゼロとなる、又は繰り返し回数が所定の制限を満たして収束するまで精緻化され得る。
【００５３】
[0072]  図１４に示すように、６パラメータのアフィン符号化されたＣＵには、左上、右上、及び左下の３つの制御点がある。左上の制御点の動きは並進運動であり、右上の制御点の動きは水平方向における回転及びズーム運動に関連し、左下の制御点の動きは垂直方向における回転及びズーム運動に関連している。４パラメータのアフィン動きモデルの場合、水平方向及び垂直方向における回転及びズーム運動は同じである。各サブブロックの動きベクトル（ＭＶx，ＭＶy）は、制御点における３つのＭＶを使用して次のように導出される。
【数１０】
2021536686.tif 000012
（ｘ，ｙ）はサブブロックの中心位置であり、ｗ及びｈはＣＵの幅及び高さである。
【００５４】
アフィンマージモード
[0073]  ＣＵがアフィンモードで符号化される場合、各参照リストの２つの制御点の動きベクトルの２つのセットが、予測符号化でシグナリングされる。ＭＶとその予測子との差分はロスレスで符号化され、このシグナリングオーバーヘッドは、特に低ビットレートではかなりのものになる。シグナリングオーバーヘッドを減らすために、アフィンマージモードは、動き場の局所的な連続性を考慮することによりＢＭＳにも適用される。現在のＣＵの２つの制御点における動きベクトルは、隣接するブロックから選択されたアフィンマージ候補のアフィン動きを使用して導出される。現在のＣＵがアフィンマージモードで符号化される場合、図５に示すように５つの隣接するブロックがＮ0からＮ4の順序でチェックされる。そして、第１のアフィン符号化された隣接するブロックがアフィンマージ候補として使用される。例えば、図６に示すように、現在のＣＵはアフィンマージモードとして符号化され、その左下の隣接するブロック（Ｎ0）がアフィンマージ候補として選択される。ブロックＮ0を含むＣＵの幅及び高さはｎｗ及びｎｈで表される。現在のＣＵの幅及び高さはｃｗ及びｃｈで表される。位置ＰiにおけるＭＶは、（ｖix，ｖiy）として表される。制御点Ｐ0におけるＭＶ（ｖ0x，ｖ0y）は、次のように導出される。
【数１１】
2021536686.tif 000013
【００５５】
[0074]  制御点Ｐ1におけるＭＶ（ｖ1x，ｖ1y）は、次のように導出される。
【数１２】
2021536686.tif 000014
【００５６】
[0075]  制御点Ｐ2におけるＭＶ（ｖ2x，ｖ2y）は、次のように導出される。
【数１３】
2021536686.tif 000015
【００５７】
[0076]  ２つの制御点（Ｐ0及びＰ1）におけるＭＶが導出された後、現在のＣＵ内の各サブブロックのＭＶが上述のように導出され、この導出されたサブブロックＭＶがサブブロックベースの動き補償及び将来の画像符号化のための時間的動きベクトル予測に使用され得る。
【００５８】
アフィンＭＶ予測
[0077]  非マージアフィン符号化されたＣＵの場合、制御点におけるＭＶのシグナリングはコストがかかり、シグナリングオーバーヘッドを削減するために予測符号化が使用される。ＢＭＳでは、アフィンＭＶ予測子は、隣接する符号化されたブロックの動きから生成される。アフィン符号化されたＣＵのＭＶ予測には、次の２種類の予測子、すなわち、（ａ）制御点の隣接するブロックからの生成されたアフィン動きと、（ｂ）従来のＭＶ予測に使用される並進運動とがあり、（ｂ）は、（ａ）によるアフィン予測子の数が十分ではない場合（ＢＭＳでは２未満）にのみ使用される。
【００５９】
[0078]  ３セットのＭＶを使用して、複数のアフィン動き予測子を生成する。図７に示すように、３つのＭＶセットは、（１）｛ＭＶA，ＭＶB，ＭＶC｝として示される、セットＳ１から構成される隅Ｐ0における隣接するブロック｛Ａ，Ｂ，Ｃ｝からのＭＶ、（２）｛ＭＶD，ＭＶE｝として示される、セットＳ２から構成される隅Ｐ1における隣接するブロック｛Ｄ，Ｅ｝からのＭＶ、及び（３）｛ＭＶF，ＭＶG｝として示される、セットＳ３から構成される隅Ｐ2における隣接するブロック｛Ｆ，Ｇ｝からのＭＶである。隣接するブロックからのＭＶは次のように導出される。まず、空間的に隣接するブロックをチェックし、隣接するブロックがインター符号化ブロックである場合、ＭＶが直接使用され、隣接するブロックの参照画像は現在のＣＵの参照画像と同じになる、又は隣接するブロックの参照画像が現在のＣＵの参照画像とは異なる場合、ＭＶは時間的距離に応じてスケーリングされる。図８に示すように、現在の画像と現在のＣＵの参照画像との間の時間的距離をＴＢとし、現在の画像と隣接するブロックの参照画像との間の時間的距離をＴＤと表す。隣接するブロックのＭＶ1は次のようにスケーリングされる。
【数１４】
2021536686.tif 000016
【００６０】
[0079]  ＭＶ2が動きベクトルセットにおいて使用される。
【００６１】
[0080]  隣接するブロックがインター符号化ブロックではない場合、同一位置の参照画像内の同一位置のブロックがチェックされる。時間的に同一位置のブロックがインター符号化ブロックである場合、ＭＶは時間的距離に基づいて式（１８）でスケーリングされる。時間的に同一位置のブロックがインター符号化ブロックではない場合、その隣接するブロックのＭＶはゼロに設定される。
【００６２】
[0081]  ３セットのＭＶが取得された後、３セットのＭＶのそれぞれから１つのＭＶを選択することによって、アフィンＭＶ予測子が生成される。Ｓ１、Ｓ２、及びＳ３のサイズはそれぞれ３、２、及び２である。合計で、１２（３×２×２）の組み合わせが得られる。ＢＭＳでは、３つのＭＶで表されるズーム又は回転に関連するパラメータが事前定義された閾値よりも大きい場合、候補は破棄される。ＣＵの３つの隅、すなわち、左上、右上、及び左下について、１つの組み合わせを（ＭＶ0，ＭＶ1，ＭＶ2）として示す。以下の条件がチェックされる。
（｜（ｖ1x−ｖ0x）｜＞Ｔ＊ｗ）又は（｜（ｖ1y−ｖ0y）｜＞Ｔ＊ｈ）
又は（｜（ｖ2x−ｖ0x）｜＞Ｔ＊ｗ）又は（｜（ｖ2y−ｖ0y）｜＞Ｔ＊ｈ）  （１７）
Ｔは（１／２）である。条件が満たされた場合、つまりズーム又は回転が大きすぎる場合、候補は破棄される。
【００６３】
[0082]  ＢＭＳでは残りのすべての候補はソートされる。３つのＭＶの三つ組は、水平方向及び垂直方向の並進運動、ズーム、及び回転を含む６パラメータの動きモデルを表す。順序付け基準は、（ＭＶ0，ＭＶ1）で表される、この６パラメータの動きモデルと４パラメータの動きモデルとの間の差分である。差分が小さい候補ほど、順序付けられた候補リストにおけるインデックスが小さくなる。（ＭＶ0，ＭＶ1，ＭＶ2）によって表されるアフィン動きと（ＭＶ0，ＭＶ1）によって表されるアフィン動きモデルとの間の差分は、式（１８）で評価される。
Ｄ＝｜（ｖ1x−ｖ0x）＊ｈ−（ｖ2y−ｖ0y）＊ｗ｜＋｜（ｖ1y−ｖ0y）＊ｈ＋（ｖ2x−ｖ0x）＊ｗ｜  （１８）
【００６４】
アフィンＭＶ符号化
[0083]  ＣＵがアフィンモードとして符号化される場合、アフィンマージモード又はアフィン非マージモードとすることができる。上記のアフィンマージモードの場合、制御点におけるアフィンＭＶは、隣接するアフィン符号化されたＣＵのアフィンＭＶから導出される。したがって、アフィンマージモードについてはＭＶ情報をシグナリングする必要はない。アフィン非マージモードの場合、制御点におけるＭＶは差分符号化で符号化される。ＭＶ予測子は、上述のように隣接するＭＶを使用して生成され、現在のＭＶとその予測子との間の差分が符号化される。シグナリングされる差分ＭＶはＭＶＤと呼ばれる。アフィン４パラメータモデルには２つの制御点があるため、片方向予測のシグナリングには２つのＭＶＤが使用され、双方向予測のシグナリングには４つのＭＶＤが使用される。アフィン６パラメータモデルには３つの制御点があるため、片方向予測のシグナリングには３つのＭＶＤが使用され、双方向予測のシグナリングには６つのＭＶＤが使用される。ＭＶＤは、２次元ベクトル（水平成分及び垂直成分）であり、ロスレスで符号化されているため、圧縮が困難である。現在のＶＶＣ設計（ＶＴＭ−１．０／ＢＭＳ−１．０）では、シグナリング用のＭＶＤの精度は１／４画素精度である。
【００６５】
適応ＭＶＤ精度
[0084]  非マージ及び非アフィンインターモードとして符号化されたＣＵの場合、現在のＣＵのＭＶとその予測子との間のＭＶＤは異なる解像度で符号化され得る。これは１／４画素精度、１画素精度、又は４画素精度のいずれかとすることができる。１／４画素精度は小数精度である。１画素精度及び４画素精度はいずれも整数精度に属する。精度は、ＭＶＤ精度を指示するために各ＣＵについて２つのフラグでシグナリングされる。第１のフラグは、精度が１／４画素精度であるか否かを指示するためのものである。精度が１／４画素精度ではない場合、第２のフラグが１画素精度又は４画素精度であることを指示するためにシグナリングされる。動き推定では、通常、開始位置として扱われる初期ＭＶの周囲で差分ＭＶが探索される。開始位置は、その空間的及び時間的予測子から選択され得る。実装を容易にするために、開始ＭＶはＭＶＤシグナリングのための精度に丸められ、所望の精度を有するＭＶＤ候補のみが探索される。ＭＶ予測子もＭＶＤ精度に丸められる。ＶＴＭ／ＢＭＳ参照ソフトウェアでは、符号化器が異なるＭＶＤ精度のレート歪み（ＲＤ）コストをチェックし、ＲＤコストが最小の最適なＭＶＤ精度を選択する。ＲＤコストは、サンプル値の歪みと符号化レートとの加重和によって計算され、符号化パフォーマンスの尺度である。ＲＤコストが低い符号化モードほど、全体的な符号化パフォーマンスが向上する。シグナリングオーバーヘッドを削減するために、ＭＶＤ精度関連のフラグは、シグナリングされたＭＶＤがゼロではない場合にのみシグナリングされる。シグナリングされたＭＶＤがゼロである場合、１／４画素精度と推測される。
【００６６】
ＭＶＤ符号化
[0085]  ＶＶＣでは、ＭＶＤエントロピー符号化方法は、アフィン符号化モードと非アフィン符号化モードとの両方で同じである。この方法は２つの成分を独立して符号化する。各成分のＭＶＤの符号は１ビットで符号化される。絶対値の符号化は次の２部構成でなされる。（１）値０及び１がフラグで符号化される。第１のフラグは、絶対値が０よりも大きいか否かを指示するためのものであり、値が０よりも大きい場合、第２のフラグは絶対値が１よりも大きいか否かを指示するためのものである。（２）絶対値ｖが１よりも大きい場合、残りの部分（ｖ−２）が１次指数ゴロム（ＥＧ）符号で二値化され、これらの二値化されたビンが固定長符号化で符号化される。例えば、１次ＥＧ符号を使用した残りの部分（ｖ−２）の二値化を表１に示す。
【００６７】
【表１】
2021536686.tif 000017
【００６８】
符号化される同じ値において次数が異なるＥＧ符号のコードワード長は異なり得る。次数が小さいほど、小さい値のコードワード長は通常短く、大きい値のコードワード長は長くなる。アフィン符号化モードの場合、制御点のＭＶＤの統計値は異なり得る。同じ次数のＥＧ符号は、すべての制御点のＭＶＤ符号化に最適ではない場合がある。
【００６９】
いくつかの実施形態で対処される課題
[0086]  上述のように、ＭＶＤシグナリングは、シグナリングされるＭＶＤ、すなわち４パラメータのアフィンモデルでは２セットのＭＶＤ及び６パラメータのアフィンモデルでは３つのＭＶＤが多いため、並進運動モデルで符号化されたインターＣＵと比較して、明示的アフィン符号化されたＣＵに対して無視できないシグナリングオーバーヘッドをもたらす。シグナリングのための適応ＭＶＤ精度は、動き補償の効率とシグナリングオーバーヘッドとの間のより良いトレードオフを得るのに役立つ。しかしながら、アフィンモデルにおける制御点動きベクトルの使用は、従来の並進運動モデルの動きベクトルとは異なる、すなわち、制御点におけるＭＶは動き補償に直接使用されずに、サブブロックのＭＶを導出するために使用され、サブブロックのＭＶはそのサブブロックの動き補償に使用される。
【００７０】
[0087]  上述のアフィン動きモデルの動き推定（ＭＥ）プロセスは、ＶＴＭ／ＢＭＳでは従来の並進運動モデルのための動き探索方法とは異なる。２つの制御点における最適なＭＶを見つけるために使用されるＭＥプロセスは、オプティカルフローフィールドの推定に基づいている。各繰り返しごとに、オプティカルフロー推定から導出される差分ＭＶが異なり、各繰り返しにおいてステップサイズを制御することは困難である。対照的に、符号化ブロックについて最適なＭＶを見つけるための並進運動モデルのためのＭＥは、通常、特定の範囲内での位置単位の探索方法である。開始ＭＶを中心とした探索範囲内で、完全な探索スキームなどにおける可能な各位置についてＭＥコストを評価及び比較し、次いで最小のＭＥコストを有する最適な位置を選択できる。ＭＥコストは、通常、予測誤差と参照画像インデックス及びＭＶＤを含むＭＶ関連シグナリングのビットとの加重和として評価される。予測誤差は、符号化ブロックの元の信号と予測信号との間の絶対差分（ＳＡＤ）の和によって測定され得る。
【００７１】
[0088]  並進運動モデルのためのこの決定のためのＭＥプロセスでは、繰り返し中に探索ステップサイズを適応的に調整するための高速探索方法が多数ある。例えば、探索窓内の粗いステップサイズから探索を開始できる。粗いステップサイズで最適位置を取得すると、ステップサイズを縮小でき、探索窓も、前の探索窓から取得された最後の最適位置を中心とするより小さい窓に縮小される。この繰り返し探索は、探索ステップサイズが事前定義された閾値以下の値まで縮小されたとき、又は合計探索回数が事前定義された閾値を満たしたときに終了され得る。
【００７２】
[0089]  アフィンモデルのためのＭＥプロセスは、並進運動モデルのためのＭＥプロセスとは異なる。本開示は、異なるＭＶＤ精度のアフィンモデルのためのＭＥ方法を説明する。
【００７３】
いくつかの実施形態の概要
[0090]  アフィンモデルのための動き推定を提供するために、本開示は、アフィン動きモデルの符号化効率を改善する適応ＭＶＤ精度方法を説明する。いくつかの実施形態は、シグナリングと動き補償予測効率との間の改善されたトレードオフを提供する。適応ＭＶＤ精度のための決定方法も提案される。
【００７４】
[0091]  いくつかの実施形態では、アフィンモデルのためのＭＶＤ精度は、２つの制御点のための複数の精度セットから適応的に選択される。異なる制御点におけるＭＶＤの精度は異なり得る。
【００７５】
[0092]  いくつかの実施形態では、精度を改善し、符号化複雑度を減らすための異なるＭＶＤ精度におけるアフィンモデルのためのＭＶ探索方法が提案される。
【００７６】
[0093]  いくつかの実施形態では、アフィン制御点動きベクトル予測子（ＭＶＰ）及びＭＶは高精度に保たれるが、ＭＶＤは低精度に丸められる。これにより、高精度ＭＶを使用した動き補償の精度を向上させることができる。
【００７７】
[0094]  説明を簡単にするために、以下の説明では、例として４パラメータのアフィン動きモデルの使用を示す。ただし、提案される方法は、６パラメータのアフィン動きモデルに直接拡張することもできる。
【００７８】
アフィンモデルのための適応ＭＶＤ精度
[0095]  ＶＴＭ／ＢＭＳでは、アフィンモデルのための制御点におけるＭＶＤは、常に１／４画素精度でシグナリングされる。固定された精度は、ＭＶＤシグナリングオーバーヘッドとアフィン動き補償の効率との間の良好なトレードオフを提供できない。それらの制御点におけるＭＶＤの精度を上げることにより、各サブブロックの式（１）により導出されたＭＶがより正確になる。したがって、動き予測が改善され得る。しかしながら、ＭＶＤシグナリングにより多くのビットを使用する。本開示では、制御点における適応ＭＶＤ精度のための方法が提案される。左上の制御点の動きは、そのＣＵ内の各サブブロックの並進運動に関連し、２つの制御点間の動き差分は、各サブブロックのズーム及び回転の運動に関連する。アフィン動きモデルで符号化されたブロックは、異なる動き特性を有し得る。一部のアフィンブロックは高精度で並進運動及び回転運動を有することがあり、一部のアフィンブロックは低精度で並進運動を有し得る。いくつかの実施形態では、アフィンブロックの並進運動及び回転／ズーム運動は、異なる精度を有し得る。これに基づいて、いくつかの例示的な実施形態は、異なる制御点におけるＭＶＤ符号化について異なる精度をシグナリングする。
【００７９】
[0096]  各制御点について精度を個別にシグナリングすると、アフィン符号化されたＣＵのシグナリングオーバーヘッドが増加する。一実施形態は２つの制御点の精度を一緒にシグナリングすることである。頻繁に使用される組み合わせのみがシグナリングされる。例えば、左上の制御点の精度「ｐｒｅｃ０」と右上の制御点の精度「ｐｒｅｃ１」とを指示するために精度の対（ｐｒｅｃ０，ｐｒｅｃ１）が使用され得る。例示的な実施形態は、次の４つの精度セットを使用する。
Ｓ１｛（１画素，１／４画素），（１／４画素，１／４画素）｝、
Ｓ２｛（１画素，１／４画素），（１／４画素，１／４画素），（１／４画素，１／８画素）｝、
Ｓ３｛（１画素，１／４画素），（１／４画素，１／４画素），（１／８画素，１／８画素）｝、及び
Ｓ４｛（１画素，１／４画素），（１／４画素，１／４画素），（１／４画素，１／８画素），（１／８画素，１／８画素）｝。
【００８０】
[0097]  （１／４画素，１／４画素）精度は、通常の精度としてアフィンブロックに使用される。（１画素，１／４画素）は、低精度で並進運動を有するアフィンブロックに使用されるが、回転／ズームは通常の精度を依然として有する。（１／４画素，１／８画素）は、高精度で回転／ズームを有するアフィンブロックに使用される。（１／８画素，１／８画素）は、高精度で並進運動及び回転／ズームの両方を有するアフィンブロックに使用される。精度セットは、例えば、シーケンスパラメータセット、画像パラメータセット、又はスライスヘッダでシグナリングされ得る。
【００８１】
[0098]  いくつかの実施形態では、１つの制御点の精度は、現在のアフィンＣＵが双方向予測モードで符号化される場合、２つのリストのＭＶＤに適用される。いくつかの実施形態では、シグナリングの冗長性を低減するために、精度は、その制御点におけるＭＶＤがゼロではない場合にのみシグナリングされる。制御点におけるＭＶＤがゼロである場合、精度はゼロのＭＶＤに影響を与えないため、その制御点について精度情報をシグナリングする必要はない。例えば、左上のＭＶＤがゼロである場合、（１画素，１／４画素）精度は現在のＣＵに対して有効ではない。したがって、この場合、精度セットがＳ１の場合に追加の精度シグナリングがある。（１／４画素，１／４画素）及び（１／８画素，１／８画素）は、精度セットがＳ３の場合に有効である。ゼロのＭＶＤの精度は、（１／４画素，１／４画素）などのデフォルトの精度として推測されてもよい。別の実施形態は、ＭＶＤがゼロであっても、その予測子から高精度ＭＶにつながる可能性があるため、精度を常にシグナリングすることがある。例えば、ＭＶ予測子は、隣接するアフィン符号化されたＣＵから導出される。高い精度は高精度ＭＶ予測子をもたらし、したがって最終的なＭＶ精度は高くなる。
【００８２】
[0099]  これらの精度セットの二値化については、表２、表３、表４、及び表５が提案されており、及び二値化されたビンが符号化される。
【００８３】
【表２】
2021536686.tif 000018
【００８４】
【表３】
2021536686.tif 000019
【００８５】
【表４】
2021536686.tif 000020
【００８６】
【表５】
2021536686.tif 000021
【００８７】
[0100]  精度符号化に関して、例としてＳ３を使用する。表４によれば、二値化後にＳ３セットのために符号化される２つのビンがある。第１のビンが０である場合にのみ第２のビンが符号化される。ビンは、コンテキスト適応型二値算術符号化（ＣＡＢＡＣ）で符号化される。ＣＡＢＡＣにおける１つのビンのコンテキストは、０又は１の確率を記録するために使用される。第１のビンのコンテキストは、図９に示すように、その左側及び上部の隣接する位置から導出され得る。ここで２つの関数、すなわち、（１）ＣＵの動きモデルがアフィンモデルであるか否かを指示するＭｏｄｅｌ（ＣＵ）と、（２）精度（１画素，１／４画素）がＣＵに使用されているか否かを指示するＰｒｅｃ（ＣＵ）とを定義する。
【数１５】
2021536686.tif 000022
【００８８】
[0101]  隣接するＣＵ及び現在のＣＵの精度を比較し、式（２１）、（２２）で評価されるように、２つのフラグ、すなわちｅｑｕａｌＰｒｅｃ（ＢL）、ｅｑｕａｌＰｒｅｃ（ＢA）を得る。
【数１６】
2021536686.tif 000023
【００８９】
[0102]  第１のビンのコンテキストのインデックスは、式（２３）のように構成される。
Ｃｏｎｔｅｘｔ＿ｉｄｘ（ＢC）＝ｅｑｕａｌＰｒｅｃ（ＢA）＋ｅｑｕａｌＰｒｅｃ（ＢL）  （２３）
【００９０】
[0103]  第２のビンは、１つの固定コンテキストを使用して符号化され得る。或いは、１ビットの固定長符号化で符号化され得る。
【００９１】
[0104]  或いは、上述の精度の対ベースのシグナリングスキームにおいて左上の制御点の１画素精度を１／２画素精度に置き換えることができる。
【００９２】
[0105]  別の実施形態は、各制御点について精度を個別にシグナリングすることである。例えば、左上の制御点のためのセット｛１画素，１／４画素，１／８画素｝から選択された１つの精度をシグナリングし、右上の制御点のためのセット｛１／２画素，１／４画素，１／８画素｝から選択された１つの精度をシグナリングする。２つの制御点の精度セットが異なる理由は、１画素精度が回転及びズーム運動に関連する右上のＭＶに対して粗すぎるためであり、これは、回転及びズーム運動には並進運動よりも複雑なワーピング効果があるためである。アフィンブロックが低精度で並進運動を有する場合、左上の制御点は１画素精度を選択でき、アフィンブロックが高精度で並進運動を有する場合、左上の制御点は１／８画素精度を選択できる。アフィンブロックが高精度で回転又はズーム運動を有する場合、右上の制御点は１／８画素精度を選択できる。統計値に基づいて、下記の二値化テーブル（表６、表７）が、２つの制御点について選択された精度を符号化するために使用され得る。二値化符号はコードワードであり、ＣＡＢＡＣなどの様々なエントロピー符号化方法で符号化され得る。復号器側では、各制御点におけるアフィンＭＶ予測子は、ＭＶＤが有する精度に丸められ、ＭＶ場ストレージ用に高精度にスケーリングされる（例えば、ＶＶＣでは１／１６画素）。復号されたＭＶＤは、精度に基づいてＭＶ場ストレージのために高精度にまずスケーリングされる。次に、スケーリングされたＭＶＤがＭＶ予測子に加えられて、動き場ストレージに使用される精度で再構成されたＭＶが得られる。制御点における再構成されたＭＶは、各サブブロックの動き補償がそのサブブロックのサンプル値予測を取得するために、各サブブロックのＭＶを式（１）で導出するために使用される。
【００９３】
【表６】
2021536686.tif 000024
【００９４】
【表７】
2021536686.tif 000025
【００９５】
[0106]  別の実施形態では、両方の制御点の精度セットは、｛１／２画素，１／４画素，１／８画素｝などと同じであり得るが、２つの制御点の精度符号化の二値化は異なり得る。２つの制御点の精度符号化の二値化の例を表８に提案する。
【００９６】
【表８】
2021536686.tif 000026
【００９７】
[0107]  いくつかの実施形態では、制御点の精度制御は、シグナリングオーバーヘッドを節約するために大きいＣＵにのみ適用される。これは、通常、アフィン動きモデルは、大きいＣＵに対してより頻繁に使用されるためである。例えば、いくつかの実施形態では、制御点のＭＶＤ精度は、ＣＵが閾値（例えば、１６ｘ１６）よりも大きい面積を有する場合にのみシグナリングされ得る。小さなＣＵの場合、精度は両方の制御点について（１／４画素）と推測され得る。
【００９８】
[0108]  いくつかの実施形態では、精度セットは画像レベルで変更される。ランダムアクセス構成では、異なる時間的レイヤがあり、及び異なる量子化パラメータ（ＱＰ）が異なるレイヤで使用され得る。例えば、ＱＰが小さい低時間的レイヤ画像の場合、精度の選択肢が多くなり得、１／８画素などの高精度が好まれ得る。また、精度セット｛１／２画素，１／４画素，１／８画素｝を使用することもできる。ＱＰが大きい高時間的レイヤ画像の場合、精度の選択肢が少なくなり得、１画素などの低精度が好まれ得る。また、精度セット｛１画素，１／４画素｝又は｛１画素，１／２画素，１／４画素｝を使用することもできる。
【００９９】
[0109]  ６パラメータのアフィンモデルの場合、左上における動きは並進運動に関連し、右上と左上との間の動きの差分は水平方向における回転及びズームに関連し、左下と左上との間の動きの差分は、垂直方向における回転及びズームに関連する。６パラメータのアフィンモデルに三つ組精度（ｐ０，ｐ１，ｐ２）を指定し、ｐ０、ｐ１及びｐ２は左上、右上、及び左下の制御点の精度である。一実施形態は、右上及び左下の制御点の両方でＭＶＤシグナリングに同じ精度を設定することである。例えば、３つの制御点の精度は、セット｛（１画素，１／４画素，１／４画素），（１／４画素，１／４画素，１／４画素），（１／８画素，１／８画素，１／８画素）｝のうちの１つとすることができる。別の実施形態は、右上及び左下の制御点に異なる精度を設定することである。シグナリングオーバーヘッドを削減するためには、精度セットの選択肢をできるだけ少なくするのがよい。いくつかの実施形態では、精度セットはＣＵの形状に基づいて選択される。幅が高さに等しい場合（すなわち、正方形のＣＵの場合）、右上及び左下の精度は同じであり得、例えば、精度セットは｛（１画素，１／４画素，１／４画素），（１／４画素，１／４画素，１／４画素），（１／８画素，１／８画素，１／８画素）｝である。幅が高さよりも大きい場合（すなわち、長いＣＵの場合）、右上の制御点の精度は左下の制御点の精度以上になり得、例えば、精度セットは｛（１画素，１／４画素，１／４画素），（１／４画素，１／４画素，１／４画素），（１／８画素，１／８画素，１／４画素）｝である。幅が高さよりも小さい場合（つまり、背の高いＣＵの場合）、右上の制御点の精度は左下の制御点の精度以下であり得、例えば、精度セットは｛（１画素，１／４画素，１／４画素），（１／４画素，１／４画素，１／４画素），（１／８画素，１／４画素，１／８画素）｝である。
【０１００】
[0110]  いくつかの実施形態における復号器によって実行される方法の例を図１８に示す。復号器は、ビットストリームを受信し（ブロック１８０２）、ビットストリームから、少なくとも第１の動きベクトル予測子（ブロック１８０４）及び第２の動きベクトル予測子（ブロック１８０６）を特定する情報、所定の精度セット内の複数の精度のうちの１つを特定する情報（ブロック１８０８）、及び少なくとも第１の差分動きベクトル（ブロック１８１０）及び第２の差分動きベクトル（ブロック１８１２）を読み取る。第１及び第２の差分動きベクトルは、ブロック１８０８で読み取った情報によって特定される精度を有する。情報がビットストリームに符号化される構文及びセマンティクスは、実施形態が異なれば異なり得る。復号器は、少なくとも第１の動きベクトル予測子及び第１の差分動きベクトルから第１の制御点動きベクトル（ブロック１８１４）と、第２の動きベクトル予測子及び第２の差分動きベクトルから第２の制御点動きベクトル（ブロック１８１６）とを生成する。次いで、復号器はアフィン動きモデルを使用して現在のブロックの予測を生成する（ブロック１８１８）。アフィン動きモデルは、少なくとも第１の制御点動きベクトル及び第２の制御点動きベクトルによって特徴付けられる。
【０１０１】
適応ＭＶＤ精度によるアフィン動きモデルのための動き推定
[0111]  適応ＭＶＤ精度が２つのアフィン制御点に適用されると、符号化器は、アフィン動きモデルの符号化パフォーマンスに影響する最適な精度を決定するように動作する。符号化器はまた、アフィンモデルパラメータを決定するために所与の精度で良好な動き推定方法を適用するように動作する。
【０１０２】
[0112]  ＶＶＣにおいて、ＣＵモード決定の流れ図を図１０に示し、符号化器が異なる符号化モードをチェックし、及びＲＤコストが最小の最良の符号化モードを選択する。並進運動モデルの精度が異なる、すなわち、１／４画素、１画素、４画素である明示的インターモードには、３つのＲＤコストチェックプロセスがある。符号化複雑度を低減するために、４画素精度ベースのＲＤコストは、１画素精度のＲＤコストが１／４画素のＲＤコストよりも小さい、又はこれに匹敵する場合にのみ計算される。１／４画素精度におけるＲＤコスト計算プロセスでは、符号化器は、並進運動モデルとアフィン動きモデルとの動き推定のコストを比較し、ＭＥコストが最小の動きモデルを選択する。アフィン動きモデルの精度は、２つの制御点について（１／４画素，１／４画素）である。
【０１０３】
[0113]  いくつかの実施形態では、アフィン動きモデルの適応ＭＶＤ精度について、より多くの精度が導入される。例えば、精度（１／４画素，１／４画素）に加えて、（１画素，１／４画素）、（１／８画素，１／８画素）がアフィンモデルに加えられる。以下の説明では、例としてアフィンモデルに対してこれら３つの精度を使用する。しかしながら、他の実施形態は、他の精度又はより多くの精度の組み合わせを使用することもできる。アフィンモデルの（１／４画素，１／４画素）精度は、デフォルトの精度として使用され得る。複雑度を低減するために、（１／４画素，１／４画素）精度のアフィンモデルが評価される１／４画素ＲＤコストチェックプロセスを維持する。残りのアフィン精度チェックを１画素精度のＲＤコストチェックに追加する。
【０１０４】
[0114]  図１１は、１画素精度によるＲＤコストチェックを使用する実施形態の流れ図を示している。精度１画素（ブロック１１０２）における並進運動モデルのための１つの動き推定、及び精度（１画素，１／４画素）（ブロック１１０４）及び（１／８画素，１／８画素）（ブロック１１０６）における２つのアフィン動き推定がそれぞれ実行される。動きモデル及び対応する精度が、それらのＭＥコストを比較することによって選択される（ブロック１１０８）。符号化複雑度を低減するために、これら２つの精度におけるアフィン動き推定は、符号化器がアフィンモデルについて（１／４画素，１／４画素）精度を既にチェックした後、現在の最良のモードがアフィン動きモデルによるインター符号化モードである場合にのみ実行される。この理由は、異なるアフィンモデル精度が、現在のＣＵがアフィン運動を有する場合にのみ有効であるためである。符号化複雑度を更に低減するために、いくつかの実施形態では、符号化器は、現在の最良の符号化モードがアフィン非マージモードである、又は現在の最良の符号化モードがアフィン非スキップモードである場合にのみ、アフィンモデルのＭＥコストをチェックし得る。これは、マージ及びスキップモードは、現在のＣＵが既に効率的に符号化されており、改善が非常に限られ得ることを示しているためである。
【０１０５】
[0115]  （１画素，１／４画素）及び（１／２画素，１／４画素）精度はデフォルトの精度（１／４画素，１／４画素）よりも低い。左上の制御点の精度は粗く、符号化器が極小値を取得するのが容易であるため、オプティカルフローベースの繰り返し探索方法では不十分であることが判明している。そこで、この種の低精度のための複合探索方法を提案する。図１２は、探索方法の例の流れ図である。
【０１０６】
[0116]  「アフィンモード」のセクションで上述したオプティカルフローベースの繰り返し探索がまず適用される。次に、次のステップのための入力として（ＭＶ0，ＭＶ1）を得、ＭＶ0は左上の制御点のＭＶであり、ＭＶ1は右上の制御点のＭＶである（ブロック１２０２）。次のステップは、最も近い８つの隣接する位置をチェックすることによってＭＶ0を精緻化することである（ブロック１２０４）。図１３に例を示す。Ｐ０がＭＶ0が指す位置である場合、Ｐ０には８つの最も近い隣接位置がある。Ｐ０とＰ４、Ｐ１との間の距離は、１画素又は１／２画素などのＭＶ0の精度である。ＭＶ0が隣接する位置を指すように変更された場合、対応するＭＶ1はオプティカルフローベースの探索方法を使用して推定され、及びＭＥコストは更新された（ＭＶ0，ＭＶ1）を使用して計算される。これらの８つの隣接する位置は２つのグループにグループ化される。第１のグループは最も近い４つの隣接する位置｛Ｐ１，Ｐ２，Ｐ３，Ｐ４｝であり、及び｛Ｐ５，Ｐ６，Ｐ７，Ｐ８｝は第２のグループである。最初に、位置Ｐ０におけるＭＥコストと、｛Ｐ１，Ｐ２，Ｐ３，Ｐ４｝からの隣接する位置のＭＥコストとを比較する。Ｐ０のコストが最小の場合、ＭＶ０の精緻化は停止する。第１のグループのうちの隣接する位置のＭＥコストがＰ０のＭＥコストよりも低い場合、｛Ｐ５，Ｐ６，Ｐ７，Ｐ８｝のうちの他の２つの隣接する位置が更に比較される。例えば、第１のラウンドでＰ２のコストが最小の場合、Ｐ５及びＰ６が更にチェックされる。このように、コストチェックの最大数は８ではなく６である。
【０１０７】
[0117]  ＭＶ0が決定されると、ＭＶ1は更に精緻化される（ブロック１２０４）。精緻化は、正方形のパターンによる繰り返し探索である。各繰り返しごとに、最後の繰り返しで最良の位置にある中心位置がある。符号化器は、８つの隣接する位置におけるＭＥコストを計算し、現在の最良のＭＥコストと比較し、中心位置を中央位置及び隣接する８つの位置の中でもＭＥコストが最小である新しい位置に移動する。前の繰り返しで隣接する位置が既にチェックされている場合、その位置チェックは現在の繰り返しではスキップされる。現在の繰り返しで更新がない場合、つまり中心が最良の位置にある場合、探索は終了する。或いは、探索回数が事前定義された閾値（例えば、８又は１６）を満たすと、探索は終了する。
【０１０８】
[0118]  ６パラメータのアフィンモデルについては、４パラメータのアフィンモデルに対して提案された探索方法を拡張できる。６パラメータのアフィン運動の（ＭＶ0，ＭＶ1，ＭＶ2）を探索する場合を考える。探索は、少なくとも３つのステップ、すなわち、初期動き探索、並進運動パラメータの精緻化、回転及びズーム運動パラメータの精緻化を使用して実行され得る。第１のステップ及び第２のステップは、４パラメータのアフィン探索のステップと同じである。第３のステップは、ＭＶ1及びＭＶ2の両方を精緻化することである。探索の複雑度を低減するために、繰り返しの精緻化を使用してこれら２つを精緻化することができる。例えば、ＭＶ0、ＭＶ2を固定し、４パラメータのアフィンモデルのＭＶ1精緻化と同じスキームを使用してＭＶ1を精緻化する。ＭＶ1が精緻化された後、ＭＶ0、ＭＶ1を固定し、同じスキームを使用してＭＶ2を精緻化する。次いでＭＶ1を再び精緻化する。このようにして、１つのＭＶが変更されない、又は繰り返し回数が事前定義された閾値を満たすまで、回転及びズーム運動に関連するこれら２つのＭＶを繰り返し精緻化できる。迅速に収束させるために、この繰り返しの精緻化スキームでは、精緻化の開始ＭＶが次のように選択され得る。最初に精緻化するためのＭＶ1又はＭＶ2の選択は、それぞれの精度に依存し得る。通常、精度が低いＭＶが最初に精緻化される。どちらも同じ精度である場合、ＭＶの制御点から左上の制御点までの距離がより大きいＭＶを選択することができる。
【０１０９】
[0119]  符号化複雑度を更に低減するために、符号化器が制御点における様々な精度をアフィンモデルベースの符号化についてテストするときに、ＣＵサイズ及び時間的レイヤが考慮され得る。精度の決定は、大きなＣＵに対してのみ実行され得る。例えば、例示的な精度決定方法は、事前定義された閾値（例えば、１６ｘ１６）よりも大きい面積を持つＣＵにのみ適用され得る。面積が閾値よりも小さいＣＵの場合、（１／４画素，１／４画素）精度が２つの制御点に使用される。異なるＱＰ設定を有する異なる時間的レイヤ画像の場合、符号化器は各時間的レイヤでそれらの可能性のある精度のみをテストできる。例えば、（１画素，１／４画素）（１／４画素，１／４画素）のみが上位の時間的レイヤの画像に対してテストされ得る（例えば、最上位の時間的レイヤの画像）。また、（１／４画素，１／４画素）（１／８画素，１／８画素）のみが下位の時間的レイヤの画像に対してテストされ得る（例えば、最下位の時間的レイヤの画像）。これらの中間層の画像については、精度セット全体がテストされ得る。
【０１１０】
サブブロックベースのアフィン動き補償及び推定
[0120]  アフィン動き推定は、繰り返し推定プロセスである。各繰り返しでは、元の信号と現在の動きベクトルを使用した動き補償予測信号との間の時間的差分、空間的勾配、及び局所アフィンパラメータ（式（３）のａ、ｂ、ｃ、ｄ））どうしの関連がオプティカルフロー方程式に基づく式（７）で表される。しかしながら、復号器側のメモリアクセス帯域幅を削減するために、アフィン動き補償予測はサンプルに基づくのではなくサブブロック（例えば、４ｘ４）に基づく。その理由は、通常、動きベクトルが小数位置を指している場合、動き補償におけるサンプル値を導出するための補間フィルタが存在するためである。この補間プロセスは、最も近い隣接する整数位置のサンプル値を直接使用する方法と比較して予測を大幅に改善できる。しかしながら、補間は整数位置にある複数の隣接するサンプルを参照する。制御点におけるＭＶを所与として、各サブブロックのＭＶは式（１）を使用してサブブロックの中心位置に基づいて導出され得る。サブブロックサイズが１ｘ１である場合、動き補償はサンプルベースであり、各サンプルの動きが異なり得ることを意味する。タップ長Ｎの分離可能な補間フィルタがあり、サブブロックサイズがＳｘＳであるとする。１つのサンプルについて、水平方向及び垂直方向の両方で補間するためにＭＶが指す参照位置を囲む（Ｓ＋Ｎ−１）ｘ（Ｓ＋Ｎ−１）整数サンプルをフェッチするように動作する。平均して、サンプルごとに整数位置で（（Ｓ＋Ｎ−１）ｘ（Ｓ＋Ｎ−１）／（ＳｘＳ））参照サンプルをフェッチするように動作する。Ｓが１に等しいサンプルベースのアフィン動き補償の場合、これはＮｘＮである。例えば、ＨＥＶＣ及びＶＴＭではＮは８であり、サブブロックサイズが４ｘ４の場合、サンプルあたりのメモリアクセスは（１２１／１６）である。サンプルベースの補間の場合、サンプルあたりのメモリアクセス量は６４であるが、これは４ｘ４サブブロックベースの動き補償と比較して８．５倍である。したがって、サブブロックベースの動き補償はアフィン動き予測に使用される。「アフィンモード」のセクションで説明されているアフィン動き推定方法では、サンプルベースの予測が使用され、及びこのサブブロックベースの動き補償は考慮されない。式（３）から、各位置の差分動きは、アフィンパラメータが与えられた場合のＣＵ内の位置に関連することがわかる。したがって、サブブロックの中心位置を使用して、１つのサブブロック内のすべてのサンプルの動きを式（３）で導出する場合、１つのサブブロックに属するサンプルは同じ差分動きを有する。例えば、サンプルの場所がＣＵ内の（ｉ，ｊ）である場合、それが属するサブブロックの中心位置は式（２４）として評価される。
【数１７】
2021536686.tif 000027
【０１１１】
[0121]  次いで、式（３）は（ｉ，ｊ）に（ｉb，ｊb）を代入することにより式（２５）になる。
【数１８】
2021536686.tif 000028
【０１１２】
[0122]  式（２５）を使用して、式（６）中の
【数１９】
2021536686.tif 000029
及び
【数２０】
2021536686.tif 000030
を置き換えると、式（２６）を得る。
Ｉ’k（ｉ，ｊ）−Ｉ（ｉ，ｊ）＝（ｇx（ｉ，ｊ）＊ｉb＋ｇy（ｉ，ｊ）＊ｊb）＊ｃ＋（−ｇx（ｉ，ｊ）＊ｊb＋ｇy（ｉ，ｊ）＊ｉb）＊ｄ＋ｇx（ｉ，ｊ）＊ａ＋ｇy（ｉ，ｊ）＊ｂ  （２６）
【０１１３】
[0123]  いくつかの実施形態では、式（２６）は、最小二乗法を使用して最適なアフィンパラメータ（ａ，ｂ，ｃ，ｄ）を推定するために使用される。動き推定のためのこのような実施形態では、１つのサブブロックに属するサンプルの差分動きは同じである。したがって、制御点における最終的なＭＶは、式（７）を使用したサンプルベースの推定方法と比較して、サブブロックベースの動き補償予測の方が正確になる。
【０１１４】
[0124]  アフィン動き補償では、ＣＵ内のサブブロックＭＶ導出に使用される位置は、サブブロックの実際の中心位置ではない場合がある。図１７に示すように、アフィンＣＵは８ｘ４であり、動き補償のサブブロックサイズは４ｘ４である。サブブロックＭＶ導出に使用される位置は、サンプル位置（ｉ，ｊ）を所与として式（２４）により計算され得る。これらの位置は、それぞれ左側の４ｘ４サブブロック及び右側の４ｘ４サブブロックのＰ0及びＰ1である。Ｐ0及びＰ1の座標に基づいて、ＭＶは、４パラメータのアフィンモデルの場合は式（１）により導出される、又は６パラメータのアフィンモデルの場合は式（８）、（９）により導出される。しかしながら、式（２４）を使用すると、Ｐ0及びＰ1はこれら２つのサブブロックの中心ではない。ＭＶ0及びＭＶ1は、サブブロックの動き補償予測では正確ではない場合がある。一実施形態では、サブブロックＭＶ導出ための位置を計算するために式（２７）を使用することを提案する。
【数２１】
2021536686.tif 000031
【０１１５】
[0125]  式（２７）により、Ｐ0はＰ0’に置き換えられ、及びＰ0’は左４ｘ４サブブロックの中心である。したがって、対応するＭＶ0’はＭＶ0と比較してより正確である。アフィン動き推定の精度を向上させるために本明細書に記載されるアフィン動き推定方法において、式（２７）は式（２４）に置き換わることができる。アフィン符号化されたＣＵの制御点におけるＭＶを所与として、クロマ成分のサブブロックのＭＶは、輝度成分のＭＶを再利用できる、又は式（２７）を使用して個別に導出され得る。
【０１１６】
アフィンＭＶＤ丸め
[0126]  アフィン動き補償のいくつかの実装形態では、制御点ＭＶによって導出されたサブブロックＭＶは１／１６画素精度であるが、制御点ＭＶは１／４画素精度に丸められる。制御点ＭＶは、ＭＶ予測子にＭＶＤを加えることによって導出される。ＭＶＤは１／４画素精度でシグナリングされる。ＭＶ予測子は、制御点ＭＶの導出に使用される前に、１／４画素精度に丸められる。適応アフィンＭＶＤ精度により、現在の符号化ブロックの制御点ＭＶを導出するために使用されるＭＶ予測子は、現在のＣＵのＭＶ精度よりも高い精度を有し得る。この場合、ＭＶ予測子はより低い精度に丸められる。丸めにより情報の損失が発生する。本明細書で提案されるいくつかの実施形態では、制御点ＭＶ及びＭＶ予測子は、最高の精度、例えば１／１６画素に保たれる一方、ＭＶＤは所望の精度に丸められる。
【０１１７】
[0127]  アフィン動き推定では、アフィンパラメータが繰り返し推定され得る。各繰り返しについて、差分制御点ＭＶは、式（４）及び式（５）に記載されるようにオプティカルフロー方法を使用して導出され得る。ＶＴＭでの実装形態では、ステップｋの制御点ＭＶは、次式により更新される。
【数２２】
2021536686.tif 000032
ｉは制御点ＭＶのインデックスである。関数
【数２３】
2021536686.tif 000033
は
【数２４】
2021536686.tif 000034
を所望の精度ｐｒｅｃiに丸めるために使用される。そして、初期制御点ＭＶである
【数２５】
2021536686.tif 000035
が所望の精度に丸められる。したがって、
【数２６】
2021536686.tif 000036
もまた所望の精度になる。
【０１１８】
[0128]  本明細書で提供される方法の例示的な実施形態では、ステップｋの制御点ＭＶは、次のステップにより更新される。左上の制御点ＭＶが式（２９）〜式（３１）にしたがって更新される。
【数２７】
2021536686.tif 000037
右上及び左下の制御点ＭＶが、ｉが１又は２について、式（３２）〜式（３３）のように更新される。
【数２８】
2021536686.tif 000038
【０１１９】
[0129]  式（２９）〜式（３４）において、
【数２９】
2021536686.tif 000039
は高精度のステップｋのＭＶＤである。次に、この高精度ＭＶＤは、式（３０）及び（３３）に示すように所望の精度に丸められる。ステップｋにおける制御点ＭＶは、式（３１）及び式（３４）で導出される。
【０１２０】
[0130]  ＭＶＰiは１／１６画素精度であるため、
【数３０】
2021536686.tif 000040
もまた１／１６画素精度である。式（３３）及び（３４）で導出されるシグナリングされたＭＶＤは、所望の精度（例えば、低精度）である。このようにして、シグナリングされたＭＶＤが低精度の場合でも、ＭＶの精度は保持される。したがって、ＭＶを使用する動き補償予測の精度が向上する。
【０１２１】
適応アフィンＭＶＤ符号化
[0131]  精度が異なるアフィンＭＶＤは異なる特性を有し得る。制御点ＭＶＤは異なる物理的意味を有し得る。例えば、（１／４画素，１／４画素，１／４画素）精度と比較した（１／８画素，１／８画素，１／８画素）又は（１／１６画素，１／１６画素，１／１６画素）精度の場合、ＭＶＤの絶対値は平均で小さくなり得る。上記「ＭＶＤ符号化」のセクションで説明したように、次数が異なるＥＧ符号の長さは異なる。一般に、ＥＧ次数が小さい場合、小さい値のＥＧ符号の長さは短くなり、大きい値のＥＧ符号の長さは長くなる。いくつかの実施形態は、ＭＶＤ精度及びその物理的運動の意味（例えば、異なる方向への回転、ズーム）を考慮するＭＶＤ符号化のための適応ＥＧ次数を使用する。いくつかの実施形態では、左上ＭＶＤ（ＭＶＤ0x，ＭＶＤ0y）は、ＭＶＤ成分ＭＶＤ0x及びＭＶＤ0yが並進運動のものであるため、非アフィンＭＶＤ符号化と同じＥＧ次数を有する。６パラメータのアフィンモデルの場合、ＭＶＤ成分ＭＶＤ1y及びＭＶＤ2xは回転動作に関連し、ＭＶＤ成分ＭＶＤ1x及びＭＶＤ2yはズーム動作に関連する。４パラメータのアフィンモデルの場合、ＭＶＤ成分ＭＶＤ1yは回転動作に関連し、ＭＶＤ成分ＭＶＤ1xはズーム動作に関連する。
【０１２２】
[0132]  いくつかの実施形態では、ＭＶＤ値が異なる特性を有するため、ＭＶＤ符号化が異なればＥＧ符号の次数は異なる。いくつかの実施形態では、並進運動に関連するＭＶＤ（ＭＶＤ0x，ＭＶＤ0y）の場合、ＥＧ次数はシグナリングされず、代わりに、そのようなＭＶＤは、非アフィンＭＶＤ符号化と同じＥＧ次数（例えば１）を使用し得る。
【０１２３】
[0133]  いくつかの実施形態では、３つのＭＶＤ精度について表９に記載されたＭＶＤ成分などの非並進運動に対応する異なるＭＶＤ成分に使用される指数ゴロム符号について、ＥＧ次数がシグナリングされる。表９の実施形態では、６つのＥＧ次数（ＥＧ次数［０］〜ＥＧ次数［５］）がビットストリームでシグナリングされる。ＥＧの次数範囲は０〜３であり、符号化に２ビットを使用する。ＭＶＤ精度指標は異なるＭＶＤ精度を指示する。例えば、ＭＶＤ精度指標「０」は（１／４画素，１／４画素，１／４画素）精度を表し、ＭＶＤ精度指標「１」は（１／１６画素，１／１６画素，１／１６画素）精度を表し、ＭＶＤ精度指標「２」は（１画素，１画素，１画素）精度を表す。これらのシグナリングされたＥＧ次数は、異なるＭＶＤ精度による異なるＭＶＤ成分のＥＧ二値化に使用されるＥＧ次数を指示するためのものである。例えば、ＥＧ次数［０］は、ＭＶＤ精度指標が「０」である（すなわち、（１／４画素，１／４画素，１／４画素）精度セット）状態で、ＭＶＤ成分ＭＶＤ1y及びＭＶＤ2xに使用される。４パラメータのアフィンモデルの場合、ＭＶＤ2x及びＭＶＤ2yを符号化する必要はなく、表９ではＭＶＤ1x及びＭＶＤ1yのみを符号化される。
【０１２４】
【表９】
2021536686.tif 000041
【０１２５】
[0134]  ＥＧ次数のシグナリングは、例えば、画像パラメータセット又はスライスヘッダで実行され得る。ＥＧ次数がスライスヘッダにおいてシグナリングされる実施形態では、符号化器は、同じ時間的レイヤにおいて以前に符号化された画像に基づいてＥＧ次数を選択し得る。各インター画像が符号化された後、符号化器は、そのカテゴリ内のすべてのＭＶＤについて、異なる次数の異なるＥＧ符号を使用するビンの総数を比較し得る。例えば、ＭＶＤ精度が「０」のすべてのＭＶＤ1y及びＭＶＤ2xについて、符号化器は、ＥＧ次数０、ＥＧ次数１、ＥＧ次数２、及びＥＧ次数３のビンの総数を比較し、ビンの総数の値が最小である次数を選択する。次に、選択された次数は、同じ時間的レイヤにおける次の画像符号化に使用され、及び選択された次数は、同じ時間的レイヤにおける次の画像のスライスヘッダにおいても符号化される。
【０１２６】
更なる実施形態
[0135]  いくつかの実施形態では、ビットストリームからのビデオを復号する方法が提供される。本方法は、ビデオにおける少なくとも１つのブロックについて、ビットストリームから、選択された所定の精度セット内の複数の要素のうちの１つを特定する情報を読み取ることであって、選択された所定の精度セットの特定された要素が、少なくとも選択された第１の精度及び選択された第２の精度を指示する、ことと、アフィン動きモデルを使用してブロックを復号することであって、アフィン動きモデルが、少なくとも選択された第１の精度を有する第１の動きベクトルと選択された第２の精度を有する第２の動きベクトルとによって特徴付けられる、こととを含む。本方法は、ビットストリームから、第１の動きベクトル及び第２の動きベクトルを指示する情報を読み取ることを含み得る。第１の動きベクトル及び第２の動きベクトルを指示する情報は、第１の差分動きベクトル及び第２の差分動きベクトルを含み得る。
【０１２７】
[0136]  いくつかの実施形態では、複数の要素のうちの１つを特定する情報は、ビットストリームからブロック単位で読み取られる。
【０１２８】
[0137]  いくつかの実施形態では、第１の動きベクトルはブロックの第１の制御点に関連付けられ、及び第２の動きベクトルはブロックの第２の制御点に関連付けられる。
【０１２９】
[0138]  いくつかの実施形態では、選択された所定の精度セットの要素のそれぞれが、利用可能な第１の精度と利用可能な第２の精度とを含む。利用可能な第２の精度は利用可能な第１の精度以上であり得る。
【０１３０】
[0139]  いくつかの実施形態では、複数の利用可能な所定の精度セットの中からの選択された所定の精度セットを特定する情報が、ビットストリームから読み取られる。いくつかのそのような実施形態では、選択された所定の精度セットを特定する情報は、画像パラメータセット、シーケンスパラメータセット、又はスライスヘッダでシグナリングされる。所定の位置セットの例としては、次が挙げられる。
｛（１画素，１／４画素），（１／４画素，１／４画素）｝、
｛（１画素，１／４画素），（１／４画素，１／４画素），（１／４画素，１／８画素）｝、
｛（１画素，１／４画素），（１／４画素，１／４画素），（１／８画素，１／８画素）｝、及び
｛（１画素，１／４画素），（１／４画素，１／４画素），（１／４画素，１／８画素），（１／８画素，１／８画素）｝。
【０１３１】
[0140]  いくつかの実施形態では、アフィン動きモデルは、選択された第３の精度を有する第３の動きベクトルによって更に特徴付けられ、選択された所定の精度セットの特定された要素は、選択された第３の精度を更に指示する。
【０１３２】
[0141]  いくつかの実施形態では、複数の要素のうちの１つを特定する情報が、コンテキスト適応型二値算術符号化を使用してビットストリームで符号化される。
【０１３３】
[0142]  いくつかの実施形態では、ブロックのサイズが閾値サイズよりも大きいか否かの決定がなされ、複数の要素のうちの１つを特定する情報が、ブロックのサイズが閾値サイズよりも大きい場合にのみ、そのブロックに関してビットストリームから読み取られる。
【０１３４】
[0143]  いくつかの実施形態では、選択された所定の精度セットは、ブロックを含む画像の時間的レイヤに基づいて選択される。
【０１３５】
[0144]  いくつかの実施形態では、選択された所定の精度セットは、ブロックの形状に基づいて選択される。
【０１３６】
[0145]  いくつかの実施形態では、ビットストリームにおけるビデオを復号する方法が提供される。本方法は、ビデオにおける少なくとも１つのブロックについて、ビットストリームから、（ｉ）利用可能な精度の第１の所定のセットの中から第１の精度を指示する第１の情報、及び（ｉｉ）利用可能な精度の第２の所定のセットの中から第２の精度を指示する第２の情報を読み取ることと、アフィン動きモデルを使用してブロックを復号することであって、アフィン動きモデルが、少なくとも選択された第１の精度を有する第１の動きベクトル及び選択された第２の精度を有する第２の動きベクトルによって特徴付けられる、ことと、ビットストリームにおいて、（ｉ）利用可能な精度の第１の所定のセットの中から第１の精度を指示する第１の情報、及び（ｉｉ）利用可能な精度の第２の所定のセットの中から第２の精度を指示する第２の情報シグナリングすることとを含む。第１の所定のセットと第２の所定のセットとは異なり得る。
【０１３７】
[0146]  いくつかの実施形態では、第１の所定のセットは｛１画素，１／４画素，１／８画素｝であり、及び第２の所定のセットは｛１／２画素，１／４画素，１／８画素｝である。
【０１３８】
[0147]  いくつかの実施形態では、第１の動きベクトルはブロックの第１の制御点に関連付けられ、及び第２の動きベクトルはブロックの第２の制御点に関連付けられる。
【０１３９】
[0148]  いくつかの実施形態では、ビットストリームにおけるビデオを符号化するための方法が提供される。本方法は、ビデオにおける少なくとも１つのブロックについて、アフィン動きモデルを使用してブロックを符号化することであって、アフィン動きモデルが、少なくとも選択された第１の精度を有する第１の動きベクトル及び選択された第２の精度を有する第２の動きベクトルによって特徴付けられる、ことと、ビットストリームにおいて、選択された所定の精度セット内の複数の要素のうちの１つを特定する情報をシグナリングすることであって、選択された所定の精度セットの特定された要素が、少なくとも選択された第１の精度及び選択された第２の精度を指示する、こととを含む。本方法は、ビットストリームにおいて、第１の動きベクトル及び第２の動きベクトルを指示する情報をシグナリングすることを更に含み得る。第１の動きベクトル及び第２の動きベクトルを指示する情報は、第１の差分動きベクトル及び第２の差分動きベクトルを含み得る。
【０１４０】
[0149]  いくつかの実施形態では、複数の要素のうちの１つを特定する情報が、ブロック単位で送信される。
【０１４１】
[0150]  いくつかの実施形態では、第１の動きベクトルはブロックの第１の制御点に関連付けられ、第２の動きベクトルはブロックの第２の制御点に関連付けられる。
【０１４２】
[0151]  いくつかの実施形態では、選択された所定の精度セットの要素のそれぞれが、利用可能な第１の精度と利用可能な第２の精度とを含む。いくつかの実施形態では、利用可能な第２の精度は利用可能な第１の精度以上である。
【０１４３】
[0152]  いくつかの実施形態では、本方法は、ビットストリームにおいて、複数の利用可能な所定の精度セットからの選択された所定の精度セットを特定する情報をシグナリングすることを含む。選択された所定の精度セットを特定する情報は、例えば、画像パラメータセット、シーケンスパラメータセット、又はスライスヘッダでシグナリングされ得る。
【０１４４】
[0153]  所定の位置セットの例としては、次が挙げられる。
｛（１画素，１／４画素），（１／４画素，１／４画素）｝、
｛（１画素，１／４画素），（１／４画素，１／４画素），（１／４画素，１／８画素）｝、
｛（１画素，１／４画素），（１／４画素，１／４画素），（１／８画素，１／８画素）｝、及び
｛（１画素，１／４画素），（１／４画素，１／４画素），（１／４画素，１／８画素），（１／８画素，１／８画素）｝。
【０１４５】
[0154]  いくつかの実施形態では、アフィン動きモデルは、選択された第３の精度を有する第３の動きベクトルによって更に特徴付けられ、選択された所定の精度セットの特定された要素は、選択された第３の精度を更に指示する。
【０１４６】
[0155]  いくつかの実施形態では、複数の要素のうちの１つを特定する情報が、コンテキスト適応型二値算術符号化を使用してビットストリームで符号化される。
【０１４７】
[0156]  いくつかの実施形態では、本方法は、ブロックのサイズが閾値サイズよりも大きいか否かを判定することであって、複数の要素のうちの１つを特定する情報が、ブロックのサイズが閾値サイズよりも大きい場合にのみ、そのブロックについてビットストリームにおいてシグナリングされる、ことを含む。
【０１４８】
[0157]  いくつかの実施形態では、選択された所定の精度セットは、ブロックを含む画像の時間的レイヤに基づいて選択される。
【０１４９】
[0158]  いくつかの実施形態では、選択された所定の精度セットは、ブロックの形状に基づいて選択される。
【０１５０】
[0159]  いくつかの実施形態では、ビットストリームにおけるビデオを符号化するための方法が提供される。本方法は、ビデオにおける少なくとも１つのブロックについて、アフィン動きモデルを使用してブロックを符号化することであって、アフィン動きモデルが、少なくとも選択された第１の精度を有する第１の動きベクトル及び選択された第２の精度を有する第２の動きベクトルによって特徴付けられる、ことと、ビットストリームにおいて、（ｉ）利用可能な精度の第１の所定のセットの中から第１の精度を指示する第１の情報、及び（ｉｉ）利用可能な精度の第２の所定のセットの中から第２の精度を指示する第２の情報シグナリングすることとを含む。第１の所定のセットと第２の所定のセットとは異なり得る。
【０１５１】
[0160]  いくつかの実施形態では、第１の所定のセットは｛１画素，１／４画素，１／８画素｝であり、第２の所定のセットは｛１／２画素，１／４画素，１／８画素｝である。
【０１５２】
[0161]  いくつかの実施形態では、第１の動きベクトルはブロックの第１の制御点に関連付けられ、第２の動きベクトルはブロックの第２の制御点に関連付けられる。
【０１５３】
[0162]  いくつかの実施形態は、ビットストリームにおけるビデオを符号化する方法を含み、本方法は、ビデオにおける少なくとも１つのブロックについて、並進運動モデルを使用してブロックを符号化する第１のレート歪みコストを決定することと、第１のアフィンモデル精度のセットによりアフィン予測モデルを使用してブロックを符号化する第２のレート歪みコストを決定することと、第２のレート歪みコストが第１のレート歪みコストよりも小さいか否かを判定することと、第２のレート歪みコストが第１のレート歪みコストよりも小さいという判定に応じて、第２のアフィンモデル精度のセットによりアフィン予測モデルを使用してブロックを符号化する少なくとも第３のレート歪みコストを決定することと、決定された最も低いレート歪みコストに関連付けられた符号化モデルを使用して、ビットストリームにおけるブロックを符号化することとを含む。
【０１５４】
[0163]  いくつかの実施形態では、第２のレート歪みコストが第１のレート歪みコストよりも小さいという判定に応じて、第４のアフィンモデル精度のセットによりアフィン予測モデルを使用してブロックを符号化する第４のレート歪みコストが決定される。
【０１５５】
[0164]  いくつかの実施形態では、ビットストリームにおけるビデオを符号化する方法が提供される。本方法は、ビデオにおける少なくとも１つのブロックについて、次式
Ｉ’k（ｉ，ｊ）−Ｉ（ｉ，ｊ）＝（ｇx（ｉ，ｊ）＊ｉb＋ｇy（ｉ，ｊ）＊ｊb）＊ｃ＋（−ｇx（ｉ，ｊ）＊ｊb＋ｇy（ｉ，ｊ）＊ｉb）＊ｄ＋ｇx（ｉ，ｊ）＊ａ＋ｇy（ｉ，ｊ）＊ｂ
を用いてアフィンパラメータａ、ｂ、ｃ、及びｄを決定することであって、
Ｉ（ｉ，ｊ）が元の輝度信号であり、Ｉ’k（ｉ，ｊ）が予測輝度信号であり、ｇx（ｉ，ｊ）及びｇy（ｉ，ｊ）がＩ’k（ｉ，ｊ）に適用される空間的勾配であり、
【数３１】
2021536686.tif 000042
であり、Ｓは１よりも大きいサブブロックサイズである、ことと、決定されたアフィンパラメータａ、ｂ、ｃ、及びｄを使用してビットストリームにおけるブロックを符号化することとを含む。
【０１５６】
[0165]  いくつかの実施形態では、ビデオを符号化する方法が提供される。本方法は、ビデオにおける少なくとも１つのブロックについて、少なくとも１つの制御点の動きベクトル予測子（ＭＶＰ）を特定することであって、動きベクトル予測子が第１の精度を有する、ことと、制御点の差分動きベクトル（ＭＶＤ）値を特定することであって、差分動きベクトルの値が第１の精度よりも低い第２の精度を有する、ことと、少なくとも差分動きベクトルの値を動きベクトル予測子に加えることによって、制御点の動きベクトルを計算することであって、計算された動きベクトルが第１の精度を有する、ことと、少なくとも１つの制御点について計算された動きベクトルを使用してアフィン予測によりブロックを予測することとを含む。差分動きベクトル値は、符号化器によってビットストリームにおいてシグナリングされ得る、又は復号器によってビットストリームから解析され得る。
【０１５７】
[0166]  いくつかの実施形態では、本方法は符号化器によって実行され、差分動きベクトルを特定することが、初期動きベクトルに基づいて制御点の動きベクトル差分を決定することと、動きベクトル差分に基づいて差分動きベクトルを更新することと、差分動きベクトルを第２の精度に丸めることと、丸められた差分動きベクトルを動きベクトル予測子に加えて、更新された動きベクトル、動きベクトル予測子、及び第１の精度を有する更新された動きベクトルを生成することとを繰り返し含む。
【０１５８】
[0167]  いくつかの実施形態では、第１の精度は１／１６画素精度であり、第２の精度は１／４画素精度である。
【０１５９】
[0168]  いくつかの実施形態では、アフィン予測によりブロックを予測することが２つの制御点を使用して実行され、それぞれの差分動きベクトルが、各制御点について特定され、及びそれぞれの各差分動きベクトルが第２の精度を有する。
【０１６０】
[0169]  いくつかの実施形態では、アフィン予測によりブロックを予測することが３つの制御点を使用して実行され、それぞれの差分動きベクトルが、各制御点について特定され、それぞれの各差分動きベクトルが第２の精度を有する。
【０１６１】
[0170]  いくつかの実施形態では、ビットストリームからビデオを復号する方法が提供される。本方法は、ビデオにおける少なくとも１つのブロックについて、ビットストリームで符号化された情報に少なくとも部分的に基づいて複数の差分動きベクトル（ＭＶＤ）成分のそれぞれについてそれぞれの符号化次数を決定することと、それぞれの決定された符号化次数を使用してビットストリームからＭＶＤ成分のそれぞれを読み取ることと、アフィン動きモデルを使用してブロックを復号することであって、アフィン動きモデルが、ＭＶＤ成分によって少なくとも部分的に特徴付けられる、こととを含む。
【０１６２】
[0171]  いくつかの実施形態では、本方法は、ビットストリームから、ＭＶＤ成分のそれぞれの精度を特定する情報を読み取ることであって、ＭＶＤ成分の符号化次数が、それぞれの精度の一部に基づいて決定される、ことを含む。ＭＶＤ成分は指数ゴロム符号化を使用して符号化されてもよく、符号化次数は指数ゴロム符号化次数とすることができる。
【０１６３】
[0172]  いくつかの実施形態は、ビットストリームからビデオを復号する方法を含む。本方法は、ビデオにおける少なくとも１つのブロックについて、複数の差分動きベクトル（ＭＶＤ）成分のそれぞれについてそれぞれの符号化次数を決定することであって、ＭＶＤ成分のそれぞれの符号化次数が、（ｉ）ＭＶＤ成分の精度、及び（ｉｉ）成分が回転運動又はズーム運動のどちらに関連しているかに基づいて決定される、ことと、それぞれの決定された符号化次数を使用してビットストリームからＭＶＤ成分のそれぞれを読み取ることと、アフィン動きモデルを使用してブロックを復号することであって、アフィン動きモデルが、ＭＶＤ成分によって少なくとも部分的に特徴付けられる、こととを含む。
【０１６４】
[0173]  いくつかの実施形態は、ビットストリームから次数情報を読み取ることであって、次数情報が、
（ｉ）１／４画素精度及び（ｉｉ）回転運動に関連付けられた第１の符号化次数と、
（ｉ）１／４画素精度及び（ｉｉ）ズーム運動に関連付けられた第２の符号化次数と、
（ｉ）１／１６画素精度及び（ｉｉ）回転運動に関連付けられた第３の符号化次数と、
（ｉ）１／１６画素精度及び（ｉｉ）ズーム運動に関連付けられた第４の符号化次数と、
（ｉ）１画素精度及び（ｉｉ）回転運動に関連付けられた第５の符号化次数と、
（ｉ）１画素精度及び（ｉｉ）ズーム運動に関連付けられた第６の符号化次数と、
を特定する、ことを更に含む。
それぞれの符号化次数は次数情報を使用して実行される。次数情報は、例えば、画像パラメータセット又はスライスヘッダに符号化され得る。
【０１６５】
[0174]  いくつかの実施形態では、ＭＶＤ成分は指数ゴロム符号化を使用して符号化され、符号化次数は指数ゴロム符号化次数である。
【０１６６】
[0175]  いくつかの実施形態では、ビットストリームにおけるビデオを符号化する方法が提供され、本方法は、ビデオにおける少なくとも１つのブロックについて、次数情報を選択することであって、次数情報が、（ｉ）ＭＶＤ成分の精度及び（ｉｉ）成分が回転運動又はズーム運動のいずれに関連しているかに基づいて差分動きベクトル（ＭＶＤ）成分の符号化次数を特定する、ことと、次数情報をビットストリームに符号化することと、アフィン動きモデルを使用してブロックを符号化することであって、アフィン動きモデルが、複数のＭＶＤ成分によって少なくとも部分的に特徴付けられ、複数のＭＶＤ成分のそれぞれが、次数情報によって決定された符号化次数を使用してビットストリームに符号化される、こととを含む。
【０１６７】
[0176]  いくつかの実施形態では、次数情報は、
（ｉ）１／４画素精度及び（ｉｉ）回転運動に関連付けられた第１の符号化次数と、
（ｉ）１／４画素精度及び（ｉｉ）ズーム運動に関連付けられた第２の符号化次数と、
（ｉ）１／１６画素精度及び（ｉｉ）回転運動に関連付けられた第３の符号化次数と、
（ｉ）１／１６画素精度及び（ｉｉ）ズーム運動に関連付けられた第４の符号化次数と、
（ｉ）１画素精度及び（ｉｉ）回転運動に関連付けられた第５の符号化次数と、
（ｉ）１画素精度及び（ｉｉ）ズーム運動に関連付けられた第６の符号化次数と、
を特定する。
それぞれの符号化次数を決定することは次数情報を使用して実行され得る。次数情報は、例えば、画像パラメータセット又はスライスヘッダに符号化され得る。
【０１６８】
[0177]  いくつかの実施形態では、ＭＶＤ成分は指数ゴロム符号化を使用して符号化され、符号化次数は指数ゴロム符号化次数である。
【０１６９】
[0178]  いくつかの実施形態は、本明細書に開示される方法のいずれかを使用して符号化されたビデオを格納する非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態は、本明細書に開示される方法のいずれかを実行するように動作する命令を格納する非一時的コンピュータ可読記憶媒体を含む。
【０１７０】
符号化されたビットストリーム構造
[0179]  図１５は、符号化されたビットストリーム構造の例を示す図である。符号化されたビットストリーム１３００はいくつかのＮＡＬ（ネットワーク抽象化層）ユニット１３０１から構成される。ＮＡＬユニットは、符号化されたスライス１３０６などの符号化されたサンプルデータ、又はパラメータセットデータ、スライスヘッダデータ１３０５、若しくは補足的な付加情報データ１３０７（これは、ＳＥＩメッセージと呼ばれることもある）などの高水準シンタックスメタデータを含むことができる。パラメータセットは、複数のビットストリーム層（例えば、ビデオパラメータセット１３０２（ＶＰＳ））に適用することができる、又は１つの層内の符号化されたビデオシーケンス（例えば、シーケンスパラメータセット１３０３（ＳＰＳ））に適用することができる、又は１つの符号化されたビデオシーケンス内のいくつかの符号化された画像（例えば、画像パラメータセット１３０４（ＰＰＳ））に適用することができる重要なシンタックス要素を含む高水準シンタックス構造である。パラメータセットは、ビデオビットストリームの符号化された画像とともに送信され得る、又は他の手段（信頼性のあるチャネル、ハード符号化などを用いた帯域外伝送を含む）を通じて送信され得る。スライスヘッダ１３０５も、比較的小さい、又はある特定のスライス若しくは画像タイプのみに関連する何らかの画像関連情報を含むことができる高水準シンタックス構造である。ＳＥＩメッセージ１３０７は、復号プロセスによって必要とされない場合があるが、画像出力タイミング若しくは表示及び／又は損失検出及び秘匿などの様々な他の目的で用いられ得る情報を運ぶ。
【０１７１】
通信装置及びシステム
[0180]  図１６は、通信システムの例を示す図である。通信システム１４００は、符号化器１４０２と、通信ネットワーク１４０４と、復号器１４０６とを備えることができる。符号化器１４０２は接続１４０８を介して通信ネットワーク１４０４と通信することができ、接続１４０８は有線接続又は無線接続であり得る。符号化器１４０２は、図２Ａのブロックベースのビデオ符号化器に類似し得る。符号化器１４０２は、単層コーデック（例えば、図２Ａ）又は多層コーデックを含むことができる。復号器１４０６は接続１４１０を介して通信ネットワーク１４０４と通信することができ、接続１４１０は有線接続又は無線接続であり得る。復号器１４０６は、図２Ｂのブロックベースのビデオ復号器に類似し得る。復号器１４０６は、単層コーデック（例えば、図２Ｂ）又は多層コーデックを含むことができる。
【０１７２】
[0181]  符号化器１４０２及び／又は復号器１４０６は、デジタルテレビ、無線ブロードキャストシステム、ネットワーク要素／端末、コンテンツサーバ若しくはウェブサーバなどのサーバ（例えば、ハイパーテキスト転送プロトコル（ＨＴＴＰ）サーバなど）、携帯情報端末（ＰＤＡ）、ラップトップ若しくはデスクトップコンピュータ、タブレットコンピュータ、デジタルカメラ、デジタル記録装置、ビデオゲーム装置、ビデオゲームコンソール、セルラ若しくは衛星無線電話、デジタルメディアプレーヤ、及び／又は同様のものなどであるが、これらに限定されない、多種多様な有線通信装置及び／又は無線送信／受信ユニット（ＷＴＲＵ）に組み込まれ得る。
【０１７３】
[0182]  通信ネットワーク１４０４は、適切なタイプの通信ネットワークとすることができる。例えば、通信ネットワーク１４０４は、音声、データ、ビデオ、メッセージ、放送などのコンテンツを複数の無線ユーザに提供する複数のアクセスシステムであり得る。通信ネットワーク１４０４は、複数の無線ユーザが、無線帯域幅を含むシステムリソースの共用を通して、そのようなコンテンツにアクセスすることを可能にし得る。例えば、通信ネットワーク１４０４は、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、周波数分割多元接続（ＦＤＭＡ）、直交ＦＤＭＡ（ＯＦＤＭＡ）、シングルキャリアＦＤＭＡ（ＳＣ−ＦＤＭＡ）、及び／又は同様のものなど、１つ又は複数のチャネルアクセス方法を利用することができる。通信ネットワーク１４０４は、複数の接続された通信ネットワークを含むことができる。通信ネットワーク１４０４は、インターネット、及び／又は、セルラネットワーク、Wi-Fiホットスポット、インターネットサービスプロバイダ（ＩＳＰ）ネットワーク、及び／又は同様のものなど、１つ又は複数の商用プライベートネットワークを含むことができる。
【０１７４】
[0183]  記載された実施形態のうちの１つ又は複数の様々なハードウェア要素は、それぞれのモジュールに関連して本明細書で記載された様々な機能を遂行する（すなわち行う、実行するなど）「モジュール」と呼ばれることに留意されたい。本明細書で使用される場合、モジュールは、所与の実装形態に対して当業者によって適切と判断されるハードウェア（例えば、１つ又は複数のプロセッサ、１つ又は複数のマイクロプロセッサ、１つ又は複数のマイクロコントローラ、１つ又は複数のマイクロチップ、１つ又は複数の特定用途向け集積回路（ＡＳＩＣ）、１つ又は複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、１つ又は複数のメモリデバイス）を含む。記載された各モジュールはまた、それぞれのモジュールによって遂行されるものとして記載された１つ又は複数の機能を遂行するための、実行可能な命令を含むことができ、これらの命令はハードウェア（すなわちハードワイヤード）命令、ファームウェア命令、ソフトウェア命令、及び／又は同様のものの形態を取る又は含むことができ、一般にＲＡＭ、ＲＯＭなどと呼ばれる任意の適切な１つ又は複数の非一時的コンピュータ可読媒体に格納され得ることに留意されたい。
【０１７５】
[0184]  以上、特徴及び要素を特定の組み合わせで説明してきたが、各特徴又は要素は、単独で、又は他の特徴及び要素との任意の組み合わせで使用することができることを当業者は理解されよう。加えて、本明細書で説明された方法は、コンピュータ又はプロセッサによって実行するためにコンピュータ可読媒体内に組み込まれたコンピュータプログラム、ソフトウェア、又はファームウェアで実施することができる。コンピュータ可読記憶媒体の例としては、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、レジスタ、キャッシュメモリ、半導体メモリデバイス、内蔵ハードディスク及び着脱可能ディスクなどの磁気媒体、光磁気媒体、並びにＣＤ−ＲＯＭディスク及びデジタル多用途ディスク（ＤＶＤ）などの光媒体が挙げられるが、それらに限定されない。ＷＴＲＵ、ＵＥ、端末、基地局、ＲＮＣ、又は任意のホストコンピュータにおいて使用するための無線周波送受信機を実施するために、ソフトウェアと連携するプロセッサが使用されてもよい。
【図１Ａ】
2021536686.tif 000043
【図１Ｂ】
2021536686.tif 000044
【図２Ａ】
2021536686.tif 000045
【図２Ｂ】
2021536686.tif 000046
【図３Ａ−３Ｅ】
2021536686.tif 000047
【図４Ａ】
2021536686.tif 000048
【図４Ｂ】
2021536686.tif 000049
【図５】
2021536686.tif 000050
【図６】
2021536686.tif 000051
【図７】
2021536686.tif 000052
【図８】
2021536686.tif 000053
【図９】
2021536686.tif 000054
【図１０】
2021536686.tif 000055
【図１１】
2021536686.tif 000056
【図１２】
2021536686.tif 000057
【図１３】
2021536686.tif 000058
【図１４】
2021536686.tif 000059
【図１５】
2021536686.tif 000060
【図１６】
2021536686.tif 000061
【図１７】
2021536686.tif 000062
【図１８】
2021536686.tif 000063
【国際調査報告】
2021536686.tif 000064
2021536686.tif 000065
2021536686.tif 000066