(57)【特許請求の範囲】
【請求項１】
低遅延フラグ、ネットワーク抽象レイヤ（ＮＡＬ）仮想参照デコーダ（ＨＲＤ）パラメータ存在フラグ、及び映像符号化レイヤ（ＶＣＬ）ＨＲＤパラメータ存在フラグを、ビットストリームからＨＲＤシンタックスを抽出するためのパラメータとして設定する設定部と、
画像を符号化して、前記低遅延フラグが前記ＮＡＬ  ＨＲＤパラメータ存在フラグ又は前記ＶＣＬ  ＨＲＤパラメータ存在フラグにより存在が示される前記ＨＲＤシンタックスよりも前に現れるビデオシンタックスを有する前記ビットストリームを生成する符号化部と、
を備える符号化装置。
【請求項２】
前記低遅延フラグは、low_delay_hrd_flagである、請求項１に記載の符号化装置。
【請求項３】
前記ビットストリームは、シリアルビットストリームである、請求項２に記載の符号化装置。
【請求項４】
低遅延フラグ、ネットワーク抽象レイヤ（ＮＡＬ）仮想参照デコーダ（ＨＲＤ）パラメータ存在フラグ、及び映像符号化レイヤ（ＶＣＬ）ＨＲＤパラメータ存在フラグを、ビットストリームからＨＲＤシンタックスを抽出するためのパラメータとして設定することと、
画像を符号化して、前記低遅延フラグが前記ＮＡＬ  ＨＲＤパラメータ存在フラグ又は前記ＶＣＬ  ＨＲＤパラメータ存在フラグにより存在が示される前記ＨＲＤシンタックスよりも前に現れるビデオシンタックスを有する前記ビットストリームを生成することと、
を含む符号化方法。
【請求項５】
前記低遅延フラグは、low_delay_hrd_flagである、請求項４に記載の符号化方法。
【請求項６】
前記ビットストリームは、シリアルビットストリームである、請求項５に記載の符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１３年２月１日出願の「時間レイヤを用いた映像符号化システム及びその動作方法（ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＳＹＳＴＥＭ  ＷＩＴＨ  ＴＥＭＰＯＲＡＬ  ＬＡＹＥＲ  ＡＮＤ  ＭＥＴＨＯＤ  ＯＦ  ＯＰＥＲＡＴＩＯＮ  ＴＨＥＲＥＯＦ）」という名称の米国特許出願番号１３／７５７，６２４に関連する主題を含む。この特許の主題内容全体は、引用により本明細書に組み込まれる。
【０００２】
本出願は、２０１３年２月１日同時出願の「時間スケーラビリティを用いた映像符号化システム及びその動作方法（ＶＩＤＥＯ  ＣＯＤＩＮＧ  ＳＹＳＴＥＭ  ＷＩＴＨ  ＴＥＭＰＯＲＡＬ  ＳＣＡＬＡＢＩＬＩＴＹ  ＡＮＤ  ＭＥＴＨＯＤ  ＯＦ  ＯＰＥＲＡＴＩＯＮ  ＴＨＥＲＥＯＦ）」という名称の米国特許出願番号１３／７５７，６７９に関連する主題を含む。この特許の主題内容全体は、引用により本明細書に組み込まれる。
【０００３】
本出願は、２０１２年７月２日出願の米国仮特許出願番号６１／６６７，２９４、２０１２年７月３０日出願の米国仮特許出願番号６１／６７７，３４９、及び２０１３年２月１日出願の米国非仮特許出願番号１３／７５７，６８５の優先権を主張するものであり、それらの主題内容全体は、引用により本明細書に組み込まれる。
【０００４】
（技術分野）
本発明は、概して映像システムに関し、より詳細には、低遅延を用いた映像符号化に関するシステムに関する。
【背景技術】
【０００５】
スマートフォン、高精細テレビジョン、自動車情報システム、及び画面を備える他のビデオデバイスへの高品質ビデオの展開は、近年、非常に発展している。ビデオコンテンツに対応している多種多様な情報デバイスは、種々の大きさ、品質、及び接続能力を備えるデバイスに多くの種類のビデオコンテンツを提供することを必要としている。
【０００６】
ビデオは、２次元単一視点ビデオから、高解像度３次元画像を有する多視点ビデオに展開している。ビデオをより効率的に伝送するために、種々の映像符号化及び圧縮方式により、最小限のデータ量から最適な画像を得ることが試行されている。動画像符号化専門家グループ（ＭＰＥＧ）が、規格化されたデータシーケンス及びアルゴリズムに基づく高品質ビデオを可能にする規格を開発した。Ｈ．２６４（ＭＰＥＧ４パート１０）／アドバンストビデオコーディング設計では、従来のＭＰＥＧ−２形式と比較して概して２倍の符号化効率の改良が行われた。ビデオ品質は、ビデオ内のデータの操作及び圧縮に依存している。使用される様々な帯域幅に適合するようにビデオを変更して、様々な解像度及び機能セットを有するディスプレイデバイスにビデオを送信することができる。しかしながら、より大型で高品質なビデオ、又はより複雑なビデオ機能を配信することには、帯域幅を追加すること及びビデオ圧縮を改良することが必要とされる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｂ．  Ｂｒｏｓｓ、Ｗ．  Ｈａｎ、Ｊ  Ｏｈｍ、Ｇ．  Ｓｕｌｌｉｖａｎ、Ｔ．  Ｗｉｅｇ著  「Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＨＥＶＣ）  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  ８」  ＪＣＴＶＣ−Ｊ１００３  ｄ７  ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）
【非特許文献２】Ｂ．  Ｂｒｏｓｓ、Ｗ．  Ｈａｎ、Ｊ．  Ｏｈｍ、Ｇ．  Ｓｕｌｌｉｖａｎ、Ｔ．  Ｗｉｅｇ著  「Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＨＥＶＣ）  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  ７」  ＪＣＴＶＣ−Ｉ１００３  ｄ４  ２０１２年５月（Ｇｅｎｅｖａ）
【非特許文献３】Ｍ．  Ｈａｑｕｅ、Ｋ．  Ｓａｔｏ、Ａ．  Ｔａｂａｔａｂａｉ、Ｔ．  Ｓｕｚｕｋｉ著  「Ａ  ｓｉｍｐｌｅ  ｏｒｄｅｒｉｎｇ  ｉｓｓｕｅ  ｆｏｒ  ＶＵＩ  ｐａｒａｍｅｔｅｒｓ  ｓｙｎｔａｘ」  ＪＣＴＶＣ−Ｊ０２７３  ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）
【非特許文献４】Ｍ．  Ｈａｑｕｅ、Ｋ．  Ｓａｔｏ、Ａ．  Ｔａｂａｔａｂａｉ、Ｔ．  Ｓｕｚｕｋｉ著  「ＨＥＶＣ  ＶＵＩ  Ｐａｒａｍｅｔｅｒｓ  ｗｉｔｈ  Ｅｘｔｅｎｓｉｏｎ  Ｈｏｏｋｓ」  ＪＣＴＶＣ−Ｊ０２７０  ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）
【非特許文献５】Ｍ．  Ｈａｑｕｅ、Ａ．  Ｔａｂａｔａｂａｉ著  「Ｅｘｔｅｎｓｉｏｎ  ｏｆ  ＨＥＶＣ  ＶＵＩ  Ｓｙｎｔａｘ  Ｓｔｒｕｃｔｕｒｅ」  ＪＣＴＶＣ−Ｉ０２６３  ２０１２年５月
【非特許文献６】Ｍ．  Ｈａｑｕｅ著  「ＡＨＧ１０：  ＶＵＩ  ａｎｄ  ＨＲＤ  ｓｙｎｔａｘ  ｄｅｓｉｇｎｓ  ａｇｒｅｅｄ  ｂｙ  ｔｈｅ  ＢｏＧ  ｏｎ  ＶＰＳ  ａｎｄ  ＮＵＨ」  ＪＣＴＶＣ−Ｊ０５４８ｒｌ  ２０１２年７月
【発明の概要】
【発明が解決しようとする課題】
【０００８】
このように、様々な大きさ、解像度、及び接続性を有するデバイスの広い範囲にわたって高品質画像及び高度な画像機能を提供できる映像符号化システムに関する必要性が依然として残されている。範囲が拡大している高機能デバイスにビデオを提供する要求が増加していることを考慮すると、これらの課題に対する解決方法が見いだされることが増々重要になっている。商業上の競争圧力が常に高くなっていることを考慮すると、消費者の期待が高まっていること及び市場での有意な製品差別化の機会が減少していることと併せて、これらの課題に対する解決方法が見いだされることが重要になっている。追加的に、経費を節減し、効率性及び業績を高め、競争圧力に対処する必要性から、より一層緊急に、これらの課題に対する解決方法を見いだすことが重要で必要になっている。
【０００９】
これらの課題に対する解決方法は、長期にわたって探求されてきたが、従来の成果は、何らかの解決方法を教示又は提案するものではなく、従って、長い間当業者は、これらの課題に対する解決方法を避けてきた。
【課題を解決するための手段】
【００１０】
ある実施形態によれば、低遅延フラグ、ネットワーク抽象レイヤ（ＮＡＬ）仮想参照デコーダ（ＨＲＤ）パラメータ存在フラグ、及び映像符号化レイヤ（ＶＣＬ）ＨＲＤパラメータ存在フラグを、ビットストリームからＨＲＤシンタックスを抽出するためのパラメータとして設定する設定部と、画像を符号化して、前記低遅延フラグが前記ＮＡＬ  ＨＲＤパラメータ存在フラグ又は前記ＶＣＬ  ＨＲＤパラメータ存在フラグにより存在が示される前記ＨＲＤシンタックスよりも前に現れるビデオシンタックスを有する前記ビットストリームを生成する符号化部と、を備える符号化装置が提供される。
【００１１】
他の実施形態によれば、低遅延フラグ、ネットワーク抽象レイヤ（ＮＡＬ）仮想参照デコーダ（ＨＲＤ）パラメータ存在フラグ、及び映像符号化レイヤ（ＶＣＬ）ＨＲＤパラメータ存在フラグを、ビットストリームからＨＲＤシンタックスを抽出するためのパラメータとして設定することと、画像を符号化して、前記低遅延フラグが前記ＮＡＬ  ＨＲＤパラメータ存在フラグ又は前記ＶＣＬ  ＨＲＤパラメータ存在フラグにより存在が示される前記ＨＲＤシンタックスよりも前に現れるビデオシンタックスを有する前記ビットストリームを生成することと、を含む符号化方法が提供される。
【００１２】
本発明のいくつかの実施形態は、上記に説明した態様に加えて、又はそれらの代わりに別の態様を有する。当業者であれば、これらの態様は、添付図面を参照して以下の詳細な説明を読むことにより明らかとなるであろう。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態における映像符号化システムのブロック図である。
【図２】ビデオビットストリームの実施例である。
【図３】ＨＲＤシンタックスの実施例である。
【図４】高効率映像符号化（ＨＥＶＣ）ビデオ表示情報（ＶＵＩ）シンタックスの実施例である。
【図５】ＨＥＶＣ  ＶＵＩ拡張シンタックスの実施例である。
【図６】ＨＲＤベースシンタックスの実施例である。
【図７】ＨＲＤサブレイヤシンタックスの実施例である。
【図８】ＨＲＤ  ＶＵＩシンタックスの実施例である。
【図９】映像符号化システムの機能ブロック図である。
【図１０】映像符号化システムの制御フローである。
【図１１】本発明の別の実施形態における映像符号化システムの動作方法のフローチャートである。
【発明を実施するための形態】
【００１４】
以下の実施形態は、当業者が本発明を実施及び利用することができるように十分詳細に説明される。本開示に基づいて別の実施形態が明らかになること、及び本発明の範囲から逸脱することなく処理又は機構の変更を行うことができるということを理解されたい。
【００１５】
以下の説明において、本発明を完全に理解できるように多くの具体的な詳細内容が提示される。しかしながら、本発明はこれらの具体的な詳細内容がなくとも実施できることは明らかである。本発明が不明瞭にならないように、一部の公知の回路、システム構成、及び処理ステップは、詳細に開示されていない。
【００１６】
同様に、システムの実施形態を示す図面は、概略的なものであり、縮尺通りではなく、特に、一部の寸法は、表現を明確にするためのものであり、図面内で誇張して示されている。例示、説明、及びその理解を明確及び容易にするために、いくつかの機能が共通する複数の実施形態を開示して説明するが、互いに類似した同様の特徴部は、通常、同様の参照符号を用いて説明する。
【００１７】
「シンタックス」という用語は、データ構造を表す一組の要素を意味する。本明細書で用いられる「モジュール」という用語は、使用される文脈により、本発明におけるソフトウェア、ハードウェア、又はそれらの組み合わせを含むことができる。
【００１８】
ここで図１を参照すると、本発明の一実施形態における映像符号化システム１００のブロック図が示されている。ビデオエンコーダ１０２は、ビデオコンテンツ１０８を受信し、ビデオビットストリーム１１０を復号用のビデオデコーダ１０４に送信して、ディスプレイインタフェース１２０に表示することができる。
【００１９】
ビデオエンコーダ１０２は、ビデオコンテンツ１０８を受信及び符号化することができる。ビデオエンコーダ１０２は、ビデオコンテンツ１０８を種々の形式に符号化するためのユニットである。ビデオコンテンツ１０８は、対象物のシーンのデジタル表現として規定される。例えば、ビデオコンテンツ１０８は、１つ又はそれ以上のビデオカメラのデジタル出力とすることができる。
【００２０】
符号化は、ビデオコンテンツ１０８をコンピュータにより種々の形式に変更することとして規定される。例えば、符号化は、ビデオコンテンツ１０８をビデオビットストリーム１１０に圧縮して、ビデオビットストリーム１１０を送信するのに必要なデータ量を減少させることができる。
【００２１】
別の実施例では、ビデオコンテンツ１０８は、圧縮されることによって符号化されること、視覚的に強調されること、１つ又はそれ以上のビューに分割されること、解像度が変更されること、アスペクト比が変更されること、又はそれらの組み合わせが可能である。別の例示的な実施例では、ビデオコンテンツ１０８は、高効率映像符号化（ＨＥＶＣ）／Ｈ．２６５規格により符号化することができる。
【００２２】
ビデオエンコーダ１０２は、ビデオコンテンツ１０８を符号化してビデオビットストリーム１１０を生成することができる。ビデオビットストリーム１１０は、ビデオコンテンツ１０８に関連する情報を表すビット列として規定される。ビデオビットストリーム１１０は、例えば、ビデオコンテンツ１０８の圧縮を表すビット列とすることができる。
【００２３】
別の実施例では、ビデオビットストリーム１１０は、シリアルビットストリーム１２２とすることができる。シリアルビットストリーム１２２は、ビデオコンテンツ１０８を表すビット列であり、各ビットは、時間とともに連続的に送信される。
【００２４】
ビデオエンコーダ１０２は、シーンに関するビデオコンテンツ１０８を様々な方法で受け取ることができる。例えば、実在の対象物を表すビデオコンテンツ１０８は、ビデオカメラ、複数のカメラで撮影されること、コンピュータで生成されること、ファイルとして提供されること、又はそれらの組み合わせが可能である。
【００２５】
ビデオコンテンツ１０８は、様々なビデオ機能を含むことができる。例えば、ビデオコンテンツ１０８は、単一視点ビデオ、多視点ビデオ、立体的ビデオ、又はそれらの組み合わせを含むことができる。別の実施例では、ビデオコンテンツ１０８は、３Ｄ眼鏡を用いずに３次元（３Ｄ）ビデオ表示に対応するための４つ又はそれより多いカメラの多視点ビデオとすることができる。
【００２６】
ビデオエンコーダ１０２は、ビデオシンタックス１１４を使用してビデオコンテンツ１０８を符号化して、ビデオビットストリーム１１０を生成することができる。ビデオシンタックス１１４は、ビデオコンテンツ１０８を符号化及び復号するための符号化システムを表す一組の情報要素として規定される。ビデオビットストリーム１１０は、高効率映像符号化／Ｈ．２６５のようなビデオシンタックス１１４に準拠し、ＨＥＶＣビデオビットストリーム、超高精細ビデオビットストリーム、又はそれらの組み合わせを含むことができる。ビデオビットストリーム１１０は、ビデオシンタックス１１４を含むことができる。
【００２７】
ビデオビットストリーム１１０は、ビデオコンテンツ１０８の画像、及びビデオコンテンツ１０８の符号化に関する関連制御情報を表す情報を含むことができる。例えば、ビデオビットストリーム１１０は、ビデオシンタックス１１４のオカレンス、及びビデオコンテンツ１０８のオカレンスを含むことができる。
【００２８】
映像符号化システム１００は、ビデオビットストリーム１１０を復号するためのビデオデコーダ１０４を含むことができる。ビデオデコーダ１０４は、ビデオビットストリーム１１０を受信しビデオビットストリーム１１０を変更して、ビデオストリーム１１２を生成するためのユニットとして規定される。
【００２９】
ビデオデコーダ１０４は、ビデオビットストリーム１１０を復号し、ビデオシンタックス１１４を使用してビデオストリーム１１２を生成することができる。復号は、ビデオビットストリーム１１０をコンピュータにより変更してビデオストリーム１１２を生成することとして規定される。例えば、復号は、ビデオビットストリーム１１０を解凍して、ディスプレイインタフェース１２０に表示するための形式で構成されたビデオストリーム１１２を生成することができる。
【００３０】
ビデオストリーム１１２は、ビデオコンテンツ１０８のコンピュータにより変更されたバージョンとして規定される。例えば、ビデオストリーム１１２は、種々の解像度を有するビデオコンテンツ１０８の変更されたオカレンスを含むことができる。ビデオストリーム１１２は、ビデオコンテンツ１０８から切り取って復号されたピクチャを含むことができる。
【００３１】
別の実施例では、ビデオストリーム１１２は、ビデオコンテンツ１０８とは異なるアスペクト比、異なるフレームレート、異なる立体的ビュー、異なるビュー順序、又はそれらの組み合わせを有することができる。ビデオストリーム１１２は、種々の色パラメータ、色平面、コントラスト、色相、又はそれらの組み合わせを含む様々な視覚的特性情報を有することができる。
【００３２】
映像符号化システム１００は、ディスプレイプロセッサ１１８を含むことができる。ディスプレイプロセッサ１１８は、ディスプレイインタフェース１２０上で表示するためにビデオデコーダ１０４からビデオストリーム１１２を受信することができる。ディスプレイインタフェース１２０は、ビデオストリーム１１２の視覚的表現を提示できるユニットである。
【００３３】
ディスプレイインタフェース１２０は、例えば、スマートフォンディスプレイ、デジタルプロジェクタ、ＤＶＤプレーヤディスプレイ、又はそれらの組み合わせを含むことができる。映像符号化システム１００は、ビデオデコーダ１０４、ディスプレイプロセッサ１１８、及びディスプレイインタフェース１２０を個別のユニットとして示しているが、ビデオデコーダ１０４は、ディスプレイプロセッサ１１８及びディスプレイインタフェース１２０を含むことができることを理解されたい。
【００３４】
ビデオエンコーダ１０２は、通信経路１０６を通じてビデオビットストリーム１１０をビデオデコーダ１０４に送信することができる。通信経路１０６は、データ転送に好適な様々なネットワークとすることができる。
【００３５】
例示的な実施例では、映像符号化システム１００は、符号化ピクチャバッファ（図示せず）を含むことができる。符号化ピクチャバッファは、アクセスユニットを含む先入れ先出しバッファとして動作でき、各アクセスユニットは、ビデオビットストリーム１１０の１つのフレームを含むことができる。
【００３６】
別の例示的な実施例では、映像符号化システム１００は、仮想参照デコーダ（図示せず）を含むことができる。仮想参照デコーダは、ビデオビットストリーム１１０の変動性を制限するために使用されるデコーダモデルとすることができる。
【００３７】
例えば、通信経路１０６は、無線通信、有線通信、光、超音波、又はそれらの組み合わせを含むことができる。通信経路１０６に含めることができる無線通信の実施例は、衛星通信、セルラ通信、ブルートゥース、赤外線データ協会規格（ＩｒＤＡ）、ワイヤレスフィデリティ（ＷｉＦｉ）、及びワールドワイド・インターオペラビリティ・フォー・マイクロウェーブ・アクセス（ＷｉＭＡＸ）である。通信経路１０６に含めることができる有線通信の実施例は、イーサネット、デジタル加入者線（ＤＳＬ）、ファイバー・トゥ・ザ・ホーム（ＦＴＴＨ）、及び基本電話サービス（ＰＯＴＳ）である。
【００３８】
映像符号化システム１００は、様々な映像符号化シンタックス構造を用いることができる。映像符号化システム１００は、例えば、高効率映像符号化／Ｈ．２６５を使用してビデオ情報を符号化及び復号することができる。映像符号化シンタックスは、以下の文書で説明されており、その内容全体が引用により本明細書に組み込まれる。
【００３９】
Ｂ．  Ｂｒｏｓｓ、Ｗ．  Ｈａｎ、Ｊ  Ｏｈｍ、Ｇ．  Ｓｕｌｌｉｖａｎ、Ｔ．  Ｗｉｅｇ著  「Ｈｉｇｈ−Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＨＥＶＣ）  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  ８」  ＪＣＴＶＣ−Ｊ１００３  ｄ７  ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）
【００４０】
Ｂ．  Ｂｒｏｓｓ、Ｗ．  Ｈａｎ、Ｊ．  Ｏｈｍ、Ｇ．  Ｓｕｌｌｉｖａｎ、Ｔ．  Ｗｉｅｇ著  「Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＨＥＶＣ）  ｔｅｘｔ  ｓｐｅｃｉｆｉｃａｔｉｏｎ  ｄｒａｆｔ  ７」  ＪＣＴＶＣ−Ｉ１００３  ｄ４  ２０１２年５月（Ｇｅｎｅｖａ）
【００４１】
Ｍ．  Ｈａｑｕｅ、Ｋ．  Ｓａｔｏ、Ａ．  Ｔａｂａｔａｂａｉ、Ｔ．  Ｓｕｚｕｋｉ著  「Ａ  ｓｉｍｐｌｅ  ｏｒｄｅｒｉｎｇ  ｉｓｓｕｅ  ｆｏｒ  ＶＵＩ  ｐａｒａｍｅｔｅｒｓ  ｓｙｎｔａｘ」  ＪＣＴＶＣ−Ｊ０２７３  ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）
【００４２】
Ｍ．  Ｈａｑｕｅ、Ｋ．  Ｓａｔｏ、Ａ．  Ｔａｂａｔａｂａｉ、Ｔ．  Ｓｕｚｕｋｉ著  「ＨＥＶＣ  ＶＵＩ  Ｐａｒａｍｅｔｅｒｓ  ｗｉｔｈ  Ｅｘｔｅｎｓｉｏｎ  Ｈｏｏｋｓ」  ＪＣＴＶＣ−Ｊ０２７０  ２０１２年７月（Ｓｔｏｃｋｈｏｌｍ）
【００４３】
Ｍ．  Ｈａｑｕｅ、Ａ．  Ｔａｂａｔａｂａｉ著  「Ｅｘｔｅｎｓｉｏｎ  ｏｆ  ＨＥＶＣ  ＶＵＩ  Ｓｙｎｔａｘ  Ｓｔｒｕｃｔｕｒｅ」  ＪＣＴＶＣ−Ｉ０２６３  ２０１２年５月
【００４４】
Ｍ．  Ｈａｑｕｅ著  「ＡＨＧ１０：  ＶＵＩ  ａｎｄ  ＨＲＤ  ｓｙｎｔａｘ  ｄｅｓｉｇｎｓ  ａｇｒｅｅｄ  ｂｙ  ｔｈｅ  ＢｏＧ  ｏｎ  ＶＰＳ  ａｎｄ  ＮＵＨ」  ＪＣＴＶＣ−Ｊ０５４８ｒｌ  ２０１２年７月
【００４５】
ここで図２を参照すると、ビデオビットストリーム１１０の実施例が示されている。ビデオビットストリーム１１０は、図１のビデオコンテンツ１０８の符号化されたオカレンスを含み、ビデオシンタックス１１４を使用して復号して、図１のディスプレイインタフェース１２０に表示するための図１のビデオストリーム１１２を生成することができる。
【００４６】
ビデオビットストリーム１１０は、シンタックスタイプ２０２で示される様々なビデオタイプを含むことができる。シンタックスタイプ２０２は、ビデオビットストリーム１１０を符号化及び復号するために使用される映像符号化の種類のインジケータとして規定される。例えば、ビデオコンテンツ１０８は、アドバンスドビデオコーディング２０４（ＡＶＣ）、スケーラブル映像符号化２０６（ＳＶＣ）、多視点映像符号化２０８（ＭＶＣ）、多視点映像プラス奥行き２１０（ＭＶＤ）、及び立体的ビデオ２１２（ＳＳＶ）に関するシンタックスタイプ２０２を含むことができる。
【００４７】
アドバンスドビデオコーディング２０４及びスケーラブル映像符号化２０６を使用して、単一視点ベースビデオを符号化してビデオビットストリーム１１０を生成することができる。単一視点ベースビデオは、単一のカメラから生成されるビデオコンテンツ１０８を含むことができる。
【００４８】
多視点映像符号化２０８、多視点映像プラス奥行き２１０、及び立体的ビデオ２１２を使用して、２つ又はそれより多いビューを有するビデオコンテンツ１０８を符号化することができる。多視点ビデオは、例えば、複数のカメラからのビデオコンテンツ１０８を含むことができる。
【００４９】
ビデオシンタックス１１４は、ビデオコンテンツ１０８内の各フレームに関連するエントリの数を識別するためのエントリカウント２１６を含むことができる。エントリカウント２１６は、ビデオコンテンツ１０８で表されるエントリの最大数である。
【００５０】
ビデオシンタックス１１４は、エントリ識別子２１４を含むことができる。エントリ識別子２１４は、複数の符号化されたビデオシーケンスを区別するための値である。符号化されたビデオシーケンスは、単一視点ビデオ、多視点ビデオ、又は立体的ビデオに関して、様々なビットレート、フレームレート、解像度、又はスケーラブルレイヤを有するビデオコンテンツ１０８のオカレンスを含むことができる。
【００５１】
ビデオシンタックス１１４は、繰り返し識別子２１８を含むことができる。繰り返し識別子２１８は、ビデオコンテンツ１０８の個々の繰り返しを区別するための値である。
【００５２】
ビデオシンタックス１１４は、繰り返しカウント２２０を含むことができる。繰り返しカウント２２０は、ビデオコンテンツ１０８の最大繰り返し回数を示す値である。
【００５３】
スケーラブル映像符号化に関しては、この繰り返しカウントを使用して、スケーラブル映像符号化の場合の種々のスケーラブルビデオレイヤに関連する情報エントリの数を示すことができる。多視点映像符号化に関しては、繰り返しカウントを使用して、ビデオコンテンツ１０８のビューの数に関連する操作ポイントの数を示すことができる。
【００５４】
例えば、スケーラブル映像符号化では、追加の拡張レイヤを有するベースレイヤを含むようにビデオコンテンツ１０８を符号化して、ビデオビットストリーム１１０のマルチレイヤオカレンスを生成することができる。ベースレイヤは、最低の解像度、フレームレート、又は品質を有することができる。
【００５５】
拡張レイヤは、ビデオ品質を高めるために使用される追加の予備情報を有する段階的な改良点を含むことができる。スケーラブルビデオレイヤ拡張部は、拡張されてスケーラブル映像符号化を包含できるＨＥＶＣ新規ベースライン規格を含むことができる。
【００５６】
ビデオシンタックス１１４は、操作識別子２２２を含むことができる。操作識別子２２２は、ビデオコンテンツ１０８の個別の操作ポイントを区別するための値である。操作ポイントは、多視点映像符号化に関して存在する情報エントリ、例えば、タイミング情報、ネットワーク抽象レイヤ（ＮＡＬ）仮想参照デコーダ（ＨＲＤ）パラメータ、映像符号化レイヤ（ＶＣＬ）ＨＲＤパラメータ、ｐｉｃ＿ｓｔｒｕｃｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素、又はそれらの組み合わせである。
【００５７】
ビデオシンタックス１１４は、操作カウント２２４を含むことができる。操作カウント２２４は、ビデオコンテンツ１０８の操作ポイントの最大数を示す値である。
【００５８】
操作ポイントは、多視点ビデオ及び３Ｄビデオに関して、種々のカメラで生成されるビューのような様々なビューからの符号化ビデオシーケンスの生成に関連する。多視点映像符号化に関して、操作ポイントは、出力対象ビューと、出力対象ビューに依存する別のビューとを有するビデオビットストリーム１１０のサブセットに関連する。
【００５９】
別のビューは、それらが下位ビットストリーム抽出プロセスを使用して得られる場合に、出力対象ビューに依存する。１つより多い操作ポイントが、ビデオビットストリーム１１０の同じサブセットに関連することができる。例えば、操作ポイントを復号することは、ビデオエンコーダデバイス上で表示するために、操作ポイントと、出力対象ビューの次の出力とに対応するビデオビットストリームのサブセットを、図１のビデオストリーム１１２の一部分として復号することに言及するものである。
【００６０】
ビデオシンタックス１１４は、ビュー識別子２２６を含むことができる。ビュー識別子２２６は、ビデオコンテンツ１０８の個別のビューを区別するための値である。
【００６１】
ビデオシンタックス１１４は、ビューカウント２２８を含むことができる。ビューカウント２２８は、ビデオコンテンツ１０８のビューの最大数を示す値である。
【００６２】
例えば、単一視点ビデオは、単一のカメラで生成されたビデオとすることができる。多視点ビデオは、様々な位置及び距離に位置する複数のカメラによって、シーン内で視認される対象物から生成することができる。
【００６３】
ビデオコンテンツ１０８は、様々なビデオ特性情報を含むことができる。例えば、ビデオコンテンツ１０８は、超高精細ビデオのような高解像度ビデオとすることができる。ビデオコンテンツ１０８は、７６８０×４３２０、８Ｋ×２Ｋ、４Ｋ×２Ｋ、又はそれらの組み合わせの解像度を含む、３８４０×２１６０以上の画素解像度を有することができる。ビデオコンテンツ１０８は、高解像度ビデオに対応しているが、ビデオコンテンツ１０８は更に、高精細（ＨＤ）ビデオのような低解像度に対応できるということを理解されたい。ビデオシンタックス１１４は、ビデオコンテンツ１０８の解像度に対応することができる。
【００６４】
ビデオコンテンツ１０８は、１５フレーム毎秒（ｆｐｓ）、２４ｆｐｓ、２５ｆｐｓ、３０ｆｐｓ、５０ｆｐｓ、６０ｆｐｓ、及び１２０ｆｐｓを含む、様々なフレームレートに対応することができる。個々のフレームレートを説明したが、ビデオコンテンツ１０８は、ゼロフレーム毎秒及びそれ以上の固定及び可変のフレームレートに対応できることを理解されたい。ビデオシンタックス１１４は、ビデオコンテンツ１０８のフレームレートに対応することができる。
【００６５】
ビデオビットストリーム１１０は、１つ又はそれ以上の時間レイヤ２３０を含むことができる。時間レイヤ２３０は、特定のフレームレートでのビデオストリーム１１２を表すビデオビットストリーム１１０の一部分として規定される。各時間レイヤ２３０は、フレーム毎秒（ｆｐｓ）として表された種々のフレームレートでビデオストリーム１１２を表すことができる。時間レイヤ２３０は、下位レイヤを含む上位レイヤを備える階層を構成することができる。
【００６６】
例えば、時間レイヤ２３０の第１のオカレンス２３２は、ビデオストリーム１１２の１５ｆｐｓオカレンスを表し、時間レイヤ２３０の第２のオカレンス２３４は、ビデオストリーム１１２の３０ｆｐｓオカレンスを表し、時間レイヤ２３０の第３のオカレンス２３６は、ビデオストリーム１１２の６０ｆｐｓオカレンスを表すことができる。ビデオビットストリーム１１０は、時間レイヤカウント２３８で示される時間レイヤ２３０の複数のオカレンスを有することができる。別の実施例では、時間レイヤカウント２３８は、第１のオカレンス２３２、第２のオカレンス２３４、及び第３のオカレンス２３６に関する３つの値を有することができる。
【００６７】
時間レイヤ２３０の第１のオカレンス２３２は、ビデオコンテンツ１０８を符号化して１５ｆｐｓでのビデオストリーム１１２を生成するためのベースレイヤを表すことができる。時間レイヤ２３０の第２のオカレンス２３４は、時間レイヤ２３０の第１のオカレンス２３２のようなベースレイヤと、３０ｆｐｓでのビデオコンテンツ１０８のビデオストリーム１１２との間の差分を表すことができる。
【００６８】
第２のオカレンス２３４は、ベースレイヤのフレームと、３０ｆｐｓでのビデオコンテンツ１０８を表示するために要求される新しいフレームとの間の差分を表すフレームを含むことができる。時間レイヤ２３０の第３のオカレンス２３６は、時間レイヤ２３０の第２のオカレンス２３４と、６０ｆｐｓでのビデオコンテンツとの間の差分を表すことができる。
【００６９】
例示的な実施例では、図１のスマートフォンに関するビデオデコーダ１０２は、第１のオカレンス２３２及び第２のオカレンス２３４からの情報を含むことができるビデオビットストリーム１１０から３０ｆｐｓでの時間レイヤ２３０の第２のオカレンス２３４を抽出することができる。時間レイヤ２３０の第３のオカレンス２３６からのビデオビットストリーム１１０内の情報を切り捨てて、ビデオビットストリーム１１０のサイズを小さくすることができる。
【００７０】
ここで図３を参照すると、ＨＲＤシンタックス３０２の実施例が示されている。ＨＲＤシンタックス３０２は、仮想参照デコーダに関連するパラメータを表す。
【００７１】
ＨＲＤシンタックス３０２は、図４のＨＲＤベースシンタックス表で表された要素を含む。ＨＲＤシンタックス３０２の要素は、図４のＨＲＤベースシンタックス表において表された階層構造で配列される。
【００７２】
ＨＲＤシンタックス３０２は、ビデオビットストリーム１１０に含めることができ、各要素は、送信された順番で受信される連続的時間方法で配信することができる。例えば、ＨＲＤシンタックス３０２は、図４のＨＲＤシンタックスで表された順番で配信されるＨＲＤシンタックス３０２の要素を有するシリアルビットストリームとして図１のビデオデコーダ１０４で受信することができる。
【００７３】
ＨＲＤシンタックス３０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤシンタックスヘッダ部３０４を含むことができる。ＨＲＤシンタックスヘッダ部４０４は、ＨＲＤシンタックス３０２を識別するための記述子である。
【００７４】
ＨＲＤシンタックス３０２は、ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１要素のような符号化ピクチャバッファ（ＣＰＢ）カウント３０８を含むことができる。ＣＰＢカウント３０８は、制限されたビットレート及びＣＰＢサイズ値を有する別の配信スケジューラの数を示すことができる。
【００７５】
ＨＲＤシンタックス３０２は、ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ要素のようなビットレートスケール３１０を含むことができる。ビットレートスケール３１０は、ＣＰＢの最大入力ビットレートを指定する。
【００７６】
ＨＲＤシンタックス３０２は、ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ要素のようなＣＰＢサイズスケール３１２を含むことができる。ＣＰＢサイズスケール３１２は、符号化ピクチャバッファのサイズを判定するためのものである。
【００７７】
ＨＲＤシンタックス３０２は、符号化ピクチャバッファの各オカレンスに関するパラメータセットを規定するためのループ構造を含むことができる。ループ構造は、ＳｃｈｅｄＳｅｌＩｄｘ要素のようなスケジュール選択インデックスに基づく大きさである。ＨＲＤシンタックス３０２のループ構造は、符号化ピクチャバッファの各オカレンスに関するビットレート値３１６、ＣＰＢサイズ値３１８、及び固定ビットレート（ＣＢＲ）フラグ３２０を含むことができる。
【００７８】
ＨＲＤシンタックス３０２は、ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなビットレート値３１６を含むことができる。ビットレート値３１６を使用して、符号化ピクチャバッファの各オカレンスに関する最大入力ビットレートを指定することができる。
【００７９】
ＨＲＤシンタックス３０２は、ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなＣＰＢサイズ値３１８を含むことができる。ＣＰＢサイズ値３１８を使用して、符号化ピクチャバッファの各オカレンスのサイズを判定することができる。
【００８０】
ＨＲＤシンタックス３０２は、ｃｂｒ＿ｆｌａｇ要素のようなＣＢＲフラグ３２０を含むことができる。ＣＢＲフラグ３２０は、符号化ピクチャバッファの各オカレンスに関してビデオビットストリーム１１０を復号するための動作モードを示す。ＣＢＲフラグ３２０が値１を有する場合には、仮想ストリーム配信スケジューラ（ＨＳＳ）は、固定ビットレートモードで動作する。それ以外の場合には、ビデオビットストリーム１１０は、断続的なビットレートモードで動作する。
【００８１】
ＨＲＤシンタックス３０２は、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のような初期ＣＰＢ除去遅延長３２２を含むことができる。初期ＣＰＢ除去遅延長３２２は、バッファリング期間付加拡張情報（ＳＥＩ）メッセージのｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素及びｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｏｆｆｓｅｔ要素のビット長を示す。
【００８２】
ＨＲＤシンタックス３０２は、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＣＰＢ除去遅延長３２４を含むことができる。ＣＰＢ除去遅延長３２４は、ピクチャタイミングＳＥＩメッセージ内のｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素のビット長を指定することができる。
【００８３】
ＨＲＤシンタックス３０２は、ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のような復号ピクチャバッファ（ＤＰＢ）出力遅延長３２６を含むことができる。ＤＰＢ出力遅延長３２６は、ＤＰＢのサイズを示す。
【００８４】
ＨＲＤシンタックス３０２は、ｔｉｍｅ＿ｏｆｆｓｅｔ＿ｌｅｎｇｔｈ要素のような時間オフセット長３２８を含むことができる。時間オフセット長３２８は、ｔｉｍｅ＿ｏｆｆｓｅｔ要素のビット長を示す。
【００８５】
ここで図４を参照すると、高効率映像符号化（ＨＥＶＣ）ビデオ表示情報（ＶＵＩ）シンタックス４０２の実施例が示されている。ＨＥＶＣ  ＶＵＩシンタックス４０２は、図１のビデオコンテンツ１０８に関する追加のアプリケーションユーザビリティ機能を可能にするための図１のビデオビットストリーム１１０に関する情報を含む。
【００８６】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、図３のＨＥＶＣ  ＶＵＩシンタックス表内の要素を表す。ＨＥＶＣ  ＶＵＩシンタックス４０２の要素は、図３のＨＥＶＣ  ＶＵＩシンタックス表において表された階層構造で配列される。
【００８７】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＥＶＣ  ＶＵＩシンタックスヘッダ部４０４を含む。ＨＥＶＣ  ＶＵＩシンタックスヘッダ部４０４は、ＨＥＶＣ  ＶＵＩシンタックス４０２を識別するための記述子である。ＨＥＶＣ  ＶＵＩシンタックス４０２を使用して、ビデオビットストリーム１１０を符号化及び復号する。
【００８８】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなアスペクト比フラグ４０６を含むことができる。アスペクト比フラグ４０６は、アスペクト比情報がビデオビットストリーム１１０内に符号化されていることを示すことができる。アスペクト比フラグ４０６は、アスペクト比情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０、及びアスペクト比情報が、ビデオビットストリーム１１０に含まれていることを示すための値１を有することができる。
【００８９】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ要素のようなアスペクト比インジケータ４０８を含むことができる。アスペクト比インジケータ４０８は、図１のビデオコンテンツ１０８のアスペクト比を表す値である。アスペクト比インジケータ４０８は、例えば、ビデオコンテンツ１０８に関する所定のアスペクト比の列挙型リストに関するインデックス値を含むことができる。別の実施例では、アスペクト比インジケータ４０８は、アスペクト比を、アスペクト比幅４１０及びアスペクト比高さ４１２に関する個別の値で表すことができることを示す値を含むことができる。
【００９０】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｓａｒ＿ｗｉｄｔｈ要素のようなアスペクト比幅４１０を含むことができる。アスペクト比幅４１０は、ビデオコンテンツ１０８の幅を表すことができる。アスペクト比幅４１０は、ビデオコンテンツの大きさを、比率、画素、線、インチ、センチメートル、又はそれらの組み合わせで表すことができる。
【００９１】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｓａｒ＿ｈｉｇｈｔ要素のようなアスペクト比高さ４１２を含むことができる。アスペクト比高さ４１２は、ビデオコンテンツ１０８の高さを表すことができる。アスペクト比高さ４１２は、ビデオコンテンツの大きさを、比率、画素、線、インチ、センチメートル、又はそれらの組み合わせで表すことができる。
【００９２】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｏｖｅｒｓｃａｎ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇのようなオーバースキャン存在フラグ４１４を含むことができる。オーバースキャン存在フラグ４１４は、オーバースキャン情報が、ビデオビットストリーム１１０に含まれているか否かを示すことができる。オーバースキャン存在フラグ４１４は、オーバースキャン情報が、ビデオビットストリーム内に存在していることを示すための値１、又はオーバースキャン情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。
【００９３】
オーバースキャンは、図１のビデオストリーム１１２から切り取って復号されたピクチャの境界近くの一部の部分が、ビデオストリーム１１２の表示領域内で視認できない場合の表示処理として規定される。アンダースキャンは、ビデオストリーム１１２から切り取って復号されたピクチャ全体が、表示領域内で視認できるが、表示領域全体を対象として含んでいない場合の表示処理として規定される。
【００９４】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｏｖｅｒｓｃａｎ＿ａｐｐｒｏｐｒｉａｔｅ＿ｆｌａｇ要素のようなオーバースキャン適切フラグ４１６を含むことができる。オーバースキャン適切フラグ４１６は、ビデオビットストリーム１１０内に符号化されたビデオコンテンツ１０８が、オーバースキャンを使用して表示できることを示すことができる。
【００９５】
オーバースキャン適切フラグ４１６は、ビデオストリーム１１２から切り取って復号されたピクチャが、オーバースキャンを使用して表示するのに好適であることを示すための値１を有することができる。オーバースキャン適切フラグ４１６は、ビデオストリーム１１２から切り取って復号されたピクチャが、視覚的に重要な情報を含み、オーバースキャンを使用して表示すべきでないことを示すための値０を有することができる。
【００９６】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｖｉｄｅｏ＿ｓｉｇｎａｌ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなビデオ信号存在フラグ４１８を含むことができる。ビデオ信号存在フラグ４１８は、ビデオ信号タイプ情報が、ビデオビットストリーム１１０に含まれていることを示すことができる。ビデオ信号存在フラグ４１８は、追加のビデオ信号タイプ情報が、ビデオビットストリーム１１０内に存在していることを示すための値１を有することができる。ビデオ信号存在フラグ４１８は、ビデオ信号タイプ情報が、ビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。
【００９７】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｖｉｄｅｏ＿ｆｏｒｍａｔ要素のようなビデオ形式４２０を含むことができる。ビデオ形式４２０は、ビデオの形式を示すことができる。
【００９８】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｖｉｄｅｏ＿ｆｕｌｌ＿ｒａｎｇｅ＿ｆｌａｇ要素のようなビデオフルレンジフラグ４２２を含むことができる。ビデオフルレンジフラグ４２２は、ビデオビットストリーム１１０内に符号化されたビデオコンテンツ１０８に関する輝度及び色差信号の黒レベル及び範囲を示すことができる。
【００９９】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなカラー記述存在フラグ４２４を含むことができる。カラー記述存在フラグ４２４は、ビデオビットストリーム１１０内のカラー記述情報の存在を示すことができる。
【０１００】
カラー記述存在フラグ４２４は、別のカラー記述情報が、ビデオビットストリーム１１０に含まれていないことを示すための値０を有することができる。カラー記述存在フラグ４２４は、原色４２６、伝達特性４２８、及び行列係数４３０が、ビデオビットストリーム１１０に含まれていることを示すための値１を有することができる。
【０１０１】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓ要素のような原色４２６を含むことができる。原色４２６は、ビデオコンテンツ１０８で使用されるカラースキームを示すことができる。例えば、原色４２６は、元の原色の色度座標を示すことができる。
【０１０２】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｔｒａｎｓｆｅｒ＿ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ要素のような伝達特性４２８を含むことができる。伝達特性４２８は、ビデオコンテンツ１０８の光エレクトロニクス伝達特性を示すことができる。伝達特性４２８は、例えば、所定の表示特性セットを表す列挙型値とすることができる。
【０１０３】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｍａｔｒｉｘ＿ｃｏｅｆｆｉｃｉｅｎｔ要素のような行列係数４３０を含むことができる。行列係数４３０は、原色４２６で示される赤、緑、及び青の原色から輝度及び色差信号を得るために使用される係数を示すことができる。行列係数４３０を使用して、コンピュータにより赤、青、及び緑の色度座標セットを輝度及び色差均等値に変換することができる。
【０１０４】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のような色差位置情報存在フラグ４３２を含むことができる。色差位置情報存在フラグ４３２は、色差最高部フィールドサンプル４３４及び色差最低部フィールドサンプル４３６が、ビデオビットストリーム１１０内に存在していることを示すための値１を有することができる。
【０１０５】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄ要素のような色差最高部フィールドサンプル４３４を含むことができる。色差最高部フィールドサンプル４３４は、ビデオビットストリーム１１０内の最高部フィールドに関する色差サンプルの位置を指定するための列挙型値である。
【０１０６】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄ要素のような色差最低部フィールドサンプル４３６を含むことができる。色差最低部フィールドサンプル４３６は、ビデオビットストリーム１１０内の最低部フィールドに関する色差サンプルの位置を指定するための列挙型値である。
【０１０７】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｎｅｕｔｒａｌ＿ｃｈｒｏｍａ＿ｉｎｄｉｃａｔｉｏｎ＿ｆｌａｇ要素のような中間色差フラグ４３８を含むことができる。中間色差フラグ４３８は、復号された色差サンプルが１に等しいか否かを示すことができる。例えば、中間色差フラグ４３８が値１を有する場合には、復号された色差サンプルの全てが、１に設定されている。中間色差フラグ４３８が値０を有する場合には、復号された色差サンプルは、１に制限されていない。
【０１０８】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇのようなフィールドシーケンスフラグ４４０を含むことができ、これは、符号化されたビデオシーケンス情報が、ビデオ表現フィールドを含むか否かを示すことができる。フィールドシーケンスフラグ４４０は、ビデオビットストリーム１１０の符号化されたビデオシーケンスがフィールドレベルピクチャを含むことを示すための値１、及びフレームレベルピクチャを示すための値０を有することができる。
【０１０９】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなタイミング情報存在フラグ４４２を含むことができる。タイミング情報存在フラグ４４２は、タイミング情報がビデオビットストリーム１１０に含まれているか否かを示すことができる。例えば、タイミング情報存在フラグ４４２は、時間刻みユニット４４４、時間スケール４４６、及び固定ピクチャレートフラグ４４８がビデオビットストリーム１１０内に存在していることを示すための値１を有することができる。
【０１１０】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ要素のような時間刻みユニット４４４を含むことができる。時間刻みユニット４４４は、時間スケール４４６の周波数で動作するクロックの時間単位数を示すことができる。例えば、時間刻みユニット４４４は、ビデオビットストリーム１１０で表すことができる最小の時間間隔に対応することができる。
【０１１１】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｔｉｍｅ＿ｓｃａｌｅ要素のような時間スケール４４６を含むことができる。時間スケール４４６は、１秒の時間単位数である。
【０１１２】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇ要素のような固定ピクチャレートフラグ４４８を含むことができる。固定ピクチャレートフラグ４４８は、ビデオストリーム１１２の出力順番における２つの連続的なピクチャの間の時間距離が制約されているか否かを示すことができる。固定ピクチャレートフラグ４４８は、制約が適用されないことを示すための値０、及び時間距離が制約されていることを示すための値１を有する。
【０１１３】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ  ＨＲＤパラメータ存在フラグ４５２を含むことができる。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２は、ＮＡＬ  ＨＲＤパラメータの存在が図３のＨＲＤシンタックス３０２に含まれていることを示すことができる。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２は、ＨＲＤパラメータ構造４５４が存在していることを示すための値１、及びＨＲＤパラメータ構造４５４がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。
【０１１４】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ＨＲＤパラメータ構造４５４を含むことができる。ＨＲＤパラメータ構造４５４は、図３のＨＲＤシンタックス３０２のオカレンスである。ＨＲＤパラメータ構造４５４は、ＨＲＤシンタックスのセクションで詳細に説明される。
【０１１５】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ  ＨＲＤパラメータ存在フラグ４５６を含むことができ、ＶＣＬに関してＨＲＤ情報の存在を示すことができる。ＶＣＬ  ＨＲＤパラメータ存在フラグ４５６は、ＨＲＤパラメータ構造４５４が存在していることを示すための値１、及びＨＲＤパラメータ構造４５４がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。
【０１１６】
ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２又はＶＣＬ  ＨＲＤパラメータ存在フラグ４５６が値１を有する場合には、ＨＥＶＣ  ＶＵＩシンタックス４０２は、ビデオビットストリーム１１０内に低遅延フラグ４６０及びサブピクチャＣＰＢパラメータ存在フラグ４６２を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ４６２が値１を有する場合には、ＨＥＶＣ  ＶＵＩシンタックス４０２は、ビデオビットストリーム１１０内に時間刻みサブユニット４６４を含むことができる。
【０１１７】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延フラグ４６０を含むことができる。低遅延フラグ４６０は、ＨＲＤ動作モードを示すことができる。
【０１１８】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ４６２を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ４６２は、サブピクチャＣＰＢパラメータがビデオビットストリーム１１０内に存在しているか否かを示すことができる。
【０１１９】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｎｕｍ＿ｏｆ＿ｕｎｉｔｓ＿ｉｎ＿ｓｕｂ＿ｔｉｃｋ要素のような時間刻みサブユニット４６４を含むことができる。時間刻みサブユニット４６４は、タイミング付加拡張情報（ＳＥＩ）メッセージを取り除く前に待つための時間刻み数を示すことができる。
【０１２０】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｂｉｔｓｔｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ要素のようなビットストリーム制限フラグ４６６を含むことができる。ビットストリーム制限フラグ４６６は、符号化されたビデオシーケンスのビットストリーム制限パラメータが、ビデオビットストリーム１１０内に存在していることを示すことができる。ビットストリーム制限フラグ４６６が値１を有する場合には、ＨＥＶＣ  ＶＵＩシンタックス４０２は、タイル固定構成フラグ４６８、動きベクトルフラグ４７０、ピクチャ種類毎の最大バイト数４７２、最少ＣＵ種類毎の最大ビット数４７４、動きベクトル最大水平距離４７６、及び動きベクトル最大垂直距離４７８を含むことができる。
【０１２１】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇ要素のようなタイル固定構成フラグ４６８を含むことができ、これは、符号化されたビデオシーケンス内の各ピクチャが、同じ数のタイルを有することを示すことができる。タイル固定構成フラグ４６８は、この固定タイルを示すための値１、及びそれ以外の場合を示すための値０を有することができる。
【０１２２】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｏｖｅｒ＿ｐｉｃ＿ｂｏｕｎｄａｒｉｅｓ＿ｆｌａｇ要素のような動きベクトルフラグ４７０を含むことができ、これは、ピクチャ境界の外部のサンプルが予測のために使用されないことを示すことができる。動きベクトルフラグ４７０が値１を有する場合には、ピクチャ境界の外部の１つ又はそれ以上のサンプルが予測のために使用でき、それ以外の場合には、サンプルが予測のために使用されない。
【０１２３】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｍａｘ＿ｂｙｔｅｓ＿ｐｅｒ＿ｐｉｃ＿ｄｅｎｏｍ要素のようなピクチャ種類毎の最大バイト数４７２を含むことができ、これは、符号化されたビデオシーケンス内のいずれかの符号化されたピクチャに関連するＶＣＬ  ＮＡＬユニットの合計サイズに関する最大ビット数を示す値である。ピクチャ種類毎の最大バイト数４７２が値０を有する場合には、制限は示されない。それ以外の場合には、符号化されたピクチャを、ビデオビットストリーム１１０内で、ピクチャ種類毎の最大バイト数４７２よりも多いバイトにより表すべきではないというビットストリーム適合要件である。
【０１２４】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｍａｘ＿ｂｉｔｓ＿ｐｅｒ＿ｍｉｎ＿ｃｕ＿ｄｅｎｏｍ要素のような最少ＣＵ種類毎の最大ビット数４７４を含むことができ、これは、符号化されたビデオシーケンスのいずれかのピクチャ内のいずれかの符号化ブロックに関する符号化ユニットデータの符号化されたビット数に関する上限を示す値である。最少ＣＵ種類毎の最大ビット数４７４が値０を有する場合には、制限は示されない。それ以外の場合には、符号化ユニットを、ビットストリーム内で、最少ＣＵ種類毎の最大ビット数４７４よりも多いビットで表すべきではないというビットストリーム適合要件である。
【０１２５】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ要素のような動きベクトル最大水平距離４７６を含むことができ、これは、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル水平成分の最大絶対値を示す。ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ要素のような動きベクトル最大垂直距離４７８は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル垂直成分の最大絶対値を示す。
【０１２６】
ＨＲＤシンタックス３０２は、ビデオビットストリーム１１０に関する標準の要件セットを表すことができる。ＨＲＤシンタックス３０２を使用して、ビデオビットストリーム１１０のビットレートを制御することができる。例えば、ＨＲＤシンタックス３０２は、可変又は固定のビットレート動作、低遅延動作、及び遅延耐性動作を制御するためのパラメータを含むことができる。
【０１２７】
別の実施例では、ＨＲＤシンタックス３０２は、図３のビットレートスケール３１０、図３のＣＰＢカウント３０８、及び図３のＣＰＢサイズスケール３１２のようなパラメータを使用して、符号化ピクチャバッファの性能、符号化ピクチャバッファの数、及び符号化ピクチャバッファのサイズを制御するために使用される。ＨＲＤシンタックス３０２は、図３のＤＰＢ出力遅延長３２６のようなパラメータを使用して復号ピクチャバッファを制御するために使用することができる。
【０１２８】
ＨＲＤシンタックス３０２は、符号化ピクチャバッファの個別のオカレンスの制御にわたるより高精度で精細な制御を可能にすることによって性能を向上できることが見いだされている。ＨＲＤシンタックス３０２の個別のオカレンスを使用することにより、ＣＰＢの種々のオカレンス間の個別の差分を利用することによって処理速度を向上することができる。
【０１２９】
ＨＲＤシンタックス３０２を使用してビデオコンテンツ１０８を符号化及び復号することにより、ビデオビットストリーム１１０のサイズを減少させることができ、ビデオストリーム１１２を表示するために必要なビデオバッファリングの量が減少することが見いだされている。ビデオビットストリーム１１０のサイズを低減することにより、機能性が向上し、ビデオストリーム１１２の表示性能が向上する。
【０１３０】
ここで図５を参照すると、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２の実施例が示されている。ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、図１のビデオビットストリーム１１０内の時間レイヤの各オカレンスに関する情報を提供する。ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、図４のＨＥＶＣ  ＶＵＩシンタックス４０２の実施形態とすることができる。
【０１３１】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、図５のＨＥＶＣ  ＶＵＩ拡張シンタックス表内の要素を表す。ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２の要素は、図５のＨＥＶＣ  ＶＵＩ拡張シンタックス表において表された階層構造で配列される。
【０１３２】
ＨＥＶＣ  ＶＵＩシンタックス４０２は、図１の映像符号化システム１００のＶＵＩパラメータを表すことができる。例えば、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ＨＥＶＣ  ＶＵＩシンタックス４０２のオカレンスとすることができる。第１又は第２のような用語は、識別のためにのみ使用され、何らかの順番、優先度、重要性、又は優先順位を示すものではない。
【０１３３】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＥＶＣ  ＶＵＩ拡張シンタックスヘッダ部５０４を含む。ＨＥＶＣ  ＶＵＩ拡張シンタックスヘッダ部５０４は、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２を識別するための記述子である。
【０１３４】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ  ＨＲＤパラメータ存在フラグ４５２を含むことができる。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２は、ＮＡＬ  ＨＲＤパラメータ情報の存在を示すことができる。
【０１３５】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ  ＨＲＤパラメータ存在フラグ４５６を含むことができる。ＶＣＬ  ＨＲＤパラメータ存在フラグ４５６は、ＶＣＬ  ＨＲＤパラメータ情報の存在を示すことができる。
【０１３６】
ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２又はＶＣＬ  ＨＲＤパラメータ存在フラグ４５６が値１を有する場合には、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、低遅延フラグ４６０、及びサブピクチャＣＰＢパラメータ存在フラグ４６２を含むことができる。
【０１３７】
ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２及びＶＣＬ  ＨＲＤパラメータ存在フラグ４５６は、別のＨＲＤ関連パラメータの包含を制御することができる。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２又はＶＣＬ  ＨＲＤパラメータ存在フラグ４５６が値１を有する場合には、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、低遅延フラグ４６０、及びサブピクチャＣＰＢパラメータ存在フラグ４６２を含むことができる。
【０１３８】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延フラグ４６０を含むことができる。低遅延フラグ４６０は、ＨＲＤ動作モードを示すことができる。
【０１３９】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ４６２を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ４６２は、サブピクチャＣＰＢパラメータが図１のビデオビットストリーム１１０内に存在しているか否かを示すことができる。
【０１４０】
サブピクチャＣＰＢパラメータ存在フラグ４６２が値１を有する場合には、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ｎｕｍ＿ｏｆ＿ｕｎｉｔｓ＿ｉｎ＿ｓｕｂ＿ｔｉｃｋ要素のような時間刻みサブユニット４６４を含むことができる。時間刻みサブユニット４６４は、タイミング付加拡張情報（ＳＥＩ）メッセージを取り除く前に待つための時間刻み数を示すことができる。
【０１４１】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、図３のＨＲＤシンタックス３０２がＨＥＶＣ  ＶＵＩ拡張シンタックス５０２に含まれているか否かを判定するために評価される２つの条件チェックを含むことができる。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２が値１を有する場合には、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ＨＲＤシンタックス３０２を含むことができる。
【０１４２】
ＶＣＬ  ＨＲＤパラメータ存在フラグ４５６が値１を有する場合には、ＨＥＶＣ  ＶＵＩシンタックス４０２は、ＨＲＤシンタックス３０２を含むことができる。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２又はＶＣＬ  ＨＲＤパラメータ存在フラグ４５６のいずれもが値１を有しない場合には、ＨＲＤシンタックス３０２は、ＨＥＶＣ  ＶＵＩシンタックス４０２に含まれない。
【０１４３】
ビデオビットストリーム１１０は、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２のオカレンスを含むことができる。ビデオビットストリーム１１０は、ビデオビットストリーム１１０内で連続的に配列されたＨＥＶＣ  ＶＵＩ拡張シンタックス５０２の各要素を含むシリアルビットストリームである。ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２の要素は、図５のＨＥＶＣ  ＶＵＩ拡張シンタックス表で規定された順番でビデオビットストリーム１１０から抽出することができる。
【０１４４】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２の低遅延フラグ４６０の値は、ＨＲＤシンタックス３０２の図３のＣＰＢカウント３０８の使用を判定することができる。低遅延フラグ４６０が値１を有する場合には、ＣＰＢカウント３０８は０に設定される。
【０１４５】
ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ビデオビットストリーム１１０のシリアル伝送におけるＨＲＤシンタックス３０２の前に位置する低遅延フラグ４６０を含む。低遅延フラグ４６０は、ＨＲＤシンタックス３０２の前に抽出される。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２及びＶＣＬ  ＨＲＤパラメータ存在フラグ４５６は、ＨＲＤシンタックス３０２の前に抽出される。ＨＲＤシンタックス３０２の要素は、低遅延フラグ４６０、ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２、及びＶＣＬ  ＨＲＤパラメータ存在フラグ４５６の値に基づいて抽出することができる。例えば、低遅延フラグ４６０が値１を有し、ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２又はＶＣＬ  ＨＲＤパラメータ存在フラグ４５６のいずれかが値１を有する場合には、ＨＲＤシンタックス３０２のＣＰＢカウント３０８の値は、明示的に０に設定でき、映像符号化システム１００は、単一の符号化ピクチャバッファのみを用いた低遅延モードで動作することができる。
【０１４６】
図２の全ての時間レイヤ２３０に関して不変のＨＲＤパラメータ構造４５４を有するＨＥＶＣ  ＶＵＩ拡張シンタックス５０２を使用して、図１のビデオコンテンツ１０８を符号化及び復号することにより、複雑性を低減し性能を向上できることが見いだされている。ＨＲＤパラメータ構造４５４は、復号プロセスの処理にわたる安定した制御を可能にすることによって、動作を単純化すること、及び複雑性を低減することができる。
【０１４７】
ここで図６を参照すると、ＨＲＤベースシンタックス６０２の実施例が示されている。ＨＲＤベースシンタックス６０２は、仮想参照デコーダの動作に関連するパラメータを表す。
【０１４８】
ＨＲＤベースシンタックス６０２は、図６のＨＲＤシンタックス表で表された要素を含む。ＨＲＤベースシンタックス６０２の要素は、図６のＨＲＤシンタックス表において表された階層構造で配列される。
【０１４９】
ＨＲＤベースシンタックス６０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤベースシンタックスヘッダ部６０４を含むことができる。ＨＲＤベースシンタックスヘッダ部６０４は、ＨＲＤベースシンタックス６０２を識別するための記述子である。
【０１５０】
ＨＲＤベースシンタックス６０２は、タイミング情報が図１のビデオビットストリーム１１０に含まれているか否かを示すための、ｔｉｍｉｎｇ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなタイミング情報存在フラグ４４２を含むことができる。タイミング情報存在フラグ４４２は、タイミング情報がビデオビットストリーム１１０内に存在していることを示すための値１、及びタイミング情報がビデオビットストリーム１１０内に存在していないことを示すための値０を有することができる。
【０１５１】
ＨＲＤベースシンタックス６０２は、時間スケール４４６の周波数で動作するクロックの時間単位数を示すための、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋ要素のような時間刻みユニット４４４を含むことができる。例えば、時間刻みユニット４４４は、ビデオビットストリーム１１０で表すことができる最低の時間間隔に対応することができる。ｔｉｍｅ＿ｓｃａｌｅ要素のような時間スケール４４６は、１秒の時間単位数である。
【０１５２】
ＨＲＤベースシンタックス６０２は、ＮＡＬ  ＨＲＤパラメータ情報の存在を示すための、ｎａｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＮＡＬ  ＨＲＤパラメータ存在フラグ４５２を含むことができる。ＨＲＤベースシンタックス６０２は、ＶＣＬに関するＨＲＤ情報の存在を示すための、ｖｃｌ＿ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなＶＣＬ  ＨＲＤパラメータ存在フラグ４５６を含むことができる。
【０１５３】
ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２又はＶＣＬ  ＨＲＤパラメータ存在フラグ４５６が値１を有する場合には、ＨＲＤベースシンタックス６０２は、追加のＣＰＢ関連要素を含むことができる。例えば、ＨＲＤベースシンタックス６０２は、サブピクチャＣＰＢパラメータ存在フラグ４６２、ビットレートスケール３１０、ＣＰＢサイズスケール３１２、初期ＣＰＢ除去遅延長３２２、ＣＰＢ除去遅延長３２４、及びＤＰＢ出力遅延長３２６を含むことができる。
【０１５４】
ＨＲＤベースシンタックス６０２は、サブピクチャＣＰＢパラメータがビデオビットストリーム１１０内に存在しているか否かを示すための、ｓｕｂ＿ｐｉｃ＿ｃｐｂ＿ｐａｒａｍｓ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなサブピクチャＣＰＢパラメータ存在フラグ４６２を含むことができる。サブピクチャＣＰＢパラメータ存在フラグ４６２が値１を有する場合には、ＨＲＤベースシンタックス６０２は、ビデオビットストリーム１１０で表すことができる最小時間間隔を指定するための、ｔｉｃｋ＿ｄｉｖｉｓｏｒ＿ｍｉｎｕｓ２要素のような時間刻み除数６０６を含むことができる。
【０１５５】
ＨＲＤベースシンタックス６０２は、符号化ピクチャバッファ（ＣＰＢ）の最大入力ビットレートを示すための、ｂｉｔ＿ｒａｔｅ＿ｓｃａｌｅ要素のようなビットレートスケール３１０を含むことができる。ＨＲＤベースシンタックス６０２は、ＣＰＢのサイズを判定するための、ｃｐｂ＿ｓｉｚｅ＿ｓｃａｌｅ要素のようなＣＰＢサイズスケール３１２を含むことができる。
【０１５６】
ＨＲＤベースシンタックス６０２は、バッファリング期間ＳＥＩメッセージの要素のビット長を示すための、ｉｎｉｔｉａｌ＿ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のような初期ＣＰＢ除去遅延長３２２を含むことができる。ＨＲＤベースシンタックス６０２は、ピクチャタイミングＳＥＩメッセージ内のｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ要素のビット長を示すための、ｃｐｂ＿ｒｅｍｏｖａｌ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＣＰＢ除去遅延長３２４を含むことができる。
【０１５７】
ＨＲＤベースシンタックス６０２は、ｄｐｂ＿ｏｕｔｐｕｔ＿ｄｅｌａｙ＿ｌｅｎｇｔｈ＿ｍｉｎｕｓ１要素のようなＤＰＢ出力遅延長３２６を含むことができる。ＤＰＢ出力遅延長３２６は、復号ピクチャバッファ（ＤＰＢ）のサイズを示す。
【０１５８】
ＨＲＤベースシンタックス６０２は、サブレイヤの各オカレンスに関するパラメータセットを含むことができる。ＨＲＤベースシンタックス６０２は、サブレイヤの各オカレンスに関するパラメータを表すための［ｉ］のようなイテレータを使用したループ構造を含むことができる。
【０１５９】
ＨＲＤベースシンタックス６０２は、ビデオビットストリーム１１０内のサブレイヤの最大数を示すための、ＭａｘＮｕｍＳｕｂＬａｙｅｒｓＭｉｎｕｓ１要素のようなサブレイヤカウント３０６を含むことができる。ＨＲＤベースシンタックス６０２は、ビデオビットストリーム１１０内のいずれか２つの連続的なピクチャのＨＲＤ出力時間の間の時間距離が制約されているか否かを示すための、ｆｉｘｅｄ＿ｐｉｃ＿ｒａｔｅ＿ｆｌａｇ要素のような固定ピクチャレートフラグ４４８を含むことができる。
【０１６０】
固定ピクチャレートフラグ４４８が値１を有する場合には、ＨＲＤベースシンタックス６０２は、ｐｉｃ＿ｄｕｒａｔｉｏｎ＿ｉｎ＿ｔｃ＿ｍｉｎｕｓ１要素のようなピクチャ期間６０８を含むことができる。ピクチャ期間６０８は、符号化されたビデオシーケンスにおける出力順序でのいずれか２つの連続的なピクチャのＨＲＤ出力時間の間の時間距離を示すことができる。
【０１６１】
ＨＲＤベースシンタックス６０２は、ｌｏｗ＿ｄｅｌａｙ＿ｈｒｄ＿ｆｌａｇ要素のような低遅延フラグ４６０を含むことができる。低遅延フラグ４６０は、ＨＲＤ動作モードを示すことができる。
【０１６２】
ＨＲＤベースシンタックス６０２は、ｃｐｂ＿ｃｎｔ＿ｍｉｎｕｓ１要素のようなＣＰＢカウント３０８を含むことができる。ＣＰＢカウント３０８は、ビデオビットストリーム１１０内の別のＣＰＢ規格値の数を示すことができる。
【０１６３】
ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２が値１を有する場合には、ＨＲＤベースシンタックス６０２は、サブレイヤの各オカレンスに関して、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｓｕｂ＿ｌａｙｅｒ要素のようなＨＲＤサブレイヤパラメータ構造６１０を含むことができる。ＨＲＤサブレイヤパラメータ構造６１０は、各サブレイヤに関連するパラメータを表すことができる。
【０１６４】
ＶＣＬ  ＨＲＤパラメータ存在フラグ４５６が値１を有する場合には、ＨＲＤベースシンタックス６０２は、図２の時間レイヤ２３０の各オカレンスに関して、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ＿ｓｕｂ＿ｌａｙｅｒ要素のようなＨＲＤサブレイヤパラメータ構造６１０を含むことができる。ＨＲＤサブレイヤパラメータ構造６１０は、各サブレイヤに関連するパラメータを表すことができる。
【０１６５】
ＨＲＤベースシンタックス６０２は、ビデオビットストリーム１１０のシリアル伝送におけるＨＲＤサブレイヤパラメータ構造６１０の前に位置する低遅延フラグ４６０を含むことができる。低遅延フラグ４６０は、ＨＲＤサブレイヤパラメータ構造６１０の前に抽出される。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２及びＶＣＬ  ＨＲＤパラメータ存在フラグ４５６は、ＨＲＤサブレイヤパラメータ構造６１０の前に抽出される。
【０１６６】
ＨＲＤサブレイヤパラメータ構造６１０の要素は、低遅延フラグ４６０、ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２、及びＶＣＬ  ＨＲＤパラメータ存在フラグ４５６の値に基づいて抽出することができる。例えば、低遅延フラグ４６０が値１を有し、ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２又はＶＣＬ  ＨＲＤパラメータ存在フラグ４５６が値１を有する場合には、ＨＲＤサブレイヤパラメータ構造６１０のＣＰＢカウント３０８の値は、明示的に０に設定でき、映像符号化システム１００は、単一の符号化ピクチャバッファのみを用いた低遅延モードで動作することができる。
【０１６７】
ＨＲＤベースシンタックス６０２を使用して図１のビデオコンテンツ１０８を符号化及び復号することにより、ビデオビットストリーム１１０のサイズを減少させることができ、図１のビデオストリーム１１２を表示するために必要なビデオバッファリングの量が減少することが見いだされている。ビデオビットストリーム１１０のサイズが減少することにより、機能性が向上し、ビデオストリーム１１２の表示性能が向上する。
【０１６８】
ここで図７を参照すると、ＨＲＤサブレイヤシンタックス７０２の実施例が示されている。ＨＲＤサブレイヤシンタックス７０２は、仮想参照デコーダに関して時間レイヤのサブレイヤに関連するパラメータを表す。
【０１６９】
ＨＲＤサブレイヤシンタックス７０２は、図７のＨＲＤサブレイヤシンタックス表で表された要素を含む。ＨＲＤサブレイヤシンタックス７０２の要素は、図７のＨＲＤサブレイヤシンタックス表において表された階層構造で配列される。
【０１７０】
ＨＲＤサブレイヤシンタックス７０２は、ＨＲＤ＿ｐａｒａｍｅｔｅｒｓ＿ｓｕｂ＿ｌａｙｅｒ要素のようなＨＲＤサブレイヤシンタックスヘッダ部７０４を含むことができる。ＨＲＤサブレイヤシンタックスヘッダ部７０４は、ＨＲＤサブレイヤシンタックス７０２を識別するための記述子である。
【０１７１】
ＨＲＤサブレイヤシンタックス７０２は、符号化ピクチャバッファの各オカレンスに関するパラメータセットを規定するためのループ構造を含むことができる。ループ構造は、ＳｃｈｅｄＳｅｌＩｄｘ要素のようなスケジュール選択インデックス３１４に基づく大きさである。
【０１７２】
ＨＲＤサブレイヤシンタックス７０２は、ｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなビットレート値３１６を含むことができる。ビットレート値３１６を使用して、符号化ピクチャバッファの各オカレンスに関する最大入力ビットレートを指定することができる。
【０１７３】
ＨＲＤサブレイヤシンタックス７０２は、ｃｐｂ＿ｓｉｚｅ＿ｖａｌｕｅ＿ｍｉｎｕｓ１要素のようなＣＰＢサイズ値３１８を含むことができる。ＣＰＢサイズ値３１８を使用して、符号化ピクチャバッファの各オカレンスのサイズを判定することができる。
【０１７４】
ＨＲＤサブレイヤシンタックス７０２は、ｃｂｒ＿ｆｌａｇ要素のようなＣＢＲフラグ３２０を含むことができる。ＣＢＲフラグ３２０は、符号化ピクチャバッファの各オカレンスに関して図１のビデオビットストリーム１１０を復号するための動作モードを示す。ＣＢＲフラグ３２０が値１を有する場合には、仮想ストリーム配信スケジューラは、固定ビットレートモードで動作する。それ以外の場合には、ビデオビットストリーム１１０は、断続的なビットレートモードで動作する。
【０１７５】
ＨＲＤサブレイヤシンタックス７０２は、図２の時間レイヤ２３０の特性を表すことができる。時間レイヤ２３０は更に、図１のビデオビットストリーム１１０のサブレイヤとして示すことができる。
【０１７６】
ＨＲＤサブレイヤシンタックス７０２は、ビデオビットストリーム１１０のサブレイヤ又は時間レイヤ２３０を表すことができる。ＨＲＤサブレイヤシンタックス７０２を使用して、サブレイヤのうちの１つ又は時間レイヤ２３０のうちの１つを選択し、ビデオビットストリーム１１０から別のサブレイヤのオカレンスを取り除くことができる。
【０１７７】
サブレイヤ又は時間レイヤ２３０からオカレンスを取り除くことにより、ビデオビットストリーム１１０内のデータ量全体を減少させることができ、より適切な伝達、改良されたストレージ帯域幅制御及び調整のために、ビットレート低減、又は図１のビデオコンテンツ１０８のサイズ変更が可能になる。サブレイヤ又は時間レイヤ固有のＨＲＤパラメータを提供することにより、図１のビデオストリーム１１２を生成するためのより適切でより滑らかなビットストリーム復号が可能になる。
【０１７８】
ＨＲＤサブレイヤシンタックス７０２を使用することにより、図２の時間レイヤ２３０に関連する個別のサブレイヤの処理にわたるより高精度で精細な制御を可能にすることによって性能を向上できることが見いだされている。ＨＲＤサブレイヤシンタックス７０２の個別のオカレンスを使用することにより、種々のサブレイヤ間の個別の差分を利用することによって処理速度を向上することができる。
【０１７９】
ここで図８を参照すると、ＨＲＤ  ＶＵＩシンタックス８０２の実施例が示されている。ＨＲＤ  ＶＵＩシンタックス８０２は、仮想参照デコーダに関連するパラメータを表す。
【０１８０】
ＨＲＤ  ＶＵＩシンタックス８０２は、図８のＨＲＤ  ＶＵＩシンタックス表で表された要素を含む。ＨＲＤ  ＶＵＩシンタックス８０２の要素は、図８のＨＲＤ  ＶＵＩシンタックス表において表された階層構造で配列される。
【０１８１】
ＨＲＤ  ＶＵＩシンタックス８０２は、ｖｕｉ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤ  ＶＵＩシンタックスヘッダ部８０４を含むことができる。ＨＲＤ  ＶＵＩシンタックスヘッダ部８０４は、ＨＲＤ  ＶＵＩシンタックス８０２を識別するための記述子である。
【０１８２】
ＨＲＤ  ＶＵＩシンタックス８０２は、追加のアスペクト比情報が図１のビデオビットストリーム１１０内に符号化されていることを示すための、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなアスペクト比フラグ４０６を含むことができる。ＨＲＤ  ＶＵＩシンタックス８０２は、図１のビデオコンテンツ１０８のアスペクト比を表すための、ａｓｐｅｃｔ＿ｒａｔｉｏ＿ｉｄｃ要素のようなアスペクト比インジケータ４０８を含むことができる。
【０１８３】
アスペクト比インジケータ４０８は、アスペクト比幅４１０及びアスペクト比高さ４１２に関する個別の値によってアスペクト比を表すことができることを示す値を含むことができる。ｓａｒ＿ｗｉｄｔｈ要素のようなアスペクト比幅４１０は、ビデオコンテンツ１０８の幅を表すことができる。ｓａｒ＿ｈｉｇｈｔ要素のようなアスペクト比高さ４１２は、ビデオコンテンツ１０８の高さを表すことができる。
【０１８４】
ＨＲＤ  ＶＵＩシンタックス８０２は、オーバースキャン情報が、ビデオビットストリーム１１０に含まれているか否かを示すための、ｏｖｅｒｓｃａｎ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇのようなオーバースキャン存在フラグ４１４を含むことができる。オーバースキャン存在フラグ４１４が値１を有する場合には、ＨＲＤ  ＶＵＩシンタックス８０２は、オーバースキャンを使用して、ビデオビットストリーム１１０内に符号化されたビデオコンテンツ１０８を表示できることを示すための、ｏｖｅｒｓｃａｎ＿ａｐｐｒｏｐｒｉａｔｅ＿ｆｌａｇ要素のようなオーバースキャン適切フラグ４１６を含むことができる。
【０１８５】
ＨＲＤ  ＶＵＩシンタックス８０２は、ビデオ信号種類情報が、ビデオビットストリーム１１０内に含まれていることを示すための、ｖｉｄｅｏ＿ｓｉｇｎａｌ＿ｔｙｐｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなビデオ信号存在フラグ４１８を含むことができる。ビデオ信号存在フラグが値１を有する場合には、ＨＲＤ  ＶＵＩシンタックス８０２は、ビデオ形式４２０、ビデオフルレンジフラグ４２２、及びカラー記述存在フラグ４２４を含むことができる。
【０１８６】
ｖｉｄｅｏ＿ｆｏｒｍａｔ要素のようなビデオ形式４２０は、ビデオの形式を示すことができる。ｖｉｄｅｏ＿ｆｕｌｌ＿ｒａｎｇｅ＿ｆｌａｇ要素のようなビデオフルレンジフラグ４２２は、ビデオビットストリーム１１０内に符号化されたビデオコンテンツ１０８に関する輝度及び色差信号の黒レベル及び範囲を示すことができる。
【０１８７】
ｃｏｌｏｕｒ＿ｄｅｓｃｒｉｐｔｉｏｎ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のようなカラー記述存在フラグ４２４は、ビデオビットストリーム１１０内のカラー記述情報の存在を示すことができる。カラー記述情報は、原色４２６、伝達特性４２８、及び行列係数４３０を含むことができる。
【０１８８】
ｃｏｌｏｕｒ＿ｐｒｉｍａｒｉｅｓ要素のような原色４２６は、ビデオコンテンツ１０８内で使用されるカラースキームを示すことができる。伝達特性４２８は、ビデオコンテンツ１０８の光エレクトロニクス伝達特性を示すことができる。ｍａｔｒｉｘ＿ｃｏｅｆｆｉｃｉｅｎｔ要素のような行列係数４３０は、原色４２６で示される赤、緑、及び青の原色から輝度及び色差信号を得るために使用される係数を示すことができる。
【０１８９】
ＨＲＤ  ＶＵＩシンタックス８０２は、追加の色差情報がビデオビットストリーム１１０内に存在しているか否か示すための、ｃｈｒｏｍａ＿ｌｏｃ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ要素のような色差位置情報存在フラグ４３２を含むことができる。色差位置情報存在フラグ４３２が値１を有する場合には、ＨＲＤ  ＶＵＩシンタックス８０２は、色差最高部フィールドサンプル４３４及び色差最低部フィールドサンプル４３６を含むことができる。
【０１９０】
ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｔｏｐ＿ｆｉｅｌｄ要素のような色差最高部フィールドサンプル４３４は、ビデオビットストリーム１１０内の最高部フィールドに関する色差サンプルの位置を指定するための列挙型値とすることができる。ｃｈｒｏｍａ＿ｓａｍｐｌｅ＿ｌｏｃ＿ｔｙｐｅ＿ｂｏｔｔｏｍ＿ｆｉｅｌｄ要素のような色差最低部フィールドサンプル４３６は、ビデオビットストリーム１１０内の最低部フィールドに関する色差サンプルの位置を指定するための列挙型値とすることができる。
【０１９１】
ＨＲＤ  ＶＵＩシンタックス８０２は、ｎｅｕｔｒａｌ＿ｃｈｒｏｍａ＿ｉｎｄｉｃａｔｉｏｎ＿ｆｌａｇ要素のような中間色差フラグ４３８を含むことができ、これは、復号された色差サンプルが１に等しいか否かを示すことができる。ＨＲＤ  ＶＵＩシンタックス８０２は、符号化されたビデオシーケンス情報がビデオ表現フィールドを含むか否かを示すための、ｆｉｅｌｄ＿ｓｅｑ＿ｆｌａｇのようなフィールドシーケンスフラグ４４０を含むことができる。
【０１９２】
ＨＲＤ  ＶＵＩシンタックス８０２は、ｈｒｄ＿ｐａｒａｍｅｔｅｒｓ要素のようなＨＲＤパラメータ構造４５４を含むことができる。ＨＲＤパラメータ構造４５４は、各サブレイヤに関する仮想参照デコーダパラメータを含むことができる。
【０１９３】
ＨＲＤ  ＶＵＩシンタックス８０２は、符号化されたビデオシーケンスのビットストリーム制限パラメータがビデオビットストリーム１１０内に存在していることを示すための、ｂｉｔｓｔｒｅａｍ＿ｒｅｓｔｒｉｃｔｉｏｎ＿ｆｌａｇ要素のようなビットストリーム制限フラグ４６６を含むことができる。ビットストリーム制限フラグ４６６が値１を有する場合には、ＨＲＤ  ＶＵＩシンタックス８０２は、タイル固定構成フラグ４６８、動きベクトルフラグ４７０、ピクチャ種類毎の最大バイト数４７２、最少ＣＵ種類毎の最大ビット数４７４、動きベクトル最大水平距離４７６、及び動きベクトル最大垂直距離４７８を含むことができる。
【０１９４】
ＨＲＤ  ＶＵＩシンタックス８０２は、符号化されたビデオシーケンス内の各ピクチャが同じ数のタイルを有することを示すための、ｔｉｌｅｓ＿ｆｉｘｅｄ＿ｓｔｒｕｃｔｕｒｅ＿ｆｌａｇ要素のようなタイル固定構成フラグ４６８を含むことができる。ＨＲＤ  ＶＵＩシンタックス８０２は、ピクチャ境界の外部のサンプルが予測のために使用されないことを示すための、ｍｏｔｉｏｎ＿ｖｅｃｔｏｒ＿ｏｖｅｒ＿ｐｉｃ＿ｂｏｕｎｄａｒｉｅｓ＿ｆｌａｇ要素のような動きベクトルフラグ４７０を含むことができる。
【０１９５】
ＨＲＤ  ＶＵＩシンタックス８０２は、符号化されたビデオシーケンス内のいずれかの符号化されたピクチャに関連するＶＣＬ  ＮＡＬユニットの合計サイズに関する最大バイト数を示すための、ｍａｘ＿ｂｙｔｅｓ＿ｐｅｒ＿ｐｉｃ＿ｄｅｎｏｍ要素のようなピクチャ種類毎の最大バイト数４７２を含むことができる。ＨＲＤ  ＶＵＩシンタックス８０２は、符号化されたビデオシーケンスのいずれかのピクチャ内のいずれかの符号化ブロックに関する符号化ユニットデータの符号化されたビット数に関する上限を示すための、ｍａｘ＿ｂｉｔｓ＿ｐｅｒ＿ｍｉｎ＿ｃｕ＿ｄｅｎｏｍ要素のような最少ＣＵ種類毎の最大ビット数４７４を含むことができる。
【０１９６】
ＨＲＤ  ＶＵＩシンタックス８０２は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル水平成分の最大絶対値を示すための、ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｈｏｒｉｚｏｎｔａｌ要素のような動きベクトル最大水平距離４７６を含むことができる。ＨＲＤ  ＶＵＩシンタックス８０２は、ビデオビットストリーム１１０内の全てのピクチャに関する復号された動きベクトル垂直成分の最大絶対値を示すための、ｌｏｇ２＿ｍａｘ＿ｍｖ＿ｌｅｎｇｔｈ＿ｖｅｒｔｉｃａｌ要素のような動きベクトル最大垂直距離４７８を含むことができる。
【０１９７】
ＨＲＤ  ＶＵＩシンタックス８０２におけるＨＲＤパラメータ構造４５４を使用することにより、個別のサブレイヤの処理にわたるより高精度で精細な制御を可能にすることによって性能を向上できることが見いだされている。ＨＲＤパラメータ構造４５４の個別のオカレンスを使用することにより、種々のサブレイヤ間の個別の差分を利用することによって処理速度を向上することができる。
【０１９８】
ここで図９を参照すると、映像符号化システム１００の機能ブロック図が示されている。映像符号化システム１００は、第１のデバイス１０２、第２のデバイス１０４、及び通信経路１０６を含むことができる。
【０１９９】
第１のデバイス１０２は、通信経路１０６を通じて第２のデバイス１０４と通信することができる。第１のデバイス１０２は、第１のデバイスの送信器９３２において、通信経路１０６を通じて情報を第２のデバイス１０４に送信することができる。第２のデバイス１０４は、第２のデバイスの送信器９３４において、通信経路１０６を通じて情報を第１のデバイス１０２に送信することができる。
【０２００】
例示的に、クライアントデバイスとして第１のデバイス１０２を含む映像符号化システム１００を示しているが、映像符号化システム１００は、種々の種類のデバイスとして第１のデバイス１０２を有することができることを理解されたい。例えば、第１のデバイスはサーバとすることができる。別の実施例では、第１のデバイス１０２は、ビデオエンコーダ１０２、ビデオデコーダ１０４、又はそれらの組み合わせとすることができる。
【０２０１】
更に、例示的に、サーバとして第２のデバイス１０４を含む映像符号化システム１００を示しているが、映像符号化システム１００は、種々の種類のデバイスとして第２のデバイス１０４を有することができることを理解されたい。例えば、第２のデバイス１０４はクライアントデバイスとすることができる。別の実施例では、第２のデバイス１０４は、ビデオエンコーダ１０２、ビデオデコーダ１０４、又はそれらの組み合わせとすることができる。
【０２０２】
本発明のこの実施形態の説明を簡潔にするために、第１のデバイス１０２は、ビデオカメラ、スマートフォン、又はそれらの組み合わせのようなクライアントデバイスとして示される。本発明は、デバイスの種類に関するこの選択に限定されるものではない。この選択は、本発明の実施例である。
【０２０３】
第１のデバイス１０２は、第１の制御ユニット９０８を含むことができる。第１の制御ユニット９０８は、第１の制御インタフェース９１４を含むことができる。第１の制御ユニット９０８は、第１のソフトウェア９１２を実行して、映像符号化システム１００のインテリジェンスを提供することができる。
【０２０４】
第１の制御ユニット９０８は、いくつかの異なる方法で実装することができる。例えば、第１の制御ユニット９０８は、プロセッサ、組み込みプロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタルシグナルプロセッサ（ＤＳＰ）、又はそれらの組み合わせとすることができる。
【０２０５】
第１の制御インタフェース９１４は、第１の制御ユニット９０８と第１のデバイス１０２内の別の機能ユニットとの間の通信のために使用することができる。第１の制御インタフェース９１４は更に、第１のデバイス１０２の外部との通信のために使用することができる。
【０２０６】
第１の制御インタフェース９１４は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。
【０２０７】
第１の制御インタフェース９１４は、様々な方法で実装でき、どの機能ユニット又は外部ユニットが第１の制御インタフェース９１４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。例えば、第１の制御インタフェース９１４は、電気回路、微小電気機械システム（ＭＥＭＳ）、光学的回路、無線回路、有線回路、又はそれらの組み合わせで実装することができる。
【０２０８】
第１のデバイス１０２は、第１の記憶ユニット９０４を含むことができる。第１の記憶ユニット９０４は、第１のソフトウェア９１２を格納することができる。第１の記憶ユニット９０４は更に、画像、シンタックス情報、ビデオ、地図、特性情報、表示設定、センサデータ、又はそれらの任意の組み合わせのような関連情報を格納することができる。
【０２０９】
第１の記憶ユニット９０４は、揮発性メモリ、不揮発性メモリ、内部メモリ、外部メモリ、又はそれらの組み合わせとすることができる。例えば、第１の記憶ユニット９０４は、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、ディスクストレージのような不揮発性ストレージ、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）のような揮発性ストレージとすることができる。
【０２１０】
第１の記憶ユニット９０４は、第１の記憶インタフェース９１８を含むことができる。第１の記憶インタフェース９１８は、第１の記憶ユニット９０４と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。第１の記憶インタフェース９１８は更に、第１のデバイス１０２の外部との通信用に使用することができる。
【０２１１】
第１のデバイス１０２は、第１の画像化ユニット９０６を含むことができる。第１の画像化ユニット９０６は、現実世界から図１のビデオコンテンツ１０８を撮影することができる。第１の画像化ユニット９０６は、デジタルカメラ、ビデオカメラ、光センサ、又はそれらの組み合わせを含むことができる。
【０２１２】
第１の画像化ユニット９０６は、第１の画像化インタフェース９１６を含むことができる。第１の画像化インタフェース９１６は、第１の画像化ユニット９０６と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。
【０２１３】
第１の画像化インタフェース９１６は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。
【０２１４】
第１の画像化インタフェース９１６は、どの機能ユニット又は外部ユニットが第１の画像化ユニット９０６にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の画像化インタフェース９１６は、第１の制御インタフェース９１４の実施形態と同様な技術及び技法で実装することができる。
【０２１５】
第１の記憶インタフェース９１８は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第１のデバイス１０２の外部の情報源及び送信先に言及するものである。
【０２１６】
第１の記憶インタフェース９１８は、どの機能ユニット又は外部ユニットが第１の記憶ユニット９０４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の記憶インタフェース９１８は、第１の制御インタフェース９１４の実施形態と同様な技術及び技法で実装することができる。
【０２１７】
第１のデバイス１０２は、第１の通信ユニット９１０を含むことができる。第１の通信ユニット９１０は、第１のデバイス１０２への及びそれからの外部通信を可能にすることができる。例えば、第１の通信ユニット９１０は、第１のデバイス１０２が、第２のデバイス１０４、周辺デバイス又はデスクトップコンピュータのような付属装置、及び通信経路１０６と通信することを可能にする。
【０２１８】
第１の通信ユニット９１０は更に、第１のデバイス１０２が通信経路１０６の一部分として機能することを可能にし、通信経路１０６へのエンドポイント又は終端ユニットに限定されない、通信ハブとして機能することができる。第１の通信ユニット９１０は、通信経路１０６との相互作用のための能動素子及び受動素子、例えば、マイクロエレクトロニクス又はアンテナを含むことができる。
【０２１９】
第１の通信ユニット９１０は、第１の通信インタフェース９２０を含むことができる。第１の通信インタフェース９２０は、第１の通信ユニット９１０と第１のデバイス１０２内の別の機能ユニットとの間の通信用に使用することができる。第１の通信インタフェース９２０は、別の機能ユニットから情報を受信すること、或いは別の機能ユニットに情報を送信することができる。
【０２２０】
第１の通信インタフェース９２０は、どの機能ユニットが第１の通信ユニット９１０にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第１の通信インタフェース９２０は、第１の制御インタフェース９１４の実施形態と同様な技術及び技法で実装することができる。
【０２２１】
第１のデバイス１０２は、第１のユーザインタフェース９０２を含むことができる。第１のユーザインタフェース９０２は、ユーザ（図示せず）が第１のデバイス１０２と相互作用及び対話することを可能にする。第１のユーザインタフェース９０２は、第１のユーザ入力（図示せず）を含むことができる。第１のユーザ入力は、タッチスクリーン、ジェスチャ、動き検出、ボタン、スライダ、ノブ、仮想ボタン、音声認識制御、又はそれらの任意の組み合わせを含むことができる。
【０２２２】
第１のユーザインタフェース９０２は、第１のディスプレイインタフェース１２０を含むことができる。第１のディスプレイインタフェース１２０は、ユーザが第１のユーザインタフェース９０２と対話することを可能にすることができる。第１のディスプレイインタフェース１２０は、ディスプレイ、ビデオスクリーン、スピーカ、又はそれらの任意の組み合わせを含むことができる。
【０２２３】
第１の制御ユニット９０８は、第１のユーザインタフェース９０２と連携して、映像符号化システム１００によって生成されたビデオ情報を第１のディスプレイインタフェース１２０に表示することができる。第１の制御ユニット９０８は更に、第１の記憶ユニット９０４からビデオ情報を受信して第１のディスプレイインタフェース１２０に表示することを含む、映像符号化システム１００の別の機能に関する第１のソフトウェア９１２を実行することができる。第１の制御ユニット９０８は更に、第１の通信ユニット９１０経由で通信経路１０６と相互作用するための第１のソフトウェア９１２を実行することができる。
【０２２４】
例示的に、第１のデバイス１０２は、第１のユーザインタフェース９０２、第１の記憶ユニット９０４、第１の制御ユニット９０８、及び第１の通信ユニット９１０を有するように分割することができるが、第１のデバイス１０２は、様々に分割できることを理解されたい。例えば、第１のソフトウェア９１２は、その機能の一部又は全てが、第１の制御ユニット９０８及び第１の通信ユニット９１０内に存在できるように様々に分割することができる。更に、第１のデバイス１０２は、明確にするために図１に示していない他の機能ユニットを含むことができる。
【０２２５】
映像符号化システム１００は、第２のデバイス１０４を含むことができる。第２のデバイス１０４は、第１のデバイス１０２を含む複数デバイスの実施形態で本発明を実施するように最適化することができる。第２のデバイス１０４は、第１のデバイス１０２と比べて追加の又は高い性能の処理能力を提供することができる。
【０２２６】
第２のデバイス１０４は、第２の制御ユニット９４８を含むことができる。第２の制御ユニット９４８は、第２の制御インタフェース９５４を含むことができる。第２の制御ユニット９４８は、第２のソフトウェア９５２を実行して、映像符号化システム１００のインテリジェンスを提供することができる。
【０２２７】
第２の制御ユニット９４８は、いくつかの異なる方法で実装することができる。例えば、第２の制御ユニット９４８は、プロセッサ、組み込みプロセッサ、マイクロプロセッサ、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタルシグナルプロセッサ（ＤＳＰ）、又はその他の組み合わせとすることができる。
【０２２８】
第２の制御インタフェース９５４は、第２の制御ユニット９４８と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の制御インタフェース９５４は更に、第２のデバイス１０４の外部との通信用に使用することができる。
【０２２９】
第２の制御インタフェース９５４は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。
【０２３０】
第２の制御インタフェース９５４は、様々な方法で実装でき、どの機能ユニット又は外部ユニットが第２の制御インタフェース９５４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。例えば、第２の制御インタフェース９５４は、電気回路、微小電気機械システム（ＭＥＭＳ）、光学的回路、無線回路、有線回路、又はそれらの組み合わせで実装することができる。
【０２３１】
第２のデバイス１０４は、第２の記憶ユニット９４４を含むことができる。第２の記憶ユニット９４４は、第２のソフトウェア９５２を格納することができる。第２の記憶ユニット９４４は更に、画像、シンタックス情報、ビデオ、地図、特性情報、表示設定、センサデータ、又はそれらの任意の組み合わせのような関連情報を格納することができる。
【０２３２】
第２の記憶ユニット９４４は、揮発性メモリ、不揮発性メモリ、内部メモリ、外部メモリ、又はそれらの組み合わせとすることができる。例えば、第２の記憶ユニット９４４は、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ、ディスクストレージのような不揮発性ストレージ、又はスタティックランダムアクセスメモリ（ＳＲＡＭ）のような揮発性ストレージとすることができる。
【０２３３】
第２の記憶ユニット９４４は、第２の記憶インタフェース９５８を含むことができる。第２の記憶インタフェース９５８は、第２の記憶ユニット９４４と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の記憶インタフェース９５８は更に、第２のデバイス１０４の外部との通信用に使用することができる。
【０２３４】
第２の記憶インタフェース９５８は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。
【０２３５】
第２の記憶インタフェース９５８は、どの機能ユニット又は外部ユニットが第２の記憶ユニット９４４にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の記憶インタフェース９５８は、第２の制御インタフェース９５４の実施形態と同様な技術及び技法で実装することができる。
【０２３６】
第２のデバイス１０４は、第２の画像化ユニット９４６を含むことができる。第２の画像化ユニット９４６は、現実世界からビデオコンテンツ１０８を撮影することができる。第１の画像化ユニット９０６は、デジタルカメラ、ビデオカメラ、光センサ、又はそれらの任意の組み合わせを含むことができる。
【０２３７】
第２の画像化ユニット９４６は、第２の画像化インタフェース９５６を含むことができる。第２の画像化インタフェース９５６は、第２の画像化ユニット９４６と第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。
【０２３８】
第２の画像化インタフェース９５６は、別の機能ユニット又は外部の情報源から情報を受信すること、或いは別の機能ユニット又は外部の送信先に情報を送信することができる。外部の情報源及び外部の送信先は、第２のデバイス１０４の外部の情報源及び送信先に言及するものである。
【０２３９】
第２の画像化インタフェース９５６は、どの機能ユニット又は外部ユニットが第２の画像化ユニット９４６にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の画像化インタフェース９５６は、第１の制御インタフェース９１４の実施形態と同様な技術及び技法で実装することができる。
【０２４０】
第２のデバイス１０４は、第２の通信ユニット９５０を含むことができる。第２の通信ユニット９５０は、第２のデバイス１０４への及びそれからの外部通信を可能にすることができる。例えば、第２の通信ユニット９５０は、第２のデバイス１０４が、第１のデバイス１０２、周辺デバイス又はデスクトップコンピュータのような付属装置、及び通信経路１０６と通信することを可能にすることができる。
【０２４１】
第２の通信ユニット９５０は更に、通信ハブとして機能することができ、第２のデバイス１０４が通信経路１０６の一部分として機能すること及び通信経路１０６へのエンドポイント又は終端ユニットに限定されないことを可能にする。第２の通信ユニット９５０は、通信経路１０６との相互作用のための能動素子及び受動素子、例えば、マイクロエレクトロニクス又はアンテナを含むことができる。
【０２４２】
第２の通信ユニット９５０は、第２の通信インタフェース９６０を含むことができる。第２の通信インタフェース９６０は、第２の通信ユニット９５０と、第２のデバイス１０４内の別の機能ユニットとの間の通信用に使用することができる。第２の通信インタフェース９６０は、別の機能ユニットから情報を受信すること、或いは別の機能ユニットに情報を送信することができる。
【０２４３】
第２の通信インタフェース９６０は、どの機能ユニットが第２の通信ユニット９５０にインタフェース接続されているかに応じて様々な実施形態を含むことができる。第２の通信インタフェース９６０は、第２の制御インタフェース９５４の実施形態と同様な技術及び技法で実装することができる。
【０２４４】
第２のデバイス１０４は、第２のユーザインタフェース９４２を含むことができる。第２のユーザインタフェース９４２は、ユーザ（図示せず）が第２のデバイス１０４と相互作用及び対話することを可能にする。第２のユーザインタフェース９４２は、第２のユーザ入力（図示せず）を含むことができる。第２のユーザ入力は、タッチスクリーン、ジェスチャ、動き検出、ボタン、スライダ、ノブ、仮想ボタン、音声認識制御、又はそれらの任意の組み合わせを含むことができる。
【０２４５】
第２のユーザインタフェース９４２は、第２のディスプレイインタフェース９４３を含むことができる。第２のディスプレイインタフェース９４３は、ユーザが第２のユーザインタフェース９４２と対話することを可能にすることができる。第２のディスプレイインタフェース９４３は、ディスプレイ、ビデオスクリーン、スピーカ、又はそれらの任意の組み合わせを含むことができる。
【０２４６】
第２の制御ユニット９４８は、第２のユーザインタフェース９４２と連携して、映像符号化システム１００によって生成された情報を第２のディスプレイインタフェース９４３に表示することができる。第２の制御ユニット９４８は更に、第２の記憶ユニット９４４から表示情報を受信して第２のディスプレイインタフェース９４３に表示することを含む、映像符号化システム１００の別の機能に関する第２のソフトウェア９５２を実行することができる。第２の制御ユニット９４８は更に、第２の通信ユニット９５０経由で通信経路１０６と相互作用するための第２のソフトウェア９５２を実行することができる。
【０２４７】
例示的に、第２のデバイス１０４は、第２のユーザインタフェース９４２、第２の記憶ユニット９４４、第２の制御ユニット９４８、及び第２の通信ユニット９５０を有するように分割することができるが、第２のデバイス１０４は、様々に分割できることを理解されたい。例えば、第２のソフトウェア９５２は、その機能の一部又は全てが、第２の制御ユニット９４８及び第２の通信ユニット９５０内に存在できるように様々に分割することができる。更に、第２のデバイス１０４は、明確にするために図１に示していない他の機能ユニットを含むことができる。
【０２４８】
第１の通信ユニット９１０は、通信経路１０６に接続して、第１のデバイスの送信器９３２で情報を第２のデバイス１０４に送信することができる。第２のデバイス１０４は、第２の通信ユニット９５０において、通信経路１０６の第１のデバイスの送信器９３２から情報を受信することができる。
【０２４９】
第２の通信ユニット９５０は、通信経路１０６と接続して、第２のデバイスの送信器９３４でビデオ情報を第１のデバイス１０２に送信することができる。第１のデバイス１０２は、第１の通信ユニット９１０において、通信経路１０６の第２のデバイスの送信器９３４からビデオ情報を受信することができる。映像符号化システム１００は、第１の制御ユニット９０８、第２の制御ユニット９４８、又はそれらの組み合わせによって実行することができる。
【０２５０】
第１のデバイス１０２内の機能ユニットは、個別に他の機能ユニットと無関係に動作することができる。例示的に、映像符号化システム１００は、第１のデバイス１０２の動作によって説明される。第１のデバイス１０２は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第１のデバイス１０２は、第１の制御ユニット９０８を動作させるように説明することができる。
【０２５１】
第２のデバイス１０４内の機能ユニットは、個別に他の機能ユニットと無関係に動作することができる。例示的に、映像符号化システム１００は、第２のデバイス１０４の動作によって説明することができる。第２のデバイス１０４は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第２のデバイス１０４は、第２の制御ユニット９４８を動作させるように説明される。
【０２５２】
例示的に、映像符号化システム１００は、第１のデバイス１０２及び第２のデバイス１０４の動作によって説明される。第１のデバイス１０２及び第２のデバイス１０４は、映像符号化システム１００の任意のモジュール及び機能を動作させることができることを理解されたい。例えば、第１のデバイス１０２は、第１の制御ユニット９０８を動作させるように説明されるが、更に第２のデバイス１０４が、第１の制御ユニット９０８を動作させることができることを理解されたい。
【０２５３】
ここで図１０を参照すると、図１の映像符号化システム１００の制御フロー１０００が示されている。制御フロー１０００は、ビデオビットストリーム１１０を受信し、図１のビデオシンタックス１１４を抽出し、ビデオビットストリーム１１０を復号し、図１のビデオストリーム１１２を表示することによって、図１のビデオビットストリーム１１０を復号することを示している。
【０２５４】
映像符号化システム１００は、受信モジュール１００２を含むことができる。受信モジュール１００２は、図１のビデオエンコーダ１０２によって符号化されたビデオビットストリーム１１０を受信することができる。
【０２５５】
ビデオビットストリーム１１０は、様々な方法で受信することができる。例えば、ビデオビットストリーム１１０は、図１のビデオエンコーダ１０２から、ストリーミングシリアルビットストリームとして、図１の通信経路１０６上のデジタルメッセージ（図示せず）内に事前に符号化されたビデオファイル（図示せず）として、又はそれらの組み合わせとして受信することができる。
【０２５６】
例示的な実施例では、ビデオビットストリーム１１０は、連続的に受信したビデオシンタックス１１４の各要素を用いて時間的方法でシリアルビットストリームとして受信することができる。ビデオビットストリーム１１０は、図４のＨＥＶＣ  ＶＵＩシンタックス４０２、図５のＨＥＶＣ  ＶＵＩ拡張シンタックス５０２、図８のＨＲＤ  ＶＵＩシンタックス８０２、図３のＨＲＤシンタックス３０２、図６のＨＲＤベースシンタックス６０２、図７のＨＲＤサブレイヤシンタックス７０２、又はそれらの組み合わせのようなビデオシンタックス１１４を含むことができる。
【０２５７】
例えば、受信モジュール１００２は、図４の低遅延フラグ４６０の前に受信した図４のＨＲＤパラメータ構造４５４を用いてＨＥＶＣ  ＶＵＩシンタックス４０２を受信することができる。同様に、図４のＮＡＬ  ＨＲＤパラメータ存在フラグ４５２は、ＨＲＤパラメータ構造４５４の前に受信することができる。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２が値０を有する場合には、図４のＶＣＬ  ＨＲＤパラメータ存在フラグ４５６は、ＨＲＤパラメータ構造４５４の前に受信することができる。
【０２５８】
ビデオビットストリーム１１０は、種々のフレームレートで図１のビデオコンテンツ１０８を表すための、図２の１つ又はそれ以上の時間レイヤ２３０を含むことができる。受信モジュール１００２は、時間レイヤ２３０を選択的にフィルタ処理して、ビデオビットストリーム１１０のサイズを低減することができる。
【０２５９】
例えば、受信モジュール１００２は、６０ｆｐｓ、３０ｆｐｓ、及び１５ｆｐｓのような３つの異なるフレームレートに関する時間レイヤ２３０を有するビデオビットストリーム１１０を受信することができる。受信モジュール１００２は、ビデオビットストリーム１１０をフィルタ処理して、時間レイヤ２３０の６０ｆｐｓ及び３０ｆｐｓのオカレンスを取り除き、時間レイヤ２３０の１５ｆｐｓオカレンスのみを処理することができる。
【０２６０】
映像符号化システム１００は、シンタックス取得モジュール１００４を含むことができる。シンタックス取得モジュール１００４は、ビデオビットストリーム１１０のビデオシンタックス１１４を識別及び抽出することができる。シンタックス取得モジュール１００４は、時間レイヤ取得モジュール１００８及び時間レイヤ復号モジュール１０１０を含むことができる。
【０２６１】
シンタックス取得モジュール１００４は、様々な方法でビデオビットストリーム１１０に関するビデオシンタックス１１４を抽出することができる。例えば、シンタックス取得モジュール１００４は、ビデオシンタックス１１４の存在を示すヘッダ部に関してビデオビットストリーム１１０を検索することによって、ビデオシンタックス１１４を抽出することができる。別の実施例では、ビデオシンタックス１１４は、デマルチプレクサ（図示せず）を使用してビデオビットストリーム１１０のビデオ画像データからビデオシンタックス１１４を分離することで、ビデオビットストリーム１１０から抽出することができる。
【０２６２】
更に別の実施例では、ビデオシンタックス１１４は、シーケンスパラメータセットであるローバイトシーケンスペイロード（Ｒａｗ  Ｂｙｔｅ  Ｓｅｑｕｅｎｃｅ  Ｐａｙｌｏａｄ）（ＲＢＳＰ）シンタックスを抽出することによって、ビデオビットストリーム１１０から抽出することができる。シーケンスパラメータセットＲＢＳＰは、ネットワーク抽象レイヤユニット内にカプセル化された整数のバイトを含むシンタックス構造である。ＲＢＳＰは、空とすること、或いはシンタックス要素と、その後に続くＲＢＳＰストップビットと、その後に続く、ゼロ又は０に等しいより多くの付加ビットを含むデータビット列の形式を有することの何れかとすることができる。
【０２６３】
ビデオシンタックス１１４は、個別の要素がビデオビットストリーム１１０における時間順番で利用可能になる場合にこれらの要素を抽出することによって、時間的方法でシリアルビットストリームから抽出することができる。映像符号化システム１００は、前に抽出された要素の値に基づいて後の要素を選択的に抽出及び処理することができる。
【０２６４】
例えば、シンタックス取得モジュール１００４は、低遅延ＨＲＤフラグ４６０の以前に受信した値に基づいて、ＨＲＤシンタックス３０２を処理することができる。ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２は、ビデオビットストリーム１１０のシリアル伝送におけるＨＲＤシンタックス３０２の前に位置する低遅延フラグ４６０を含むことができる。低遅延フラグ４６０は、ＨＲＤシンタックス３０２の前に抽出される。ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２及びＶＣＬ  ＨＲＤパラメータ存在フラグ４５６は、ＨＲＤシンタックス３０２の前に抽出される。
【０２６５】
ＨＲＤシンタックス３０２の要素は、低遅延フラグ４６０、ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２、及びＶＣＬ  ＨＲＤパラメータ存在フラグ４５６の値に基づいて抽出することができる。例えば、低遅延フラグ４６０が値１を有し、ＮＡＬ  ＨＲＤパラメータ存在フラグ４５２又はＶＣＬ  ＨＲＤパラメータ存在フラグ４５６のいずれかが値１を有する場合には、ＨＲＤシンタックス３０２のＣＰＢカウント３０８の値は、シンタックス取得モジュール１００４によって抽出されること及び明示的に０に設定されることが可能であり、映像符号化システム１００は、単一の符号化ピクチャバッファを用いた低遅延モードで動作することができる。
【０２６６】
別の実施例では、ビデオビットストリーム１１０をファイルで受け取る場合には、ビデオシンタックス１１４は、ビデオビットストリーム１１０を含むファイルのファイル拡張子を調査することによって検出することができる。更に別の実施例では、図１の通信経路１０６を通じてデジタルメッセージとしてビデオビットストリーム１１０を受信する場合には、ビデオシンタックス１１４は、デジタルメッセージ構成の一部分として提供することができる。
【０２６７】
シンタックス取得モジュール１００４は、低遅延フラグ４６０の以前に抽出されたオカレンスに基づいて、ビデオビットストリーム１１０を動的に復号してＨＲＤパラメータ構造４５４を処理することによって、性能を向上させることができることが見いだされている。例えば、低遅延フラグ４６０を受信することにより、ＨＲＤパラメータ構造４５４を適用する場合に符号化ピクチャバッファにおいて許容されている遅延レベルを変更することによって、復号性能が向上する。
【０２６８】
シンタックス取得モジュール１００４は、図２のシンタックスタイプ２０２に基づいてビデオシンタックス１１４の個別の要素を抽出することができる。シンタックスタイプ２０２は、ＡＶＣビデオ、ＳＶＣビデオ、ＭＶＣビデオ、ＭＶＤビデオ、ＳＳＶビデオ、又はそれらの組み合わせを含むことができる。
【０２６９】
シンタックス取得モジュール１００４は、ビデオ表示情報を有するビデオシンタックス１１４を抽出することができる。ビデオシンタックス１１４は、ＨＥＶＣ  ＶＵＩシンタックス４０２、ＨＥＶＣ  ＶＵＩ拡張シンタックス５０２、ＨＲＤ  ＶＵＩシンタックス８０２、又はそれらの組み合わせを含むことができる。
【０２７０】
シンタックス取得モジュール１００４は、仮想参照デコーダ情報を有するビデオシンタックス１１４を抽出することができる。ビデオシンタックス１１４は、ＨＲＤシンタックス３０２、ＨＲＤベースシンタックス６０２、ＨＲＤサブレイヤシンタックス７０２、又はそれらの組み合わせを含むことができる。
【０２７１】
ビデオシンタックス１１４は、様々な構成を有することができる。例えば、ＨＥＶＣ  ＶＵＩシンタックス４０２は、時間レイヤ２３０の全てのオカレンスに関してＨＲＤシンタックス３０２の１つのオカレンスを含むことができる。別の実施例では、シンタックス取得モジュール１００４は、時間レイヤ２３０の各オカレンスに関してＨＲＤシンタックス３０２の１つのオカレンスを含むことができる。
【０２７２】
例示的な実施例では、ＨＲＤシンタックス３０２は、ＣＰＢカウント３０８、図３のビットレートスケール３１０、図３のＣＰＢサイズスケール３１２、図３の初期ＣＰＢ除去遅延長３２２、図３のＣＰＢ除去遅延長３２４、図３のＤＰＢ出力遅延長３２６、及び図３の時間オフセット長３２８の単一のオカレンスを含むことができる。ＨＲＤシンタックス３０２は、ＣＰＢカウント３０８で示される符号化ピクチャバッファの各々に関して、図３のビットレート値３１６、図３のＣＰＢサイズ値３１８、及び図３のＣＢＲフラグ３２０の各々に関するオカレンスを有するループ構造を含むことができる。
【０２７３】
映像符号化システム１００は、復号モジュール１００６を含むことができる。復号モジュール１００６は、ビデオシンタックス１１４を使用してビデオビットストリーム１１０を復号してビデオストリーム１１２を生成することができる。復号モジュール１００６は、時間レイヤ取得モジュール１００８及び時間レイヤ復号モジュール１０１０を含むことができる。
【０２７４】
復号モジュール１００６は、ＨＥＶＣ  ＶＵＩシンタックス４０２、ＨＥＶＣ  ＶＵＩ拡張シンタックス、ＨＲＤ  ＶＵＩシンタックス８０２、又はそれらの組み合わせのようなビデオシンタックス１１４を使用してビデオビットストリーム１１０を復号することができる。復号モジュール１００６は、ＨＲＤシンタックス３０２、ＨＲＤベースシンタックス６０２、ＨＲＤサブレイヤシンタックス７０２、又はそれらの組み合わせを使用して、時間レイヤ２３０を識別及び抽出することができる。
【０２７５】
時間レイヤ取得モジュール１００８は、時間レイヤ２３０を識別してビデオビットストリーム１１０から抽出してビデオストリーム１１２を生成することができる。時間レイヤ取得モジュール１００８は、様々な方法で時間レイヤ２３０を識別することができる。
【０２７６】
例えば、時間レイヤ取得モジュール１００８は、ＨＥＶＣ  ＶＵＩ拡張シンタックスのようなビデオシンタックス１１４から図２の時間レイヤカウント２３８を抽出することによって、時間レイヤ２３０を識別することができる。時間レイヤカウント２３８は、ビデオビットストリーム１１０内の時間レイヤ２３０の全体数を示す。
【０２７７】
時間レイヤ取得モジュール１００８は、ビデオシンタックス１１４を使用してビデオビットストリーム１１０から時間レイヤ２３０を抽出して、ビデオシンタックス１１４の要素のデータタイプ及びサイズを表すことができる。ビデオシンタックス１１４は、ＨＲＤシンタックス３０２、ＨＲＤベースシンタックス６０２、ＨＲＤサブレイヤシンタックス７０２、又はそれらの組み合わせのような仮想参照デコーダパラメータシンタックスを含むことができる。
【０２７８】
例えば、時間レイヤ取得モジュール１００８は、図４のアスペクト比フラグ４０６を、ビデオビットストリーム１１０内の符号なし１ビット値として抽出することができる。同様に、図４のアスペクト比高さ４１２及び図４のアスペクト比幅４１０は、ＨＥＶＣ  ＶＵＩシンタックス４０２で説明した符号なし１６ビット値としてビデオビットストリーム１１０から抽出することができる。
【０２７９】
時間レイヤ取得モジュール１００８は、ビデオシンタックス１１４に基づいてビデオビットストリーム１１０内のデータを構文解析することによって時間レイヤ２３０を抽出することができる。ビデオシンタックス１１４は、時間レイヤ２３０の数及び構成を規定することができる。
【０２８０】
例えば、時間レイヤ取得モジュール１００８は、時間レイヤカウント２３８を使用して時間レイヤ２３０の全体数を判定してビデオビットストリーム１１０から抽出することができる。図４のビデオ形式４２０をビデオビットストリーム１１０から抽出して、ビデオコンテンツ１０８の映像システムの種類を判定することができる。
【０２８１】
別の実施例では、ＣＰＢカウント３０８を使用して、使用される符号化ピクチャバッファの数を判定して、時間レイヤ２３０を抽出することができる。ビットレートスケール３１０を使用して、符号化ピクチャバッファに関する最大入力ビットレートを判定することができる。ＣＰＢサイズ値３１２を使用して、符号化ピクチャバッファのサイズを判定することができる。
【０２８２】
例示的な実施例では、時間レイヤ取得モジュール１００８は、ＨＲＤシンタックス３０２に基づいて、ビデオビットストリーム１１０から、時間レイヤ２３０の図２の第１のオカレンス２３２及び図２の第２のオカレンス２３４を抽出することができる。ＨＲＤシンタックス３０２は、ビデオビットストリーム１１０内の全ての時間レイヤ２３０に関して共通とすることができる。
【０２８３】
時間レイヤ復号モジュール１０１０は、時間レイヤ取得モジュール１００８から時間レイヤ２３０を受け取り、時間レイヤ２３０を復号してビデオストリーム１１２を生成することができる。時間レイヤ復号モジュール１０１０は、様々な方法で時間レイヤ２３０を復号することができる。
【０２８４】
例えば、時間レイヤ復号モジュール１０１０は、ＨＲＤベースシンタックス６０２を使用して時間レイヤ２３０を復号して、ビデオビットストリーム１１０から映像符号化レイヤ情報を抽出することができる。別の実施例では、時間レイヤ復号モジュール１０１０は、ＨＲＤサブレイヤシンタックス７０２を使用して時間レイヤ２３０を復号することができる。時間レイヤ復号モジュール１０１０は、時間レイヤ２３０を復号すること、及び時間レイヤ２３０のうちの１つを選択してビデオストリーム１１２を生成することができる。
【０２８５】
映像符号化システム１００は、表示モジュール１０１２を含むことができる。表示モジュール１０１２は、復号モジュール１００６からビデオストリーム１１２を受信し、ビデオストリーム１１２を図１のディスプレイインタフェース１２０に表示することができる。ビデオストリーム１１２は、時間レイヤ２３０の１つ又はそれ以上のオカレンスを含むことができる。
【０２８６】
ビデオコンテンツ１０８の物理的対象物の光学的画像から図１のディスプレイインタフェース１２０の画素要素上にビデオストリーム１１２を表示する物理的な変換は、物理的世界におけるディスプレイインタフェース１２０の画素要素に対する物理的変化、例えば画素要素の電気的な状態の変化を引き起こすが、これは、映像符号化システム１００の動作に基づくものである。ビデオコンテンツ１０８に取り込まれた対象物の動きのような物理的世界における変化が生じる場合、その動き自体により、ビデオコンテンツ１０８に対する更新のような追加情報が生成され、この情報は、映像符号化システム１００の継続動作に関してディスプレイインタフェース１２０の画素要素における変化に逆変換される。
【０２８７】
第１のデバイス１０２の図９の第１のソフトウェア９１２は、映像符号化システム１００を含むことができる。例えば、第１のソフトウェア９１２は、受信モジュール１００２、シンタックス取得モジュール１００４、復号モジュール１００６、及び表示モジュール１０１２を含むことができる。
【０２８８】
図９の第１の制御ユニット９０８は、ビデオビットストリーム１１０を受信するための受信モジュール１００２に関する第１のソフトウェア９１２を実行することができる。第１の制御ユニット９０８は、シンタックス取得モジュール１００４に関する第１のソフトウェア９１２を実行して、ビデオビットストリーム１１０からビデオシンタックス１１４を識別及び抽出することができる。第１の制御ユニット９０８は、復号モジュール１００６に関する第１のソフトウェア９１２を実行して、ビデオビットストリーム１１２を生成することができる。第１の制御ユニット９０８は、表示モジュール１０１２に関する第１のソフトウェア９１２を実行して、ビデオストリーム１１２を表示することができる。
【０２８９】
図１の第２のデバイス１０４の図９の第２のソフトウェア９５２は、映像符号化システム１００を含むことができる。第２のソフトウェア９５２は、例えば、受信モジュール１００２、シンタックス取得モジュール１００４、及び復号モジュール１００６を含むことができる。
【０２９０】
図９の第２の制御ユニット９４８は、受信モジュール１００２に関する第２のソフトウェア９５２を実行して、ビデオビットストリーム１１０を受信することができる。第２の制御ユニット９４８は、シンタックス取得モジュール１００４に関する第２のソフトウェア９５２を実行して、ビデオビットストリーム１１０からビデオシンタックス１１４を識別及び抽出することができる。第２の制御ユニット９４８は、復号モジュール１００６に関する第２のソフトウェア９５２を実行して、図１のビデオビットストリーム１１２を生成することができる。第２の制御ユニット９４８は、表示モジュール１０１２に関する第２のソフトウェアを実行して、ビデオストリーム１１２を表示することができる。
【０２９１】
映像符号化システム１００は、第１のソフトウェア９１２と第２のソフトウェア９５２とに分割することができる。例えば、第２のソフトウェア９５２は、復号モジュール１００６、及び表示モジュール１０１２を含むことができる。第２の制御ユニット９４８は、前述した第２のソフトウェア９５２に対して分割されたモジュールを実行することができる。
【０２９２】
例示的な実施例では、映像符号化システム１００は、第１のデバイス１０２でのビデオエンコーダ１０２、及び第２のデバイス１０４でのビデオデコーダ１０４を含むことができる。ビデオデコーダ１０４は、図１のディスプレイプロセッサ１１８、及びディスプレイインタフェース１２０を含むことができる。
【０２９３】
第１のソフトウェア９１２は、受信モジュール１００２及びシンタックス取得モジュール１００４を含むことができる。図９の第１の記憶ユニット９０４のサイズに応じて、第１のソフトウェア９１２は、映像符号化システム１００の追加のモジュールを含むことができる。第１の制御ユニット９０８は、前述した第１のソフトウェア９１２に対して分割されたモジュールを実行することができる。
【０２９４】
第１の制御ユニット９０８は、図９の第１の通信ユニット９１０を動作させて、第２のデバイス１０４にビデオビットストリーム１１０を送信することができる。第１の制御ユニット９０８は、第１のソフトウェア９１２を動作させて、図９の第１の画像化ユニット９０６を動作させることができる。図９の第２の通信ユニット９５０は、通信経路１０６を通じて第１のデバイス１０２にビデオストリーム１１２を送信することができる。
【０２９５】
映像符号化システム１００は、実施例としてモジュールの機能又は順番を説明している。モジュールは様々に分割することができる。例えば、シンタックス取得モジュール１００４と復号モジュール１００６とを組み合わせることができる。各モジュールは、個別に他のモジュールと無関係に動作することができる。
【０２９６】
更に、１つのモジュールで生成されたデータは、互いに直接接続されていない別のモジュールで使用することができる。例えば、復号モジュール１００６は、受信モジュール１００２からビデオビットストリーム１１０を受信することができる。
【０２９７】
モジュールは、様々な方法で実装することができる。受信モジュール１００２、シンタックス取得モジュール１００４、復号モジュール１００６、及び表示モジュール１０１２は、第１の制御ユニット９０８又は第２の制御ユニット９４８内のハードウェアアクセラレータ（図示せず）で実装すること、或いは第１の制御ユニット９０８又は第２の制御ユニット９４８の外部で第１のデバイス１０２又は第２のデバイス１０４内のハードウェアアクセラレータ（図示せず）で実装することができる。
【０２９８】
ここで図１１を参照すると、本発明の別の実施形態における映像符号化システム１００の動作方法１１００のフローチャートが示されている。方法１１００は、ブロック１１０２において、シリアルビットストリームとしてビデオビットストリームを受信する段階と、ブロック１１０４において、ビデオビットストリームからビデオシンタックスを抽出し、低遅延フラグ、ネットワーク抽象レイヤ（ＮＡＬ）仮想参照デコーダ（ＨＲＤ）パラメータ存在フラグ、及び映像符号化レイヤ（ＶＣＬ）ＨＲＤパラメータ存在フラグをビデオシンタックスから抽出し、低遅延フラグ、ＮＡＬ  ＨＲＤパラメータ存在フラグ、及びＶＣＬ  ＨＲＤパラメータ存在フラグに基づいてビデオビットストリームからＨＲＤシンタックスを抽出する段階と、ブロック１１０６において、ＨＲＤシンタックスを有するビデオシンタックスに基づいてビデオビットストリームから時間レイヤを抽出する段階と、ブロック１１０８において、デバイスに表示するために、時間レイヤに基づいてビデオストリームを生成する段階と、を含む。
【０２９９】
このように、本発明は多くの態様を有することが見いだされている。本発明は、経費削減、システム単純化、及び性能向上という歴史的傾向に有用に対応し、その要求に応えている。結果的に、本発明の前記及び他の有用な態様により、技術レベルが少なくとも次のレベルに進む。
【０３００】
従って、本発明の映像符号化システムは、高精細アプリケーション用のビデオコンテンツを効率的に符号化及び復号することに関して、重要で、従来は知られておらず利用不可能な解決手段、機能、及び機能的態様を提供することが見いだされている。結果として得られるプロセス及び構成は、簡単で、費用効率が高く、複雑でなく、非常に汎用的で、効率的なものであり、意外にも自明ではなく、公知の技術を適用することによって実装できるので、従来の製造プロセス及び技術と完全に互換性がある映像符号化デバイスを簡単に効率的かつ経済的に製造することに適している。結果として得られるプロセス及び構成は、簡単で、費用効率が高く、複雑でなく、非常に汎用的で、正確で、高精度で、効率的なものであり、容易に、効率的に、経済的に製造、応用、及び利用するために公知の構成要素を適用することによって実装することができる。
【０３０１】
本発明は、特定の最適な形態と併せて説明されるが、当業者であれば、前記の説明を考慮すると多くの代替例、修正例、及び変更例が明らかであることを理解できるはずである。従って、特許請求の範囲の範疇に含まれる全ての当該代替例、修正例、変更例が含まれることが意図されている。本明細書で説明した又は添付図面に示した前記の内容は、全て、例示的かつ非限定的な意味で解釈されたい。
【符号の説明】
【０３０２】
１１０２  ビデオビットストリームを受信
１１０４  ビデオシンタックスを抽出
１１０６  低遅延フラグを抽出
１１０８  ＨＲＤシンタックスを抽出
１１１０  時間レイヤを抽出
１１１２  ビデオストリームを生成
【図１】
0006606048.tif 000002
【図２】
0006606048.tif 000003
【図３】
0006606048.tif 000004
【図４】
0006606048.tif 000005
【図５】
0006606048.tif 000006
【図６】
0006606048.tif 000007
【図７】
0006606048.tif 000008
【図８】
0006606048.tif 000009
【図９】
0006606048.tif 000010
【図１０】
0006606048.tif 000011
【図１１】
0006606048.tif 000012