(57)【要約】      （修正有）【課題】サブピクチャに基づく仮想参照復号装置パラメータを信号化する電子装置並び復号化画像バッファ（ＤＰＢ）のハイブリッド動作のためのシステム及び方法を提供する。【解決手段】映像ビットストリームを復号化するためのシステム装置は、映像パラメータセットおよび映像パラメータセット拡張を受信するとともに、ビットストリームおよび複数のエンハンスメントビットストリームを受信する。当該システムは、少なくとも１つの出力層セットにおける変化を示す情報を含む出力層セット変化メッセージも受信する。【選択図】図７Ｂ
2018164282.tif 000002
【特許請求の範囲】
【請求項１】
映像ビットストリームを復号化する方法であって、
(a) アクセスユニットレベルで符号化画像バッファからアクセスユニットを削除するための符号化画像バッファ削除遅延パラメータを含む画像タイミングパラメータのセットを受信する工程と、
(b) 符号化映像イメージを表すデータを受け取る工程と、
(c) 前記符号化画像バッファに前記データを格納する工程と、
(d) 前記アクセスユニットレベルでの復号化のために、前記符号化画像バッファから前記アクセスユニットが削除されるべきであるか、または、サブピクチャレベルで復号化のために、前記符号化画像バッファから復号化ユニットが削除されるべきであるかを決定する工程と、
(e) 前記サブピクチャレベルでの復号化のために、前記符号化画像バッファから前記復号化ユニットが削除されるべきである場合、
(i) 前記ビットストリームがアクセスユニットにおける全復号化ユニットに共通の削除遅延を表すパラメータを含むか否かを示すフラグを受け取り、
(ii) 全復号化ユニットに共通の削除遅延を表す前記パラメータが前記ビットストリームに含まれることを前記フラグが示す場合、全復号化ユニットに共通の削除遅延を表す前記パラメータを受け取り、ここで、前記共通の削除遅延は、現在の復号化ユニットの前記符号化画像バッファからの削除時間と、直前の復号化ユニットの前記符号化画像バッファからの削除時間との間の時間であり、
(iii) 全復号化ユニットに共通の削除遅延を表す前記パラメータが前記ビットストリームに含まれないことを前記フラグが示す場合、別々の復号化ユニット遅延パラメータを受け取り、ここで、前記別々の復号化ユニット遅延パラメータの各々は、前記アクセスユニットにおける連続する復号化ユニットの間の遅延を表し、
(iv) 前記共通の削除遅延または前記別々の復号化ユニット遅延パラメータを表す前記パラメータに基づいて、前記復号化ユニットを前記符号化画像バッファから削除し、
(v) 削除した前記復号化ユニットを復号化する工程と、を含み、
(f) 前記アクセスユニットレベルでの復号化のために、前記符号化画像バッファから前記アクセスユニットが削除されるべきである場合、
(i) 前記データにおける前記アクセスユニットのためのアクセスユニット削除遅延を決定し、
(ii) 前記アクセスユニット遅延に基づいて、前記符号化画像バッファから前記アクセスユニットを削除し、
(iii) 削除した前記アクセスユニットを復号化する工程と、を含み、
前記復号化ユニットは前記アクセスユニットのサブセットであり、
前記アクセスユニットレベルで前記符号化画像バッファから前記アクセスユニットを削除するための前記符号化画像バッファ削除遅延パラメータが乗ぜられたクロックティックの値は、前記アクセスユニットにおける全ての別々の復号化ユニット遅延パラメータの合計が乗ぜられたサブピクチャクロックティックの値に等しく、前記アクセスユニット削除遅延はクロックティックの数で示され、前記復号化ユニット遅延パラメータはサブピクチャクロックティックの数で示されることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、広くは電子装置に関する。より具体的には、本開示は、サブピクチャに基づく仮想参照復号装置パラメータを信号化する電子装置、および復号化画像バッファ（ＤＰＢ）のハイブリッド動作のためのシステムおよび方法に関する。
【背景技術】
【０００２】
電子装置は、消費者の要求に応え、持ち運びやすさと利便性を増すために、より小さくより強力になってきた。消費者は、電子装置に依存するようになり、機能性が増すことを期待するようになってきた。電子装置の例としては、デスクトップコンピュータ、ラップトップコンピュータ、携帯電話、スマートフォン、メディア・プレイヤー、集積回路などが挙げられる。
【０００３】
電子装置には、デジタルメディアを処理し、表示するものがある。例えば、現在では、携帯型電子装置は、消費者がいる場所ならほとんどどこでも、デジタルメディアを消費することを可能にしている。さらに、電子装置には、デジタルメディアコンテンツを、消費者が利用し楽しむために、ダウンロードまたはストリーミングできるものがある。
【０００４】
デジタルメディアの増大する人気は、いくつかの問題をもたらした。例えば、保存、送信、および急速な再生のために高品質のデジタルメディアを効率的に表すことには、いくつかの困難がある。この検討からわかるように、性能を向上させてデジタルメディアを効率的に表すシステムおよび方法が有益である。
【０００５】
本発明の上記した目的、特徴、長所および他の目的、特徴、長所は、本発明の以下の詳細な説明を、添付の図面とともに考慮することで、より容易に理解されるであろう。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の一つの態様は、映像ビットストリームを復号化する方法であって、
（ａ）符号化映像シーケンスを表すベースビットストリーム（base bitstream）を受け取る工程と、
（ｂ）上記符号化映像シーケンスを表す複数のエンハンスメントビットストリーム（enhancement bitstreams）を受け取る工程と、
（ｃ）上記ベースビットストリームと上記複数のエンハンスメントビットストリームとに適用される複数のシンタックス要素を含む一つの映像パラメータセットを受け取る工程であって、当該映像パラメータセットは、映像パラメータセット拡張を示す一つのシンタックス要素を含む工程と、
（ｄ）上記エンハンスメントビットストリームのうち少なくとも一つと関連している複数のシンタックス要素を含む上記映像パラメータセット拡張を受け取る工程と、
（ｅ）少なくとも一つの出力レイヤセットの変化を示す情報を含む出力レイヤセット変化メッセージを受け取る工程と、を含む方法を提供する。
【０００７】
本発明の一つの態様は、映像ビットストリームを復号化する方法であって、
（ａ）符号化映像シーケンスを表すベースビットストリームを受け取る工程と、
（ｂ）上記符号化映像シーケンスを表す複数のエンハンスメントビットストリームを受け取る工程と、
（ｃ）上記ベースビットストリームと上記複数のエンハンスメントビットストリームとに適用される複数のシンタックス要素を含む一つの映像パラメータセットを受け取る工程であって、当該映像パラメータセットは、映像パラメータセット拡張を示す一つのシンタックス要素を含む工程と、
（ｄ）上記複数のエンハンスメントビットストリームのうち少なくとも一つのための復号化画像バッファ用の複数の復号化画像バッファ関連パラメータを有する複数のシンタックス要素を含む上記映像パラメータセット拡張を受け取る工程と、を含む方法を提供する。
【０００８】
本発明の一つの態様は、映像符号化の方法であって、
現在の画像の第一スライスヘッダーの解析を開始する工程と、
復号化画像バッファ（ＤＰＢ）によって行われる工程のうち、どの工程が画像に基づくものであり、どの工程がアクセスユニット（ＡＵ）に基づくものかを決定する工程と、
上記ＤＰＢからの削除を行う工程と、
上記ＤＰＢからの画像出力を行う工程と、
上記ＤＰＢ内で現在の復号化画像を復号化および保存する工程と、
上記ＤＰＢ内で上記現在の復号化画像をマーキングする工程と、
上記ＤＰＢからの追加画像出力を行う工程と、を含む方法を提供する。
【０００９】
本発明の一つの態様は、映像符号化のために構成された電子装置であって、
プロセッサと、
上記プロセッサと電子的に通信するメモリとを備え、
上記メモリに保存された指示を処理することにより、
現在の画像の第一スライスヘッダーの解析の開始と、
復号化画像バッファ（ＤＰＢ）によって行われる工程のうち、どの工程が画像に基づくものであり、どの工程がアクセスユニット（ＡＵ）に基づくものかの決定と、
上記ＤＰＢからの削除と、
上記ＤＰＢからの画像出力と、
上記ＤＰＢ内での現在の復号化画像の復号化および保存と、
上記ＤＰＢ内での上記現在の復号化画像のマーキングと、
上記ＤＰＢからの追加画像出力と、を行うことができる、電子装置を提供する。
【図面の簡単な説明】
【００１０】
【図１Ａ】図１Ａは、メッセージを送信し、ビットストリームをバッファリングするためのシステムおよび方法を実装できる１つ以上の電子装置の例を示すブロック図である。
【図１Ｂ】図１Ｂは、メッセージを送信し、ビットストリームをバッファリングするためのシステムおよび方法を実装できる一つ以上の電子装置の例を示す別のブロック図である。
【図２】図２は、メッセージを送信するための方法の一構成を示すフローチャートである。
【図３】図３は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定する方法の一構成を示すフローチャートである。
【図４】図４は、ビットストリームをバッファリングする方法の一構成を示すフローチャートである。
【図５】図５は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定する方法の一構成を示すフローチャートである。
【図６Ａ】図６Ａは、電子装置の符号化装置６０４の一構成を示すブロック図である。
【図６Ｂ】図６Ｂは、電子装置の符号化装置６０４の一構成を示す別のブロック図である。
【図７Ａ】図７Ａは、電子装置の復号装置の一構成を示すブロック図である。
【図７Ｂ】図７Ｂは、電子装置の復号装置の一構成を示す別のブロック図である。
【図８】図８に、送信用電子装置に用いうるさまざまな構成部材を示す。
【図９】図９は、受信用電子装置に用いうるさまざまな構成部材を示すブロック図である。
【図１０】図１０は、メッセージを送信するためのシステムおよび方法を実装する電子装置の一構成を示すブロック図である。
【図１１】図１１は、ビットストリームをバッファリングするためのシステムおよび方法を実装する電子装置の一構成を示すブロック図である。
【図１２】図１２は、復号化画像バッファの動作を行うための方法の一構成を示すブロック図である。
【図１３Ａ】図１３Ａに、異なるＮＡＬユニットのヘッダーシンタックスを示す。
【図１３Ｂ】図１３Ｂに、異なるＮＡＬユニットのヘッダーシンタックスを示す。
【図１３Ｃ】図１３Ｃに、異なるＮＡＬユニットのヘッダーシンタックスを示す。
【図１４】図１４に、一般的なＮＡＬユニットのシンタックスを示す。
【図１５】図１５に、既存の映像パラメータセットを示す。
【図１６】図１６に、既存のスケーラビリティタイプを示す。
【図１７】図１７に、例示的な映像パラメータセットを示す。
【図１８】図１８に、例示的なスケーラビリティマップシンタックスを示す。
【図１９】図１９に、例示的な映像パラメータセットを示す。
【図２０】図２０に、既存の映像パラメータセットを示す。
【図２１】図２１に、既存のディメンションタイプ、ディメンションｉｄシンタックスを示す。
【図２２】図２２に、例示的な映像パラメータセットを示す。
【図２３】図２３に、例示的なスケーラビリティマップシンタックスを示す。
【図２４】図２４に、例示的な映像パラメータセットを示す。
【図２５】図２５に、例示的な映像パラメータセットを示す。
【図２６】図２６に、例示的な映像パラメータセットを示す。
【図２７】図２７に、例示的なスケーラビリティマスクシンタックスを示す。
【図２８】図２８に、例示的な映像パラメータセット拡張シンタックスを示す。
【図２９】図２９に、例示的な映像パラメータセット拡張シンタックスを示す。
【図３０】図３０に、例示的な映像パラメータセット拡張シンタックスを示す。
【図３１】図３１に、例示的な映像パラメータセット拡張シンタックスを示す。
【図３２】図３２に、例示的な映像パラメータセット拡張シンタックスを示す。
【図３３】図３３に、例示的な映像パラメータセット拡張シンタックスを示す。
【図３４】図３４に、映像パラメータセットシンタックスの例を示す。
【図３５】図３５に、映像パラメータセット拡張シンタックスの例を示す。
【図３６】図３６に、出力レイヤセット変化シンタックスの例を示す。
【図３７】図３７に、出力レイヤセット変化シンタックスの他の例を示す。
【図３８Ａ】図３８Ａに、映像パラメータ拡張シンタックスの例を示す。
【図３８Ｂ】図３８Ｂに、映像パラメータ拡張シンタックスの例を示す。
【図３９Ａ】図３９Ａに、op_dpb_info_parameters(j)シンタックスの例を示す。
【図３９Ｂ】図３９Ｂに、op_dpb_info_parameters(j)シンタックスの例を示す。
【図４０】図４０に、映像パラメータ拡張シンタックスの他の例を示す。
【図４１】図４１に、oop_dpb_info_parameters(j)シンタックスの他の例を示す。
【図４２】図４２に、oop_dpb_info_parameters(j)シンタックスの他の例を示す。
【図４３】図４３に、num_dpb_info_parametersシンタックスの例を示す。
【図４４】図４４に、oop_dpb_info_parameters(j)シンタックスの他の例を示す。
【図４５】図４５に、num_dpb_info_parametersシンタックスの他の例を示す。
【図４６】図４６に、num_dpb_info_parametersシンタックスの他の例を示す。
【図４７】図４７に、映像パラメータ拡張シンタックスとlayer_dpb_info(i)の他の例を示す。
【図４８】図４８に、oop_dpb_info_parametersとlayer_dpb_info(i)シンタックスの例を示す。
【図４９Ａ】図４９Ａに、vps_extension()の他の例を示す。
【図４９Ｂ】図４９Ｂに、vps_extension()の他の例を示す。
【図５０】図５０に、oop_dpb_maxbuffering_parameters(i)の例を示す。
【図５１】図５１に、layer_dpb_info_parameters(i)の例を示す。
【図５２】図５２に、vps_extension()の他の例を示す。
【図５３】図５３に、vps_extension()の他の例を示す。
【図５４】図５４に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。
【図５５】図５５に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。
【図５６】図５６に、vps_extension()の他の例を示す。
【図５７】図５７に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。
【図５８】図５８に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。
【図５９】図５９に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。
【図６０】図６０に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。
【図６１】図６１に、oop_dpb_maxbuffering_parameters(i,k)の例を示す。
【図６２】図６２に、seq_parameter_set_rbsp()の例を示す。
【図６３】図６３は、複数の電子装置間の映像符号化を示すブロック図である。
【図６４】図６４はハイブリッド復号化画像バッファ（ＤＰＢ）の動作の方法を示すフローチャートである。
【図６５】図６５はハイブリッド復号化画像バッファ（ＤＰＢ）の動作の別の方法を示すフローチャートである。
【図６６】図６６は、復号装置の一構成を示すブロック図である。
【図６７Ａ】図６７Ａは、映像符号化のために、エンハンスメントレイヤとベースレイヤを用い、当該エンハンスメントレイヤとベースレイヤに異なる復号化画像バッファ（ＤＰＢ）と異なるハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０とを用いる様子を示すブロック図である。
【図６７Ｂ】図６７Ｂは、共有復号化画像バッファ（ＤＰＢ）と共有ハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュールを、ベースレイヤとエンハンスメントレイヤ双方に用いることを示すブロック図である。
【図６８】図６８は、ハイブリッド復号化画像バッファ（ＤＰＢ）動作を示すタイミング図である。
【図６９】図６９は、第二エンハンスメントレイヤ（ＥＬ２）が、ベースレイヤ（ＢＬ）および第一エンハンスメントレイヤ（ＥＬ１）より低い画像率を有する場合の、符号化画像およびアクセスユニット（ＡＵ）用のレイヤのネットワーク抽象化レイヤ（ＮＡＬ）ユニットのための構造およびタイミングを示すブロック図である。
【図７０】図７０は、ベースレイヤ（ＢＬ）が、第一エンハンスメントレイヤ（ＥＬ１）および第二エンハンスメントレイヤ（ＥＬ２）より低い画像率を有する場合の、符号化画像およびアクセスユニット（ＡＵ）用のレイヤのネットワーク抽象化レイヤ（ＮＡＬ）ユニットのための構造およびタイミングを示すブロック図である。
【発明を実施するための形態】
【００１１】
〔実施形態１〕
メッセージを送信するための電子装置を記載する。当該電子装置は、プロセッサと該プロセッサと電子的に通信するメモリに保存された指示とを含んでいる。符号化画像バッファ（ＣＰＢ）がサブピクチャレベルの動作をサポートする場合、上記電子装置は、画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージに共通復合化ユニットＣＰＢ削除遅延パラメータ（removal delay parameter）を含むべきかを決定する。また、上記共通復号化ユニットＣＰＢ削除遅延パラメータが、画像タイミングＳＥＩメッセージ（または、例えば、画像パラメータセット、シーケンスパラメータセット、映像パラメータセットまたは適応パラメータセットのような他の何らかのＳＥＩメッセージまたは他の何らかのパラメータセット）に含まれるべきである場合、上記電子装置は、上記共通復号化ユニットＣＰＢ削除遅延パラメータを生成する。ここで、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、上記ＣＰＢからのアクセスユニットにおける全復号化ユニットに適用できる。また、上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージ含まれるべきでない場合、上記電子装置は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを生成する。さらにまた、上記電子装置は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記復号化ユニットＣＰＢ削除遅延パラメータと共に上記画像タイミングＳＥＩメッセージを送信する。
【００１２】
上記共通復号化ユニットＣＰＢ削除遅延パラメータは、直前の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティック（sub-picture clock ticks）の量を規定してもよい。
【００１３】
さらに、復号化ユニットがアクセスユニットにおける第１の復号化ユニットである場合、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、前のアクセスユニットにおける最も近いバッファリング期間ＳＥＩメッセージに関連するアクセスユニットにおける最新の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける上記第１の復号化ユニットを上記ＰＣＢから削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
【００１４】
一方、上記復号化ユニットがアクセスユニットにおける第１の復号化ユニットではない場合、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける前の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
【００１５】
上記復号化ユニットＣＰＢ削除遅延パラメータは、上記最新の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおけるｉ番目の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
【００１６】
上記電子装置は、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余（remainder）によって、上記復号化ユニットＣＰＢ削除遅延パラメータを算出してもよい。ここで、cpb_removal_delay_length_minus1 + 1は、共通復号化ユニットＣＰＢ削除遅延パラメータの長さである。
【００１７】
さらに、上記ＣＰＢがアクセスユニットレベルの動作をサポートする場合、上記電子装置は、前のアクセスユニットにおける最も近いバッファリング期間ＳＥＩメッセージに関連するアクセスユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットデータを上記ＣＰＢから削除するまでに待つべきクロックティックの数を規定するＣＰＢ削除遅延パラメータを含む画像タイミングＳＥＩメッセージを生成してもよい。
【００１８】
さらに、上記電子装置は、上記ＣＰＢがサブピクチャレベルの動作またはアクセスユニットレベルの動作のどちらをサポートするかを決定してもよい。この工程は、符号化画像バッファ（ＣＰＢ）が、画像タイミングフラグの値に基づいてサブピクチャレベルの動作をサポートするパラメータを提供するかどうかを示す画像タイミングフラグを決定する工程を含んでいてもよい。上記画像タイミングフラグが、上記画像タイミングＳＥＩメッセージに含まれていてもよい。
【００１９】
上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージに含まれるべき場合、共通復号化ユニットＣＰＢ削除遅延パラメータを含むかどうかの決定には、共通復号化ユニットＣＰＢ削除遅延フラグを１に設定する工程を含んでいてもよい。さらに、上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージに含まれるべきでない場合、この決定は、上記共通復号化ユニットＣＰＢ削除遅延フラグを０に設定する工程を含んでいてもよい。上記共通復号化ユニットＣＰＢ削除遅延フラグは、上記画像タイミングＳＥＩメッセージに含まれていてもよい。
【００２０】
さらに、上記ＣＰＢがサブピクチャレベルの動作をサポートする場合、上記電子装置は、アクセスユニットにおける各復号化ユニットに対するＮＡＬユニットの１でオフセットされる量を示す別のネットワーク抽象化レイヤ（ＮＡＬ）ユニット関連パラメータを生成してもよい。代わりに、または、追加で、上記電子装置は、アクセスユニットにおける各復号化ユニットに共通のＮＡＬユニットの１でオフセットされる量を示す共通ＮＡＬパラメータを生成してもよい。
【００２１】
さらに、ビットストリームをバッファリングするための電子装置を記載する。当該電子装置は、プロセッサと該プロセッサと電子的に通信するメモリに保存された指示とを含んでいる。上記電子装置は、ＣＰＢがアクセスユニットに対するサブピクチャレベルのパラメータを信号で伝達することを決定する。また、受信された画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージが上記共通復号化ユニット符号化画像バッファ（ＣＰＢ）削除遅延フラグを含む場合、上記電子装置は、上記アクセスユニットにおける全復号化ユニットに適用可能な共通復号化ユニットＣＰＢ削除遅延パラメータを決定する。さらに、上記画像タイミングＳＥＩメッセージが上記共通復号化ユニットＣＰＢ削除遅延フラグを含まない場合、上記電子装置は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを決定する。さらに、上記電子装置は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記別の復号化ユニットＣＰＢ削除遅延パラメータを用いて、上記ＣＰＢから復号化ユニットを削除する。さらに、上記電子装置は上記アクセスユニットにおける上記復号化ユニットを復号する。
【００２２】
ある構成において、上記電子装置は、上記画像タイミングＳＥＩメッセージに画像タイミングフラグが設定されることを決定する。また、上記電子装置は、下記数式１によって、ＣＰＢ削除遅延パラメータ（cpb_removal_delay）を設定してもよい。
【００２３】
【数１】
2018164282.tif 000003
【００２４】
式中、du_cpb_removal_delay[i]は、上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおいて復号化ユニットの１でオフセットされる量であり、iはインデックスである。
【００２５】
あるいは、上記電子装置は、下記数式を満たすようにＣＰＢ削除遅延パラメータ（cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]）を設定してもよい。
【００２６】
【数２】
2018164282.tif 000004
【００２７】
式中、du_cpb_removal_delay[i]は、上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおいて復号化ユニットの１でオフセットされる量であり、iはインデックスである。
【００２８】
あるいは、上記電子装置は、下記式によって、ＣＰＢ削除遅延パラメータ（cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]）を設定してもよい。
cpb_removal_delay*tc = du_cpb_removal_delay[num_decoding_units_minus1]* tc_sub、
式中、du_cpb_removal_delay[num_decoding_units_minus1]は、上記「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおいて復号化ユニットの１でオフセットされる量である。
【００２９】
ある構成において、上記電子装置は、画像タイミングフラグが上記画像タイミングＳＥＩメッセージに設定されることを決定する。また、上記電子装置は、以下の式を満たすようにＣＰＢ削除遅延パラメータ（cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]）を設定してもよい。
-1<=(cpb_removal_delay*tc - du_cpb_removal_delay[num_decoding_units_minus1]* tc,sub) <=1
式中、du_cpb_removal_delay[num_decoding_units_minus1]は、上記「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおいて復号化ユニットの１でオフセットされる量である。
【００３０】
ClockDiff変数は、以下のように定義してもよい。
ClockDiff = (num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1)) / time_scale)
式中、num_units_in_tickは、クロックティック計数器の１増分に対応する周波数time_scale（Ｈｚ）で動作するクロックの時間単位の数であり、num_units_in_sub_tickは、サブピクチャクロックティック計数器の１増分に対応する上記周波数time_scale（Ｈｚ）で動作するクロックの時間単位の数であり、num_decoding_units_minus1+1は上記アクセスユニットにおける復号化ユニットの量であり、time_scaleは１秒間に経過する上記時間単位の数である。
【００３１】
低遅延仮想参照復号装置（low delay hypothetical reference decoder：HRD）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作しており、かつ、ClockDiffがゼロより大きい場合、復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ) + ClockDiff 
式中、tr,n( m )は上記復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は復号化ユニットｍの最終到着時間である。
【００３２】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定され、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作しており、かつ、ClockDiffがゼロより大きい場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n )= tr,n( n ) + tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc ) - ClockDiff
式中、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、Ceil()は天井関数であり、taf( n )はアクセスユニットｎの最終到着時間である。
【００３３】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + max( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、(tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc ))) 
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【００３４】
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + max( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、(tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc ))) 
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【００３５】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub )), (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc))) 
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【００３６】
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、(tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc ))) 
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【００３７】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc )) 
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【００３８】
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc ))  
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【００３９】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、上記最新の復号化ユニットではない復号化ユニットｍに対する上記削除時間は、tr( m ) = taf( m )（式中、taf( m )は復号化ユニットｍの最終到着時間）として設定される。低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍである復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間であり、taf( m )は、アクセスユニットｎにおける最新の復号化ユニットｍの最終到着時間である。
【００４０】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、上記最新の復号化ユニットではない復号化ユニットｍに対する上記削除時間は、tr( m ) = taf( m )（式中、taf( m )は復号化ユニットｍの最終到着時間）として設定される。低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍである復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( m ) - tr,n( m ) ) / tc))
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf(m)は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間であり、taf( m )は、アクセスユニットｎにおける最新の復号化ユニットｍの最終到着時間である。
【００４１】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、復号化ユニットｍに対する上記削除時間は、tr( m ) = taf( m )として設定される。式中、tr,n( m )は、上記復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける復号化ユニットｍの最終到着時間である。
【００４２】
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、tr( n ) = taf( n )によって決定される。式中、tr,n( m )は、上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【００４３】
さらに、上記復号化ユニットの削除時間および上記アクセスユニットの削除時間を決定するために上記代替式のうちのいずれが用られるかを信号で伝達するために、フラグが上記ビットストリームの一部で送信される場合もある。ある場合には、上記フラグはdu_au_cpb_alignment_mode_flagと呼ばれる。du_au_cpb_alignment_mode_flagが１であれば、サブピクチャに基づくモードで動作するＣＰＢの動作をアクセスユニットモードで動作する上記ＣＰＢと同調させる上記式が用いられる。du_au_cpb_alignment_mode_flagが０であれば、サブピクチャに基づくモードで動作するＣＰＢの動作を上記アクセスユニットモードで動作する上記ＣＰＢと同調させない上記式が用いられる。
【００４４】
ある場合には、上記フラグ（du_au_cpb_alignment_mode_flag）は、ビデオユーザビリティ情報（ＶＵＩ）において信号で伝達されてもよい。別の場合には、上記フラグ（du_au_cpb_alignment_mode_flag）は、画像タイミングＳＥＩメッセージで送信されてもよい。さらに別の場合、上記フラグ（du_au_cpb_alignment_mode_flag）は、上記ビットストリームの別の標準的部位で送信されてもよい。本明細書において開示されるシステムおよび方法に係る変形シンタックスおよびセマンティックスの一例を以下の表０に示す。
【００４５】
【表０】
2018164282.tif 000005
【００４６】
ここで、様々な変数に対して上で用いられるものと異なるシンボル（名称）が用いられる場合もあることに注意すべきである。例えば、アクセスユニットｎのtr( n )が、CpbRemovalTime( n )とも称される場合がある。また、復号化ユニットｎのtr( m )が、CpbRemovalTime( m )とも称される場合がある。tc_subが、ClockSubTickと称される場合もある。tcがClockTickと称される場合もある。アクセスユニットｍのtaf( n )が、アクセスユニットｎのFinalArrivalTime( n )と称される場合もある。復号化ユニットｍのtaf( m )が、FinalArrivalTime( m )と称される場合もある。tr,n( n )が、上記アクセスユニットｎのNominalRemovalTime( n )と称される場合もある。tr,n( m )が、上記復号化ユニットｍのNominalRemovalTime( m )と称される場合もある。
【００４７】
さらに、電子装置によりメッセージを送信する方法を記載する。この方法は、符号化画像バッファ（ＣＰＢ）がサブピクチャレベルの動作をサポートする場合に、画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージに共通復号化ユニットＣＰＢ削除遅延パラメータを含むべきかどうかを決定する工程を含んでいる。さらに、上記方法は、上記画像タイミングＳＥＩメッセージに上記共通復号化ユニットＣＰＢ削除遅延パラメータが含まれるべき場合に、上記共通復号化ユニットＣＰＢ削除遅延パラメータを生成する工程を含んでいる。ここで、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、上記ＣＰＢからのアクセスユニットにおける全復号化ユニットに適用できるものである。さらに、上記方法は、上記画像タイミングＳＥＩメッセージに上記共通復号化ユニットＣＰＢ削除遅延パラメータが含まれるべきでない場合に、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを生成する工程を含んでいる。さらに、上記方法は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記復号化ユニットＣＰＢ削除遅延パラメータと共に上記画像タイミングＳＥＩメッセージを送信する工程を含んでいる。
【００４８】
さらに、電子装置によってビットストリームをバッファリングする方法を記載する。上記方法は、ＣＰＢがアクセスユニットに対してサブピクチャレベルのパラメータを信号で伝達することを決定する工程を含んでいる。また、上記方法は、受信された画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージが上記共通復号化ユニット符号化画像バッファ（ＣＰＢ）削除遅延フラグを含む場合、上記アクセスユニットにおける全復号化ユニットに適用可能な共通復号化ユニットＣＰＢ削除遅延パラメータを決定する工程を含んでいる。さらに、上記方法は、上記画像タイミングＳＥＩメッセージが上記共通復号化ユニットＣＰＢ削除遅延フラグを含まない場合、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを決定する工程を含んでいる。さらに、上記方法は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記別の復号化ユニットＣＰＢ削除遅延パラメータを用いて、上記ＣＰＢから復号化ユニットを削除する工程を含んでいる。さらに、上記方法は上記アクセスユニットにおける上記復号化ユニットを復号する工程を含んでいる。
【００４９】
本明細書中に開示される上記システム及び方法は、メッセージを送信し、ビットストリームをバッファリングする電子装置を説明する。例えば、本明細書中に開示される上記システム及び方法は、サブピクチャパラメータで始まるビットストリームのバッファリングを説明する。いくつかの構成において、本明細書中に開示される上記システム及び方法は、サブピクチャに基づく仮想参照復号装置（ＨＲＤ）パラメータを信号で伝達する工程を説明する場合がある。例えば、本明細書中に開示される上記システム及び方法は、画像タイミング付加エンハンスメント情報（ＳＥＩ）メッセージの変更を説明する。本明細書中に開示される上記システム及び方法（例：上記ＨＲＤの変形）は、定期的に、各サブピクチャが到着してＣＰＢから削除される場合に、パラメータのよりコンパクトな信号伝達をもたらす。
【００５０】
さらに、上記サブピクチャレベルＣＰＢ削除遅延パラメータが存在する場合、上記符号化画像バッファ（ＣＰＢ）は、アクセスユニットレベルまたはサブピクチャレベルで動作してもよい。また、本システム及び方法は、上記サブピクチャレベルのＣＰＢの動作と上記アクセスユニットレベルのＣＰＢの動作とが同じタイミングでの復号化ユニット削除をもたらすように、ビットストリーム上の制約を課してもよい。具体的には、サブピクチャモードで動作している場合のアクセスユニットにおける最新の復号化ユニットの削除のタイミングが、アクセスユニットモードで動作している場合のアクセスユニットの削除のタイミングと同じになる。
【００５１】
ここで、「仮想」という用語がＨＲＤについて用いられるが、上記ＨＲＤが物理的に実装されていてもよいということに注意すべきである。例えば，実際の復号装置の実装を説明するのに「ＨＲＤ」が用いられてもよい。いくつかの構成において、ビットストリームが高効率映像符号化方式（ＨＥＶＣ）仕様に適合するかどうかを判定するために、ＨＲＤが実装されていてもよい。例えば、ＨＲＤが、タイプＩビットストリームおよびタイプＩＩビットストリームがＨＥＶＣ仕様に適合するかどうかを判定するために用いられてもよい。タイプＩビットストリームは、映像符号化レイヤ（ＶＣＬ）ネットワーク抽象化レイヤ（ＮＡＬ）ユニットとフィラーデータ（ｆｉｌｌｅｒ  ｄａｔａ）ＮＡＬユニットとのみを含んでいてもよい。タイプＩＩビットストリームは、さらに別のＮＡＬユニットとシンタックス要素とを含んでいてもよい。
【００５２】
映像符号化国際標準のＨＥＶＣ標準化の共同チーム（ＪＣＴＶＣ）の文献のＪＣＴＶＣ−Ｉ０３３３は、サブピクチャに基づくＨＲＤを含んでおり、画像タイミングＳＥＩメッセージをサポートしている。この機能性は、高効率映像符号化方式（ＨＥＶＣ）委員会草案（ＪＣＴＶＣ−Ｉ１００３）に組み込まれ、参照によりその全体が本明細書に援用される。Ｂ．Ｂｒｏｓ、Ｗ−Ｊ．Ｈａｎ、Ｊ−Ｒ．Ｏｈｍ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、ＷａｎｇおよびＴ−．Ｗｉｅｇａｎｄの「High efficiency video coding (HEVC) text specification draft 10 (for DFIS & Last Call)」、ＪＣＴＶＣ−Ｊ１０００３＿ｖ３４、ジュネーヴ、２０１３年１月がここで参照によりその全体が本明細書に援用される。Ｂ．Ｂｒｏｓ、Ｗ−Ｊ．Ｈａｎ、Ｊ−Ｒ．Ｏｈｍ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、ＷａｎｇおよびＴ−．Ｗｉｅｇａｎｄの「High efficiency video coding (HEVC) text specification draft 10」、ＪＣＴＶＣ−Ｌ１００３、ジュネーヴ、２０１３年１月がここで参照によりその全体が本明細書に援用される。
【００５３】
本明細書中に開示される上記システム及び方法に係る変形シンタックスおよびセマンティックスの一例を以下の表１に示す。
【００５４】
【表１】
2018164282.tif 000006
【００５５】
本明細書中に開示される上記システム及び方法に係るバッファリング期間ＳＥＩメッセージセマンティックスに関する例を以下に挙げる。特に、上記変形シンタックス要素のセマンティックスに関する追加の詳細を以下に記載する。NalHrdBpPresentFlagまたはVclHrdBpPresentFlagが１に等しい場合、バッファリング期間ＳＥＩメッセージは、上記ビットストリームにおける任意のアクセスユニットと関係付けられることができ、かつ、バッファリング期間ＳＥＩメッセージは、各ＩＤＲアクセスユニット、各ＣＲＡアクセスユニット、および、リカバリーポイントＳＥＩメッセージに関連する各アクセスユニットに関連付けられていてもよい。いくつかの適用において、バッファリング期間ＳＥＩメッセージが頻繁に存在することが望ましいといえる。バッファリング期間は、復号化順序におけるバッファリング期間ＳＥＩメッセージの２つのインスタンス間のアクセスユニットのセットとして規定される。
【００５６】
seq_parameter_set_idは、シーケンスＨＲＤ属性を含む上記シーケンスパラメータセットを規定する。seq_parameter_set_idの値は、上記バッファリング期間ＳＥＩメッセージに関連する主符号化画像に参照される上記画像パラメータセットにおけるseq_parameter_set_idの値に等しくてもよい。上記seq_parameter_set_idの値は、０以上３０以下の範囲の値であってもよい。
【００５７】
initial_cpb_removal_delay[ SchedSelIdx ]は、ＨＲＤ初期化後の第１のバッファリング期間に対して、上記バッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットと関連付けられる上記符号化データの第１番目のビットの上記ＣＰＢにおける到着時間と上記と同じアクセスユニットと関連付けられる上記符号化データの上記ＣＰＢからの削除時間との間のSchedSelIdx番目のＣＰＢに対する遅延を規定する。上記シンタックス要素は、initial_cpb_removal_delay_length_minus1 + 1により与えられるビットで表される長さを有している。これは、９０ｋＨｚクロックを単位にしている。initial_cpb_removal_delay[ SchedSelIdx ]は、０に等しくなることはなく、かつ、90000 * (CpbSize[ SchedSelIdx ] / BitRate[ SchedSelIdx ])を超えることはなく、ＣＰＢの大きさは、９０ｋＨｚクロック単位の倍数である時間に相当する。
【００５８】
initial_cpb_removal_delay_offset [ SchedSelIdx ]は、上記ＣＰＢへの符号化されたアクセスユニットの初期デリバリー時間を規定するために、上記cpb_removal_delayと組み合わせてSchedSelIdx番目のＣＰＢに対して用いられる。initial_cpb_removal_delay_offset[ SchedSelIdx ]は、９０ｋＨｚクロックを単位にしている。上記initial_cpb_removal_delay_offset[ SchedSelIdx ]シンタックス要素は、ビットで表される長さがinitial_cpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。このシンタックス要素は、復号装置では用いられず、（例えば、ＪＣＴＶＣ−Ｉ１００３のアネックスＣに規定される）デリバリースケジューラ（ＨＳＳ）にのみ必要とされる。
【００５９】
符号化映像シーケンス全体にわたって、initial_cpb_removal_delay[ SchedSelIdx ]とinitial_cpb_removal_delay_offset[ SchedSelIdx ]との合計は、SchedSelIdxの各値に対して定数であってもよい。
【００６０】
initial_du_cpb_removal_delay[ SchedSelIdx ]は、ＨＲＤ初期化後の第１のバッファリング期間に対して、上記バッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットにおける第１の復号化ユニットと関連付けられる符号化データの第１番目のビットの上記ＣＰＢにおける到着時間と、上記と同じ復号化ユニットと関連付けられる上記符号化データの上記ＣＰＢからの削除時間との間のSchedSelIdx番目のＣＰＢに対する遅延を規定する。上記シンタックス要素は、initial_cpb_removal_delay_length_minus1 + 1により与えられるビットで表される長さを有している。これは、９０ｋＨｚクロックを単位にしている。initial_du_cpb_removal_delay[ SchedSelIdx ]は、０に等しくはならず、かつ、90000 * (CpbSize[ SchedSelIdx ] / BitRate[ SchedSelIdx ])を超えることはなく、ＣＰＢの大きさは、９０ｋＨｚクロック単位の倍数である時間に相当する。
【００６１】
initial_du_cpb_removal_delay_offset[ SchedSelIdx ]は、上記ＣＰＢへの復号化ユニットの初期デリバリー時間を規定するために、上記cpb_removal_delayと組み合わせてSchedSelIdx番目のＣＰＢに対して用いられる。
【００６２】
initial_cpb_removal_delay_offset[ SchedSelIdx ]は、９０ｋＨｚクロックを単位にしている。上記initial_du_cpb_removal_delay_offset[ SchedSelIdx ]シンタックス要素は、ビットで表される長さがinitial_cpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。このシンタックス要素は、復号装置では用いられず、（例えば、ＪＣＴＶＣ−Ｉ１００３のアネックスＣに規定される）デリバリースケジューラ（ＨＳＳ）にのみ必要とされる。
【００６３】
符号化映像シーケンス全体にわたって、initial_du_cpb_removal_delay[ SchedSelIdx ]とinitial_du_cpb_removal_delay_offset[ SchedSelIdx ]との合計は、SchedSelIdxの各値に対して定数であってもよい。
【００６４】
本明細書中に開示される上記システム及び方法に係る画像タイミングＳＥＩメッセージセマンティックスに関する例を以下に挙げる。特に、上記変形シンタックス要素のセマンティックスに関する追加の詳細を記載する。
【００６５】
上記画像タイミングＳＥＩメッセージの上記シンタックスは、上記画像タイミングＳＥＩメッセージに関連する上記符号化画像に対してアクティブな上記シーケンスパラメータセットの内容に依存する。しかし、瞬時復号リフレッシュ（ＩＤＲ）アクセスユニットの画像タイミングＳＥＩメッセージの前に、同じアクセスユニットにおけるバッファリング期間ＳＥＩメッセージが来なければ、上記符号化画像の第１の符号化スライスネットワーク抽象化レイヤ（ＮＡＬ）ユニットの復号化まで、上記関連シーケンスパラメータセットの活性化（および、上記ビットストリームにおける第１番目の画像ではないＩＤＲ画像に対しては、上記符号化画像がＩＤＲ画像であるという決定）は発生しない。上記符号化画像の上記符号化スライスＮＡＬユニットは、ＮＡＬユニット順で上記画像タイミングＳＥＩメッセージに従うので、上記符号化画像に対してアクティブになる上記シーケンスパラメータのパラメータの決定まで、復号装置が、上記画像タイミングＳＥＩメッセージを含むローバイトシーケンスペイロード（ＲＢＳＰ）を保存し、その後、上記画像タイミングＳＥＩメッセージの構文解析を実行する必要がある場合もある。
【００６６】
上記ビットストリームにおける画像タイミングＳＥＩメッセージの存在は以下のように規定される。CpbDpbDelaysPresentFlagが１に等しい場合、一つの画像タイミングＳＥＩメッセージが上記符号化映像シーケンスのアクセスユニットごとに存在してもよい。そうでない場合（CpbDpbDelaysPresentFlagが０に等しい）、上記符号化映像シーケンスのどのアクセスユニットにも画像タイミングＳＥＩメッセージは存在することはない。
【００６７】
cpb_removal_delayは、前のアクセスユニットにおける最も近いバッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットデータをバッファから削除するまでに待つべきクロックティックの数（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）を規定する。また、この値は、ＪＣＴＶＣ−Ｉ１００３のアネックスＣに規定されるように、上記ＨＳＳ用に上記ＣＰＢに復号化ユニットデータが到着できる最も早い時間を算出するためにも用いられる。上記シンタックス要素は、ビットで表される長さがcpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。上記cpb_removal_delayは、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余である。
【００６８】
cpb_removal_delayは、異なる符号化映像シーケンスのアクセスユニットであってもよい、バッファリング期間ＳＥＩメッセージを含む上記前のアクセスユニットの上記削除時間に対するクロックティックの数を規定するが、上記シンタックス要素cpb_removal_delayの（ビットで表す）長さを決定するcpb_removal_delay_length_minus1の値は、上記画像タイミングＳＥＩメッセージに関連する上記主符号化画像に対してアクティブな上記シーケンスパラメータセットに符号化されたcpb_removal_delay_length_minus1の値である。
【００６９】
dpb_output_delayは、上記画像の復号化画像バッファ（ＤＰＢ）出力時間を算出するために用いられる。dpb_output_delayは、上記ＣＰＢからアクセスユニットにおける最新の復号化ユニットを削除した後から上記復号化画像が上記ＤＰＢから出力されるまでに待つべきクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＣ．２参照）。
【００７０】
上記ＤＰＢについて、「短期参照用に使用」または「長期参照用に使用」と記されている状態のままにある場合、画像は、上記ＤＰＢからその出力時間には削除されない。一つのみのdpb_output_delayが復号化画像用に規定される。上記シンタックス要素dpb_output_delayの長さは、dpb_output_delay_length_minus1 + 1によりビットで与えられる。max_dec_pic_buffering[ max_temporal_layers_minus1 ]が０に等しい場合、dpb_output_delayは０に等しくてもよい。
【００７１】
ＪＣＴＶＣ−Ｉ１００３のサブクローズＣ．２に規定されるような出力タイミング適合復号装置から出力される任意の画像の上記dpb_output_delayから導かれる上記出力時間は、復号化順序において任意の後続の符号化映像シーケンスにおける全画像のdpb_output_delayから導かれる上記出力時間に先行してもよい。このシンタックス要素の値により定められた画像出力順序は、サブクローズにより規定されたPicOrderCnt( )の値により定められるものと同じ順序である。１に等しい、または、１に等しいと推定されるno_output_of_prior_pics_flagを有するＩＤＲ画像に復号化順序において先行するがためにサブクローズの「バンピング（ｂｕｍｐｉｎｇ）」工程によって出力されない画像について、dpb_output_delayから導かれる上記出力時間は、同じ符号化映像シーケンス内の全画像に対するPicOrderCnt( )の値の増大と共に増大してもよい。
【００７２】
num_decoding_units_minus1＋１は、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットにおける復号化ユニットの数を規定する。num_decoding_units_minus1の値は、０以上PicWidthInCtbs * PicHeightInCtbs - 1以下であってもよい。
【００７３】
１に等しいcommon_du_cpb_removal_delay_flagは、上記シンタックス要素common_du_cpb_removal_delayが存在することを規定する。
【００７４】
０に等しいcommon_du_cpb_removal_delay_flagは、上記シンタックス要素common_du_cpb_removal_delayが存在しないことを規定する。
【００７５】
common_du_cpb_removal_delayは、以下の通りに情報を規定する。復号化ユニットが上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける第１の復号化ユニットであれば、common_du_cpb_removal_delayは、前のアクセスユニットにおける上記最も近いバッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットにおいて上記最新の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおいて第１の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）。
【００７６】
上記の場合でなければ、common_du_cpb_removal_delayは、上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける前の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）。また、この値は、アネックスＣに規定されるように、上記ＨＳＳ用に上記ＣＰＢに復号化ユニットデータが到着できる最も早い時間を算出するために用いられる。上記シンタックス要素は、ビットで表される長さがcpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。上記common_du_cpb_removal_delayは、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余である。
【００７７】
common_du_cpb_removal_delayを規定する代替的な方法は以下のとおりである。
【００７８】
common_du_cpb_removal_delayは、上記最新の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）。また、この値は、アネックスＣに規定されるように、上記ＨＳＳ用に上記ＣＰＢに復号化ユニットデータが到着できる最も早い時間を算出するために用いられる。上記シンタックス要素は、ビットで表される長さがcpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。上記common_du_cpb_removal_delayは、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余である。
【００７９】
common_du_cpb_removal_delayは、異なる符号化映像シーケンスのアクセスユニットであってもよい、バッファリング期間ＳＥＩメッセージを含む上記前のアクセスユニットにおける第１の復号化ユニットの上記削除時間に対するサブピクチャクロックティックの数を規定するが、上記シンタックス要素common_du_cpb_removal_delayの（ビットで表す）長さを決定するcpb_removal_delay_length_minus1の値は、上記画像タイミングＳＥＩメッセージに関連する上記符号化画像に対してアクティブな上記シーケンスパラメータセットに符号化されたcpb_removal_delay_length_minus1の値である。
【００８０】
num_nalus_in_du_minus1[ i ]＋１は、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットのｉ番目の復号化ユニットにおけるＮＡＬユニットの数を規定する。num_nalus_in_du_minus1[ i ]の値は、０以上PicWidthInCtbs * PicHeightInCtbs - 1以下の範囲にあってもよい。
【００８１】
上記アクセスユニットの上記第１の復号化ユニットは、上記アクセスユニットにおける復号化順序における始めのnum_nalus_in_du_minus1[ 0 ] + 1個の連続するＮＡＬユニットで構成される。上記アクセスユニットの上記ｉ番目（ｉは０より大きい）の復号化ユニットは、復号化順序で上記アクセスユニットの先の復号化ユニットにおける上記最新のＮＡＬユニットの直後に来るnum_nalus_in_du_minus1[ i ] + 1個の連続するＮＡＬユニットで構成される。各復号化ユニットには少なくとも１個のＶＣＬ  ＮＡＬユニットが存在していてもよい。ＶＣＬ  ＮＡＬユニットに関連するすべての非ＶＣＬ ＮＡＬユニットが同じ復号化ユニットに含まれていてもよい。
【００８２】
du_cpb_removal_delay[ i ]は、前のアクセスユニットにおける上記最も近いバッファリング期間ＳＥＩメッセージに関連する上記アクセスユニットにおける上記第１の復号化ユニットを上記ＣＰＢから削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおけるｉ番目の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの数を規定する（ＪＣＴＶＣ−Ｉ１００３のサブクローズＥ．２．１参照）。また、この値は、（例えば、ＪＣＴＶＣ−Ｉ１００３のアネックスＣに規定されるように）上記ＨＳＳ用に上記ＣＰＢに復号化ユニットデータが到着できる最も早い時間を算出するために用いられる。上記シンタックス要素は、ビットで表される長さがcpb_removal_delay_length_minus1 + 1で与えられる固定長の符号である。上記du_cpb_removal_delay[ i ]は、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余である。
【００８３】
du_cpb_removal_delay[ i ]は、異なる符号化映像シーケンスのアクセスユニットであってもよい、バッファリング期間ＳＥＩメッセージを含む上記前のアクセスユニットにおける第１の復号化ユニットの上記削除時間に対するサブピクチャクロックティックの数を規定するが、上記シンタックス要素du_cpb_removal_delay[ i ]の（ビットで表す）長さを決定するcpb_removal_delay_length_minus1の値は、上記画像タイミングＳＥＩメッセージに関連する上記符号化画像に対してアクティブな上記シーケンスパラメータセットに符号化されたcpb_removal_delay_length_minus1の値である。
【００８４】
ある構成において、復号化ユニット削除および復号化ユニットの復号化のタイミングは以下の通りに実装してもよい。
【００８５】
SubPicCpbFlagが０に等しければ、変数CpbRemovalDelay( m )は、復号化ユニットｍである上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおけるcpb_removal_delayの値に設定され、かつ、変数Tcがtcに設定される。上記の場合でなく、SubPicCpbFlagが１に等しく、かつ、common_du_cpb_removal_delay_flagが０であれば、変数CpbRemovalDelay( m )は、復号化ユニットｍを含む上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおいて、復号化ユニットｍ（ｍは０からnum_decoding_units_minus1の範囲で変動する）のdu_cpb_removal_delay[ i ] の値に設定され、かつ、変数Tcがtc_subに設定される。
【００８６】
場合によっては、SubPicCpbFlagが１に等しく、かつ、common_du_cpb_removal_delay_flagが０であれば、変数CpbRemovalDelay( m )は、復号化ユニットｍを含む上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおいて、復号化ユニットｍ（ｍは０からnum_decoding_units_minus1の範囲で変動する）の(m+1)*du_cpb_removal_delay[ i ]の値に設定され、かつ、変数Tcがtc_subに設定される。
【００８７】
上記の場合でなく、SubPicCpbFlagが１に等しく、かつ、common_du_cpb_removal_delay_flagが１であれば、変数CpbRemovalDelay( m )は、復号化ユニットｍを含む上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおいて、復号化ユニットｍのcommon_du_cpb_removal_delayの値に設定され、かつ、変数Tcがtc_subに設定される。
【００８８】
復号化ユニットｍが、ｎが０に等しい上記復号化ユニット（上記ＨＲＤを初期化する上記アクセスユニットの上記第１の復号化ユニット）である場合、上記ＣＰＢからの上記復号化ユニットの上記公称削除時間は、tr,n( 0 ) = InitCpbRemovalDelay[ SchedSelIdx ] / 90000で規定される。
【００８９】
復号化ユニットｍが上記ＨＲＤを初期化しないバッファリング期間の第１のアクセスユニットの上記第１の復号化ユニットである場合、上記ＣＰＢからの上記復号化ユニットの上記公称削除時間は、以下の式で規定される。
tr,n( m ) = tr,n( mb ) + Tc * CpbRemovalDelay( m )、
式中、tr,n(mb)は、先のバッファリング期間の上記第１の復号化ユニットの上記公称削除時間である。
【００９０】
復号化ユニットｍがバッファリング期間の第１の復号化ユニットである場合、mbは、上記復号化ユニットｍの削除時間tr,n( m )でのｍに等しく設定される。バッファリング期間の第１の復号化ユニットではない復号化ユニットｍの上記公称削除時間tr,n( m )は、以下の式で与えられる。
tr,n( m ) = tr,n( mb ) + Tc * CpbRemovalDelay( m )、
式中、tr,n( mb )は、現在のバッファリング期間の上記第１の復号化ユニットの上記公称削除時間である。
【００９１】
復号化ユニットｍの上記削除時間は、以下のように規定される。low_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )であれば、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )により規定される。上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )）、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m ) + Tc * Ceil( ( taf( m ) - tr,n( m ) ) / Tc)で規定される。後者の事例（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズ（b( m )）が非常に大きいので、上記公称削除時間での削除が妨げられることを示す。
【００９２】
他の場合、復号化ユニットｍの上記削除時間は以下のように規定される。low_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )である場合、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )で規定される。上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、上記アクセスユニットにおける最新の復号化ユニットではない復号化ユニットｍの上記削除時間は、tr( m ) = taf( m )で規定され、かつ、上記アクセスユニットにおける最新の復号化ユニットである復号化ユニットｍの上記削除時間はtr( m ) = tr,n( m ) + Tc * Ceil( ( taf( m ) - tr,n( m ) ) / tc)で規定される。後者の事例（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズ（b( m )）が非常に大きいので、上記公称削除時間での削除が妨げられることを示す。
【００９３】
他の場合、復号化ユニットｍの上記削除時間は以下のように規定される。low_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )である場合、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )で規定される。上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、上記アクセスユニットにおける最新の復号化ユニットではない復号化ユニットｍの上記削除時間は、tr( m ) = taf( m )で規定され、かつ、上記アクセスユニットにおける最新の復号化ユニットである復号化ユニットｍの上記削除時間はtr( m ) = tr,n( m ) + tc * Ceil( ( taf( m ) - tr,n( m ) ) /tc)で規定される。後者の事例（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズ（b( m )）が非常に大きいので、上記公称削除時間での削除が妨げられることを示す。
【００９４】
他の場合、復号化ユニットｍの上記削除時間は以下のように規定される。low_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )である場合、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )で規定される。上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、復号化ユニットｍの上記削除時間は、tr( m ) = taf( m )で規定される。後者の事例（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズ（b( m )）が非常に大きいので、上記公称削除時間での削除が妨げられることを示す。
【００９５】
SubPicCpbFlagが１に等しい場合、アクセスユニットｎの公称ＣＰＢ削除時間tr,n( n )は、アクセスユニットｎにおける上記最新の復号化ユニットの公称ＣＰＢ削除時間に設定され、アクセスユニットｎの上記ＣＰＢ削除時間tr( n )は、アクセスユニットｎにおける上記最新の復号化ユニットの上記ＣＰＢ削除時間に設定される。
【００９６】
SubPicCpbFlagが０に等しい場合、各復号化ユニットがアクセスユニットである。したがって、アクセスユニットｎの上記公称ＣＰＢ削除時間および上記ＣＰＢ削除時間は、復号化ユニットｎの上記公称ＣＰＢ削除時間および上記ＣＰＢ削除時間である。
【００９７】
上記復号化ユニットは、復号化ユニットｍのＣＰＢ削除時間に、瞬時に復号化される。
【００９８】
本明細書中に開示される上記システム及び方法に係る画像タイミングＳＥＩメッセージの変形シンタックスおよびセマンティックスの別の例を以下の表２に示す。本明細書中に開示される上記システム及び方法に係る変更は、太字で表示されている。
【００９９】
【表２】
2018164282.tif 000007
【０１００】
表２に示された例は、復号化ユニットを削除する場合に上記ＣＰＢから削除されるべきデータの量を決定するために用いてもよいシンタックス要素（common_num_nalus_in_du_minus1）を含んでいる。common_num_nalus_in_du_minus1＋１は、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットの各復号化ユニットにおけるＮＡＬユニットの数を規定する。common_num_nalus_in_du_minus1の値は、０以上PicWidthInCtbs * PicHeightInCtbs - 1以下の範囲の値であってもよい。
【０１０１】
上記アクセスユニットの上記第１の復号化ユニットは、上記アクセスユニットにおける復号化順序における始めのcommon_num_nalus_in_du_minus1 + 1個の連続するＮＡＬユニットで構成される。上記アクセスユニットの上記ｉ番目（ｉは０より大きい）の復号化ユニットは、復号化順序で上記アクセスユニットの先の復号化ユニットにおける上記最新のＮＡＬユニットの直後に来るcommon_num_nalus_in_du_minus1 + 1個の連続するＮＡＬユニットで構成される。各復号化ユニットには少なくとも１個のＶＣＬ  ＮＡＬユニットが存在していてもよい。ＶＣＬ  ＮＡＬユニットに関連するすべての非ＶＣＬ ＮＡＬユニットが同じ復号化ユニットに含まれていてもよい。
【０１０２】
本明細書中に開示される上記システム及び方法に係る画像タイミングＳＥＩメッセージの変形シンタックスおよびセマンティックスの別の例を以下の表３に示す。本明細書中に開示される上記システム及び方法に係る変更は、太字で表示されている。
【０１０３】
【表３】
2018164282.tif 000008
【０１０４】
表３に示された例は、１に等しい場合に上記シンタックス要素（common_num_nalus_in_du_minus1）が存在することを規定するシンタックス要素（common_num_nalus_in_du_flag）を含んでいる。０に等しいcommon_num_nalus_in_du_flagは、上記シンタックス要素（common_num_nalus_in_du_minus1）が存在しないことを規定する。
【０１０５】
さらに別の実施形態のフラグ（common_du_cpb_removal_delay_flag、common_num_nalus_in_du_minus1）は送信されることはない。代わりに、シンタックス要素（common_num_nalus_in_du_minus1およびcommon_du_cpb_removal_delay）を毎回送信することができる。この場合、これらの要素が信号で伝達されていないことを示すために、これらのシンタックス要素に対して０の値（または他の値）を使うことができる。
【０１０６】
上記画像タイミングＳＥＩメッセージの上記シンタックス要素およびセマンティックスに対する変更に追加して、本システムおよび方法は、サブピクチャに基づくＣＰＢの動作とアクセスユニットレベルのＣＰＢ動作とが同じタイミングでの復号化ユニット削除をもたらすように、ビットストリーム上の制約も実装してもよい。
【０１０７】
sub_pic_cpb_params_present_flagが１に等しく、つまり、サブピクチャレベルCPB削除遅延パラメータが存在する場合、上記ＣＰＢは、アクセスユニットレベルまたはサブピクチャレベルで動作してもよい。０に等しいsub_pic_cpb_params_present_flagは、サブピクチャレベルＣＰＢ削除遅延パラメータが存在せず、上記ＣＰＢがアクセスユニットレベルで動作することを規定する。sub_pic_cpb_params_present_flagが不在の場合、その値は０に等しいと推定される。
【０１０８】
アクセスユニットレベルまたはサブピクチャレベルの両方での動作をサポートするために、以下のビットストリーム上の制約が用いられてもよい。sub_pic_cpb_params_present_flagが１であれば、cpb_removal_delayの値とすべてのｉに対するdu_cpb_removal_delay[i]の値とを信号で伝達する（signalingする）際に以下の制約に従っていることがビットストリーム適合性の要件となる。
【０１０９】
【数３】
2018164282.tif 000009
【０１１０】
式中、du_cpb_removal_delay[i]は上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量であり、iはインデックスである。いくつかの実施形態において、上記制約を満たすために耐性パラメータ（a tolerance parameter）を追加できる。
【０１１１】
アクセスユニットレベルまたはサブピクチャレベルの両方の動作をサポートするために、変数Tdu(k)を以下の通りに定義した、以下のようなビットストリーム上の制約を用いてもよい。
【０１１２】
【数４】
2018164282.tif 000010
【０１１３】
式中、du_cpb_removal_delay_minus1k[ i ]およびnum_decoding_units_minus1kは、ｋ番目のアクセスユニット（上記ＨＲＤを初期化する上記アクセスユニットについてk=0であり、かつ、k<1についてTdu(k)=0である）のＩ番目の復号化ユニットに対するパラメータであり、du_cpb_removal_delay_minus1k[ i ]+1=du_cpb_removal_delay_minus1k[i]は、上記ｋ番目のアクセスユニットの上記Ｉ番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、かつ、num_decoding_units_minus1kは、上記ｋ番目のアクセスユニットにおける復号化ユニットの数であり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、ｉおよびｋはインデックスである。そして、上記画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）が１に設定されている場合、以下の制約が真である。
(au_cpb_removal_delay_minus1 + 1)*tc == Tdu(k)、
式中、(au_cpb_removal_delay_minus1 + 1)=cpb_removal_delay、つまり、上記ＣＰＢ削除遅延である。したがって、この場合、上記ＣＰＢ削除遅延(au_cpb_removal_delay_minus1 + 1)は、サブピクチャに基づくＣＰＢの動作とアクセスユニットに基づくＣＰＢの動作とが同じタイミングでのアクセスユニット削除および上記アクセスユニットの最新の復号化ユニット削除をもたらすように設定される。
【０１１４】
アクセスユニットレベルまたはサブピクチャレベルの両方での動作をサポートするために、以下のビットストリーム上の制約が用いられてもよい。sub_pic_cpb_params_present_flagが１であれば、cpb_removal_delayの値とすべてのｉに対するdu_cpb_removal_delay[i]の値とを信号で伝達する際に以下の制約に従っていることがビットストリーム適合性の要件となる。
【０１１５】
【数５】
2018164282.tif 000011
【０１１６】
式中、du_cpb_removal_delay[i]は上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量であり、iはインデックスである。
【０１１７】
アクセスユニットレベルまたはサブピクチャレベルの両方での動作をサポートするために、以下のビットストリーム上の制約が用いられてもよい。sub_pic_cpb_params_present_flagが１であれば、cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]の値を信号で伝達する際に以下の制約に従っていることがビットストリーム適合性の要件となる。
cpb_removal_delay*tc = du_cpb_removal_delay[num_decoding_units_minus1]* tc,sub、
式中、du_cpb_removal_delay[num_decoding_units_minus1]は「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量である。いくつかの実施形態において、上記制約を満たすために耐性パラメータを追加できる。
【０１１８】
アクセスユニットレベルまたはサブピクチャレベルの両方での動作をサポートするために、以下のビットストリーム上の制約が用いられてもよい。sub_pic_cpb_params_present_flagが１であれば、cpb_removal_delayおよびすべてのｉに対するdu_cpb_removal_delay[i]の値を信号で伝達する際に以下の制約に従っていることがビットストリーム適合性の要件となる。
-1<=(cpb_removal_delay*tc - du_cpb_removal_delay[num_decoding_units_minus1]* tc,sub) <=1、
式中、du_cpb_removal_delay[num_decoding_units_minus1]は「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量である。
【０１１９】
更に、本発明のシステムおよび方法は、復号化ユニット削除のタイミングを変更してもよい。サブピクチャレベルＣＰＢ削除遅延パラメータが存在する場合、「大画像」（low_delay_hrd_flagが１であり、かつ、tr,n( m ) < taf( m )である場合）に対する復号化ユニットの上記削除時間は、クロックティック計数器およびサブピクチャクロックティック計数器に起因して発生する可能性がある差を補償するように変更されてもよい。
【０１２０】
sub_pic_cpb_params_present_flagが１に等しい場合、サブピクチャレベルＣＰＢ削除遅延パラメータが存在し、上記ＣＰＢは、アクセスユニットレベルまたはサブピクチャレベルで動作してもよい。０に等しいsub_pic_cpb_params_present_flagは、サブピクチャレベルＣＰＢ削除遅延パラメータが存在せず、上記ＣＰＢがアクセスユニットレベルで動作することを規定する。sub_pic_cpb_params_present_flagが存在しない場合、その値は、０に等しいと推定される。
【０１２１】
具体的には、以下に復号化ユニット削除のタイミングと復号化ユニットの復号化の実装の一例を挙げる。変数SubPicCpbPreferredFlagは、外部手段によって規定されるか、または、外部手段によって規定されない場合は、０に設定される。変数SubPicCpbFlagは、SubPicCpbFlag = SubPicCpbPreferredFlag  &&  sub_pic_cpb_params_present_flagで導かれる。SubPicCpbFlagが０に等しければ、上記ＣＰＢはアクセスユニットレベルで動作し、各復号化ユニットはアクセスユニットである。SubPicCpbFlagが０に等しくなければ、上記ＣＰＢは、サブピクチャレベルで動作し、各復号化ユニットは、アクセスユニットの部分集合である。
【０１２２】
SubPicCpbFlagが０に等しければ、変数CpbRemovalDelay( m )は、復号化ユニットｍである上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおけるcpb_removal_delayの値に設定され、変数Tcはtcに設定される。SubPicCpbFlagが０に等しくなければ、上記変数CpbRemovalDelay( m )は、復号化ユニットｍを含む上記アクセスユニットに関連する上記画像タイミングＳＥＩメッセージにおける復号化ユニットｍのdu_cpb_removal_delay[ i ]の値に設定され、かつ、変数Tcがtc_subに設定される。
【０１２３】
復号化ユニットｍが、ｎが０に等しい上記復号化ユニット（上記ＨＲＤを初期化する上記アクセスユニットの上記第１の復号化ユニット）である場合は、上記ＣＰＢからの上記復号化ユニットの上記公称削除時間が、
tr,n( 0 ) = InitCpbRemovalDelay[ SchedSelIdx ] / 90000
により規定される。
【０１２４】
復号化ユニットｍが、上記ＨＲＤを初期化しないバッファリング期間の第１のアクセスユニットの第１の復号化ユニットである場合、上記ＣＰＢからの上記復号化ユニットの上記公称削除時間は、以下により規定される。
tr,n( m ) = tr,n( mb ) + Tc * CpbRemovalDelay( m )、
式中、tr,n(mb)は、上記先のバッファリング期間の上記第１の復号化ユニットの上記公称削除時間である。
【０１２５】
復号化ユニットｍがバッファリング期間の第１の復号化ユニットである場合、mbは、上記復号化ユニットｍの上記削除時間tr,n( m )におけるｍに等しくなるように設定される。
【０１２６】
バッファリング期間の第１の復号化ユニットではない復号化ユニットｍの上記公称削除時間tr,n( m )は、以下の式で与えられる。
tr,n( m ) = tr,n( mb ) + Tc * CpbRemovalDelay( m )、
式中、tr,n(mb)は、現在のバッファリング期間の第１の復号化ユニットの上記公称削除時間である。
【０１２７】
復号化ユニットｍの上記削除時間は、以下のように規定される。変数ClockDiffは、ClockDiff = (num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1)) / time_scale)と定義される。ある場合において、以下の式を満たすように、パラメータnum_units_in_tick、num_units_in_sub_tick、num_decoding_units_minus1が信号で伝達されることがビットストリーム適合性の要件となっていてもよい。
(num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1))) >=0
別の場合において、以下の式を満たすように、パラメータnum_units_in_tick、num_units_in_sub_tick、num_decoding_units_minus1が信号で伝達されることがビットストリーム適合性の要件となってもよい。
(num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1))) <=0
もしlow_delay_hrd_flagが０に等しい、または、tr,n( m ) >= taf( m )ならば、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m )で規定される。
【０１２８】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、sub_pic_cpb_params_present_flagが１に等しく、上記ＣＰＢがサブピクチャレベルで動作する場合に、ClockDiffがゼロより大きければ、上記アクセスユニットｎの最新の復号化ユニットである場合の復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m ) + Tc * Ceil( ( taf( m ) - tr,n( m ) ) / Tc) + ClockDiffで規定される。
【０１２９】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、sub_pic_cpb_params_present_flagが１に等しく、上記ＣＰＢがアクセスユニットレベルで動作する場合に、ClockDiffがゼロより小さければ、アクセスユニットｎの上記削除時間は、tr( m ) = tr,n( m ) + tc * Ceil( ( taf( m ) - tr,n( m ) ) / tc  ) - ClockDiffで規定される。
【０１３０】
上記の場合でなければ（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、復号化ユニットｍの上記削除時間は、tr( m ) = tr,n( m ) + Tc * Ceil( ( taf( m ) - tr,n( m ) ) / Tc)で規定される。後者の場合（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）は、復号化ユニットｍのサイズb( m )が非常に大きく、上記公称削除時間での削除が妨げられることを示す。
【０１３１】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍの削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、(tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc )))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
【０１３２】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( n ) < taf( n )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎの削除時間tr( n )は、以下の式によって設定される。
tr( n ) = tr,n( n ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub )), (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc)))、
式中、tr,n( m )は、上記最新の復号化ユニットｎの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
【０１３３】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍの削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc ))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
【０１３４】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( n ) < taf( n )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎの削除時間tr( n )は、以下の式によって設定される。
tr( n ) = tr,n( n ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc ))、
式中、tr,n( m )は、上記最新の復号化ユニットｎの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
【０１３５】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、上記アクセスユニットの最新の復号化ユニットではない復号化ユニットの削除時間は、tr( m ) = taf( m )（式中、taf( m )は、復号化ユニットｍの最終到着時間である）として設定される。そして、アクセスユニットの最新の復号化ユニットｍの削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける最新の復号化ユニットｍの最終到着時間である。
【０１３６】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、上記アクセスユニットの最新の復号化ユニットではない復号化ユニットの削除時間は、tr( m ) = taf( m )（式中、taf( m )は、復号化ユニットｍの最終到着時間である）として設定される。そして、アクセスユニットの最新の復号化ユニットｍの削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( m ) - tr,n( m ) ) / tc ))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける最新の復号化ユニットｍの最終到着時間である。
【０１３７】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( m ) < taf( m )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作している場合、上記復号化ユニットの削除時間は、以下の式として設定される。
tr( m ) = taf( m )、
式中、tr,n( m )は、上記復号化ユニットｍの上記公称削除時間であり、tc_suｂは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける上記復号化ユニットｍの最終到着時間である。
【０１３８】
上記の場合でなく（low_delay_hrd_flagが１に等しく、かつ、tr,n( n ) < taf( n )である）、かつ、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎの削除時間tr( n )は、以下の式によって設定される。
tr( n ) = taf( n )、
式中、tr,n( m )は、上記最新の復号化ユニットｎの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間である。
【０１３９】
SubPicCpbFlagが１に等しい場合、アクセスユニットｎの上記公称ＣＰＢ削除時間tr,n( n )は、アクセスユニットｎにおける最新の復号化ユニットの上記公称ＣＰＢ削除時間に設定され、アクセスユニットｎの上記ＣＰＢ削除時間tr( n )は、アクセスユニットｎにおける上記最新の復号化ユニットの上記ＣＰＢ削除時間に設定される。
【０１４０】
SubPicCpbFlagが０に等しい場合、各復号化ユニットはアクセスユニットである。よって、アクセスユニットｎの上記公称ＣＰＢ削除時間および上記ＣＰＢ削除時間は、復号化ユニットｎの上記公称ＣＰＢ削除時間および上記ＣＰＢ削除時間である。上記復号化ユニットは、復号化ユニットｍのＣＰＢ削除時間に、瞬時に復号化される。
【０１４１】
上の記述に示されるように、本明細書中に開示される上記システム及び方法は、サブピクチャに基づくパラメータを伝える画像タイミングＳＥＩメッセージのビットストリームを変更するシンタックスおよびセマンティックスを実現する。いくつかの構成において、本明細書中に開示される上記システム及び方法をＨＥＶＣ仕様に適用してもよい。
【０１４２】
便宜上、本明細書中に開示される上記システム及び方法に適用できるいくつかの定義が以下の通り与えられる。ランダムアクセスポイントは、現在の画像および出力順において、前記現在の画像の後にくる全画像を復号化するために、ビットストリームの復号化が上記ランダムアクセスポイントに先行するビットストリームにおけるどのポイントへのアクセスをも必要としない場合のデータストリーム（例：上記ビットストリーム）における任意のポイントであってもよい。
【０１４３】
バッファリング期間は、復号化順序における上記バッファリング期間ＳＥＩメッセージにおける２つのインスタンス間のアクセスユニットのセットとして規定されてもよい。付加エンハンスメント情報（ＳＥＩ）は、ＶＣＬ  ＮＡＬユニットからの符号化画像のサンプルを復号化するために必要とされない情報を含んでいてもよい。ＳＥＩメッセージは、復号化、表示、あるいは、その他目的に関係する手順において役に立つものであってもよい。適合する復号装置は、ＨＥＶＣ仕様（例えば、ＨＥＶＣ仕様のアネックスＣ（ＪＣＴＶＣ−Ｉ１００３）は、適合仕様を含んでいる）へ出力順を適合させる目的でこの情報を処理することを求められることはない。あるＳＥＩメッセージ情報が、ビットストリームの適合性を確認するため、および、出力タイミングに関する復号装置の適合を確認するために用いられてもよい。
【０１４４】
バッファリング期間ＳＥＩメッセージは、バッファリング期間に関連するＳＥＩメッセージであってもよい。画像タイミングＳＥＩメッセージは、ＣＰＢの削除時間に関連するＳＥＩメッセージであってもよい。これらのメッセージは、ビットストリームの到着時間および符号化画像の削除時間を定義するシンタックスおよびセマンティックスを定義してもよい。
【０１４５】
符号化画像バッファ（ＣＰＢ）は、仮想参照復号装置（ＨＲＤ）において規定される復号化順序でアクセスユニットを含む先入先出バッファであってもよい。アクセスユニットは、復号化順序で連続するネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットであってもよく、厳密に一つの符号化画像を含んでいてもよい。上記符号化画像の符号化スライスのＮＡＬユニットに加えて、上記アクセスユニットは、上記符号化画像のスライスを含んでいない他のＮＡＬユニットも含んでいてもよい。アクセスユニットの復号化は、常に、復号化画像をもたらす。ＮＡＬユニットは、続くデータのタイプの表示を含むシンタックス構造およびエミュレーション防止バイトと共に必要に応じて組み入れられるローバイトシーケンスペイロードの形式のそのデータを含むバイトであってもよい。
【０１４６】
本明細書中に用いられる、用語「共通」は、通常、一つ以上のものに適用可能なシンタックス要素または変数を指す。例えば、画像タイミングＳＥＩメッセージにおけるシンタックス要素の内容において、用語「共通（ｃｏｍｍｏｎ）」は、上記シンタックス要素（例：common_du_cpb_removal_delay）が上記画像タイミングＳＥＩメッセージに関連するアクセスユニットにおける全復号化ユニットに適用できることを意味していてもよい。さらに、「ｎ」および「ｍ」で記載されるデータのユニットは、通常、それぞれ、アクセスユニットおよび復号化ユニットを指す。
【０１４７】
類似する符号が機能上類似する構成要素を示す図面を参照して、以下に、様々な構成を記載する。本明細書において概要を記載され、図に示される上記システムおよび方法は、幅広く様々に異なる構成にして、設計することが可能である。よって、図面に表されるようないくつかの構成の以下のより詳細な記載は、請求の範囲を限定するものではなく、上記システムおよび方法の単に代表的なものである。
【０１４８】
図１Ａは、メッセージを送信し、ビットストリームをバッファリングするためのシステムおよび方法を実装できる一つ以上の電子装置１０２の例を示すブロック図である。この例において、電子装置Ａ１０２ａおよび電子装置Ｂ１０２ｂが示される。ここで、電子装置Ａ１０２ａおよび電子装置Ｂ１０２ｂに関して記載される特徴および機能性の一つ以上のものは、いくつかの構成において、一つの電子装置に一体化されてもよいことに注意すべきである。
【０１４９】
電子装置Ａ１０２ａは、符号化装置１０４を含んでいる。上記符号化装置１０４は、メッセージ生成モジュール１０８を含んでいる。電子装置Ａ１０２ａの中に含まれる各構成要素（例：上記符号化装置１０４および上記メッセージ生成モジュール１０８）は、ハードウェア、ソフトウェア、または、両者の組み合わせで実装してもよい。
【０１５０】
電子装置Ａ１０２ａは、一つ以上の入力画像１０６を取得してもよい。いくつかの構成において上記入力画像１０６は、画像センサを用いて電子装置Ａ１０２ａで取得、メモリから取得、および/または、他の電子装置から取得してもよい。
【０１５１】
上記符号化装置１０４は、符号化データを作り出すために、上記入力画像１０６を符号化してもよい。例えば、上記符号化装置１０４は、一連の入力画像１０６（例：映像）を符号化してもよい。ある構成において、上記符号化装置１０４は、ＨＥＶＣ符号化装置であってもよい。上記符号化データは、デジタルデータ（例：ビットストリーム１１４の一部）であってもよい。上記符号化装置１０４は、入力信号に基づき、オーバーヘッドシグナリングを発生させてもよい。
【０１５２】
上記メッセージ生成モジュール１０８は、一つ以上のメッセージを生成してもよい。例えば、上記メッセージ生成モジュール１０８は、一つ以上のＳＥＩメッセージまたは他のメッセージを生成してもよい。サブピクチャレベルの動作をサポートするＣＰＢに対して、上記電子装置１０２は、サブピクチャパラメータ（例：ＣＰＢ削除遅延パラメータ）を送信してもよい。具体的には、上記電子装置１０２（例：上記符号化装置１０４）は、画像タイミングＳＥＩメッセージに共通復号化ユニットＣＰＢ削除遅延パラメータを含むかどうかを決定してもよい。例えば、上記符号化装置１０４が上記画像タイミングＳＥＩメッセージに共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を含んでいる場合、上記電子装置は、フラグ（例：common_du_cpb_removal_delay_flag）を１に設定してもよい。上記共通復号化ユニットＣＰＢ削除遅延パラメータが含まれる場合、上記電子装置は、アクセスユニットにおける全復号化ユニットに適用できる上記共通復号化ユニットＣＰＢ削除遅延パラメータを生成してもよい。すなわち、アクセスユニットにおける復号化ユニットごとに復号化ユニットＣＰＢ削除遅延パラメータを含むよりも、共通パラメータが、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットにおける全復号化ユニットに適用されてもよい。
【０１５３】
一方、上記画像タイミングＳＥＩメッセージに上記共通復号化ユニットＣＰＢ削除遅延パラメータが含まれるべきでない場合、上記電子装置１０２は、上記画像タイミングＳＥＩメッセージが関連する上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延を発生してもよい。メッセージ生成モジュール１０８は、以下の図２および図３に関連して記載される手順のうちの一つ以上を実行してもよい。
【０１５４】
いくつかの構成において、電子装置Ａ１０２ａは、ビットストリーム１１４の一部として電子装置Ｂ１０２ｂに上記メッセージを送信してもよい。いくつかの構成において、電子装置Ａ１０２ａは、別の伝送１１０で上記メッセージを電子装置Ｂ１０２ｂに送信してもよい。例えば、上記別の伝送は、ビットストリーム１１４の一部でなくてもよい。例えば、画像タイミングＳＥＩメッセージまたは他のメッセージは、ある帯域外機構を用いて送信してもよい。いくつかの構成において、他のメッセージが、上に記載の画像タイミングＳＥＩメッセージの特徴の一つ以上を含んでいてもよい。さらに、一つ以上の態様において、上記他のメッセージを上に記載のＳＥＩメッセージと同様に利用してもよいことに注意すべきである。
【０１５５】
上記符号化装置１０４（および、例えば、メッセージ生成モジュール１０８）は、ビットストリーム１１４を作り出してもよい。上記ビットストリーム１１４は、上記入力画像１０６に基づく符号化画像データを含んでいてもよい。いくつかの構成において、上記ビットストリーム１１４は、画像タイミングＳＥＩメッセージまたは他のメッセージ、スライスヘッダー、ＰＰＳなどのオーバーヘッドデータを含んでいてもよい。追加入力画像１０６が符号化される時に、上記ビットストリーム１１４は、一つ以上の符号化画像を含んでもよい。例えば、上記ビットストリーム１１４は、対応するオーバーヘッドデータ（例：画像タイミングＳＥＩメッセージまたは他のメッセージ）と共に一つ以上の符号化画像を含んでいてもよい。
【０１５６】
上記ビットストリーム１１４は、復号装置１１２に与えられてもよい。一例において、上記ビットストリーム１１４は、有線または無線リンクを用いて、電子装置Ｂ１０２ｂへ伝送してもよい。いつくかの場合において、これはインターネットまたはローカルエリア・ネットワーク（ＬＡＮ）のようなネットワーク上で行われてもよい。図１Ａに示されるように、上記復号装置１１２は、電子装置Ａ１０２ａの上記符号化装置１０４とは別に、電子装置Ｂ１０２ｂで実装してもよい。ここで、いくつかの構成において、上記符号化装置１０４と復号装置１１２とが、同じ電子装置に実装されてもよいことに注意すべきである。上記符号化装置１０４および復号装置１１２が同じ電子装置で実装されるように実施する場合、例えば、上記ビットストリーム１１４は、上記復号装置１１２へバスを経由して与えられてもよいし、上記復号装置１１２により取得されるようにメモリに保存されていてもよい。
【０１５７】
上記復号装置１１２は、ハードウェア、ソフトウェア、または、両者の組み合わせにより実装してもよい。ある構成において、上記復号装置１１２は、ＨＥＶＣ復号装置であってもよい。上記復号装置１１２は、上記ビットストリーム１１４を受信（例：取得）してもよい。上記復号装置１１２は、上記ビットストリーム１１４に基づいて一つ以上の復号化画像１１８を生成してもよい。上記復号化画像１１８の表示、再生、メモリ保存、他の装置への伝送などのうちいずれか一つ以上をしてもよい。
【０１５８】
上記復号装置１１２は、ＣＰＢ１２０を含んでいてもよい。上記ＣＰＢ１２０は、符号化画像を一時的に保存してもよい。上記ＣＰＢ１２０は、いつデータを削除するかを決定するために、画像タイミングＳＥＩメッセージにおいて見つけられるパラメータを用いてもよい。上記ＣＰＢ１２０がサブピクチャレベルの動作をサポートする場合、一度にアクセスユニット全体が削除されるのではなく、個別の復号化ユニットが削除されてもよい。上記復号装置１１２は、復号化画像バッファ（ＤＰＢ）１２２を含んでいてもよい。各復号化画像は、出力およびクロッピングのためだけでなく、復号化処理の参照用に上記ＤＰＢ１２２に配置される。復号化画像は、ＤＰＢ出力時間の後半に、または、インター予測参照用に必要とされなくなった時に、上記ＤＰＢから削除される。
【０１５９】
上記復号装置１１２は、メッセージ（例：画像タイミングＳＥＩメッセージまたは他のメッセージ）を受信してもよい。さらに、上記復号装置１１２は、上記受信したメッセージが共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を含んでいるかを判定してもよい。これの判定には、上記画像タイミングＳＥＩメッセージに上記共通パラメータが存在する場合に設定されるフラグ（例：common_du_cpb_removal_delay_flag）を識別する工程が含まれていてもよい。上記共通パラメータが存在すれば、上記復号装置１１２は上記アクセスユニットにおける全復号化ユニットに適用可能な上記共通復号化ユニットＣＰＢ削除遅延パラメータを決定できる。上記共通パラメータが存在しなければ、上記復号装置１１２は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータを決定してもよい。さらに、上記復号装置１１２は、上記共通復号化ユニットＣＰＢ削除遅延パラメータまたは上記別の復号化ユニットＣＰＢ削除遅延パラメータを用いて、上記ＣＰＢ１２０から復号化ユニットを削除してもよい。上記ＣＰＢ１２０は、以下の図４および図５に関係して記載される手順のうちの一つ以上を実行してもよい。
【０１６０】
上に記載されたＨＲＤは、図１Ａに示される上記復号装置１１２の一例であってもよい。よって、いくつかの構成において、電子装置１０２は、上記のＨＲＤ、ＣＰＢ１２０およびＤＰＢ１２２に基づいて動作してもよい。
【０１６１】
上記電子装置１０２に含まれる構成要素またはその部分の一つ以上がハードウェアで実装されてもよいことに注意すべきである。例えば、これらの構成要素またはその部分の一つ以上が、チップ、電気回路またはハードウェア部品などとして実装されていてもよい。本明細書において記載される上記機能および方法の一つ以上が、ハードウェアを用いて実装、および／または、実行されてもよいことにも注意をすべきである。例えば、本明細書において記載される上記方法のうちの一つ以上が、チップセット、特定用途向け集積回路（ＡＳＩＣ）、大規模集積回路（ＬＳＩ）または集積回路等として実装、および／または、それらを用いて実現されてもよい。
【０１６２】
図１Ｂは、符号化装置１９０８および復号装置１９７２の別の例を示すブロック図である。本例において、電子装置Ａ１９０２および電子装置Ｂ１９７０が示される。しかし、いくつかの構成において、電子装置Ａ１９０２および電子装置Ｂ１９７０に関連して記載される特徴および機能性は、一つの電子装置に一体化されていてもよいことに注意すべきである。
【０１６３】
電子装置Ａ１９０２は、上記符号化装置１９０８を含んでいる。上記符号化装置１９０８は、ベースレイヤ符号化装置１９１０およびエンハンスメントレイヤ符号化装置１９２０を含んでいてもよい。上記映像符号化装置１９０８は、後述するように、スケーラブル映像符号化およびマルチビュー映像符号化に適している。上記符号化装置１９０８は、ハードウェア、ソフトウェア、または、両者の組み合わせにより実装されていてもよい。ある構成において、上記符号化装置１９０８は、高効率映像符号化方式（ＨＥＶＣ）符号化装置であり、スケーラブルおよび／またはマルチビューを含んでいてもよい。別の符号化装置を同様に用いてもよい。電子装置Ａ１９０２は、ソース１９０６を取得してもよい。いくつかの構成において、上記ソース１９０６は、画像センサを用いて電子装置Ａ１９０２で取得、メモリから取得、または、別の電子装置から受信してもよい。
【０１６４】
上記符号化装置１９０８は、ベースレイヤビットストリーム１９３４およびエンハンスメントレイヤビットストリーム１９３６を作り出すために、上記ソース１９０６を符号化してもよい。例えば、上記符号化装置１９０８は、上記ソース１９０６における一連の画像（例：映像）を符号化してもよい。特に、品質スケーラビリティとしても知られるＳＮＲスケーラビリティに関するスケーラブル映像符号化の目的で、同じソース１９０６を上記ベースレイヤおよび上記エンハンスメントレイヤ符号化装置に与えてもよい。特に、空間スケーラビリティのスケーラブル映像符号化の目的で、ダウンサンプルしたソースを上記ベースレイヤ符号化装置に使用してもよい。特に、マルチビュー符号化の目的で、異なるビューソースを上記ベースレイヤ符号化装置および上記エンハンスメントレイヤ符号化装置に使用してもよい。上記符号化装置１９０８は、図６Ｂに関連して後述する符号化装置１７８２に似ていてもよい。
【０１６５】
上記ビットストリーム１９３４、１９３６は、上記ソース１９０６に基づく符号化画像データを含んでいてもよい。いくつかの構成において、上記ビットストリーム１９３４、１９３６は、スライスヘッダー情報やＰＰＳ情報などのようなオーバーヘッドデータも含んでいてもよい。上記ソース１９０６における追加画像が符号化される時に、上記ビットストリーム１９３４、１９３６は、一つ以上の符号化画像を含んでもよい。
【０１６６】
上記ビットストリーム１９３４、１９３６は、上記復号装置１９７２に与えられてもよい。上記復号装置１９７２は、ベースレイヤ復号装置１９８０およびエンハンスメントレイヤ復号装置１９９０を含んでいてもよい。上記映像復号装置１９７２は、スケーラブル映像復号化およびマルチビュー映像復号化に適している。一例において、上記ビットストリーム１９３４、１９３６は、有線または無線リンクを用いて、電子装置Ｂ１９７０に伝送されてもよい。いくつかの場合、これの伝送は、インターネットまたはローカルエリア・ネットワーク（ＬＡＮ）のようなネットワーク上で行われてもよい。図１Ｂに示すように、上記復号装置１９７２は、電子装置Ａ１９０２の上記符号化装置１９０８とは別に電子装置Ｂ１９７０に実装されてもよい。ここで、いくつかの構成において、上記符号化装置１９０８および復号装置１９７２が同じ電子装置に実装されていてもよいことに注意すべきである。上記符号化装置１９０８と復号装置１９７２とが同じ電子装置に実装されるように実施する場合、例えば、上記ビットストリーム１９３４、１９３６は、上記復号装置１９７２へバスを経由して与えられてもよいし、上記復号装置１９７２により取得されるようにメモリに保存されていてもよい。上記復号装置１９７２は、出力として、復号化ベースレイヤ１９９２および復号化エンハンスメントレイヤ画像１９９４を供給してもよい。
【０１６７】
上記復号装置１９７２は、ハードウェア、ソフトウェア、または両者の組み合わせにより実装してもよい。ある構成において、上記復号装置１９７２は、高効率映像符号化方式（ＨＥＶＣ）復号装置であり、スケーラブルおよび／またはマルチビューを含んでいてもよい。別の復号装置を同様に用いてもよい。上記復号装置１９７２は、図７Ｂに関連して後述する復号装置１８１２に類似するものであってもよい。また、上記ベースレイヤ符号化装置および／または上記エンハンスメントレイヤ符号化装置のそれぞれが、図１Ａに関連して記載されたもののような、メッセージ生成モジュールを含んでいてもよい。また、上記ベースレイヤ復号装置および／または上記エンハンスメントレイヤ復号装置は、図１Ａに関連して記載されたもののような符号化画像バッファおよび／または復号化画像バッファを含んでいてもよい。さらに、図１Ｂの上記電子装置は、適用できる場合、図１Ａの上記電子装置の機能に基づいて動作してもよい。
【０１６８】
図２は、メッセージを送信するための方法２００の一構成を示すフローチャートである。上記方法２００は、符号化装置１０４またはその副部品の一つ（例：メッセージ生成モジュール１０８）によって実行してもよい。上記符号化装置１０４は、ＣＰＢ１２０がサブピクチャレベルの動作をサポートするかどうかを示す画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）を決定してもよい（２０２）。例えば、上記画像タイミングフラグが１に設定されている場合、上記ＣＰＢ１２０は、アクセスユニットレベルまたはサブピクチャレベルで動作してもよい。上記画像タイミングフラグが１に設定されている場合であっても、上記サブピクチャレベルで実際に動作するかの決定は上記復号装置１１２自体に委ねられることに注意すべきである。
【０１６９】
また、上記符号化装置１０４は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定してもよい（２０４）。例えば、上記符号化装置１０４が、上記ＣＰＢ１２０からの上記アクセスユニットにおける全復号化ユニットに適用可能な一つの共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を決定してもよい。あるいは、上記符号化装置１０４は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延（例：du_cpb_removal_delay[i]）を決定してもよい。
【０１７０】
さらに上記符号化装置１０４は、上記アクセスポイントにおける各復号化ユニット内のＮＡＬユニットの１でオフセットされる量を示す一つ以上のＮＡＬパラメータを決定してもよい（２０６）。例えば、上記符号化装置１０４は、上記ＣＰＢ１２０からの上記アクセスユニットにおける全復号化ユニットに適用可能な一つの共通ＮＡＬパラメータ（例：common_num_nalus_in_du_minus1）を決定してもよい。あるいは、上記符号化装置１０４は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延（例：num_nalus_in_du_minus1[i]）を決定してもよい。
【０１７１】
また、上記符号化装置１０４は、上記画像タイミングフラグ、上記削除遅延および上記ＮＡＬパラメータを含む画像タイミングＳＥＩメッセージを送付してもよい（２０８）。また、上記画像タイミングＳＥＩメッセージは、他のパラメータ（例：cpb_removal_delay、dpb_output_delayなど）も含んでいてもよい。例えば、上記電子装置１０２は、一つ以上の無線伝送、有線伝送、デバイスバス、ネットワークなどを経由して上記メッセージを伝送してもよい。例えば、電子装置Ａ１０２ａは、上記メッセージを電子装置Ｂ１０２ｂへ送信してもよい。上記メッセージは、例えば、上記ビットストリーム１１４の一部であってもよい。いくつかの構成において、電子装置Ａ１０２ａは、（上記ビットストリーム１１４の一部ではない）別の伝送１１０で上記メッセージを電子装置Ｂ１０２ｂへ送信してもよい（２０８）。
【０１７２】
例えば、上記メッセージは、ある帯域外機構を用いて送信されてもよい。ある場合においては、２０４、２０６で示される上記情報は画像タイミングＳＥＩメッセージとは異なるＳＥＩメッセージで送信されてもよい。さらに別の場合、２０４、２０６に示される上記情報は、パラメータセット（例えば、映像パラメータセットおよび／またはシーケンスパラメータセットおよび／または画像パラメータセット および／または適応パラメータセットおよび／またはスライスヘッダー）で送信されてもよい。
【０１７３】
図３は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定する方法３００の一構成を示すフローチャートである。すなわち、図３に示される上記方法３００は、図２に示される上記方法２００におけるステップ２０４をさらに図示するものであってもよい。上記方法３００は、符号化装置１０４により実行してもよい。上記符号化装置１０４は、共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を含むかどうかを決定してもよい（３０２）。
【０１７４】
この決定は、共通復号化ユニットＣＰＢ削除遅延フラグ（例：common_du_cpb_removal_delay_flag）が設定されているかどうかを判定する工程を含んでいてもよい。上記復号化ユニットが上記ＣＰＢから定期的に削除される場合、符号化装置１０４はこの共通パラメータを送信してもよい。この場合とは、例えば、各復号化ユニットが画像の一定数の行に対応する場合、または、他の規則的な構造を有する場合であってもよい。
【０１７５】
例えば、上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージに含まれるべきである場合、上記共通復号化ユニットＣＰＢ削除遅延フラグを１に設定してもよく、上記共通復号化ユニットＣＰＢ削除遅延パラメータが上記画像タイミングＳＥＩメッセージに含まれるべきでない場合、上記共通復号化ユニットＣＰＢ削除遅延フラグを０に設定してもよい。Ｙｅｓ（例：フラグが１に設定されている）であれば、上記符号化装置１０４は、アクセスユニットにおける全復号化ユニットに適用可能な共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を決定してもよい（３０４）。Ｎｏ（例：フラグが０に設定されている）であれば、上記符号化装置１０４は、アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータ（例：du_cpb_removal_delay[i]）を決定してもよい（３０６）。
【０１７６】
共通復号化ユニットＣＰＢ削除遅延パラメータが画像タイミングＳＥＩメッセージに存在するのであれば、共通復号化ユニットＣＰＢ削除遅延パラメータは、直前の復号化ユニットを上記ＣＰＢ１２０から削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢ１２０から削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
【０１７７】
例えば、復号化ユニットが第１のアクセスユニットにおける第１の復号化ユニットである場合、上記共通復号化ユニットＣＰＢ１２０の削除遅延パラメータは、前のアクセスユニットにおける最も近いバッファリング期間ＳＥＩメッセージに関連するアクセスユニットにおける最新の復号化ユニットを上記ＣＰＢ１２０から削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける上記第１の復号化ユニットを上記ＣＰＢ１２０から削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
【０１７８】
上記復号化ユニットがアクセスユニットにおける第１の復号化ユニットではない場合、上記共通復号化ユニットＣＰＢ削除遅延パラメータは、上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける前の復号化ユニットを上記ＣＰＢ１２０から削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおける現在の復号化ユニットを上記ＣＰＢから削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。
【０１７９】
逆に、共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）が、画像タイミングＳＥＩメッセージにおいて送付されない場合、別の復号化ユニットＣＰＢ削除遅延パラメータ（例：du_cpb_removal_delay[i]）がアクセスユニットにおける復号化ユニットごとの上記画像タイミングＳＥＩメッセージに含まれていてもよい。上記復号化ユニットＣＰＢ削除遅延パラメータ（例：du_cpb_removal_delay[i]）は、上記最新の復号化ユニットを上記ＣＰＢ１２０から削除した後から上記画像タイミングＳＥＩメッセージに関連する上記アクセスユニットにおけるｉ番目の復号化ユニットを上記ＣＰＢ１２０から削除するまでに待つべきサブピクチャクロックティックの量を規定してもよい。上記復号化ユニットＣＰＢ削除遅延パラメータは、モジュロ２(cpb_removal_delay_length_minus1 + 1)計数器の剰余（cpb_removal_delay_length_minus1 + 1は共通復号化ユニットＣＰＢ削除遅延パラメータの長さである）によって算出されてもよい。
【０１８０】
図４は、ビットストリームをバッファリングする方法４００の一構成を示すフローチャートである。上記方法４００は、電子装置１０２（例：電子装置Ｂ１０２ｂ）における復号装置１１２により実行されてもよく、この電子装置１０２は、メッセージ（例：画像タイミングＳＥＩメッセージまたは他のメッセージ）を受信してもよい（４０２）。例えば、上記電子装置１０２は、無線伝送、有線伝送、デバイスバス、ネットワークなどのうちの一つ以上を経由して上記メッセージを受信してもよい（４０２）。例えば、電子装置Ｂ１０２ｂは、電子装置Ａ１０２ａから上記メッセージを受信してもよい（４０２）。上記メッセージは、例えば、上記ビットストリーム１１４の一部であってもよい。別の例において、電子装置Ｂ１０２ｂは、（例えば、上記ビットストリーム１１４の一部ではない）別の伝送１１０において、上記メッセージを電子装置Ａ１０２から上記メッセージを受信してもよい。例えば、上記画像タイミングＳＥＩメッセージは、ある帯域外機構を用いて受信されてもよい。いくつかの構成において、上記メッセージは、画像タイミングフラグと、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延と、一つ以上のＮＡＬパラメータとのうちの一つ以上を含んでいてもよい。したがって、上記メッセージの受信（４０２）が、画像タイミングフラグと、アクセスユニットにおける復号化ユニットの一つ以上の削除遅延と、一つ以上のＮＡＬパラメータとのうちの一つ以上の受信を含んでいてもよい。
【０１８１】
上記復号装置１１２は、ＣＰＢ１２０がアクセスユニットレベルで動作するのか、サブピクチャレベルで動作するのかを決定してもよい（４０４）。例えば、復号装置１１２は、低遅延を達成したい場合、サブピクチャに基づいて動作することを決定してもよい。あるいは、上記決定は上記復号装置１１２がサブピクチャに基づく動作をサポートするのに十分なリソースを有しているかどうかに基づいていてもよい。上記ＣＰＢ１２０がサブピクチャレベルで動作するならば、上記復号装置は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定してもよい（４０６）。例えば、上記復号装置１１２は、上記アクセスユニットにおける全復号化ユニットに適用可能な一つの共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を決定してもよい。あるいは、上記復号装置１１２は、上記アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延（例：du_cpb_removal_delay[i]）を決定してもよい。すなわち、上記画像タイミングＳＥＩメッセージは、アクセスユニットにおける全復号化ユニットに適用可能な共通パラメータまたは復号化ユニットごとに別のパラメータを含んでいてもよい。
【０１８２】
さらに、上記復号装置１１２は、上記復号化ユニットに対する上記削除遅延に基づいて、すなわち、アクセスユニットにおける全復号化ユニットに適用可能な共通パラメータを用いて、または、復号化ユニットごとに別のパラメータを用いて、復号化ユニットを削除してもよい（４０８）。また、上記復号装置１１２は、上記復号化ユニットを復号化してもよい（４１０）。
【０１８３】
上記復号装置１１２は、削除時間を決定する時に、様々な信号伝達されたパラメータより決定した変数ClockDiffを用いてもよい。具体的には、ClockDiffは、以下の式で決定されてもよい。
ClockDiff = (num_units_in_tick-(num_units_in_sub_tick*(num_decoding_units_minus1+1)) / time_scale)、
式中、num_units_in_tickはクロックティック計数器の１増分に対応する周波数time_scale（Ｈｚ）で動作するクロックの時間単位の数であり、num_units_in_sub_tickはサブピクチャクロックティック計数器の１増分に対応する上記周波数time_scale（Ｈｚ）で動作するクロックの時間単位の数であり、num_decoding_units_minus1+1は上記アクセスユニットにおける復号化ユニットの量であり、time_scaleは１秒間に経過する上記時間単位の数である。
【０１８４】
低遅延仮想参照復号装置（hypothetical reference decoder：HRD）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、上記ＣＰＢがサブピクチャレベルで動作しており、かつ、ClockDiffがゼロより大きい場合、復号化ユニットｍに対する上記削除時間tr( m )は、以下の式によって決定される。
tr( m ) = tr,n( m ) + tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ) + ClockDiff 
式中、tr,n( m )は上記復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は復号化ユニットｍの最終到着時間である。
【０１８５】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定され、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、上記ＣＰＢがアクセスユニットレベルで動作しており、かつ、ClockDiffがゼロより大きい場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n )= tr,n( n ) + tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc ) - ClockDiff
式中、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、Ceil()は天井関数であり、taf( n )はアクセスユニットｎの最終到着時間である。
【０１８６】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + max( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、(tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc ))) 
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf(n)はアクセスユニットｎの最終到着時間である。
【０１８７】
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + max( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、(tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc ))) 
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【０１８８】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ), (tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc)) 
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【０１８９】
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + min( (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、(tc * Ceil( ( taf( n ) - tr,n( n ) ) / tc ))) 
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【０１９０】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットｍに対する上記削除時間tr(m)は、以下の式によって決定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc )) 
式中、tr,n( m )は上記最新の復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【０１９１】
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = tr,n( n ) + (tc* Ceil( ( taf( n ) - tr,n( n ) ) / tc ))  
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【０１９２】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットではない復号化ユニットに対する削除時間は、tr( m ) = taf( m )（式中、taf( m )は、復号化ユニットｍの最終到着時間である）として設定される。そして、アクセスユニットの最新の復号化ユニットｍに対する削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc_sub* Ceil( ( taf( m ) - tr,n( m ) ) / tc_sub ))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける最新の復号化ユニットの最終到着時間である。
【０１９３】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、アクセスユニットの最新の復号化ユニットではない復号化ユニットに対する削除時間は、tr( m ) = taf( m )（式中、taf( m )は、復号化ユニットｍの最終到着時間である）として設定される。そして、アクセスユニットの最新の復号化ユニットｍに対する削除時間tr( m )は、以下の式によって設定される。
tr( m ) = tr,n( m ) + (tc* Ceil( ( taf( m ) - tr,n( m ) ) / tc ))、
式中、tr,n( m )は、上記最新の復号化ユニットｍの上記公称削除時間であり、tc_subは、サブピクチャクロックティックであり、Ceil()は、天井関数であり、taf( m )は、最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの上記公称削除時間であり、tcはクロックティックであり、taf( n )は、アクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける最新の復号化ユニットの最終到着時間である。
【０１９４】
低遅延仮想参照復号装置（ＨＲＤ）フラグ（例：low_delay_hrd_flag）が１に設定されており、tr,n( m ) < taf( m )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがサブピクチャレベルで動作している場合、上記復号化ユニットに対する上記削除時間は、tr( m ) = taf( m )として設定される。式中、tr,n( m )は、上記復号化ユニットｍの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は復号化ユニットｍの最終到着時間であり、tr,n( n )は、上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n ) はアクセスユニットｎの最終到着時間であり、taf( m )は、上記アクセスユニットｎにおける上記復号化ユニットの最終到着時間である。
【０１９５】
低遅延仮想参照復号装置（ＨＲＤ）フラグが１に設定されており、tr,n( n ) < taf( n )であり、画像タイミングフラグが１に設定されており、かつ、上記ＣＰＢがアクセスユニットレベルで動作している場合、アクセスユニットｎに対する上記削除時間tr( n )は、以下の式によって決定される。
tr( n ) = taf( n )、
式中、tr,n( m )は上記最新の復号化ユニットｎの公称削除時間であり、tc_subはサブピクチャクロックティックであり、Ceil()は天井関数であり、taf( m )は最新の復号化ユニットｍの最終到着時間であり、tr,n( n )は上記アクセスユニットｎの公称削除時間であり、tcはクロックティックであり、taf( n )はアクセスユニットｎの最終到着時間である。
【０１９６】
上記ＣＰＢがアクセスユニットレベルで動作していれば、上記復号装置１１２は、ＣＰＢ削除遅延パラメータを決定してもよい（４１２）。このパラメータは、上記受信された画像タイミングＳＥＩメッセージ（例：cpb_removal_delay）に含まれていてもよい。また、上記復号装置１１２は、上記ＣＰＢ削除遅延パラメータに基づいてアクセスユニットを削除して（４１４）、上記アクセスユニットを復号化してもよい（４１６）。すなわち、上記復号装置１１２は、上記アクセスユニット内の復号化ユニットを復号化するよりは、全アクセスユニットを一度に復号化してもよい。
【０１９７】
図５は、アクセスユニットにおける復号化ユニットに対する一つ以上の削除遅延を決定する方法５００の一構成を示すフローチャートである。すなわち、図５に示される上記方法５００は、図４に示される上記方法４００におけるステップ４０６をさらに図示するものであってもよい。上記方法５００は、復号装置１１２により実行されてもよい。上記復号装置１１２は、受信された画像タイミングＳＥＩメッセージが共通復号化ユニットＣＰＢ削除遅延パラメータを含むかどうかを判定してもよい（５０２）。これの判定には、共通復号化ユニットＣＰＢ削除遅延フラグ（例：common_du_cpb_removal_delay_flag）が設定されているかどうかを判定する工程を含んでいてもよい。Ｙｅｓならば、上記復号装置１１２は、アクセスユニットにおける全復号化ユニットに適用可能な共通復号化ユニットＣＰＢ削除遅延パラメータ（例：common_du_cpb_removal_delay）を決定してもよい（５０４）。Ｎｏであれば、上記復号装置１１２は、アクセスユニットにおける復号化ユニットごとに別の復号化ユニットＣＰＢ削除遅延パラメータ（例：du_cpb_removal_delay[i]）を決定してもよい（５０６）。
【０１９８】
上記画像タイミングＳＥＩメッセージセマンティックスの変更に加えて、本システムおよび方法は、サブピクチャに基づくＣＰＢの動作およびアクセスユニットに基づくＣＰＢの動作が同じ復号化ユニット削除のタイミングをもたらすように、ビットストリーム上の制約を課してもよい。具体的には、上記画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）が１に設定される場合、上記ＣＰＢ削除遅延は下記によって設定できる。
【０１９９】
【数６】
2018164282.tif 000012
【０２００】
式中、du_cpb_removal_delay[i]は上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量であり、iはインデックスである。
【０２０１】
または、上記ＣＰＢ削除遅延は、次に記載するように設定してもよい。まず変数Tdu(k)を以下のように定義する。
【０２０２】
【数７】
2018164282.tif 000013
【０２０３】
式中、du_cpb_removal_delay_minus1k[i]およびnum_decoding_units_minus1kは、ｋ番目のアクセスユニット（上記ＨＲＤを初期化する上記アクセスユニットについてk=0であり、かつ、k<1についてTdu(k)=0である）のＩ番目の復号化ユニットに対するパラメータであり、du_cpb_removal_delay_ minus1k[i]+1=du_cpb_removal_delay_minus1k[i]は、上記ｋ番目のアクセスユニットの上記Ｉ番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、かつ、num_decoding_units_minus1kは、上記ｋ番目のアクセスユニットにおける復号化ユニットの数であり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、ｉおよびｋはインデックスである。そして、上記画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）が１に設定されている場合、以下の条件が真である。
【０２０４】
(au_cpb_removal_delay_minus1 + 1)*tc == Tdu(k)、
式中、(au_cpb_removal_delay_minus1 + 1)=cpb_removal_delay、つまり、上記ＣＰＢ削除遅延である。したがって、この場合、上記ＣＰＢ削除遅延(au_cpb_removal_delay_minus1 + 1)は、サブピクチャに基づくＣＰＢの動作とアクセスユニットに基づくＣＰＢの動作とが同じタイミングでのアクセスユニット削除および上記アクセスユニット削除の最新の復号化ユニット削除をもたらすように設定される。
【０２０５】
あるいは、上記ＣＰＢ削除遅延は以下の式によって設定されてもよい。
【０２０６】
【数８】
2018164282.tif 000014
【０２０７】
式中、du_cpb_removal_delay[i]は上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量であり、iはインデックスである。
【０２０８】
あるいは、cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]は、以下の式によって設定されてもよい。
cpb_removal_delay*tc = du_cpb_removal_delay[num_decoding_units_minus1]* tc,sub、
式中、du_cpb_removal_delay[num_decoding_units_minus1]は「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量である。
【０２０９】
上記画像タイミングＳＥＩメッセージセマンティックスの変更に加えて、本システムおよび方法は、サブピクチャに基づくＣＰＢの動作とアクセスユニットに基づくＣＰＢの動作とが同じタイミングでの復号化ユニット削除をもたらすように、ビットストリーム上の制約を課してもよい。具体的には、上記画像タイミングフラグ（例：sub_pic_cpb_params_present_flag）が１に設定される場合、cpb_removal_delayおよびdu_cpb_removal_delay[num_decoding_units_minus1]の値は次の式を満たすように設定してもよい。
-1<=(cpb_removal_delay*tc - du_cpb_removal_delay[num_decoding_units_minus1]* tc,sub) <=1、
式中、du_cpb_removal_delay[num_decoding_units_minus1]は「num_decoding_units_minus1」番目の復号化ユニットに対する上記復号化ユニットＣＰＢ削除遅延パラメータであり、tcはクロックティックであり、tc,subはサブピクチャクロックティックであり、num_decoding_units_minus1は、上記アクセスユニットにおける復号化ユニットの１でオフセットされる量である。
【０２１０】
図６Ａは、電子装置６０２の符号化装置６０４の一構成を示すブロック図である。上記電子装置６０２に含まれているように示される一つ以上の要素は、ハードウェア、ソフトウェアまたは両者の組み合わせで実装してもよい。例えば、上記電子装置６０２は、符号化装置６０４を含んでおり、この符号化装置６０４はハードウェア、ソフトウェアまたは両者の組み合わせで実装してもよい。例えば、上記符号化装置６０４は、実行可能な命令、ファームウェア、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）など、または、これらの組み合わせを備えるメモリと電気的に通信する回路、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プロセッサとして実装してもよい。いくつかの構成において、上記符号化装置６０４は、ＨＥＶＣ符号化装置であってもよい。
【０２１１】
上記電子装置６０２は、ソース６２２を含んでいてもよい。上記ソース６２２は、一つ以上の入力画像６０６としての画像または画像データ（例：映像）を上記符号化装置６０４に供給してもよい。上記ソース６２２の例には、画像センサ、メモリ、通信インターフェース、ネットワークインターフェース、無線受信器、ポートなどを含んでいてもよい。
【０２１２】
一つ以上の入力画像６０６は、フレーム内予測モジュール／再構成バッファ６２４に与えられてもよい。また、入力画像６０６は、動き推定／動き補償モジュール６４６と減算モジュール６２８とに与えられてもよい。
【０２１３】
上記フレーム内予測モジュール／再構成バッファ６２４は、一つ以上の入力画像６０６および再構成データ６６０に基づいてイントラモード情報６４０およびイントラ信号６２６を生成してもよい。上記動き推定／動き補償モジュール６４６は、一つ以上の入力画像６０６および復号化画像バッファ６７６からの参照画像６７８に基づいて、インターモード情報６４８およびインター信号６４４を生成してもよい。いくつかの構成において、上記復号化画像バッファ６７６は、上記復号化画像バッファ６７６に一つ以上の参照画像からのデータを含んでいてもよい。
【０２１４】
上記符号化装置６０４は、モードに合わせて上記イントラ信号６２６と上記インター信号６４４とから選択してもよい。上記イントラ信号６２６は、イントラ符号化モードにおいて画像内の空間的特徴を利用するために用いられてもよい。上記インター信号６４４は、インター符号化モードにおいて画像間の時間特性を利用するために用いられてもよい。上記イントラ符号化モードの間には、上記イントラ信号６２６が上記減算モジュール６２８に与えられてもよく、また、上記イントラモード情報６４０がエントロピー符号化モジュール６４２に与えられてもよい。上記インター符号化モードの間には、上記インター信号６４４は上記減算モジュール６２８に与えられてもよく、また、上記インターモード情報６４８は、上記エントロピー符号化モジュール６４２に与えられてもよい。
【０２１５】
（上記モードに依存して）上記イントラ信号６２６と上記インター信号６４４とのどちらかが、予測残差６３０を作り出すために、上記減算モジュール６２８で入力画像６０６から差し引かれる。上記予測残差６３０は、変換モジュール６３２に与えられる。上記変換モジュール６３２は、量子化モジュール６３６に与えられる変換信号６３４を作り出すために上記予測残差６３０を圧縮してもよい。上記量子化モジュール６３６は、変換および量子化された係数（ＴＱＣ）６３８を作り出すために、上記変換信号６３４を量子化する。
【０２１６】
上記ＴＱＣ６３８は、エントロピー符号化モジュール６４２および逆量子化モジュール６５０に与えられる。上記逆量子化モジュール６５０は、逆変換モジュール６５４に与えられる逆量子化信号６５２を作り出すために、上記ＴＱＣ６３８に逆量子化を実行する。上記逆変換モジュール６５４は、再構成モジュール６５８に与えられる解凍信号６５６を作り出すために、上記逆量子化信号６５２を解凍する。
【０２１７】
上記再構成モジュール６５８は、上記解凍信号６５６に基づいて再構成データ６６０を作り出してもよい。例えば、上記再構成モジュール６５８は、（変形）画像を再構築してもよい。上記再構成データ６６０は、非ブロック化フィルタ６６２と上記フレーム内予測モジュール／再構成バッファ６２４とに与えられてもよい。上記非ブロック化フィルタ６６２は、上記再構成データ６６０に基づいてフィルタされた信号６６４を作り出してもよい。
【０２１８】
上記フィルタされた信号６６４は、サンプルアダプティブオフセット（ＳＡＯ）モジュール６６６に与えられてもよい。上記ＳＡＯモジュール６６６は、上記エントロピー符号化モジュール６４２に与えられるＳＡＯ情報６６８を作り出してもよいし、適応ループフィルタ（ＡＬＦ）６７２に与えられるＳＡＯ信号６７０を作り出してもよい。上記ＡＬＦ６７２は、上記復号化画像バッファ６７６に与えられるＡＬＦ信号６７４を作り出す。上記ＡＬＦ信号６７４は、参照画像として用いてもよい一つ以上の画像からのデータを含んでいてもよい。
【０２１９】
上記エントロピー符号化モジュール６４２は、ビットストリームＡ６１４ａ（例：符号化画像データ）を作り出すために、上記ＴＱＣ６３８を符号化してもよい。例えば、上記エントロピー符号化モジュール６４２は、コンテンツ適応可変長符号化（ＣＡＶＬＣ）またはコンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）を用いて上記ＴＱＣ６３８を符号化してもよい。特に、上記エントロピー符号化モジュール６４２は、イントラモード情報６４０、インターモード情報６４８およびＳＡＯ情報６６８のうちの一つ以上に基づいて上記ＴＱＣ６３８を符号化してもよい。ビットストリームＡ６１４ａ（例：符号化画像データ）は、メッセージ生成モジュール６０８に与えられてもよい。上記メッセージ生成モジュール６０８は、図１に関連して記載された上記メッセージ生成モジュール１０８と同様に構成されてもよい。追加的に、あるいは、代替的に、上記メッセージ生成モジュール６０８が、図２および図３に関連して記載された手順のうちの一つ以上を実行してもよい。
【０２２０】
例えば、上記メッセージ生成モジュール６０８が、サブピクチャパラメータを含むメッセージ（例：画像タイミングＳＥＩメッセージまたは他のメッセージ）を生成してもよい。上記サブピクチャパラメータは、復号化ユニットに対する一つ以上の削除遅延（例：common_du_cpb_removal_delayまたは du_cpb_removal_delay[i]）および一つ以上のＮＡＬパラメータ（例：common_num_nalus_in_du_minus1 or num_nalus_in_du_minus1[i]）を含んでいてもよい。いくつかの構成において、上記メッセージが、ビットストリームＢ６１４ｂを作り出すために、ビットストリームＡ６１４ａに挿入されてもよい。したがって、上記メッセージは、例えば、上記ビットストリームＡ６１４ａ全体が生成された後で（例：ビットストリームＢ６１４ｂのほとんどが生成された後で）生成されてもよい。他の構成において、上記メッセージは、ビットストリームＡ６１４ａに挿入されることはない（この場合、ビットストリームＢ６１４ｂはビットストリームＡ６１４ａと同じであろう）が、別の伝送信号６１０に与えられてもよい。
【０２２１】
いくつかの構成において、上記電子装置６０２は、別の電子装置に上記ビットストリーム６１４を別の電子装置に送信する。例えば、上記ビットストリーム６１４は、通信インターフェース、ネットワークインターフェース、無線送信器、ポートなどに与えられてもよい。例えば、上記ビットストリーム６１４は、ＬＡＮ、インターネット、携帯電話基地局などを経由して別の電子装置に送信されてもよい。上記ビットストリーム６１４は、追加的に、または、代替的に、上記電子装置６０２のメモリまたは他の部品に保存されてもよい。
【０２２２】
図６Ｂは、電子装置１７０２の映像符号化装置１７８２の一構成を示すブロック図である。上記映像符号化装置１７８２は、エンハンスメントレイヤ符号化装置１７０６、ベースレイヤ符号化装置１７０９、解像度アップスケーリングブロック１７７０および出力インターフェース１７８０を含んでいてもよい。例えば、図６Ｂの上記映像符号化装置は、本明細書中に記載のように、スケーラブル映像符号化およびマルチビュー映像符号化に適している。
【０２２３】
上記エンハンスメントレイヤ符号化装置１７０６は、入力画像１７０４を受信する映像入力装置１７８１を含んでいてもよい。上記映像入力装置１７８１の出力は、予測選択１７５０の出力を受信する加算器／減算器１７８３に与えられてもよい。上記加算器／減算器１７８３の出力は、変換／量子化ブロック１７５２に与えられてもよい。上記変換／量子化ブロック１７５２の出力は、エントロピー符号化ブロック１７４８およびスケーリング／逆変換ブロック１７７２に与えられてもよい。エントロピー符号化１７４８が実行された後、上記エントロピー符号化ブロック１７４８の出力は、出力インターフェース１７８０に与えられてもよい。上記出力インターフェース１７８０は、符号化ベースレイヤ映像ビットストリーム１７０７と符号化エンハンスメントレイヤ映像ビットストリーム１７１０との両方を出力してもよい。
【０２２４】
上記スケーリング／逆変換ブロック１７７２の出力は、加算器１７７９に与えられてもよい。上記加算器１７７９も、上記予測選択１７５０の出力を受信してもよい。上記加算器１７７９の出力は、非ブロック化ブロック１７５１に与えられてもよい。上記非ブロック化ブロック１７５１の出力は、参照バッファ１７９４に与えられてもよい。上記参照バッファ１７９４の出力は、動き補償ブロック１７５４に与えられてもよい。上記動き補償ブロック１７５４の出力は上記予測選択１７５０に与えられてもよい。上記参照バッファ１７９４の出力は、イントラ予測器１７５６にも与えられてもよい。上記イントラ予測器１７５６の出力は、上記予測選択１７５０に与えられてもよい。また、上記予測選択１７５０は、上記解像度アップスケーリングブロック１７７０の出力をも受信してもよい。
【０２２５】
ベースレイヤ符号化装置１７０９は、ダウンサンプルされた入力画像、別の画像と組み合わせるのに適した他の画像コンテンツ、または別の表示入力画像、または同じ入力画像１７０３（すなわち、エンハンスメントレイヤ符号化装置１７０６より受信する入力画像１７０４と同じ画像）を受信する映像入力装置１７６２を備える。映像入力装置１７６２の出力を符号化予測ループ１７６４に供給する。エントロピー符号化１７６６は、符号化予測ループ１７６４の出力に対して行われる。符号化予測ループ１７６４の出力は、参照バッファ１７６８にも供給される。参照バッファ１７６８は、符号化予測ループ１７６４に対してフィードバックを行う。参照バッファ１７６８の出力は、解像度アップスケーリングブロック１７７０にも供給される。エントロピー符号化１７６６が行われると、出力が出力インターフェース１７８０に供給される。符号化ベースレイヤ映像ビットストリーム１７０７および／または符号化エンハンスメントレイヤ映像ビットストリーム１７１０は、必要に応じて１以上のメッセージ作成モジュールに供給される。
【０２２６】
図７Ａは、電子装置７０２の復号装置７１２の一構成を示すブロック図である。復号装置７１２は電子装置７０２に備えられる。例えば、復号装置７１２はＨＥＶＣ復号装置である。復号装置７１２、および復号装置７１２に含まれる要素のうち１以上の要素は、ハードウェアによって実現されてもよいし、ソフトウェアによって実現されてもよいし、あるいは、ハードウェアとソフトウェアの両方の組み合せによって実現されてもよい。復号装置７１２は、ビットストリーム７１４（例えば、ビットストリーム７１４に含まれる１以上の符号化画像およびオーバーヘッドデータ）を受信して復号化する。いくつかの構成では、受信したビットストリーム７１４には、メッセージ（例えば、画像タイミングＳＥＩメッセージまたは他のメッセージ）、スライスヘッダー、ＰＰＳ等の受信オーバーヘッドデータが含まれる。いくつかの構成では、復号装置７１２は、さらに別の送信７１０を受信してもよい。別の送信７１０には、メッセージ（例えば、画像タイミングＳＥＩメッセージまたは他のメッセージ）が含まれる。例えば、画像タイミングＳＥＩメッセージまたは他のメッセージはビットストリーム７１４ではなく、別の送信７１０の形で受信されてもよい。なお、別の送信７１０は任意であり、いくつかの構成においては使用されない。
【０２２７】
復号装置７１２はＣＰＢ７２０を含む。ＣＰＢ７２０は、上述した図１を通じて説明したＣＰＢ１２０と同様に構成される。追加的または代替的に、復号装置７１２は、図４および図５を通じて説明した工程のうち１以上の工程を行う。例えば、復号装置７１２は、サブピクチャパラメータと共にメッセージ（例えば、画像タイミングＳＥＩメッセージまたは他のメッセージ）を受信し、サブピクチャパラメータに基づくアクセスユニットで復号化ユニットを削除して復号化する。なお、１以上のアクセスユニットは、ビットストリームに含まれていてもよく、符号化画像データおよびオーバーヘッドデータのうち１以上のデータを含んでいてもよい。
【０２２８】
符号化画像バッファ（ＣＰＢ）は、符号化画像データをエントロピー復号化モジュール７０１に供給する。符号化画像データは、エントロピー復号化モジュール７０１によってエントロピー復号化され、これにより、動き情報信号７０３および、量子化、スケーリング、および／または変換された係数７０５が生成される。
【０２２９】
動き情報信号７０３は、フレーム間予測信号７８２を生成する動き補償モジュール７８０において、復号化画像バッファ７０９から出力された参照フレーム信号７９８の一部と組み合わされる。上記量子化、デスケーリング、および／または変換された係数７０５は、逆モジュール７０７によって逆量子化、スケーリング、および逆変換され、これにより復号化残差信号７８４が生成される。復号化残差信号７８４は予測信号７９２に加えられて、混合信号７８６が生成される。上記予測信号７９２は、動き補償モジュール７８０によって生成されるフレーム間予測信号７８２またはフレーム内予測モジュール７８８によって生成されるフレーム内予測信号７９０のいずれから選択される信号である。いくつかの構成において、この信号決定は、ビットストリーム７１４に基づいて（例えば制御によって）行われる。
【０２３０】
フレーム内予測信号７９０は、（例えば、現在のフレームにおける）混合信号７８６から以前に復号化された情報から予測される。また、上記混合信号７８６は、非ブロック化フィルタ７９４によってフィルタリングされる。その結果得られるフィルタリングされた信号７９６は、復号化画像バッファ７０９に書き込まれる。上記フィルタリングされた信号７９６は復号化画像を含む。復号化画像バッファ７０９は、出力される復号化画像７１８を供給する。７０９をフレームメモリとして考える場合もある。
【０２３１】
図７Ｂは、電子装置１８０２の映像復号装置１８１２の一構成を示すブロック図である。映像復号装置１８１２は、エンハンスメントレイヤ復号装置１８１５と、ベースレイヤ復号装置１８１３とを含む。映像復号装置８１２は、インターフェース１８８９と、解像度アップスケーリング１８７０とをさらに含む。図７Ｂの映像復号装置は、本明細書に記載のように、例えば、スケーラブル映像復号化およびマルチビュー映像復号化に適している。
【０２３２】
上記インターフェース１８８９は、符号化映像ストリーム１８８５を受信する。符号化映像ストリーム１８８５は、ベースレイヤ符号化映像ストリームおよびエンハンスメントレイヤ符号化映像ストリームからなる。これらの２つのストリームは、別々にまたは一緒に送信される。上記インターフェース１８８９は、符号化映像ストリーム１８８５の一部またはすべてを、ベースレイヤ復号装置１８１３のエントロピー復号化ブロック１８８６に供給する。上記エントロピー復号化ブロック１８８６の出力は、復号化予測ループ１８８７に供給される。復号化予測ループ１８８７の出力は、参照バッファ１８８８に供給される。参照バッファは、復号化予測ループ１８８７に対してフィードバックを行う。また、参照バッファ１８８８は、復号化ベースレイヤ映像ストリーム１８８４を出力する。
【０２３３】
上記インターフェース１８８９は、符号化映像ストリーム１８８５の一部またはすべてを、エンハンスメントレイヤ復号装置１８１５のエントロピー復号化ブロック１８９０に供給する。上記エントロピー復号化ブロック１８９０の出力は、逆量子化ブロック１８９１に供給される。上記逆量子化ブロック１８９１の出力は、加算器１８９２に供給される。上記加算器１８９２は、逆量子化ブロック１８９１の出力と予測選択ブロック１８９５の出力とを加算する。加算器１８９２の出力は、非ブロック化ブロック１８９３に供給される。上記非ブロック化ブロック１８９３の出力は、参照バッファ１８９４に供給される。上記参照バッファ１８９４は、復号化エンハンスメントレイヤ映像ストリーム１８８２を出力する。また、上記参照バッファ１８９４の出力は、イントラ予測器１８９７に供給される。上記エンハンスメントレイヤ復号装置１８１５は、動き補償１８９６を含む。上記動き補償１８９６は、解像度アップスケーリング１８７０の後に行われる。上記予測選択ブロック１８９５は、イントラ予測器１８９７の出力と動き補償１８９６の出力とを受信する。また、復号装置は、必要に応じて、例えば、インターフェース１８８９と共に１以上の符号化画像バッファを含む。
【０２３４】
図８は、送信用電子装置８０２に用いられる様々な構成部材を示す。本明細書に記載する電子装置１０２、６０２、７０２のうち１以上の電子装置は、図８に示す送信用電子装置８０２に基づいて実現される。
【０２３５】
上記送信用電子装置８０２は、当該電子装置８０２の動作を制御するプロセッサ８１７を備える。上記プロセッサ８１７は、ＣＰＵとも称することがある。メモリ８１１は、読み出し専用メモリ（ＲＯＭ）およびランダムアクセスメモリ（ＲＡＭ）または情報を格納するあらゆる種類の装置の両方を備え、指示８１３ａ（例えば、実行可能な指示）とデータ８１５ａとをプロセッサ８１７に供給する。また、メモリ８１１の一部には、不揮発性のランダムアクセスメモリ（ＮＶＲＡＭ）が含まれる。上記メモリ８１１は、プロセッサ８１７と電子通信を行っている。
【０２３６】
指示８１３ｂおよびデータ８１５ｂは、プロセッサ８１７に存在する。また、プロセッサ８１７にロードされた指示８１３ｂおよび／またはデータ８１５ｂは、プロセッサ８１７による実行または処理のためにロードされたメモリ８１１からの指示８１３ａおよび／またはデータ８１５ａを含む。指示８１３ｂがプロセッサ８１７によって実行されることで、本明細書に開示するシステムおよび方法が実現される。例えば、指示８１３ｂは、上記に記載の方法２００、３００、４００、５００の１以上の方法が行われるように実行可能となっている。
【０２３７】
送信用電子装置８０２は、他の電子装置（例えば、受信用電子装置）と通信するための１以上の通信インターフェース８１９を備える。上記通信インターフェース８１９は、有線通信技術、無線通信技術、あるいは両方に基づく。通信インターフェース８１９の例として、シリアルポート、パラレルポート、ユニバーサル・シリアルバス（ＵＳＢ）、イーサネット（登録商標）・アダプタ、ＩＥＥＥ１３９４バスインターフェース、小型コンピュータシステムインターフェース（ＳＣＳＩ）バスインターフェース、赤外線（ＩＲ）通信ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信アダプタ、第３世代パートナーシッププロジェクト（３ＧＰＰ）の仕様に準拠した無線送受信機などが挙げられる。
【０２３８】
送信用電子装置８０２は、１以上の出力装置８２３および１以上の入力装置８２１を備える。出力装置８２３の例として、スピーカー、プリンター等が挙げられる。電子装置８０２に備えられる出力装置の一つとして、表示装置８２５が挙げられる。本明細書に開示された構成で使用される表示装置８２５は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、ガスプラズマ、エレクトロルミネッセンス等の、任意の好適な画像投影技術を利用する。表示制御装置８２７は、メモリ８１１に格納されたデータをテキスト、グラフィックス、および／または動画像に（必要に応じて）変換して表示装置８２５に表示するために設けられる。入力装置８２１の例として、キーボード、マウス、マイクロホン、リモコン、ボタン、ジョイスティック、トラックボール、タッチパッド、タッチスクリーン、ライトペン等が挙げられる。
【０２３９】
送信用電子装置８０２の様々な構成部材は、データバスに加えて、電力バス、制御信号バス、およびステータス信号バスを含むバスシステム８２９を介して結合されている。しかし、図８には、理解しやすいように、バスシステム８２９として様々なバスが示されている。図８に示す送信用電子装置８０２は、特定の部材の一覧表ではなく、機能ブロック図である。
【０２４０】
図９は、受信用電子装置９０２に用いられる様々な構成部材を示すブロック図である。本明細書に記載される電子装置１０２、６０２、７０２のうち１以上の電子装置は、図９に示す受信用電子装置９０２に基づいて実現される。
【０２４１】
上記受信用電子装置９０２は、当該電子装置９０２の動作を制御するプロセッサ９１７を備える。上記プロセッサ９１７は、ＣＰＵとも称することがある。メモリ９１１は、読み出し専用メモリ（ＲＯＭ）、およびランダムアクセスメモリ（ＲＡＭ）または情報を格納する任意の種類の装置の両方を備え、指示９１３ａ（例えば、実行可能な指示）とデータ９１５ａとをプロセッサ９１７に供給する。また、メモリ９１１の一部には、不揮発性のランダムアクセスメモリ（ＮＶＲＡＭ）が含まれる。上記メモリ９１１は、プロセッサ９１７と電子通信を行っている。
【０２４２】
指示９１３ｂおよびデータ９１５ｂは、プロセッサ９１７に存在する。また、プロセッサ９１７にロードされた指示９１３ｂおよび／またはデータ９１５ｂは、プロセッサ９１７による実行または処理のためにロードされたメモリ９１１からの指示９１３ａおよび／またはデータ９１５ａを含む。指示９１３ｂがプロセッサ９１７によって実行されることで、本明細書に開示されたシステムおよび方法が実現される。例えば、指示９１３ｂは、上記に記載の方法２００、３００、４００、５００の１以上の方法が行われるように実行可能となっている。
【０２４３】
受信用電子装置９０２は、他の電子装置（例えば、送信用電子装置）と通信するための１以上の通信インターフェース９１９を備える。上記通信インターフェース９１９は、有線通信技術、無線通信技術、あるいは両方に基づく。通信インターフェース９１９の例として、シリアルポート、パラレルポート、ユニバーサル・シリアルバス（ＵＳＢ）、イーサネット（登録商標）・アダプタ、ＩＥＥＥ１３９４バスインターフェース、小型コンピュータシステムインターフェース（ＳＣＳＩ）バスインターフェース、赤外線（ＩＲ）通信ポート、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信アダプタ、第３世代パートナーシッププロジェクト（３ＧＰＰ）の仕様に準拠した無線送受信機などが挙げられる。
【０２４４】
受信用電子装置９０２は、１以上の出力装置９２３および１以上の入力装置９２１を備える。出力装置９２３の例として、スピーカー、プリンター等が挙げられる。電子装置９０２に備えられる出力装置の一つとして、表示装置９２５が挙げられる。本明細書に開示された構成で使用される表示装置９２５は、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）、ガスプラズマ、エレクトロルミネッセンス等の、任意の好適な画像投影技術を利用する。表示制御装置９２７は、メモリ９１１に格納されたデータをテキスト、グラフィックス、および／または動画像に（必要に応じて）変換して表示装置９２５に表示するために設けられる。入力装置９２１の例として、キーボード、マウス、マイクロホン、リモコン、ボタン、ジョイスティック、トラックボール、タッチパッド、タッチスクリーン、ライトペン等が挙げられる。
【０２４５】
受信用電子装置９０２の様々な構成部材は、データバスに加えて、電力バス、制御信号バス、およびステータス信号バスを含むバスシステム９２９を介して結合されている。しかし、図９には、理解しやすいように、バスシステム９２９として様々なバスが示されている。図９に示す受信用電子装置９０２は、特定の部材の一覧表ではなく、機能ブロック図である。
【０２４６】
図１０は、メッセージを送信するためのシステムおよび方法を実装する電子装置１００２の一構成を示すブロック図である。電子装置１００２は、符号化手段１０３１および送信手段１０３３を備える。符号化手段１０３１および送信手段１０３３は、上述した図１、図２、図３、図６および図８のうち１以上の図を通じて説明した機能のうち、１以上の機能を実行するように構成されている。例えば、符号化手段１０３１および送信手段１０３３は、ビットストリーム１０１４を生成する。上述した図８は、図１０の具体的な装置構造の一例を示す。他の様々な構造は、図１、図２、図３、図６および図８に示す１以上の機能を実現するために実装される。例えば、ＤＳＰはソフトウェアによって実現される。
【０２４７】
図１１は、ビットストリーム１１１４をバッファリングするためのシステムおよび方法を実装する電子装置１１０２の一構成を示すブロック図である。電子装置１１０２は、受信手段１１３５および復号化手段１１３７を備える。受信手段１１３５および復号化手段１１３７は、上述した図１、図４、図５、図７および図９のうち１以上の図を通じて説明した機能のうち、１以上の機能を実行するように構成されている。例えば、受信手段１１３５および復号化手段１１３７は、ビットストリーム１１１４を受信する。上述した図９は、図１１の具体的な装置構造の一例を示す。他の様々な構造は、図１、図４、図５、図７および図９に示す１以上の機能を実現するために実装される。例えば、ＤＳＰはソフトウェアによって実現される。
【０２４８】
図１２は、復号化画像バッファ（ＤＰＢ）の動作を行うための方法１２００の一構成を示すフロー図である。方法１２００は、符号化装置１０４またはそのサブパーツ（例えば、復号化画像バッファモジュール６７６）の一つによって実行される。方法１２００は、電子装置１０２（例えば、電子装置Ｂ１０２ｂ）の復号装置１１２によって実行される。追加的または代替的に、方法１２００は、復号装置７１２またはそのサブパーツ（例えば、復号化画像バッファモジュール７０９）の一つによって実行される。復号装置は、画像の第１のスライスヘッダーを解析する（１２０２）。現在の画像を復号化する前（ただし、現在の画像の第１のスライスのスライスヘッダーを解析した後）にＤＰＢからの画像の出力および削除は、現在の画像を含むアクセスユニットの第１の復号化ユニットがＣＰＢから削除されて以下のように進行すると、同時に行われる。
【０２４９】
−参照画像セット（ＲＰＳ）の復号化処理が行われる。参照画像セットは、ある画像に関連する一連の参照画像であって、復号順序で関連画像の前に存在するすべての参照画像からなり、関連画像、または復号順序で関連画像に続く任意の画像のインター予測のために使用される。
【０２５０】
−映像のビットストリームは、一般的にネットワーク抽象化レイヤ（ＮＡＬ）ユニットと呼ばれる論理データパケットへと配置（placed into）されるシンタックス構造を含む。各ＮＡＬユニットは、２バイトのＮＡＬユニットヘッダー（例えば、１６ビット）等のＮＡＬユニットヘッダーを含み、関連するデータペイロードの目的を特定する。例えば、各符号化スライス（および／または画像）は、１以上のスライス（および／または画像）ＮＡＬユニットで符号化される。他のＮＡＬユニットは、例えば、付加エンハンスメント情報、一時的サブレイヤアクセス（ＴＳＡ）画像の符号化スライス、段階的一時的サブレイヤアクセス（ＳＴＳＡ）画像の符号化スライス、非ＴＳＡの符号化スライス、非ＳＴＳＡトレイリング画像、リンク破損アクセス画像の符号化スライス、瞬時復号リフレッシュ画像の符号化スライス、クリーンランダムアクセス画像の符号化スライス、復号可能な先行画像の符号化スライス、タグ付き破棄画像の符号化スライス、映像パラメータセット、シーケンスパラメータセット、ピクチャパラメータセット、アクセスユニットデリミタ、シーケンスの終端、ビットストリームの終端、フィルターデータ、および／またはシーケンスエンハンスメント情報メッセージ等の他のカテゴリーのデータのために含まれてもよい。表４に、ＮＡＬユニットコードおよびＮＡＬユニットの種別の一例を示す。他の種類のＮＡＬユニットが必要に応じて含まれてもよい。また、表４に示すＮＡＬユニットのＮＡＬユニットの種類の値を入れ替えてもよいし、再割り当てしてもよい。また、さらなるＮＡＬユニットの種類が追加されてもよい。また、一部の種類のＮＡＬユニットが削除されてもよい。
【０２５１】
イントラランダムアクセスポイント（ＩＲＡＰ）画像とは、表４に示すようにBLA_W_LPからRSV_IRAP_VCL23まで（BLA_W_LPおよびRSV_IRAP_VCL23を含む）の範囲でnal_unit_typeを有する各映像符号化レイヤのＮＡＬユニットのための符号化画像である。ＩＲＡＰ画像はイントラ符号化（Ｉ）スライスのみを含む。瞬時復号リフレッシュ（ＩＤＲ）画像とは、表４に示すようにIDR_W_RADLまたはIDR_N_LPと同等のnal_unit_typeを有する各映像符号化レイヤのＮＡＬユニットのためのＩＲＡＰ画像である。瞬時復号リフレッシュ（ＩＤＲ）画像は、Ｉスライスのみを含み、復号化順序におけるビットストリームの第１画像であってもよく、ビットストリームの後ろの方に現れてもよい。各ＩＤＲ画像は、復号化順序における符号化映像シーケンス（ＣＶＳ）の第１画像である。リンク破損アクセス（ＢＬＡ）画像とは、表４に示すようにBLA_W_LP、BLA_W_RADL、またはBLA_N_LPと同等のnal_unit_typeを有する各映像符号化レイヤのＮＡＬユニットのためのＩＲＡＰ画像である。ＢＬＡ画像は、Ｉスライスのみを含み、復号化順序におけるビットストリームの第１画像であってもよく、ビットストリームの後ろの方に現れてもよい。各ＢＬＡ画像は、新しい符号化映像シーケンスを開始し、復号化処理においてＩＤＲ画像と同じ効果を有する。しかし、ＢＬＡ画像は、空ではない参照画像セットを指定するシンタックス要素を含む。
【０２５２】
【表４】
2018164282.tif 000015
【０２５３】
表５を参照すると、ＮＡＬユニットヘッダーシンタックスは、２バイト、すなわち１６ビットのデータを含む。最初のビットは、"forbidden_zero_bit"であり、ＮＡＬユニットの開始時に常に０に設定される。次の６ビットは、"nal_unit_type"であり、表４に示すＮＡＬユニットに含まれるローバイトシーケンスペイロード（ＲＢＳＰ）データ構造の種類を指定する。次の６ビットは、"nuh_layer_id"であり、レイヤの識別子を指定する。これらの６ビットは、代わりに、"nuh_reserved_zero_6bits"として指定される場合もある。上記nuh_reserved_zero_6bitsは、規格の基本仕様では０に等しい。スケーラブル映像符号化および／またはシンタックス拡張において、nuh_layer_idはこの特定のＮＡＬユニットがこれらの６ビットの値で識別されるレイヤに属することを指定している。次のシンタックス要素は、"nuh_temporal_id_plus1"である。上記nuh_temporal_id_plus1 minus 1 は、ＮＡＬユニットの一時的識別子を指定している。変数一時的識別子TemporalIdは、TemporalId＝nuh_temporal_id_plus1−１として指定される。上記一時的識別子TemporalIdは、一時的サブレイヤを識別するために使用される。変数HighestTidは、復号化対象となる、最上位の一時的サブレイヤを識別する。
【０２５４】
【表５】
2018164282.tif 000016
【０２５５】
表６は、例示的なシーケンスパラメータセット（ＳＰＳ）のシンタックス構造を示す。
【０２５６】
pic_width_in_luma_samplesは、輝度サンプルユニットにおける各復号化画像の幅を指定する。pic_width_in_luma_samplesは、０に等しくないものとする。
【０２５７】
pic_height_in_luma_samplesは、輝度サンプルユニットにおける各復号化画像の高さを指定する。pic_height_in_luma_samplesは、０に等しくないものとする。
【０２５８】
sps_max_sub_layers_minus1＋１は、ＳＰＳを参照する各ＣＶＳに存在する一時的サブレイヤの最大数を指定する。sps_max_sub_layers_minus1の値は、０以上６以下の範囲であるものとする。
【０２５９】
sps_sub_layer_ordering_info_present_flagフラグが１に等しい場合は、sps_max_dec_pic_buffering_minus1[i]、sps_max_num_reorder_pics[i]、およびsps_max_latency_increase_plus1[i]のシンタックス要素が、sps_max_sub_layers_minus1＋１サブレイヤに対して存在することを指定する。sps_sub_layer_ordering_info_present_flagが０に等しい場合は、sps_max_dec_pic_buffering_minus1[sps_max_sub_layers_minus1]、sps_max_num_reorder_pics[sps_max_sub_layers_minus1]、およびsps_max_latency_increase_plus1[sps_max_sub_layers_minus1]の値がすべてのサブレイヤに該当することを指定する。
【０２６０】
sps_max_dec_pic_buffering_minus1[i]＋１は、HighestTidがｉに等しいときの、画像保存バッファのユニットでのＣＶＳ用の復号化画像バッファの最大必要サイズを指定する。sps_max_dec_pic_buffering_minus1[i]の値は、MaxDpbSizeが最大復号化画像バッファのサイズを画像保存バッファユニットで指定する場合、０以上MaxDpbSize−１以下の範囲の値であるものとする。ｉが０よりも大きい時、sps_max_dec_pic_buffering_minus1[i]はsps_max_dec_pic_buffering_minus1[i-1]以上であるものとする。sps_sub_layer_ordering_info_present_flagが０に等しいことにより、sps_max_dec_pic_buffering_minus1[i]においてｉが０以上sps_max_sub_layers_minus1−１以下の範囲に対して存在しない場合、sps_max_dec_pic_buffering_minus1[i]はsps_max_dec_pic_buffering_minus1[sps_max_sub_layers_minus1]に等しいと推定される。
【０２６１】
sps_max_num_reorder_pics[i]は、HighestTidがｉに等しい場合に、復号順序においてＣＶＳ内で任意の画像に先行するとともに出力順序においてその画像に続く画像の最大許容数を示す。sps_max_num_reorder_pics[i]の値は、０以上sps_max_dec_pic_buffering_minus1[i]以下の範囲の値であるものとする。ｉが０よりも大きい時、sps_max_num_reorder_pics[i]がsps_max_num_reorder_pics[i-1]以上であるものとする。sps_sub_layer_ordering_info_present_flagが０に等しいことにより、sps_max_num_reorder_pics[i]においてｉが０以上sps_max_sub_layers_minus1−１以下の範囲に対して存在しない場合、sps_max_num_reorder_pics[i]はsps_max_num_reorder_pics[ sps_max_sub_layers_minus1 ]に等しいと推定される。
【０２６２】
０に等しくないsps_max_latency_increase_plus1[i]は、HighestTidがｉに等しい場合に、出力順序においてＣＶＳ内で任意の画像に先行するとともに復号順序においてその画像に続く画像の最大数を指定する値、SpsMaxLatencyPictures[i]を算出するために用いられる。
【０２６３】
sps_max_latency_increase_plus1[i]が０に等しくない場合、SpsMaxLatencyPictures[i]の値は次のように指定される。
【０２６４】
SpsMaxLatencyPictures[i]＝sps_max_num_reorder_pics[i]＋         sps_max_latency_increase_plus1[i]−１
sps_max_latency_increase_plus1[i]が０に等しい場合、対応する制限は表されない。
【０２６５】
sps_max_latency_increase_plus1[i]の値は、０以上 ２３２−２以下の範囲の値であるものとする。
sps_sub_layer_ordering_info_present_flagが０に等しいことにより、sps_max_latency_increase_plus1[i]においてｉが０以上sps_max_sub_layers_minus1−１以下の範囲に対して存在しない場合、sps_max_latency_increase_plus1[i]はsps_max_latency_increase_plus1[ sps_max_sub_layers_minus1 ]に等しいと推定される。
【０２６６】
【表６】
2018164282.tif 000017
【０２６７】
現在の画像がＩＲＡＰ画像である時、以下の事項が該当する。
【０２６８】
−現在の画像がＩＤＲ画像、ＢＬＡ画像、復号順序におけるビットストリームの第１画像、または復号順序においてシーケンスＮＡＬユニットの末尾に続く第１画像である場合、変数NoRaslOutputFlagは１に等しく設定される。
【０２６９】
−あるいは、変数HandleCraAsBlaFlagを現在の画像の値に設定するための何らかの外部手段が利用可能である場合、変数HandleCraAsBlaFlagは、その外部手段が提供する値に等しい値に設定され、変数NoRaslOutputFlagはHandleCraAsBlaFlagに等しい値に設定される。
【０２７０】
−あるいは、変数HandleCraAsBlaFlagは０に等しく設定され、変数NoRaslOutputFlagは、０に等しく設定される。
【０２７１】
現在の画像が、画像０ではない、１に等しい変数NoRaslOutputFlagを有するＩＲＡＰ画像である場合、以下の順序付けられた工程が適用される。
【０２７２】
１．変数NoOutputOfPriorPicsFlagは、テスト中の復号装置のために以下のように導き出される。
【０２７３】
−現在の画像がＣＲＡ画像である場合、（no_output_of_prior_pics_flagの値に関係なく）NoOutputOfPriorPicsFlagは１に等しく設定される。
【０２７４】
−あるいは、アクティブなＳＰＳから導き出されたpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[HighestTid]の値が、前の画像のためにアクティブなＳＰＳから導き出されたpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[HighestTid]の値とそれぞれ異なる場合、NoOutputOfPriorPicsFlagは、no_output_of_prior_pics_flagの値に関係なく、テスト中の復号装置によって１に設定されてもよい（が、必ずしも設定されなくてもよい）。
【０２７５】
−あるいは、NoOutputOfPriorPicsFlagはno_output_of_prior_pics_flagに等しく設定される。
【０２７６】
２．テスト中の復号装置のために導き出されるNoOutputOfPriorPicsFlagの値は、ＨＲＤのために以下のように適用される。
【０２７７】
−NoOutputOfPriorPicsFlagが１に等しい場合、ＤＰＢ内の全ての画像保存バッファは、当該画像保存バッファが格納する画像を出力せずに空になり、ＤＰＢフルネス（fullness）は０に等しく設定される。
【０２７８】
−あるいは（NoOutputOfPriorPicsFlagが０に等しい場合）、「出力不要」および「参照に不使用」とマーキングされている画像を格納しているすべての画像保存バッファは（出力せずに）空になり、「バンピング」工程１２０４を繰り返し実行することでＤＰＢ内の空になっていないすべての画像保存バッファが空になり、ＤＰＢフルネスは０に等しく設定される。
【０２７９】
−あるいは（現在の画像が１に等しいNoRaslOutputFlagを有するＩＲＡＰ画像ではない場合）、「出力不要」および「参照に不使用」と記されている画像を格納しているすべての画像保存バッファは（出力せずに）空になる。各画像保存バッファが空になると、ＤＰＢフルネスは１ずつ減少される。下記条件の１以上が真である時、下記条件がすべて真でなくなるまで、空になる画像保存バッファが増えるごとにＤＰＢフルネスを１ずつ減少させながら、「バンピング」工程１２０４を繰り返し実行する。
【０２８０】
１．ＤＰＢ内の、その特定のnuh_layer_idの値を有する画像であって、「出力要」とマーキングされた画像の数が、アクティブなシーケンスパラメータセット（その特定のnuh_layer_idの値が０に等しい場合）に由来する、またはその特定のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_num_reorder_pics[HighestTid]よりも大きい。
【０２８１】
２．アクティブなシーケンスパラメータセット（その特定のnuh_layer_idの値が０に等しい場合）に由来する、またはその特定のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_latency_increase_plus1[ HighestTid ] が０に等しくないとともに、ＤＰＢ内の、その特定のnuh_layer_idの値を有する画像であって、関連する変数PicLatencyCountが、その特定のnuh_layer_idの値に対応するSpsMaxLatencyPictures[HighestTid]以上である「出力要」とマーキングされた画像が少なくとも一つある場合。
【０２８２】
３．ＤＰＢ内の、その特定のnuh_layer_idの値を有する画像であって、「出力要」とマーキングされた画像の数が、アクティブなシーケンスパラメータセット（その特定のnuh_layer_idの値が０に等しい場合）に由来する、またはその特定のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_dec_pic_buffering[ HighestTid ]＋１以上である。
【０２８３】
ブロック１２０６（画像復号化およびマーキング）における画像復号処理は、現在の画像を含むアクセスユニットの最新の復号化ユニットがＣＰＢから削除されると同時に実行される。
【０２８４】
ＤＰＢ内の、現在の画像のnuh_layer_idの値に等しいnuh_layer_idの値を有する画像であって、「出力要」とマーキングされた各画像について、関連する変数PicLatencyCountはPicLatencyCount＋１に等しく設定される。
【０２８５】
画像の最新の復号化ユニットが復号化された後に、現在の画像が復号化されたと考えられる。現在の復号化画像は、ＤＰＢ内の空の画像保存バッファに保存され、次の事項が適用される。
【０２８６】
−現在の復号化画像が１に等しいPicOutputFlagを有する場合、「出力要」とマーキングされ、その関連する変数PicLatencyCountが０に等しく設定される。
【０２８７】
−あるいは（現在の復号化画像が０に等しいPicOutputFlagを有する場合）、「出力不要」とマーキングされる。
【０２８８】
現在の復号化画像は「短期参照用に使用」とマーキングされる。
【０２８９】
下記条件の１以上が真である時、下記条件がすべて真でなくなるまで、追加的な「バンピング」工程１２０８を繰り返し実行する。
【０２９０】
−ＤＰＢ内の、現在の画像のnuh_layer_idの値に等しいnuh_layer_idを有する画像であって、「出力要」とマーキングされた画像の数が、アクティブなシーケンスパラメータセット（現在の画像のnuh_layer_idの値が０に等しい場合）に由来する、または現在の画像のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_num_reorder_pics[ HighestTid ]よりも大きい。
【０２９１】
−アクティブなシーケンスパラメータセット（現在の画像のnuh_layer_idの値が０に等しい場合）に由来する、または現在の画像のnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに由来するsps_max_latency_increase_plus1[ HighestTid ] が０に等しくないとともに、ＤＰＢ内の、その特定のnuh_layer_idの値を有する画像であって、関連する変数PicLatencyCountが、その特定のnuh_layer_idの値に対応するSpsMaxLatencyPictures[ HighestTid ]以上である「出力要」とマーキングされた画像が少なくとも一つある。
【０２９２】
上記「バンピング」工程１２０４および追加的なバンピング工程１２０８は、工程の観点から同一のものであり、次の順序付けされた工程からなる。すなわち、初めて出力される画像は、ＤＰＢ内の「出力要」とマーキングされたすべての画像のうち、ピクチャオーダーカウント（picture order count）（PicOrderCntVal）の最も小さい値を有する画像として選択される。ピクチャオーダーカウントは、各画像に関連付けされる変数であり、ＣＶＳ内のすべての画像のうち、関連する画像を一意に識別する。また、上記ピクチャオーダーカウントは、当該関連する画像が復号化画像バッファから出力される時、復号化画像バッファから出力される同じＣＶＳに保存されている他の画像の出力順序の位置に対して、出力順序における当該関連画像の位置を示す。
【０２９３】
−これらの画像は、０に等しいnuh_layer_idを有する画像のためのアクティブなシーケンスパラメータセットまたは当該画像のnuh_layer_idに等しいnuh_layer_idの値に対応するアクティブなレイヤのシーケンスパラメータセットに指定されたコンフォーマンスクロッピングウィンドウ（conformance cropping window）を用いてクロップされ、クロップされた画像はnuh_layer_idの昇順で出力され、当該画像は、「出力不要」とマーキングされる。
【０２９４】
−「参照に不使用」とマーキングされた画像を含み、クロップされて出力された画像の一つを含んでいた各画像保存バッファが空になる。
【０２９５】
図１３Ａを参照すると、上述したように、ＮＡＬユニットヘッダーシンタックスは、２バイト、すなわち１６ビットのデータを含む。最初のビットは、"forbidden_zero_bit"であり、ＮＡＬユニットの開始時に常に０に設定される。次の６ビットは、"nal_unit_type"であり、ＮＡＬユニットに含まれるローバイトシーケンスペイロード（ＲＢＳＰ）データ構造の種類を指定する。次の６ビットは、"nuh_reserved_zero_6bits"である。nuh_reserved_zero_6bits は、規格の基本仕様では０に等しい。必要に応じてnuh_reserved_zero_6bitsの他の値を指定することができる。復号装置は、規格の基本仕様に基づいてストリームを扱う時に、０に等しくないnuh_reserved_zero_6bitsの値を有するＮＡＬユニットをすべて無視する（つまり、ビットストリームから削除して破棄する）。スケーラブル拡張または他の拡張において、スケーラブル映像符号化および／またはシンタックス拡張を信号化するために、nuh_reserved_zero_6bitsは他の値を指定することもできる。シンタックス要素nuh_reserved_zero_6bitsがreserved_zero_6bitsと称される場合もある。シンタックス要素nuh_reserved_zero_6bitsは、図１３Ｂおよび図１３Ｃに示すように、layer_id_plus1またはlayer_idと称される場合もある。この場合、要素layer_idはlayer_id_plus1−１である。この場合、スケーラブル符号化映像のレイヤに関連する情報を信号化するために用いられる。次のシンタックス要素は、"nuh_temporal_id_plus1"である。nuh_temporal_id_plus1−１は、ＮＡＬユニットのための一時的識別子を指定する。変数一時的識別子TemporalIdは、TemporalId＝nuh_temporal_id_plus1−１で指定される。
【０２９６】
一般的なＮＡＬユニットのシンタックス構造を図１４に示す。図１３に示すＮＡＬユニットヘッダーの２バイトのシンタックスは、図１４に示すnal_unit_header()を参照して含まれる。ＮＡＬユニットシンタックスの剰余は、主にＲＢＳＰに関連する。
【０２９７】
"nuh_reserved_zero_6bits"を用いる既存の技術の一つは、６ビットのnuh_reserved_zero_6bitsをスケーラブル符号化映像の異なるレイヤの識別をそれぞれ参照する別個のビットフィールド、すなわち１以上の依存性ＩＤ、品質ＩＤ、ビューＩＤ、および深度フラグに分割することで、スケーラブル映像符号化情報を信号化するためのものである。そのため、上記６ビットは、この特定のＮＡＬユニットが、スケーラブル符号化技術のどのレイヤに属しているのかを示す。そして、図１５に示すような映像パラメータセット（ＶＰＳ）の拡張シンタックス（"scalability_type"）等のデータペイロードにおいて、レイヤの情報が定義される。図１５に示すＶＰＳ拡張シンタックスは、符号化映像シーケンスで使用されているスケーラビリティタイプと、ＮＡＬユニットヘッダーにおけるlayer_id_plus1（またはlayer_id）を介して信号化されるディメンション（dimensions）とを指定する、４ビットのスケーラビリティタイプ（シンタックス要素scalability_type）を含む。スケーラビリティタイプが０に等しい場合、符号化映像シーケンスは基本仕様に準拠する。そのため、すべてのＮＡＬユニットのlayer_id_plus1は０に等しくなり、エンハンスメントレイヤまたはビューに属しているＮＡＬユニットがなくなる。図１６に示すように、スケーラビリティタイプの値が高くなることがわかる。
【０２９８】
layer_id_dim_len[i]は、ｉ番目のスケーラビリティディメンションＩＤの長さをビット単位で指定する。layer_id_dim_len[i]の値の和は、０から７までの範囲のすべてのｉの値について、６以下である。vps_extension_byte_alignment_reserved_zero_bitは０である。vps_layer_id[i]は、以下のレイヤ依存性情報が適用されるｉ番目のレイヤのレイヤＩＤの値を指定する。num_direct_ref_layers[i]は、ｉ番目のレイヤが直接依存するレイヤの数を指定する。ref_layer_id[i][j]は、ｉ番目のレイヤが直接依存するｊ番目のレイヤを識別する。
【０２９９】
このように、既存の技術は、ＮＡＬユニット内および映像パラメータセット内の各スケーラビリティの識別子を信号化して、図１６に記載のスケーラビリティタイプのあいだでビットを割り当てる。次に、各スケーラビリティタイプについて、多くのディメンション（dimensions）をサポートする方法を図１６に定義する。例えば、スケーラビリティタイプ１は、２つのディメンション（すなわち、空間および品質）を有する。各ディメンションについて、layer_id_dim_len[i]は、これら２つのディメンションにそれぞれ割り当てられるビット数を定義し、layer_id_dim_len[i]のすべての値の総和は、ＮＡＬユニットヘッダーのnuh_reserved_zero_6bitsのビット数である６以下となる。このように、この技術を併用することで、どのタイプのスケーラビリティが使用中であるかと、ＮＡＬユニットヘッダーの６ビットがスケーラビリティ間でどのように割り当てられるかが識別される。
【０３００】
図１６に示すような異なるスケーラビリティディメンションの決まった組み合わせは多くの用途に適しているが、図１６には含まれていない望ましい組み合せもある。図１７を参照すると、修正された映像パラメータセットの拡張シンタックスは、シンタックス要素nuh_reserved_zero_6bitsのビットごとにスケーラビリティタイプを指定する。vps_extension_byte_alignment_reserved_zero_bitは０に設定される。max_num_layers_minus1_bitsは、図１３においてlayer_id_plus1またはnuh_reserved_zero_6bitsと称するＮＡＬユニットヘッダーの最初の２バイトのシンタックス要素に使用されるビットの総数を示す。scalability_map[i]は、シンタックス要素layer_id_plus1のビットごとにスケーラビリティタイプを指定する。シンタックス要素layer_id_plus1は、代わりに、シンタックス要素nuh_reserved_zero_6bitsまたはrserved_zero_6bitsと呼ばれる場合もある。シンタックス要素layer_id_plus1のすべてのビットのためのスケーラビリティマップは、符号化映像シーケンスで使用されているスケーラビリティを共に指定する。スケーラビリティタイプのそれぞれの識別子の実際の値は、ＮＡＬユニットヘッダーのlayer_id_plus1（nuh_reserved_zero_6bits）フィールドにおけるそれらの対応するビットを介して信号化される。scalability_map[i]がｉのすべての値について０に等しい場合、符号化映像シーケンスは基本仕様に準拠する。そのため、ＮＡＬユニットのlayer_id_plus1の値は０に等しくなり、エンハンスメントレイヤまたはビューに属しているＮＡＬユニットがなくなる。vps_layer_id[i]は、以下のレイヤ依存性情報が適用されるｉ番目のレイヤのレイヤＩＤの値を指定する。num_direct_ref_layers[i]は、ｉ番目のレイヤが直接依存するレイヤの数を指定する。ref_layer_id[i][j]は、ｉ番目のレイヤが直接依存するｊ番目のレイヤを識別する。
【０３０１】
図１８に示すように、scalability_map[i]の値が高くなることがわかる。scalability_map [i]には、（０）無し、（１）空間、（２）品質、（３）深度、（４）マルチビュー、（５）未指定、（６）予約済、（７）予約済、といったスケーラビリティディメンションが含まれる。
【０３０２】
したがって、ＮＡＬユニットヘッダーの各ビットは、映像パラメータセット内の３ビットに基づいてスケーラビリティスケーラビリティディメンション（例えば、無し、空間、品質、深度、マルチビュー、未指定、予約済）が何であるかが解釈される。例えば、layer_id_plus1のすべてのビットが空間スケーラビリティに対応することを信号化するために、ＶＰＳ内のscalability_mapの値は、ＮＡＬユニットヘッダーの６ビットについて、001 001 001 001 001 001と符号化される。また、例えば、layer_id_plus1の３ビットが空間スケーラビリティに対応し、３ビットが空間スケーラビリティに対応することを信号化するために、ＶＰＳ内のscalability_mapの値は、ＮＡＬユニットヘッダーの６ビットについて、001 001 001 010 010 010と符号化される。
【０３０３】
図１９を参照すると、他の実施形態においては、num_scalability_dimensions_minus1を用いてＮＡＬユニットヘッダーの６ビットにスケーラビリティディメンションの数を信号化する映像パラメータセットが含まれる。num_scalability_dimensions_minus1＋１は、シンタックス要素layer_id_plus1、nuh_reserved_zero_6bits、および／または reserved_zero_6bitsを介して信号化されるスケーラビリティディメンションの数を示す。scalability_map[i]は、図１７に関連して上述したように、同じセマンティクスを有する。num_bits_for_scalability_map[i]は、Ｉ番目のスケーラビリティディメンションについて、長さをビット単位で指定する。ｉ＝０であるnum_bits_for_scalability_map[i]〜num_scalability_dimensions_minus1のすべての総和は、６に等しい（あるいは、シンタックス要素layer_id_plus1、vps_reserved_zero_6bits、max_num_layers_minus1、reserved_zero_6bits、nuh_reserved_zero_6bitsに使用されるビット数に等しい）。
【０３０４】
図１７および図１９に関して、必要に応じて他の変形例を用いてもよい。一実施形態では、例えば、scalability_map[i]は、u(4)または、u(n)（ｎ＞３またはｎ＜３）で信号化されてもよい。この場合、scalability_map[i]の高い値は、映像技術の特定のプロファイルに準拠するビットストリームに予約済として指定される。例えば、スケーラビリティマップの値６〜１５は、scalability_map[i]をu(4)で信号化する時に「予約済」として指定される。他の実施形態においては、例えば、scalability_map[i]は、ue(v)またはその他のコード体系によって信号化されてもよい。他の実施形態においては、例えば、scalability_map[i]の値を単調な非降順（または非昇順）で配置するという制限が指定される。これにより、ＮＡＬユニットヘッダー中のlayer_id_plus1 field内に様々なスケーラビリティディメンションフィールドが連続するようになる。
【０３０５】
シンタックス要素「layer_id_plus1」または「nuh_reserved_zero_6bits」を用いてスケーラブル映像符号化を信号化する別の既存の技術は、映像パラメータセット中の一般的なルックアップテーブルを信号化することで、ＮＡＬユニットヘッダー内のlayer_id_plus1をレイヤ識別にマッピングするために存在する。図２０を参照すると、既存の技術では、ルックアップテーブルのｉ番目のレイヤについてディメンションタイプとディメンション識別の数を指定する映像パラメータセットを含む。特に、vps_extension_byte_alignment_reserved_zero_bitは０である。num_dimensions_minus1[i]＋１は、ｉ番目のレイヤについて、ディメンションタイプ（dimension_type[i][j]）およびディメンション識別子（dimension_id[i][j]）の数を指定する。上記dimension_type[i][j]は、図３１に示すように、ｉに等しいlayer_idまたはlayer_id_plus1を有するｉ番目のレイヤのｊ番目のスケーラビリティディメンションタイプを指定する。図２１に示すように、識別されるディメンションは、（０）ビューオーダーｉｄｘ、（１）深度フラグ、（２）依存性ＩＤ、（３）品質ＩＤ、（４）〜（１５）予約済を含む。dimension_id[i][j]は、存在しない場合０だと推定されるｉ番目のレイヤのｊ番目のスケーラビリティディメンションタイプの識別子を指定する。num_direct_ref_layers[i]は、ｉ番目のレイヤが直接依存するレイヤの数を指定する。ref_layer_id[i][j]は、ｉ番目のレイヤが直接依存するｊ番目のレイヤを識別する。残念なことに、図２０に示す提案された実施形態では、非実際的なほど大きなルックアップテーブルとなっている。
【０３０６】
図２２を参照すると、修正された映像パラメータセット拡張は、スケーラビリティディメンションと併用されるスケーラビリティマスクを含む。上記scalability_maskは、図２３に示すスケーラビリティマップのシンタックスで表すような一つのスケーラビリティディメンションに対応する各ビットを用いて、０と１のビットのパターンを信号化する。特定のスケーラビリティディメンションの値が１である場合、このスケーラビリティディメンションがこのレイヤ（Ｉ番目のレイヤ）に存在することを示す。特定のスケーラビリティディメンションの値が０である場合、このスケーラビリティディメンションがこのレイヤ（Ｉ番目のレイヤ）に存在しないことを示す。例えば、00100000といった一連のビットは、品質スケーラビリティを意味する。存在する特定のスケーラビリティディメンションの実際の識別子の値は、信号化されたscalability_id[j]の値で示される。num_scalability_types[i]の値は、１の値を有するscalability_mask内のビットの総数に等しい。
したがって、
【０３０７】
【数９】
2018164282.tif 000018
【０３０８】
となる。
【０３０９】
上記scalability_id[j]は、scalability_maskの値で信号化されたスケーラビリティタイプの値に対応するｊ番目のスケーラビリティディメンションの識別子の値を示す。
【０３１０】
図２４を参照すると、図２２の変形例は、ループの外で信号化されているスケーラビリティマスクを含む。これにより、各レイヤの識別のための一つの共通のマスクが得られる。図２５を参照すると、本変形例では、対応する例示的な映像パラメータセットは、含まれていないスケーラビリティマスクを有するスケーラブルな識別（scalable identification）を含む。この場合、シンタックス要素scalable_id[j]は、図２２のシンタックス要素scalability_id[j]と同じように解釈される。
【０３１１】
図２６を参照すると、図２２の変形例は、ループの外で信号化されているスケーラビリティマスク（scalability_mask）を含む。これにより、各レイヤの識別のための一つの共通のマスクが得られる。上記scalability_maskは、図２７に示すスケーラビリティマップのシンタックスで表すような一つのスケーラビリティディメンションに対応する各ビットを用いて、０と１のビットのパターンを信号化する。特定のスケーラビリティディメンションの値が１である場合、このスケーラビリティディメンションがこのレイヤ（ｉ番目のレイヤ）に存在することを示す。特定のスケーラビリティディメンションの値が０である場合、このスケーラビリティディメンションがこのレイヤ（ｉ番目のレイヤ）に存在しないことを示す。例えば、00100000といった一連のビットは、品質スケーラビリティを意味する。存在する特定のスケーラビリティディメンションの実際の識別子の値は、信号化されたscalability_id[j]の値で示される。num_scalability_types[i]の値は、１の値を有するscalability_mask内のビットの総数に等しい。したがって、
【０３１２】
【数１０】
2018164282.tif 000019
【０３１３】
となる。
【０３１４】
この場合、変数scalability_id[j]は、代わりに、変数dimension_id[i][j]と呼ばれる。dimension_id[i][j]は、ｉ番目のレイヤのｊ番目のスケーラビリティディメンションのスケーラビリティの識別子を指定する。次に、変数ScalabilityId[i][j]は以下のように導き出される。
【０３１５】
【表７】
2018164282.tif 000020
【０３１６】
ScalabilityId[i][k]は、対応するスケーラビリティタイプについて、ディメンションＩＤを以下のように信号化する。
【０３１７】
【表８】
2018164282.tif 000021
【０３１８】
DependencyId[i][1]は、ｉ番目のレイヤの空間スケーラビリティディメンションについての依存性ＩＤである。QualityId[i][2]は、ｉ番目のレイヤの品質スケーラビリティディメンションについての品質ＩＤである。depthFlag[i][3]は、ｉ番目のレイヤの深度スケーラビリティディメンションについての深度フラグ／深度ＩＤである。ViewId[i][4]は、ｉ番目のレイヤのマルチビュースケーラビリティディメンションについてのビューＩＤである。
【０３１９】
また、図２６において、１に等しいavc_base_codec_flagは、ベースレイヤがRec. ITU-T H.264 | ISO/IEC 14496-10に準拠することを指定し、１に等しいavc_base_codec_flagはＨＥＶＣに準拠することを指定する。vps_nuh_layer_id_presnet_flagは、ＮＡＬユニットヘッダーのlayer_idの値を信号化する変数layer_id_in_nuh[i]が信号化されているかを示す。
【０３２０】
他の実施形態において、シンタックス要素scalability_mask[i]、scalability_maskおよびscalability_id[j]のうち１以上のシンタックス要素は、u(8)とは異なる数のビットを用いて信号化されてもよい。例えば、上記シンタックス要素は、u(16)またはu(n)（ｎ＞８またはｎ＜８）を用いて信号化してもよい。他の実施形態において、これらのシンタックス要素のうち１以上のシンタックス要素は、ue(v)を用いて信号化してもよい。scalability_maskは、シンタックス要素layer_id_plus1、vps_reserved_zero_6bits、max_num_layers_minus1、reserved_zero_6bitsおよび／またはnuh_reserved_zero_6bitsにおけるＮＡＬユニットヘッダーにおいて信号化される。いくつかの実施形態において、システムは、上記の処理をＶＰＳのＮＡＬユニットのみについて、非ＶＰＳのＮＡＬユニットのみについて、またはすべてのＮＡＬユニットについて行ってもよい。さらに他の実施形態において、scalability_maskは、ビットストリーム中の任意の箇所で、画像ごとに信号化してもよい。例えば、scalability_maskは、スライスヘッダー、ピクチャパラメータセット、映像パラメータセット、もしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
【０３２１】
なお、図１３のＮＡＬユニットヘッダー中のシンタックス要素nuh_reserved_zero_6bitsまたはlayer_id_plus1が６ビットであるため、図１３、１５、１８、２０、２１、２２、２３および対応する記載は、６ビットを表す。しかし、そのシンタックス要素に６ビットではない異なる数のビットを使用した場合には、上記の記載をすべて変更することができる。例えば、図１７においてそのシンタックス要素（nuh_reserved_zero_6bitsまたはlayer_id_plus1）に、９ビットを代わりに使用した場合、the value of max_num_layer_minus1のビットの値は、９となり、scalability_map[i]は６ビットではなく、９ビットの各ビットについて信号化される。
【０３２２】
図２４を参照すると、図２２の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。新たなシンタックス要素layer_dependency_information_patternを定義する。
【０３２３】
layer_dependency_information_patternは、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。ｉ番目のビットの値が０である場合、layer_id (i+1)を有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id (i+1)を有するレイヤが１以上の他のレイヤに依存する依存レイヤであることを示す。
【０３２４】
NumDepLayersの値は、１の値を有するlayer_dependency_information_patternのビットの総数に等しい。したがって、
【０３２５】
【数１１】
2018164282.tif 000022
【０３２６】
となる。
【０３２７】
図２９を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。新たなシンタックス要素layer_dependency_flag[i]を定義する。上記layer_dependency_flag[i]は、あるレイヤが他のレイヤに依存する場合に信号化する。フラグの値が０である場合、layer_id iを有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id iを有するレイヤが依存レイヤであることを示す。
【０３２８】
図３０を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。新たなシンタックス要素layer_dependency_map[i]を定義する。上記layer_dependency_map[i]は、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。layer_dependency_map[i]のｋ番目のビットの値が０である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存しないことを示す。layer_dependency_map[i]のｋ番目のビットの値が１である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存することを示す。
【０３２９】
図３１を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。新たなシンタックス要素layer_dependency_information_patternを定義する。
【０３３０】
上記layer_dependency_information_patternは、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。ｉ番目のビットの値が０である場合、layer_id (i+1)を有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id (i+1)を有するレイヤが１以上の他のレイヤに依存する依存レイヤであることを示す。NumDepLayersの値は、１の値を有するlayer_dependency_information_patternのビットの総数に等しい。したがって、
【０３３１】
【数１２】
2018164282.tif 000023
【０３３２】
となる。
【０３３３】
layer_dependency_map[i]は、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。layer_dependency_map[i]のｋ番目のビットの値が０である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存しないことを示す。layer_dependency_map[i]のｋ番目のビットの値が１である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存することを示す。
【０３３４】
図３２を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。図２８は、図２７に示すシンタックスに基づくシンタックスの変形例である。新たなシンタックス要素layer_dependency_information_patternを定義する。
【０３３５】
layer_dependency_information_patternは、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。ｉ番目のビットの値が０である場合、layer_id (i+1)を有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id (i+1)を有するレイヤが１以上の他のレイヤに依存する依存レイヤであることを示す。
【０３３６】
NumDepLayersの値は、１の値を有するlayer_dependency_information_patternのビットの総数に等しい。したがって、
【０３３７】
【数１３】
2018164282.tif 000024
【０３３８】
となる。
【０３３９】
シンタックス要素num_direct_ref_layers[i]およびref_layer_id[i][j]は、layer_dependency_information_pattern(i)の値が１である場合にのみ信号化される。なお、layer_depdndency_information_pattern(i)はシンタックス要素layer_dependency_patternのｉ番目のビットである。
【０３４０】
図３３を参照すると、図２６の変形例は、レイヤ依存性情報を信号化するためのシンタックスを備える。図２９は、図３１に示すシンタックスに基づくシンタックスの変形例である。新たなシンタックス要素layer_dependency_information_patternを定義する。
【０３４１】
layer_dependency_information_patternは、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。ｉ番目のビットの値が０である場合、layer_id (i+1)を有するレイヤが独立したレイヤであることを示す。ｉ番目のビットの値が１である場合、layer_id (i+1)を有するレイヤが１以上の他のレイヤに依存する依存レイヤであることを示す。
【０３４２】
NumDepLayersの値は、１の値を有するlayer_dependency_information_patternのビットの総数に等しい。したがって、
【０３４３】
【数１４】
2018164282.tif 000025
【０３４４】
となる。
【０３４５】
layer_dependency_map[i]は、vps_max_layers_minus1に等しい長さを用いて、０と１のビットのパターンを信号化する。layer_dependency_map[i]のｋ番目のビットの値が０である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存しないことを示す。layer_dependency_map[i]のｋ番目のビットの値が１である場合、レイヤｉがlayer_id (k+1)を有するレイヤに依存することを示す。シンタックス要素layer_dependency_map[i]は、layer_dependency_information_pattern(i)の値が１である場合にのみ信号化される。なお、layer_depdndency_information_pattern(i)はシンタックス要素layer_dependency_patternのｉ番目のビットである。
【０３４６】
他の実施形態において、シンタックス要素layer_dependency_information_patternは、一連の１ビットのフラグの値として信号化されてもよい。この場合、vps_max_layers_minus1の１ビットの値の合計は次のように信号化される。
【０３４７】
【表９】
2018164282.tif 000026
【０３４８】
他の実施形態において、シンタックス要素layer_dependency_map[i]は、一連の１ビットのフラグの値として信号化されてもよい。この場合、vps_max_layers_minus1の１ビットの値の合計は次のように信号化される。
【０３４９】
【表１０】
2018164282.tif 000027
【０３５０】
他の実施形態において、上記シンタックス要素layer_dependency_information_pattern、layer_dependency_mapのうちの一または複数は、u(v)の代わりに既知の一定数のビットを用いて信号化してもよい。例えば、上記シンタックス要素は、u(64)を用いて信号化してもよい。
【０３５１】
他の実施形態において、上記シンタックス要素layer_dependency_information_pattern、layer_dependency_mapのうちの一または複数は、ue(v)またはその他のコード体系によって信号化してもよい。
【０３５２】
他の実施形態において、種々のシンタックス要素の名称およびセマンティクスは、上述のシンタックスおよびセマンティクスと比較して、plus1もしくはplus2を加算、またはminus1もしくはminus2を減算することによって変更してもよい。
【０３５３】
さらに他の実施形態において、layer_dependency_information_pattern、layer_dependency_map、layer_dependency_flag[i]などの種々のシンタックス要素は、上記ビットストリーム中の任意の箇所で、画像ごとに信号化してもよい。例えば、スライスヘッダー、ｐｐｓ／ｓｐｓ／ｖｐｓ／ａｐｓもしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
【０３５４】
先述したように、スケーラブル映像符号化は、一または複数のサブセットビットストリームを含む映像ビットストリームを符号化する技術である。サブセット映像ビットストリームは、より大きい映像からパケットを減らして上記サブセットビットストリームに必要とされる帯域幅を削減することによって得られ得る。上記サブセットビットストリームは、より低い空間分解能（より小さい画面）、より低い時間分解能（より低いフレームレート）、またはより低い品質の映像信号を表すこともある。例えば、映像ビットストリームは５つのサブセットビットストリームを含み、これらサブセットビットストリームのそれぞれがベースビットストリームに追加内容を追加するものであってもよい。Hannukselaらによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５３「Test Model for Scalable Extensions of High Efficiency Video Coding (HEVC)」の全体が、本明細書中に参考として援用される。Chenらによる２０１３年３月のジュネーヴでのＪＣＴＶＣ−Ｌ１００８「SHVC Draft Text 1」の全体が、本明細書中に参考として援用される。Wangらによる２０１３年４月の仁川でのＪＣＴＶＣ−Ｍ０２６８「AHG9: On VPS and SPS in HEVC 3DV and scalable extensions」の全体が、本明細書中に参考として援用される。
【０３５５】
先述したように、マルチビュー映像符号化は、代替ビュー（alternative view）を表す一または複数の他のビットストリームを含む映像ビットストリームを符号化する技術である。例えば、多重ビュー（multiple view）は、立体視的な映像のための一対のビューであってもよい。例えば、多重ビューは、異なる視点からの同一のシーンの多重ビューを表すものであってもよい。多重ビューは、その画像が異なる視点からの同一のシーンの画像であるため、一般にビュー間の統計的な依存性を多く含む。したがって、時間的な予測とビュー間の予測とを組み合わせることで、効率的なマルチビュー符号化を実現できる可能性がある。例えば、フレームは、時間的に関係するフレームからだけではなく、隣接する視点のフレームからも、効率的に予測できる可能性がある。Hannukselaらによる２０１３年１月のジュネーヴでのＪＣＴＶＣ−Ｌ０４５２「Common specification text for scalable and multi-view extensions」の全体が、本明細書中に参考として援用される。Techらによる２０１３年１月のジュネーヴでのＪＣＴ３Ｖ−Ｃ１００４＿ｄ３「MV-HEVC Draft Text 3 (ISO/IEC 23008-2:201x/PDAM2)」の全体が、本明細書中に参考として援用される。
【０３５６】
Chenらによる２０１３年１月のジュネーヴでのＪＣＴＶＣ−Ｌ１００８「SHVC Draft Text 1」、Hannukselaらによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５３−ｓｐｅｃ−ｔｅｘｔ「Test Model for Scalable Extensions of High Efficiency Video Coding (HEVC)」、およびHannukselaによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５２−ｓｐｅｃ−ｔｅｘｔ−ｒ１「Draft Text for Multiview Extension of High Efficiency Video Coding (HEVC)」は、それぞれの全体が、本明細書中に参考として援用されるが、ＪＣＴＶＣ−Ｌ０４５２およびＪＣＴＶＣ−Ｌ０４５３のそれぞれが、出力動作点の概念を有する。これはその後、ＪＣＴＶＣ−Ｌ１００８において出力レイヤセットの概念へと変化した。シンタックス要素num_output_operation_pointsについては、output_op_point_index[]およびoutput_layer_flag[][]がＪＣＴＶＣ−Ｌ０４５３およびＬＣＴＶＣ−Ｌ０４５２の出力動作点のために定義され、ＪＣＴＶＣ−Ｌ１００８においてnum_output_layer_sets、output_layer_set_idx[]、およびoutput_layer_flag[][]に改変された。これらの文献のそれぞれにおいて、レイヤ依存性変化ＳＥＩメッセージが定義される。上記ＳＥＩメッセージにより、上記ＳＥＩメッセージを含む現在のアクセスユニットから開始するレイヤ依存性情報変化を信号化できる。
【０３５７】
Chenらによる２０１３年１月のジュネーヴでのＪＣＴＶＣ−Ｌ１００８「SHVC Draft Text 1」、Hannukselaらによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５３−ｓｐｅｃ−ｔｅｘｔ「Test Model for Scalable Extensions of High Efficiency Video Coding (HEVC)」、およびHannukselaによる２０１２年１０月の上海でのＪＣＴＶＣ−Ｌ０４５２−ｓｐｅｃ−ｔｅｘｔ−ｒ１「Draft Text for Multiview Extension of High Efficiency Video Coding (HEVC)」は、それぞれの全体が、本明細書中に参考として援用されるものであり、それぞれが、上記ＤＰＢからの画像０の出力および削除のためのシンタックス要素sps_max_num_reorder_pics[HighestTid]、sps_max_latency_increase_plus1[HighestTid]、およびsps_max_dec_pic_buffering[HighestTid]を用いることに基づいて動作する出力順序復号化画像バッファ（ＤＰＢ）を有する。この情報は、上記ベースレイヤのための映像パラメータセット中に信号化されており、これにより、上記エンハンスメントレイヤがあればそれを含む映像内容のためのバッファ用情報が得られる。
【０３５８】
図３４に、映像パラメータセットの他の例を示す。図３４の映像パラメータセットは、特に、関連する映像パラメータセット拡張（vps_extension）への参照を含む。このvps_extensionは、vps_extension_flag、vps_extension2_flag、および／またはvps_extension_data_flagによって信号化してもよい。
【０３５９】
図３５に、映像パラメータセット拡張の他の例を示す。図３５の映像パラメータセット拡張は、特に、num_output_layer_setsへの参照を含むが、これは、ビットストリームのレイヤセットのうち、復号装置が視聴者に対して出力するレイヤを定義するものである。num_output_layer_setsは、出力レイヤがoutput_layer_set_index[ i ]およびoutput_layer_flag[ lsIdx ][ j ]によって指定されるレイヤセットの数を指定する。num_output_layer_setsは、存在しないとき、その値は０と等しいものと推定される。出力レイヤを記述するレイヤセットは、出力レイヤセットである。
【０３６０】
output_layer_set_idx[ i ]は、output_layer_flag[ lsIdx][ j ]が存在するレイヤセットのインデックスlsIdxを指定する。
【０３６１】
output_layer_flag[ lsIdx ][ j ]が１と等しい場合は、nuh_layer_idがｊと等しいレイヤがｌｓＩｄｘ番目のレイヤセットの対象出力レイヤであることを指定する。output_layer_flag[ lsIdx ][ j ]の値が０と等しい場合は、nuh_layer_idがｊと等しいレイヤがｌｓＩｄｘ番目のレイヤセットの対象出力レイヤではないことを指定する。
【０３６２】
上記num_output_layer_setsが上述のようにvps_extensionに定義されることで、上記num_output_layer_setsは、新しい映像パラメータセットを対応する映像パラメータセット拡張とともに送ることで更新することができる。しかしながら、上記新しい映像パラメータセットを上記対応する映像パラメータセット拡張とともに送ることで、利用可能な帯域幅が著しく減少する結果になる。そのうえ、新しい映像パラメータセットは、例えばイントラランダムアクセスポイント画像などの一定種類の画像でしか有効化し得ない。
【０３６３】
例えば、ビットストリームは、ベースレイヤ０と、４つのエンハンスメントレイヤ、すなわち、エンハンスメントレイヤ１、エンハンスメントレイヤ２、エンハンスメントレイヤ３、およびエンハンスメントレイヤ４とを含んでいてもよい。第一のレイヤセットは、ベースレイヤ０およびエンハンスメントレイヤ１であってもよい。第二のレイヤセットは、ベースレイヤ０、エンハンスメントレイヤ１、およびエンハンスメントレイヤ２であってもよい。第三のレイヤセットは、ベースレイヤ０、エンハンスメントレイヤ１、およびエンハンスメントレイヤ３であってもよい。第四のレイヤセットは、ベースレイヤ０およびエンハンスメントレイヤ４であってもよい。上記出力レイヤセットは、出力として得られることがあるレイヤセットの特定のレイヤを定義する。例えば、出力レイヤセット１は、レイヤ０は出力であり、レイヤ１は出力ではないことを定義してもよい。例えば、出力レイヤセット２は、レイヤ０は出力であり、レイヤ１は出力であり、レイヤ２は出力ではないことを定義してもよい。例えば、出力レイヤセット３は、レイヤ０は出力ではなく、レイヤ１は出力ではなく、レイヤ３は出力であることを定義してもよい。例えば、出力レイヤセット４は、レイヤ０は出力であり、レイヤ４は出力ではないことを定義してもよい。出力レイヤの数を制限することは、制限された復号化能力のを融通するのに有用である。場合によっては、異なるレイヤ間の依存性のいくつかを無効にして、他のレイヤの復号化および／または復号装置能力の余地を作ることが望ましい。レイヤ依存性のいくつかが変化する場合は、他のレイヤを有効にする、無効にする、および／または出力レイヤとして追加することが同様に望ましい。例えば、レイヤ依存性変化によって、特定の対象レイヤ（例えば、ＭＶ−ＨＥＶＣでのビュー）を復号化するために復号化する必要があるレイヤの数が少なくなる可能性がある。よって、復号装置が、レイヤ依存性変化の後に、ハードウェアの制限によって以前は復号化・出力できなかったレイヤ（および、例えば、追加ビュー）を復号化・出力できる可能性がある。現在は、新しい映像パラメータセットを送ることなく出力レイヤセットにおける変化を信号化できる機構は存在しない。
【０３６４】
図３６を参照すると、ＳＥＩメッセージシンタックスを使用して、上記出力レイヤセット、すなわち、output_layer_sets_change(payloadSize)の変化を容易にすることができる。このＳＥＩメッセージは、上記出力層セット情報変化が上記ＳＥＩメッセージを含む現在のアクセスユニットから開始し、アクティブな映像パラメータセットに対して解釈されることを示す。１より大きい数の映像パラメータセットが上記ビットストリームとともに含まれていてもよく、上記アクティブな映像パラメータセットは所望のように変更される。出力レイヤセット変化ＳＥＩメッセージは、存在するとき、現在のアクセスユニットとそれに続くすべてのアクセスユニットからなる対象アクセスユニットセットに対して、復号化順序で、次の出力レイヤセット変化ＳＥＩメッセージまたは符号化映像シーケンスの末尾のうちの、いずれか復号化順序の早い方まで適用される。出力レイヤセット変化ＳＥＩメッセージには、蓄積効果がない方が好ましい。
【０３６５】
active_vps_idは、上記変化または追加が適用された出力レイヤセット情報を含むアクティブな映像パラメータセットを特定する。active_vps_idの値は、上記ＳＥＩメッセージを含むアクセスユニットのＶＣＬ  ＮＡＬユニットに対するアクティブな映像パラメータセットのvideo_parameter_set_idの値と等しい。
【０３６６】
num_changed_output_layer_setsは、active_vps_idで特定されたアクティブな映像パラメータセットのｖｐｓ拡張部で出力レイヤが指定される変化した出力レイヤセットの数を指定する。num_changed_output_layer_setsの値は、０以上num_output_layer_sets以下の範囲になるであろう。存在しないとき、num_changed_output_layer_setsの値は０と等しいものと推定される。
【０３６７】
changed_output_layer_sets_idx_entry'[ i ]は、output_layer_flag[ clsIdx ][ j ]の変化が適用されるactive_vps_idによって特定されるｖｐｓ拡張での出力レイヤセットのエントリのリスト中のインデックスエントリを特定する。changed_output_layer_set_idx_entry[ i ]の値は、０以上num_output_layer_sets以下の範囲になるであろう。ｊがｉと等しくない場合、changed_output_layer_sets_idx_entry[ i ]は、changed_output_layer_sets_idx_entry[ j ]と等しくない。
【０３６８】
output_layer_flag'[ clsIdx ][ j ]が１と等しい場合は、nuh_layer_idがｊと等しいレイヤがｃｌｓＩｄｘ番目のレイヤセットの対象出力レイヤであることを指定する。output_layer_flag[ clsIdx ][ j ]の値が０と等しい場合は、nuh_layer_idがｊと等しいレイヤがｃｌｓＩｄｘ番目のレイヤセットの対象出力レイヤではないことを指定する。
【０３６９】
ｃｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ clsIdx ][ j ]が存在しないとき、output_layer_flag[ clsIdx ][ j ]は(j = = LayerSetLayerIdList[ clsIdx ][ NumLayersInIdList[ clsIdx ] - 1 ])と等しいものと推定される。
【０３７０】
num_addl_output_layer_setsは、出力レイヤがaddl_output_layer_set_idx[ i ]およびoutput_layer_flag[ addllsIdx ][ j ]によって指定される追加レイヤセットの数を指定する。存在しないとき、num_addl_output_layer_setsの値は０と等しいものと推定される。addl_output_layer_sets_idx'[ i ]は、output_layer_flag[addllsIdx][j]が存在するレイヤセットのインデックスａｄｄｌｌｓＩｄｘを特定する。
【０３７１】
output_layer_flag'[ addllsIdx ][ j ]が１と等しい場合は、nuh_layer_idがｊと等しいレイヤがａｄｄｌｌｓＩｄｘ番目のレイヤセットの対象出力レイヤであることを指定する。output_layer_flag[ addllsIdx ][ j ]の値が０と等しい場合は、nuh_layer_idがｊと等しいレイヤがａｄｄｌｌｓＩｄｘ番目のレイヤセットの対象出力レイヤではないことを指定する。
【０３７２】
ａｄｄｌｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ addllsIdx ][ j ]が存在しないとき、output_layer_flag[ addllsIdx ][ j ]は、(j = = LayerSetLayerIdList[ addllsIdx ][ NumLayersInIdList[ addllsIdx ] - 1 ])と等しいものと推定される。
【０３７３】
ａｄｄｌｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ addllsIdx ][ j ]が存在しないとき、および、ｃｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ clsIdx ][ j ]が存在しないとき、output_layer_flag[ addllsIdx ][ j ]は、(j = = LayerSetLayerIdList[ addllsIdx ][ NumLayersInIdList[ addllsIdx ] - 1 ])と等しいものと推定される。
【０３７４】
ａｄｄｌｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ addllsIdx ][ j ]が存在しないとき、および、ｃｌｓＩｄｘが０以上vps_num_layer_sets_minus1以下の範囲であり、ｊが０以上６３以下の範囲である場合に、output_layer_flag[ clsIdx ][ j ]が存在しないとき、output_layer_flag[ clsIdx ][ j ]は、(j = = LayerSetLayerIdList[ clsIdx ][ NumLayersInIdList[ clsIdx ] - 1 ])と等しいものと推定される。
【０３７５】
所望であれば、出力レイヤの対象リストを得ることもできる。対象出力レイヤ特定リストtargetOpLayerIdListは、nuh_layer_idの値のリストを、選択された出力レイヤセットの出力レイヤであるnuh_layer_idの値の小さい順に指定するものであり、以下のように得ることができる。
【０３７６】
選択された出力レイヤセットoLsIdxについては、対象出力レイヤ特定リストtargetOpLayerIdListを以下のように得られる。
【０３７７】
【表１１】
2018164282.tif 000028
【０３７８】
対象出力レイヤセットは、関連する対象出力レイヤ特定リストtargetOpLayerIdListによって特定してもよい。
【０３７９】
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージがない場合、０〜num_output_layer_setsである。
【０３８０】
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在する場合、０〜num_output_layer_sets＋num_addl_output_layer_setsである。
【０３８１】
所望であれば、復号化済みレイヤの対象リストを得ることもできる。対象復号化済みレイヤ特定リストtargetDLayerIdListは、上記選択された出力レイヤセットのために復号化する必要があるnuh_layer_idの値のリストを指定するものであり、以下のように得ることができる。
【０３８２】
上記選択された出力レイヤセットoLsIdxについては、対象出力レイヤ特定リストtargetOpLayerIdListを以下のように得られる。
【０３８３】
【表１２】
2018164282.tif 000029
【０３８４】
対象復号化済みレイヤ特定リストtargetDLayerIdListは、以下のように得られる。
【０３８５】
【表１３】
2018164282.tif 000030
【０３８６】
上記targetDLayerIdListをnuh_layer_idの値の小さい順に並べることによって、最終的なtargetDLayerIdListを得られる場合もある。
【０３８７】
対象復号化済みレイヤセットは、関連する対象復号化済みレイヤ特定リストtargetDLayerIdListによって特定される。上記targetDLayerIdListは、ＪＣＴＶＣ−Ｌ１００８のレイヤ特定リストTargetDecLayerIdListと同じ場合もある。ＪＣＴＶＣ−Ｌ１００８は、復号化されるＮＡＬユニットのnuh_layer_idの値のリストを、nuh_layer_idの値の小さい順に指定する。
【０３８８】
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在しない場合、０〜num_output_layer_setsである。
【０３８９】
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在する場合、０〜num_output_layer_sets＋num_addl_output_layer_setsである。
【０３９０】
図３７を参照すると、他のＳＥＩメッセージシンタックスを用いて、上記出力レイヤセットの変化、すなわちoutput_layer_sets_change(payloadSize)を容易にしてもよい。
【０３９１】
num_deleted_output_layer_setsは、削除されて、もはや存在しない出力レイヤセットの数を指定する。num_deleted_output_layer_setsの値は、０以上num_output_layer_sets以下の範囲である。存在しないとき、num_deleted_output_layer_setsの値は、０と等しいものと推定される。
【０３９２】
deleted_output_layer_sets_idx_entry'[ i ]は、出力レイヤセットのエントリのリスト中で、削除されて、もはや存在しないと示されるインデックスエントリを特定する。deleted_output_layer_set_idx_entry[ i ]の値は、０以上num_output_layer_sets以下の範囲になるだろう。上記deleted_output_layer_sets_idx_entry[ i ]は、ｊがｉと等しくない場合、deleted_output_layer_sets_idx_entry[ j ]と等しくない。
【０３９３】
num_changed_output_layer_setsは、active_vps_idで特定されたアクティブな映像パラメータセットのｖｐｓ拡張部で出力レイヤが指定される変化した出力レイヤセットの数を指定する。num_changed_output_layer_setsの値は、０以上num_output_layer_sets−num_deleted_output_layer_sets以下の範囲になるであろう。存在しないとき、num_changed_output_layer_setsの値は０と等しいものと推定される。
【０３９４】
所望であれば、出力レイヤの対象リストを得ることもできる。対象出力レイヤ特定リストtargetOpLayerIdListは、nuh_layer_idの値のリストを、選択された出力レイヤセットの出力レイヤであるnuh_layer_idの値の小さい順に指定するものであり、以下のように得ることができる。
【０３９５】
上記選択された出力レイヤセットoLsIdxについては、対象出力レイヤ特定リストtargetOpLayerIdListを以下のように得られる。
【０３９６】
【表１４】
2018164282.tif 000031
【０３９７】
対象出力レイヤセットは、関連する対象出力レイヤ特定リストtargetOpLayerIdListによって特定される。
【０３９８】
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在しない場合、０からnum_output_layer_setsまでのあいだである。
【０３９９】
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在する場合、０からnum_output_layer_sets−num_deleted_output_layer_sets＋num_addl_output_layer_setsまでのあいだである。
【０４００】
所望であれば、復号化済みレイヤの対象リストを得ることもできる。
【０４０１】
対象復号化済みレイヤ特定リストTargetDLayerIdListは、上記選択された出力レイヤセットのために復号化する必要があるnuh_layer_idの値のリストを指定するものであり、以下のように得ることができる。
【０４０２】
上記選択された出力レイヤセットoLsIdxについては、対象出力レイヤ特定リストtargetOpLayerIdListを以下のように得ることができる。
【０４０３】
【表１５】
2018164282.tif 000032
【０４０４】
さらに、対象復号化済みレイヤ特定リストtargetDLayerIdListは、以下のように得ることができる。
【０４０５】
【表１６】
2018164282.tif 000033
【０４０６】
上記targetDLayerIdListをnuh_layer_idの値の小さい順に並べることによって、最終的なtargetDLayerIdListを得られる場合もある。
【０４０７】
対象復号化済みレイヤセットは、関連する対象復号化済みレイヤ特定リストtargetDLayerIdListによって特定される。上記targetDLayerIdListは、ＪＣＴＶＣ−Ｌ１００８のレイヤ特定リストTargetDecLayerIdListと同じ場合もある。ＪＣＴＶＣ−Ｌ１００８は、復号化されるＮＡＬユニットのnuh_layer_idの値のリストを、nuh_layer_idの値の小さい順に指定する。
【０４０８】
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在しない場合、０からnum_output_layer_setsまでのあいだである。
【０４０９】
上記選択された出力レイヤセットoLsIdxは、出力レイヤセット変化ＳＥＩメッセージが存在する場合、０からnum_output_layer_sets−num_deleted_output_layer_sets＋num_addl_output_layer_setsまでのあいだである。
【０４１０】
上記出力レイヤセット変化ＳＥＩメッセージは、効果が蓄積するものではないと定義される。他の実施形態において、このメッセージシンタックスおよび／またはセマンティクスは、蓄積するものであると定義することができる。この場合、上記復号装置（および符号化装置）は、（ｖｐｓ拡張からの）num_output_layer_sets、および／またはnum_deleted_output_layer_sets、および／またはnum_changed_output_layer_sets、および／またはnum_addl_output_layer_setsの以前の値のすべてについて記録を取ることができ、新しいＳＥＩメッセージが信号化されるたびに、これらの変化を蓄積することができる。
【０４１１】
他の実施形態において、上記シンタックス要素のうちの一または複数は、u(v)の代わりに、ue(v)の代わりに既知の一定の数のビットを用いて信号化してもよい。例えば、上記シンタックス要素は、u(8)、u(16)、u(32)、またはu(64)などを用いて信号化してもよい。
【０４１２】
他の実施形態において、これらのシンタックス要素のうちの一または複数は、u(v)符号化などの一定の数のビットの代わりに、ue(v)またはその他のコード体系で信号化することもできる。
【０４１３】
他の実施形態において、種々のシンタックス要素の名称およびセマンティクスは、上述のシンタックスおよびセマンティクスと比較して、plus1もしくはplus2を加算、またはminus1もしくはminus2を減算することによって変更してもよい。
【０４１４】
さらに他の実施形態において、出力レイヤセットＳＥＩメッセージに含まれる種々のシンタックス要素は、ビットストリーム中の任意の箇所で、画像ごとに、または、他の周波数で、信号化してもよい。例えば、上記シンタックス要素は、スライスヘッダー、ｐｐｓ／ｓｐｓ／ｖｐｓ／適応パラメータセットもしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
【０４１５】
さらに他の実施形態において、種々のシンタックス要素は、ビットストリーム中の任意の箇所で、画像ごとに、または、他の周波数で、信号化してもよい。例えば、上記シンタックス要素は、スライスヘッダー、ｐｐｓ／ｓｐｓ／ｖｐｓ／適応パラメータセットもしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
【０４１６】
さらに他の実施形態において、本発明において定義される、出力レイヤセットに関する概念は、すべてＪＣＴＶＣ−Ｌ０４５２およびＪＣＴＶＣ−Ｌ０４５３で定義される出力動作点、ならびに／またはＪＣＴＶＣ−Ｌ１００３で定義される動作点に適用し得る。
〔実施形態２〕
本発明に係る他の実施例を以下に説明する。なお、説明の便宜上、実施例１にて説明した対応部材と同じ機能を有する部材については、同じ符号を付与し、本実施例ではその説明を省略する。
【０４１７】
出力順序復号化画像バッファ（ＤＰＢ）から画像を出力および削除するためのシンタックス要素ps_max_num_reorder_pics[HighestTid]、sps_max_latency_increase_plus1[HighestTid]およびsps_max_dec_pic_buffering[HighestTid]の使用に基づいてのＤＰＢの信号化は、例えばユーザの視聴嗜好に基づいてコンテンツが符号化された後に変化する傾向にある様々な数のエンハンスメントレイヤが使用された場合や、ユーザの視聴嗜好に基づいてコンテンツが符号化された後に変化する傾向にあるマルチビューエンハンスメントレイヤが使用された場合など、スケーラブル映像符号化に起因する可能性のあるバッファ特性の要因とはならないと結論付けられた。また、出力順序復号化画像バッファ（ＤＰＢ）から画像を出力および削除するためのシンタックス要素ps_max_num_reorder_pics[HighestTid]、sps_max_latency_increase_plus1[HighestTid]およびsps_max_dec_pic_buffering[HighestTid]の使用に基づいてのＤＰＢの信号化は、復号装置が特定の動作点で動作する場合および／または復号装置が選択された出力レイヤセットを出力する場合に、ＤＰＢのメモリ使用という点で最適ではない可能性があると結論付けられた。視聴嗜好においてのこのような違いを調整するために、上記出力順序復号化画像バッファ（ＤＰＢ）は、さらにおよび／または代わりに上記映像パラメータセット拡張（ＶＰＳ拡張）と共に含まれるシンタックス要素に基づいていてもよく、それにより一または複数のエンハンスメントレイヤ用のシンタックス要素を提供する。このように、上記シンタックス要素はユーザの視聴嗜好に対応する傾向にある特定の動作点または出力レイヤセットに適するように特別に選択されてもよい。
【０４１８】
ＤＰＢバファリング関連パラメータvps_max_dec_pic_buffering_minus1、vps_max_num_reorder_pics、vps_max_latency_increase_plus1は一または複数の動作点および／またはＶＰＳ拡張における出力レイヤセット用のＣＶＳのためのサブレイヤ用に信号化されてもよい。同様に、上記システムは、ＤＰＢバファリングパラメータが試験用動作点または選択された出力レイヤセット用に信号化される場合は、ＶＰＳ拡張から信号化された当該ＤＰＢバファリングパラメータを使用するために出力順序ＤＰＢ用の動作およびバンピング工程を定義してもよい。又は、現在のレイヤのlayer_idにより、アクティブなＳＰＳ（現在の画像のnuh_layer_idに対応するcurrLayerIdが０に等しい場合）あるいはアクティブレイヤＰＳからの対応ＳＰＳレベルパラメータが使用される。パラメータvps_max_dec_pic_buffering_minus1、vps_max_num_reorder_pics、vps_max_latency_increase_plus1は、それぞれmax_vps_dec_pic_buffering_minus1、max_vps_num_reorder_pics、max_vps_latency_increase_plus1と称される場合もある。
【０４１９】
別の場合には、上記ＤＰＢバファリング関連パラメータmax_vps_dec_pic_buffering_minus1はＶＰＳ拡張における一または複数の出力レイヤセット用のＣＶＳのためのサブレイヤ用に信号化される。上記出力レイヤセットは動作点に対応してもよい。上記ＤＰＢバファリング関連パラメータmax_vps_num_reorder_pics、max_vps_latency_increase_plus1はＶＰＳ拡張におけるそれぞれのレイヤ用のＣＶＳのためのサブレイヤ用に信号化されてもよい。同様に、上記システムは、ＤＰＢバファリングパラメータが試験用動作点または選択された出力レイヤセット用に信号化される場合は、ＶＰＳ拡張から信号化された当該ＤＰＢバファリングパラメータを使用するために出力順序ＤＰＢ用の動作およびバンピング工程を定義してもよい。又は、現在のレイヤのlayer_idにより、アクティブなＳＰＳ（現在の画像のnuh_layer_idに対応するcurrLayerIdが０に等しい場合）あるいはアクティブレイヤＰＳからの対応ＳＰＳレベルパラメータが使用される。
【０４２０】
図３８Ａには、vps_extensionの変形例が示されている。当該変形ＶＰＳ拡張は、新しいシンタックス、すなわちnum_op_dpb_info_parametersおよびoperation_point_layer_set_idx[i]を含んでいる。この変形ＶＰＳ拡張は、他のビットストリーム、対象最高TemporalId、および対象レイヤ識別子リストを入力としたサブビットストリーム抽出工程の動作により当該他のビットストリームから作成されたビットストリームである動作点をユニットとして定義されてもよい。
【０４２１】
num_output_layer_setsはレイヤセットの数を特定し、その数だけ出力レイヤがoutput_layer_set_index[ i ]およびoutput_layer_flag[ lsIdx ][ j ]によって特定される。出力レイヤが存在しない場合、num_output_layer_setsの値は０に等しいと推測される。出力レイヤを説明するレイヤセットが出力レイヤセットである。
【０４２２】
output_layer_set_idx[ i ]はレイヤセットのインデックスlsIdxを特定し、そのインデックスだけoutput_layer_flag[ lsIdx][ j ]が存在する。
【０４２３】
１に等しいoutput_layer_flag[ lsIdx ][ j ]は、ｊに等しいnuh_layer_idのレイヤがlsIdx番目のレイヤセットの対象出力レイヤであることを特定する。０に等しいoutput_layer_flag[ lsIdx ][ j ]の値は、ｊに等しいnuh_layer_idのレイヤがlsIdx番目のレイヤセットの対象出力レイヤではないことを特定する。
【０４２４】
上記num_op_dpb_info_parametersは、動作点をユニットとして定義される、ＶＰＳ拡張ＲＢＳＰに存在するシンタックス構造op_dpb_parameters( )の数を定義する。num_op_dpb_info_parameters復号装置は０以上vps_num_layer_sets_minus1以下の範囲である。
【０４２５】
operation_point_layer_set_idx[ i ]は、ＶＰＳ拡張におけるｉ番目のシンタックス構造op_dpb_info_parameters( )が適用される動作点によって定義されるレイヤセットのリスト内にインデックスを特定する。上記operation_point_layer_set_idx[ i ]の値は０以上vps_num_layer_sets_minus1以下の範囲でもよい。ビットストリームの適合性のため、operation_point_layer_set_idx[ i ]はｉに等しくないどのｊにおいてもoperation_point_layer_set_idx[ j ]に等しくない。
【０４２６】
図３９Ａにおいて、op_dpb_info_parametersはvps_max_sub_layers_minus1[ j ]、vps_sub_layer_ordering_info_present_flag[ j ]、vps_max_dec_pic_buffering_minus1[ j ] [ k ]、vps_max_num_reorder_pics[ j ] [ k]、およびvps_max_latency_increase_plus1[ j ] [ k ]を特定する。
【０４２７】
vps_max_sub_layers_minus1[ j ] plus 1はサブレイヤの数が含まれていることを示している。当該vps_max_sub_layers_minus1[ j ] plus 1はｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおいて存在する可能性のある一時的サブレイヤの最大数を特定する。vps_max_sub_layers_minus1[ j ]の値は０以上６以下の範囲である。
【０４２８】
上記vps_sub_layer_ordering_info_present_flag[ j ]は、シンタックスが全てのレイヤを含む一つのセット用のものか又はそれぞれ個別のレイヤ用のものかを示す。１に等しいvps_sub_layer_ordering_info_present_flag[ j ]は、vps_max_sub_layers_minus1[ j ] + 1 サブレイヤ用のｊに等しいnuh_layer_idのレイヤ用にvps_max_dec_pic_buffering_minus1[ j ][ k ]、vps_max_num_reorder_pics[ j ][ k ]、およびvps_max_latency_increase_plus1[ j ][ k ]が存在することを特定する。０に等しいvps_sub_layer_ordering_info_present_flag[ j ]は、vps_max_dec_pic_buffering_minus1[ j ][ vps_max_sub_layers_minus1[ j ] ]、vps_max_num_reorder_pics[ j ][ vps_max_sub_layers_minus1[ j ] ]、およびvps_max_latency_increase_plus1[ j ][ vps_max_sub_layers_minus1[ j ] ]の値がｊに等しいnuh_layer_idのレイヤ用の全てのサブレイヤに適用されることを特定する。
【０４２９】
The vps_max_dec_pic_buffering_minus1[ j ][ k ] plus 1は、HighestTidがｋに等しい場合に画像保存バッファのユニットにおけるｊに等しいnuh_layer_idのレイヤ用のＣＶＳ用の上記復号化画像バッファの最大必要サイズを特定する。上記vps_max_dec_pic_buffering_minus1[ j ][ k ]の値は０以上（サブクローズＡ．４に特定されるように）MaxDpbSize - 1以下の範囲である。ｋが０よりも大きい場合、vps_max_dec_pic_buffering_minus1[ j ][ k ]はvps_max_dec_pic_buffering_minus1[ j ][ k - 1 ]以上である。vps_max_dec_pic_buffering_minus1[ j ][ k ]は、vps_sub_layer_ordering_info_present_flag[ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ j ] - 1以下の範囲であるｋにおいて存在しない場合、vps_max_dec_pic_buffering_minus1[ j ] [ vps_max_sub_layers_minus1[ j ] ]に等しいと推定される。
【０４３０】
上記vps_max_num_reorder_pics[ j ][ k ]はHighestTidがｋに等しい場合に、復号化順序ではｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおける画像に先行し、出力順序ではその画像の後になる画像の最大許容数を示す。上記vps_max_num_reorder_pics[ j ][ k ]の値は０以上vps_max_dec_pic_buffering_minus1[ j ][ k ]以下の範囲である。ｋが０よりも大きい場合、vps_max_num_reorder_pics[ j ][ k ]はvps_max_num_reorder_pics[ j ][ k- 1 ]以上である。vps_max_num_reorder_pics[ j ][ k ]は、vps_sub_layer_ordering_info_present_flag[ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ j ] - 1以下の範囲であるｋにおいて存在しない場合、vps_max_num_reorder_pics[ j ][ vps_max_sub_layers_minus1[ j ] ]に等しいと推定される。
【０４３１】
０に等しくないvps_max_latency_increase_plus1[ j ][ k ]は、HighestTidがｋに等しい場合、出力順序においてはｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおける画像に先行し、復号化順序においてはその画像の後になる画像の最大数を特定するVpsMaxLatencyPictures[ j ][ k ]の値を計算するために使用される。
【０４３２】
Vps_max_latency_increase_plus1[ j ][ k ]が０に等しくない場合、VpsMaxLatencyPictures[ j ][ k ]の値は以下のように特定されてもよい：
VpsMaxLatencyPictures[ j ][ k ] = vps_max_num_reorder_pics[ j ][ k ]  +  vps_max_latency_increase_plus1[ j ][ k ] - 1。
【０４３３】
vps_max_latency_increase_plus1[ j ][ k ]が０に等しい場合、対応する制限はない。
【０４３４】
vps_max_latency_increase_plus1[ j ][ k ]の値は０以上２３２−２以下の範囲である。vps_max_latency_increase_plus1[ j ][ k]は、vps_sub_layer_ordering_info_present_flag[ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ j ] - 1以下の範囲のｋに存在しない場合、vps_max_latency_increase_plus1[ j ][ vps_max_sub_layers_minus1[ j ] ]に等しいと推定される。
【０４３５】
'vps_max_sub_layers_minus1'[ id ] [ j ] plus 1は、index idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおいて存在する可能性のある一時的サブレイヤの最大数を特定する。vps_max_sub_layers_minus1[ id ] [ j ]の値は０以上６以下の範囲である。
【０４３６】
１に等しい'vps_sub_layer_ordering_info_present_flag'[ id ] [ j ]は、vps_max_sub_layers_minus1[ id ][ j ] + 1サブレイヤ用のindex idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用にvps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]、vps_max_num_reorder_pics[ id ][ j ][ k ]、およびvps_max_latency_increase_plus1[ id ][ j ][ k ]が存在することを特定する。
【０４３７】
０に等しいvps_sub_layer_ordering_info_present_flag[ id ][ j ]は、vps_max_dec_pic_buffering_minus1[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]、vps_max_num_reorder_pics[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]、およびvps_max_latency_increase_plus1[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]の値が、index idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用の全てのサブレイヤに適用されることを特定する。
【０４３８】
'vps_max_dec_pic_buffering_minus1'[ id ][ j ][ k ] plus 1は、HighestTidがｋに等しい場合、画像保存バッファのユニットにおけるindex idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用のＣＶＳ用の上記復号化画像バッファの最大必要サイズを特定する。vps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]の値は０以上（サブクローズＡ．４に特定されるように）MaxDpbSize - 1以下の範囲である。ｋが０よりも大きい場合、vps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]はvps_max_dec_pic_buffering_minus1[ id ][ j ][ k - 1 ]以上である。vps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]は、vps_sub_layer_ordering_info_present_flag[ id ][ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ id ][ j ] - 1以下のｋにおいて存在しない場合、vps_max_dec_pic_buffering_minus1[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]に等しいと推定される。
【０４３９】
'vps_max_num_reorder_pics'[ id ][ j ][ k ]は、HighestTidがｋに等しい場合、復号化順序においてはindex idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおける画像に先行し出力順序においてはその画像の後になる画像の最大許容数を示す。vps_max_num_reorder_pics[ id ][ j ][ k ]の値は０以上vps_max_dec_pic_buffering_minus1[ id ][ j ][ k ]以下の範囲である。ｋが０より大きい場合、vps_max_num_reorder_pics[ id ][ j ][ k ]はvps_max_num_reorder_pics[ id ][ j ][ k- 1 ]以上である。vps_max_num_reorder_pics[ id ][ j ][ k ]が、vps_sub_layer_ordering_info_present_flag[ id ][ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ id ][ j ] - 1以下の範囲のｋにおいて存在しない場合、vps_max_num_reorder_pics[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]に等しいと推定される。
【０４４０】
０に等しくない'vps_max_latency_increase_plus1'[ id ] [ j ][ k ]は、HighestTidがｋに等しい場合、出力順序においてはindex idと関連する動作点用のｊに等しいnuh_layer_idのレイヤ用のＣＶＳにおける画像に先行し復号化順序においてはその画像の後になる画像の最大数を特定するVpsMaxLatencyPictures[ id ][ j ][ k ]の値を計算する為に使用される。
【０４４１】
vps_max_latency_increase_plus1[ id ][ j ][ k ]が０に等しくない場合、VpsMaxLatencyPictures[ id ][ j ][ k ]の値は以下のように特定される：
VpsMaxLatencyPictures[ id ][ j ][ k ] = vps_max_num_reorder_pics[ id ][ j ][ k ] + vps_max_latency_increase_plus1[ id ][ j ][ k ] - 1。
【０４４２】
vps_max_latency_increase_plus1[ id ][ j ][ k ]が０に等しい場合、対応する制限はない。
【０４４３】
vps_max_latency_increase_plus1[ id ][ j ][ k ]は０以上２３２−２以下の範囲である。vps_max_latency_increase_plus1[ id ][ j ][ k]は、vps_sub_layer_ordering_info_present_flag[ id ][ j ]が０に等しいために０以上vps_max_sub_layers_minus1[ id ][ j ] - 1以下の範囲であるｋにおいて存在しない場合、vps_max_latency_increase_plus1[ id ][ j ][ vps_max_sub_layers_minus1[ id ][ j ] ]に等しいと推定される。
【０４４４】
図３９Ｂにおいて、上記op_dpb_info_parametersはop_dpb_info_parameters(id,j)に示されるようにさらに変形されてもよい。この場合、ＶＰＳ拡張のシンタックスは図３８Ｂに示されるようであってもよい。仮想参照復号装置（ＨＲＤ）がビットストリームおよび復号装置の適合性を確認するために使用される。二種類のビットストリームまたはビットストリームサブセットが映像符号化国際標準のＨＥＶＣ標準化の共同チーム（ＪＣＴ−ＶＣ）のＨＲＤ適合性確認を受ける。タイプＩビットストリームと呼ばれる一つ目の種類は、ビットストリームにおけるすべてのアクセスユニット用の、ＶＣＬＮＡＬユニットおよびFD_NUT（フィラーデータＮＡＬユニット）に等しいnal_unit_typeのＮＡＬユニットを含むＮＡＬユニットストリームである。タイプＩＩビットストリームと呼ばれる二つ目の種類は、上記ＶＣＬＮＡＬユニットおよびビットストリームにおけるすべてのアクセスユニット用の上記フィラーデータＮＡＬユニットに加え、少なくとも以下を含む：（ａ）フィラーデータＮＡＬユニット以外の他の非ＶＣＬＮＡＬユニットおよび（ｂ）上記ＮＡＬユニットストリームからバイトストリームを形成する全てのシンタックス要素：leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes、およびtrailing_zero_8bits。
【０４４５】
ＨＲＤに必要な、上記非ＶＣＬＮＡＬユニットの上記シンタックス要素（または当該シンタックス要素のいくつかのためのデフォルトの値）はクローズ７のセマンティックスサブクローズならびにアネックスＤおよびＥにおいて特定される。
【０４４６】
二種類のＨＲＤパラメータセット（ＮＡＬＨＲＤパラメータおよびＶＣＬＨＲＤパラメータ）が使用される。上記ＨＲＤパラメータセットは、ＳＰＳシンタックス構造またはＶＰＳシンタックス構造の一部でもよいhrd_parameters( )シンタックス構造を通して信号化される。
【０４４７】
ビットストリームの適合性の確認のために多くの試験が必要になる場合がある。確認中のビットストリームを試験用ビットストリームと称す。それぞれの試験において、以下の工程が記載順に適用される：
（１）TargetOpと示される試験用動作点が選択される。TargetOpのレイヤ識別子リストOpLayerIdListは、昇順に一覧化されたnuh_layer_idの値によって構成され、試験用ビットストリームにおいて存在する上記nuh_layer_idの値のサブセットである、TargetOpに関連するビットストリームサブセットにおいて存在する。上記TargetOpのOpTidは、TargetOpに関連するビットストリームサブセットにおいて存在する最高値のTemporalIdに等しい。
【０４４８】
（２）TargetDecLayerIdListは、TargetOpのOpLayerIdListに等しく設定され、HighestTidはTargetOpのOpTidに等しく設定され、クローズ１０において特定された上記サブビットストリーム抽出工程は上記試験用ビットストリーム、HighestTid、およびTargetDecLayerIdListを入力として実行され、そしてその出力はBitstreamToDecodeに割り当てられる。
【０４４９】
（３）TargetOpに適用可能なhrd_parameters( )シンタックス構造およびsub_layer_hrd_parameters( )シンタックス構造が選択される。上記TargetDecLayerIdListが試験用ビットストリームにおいて存在する全てのnuh_layer_idの値を含む場合、上記アクティブなＳＰＳにおける（または本明細書の記載されない外部手段を介して供される）すべてのhrd_parameters( )シンタックス構造が選択される。または、TargetOpに適用されるアクティブなＶＰＳにおける（または本明細書の記載されない外部手段を介して供される）hrd_parameters( )シンタックス構造が選択される。上記選択されたhrd_parameters( )シンタックス構造の範囲内でBitstreamToDecodeがタイプＩビットストリームである場合、条件“if( vcl_hrd_parameters_present_flag )”の直後にくるsub_layer_hrd_parameters( HighestTid ) シンタックス構造が選択され、変数NalHrdModeFlagは０に等しく設定される；そうでない場合（BitstreamToDecodeがタイプＩＩビットストリームの場合）、条件“if( vcl_hrd_parameters_present_flag )”（この場合、変数NalHrdModeFlagは０に等しく設定される）または条件“if( nal_hrd_parameters_present_flag )”（この場合、変数NalHrdModeFlagは１に等しく設定される）の直後にくるsub_layer_hrd_parameters( HighestTid ) シンタックス構造が選択される。BitstreamToDecodeがタイプＩＩビットストリームでありNalHrdModeFlagが０に等しい場合、（アネックスＢに特定される）ＮＡＬユニットストリームが存在する場合に当該ＮＡＬユニットストリームからバイトストリームを形成するフィラーデータＮＡＬユニットを除く全ての非ＶＣＬＮＡＬユニットまた全てのシンタックス要素leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes、およびtrailing_zero_8bitsがBitstreamToDecodeから破棄され、残りのビットストリームはBitstreamToDecodeに割り当てられる。
【０４５０】
ビットストリームの適合性の確認のために多くの試験が必要になる別の場合がある。確認中のビットストリームを試験用ビットストリームと称す。それぞれの試験において、以下の工程が記載順に適用される：
（１）TargetOpLsと示される試験用出力レイヤセットが選択される。output_layer_set_idx[]によりTargetOpLsにおいて参照される動作点が試験用動作点である。TargetOpLsのレイヤ識別子リストOpLayerIdListは、昇順に一覧化されたnuh_layer_idの値によって構成され、試験用ビットストリームにおいて存在する上記nuh_layer_idの値のサブセットである、TargetOpおよびにTargetOpLsに関連するビットストリームサブセットにおいて存在する。上記TargetOpのOpTidは、TargetOpに関連するビットストリームサブセットにおいて存在する最高値のTemporalIdに等しい。
【０４５１】
（２）TargetDecLayerIdListは選択された出力レイヤセットTargetOpLs用の対象復号化レイヤ識別子リストtargetDLayerIdListに等しく設定され、HighestTidはTargetOpのOpTidに等しく設定され、クローズ１０において特定された上記サブビットストリーム抽出工程は上記試験用ビットストリーム、HighestTid、およびTargetDecLayerIdListを入力として実行され、そしてその出力はBitstreamToDecodeに割り当てられる。
【０４５２】
（３）TargetOpに適用可能なhrd_parameters( )シンタックス構造およびsub_layer_hrd_parameters( )シンタックス構造が選択される。上記TargetDecLayerIdListが試験用ビットストリームにおいて存在する全てのnuh_layer_idの値を含む場合、上記アクティブなＳＰＳにおける（または本明細書の記載されない外部手段を介して供される）全てのhrd_parameters( )シンタックス構造が選択される。又は、TargetOpに適用されるアクティブなＶＰＳにおける（又は本明細書の記載されない外部手段を介して供される）hrd_parameters( )シンタックス構造が選択される。上記選択されたhrd_parameters( )シンタックス構造の範囲内でBitstreamToDecodeがタイプＩビットストリームである場合、条件“if( vcl_hrd_parameters_present_flag )”の直後にくるsub_layer_hrd_parameters( HighestTid ) シンタックス構造が選択され、変数NalHrdModeFlagは０に等しく設定される；そうでない場合（BitstreamToDecodeがタイプＩＩビットストリームの場合）、条件“if( vcl_hrd_parameters_present_flag )”（この場合、変数NalHrdModeFlagは０に等しく設定される）または条件“if( nal_hrd_parameters_present_flag )”（この場合、変数NalHrdModeFlagは１に等しく設定される）の直後にくるsub_layer_hrd_parameters( HighestTid ) シンタックス構造が選択される。BitstreamToDecodeがタイプＩＩビットストリームでありNalHrdModeFlagが０に等しい場合、（アネックスＢに特定される）ＮＡＬユニットストリームが存在する場合に当該ＮＡＬユニットストリームからバイトストリームを形成するフィラーデータＮＡＬユニットを除く全ての非ＶＣＬＮＡＬユニットまた全てのシンタックス要素leading_zero_8bits、zero_byte、start_code_prefix_one_3bytes、およびtrailing_zero_8bitsがBitstreamToDecodeから破棄され、残りのビットストリームはBitstreamToDecodeに割り当てられる。
【０４５３】
適合復号装置はこの項目に規定されるすべての要件を満たしていてもよい。
【０４５４】
（１）特定のプロファイル、階層、レベルへの適合性を要求する復号装置は、アネックス  Ａに規定されるような方法で、サブクローズＣ．４に規定されるビットストリーム適合性要件に適合するすべてのビットストリームを首尾よく復号化することができるものとする。ただし、ＶＣＬ  ＮＡＬユニットにおいて参照されるすべてのＶＰＳ、ＳＰＳ、および、ＰＰＳ、そして、適切なバッファリング期間および画像タイミングＳＥＩメッセージがビットストリームにおいて（非ＶＣＬ  ＮＡＬユニットによって）または本明細書に規定されていない外部手段によってタイムリーに復号装置へ伝達される。
【０４５５】
（２）ビットストリームが、予約済と規定された値を有するシンタックス要素を含む場合で、復号装置がシンタックス要素または予約済の値を有するシンタックス要素を含むＮＡＬユニットを無視するものとすると規定される場合、そうでなければ、ビットストリームが本明細書に適合する場合、適合復号装置は、適合ビットストリームを復号化するのと同じ方法で当該ビットストリームを復号化するものとし、シンタックス要素または規定されたように予約済の値を有するシンタックス要素を含むＮＡＬユニットを無視するものとする。
【０４５６】
出力タイミングの適合性と出力順の適合性との２種類の復号装置の適合性がある。
【０４５７】
復号装置の適合性をチェックするには、サブクローズＣ．４に規定されるような要求されるプロファイル、階層、レベルに適合する試験ビットストリームが、仮想ストリームスケジューラ（hypothetical stream scheduler）（ＨＳＳ）によって、ＨＲＤと試験用復号装置（ＤＵＴ）との両方へ配信される。ＨＲＤによって出力されるすべてのクロップされた復号化画像もＤＵＴによって出力されるものとする。ＤＵＴによって出力される、クロップされた復号化画像それぞれはPicOutputFlagが１に等しい画像であるものとし、そのようなＤＵＴによって出力される、クロップされた復号化画像それぞれに対して、出力されるすべてのサンプルの値が、規定された復号化処理によって作製されるサンプルの値と等しいものとする。
【０４５８】
出力タイミングに関する復号装置の適合性については、ＨＳＳは、規定されたプロファイル、階層、レベル用のアネックスＡに規定されたようにビットレートおよびＣＰＢのサイズが制限されたSchedSelIdxの値のサブセットからのみ選択されるデリバリースケジュールに従って動作するか、または、アネックスＡに規定されたようにビットレートおよＣＰＢのサイズが制限された以下に規定されるような「補間」デリバリースケジュールに従って動作する。ＨＲＤとＤＵＴの両方に対して同じデリバリースケジュールが用いられる。
【０４５９】
ＨＲＤパラメータおよびバッファリング期間ＳＥＩメッセージが０よりも大きいcpb_cnt_minus1[ HighestTid ]とともに存在する場合、ピークビットレートｒ、ＣＰＢサイズｃ（ｒ）、および、最初のＣＰＢ削除遅延
【０４６０】
【数１５】
2018164282.tif 000034
【０４６１】
を有すると規定された「補間」デリバリースケジュールを用いて動作するＨＳＳから配信されるようなビットストリームを復号化装置は、次のように復号化することができる。
【０４６２】
【表１７】
2018164282.tif 000035
【０４６３】
０より大きいどのSchedSelIdxおよびｒについても、BitRate[ SchedSelIdx - 1 ]  <=  r  <=  BitRate[ SchedSelIdx ]であり、ｒおよびｃ（ｒ）が規定されたプロファイル、階層、レベル用の最大ビットレートおよびバッファサイズについてアネックスＡに規定されたような制限の範囲内である。InitCpbRemovalDelay[ SchedSelIdx ] はバッファリング期間毎に異なっていてもよく、再計算されるべきでる。
【０４６４】
出力タイミングに関する復号装置の適合性については、上述したようなＨＲＤが用いられ、画像出力の（最初のビットの配信時間に関する）タイミングがＨＲＤおよびＤＵＴの両方に対して一定の遅延まで同じである。
【０４６５】
出力順に関する復号装置の適合性については、以下が適用される。
【０４６６】
（１）ＤＵＴからの「請求により」、ＨＳＳはビットストリームBitstreamToDecodeをＤＵＴへ配信する。これは、ＤＵＴが処理を進めるためによりビットを必要とするときのみ、ＨＳＳはビットを（復号化順に）配信することを意味する。また、これは、この試験について、ＤＵＴの符号化画像バッファが、一番大きい復号化ユニットのサイズくらい小さいことを意味する。
【０４６７】
（２）以下に記載される変形ＨＲＤを用いる。アネックスＡにおいて規定されたようにビットレートとＣＰＢサイズが制限されたようなビットストリームBitstreamToDecodeにおいて規定されたスケジュールのうちひとつによって、ＨＳＳはビットストリームをＨＲＤへ配信する。画像出力の順序はＨＲＤおよびＤＵＴの両方において同じであるものとする。
【０４６８】
（３）ＨＲＤ  ＣＰＢサイズは、サブクローズＥ．２．３に規定されるようにCpbSize[ SchedSelIdx ]によって与えられる。ここで、SchedSelIdxおよびＨＲＤパラメータはサブクローズＣ．１に規定されるように選択される。ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブＳＰＳから、もしくは、現在の復号化画像のnuh_layer_id の値に対するアクティブなＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が選択された出力レイヤセットに対して存在する場合、ＤＰＢサイズはcurrLayerIdが０に等しい場合にvps_max_dec_pic_buffering_minus1[ HighestTid ]によって与えられるか、またはcurrLayerIdが０より大きい時に試験用動作点のためのcurrLayerId用のvps_max_dec_pic_buffering_minus1[ CurrLayerId ][  HighestTid ]に設定される場合がある。ここで、currLayerIdは現在の復号化画像のnuh_layer_idである。動作点ＤＰＢ情報パラメータop_dpb_info_parameters ()が試験用動作点に対して存在しない場合、ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブなＳＰＳから、または、現在の復号化画像のnuh_layer_id の値に対してアクティブなレイヤＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。
【０４６９】
出力レイヤセットＤＰＢ情報パラメータoop_dpb_info_parameters()が選択された出力レイヤセットに対して存在する場合、ＤＰＢサイズはcurrLayerIdが０に等しい場合にvps_max_dec_pic_buffering_minus1[ HighestTid ]によって与えられるか、または上記選択された出力レイヤセット用のcurrLayerId用のvps_max_dec_pic_buffering_minus1[ CurrLayerId ][  HighestTid ]に設定される場合がある。ここで、currLayerIdは現在の復号化画像のnuh_layer_idである。出力レイヤセットＤＰＢ情報パラメータoop_dpb_info_parameters ()が選択された出力レイヤセットに対して存在しない場合、ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブなＳＰＳから、または、現在の復号化画像のnuh_layer_id の値に対してアクティブなレイヤＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。
【０４７０】
ＨＲＤに対するＣＰＢからの削除時間は、最終ビット到着時間であり、復号化が差し迫っている。このＨＲＤのＤＰＢの動作はサブクローズＣ．５．２からＣ．５．２．３．に記載されている。
【０４７１】
復号化画像バッファは画像保存バッファを含む。０に等しいnuh_layer_idに対する画像保存バッファの数はアクティブなＳＰＳから得られる。各０でないnuh_layer_id値に対する画像保存バッファの数は、その０でないnuh_layer_id値に対するアクティブなレイヤＳＰＳから得られる。画像保存バッファはそれぞれ、「参照用に使用」とマーキングされた復号化画像を含むか、今後の出力の為に保持される。サブクローズＦ．１３．５．２．２に規定されるようなＤＰＢからの画像の出力および削除の処理が起動され、続いて、サブクローズＦ．１３．５．２．３に規定されるような画像復号化、マーキング、追加バンピング、そして保存の処理が起動される。「バンピング」処理はサブクローズＦ．１３．５．２．４に規定されており、サブクローズＦ．１３．５．２．２およびＦ．１３．５．２．３に規定されるように起動される。
【０４７２】
現在の画像の復号化の前の（しかし、現在の画像の第１のスライスのスライスヘッダーを解析した後の）ＤＰＢからの画像の出力および削除は、現在の画像を含むアクセスユニットの第１の復号化ユニットがＣＰＢから削除され次のように進んだときに、瞬時に起こる。
【０４７３】
サブクローズ８．３．２に規定されるようなＲＰＳに対する復号化処理が起動される。
【０４７４】
（１）現在の画像が、NoRaslOutputFlagが１に等しくnuh_layer_idが０に等しいＩＲＡＰ画像であって、画像０ではないＩＲＡＰ画像である場合、以下の順序の工程が適用される。
【０４７５】
（Ａ）変数NoOutputOfPriorPicsFlagが、以下の様に、試験用復号装置に対して得られる。
【０４７６】
（ｉ）現在の画像がＣＲＡ画像である場合、（no_output_of_prior_pics_flagの値とは関係なく）NoOutputOfPriorPicsFlagを１に等しくなるように設定する。
【０４７７】
（ｉｉ）そうでない場合は、アクティブなＳＰＳから得られるpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[ HighestTid ]の値が、先行する画像に対してアクティブなＳＰＳから得られるpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[ HighestTid ]のそれぞれの値と異なる場合、no_output_of_prior_pics_flagの値に関係なく、NoOutputOfPriorPicsFlagは試験用復号装置によって１に設定されてもよい（しかしながら、必ずしも設定されなくてもよい）。これらの条件のもとではNoOutputOfPriorPicsFlagをno_output_of_prior_pics_flagに等しくなるように設定することが好ましいが、この場合、試験用復号装置はNoOutputOfPriorPicsFlagを１に設定することができる。
【０４７８】
（ｉｉｉ）そうでない場合は、NoOutputOfPriorPicsFlagはno_output_of_prior_pics_flagに等しくなるよう設定される。
【０４７９】
（Ｂ）試験用復号装置に対して得られたNoOutputOfPriorPicsFlagの値は、以下の様に、ＨＲＤに対して適用される。
【０４８０】
（ｉ）NoOutputOfPriorPicsFlagが１に等しい場合、ＤＰＢにおける全ての画像保存バッファは、それらが含んでいる画像の出力はされず、空にされ、そしてＤＰＢフルネスが０に設定される。
【０４８１】
（ｉｉ）そうでない場合（NoOutputOfPriorPicsFlagが０に等しい場合）、「出力不要」および「参照に不使用」とマーキングされた画像を含むすべての画像保存バッファが（出力は行わずに）空にされ、そして、サブクローズＦ．１３．５．２．４に規定される「バンピング」処理を繰り返し起動することによってＤＰＢにおけるすべての非空の画像保存バッファが空にされ、そしてＤＰＢフルネスが０に設定される。
【０４８２】
（ｉｉｉ）そうでない場合（現在の画像が、NoRaslOutputFlagが１でありnuh_layer_idが０であるＩＲＡＰ画像でない場合）、「出力不要」および「参照に不使用」とマーキングされた、画像を含むすべての画像保存バッファが（出力を行わずに）空にされる。空にされた各画像保存バッファについて、ＤＰＢフルネスが１だけ減少する。変数currLayerIdは現在の復号化画像のnuh_layer_idに等しくなるように設定される。
【０４８３】
変数MaxNumReorderPics[ TargetOp ][ currLayerId ][ HighestTid ]、MaxLatencyIncreasePlus1[ TargetOp ][ currLayerId ][ HighestTid ]、MaxLatencyPictures[ TargetOp][ currLayerId ][ HighestTid ]、MaxDecPicBufferingMinus1[ TargetOp ] [ currLayerId ][ HighestTid ]は現在の試験用動作点（operation point under test）に基づいて以下のように導き出される。
【０４８４】
（１）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点TargetOpに対して存在するならば、MaxNumReorderPics[ TargetOp ] [ currLayerId ][HighestTid ]は、currLayerIdが０の場合にvps_max_num_reorder_pics[ HighestTid ]に設定され、currLayerIdが０より大きい場合に上記試験用動作点用のcurrLayerIdに対するvps_max_num_reorder_pics[ TargetOp ][ CurrLayerId ][  HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が上記試験用動作点に対して存在しないならば、MaxNumReorderPics[ TargetOp ] [ currLayerId ][HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０の場合）、あるいはcurrLayerId 値に対するアクティブレイヤ SPSに由来する、sps_max_num_reorder_pics[ HighestTid ]に設定される。
【０４８５】
（２）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点TargetOpに対して存在するならば、MaxLatencyIncreasePlus1[ TargetOp ][ currLayerId ][ HighestTid ]は、currLayerIdが０の場合にvps_max_latency_increase_plus1[ HighestTid ]に設定され、currLayerIdが０より大きい場合に上記試験用動作点用のcurrLayerIdに対するvps_max_latency_increase_plus1[ TargetOp ][ CurrLayerId ][ HighestTid ]に設定される。動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が上記試験用動作点に対して存在するならば、MaxLatencyPictures[ TargetOp ][ currLayerId ][ HighestTid ]は、currLayerIdが０の場合にVpsMaxLatencyPictures[ HighestTid ]に設定され、currLayerIdが０より大きい場合に上記試験用動作点用のcurrLayerIdに対するVpsMaxLatencyPictures[ TargetOp ][ CurrLayerId ][  HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が上記試験用動作点に対して存在しないならば、MaxLatencyIncreasePlus1[ TargetOp ][ currLayerId ][  HighestTid ]は、アクティブＳＰＳのsps_max_latency_increase_plus1[ HighestTid ]に設定されるか（currLayerIdが０の場合）、あるいはcurrLayerId 値に対するアクティブレイヤSPSのsps_max_latency_increase_plus1[ HighestTid ]に設定され、MaxLatencyPictures[ TargetOp ] [ currLayerId ][ HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０の場合）、あるいはcurrLayerId 値に対するアクティブレイヤSPSに由来する、SpsMaxLatencyPictures[ HighestTid ]に設定される。
【０４８６】
（３）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点TargetOpに対して存在するならば、MaxDecPicBufferingMinus1[ TargetOp ] [ currLayerId ][HighestTid ]は、currLayerIdが０の場合、vps_max_dec_pic_buffering_minus1[ HighestTid ]に設定され、currLayerIdが０より大きい場合、上記試験用動作点用のcurrLayerIdに対するvps_max_dec_pic_buffering_minus1[ TargetOp ] [ CurrLayerId ][  HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が上記試験用動作点に対して存在しないならば、MaxDecPicBufferingMinus1[ TargetOp ][ currLayerId ][HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０の場合）sps_max_dec_pic_buffering_minus1[ HighestTid ]に設定されるか、currLayerId 値に対するアクティブレイヤSPSに由来するsps_max_dec_pic_buffering_minus1[ HighestTid ]に設定される。
【０４８７】
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は、空にされた追加画像保存バッファごとに一つずつＤＰＢフルネスをさらに減らしつつ、繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
【０４８８】
（１）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する、「出力要」とマークされた画像の数は、MaxNumReorderPics[ TargetOp ] [CurrLayerId][HighestTid]より大きい。
【０４８９】
（２）MaxLatencyIncreasePlus1[ TargetOp ] [CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内には、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた少なくとも一つの画像が存在し、この画像に関連付けられた変数PicLatencyCount[ currLayerId ]は、MaxLatencyPictures[ TargetOp ] [CurrLayerId][HighestTid]以上である。
【０４９０】
（３）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する画像の数は、MaxDecPicBuffering[ TargetOp ] [CurrLayerId][HighestTid]以上である。
【０４９１】
このサブクローズに規定されたこれらのプロセスは、現在の画像を含むアクセスユニットｎの最後の復号化ユニットがＣＰＢから削除されるとすぐに行われる。
【０４９２】
変数currLayerIdは、現在の復号化画像のnuh_layer_idに等しく設定される。
【０４９３】
ＤＰＢ内の、「出力要」とマークされ、currLayerIdに等しいnuh_layer_id値を有する画像ごとに、関連する変数PicLatencyCount[ currLayerId ]がPicLatencyCount[ currLayerId ] + 1に等しく設定される。
【０４９４】
現在の画像は、当該画像の最後の復号化ユニットが復号化されてから、復号されたと見なされる。現在の復号化された画像は、ＤＰＢ内の空の画像保存バッファに保存され、以下の事項が該当する。
【０４９５】
（Ａ）現在の復号化画像が１に等しいPicOutputFlagを有しているならば、「出力要」とマークされ、それと関連する変数PicLatencyCount[ currLayerId ]が０に等しく設定される。
【０４９６】
（Ｂ）そうではないならば（現在の復号化画像が０に等しいPicOutputFlagを有しているならば）、「出力不要」とマークされる。
【０４９７】
現在の復号化画像は「短期参照のために使用」とマークされる。
【０４９８】
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」プロセスは繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
【０４９９】
（Ａ）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた画像の数は、MaxNumReorderPics[ TargetOp ] [CurrLayerId][HighestTid]より大きい。
【０５００】
（Ｂ）MaxLatencyIncreasePlus1[ TargetOp ] [CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内で、currLayerIdに等しいnuh_layer_idを有する少なくとも一つの画像が存在し、その画像に関連した変数PicLatencyCount[ currLayerId ] は、MaxLatencyPictures[ TargetOp ] [CurrLayerId][HighestTid]以上である。
【０５０１】
他の場合では、変数MaxNumReorderPics[ currLayerId ][ HighestTid ]、MaxLatencyIncreasePlus1[ currLayerId ][ HighestTid ]、MaxLatencyPictures[ currLayerId ][ HighestTid ]、MaxDecPicBufferingMinus1[ currLayerId ][ HighestTid ]は以下のように導き出してもよい。
【０５０２】
（１）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点に対して存在するならば、MaxNumReorderPics[ currLayerId ][HighestTid ]は、currLayerIdが０のときにはvps_max_num_reorder_pics[ HighestTid ]に設定されるか、あるいはcurrLayerIdが０より大きいときには、上記試験用動作点用のcurrLayerIdに対するvps_max_num_reorder_pics[ CurrLayerId ][  HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢパラメータop_dpb_info_parameters()が試験用動作点に存在しないならば、MaxNumReorderPics[ currLayerId ][  HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０の場合）sps_max_num_reorder_pics[ HighestTid ]、あるいはcurrLayerId 値に対するアクティブレイヤSPSに由来するsps_max_num_reorder_pics[ HighestTid ]に設定される。
【０５０３】
（２）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点に対して存在するならば、MaxLatencyIncreasePlus1[ currLayerId ][  HighestTid ]は、currLayerIdが０のときにはvps_max_latency_increase_plus1[ HighestTid ] に設定されるか、あるいはcurrLayerIdが０より大きいときには、上記試験用動作点用のcurrLayerIdに対するvps_max_latency_increase_plus1[ CurrLayerId ][  HighestTid ]に設定される。動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が試験用動作点に対して存在するならば、 MaxLatencyPictures[ currLayerId ][ HighestTid ] は、currLayerIdが０のときにはVpsMaxLatencyPictures [ HighestTid ] に設定され、あるいはcurrLayerIdが０より大きいときには、上記試験用動作点用のcurrLayerIdに対するVpsMaxLatencyPictures [ CurrLayerId ][  HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters() が試験用動作点に対して存在しないならば、MaxLatencyIncreasePlus1[ currLayerId ][  HighestTid ]は、アクティブＳＰＳ（currLayerIdが０である場合）のsps_max_latency_increase_plus1[ HighestTid ] に設定されるか、あるいはthe active layer SPS for the value of currLayerIdのsps_max_latency_increase_plus1[ HighestTid ]に設定され、MaxLatencyPictures[ currLayerId ][ HighestTid ] は、アクティブＳＰＳ（currLayerIdが０である場合）に由来するSpsMaxLatencyPictures [ HighestTid ] あるいはthe active layer SPS for the value of currLayerIdに由来するSpsMaxLatencyPictures [ HighestTid ]に設定される。
【０５０４】
（３）動作点ＤＰＢ情報パラメータop_dpb_info_parameters()が選択された試験用動作点に対して存在するならば、MaxDecPicBufferingMinus1[ currLayerId ][HighestTid ] は、currLayerIdが０のときには、vps_max_dec_pic_buffering_minus1[ HighestTid ]に設定され、あるいはcurrLayerIdが０より大きいときには、上記試験用動作点用のcurrLayerIdに対するvps_max_dec_pic_buffering_minus1[ CurrLayerId ][  HighestTid ]に設定される。上記の場合でなく、動作点ＤＰＢ情報パラメータop_dpb_info_parameters() が試験用動作点に対して存在しないならば、 MaxDecPicBufferingMinus1[ currLayerId ][HighestTid ] は、アクティブＳＰＳ（currLayerIdが０である場合）に由来するsps_max_dec_pic_buffering_minus1[ HighestTid ] に設定されるか、あるいはcurrLayerId 値に対するアクティブレイヤSPSに由来するsps_max_dec_pic_buffering_minus1[ HighestTid ]に設定される。
【０５０５】
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は、空にされた追加画像保存バッファごとに一つずつＤＰＢフルネスをさらに減らしつつ、繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
【０５０６】
（１）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する、「出力要」とマークされた画像の数は、MaxNumReorderPics[CurrLayerId][HighestTid]より大きい。
【０５０７】
（２）MaxLatencyIncreasePlus1[CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内には、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた少なくとも一つの画像が存在し、この画像に関連付けられた変数PicLatencyCount[ currLayerId ] はMaxLatencyPictures[CurrLayerId][HighestTid]以上である。
【０５０８】
（３）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する画像の数は、MaxDecPicBuffering[CurrLayerId][HighestTid]以上である。
【０５０９】
このサブクローズに規定されたこれらのプロセスは、現在の画像を含むアクセスユニットｎの最後の復号化ユニットがＣＰＢから削除されるとすぐに行われる。
【０５１０】
変数currLayerIdは、現在の復号化画像のnuh_layer_idに等しく設定される。
【０５１１】
ＤＰＢ内の、「出力要」とマークされ、currLayerIdに等しいnuh_layer_id値を有する画像ごとに、関連する変数PicLatencyCount[ currLayerId ] がPicLatencyCount[ currLayerId ] + 1に等しく設定される。
【０５１２】
現在の画像は、当該画像の最後の復号化ユニットが復号化されてから、復号されたと見なされる。現在の復号化された画像は、ＤＰＢ内の空の画像保存バッファに保存され、以下の事項が該当する。
【０５１３】
（Ａ）現在の復号化画像が１に等しいPicOutputFlagを有しているならば、「出力要」とマークされ、それと関連する変数PicLatencyCount[ currLayerId ]が０に等しく設定される。
【０５１４】
（Ｂ）そうではないならば（現在の復号化画像が０に等しいPicOutputFlagを有しているならば）、「出力不要」とマークされる。
【０５１５】
現在の復号化画像は「短期参照のために使用」とマークされる。
【０５１６】
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
【０５１７】
（Ａ）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた画像の数は、MaxNumReorderPics[CurrLayerId][HighestTid]より大きい。
【０５１８】
（Ｂ）MaxLatencyIncreasePlus1[CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内に、currLayerIdに等しいnuh_layer_idを有する少なくとも一つの画像が存在し、その画像に関連した変数PicLatencyCount[ currLayerId ] は、MaxLatencyPictures[CurrLayerId][HighestTid]以上である。
【０５１９】
「バンピング」工程は、以下の順序のステップからなる。
【０５２０】
（Ａ）最初に出力するべき画像は、ＤＰＢ内にある「出力要」とマークされたすべての画像の中でPicOrderCntValの値がもっとも小さいものとして選ばれる。
【０５２１】
（Ｂ）これらの画像は、０に等しいnuh_layer_idを有する画像用のアクティブＳＰＳまたは当該画像のnuh_layer_idに等しいnuh_layer_id値用のアクティブレイヤＳＰＳで規定されたコンフォーマンスクロッピングウィンドウを用いてクロップされ、クロップされた画像はnuh_layer_idの昇順に出力され、当該画像は「出力不要」とマークされる。
【０５２２】
（Ｃ）「参照に不使用」とマークされた画像を有し、画像のうち、クロップされ、出力された一つを含んでいた画像保存バッファそれぞれが空になる。
【０５２３】
ＶＰＳ拡張は、必要なら追加の変更をしてもよい。
【０５２４】
図４０を参照すると、追加の変更として、ＤＰＢパラメータが、動作点用ではなく出力レイヤセット用のＶＰＳ拡張に送られてもよく、当該ＶＰＳ拡張でのoops_dpb_info_parameters(j)を図４１に示す。
【０５２５】
num_dpb_info_parametersは、ＶＰＳ拡張ＲＢＳＰに存在するoop_dpb_parameters( )シンタックス構造の数を規定する。num_dpb_info_parameters復号装置は、０以上num_output_layer_sets以下の範囲内で存在するものとする。
【０５２６】
output_point_layer_set_idx[ i ] は、ＶＰＳ拡張内のi th oop_dpb_info_parameters( )シンタックス構造が適用される対象出力レイヤセットのリストに、上記インデックスを特定する（specifies the index, into the list of target output layer sets）。
【０５２７】
output_point_layer_set_idx[ i ] の値は、０以上num_output_layer_sets以下の範囲内にあるものとする。iと等しくないいかなるjについても、output_point_layer_set_idx [ i ]がoutput_point_layer_set_idx [ j ]と等しくないものとするというのがビットストリームコンフォーマンスの要件である。
【０５２８】
図４２を参照すると、the oop_dpb_info_paremters(c)をさらに変更して、ＶＰＳ拡張におけるシンタックスを図４３に示すようにしてもよい。
【０５２９】
図４４を参照すると、the oop_dpb_info_paremters(c)をさらに変更して、ＶＰＳ拡張におけるシンタックスを図４５と図４６に示すようにしてもよい。
【０５３０】
ＶＰＳ拡張におけるシンタックスの代替手段の一例として、
【０５３１】
【表１８】
2018164282.tif 000036
【０５３２】
を以下のように変えてもよい。
【０５３３】
【表１９】
2018164282.tif 000037
【０５３４】
vps_max_layer_idは、ＣＶＳ内のすべてのＮＡＬユニットのnuh_layer_idの最大許可値を特定する。vps_max_layers_minus1はＣＶＳ内に存在するレイヤの最大数を特定するものであり、レイヤは、例えば、空間スケーラブルレイヤ（spatial scalable layer）、品質スケーラブルレイヤ(quality scalable layer)、texture view、またはdepth viewであってもよい。
【０５３５】
ＶＰＳ拡張におけるシンタックスの代替手段の他の一例として、
【０５３６】
【表２０】
2018164282.tif 000038
【０５３７】
を以下のように変えてもよい。
【０５３８】
【表２１】
2018164282.tif 000039
【０５３９】
選択された出力レイヤセットインデックスoplsIdxに対するnumOutputLayersは以下のように導き出される。
【０５４０】
【表２２】
2018164282.tif 000040
【０５４１】
ＶＰＳ拡張におけるシンタックスの代替手段の他の一例として、
【０５４２】
【表２３】
2018164282.tif 000041
【０５４３】
を以下のように変えてもよい。
【０５４４】
【表２４】
2018164282.tif 000042
【０５４５】
選択されたoplsIdxに対するnumOutputLayersは以下のように導き出される。
【０５４６】
【表２５】
2018164282.tif 000043
【０５４７】
そして、選択されたoplsIdxに対する対象復号化レイヤ識別子リストtargetDLayerIdListおよびnumDecodedLayersは、以下のように導き出される。
【０５４８】
【表２６】
2018164282.tif 000044
【０５４９】
一実施形態では、以下のように、付加フラグを信号化して、oop_dpb_information_parametersが特定のレイヤに対して信号化されたか示してもよい。
【０５５０】
【表２７】
2018164282.tif 000045
【０５５１】
vps_layer_info_present_flag[j]が１の場合、特定の出力レイヤセットに対してｊ番目のレイヤにoop_dpb_info_parametersが存在することを規定する。vps_layer_info_present_flag[j]が０の場合、特定の出力レイヤセットに対してｊ番目のレイヤにoop_dpb_info_parametersが存在しないことを規定する。
【０５５２】
他の実施形態では、num_dpb_info_parameters復号装置は０以上１０２４以下の範囲であるものとする。さらに他の実施形態では、１０２４の代わりに異なる一定の数値を用いることができる。
【０５５３】
代わりとなる実施形態では、output_point_layer_set_idx[ i ]は、０以上１０２３以下の範囲にある。
【０５５４】
図４７を参照すると、出力レイヤセットと動作点と独立して、各レイヤごとにＶＰＳ拡張でＤＰＢパラメータが送られるとき、他の修正ＶＰＳ拡張とlayer_dpb_info(i)を用いてもよい。
【０５５５】
図４８を参照すると、修正されたlayer_dpb_info(i)を用いてもよく、ＶＰＳから信号化されたシンタックス要素vps_max_sub_layer_minus1がすべてのレイヤに用いられ、oop_dpb_info_parameters(id) / op_dpb_info_parameters( id)において別々に信号化されない。
【０５５６】
図４９Ａと４９Ｂを参照し、修正されたvps_extensionの一例を示す。修正されたｖｐｓ拡張は、新しいシンタックス、すなわち、max_sub_layers_vps_predict_flag[i]、 max_sub_layers_vps_minus1[i] num_dpb_info_parameters、output_point_layer_set_idx[i]、oop_dpb_maxbuffering_parameters(i)、およびlayer_dpb_info_parameters(i)を含む。num_output_layer_setsは、出力レイヤがoutput_layer_set_index[ i ]およびoutput_layer_flag[ lsIdx ][ j ]と特定されるレイヤセットの数を規定する。存在しないときは、num_output_layer_setsの値は０だと推定される。複数の出力レイヤを記述するレイヤセットは、出力レイヤセットである。
【０５５７】
'max_sub_layers_vps_predict_flag'[ i ]が１のときは、max_sub_layers_vps_minus1[ i ]はmax_sub_layers_vps_minus1[ i - 1 ]に等しいと推定されると規定する。
【０５５８】
max_sub_layers_vps_predict_flag[ i ]が０のときは、max_sub_layers_vps_minus1[ i ]は明示的に信号化される。max_sub_layers_vps_predict_flag[ 0 ]の値は０だと推定される。
【０５５９】
'max_sub_layers_vps_minus1'[ i ] plus 1は、ｉに等しいnuh_layer_idを有するレイヤに対してＣＶＳ内にあるかもしれない一時的サブレイヤの最大数を規定する。max_vps_sub_layers_vps_minus1[ i ]の値は、０以上６以下の範囲であるものとする。いくつかの場合では、max_sub_layers_vps_minus1[i]は、ＳＰＳシンタックス要素sps_max_sub_layers_minus1の推定に用いられる。max_sub_layers_vps_predict_flag[ i ]が１のときは、max_sub_layers_vps_minus1[ i ]はmax_sub_layers_vps_minus1[ i - 1 ]に等しいと推定される。max_sub_layers_vps_minus1[ 0 ]の値は、vps_max_sub_layers_minus1に等しいと推定される。
【０５６０】
０以上num_dpb_info_parameters- 1以下の範囲にあるsetID用の変数MaxSubLayers[ setId ]は、以下のように導き出される。
【０５６１】
【表２８】
2018164282.tif 000046
【０５６２】
'num_dpb_info_parameters'は、ＶＰＳ拡張ＲＢＳＰに存在するoop_dpb_maxbuffering_parameters( i )シンタックス構造の数を規定する。num_dpb_info_parameters復号装置は、０以上numOutputLayerSets以下の範囲にあるものとする。
【０５６３】
'output_point_layer_set_idx'[ i ]は、ＶＰＳ拡張内のi th oop_dpb_maxbuffering_parameters( i )シンタックス構造が適用される出力レイヤセットのリストに、上記インデックスを特定する。
【０５６４】
output_point_layer_set_idx[ i ]の値は、０以上numOutputLayerSets以下の範囲にあるものとする。ビットストリームコンフォーマンスは、以下のように要請している。
【０５６５】
iに等しくないいかなるjに対しても、output_point_layer_set_idx [ i ]はoutput_point_layer_set_idx [ j ]と等しくないものとする。
【０５６６】
図５０を参照すると、oop_dpb_maxbuffering_parametersは、'sub_layer_vps_buf_info_present_flag'[ i ]、 'max_vps_dec_pic_buffering_minus1'[ i ][ j ]を規定する。
【０５６７】
'sub_layer_vps_buf_info_present_flag'[ i ]が１だと、max_vps_dec_pic_buffering_minus1[ i ][ j ]がMaxSubLayers[ i ] sub-layersに対して存在すると規定する。sub_layer_vps_buf_info_present_flag[ i ]が０だと、max_vps_dec_pic_buffering_minus1[ i ][ MaxSubLayers[ i ] - 1 ]の値はすべてのサブレイヤに当てはまると規定する。
【０５６８】
'max_vps_dec_pic_buffering_minus1'[ i ][ j ] plus 1は、HighestTidがjに等しいとき、画像保存バッファのユニットでインデックスiと関連した出力レイヤセット内のhighestLayerIdに等しいnuh_layer_idを有するレイヤ用のＣＶＳに対する復号化画像バッファの最大必要サイズを規定する。max_vps_dec_pic_buffering_minus1[ i ][ j ]の値は、０以上MaxDpbSize - 1 （サブクローズA.4で規定したように）以下の範囲であるものとする。ｊが０より大きい場合、max_vps_dec_pic_buffering_minus1[ i ][ j ]はmax_vps_dec_pic_buffering_minus1[ i ][ j - 1 ]より大きいか等しくあるものとする。いくつかの場合では、max_vps_dec_pic_buffering_minus1[ i ][ j ]は、ＳＰＳシンタックス要素sps_max_dec_pic_buffering_minus1[ j ]の値を推定するために用いられる。sub_layer_vps_buf_info_present_flag[ i ]が０に等しいために、０以上MaxSubLayers[ i ] - 2以内のiに対してmax_vps_dec_pic_buffering_minus1[ i ][ j ]が存在しないとき、max_vps_dec_pic_buffering_minus1[ i ][ j ]はmax_vps_dec_pic_buffering_minus1[ i ][ MaxSubLayers[ i ] - 1]に等しいと考えられる。
【０５６９】
ｊの各値に対するmax_vps_dec_pic_buffering_minus1[ 0 ][ j ]の値は、vps_max_dec_pic_buffering_minus1[ j ]に等しいと推定される。
【０５７０】
図５１を参照すると、layer_dpb_info_parametersは'sub_layer_vps_ordering_info_present_flag'[ i ]、max_vps_num_reorder_pics[ i ][ j ]、'max_vps_latency_increase_plus1'[ i ][ j ]を規定する。
【０５７１】
'sub_layer_vps_ordering_info_present_flag'[ i ]は、１に等しいとき、max_vps_num_reorder_pics[ i ][ j ]とmax_vps_latency_increase_plus1[ i ][ j ]とがmax_sub_layers_vps_minus1 + 1のサブレイヤに対して存在すると規定する。
【０５７２】
sub_layer_vps_ordering_info_present_flag[ i ]は、０に等しいとき、max_vps_num_reorder_pics[ i ][ vps_max_sub_layers_minus1 ]とmax_vps_latency_increase_plus1[ i ][ max_sub_layers_vps_minus1 ]の値がすべてのサブレイヤに適用されると規定する。
【０５７３】
'max_vps_num_reorder_pics'[ i ][ j ]は、nuh_layer_idがｉであるレイヤに対するＣＶＳにおいて復号化順で任意の画像に先行し得る画像であって、HighestTidがｊに等しいときに出力順でその画像の後に続く画像の最大許容数を示す。max_vps_num_reorder_pics[ i ][ j ]の値は０からmax_vps_dec_pic_buffering_minus1[ i ][ j ]までの範囲にあるものとする。ｊが０よりも大きい場合、max_vps_num_reorder_pics[ i ][ j ]はmax_vps_num_reorder_pics[ i ][ j- 1 ]よりも大きいか等しいものとする。max_vps_num_reorder_pics[ i ][ j ]はＳＰＳシンタックス要素sps_max_num_reorder_pics[ j ]の値を推測するために用いられることもある。max_vps_num_reorder_pics[ i ][ j ]が、sub_layer_vps_ordering_info_present_flag[ i ]が０に等しいために、０からmax_sub_layers_vps_minus1[ i ] - 1までの範囲にあるｉに対して存在しない場合、max_vps_num_reorder_pics[ i ][ max_sub_layers_vps_minus1[ i ] ]に等しいと推測される。
【０５７４】
max_vps_latency_increase_plus1[ i ][ j ]は、０に等しくないとき、nuh_layer_idがｉであるレイヤに対するＣＶＳにおいて出力順で任意の画像に先行し得る画像であって、HighestTid がｊに等しいときに復号化順でその画像の後に続く画像の最大数を規定するVpsMaxLatencyPictures[ i ][ j ]の値を演算するのに用いられる。
【０５７５】
max_vps_latency_increase_plus1[ i ][ j ]が０に等しくないとき、VpsMaxLatencyPictures[ i ][ j ]の値は次のように規定される。
【０５７６】
VpsMaxLatencyPictures[ i ][ j ] = max_vps_num_reorder_pics[ i ][ j ] + max_vps_latency_increase_plus1[ i ][ j ] - 1
max_vps_latency_increase_plus1[ i ][ j ]が０に等しいとき、対応する制限は表わされない。
【０５７７】
max_vps_latency_increase_plus1[ j ][ k ]の値は０から２３２−２までの範囲にあるものとする。max_vps_latency_increase_plus1[ i ][ j ]はＳＰＳシンタックス要素sps_max_latency_increase_plus1[ j ]の値を推測するために用いられる場合もある。max_vps_latency_increase_plus1[ i ][ j ]が、sub_layer_vps_ordering_info_present_flag[ i ]が０に等しいために、０からmax_sub_layers_vps_minus1[ i ] - 1までの範囲にあるｉに対して存在しない場合、max_vps_latency_increase_plus1[ i ][ max_sub_layers_vps_minus1[ i ] ]と等しいと推測される。
【０５７８】
図５２を参照すると、vps_extensionの変形例が示されている。vps_extensionの変形例は、新しいシンタックス、すなわち、条件付きで信号化されたsub_layer_vps_buf_info_predict_flag[ i ]、sub_layer_vps_ordering_info_predict_flag[ i ]を有する、図４９におけるシンタックスの更なる変形例を含む。sub_layer_vps_buf_info_predict_flag[ i ]は、１に等しいとき、max_vps_dec_pic_buffering_minus1[ i ][ j ]がｊの各値について、max_vps_dec_pic_buffering_minus1[ i - 1 ][ j ]と等しいと推測されると規定する。
【０５７９】
sub_layer_vps_buf_info_predict_flag[ i ]は、０に等しいとき、ｊの少なくともひとつの値に対するmax_vps_dec_pic_buffering_minus1[ i ][ j ]が明確に信号化されると規定する。sub_layer_vps_buf_info_predict_flag[ 0 ]は０に等しいと推測される。sub_layer_vps_buf_info_predict_flag[ i ]は、存在しないとき、０に等しいと推測される。
【０５８０】
sub_layer_vps_ordering_info_predict_flag[ i ]は、１に等しいとき、シンタックス要素sub_layer_vps_ordering_info_present_flag[ i ]、max_vps_num_reorder_pics[ i ][ j ]、およびmax_vps_latency_increase_plus1[ i ][ j ]は、それぞれ、sub_layer_vps_ordering_info_present_flag[ i - 1 ]、max_vps_num_reorder_pics[ i - 1 ][ j ]、および max_vps_latency_increase_plus1[ i   1 ][ j ]に等しいと推測されると規定する。sub_layer_vps_ordering_info_predict_flag[ i ]は、０に等しいとき、シンタックス要素sub_layer_vps_ordering_info_present_flag[ i ]、 max_vps_num_reorder_pics[ i ][ j ]、 およびmax_vps_latency_increase_plus1[ i ][ j ]が明確に信号化されることを示す。sub_layer_vps_ordering_info_predict_flag[ i ]の値は、存在しないとき、０に設定される。
【０５８１】
図５２における他のシンタックス要素およびそれらの意味論的意味は図４９におけるシンタックス要素およびそれらの意味論的意味と同じである。
【０５８２】
図５３を参照すると、vps_extensionの変形例が示されている。vps extensionの変形例は、図４９におけるシンタックスの更なる変形例を含む。出力レイヤセットｉにおける最上位レイヤｉｄに対してoop_dpb_maxbuffering_parameters(i)パラメータの１セットを信号化する図４９と比べて、図５３では、oop_dpb_maxbuffering_parameters(i,j)は、特定の出力レイヤセットｉの各レイヤｊに対して信号化される。
【０５８３】
図５４を参照すると、oop_dpb_maxbuffering_parametersはsub_layer_vps_buf_info_present_flag[ i ][ k ]、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]を規定する。
【０５８４】
sub_layer_vps_buf_info_present_flag[ i ][ k ]は、１に等しいとき、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]がmax_sub_layers_vps_minus1[ k ]のサブレイヤに対して存在すると規定する。sub_layer_vps_buf_info_present_flag[ i ]は、０に等しいとき、max_vps_dec_pic_buffering_minus1[ i ][ k ][max_sub_layers_vps_minus1[ k ]]の値がすべてのサブレイヤに適用されると規定する。
【０５８５】
max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ] plus 1は、HighestTidがｊに等しい場合、画像保存バッファのユニットにおいてインデックスｉと関連付けられた出力レイヤセットのnuh_layer_idがｋであるレイヤに対するＣＶＳ用の復号化画像バッファの最大所要サイズを規定する。max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]の値は０から（サブクローズＡ．４に規定されるように）MaxDpbSize - 1までの範囲にあるものとする。
【０５８６】
ｊが0より大きい場合、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]はmax_vps_dec_pic_buffering_minus1[ i ][ k ][ j - 1 ] より大きいか等しいものとし、ＳＰＳシンタックス要素sps_max_dec_pic_buffering_minus1[ j ]の値を推測するため用いられる。
【０５８７】
max_vps_dec_pic_buffering_minus1[ i ][ j ]が、sub_layer_vps_buf_info_present_flag[ i ][ k ]が０に等しいために、０からmax_sub_layers_vps_minus1[ k ] - 1までの範囲にあるｉに対して存在しない場合、max_vps_dec_pic_buffering_minus1[ i ][ k ] [ max_sub_layers_vps_minus1[ k ]]に等しいと推測される。
【０５８８】
ｉおよびｊの各値に対するmax_vps_dec_pic_buffering_minus1[ i ][ 0 ][ j ]の値はvps_max_dec_pic_buffering_minus1[ j ]と等しいと推測される。
【０５８９】
図５５を参照すると、oop_dpb_maxbuffering_parametersはsub_layer_vps_buf_info_present_flag[ i ][ k ]、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]を規定する。図５５は、oop_dpb_maxbuffering_parametersに対する図５４のシンタックスと比べると、oop_dpb_maxbuffering_parametersに対する異型シンタックスである。
【０５９０】
０からnum_dpb_info_parameters - 1までの範囲にあるsetIdに対する変数MaxSubLayers[ setId ][ k ]は次のように得られる。
【０５９１】
【表２９】
2018164282.tif 000047
【０５９２】
この場合、oop_dpb_maxbuffering_parametersパラメータ（ｉ，ｋ）は図５５の様に定義される。
【０５９３】
図５６を参照すると、vps_extensionの変形例が示されている。vps extensionの変形例は、新しいシンタックスを有する、図５２におけるシンタックスの更なる変形例を含む。出力レイヤセットｉにおける最上位レイヤｉｄに対してoop_dpb_maxbuffering_parameters(i)パラメータの1セットを信号化する図５２と比べて、図５３では、この異型oop_dpb_maxbuffering_parameters(i,j)は、特定の出力レイヤセットｉの各レイヤｊに対して信号化される。
【０５９４】
oop_dpb_maxbuffring_parameters(I,k)は図５７に示されるとおりである。
【０５９５】
図５８を参照すると、oop_dpb_maxbuffering_parametersはsub_layer_vps_buf_info_present_flag[ i ][ k ]、max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]を規定する。図５７のoop_dpb_maxbuffering_parametersに対するシンタックスと比べると、図５８はoop_dpb_maxbuffering_parametersに対する異型シンタックスである。
【０５９６】
０からnum_dpb_info_parameters - 1までの範囲にあるsetIdに対する変数MaxSubLayers[ setId ][ k ]は次のように得られる。
【０５９７】
【表３０】
2018164282.tif 000048
【０５９８】
この場合、oop_dpb_maxbuffering_parametersパラメータ（ｉ，ｋ）は図５８の様に定義される。
【０５９９】
図５９を参照すると、vps_extensionの変形例が示されている。vps extensionの変形例は、新しいシンタックス、すなわち、条件付きで信号化された追加フラグlayer_dpb_info_parameters_presence_flagを有する、図５６におけるシンタックスの更なる変形例を含む。layer_dpb_info_parameters_presence_flagは、ＶＰＳ拡張におけるlayer_dpb_info_parameters(i)の信号化を任意のものにする。
【０６００】
layer_dpb_info_parameters_presence_flag[ i ]は、１に等しいとき、シンタックス要素sub_layer_vps_ordering_info_predict_flag[ i ]およびlayer_dpb_info_parameters(i)がvps_max_num_layers_minus1レイヤに対して存在すると規定する。layer_dpb_info_parameters_presence_flag[ i ]は、０に等しいとき、シンタックス要素sub_layer_vps_ordering_info_predict_flag[ i ]およびlayer_dpb_info_parameters(i)がvps_max_num_layers_minus1レイヤに対して存在しないと規定する。
【０６０１】
oop_dpb_maxbuffring_parameters(i,k)は図６０に示されるとおりである。
【０６０２】
図６１を参照すると、oop_dpb_maxbuffering_parametersはsub_layer_vps_buf_info_present_flag[ i ][ k ]、 max_vps_dec_pic_buffering_minus1[ i ][ k ][ j ]を規定する。図６０のoop_dpb_maxbuffering_parametersに対するシンタックスと比べると、図６１はoop_dpb_maxbuffering_parametersに対するシンタックスの変形例である。
【０６０３】
０からnum_dpb_info_parameters - 1までの範囲にあるsetIdに対する変数MaxSubLayers[ setId ][ k ]は次のように得られる。
【０６０４】
【表３１】
2018164282.tif 000049
【０６０５】
この場合、oop_dpb_maxbuffering_parametersパラメータ（ｉ,ｋ）は図６１の様に定義される。
【０６０６】
VPS拡張におけるシンタックスのもうひとつの例として、
【０６０７】
【表３２】
2018164282.tif 000050
【０６０８】
が
【０６０９】
【表３３】
2018164282.tif 000051
【０６１０】
に変化してもよい。
【０６１１】
このようにインデックスｋは１の代わりに０で始まってもよい。
【０６１２】
ＶＰＳ拡張におけるシンタックスのもうひとつの例として、
【０６１３】
【表３４】
2018164282.tif 000052
【０６１４】
が
【０６１５】
【表３５】
2018164282.tif 000053
【０６１６】
に変化してもよい。
【０６１７】
vps_max_layer_idはＣＶＳにおけるすべてのＮＡＬユニットのnuh_layer_idの最大許容値を規定する。vps_max_layers_minus1はＣＶＳに存在していてもよいレイヤの最大数を規定する。レイヤは、例えば、空間スケーラブルそう、品質スケーラブルレイヤ、a texture view or a depth view.
ＶＰＳ拡張におけるシンタックスの他のもうひとつの例として、
【０６１８】
【表３６】
2018164282.tif 000054
【０６１９】
が
【０６２０】
【表３７】
2018164282.tif 000055
【０６２１】
に変化してもよい。
【０６２２】
式中、numOutputLayersは次の様に得られる 
【０６２３】
【表３８】
2018164282.tif 000056
【０６２４】
もしくは、次のように変更してもよい。
【０６２５】
【表３９】
2018164282.tif 000057
【０６２６】
ある実施の形態では、追加フラグは、oop_dpb_information_parametersが次のように特定のレイヤに対して信号化されるかどうかを示すように信号化してもよい。
【０６２７】
【表４０】
2018164282.tif 000058
【０６２８】
vps_layer_info_present_flag[ k ]は、１に等しいとき、oop_dpb_maxbuffering_parametersが特定の出力レイヤセットのｋ番目のレイヤに対して存在すると規定する。vps_layer_info_present_flag[ k ]は、０に等しいとき、oop_dpb_maxbuffering_parametersが特定の出力レイヤセットのｋ番目のレイヤに対して存在しないと規定する。
【０６２９】
ＨＲＤに必要な非ＶＣＬ  ＮＡＬユニットのシンタックス要素（もしくは、シンタックス要素のいくつかに対するそれらのデフォルト値）がアネックスＤおよびＥのサブクローズ７の意味的項目に規定されている。
【０６３０】
２種類のＨＲＤパラメータセット（ＮＡＬ  ＨＲＤパラメータおよびＶＣＬ  ＨＲＤパラメータ）が用いられる。ＨＲＤパラメータセットは、ＳＰＳシンタックス構造もしくはＶＰＳシンタックス構造の一部であってもよいhrd_parameters( )シンタックス構造を介して信号化される。
【０６３１】
ビットストリームの適合性をチェックするために複数の試験が行われてもよい。なお、当該ビットストリームは試験用ビットストリームと呼ばれる。各試験について、以下の工程が記載された順に適用される。
【０６３２】
（１）TargetOpLsと表される試験用出力レイヤセットを選択する。TargetOpLs においてoutput_layer_set_idx[]によって参照される動作点は試験用動作点を特定する。 TargetOpLsの出力レイヤ識別子リストOpLayerIdListは、試験用ビットストリームに存在するnuh_layer_id値のサブセットである、TargetOpおよびTargetOpLsに関連付けられたビットストリームサブセットにおいて値の小さい順で存在するnuh_layer_id値のリストからなる。TargetOpのOpTidは、TargetOpと関連付けられたビットストリームサブセットに存在する最も高いTemporalIdと等しい。
【０６３３】
（２）TargetDecLayerIdListを、選択された出力レイヤセットTargetOpLsに対する対象復号化レイヤ識別子リストtargetDLayerIdListに等しくなるように設定する。HighestTidをTargetOpのOpTidに等しくなるように設定し、条項１０で規定されたようなサブビットストリーム抽出プロセスを試験用ビットストリーム、HighestTid、およびTargetDecLayerIdListを入力として用い起動し、そして、出力をBitstreamToDecodeに割り当てる。
【０６３４】
（３）TargetOpに適用可能なhrd_parameters( )シンタックス構造とsub_layer_hrd_parameters( )シンタックス構造とを選択する。もし、TargetDecLayerIdListが試験用ビットストリームに存在するすべてのnuh_layer_id値を含む場合、アクティブなＳＰＳにおける（または、本明細書に規定されていない外部手段を介して提供される）hrd_parameters( )シンタックス構造が選択される。そうでなければ、TargetOpに適用されるアクティブＶＰＳにおける（または、本明細書に規定されていないある外部手段を介して提供される）hrd_parameters( )シンタックス構造が選択される。選択されたhrd_parameters( )シンタックス構造のうち、もしBitstreamToDecodeがタイプＩビットストリームである場合、条件「if( vcl_hrd_parameters_present_flag )」のすぐ後に続くsub_layer_hrd_parameters( HighestTid )シンタックス構造が選択され、変数NalHrdModeFlagが０に等しくなるように設定される。そうでなければ（BitstreamToDecodeがタイプＩＩビットストリームである場合）、条件「if( vcl_hrd_parameters_present_flag )」（この場合、変数NalHrdModeFlagは０に等しくなるように設定される）または条件「if( nal_hrd_parameters_present_flag )」（この場合、変数NalHrdModeFlagが１に等しくなるように設定される）のいずれかのすぐ後に続くsub_layer_hrd_parameters( HighestTid )シンタックス構造が選択される。BitstreamToDecodeがタイプＩＩビットストリームである場合で、NalHrdModeFlagが０に等しい場合、フィラーデータＮＡＬユニットを除くすべての非ＶＣＬ  ＮＡＬユニット、および、存在する場合、（アネックスＢに規定されるように）ＮＡＬユニットストリームからバイトストリームを形成するすべてのleading_zero_8bits, zero_byte、start_code_prefix_one_3bytes、trailing_zero_8bitsシンタックス要素がBitstreamToDecodeから廃棄され、残りのビットストリームがBitstreamToDecodeに割り当てられる。
【０６３５】
適合復号装置はこの項目に規定されるすべての要件を満たしていてもよい。
【０６３６】
（１）特定のプロファイル、階層、レベルへの適合性を要求する復号装置は、アネックスＡに規定されるような方法で、サブクローズＣ．４に規定されるビットストリーム適合性要件に適合するすべてのビットストリームを首尾よく復号化することができるものとする。ただし、ＶＣＬ  ＮＡＬユニットにおいて参照されるすべてのＶＰＳ、ＳＰＳ、および、ＰＰＳ、そして、適切なバッファリング期間および画像タイミングＳＥＩメッセージがビットストリームにおいて（非ＶＣＬ  ＮＡＬユニットによって）または本明細書に規定されていない外部手段によってタイムリーに復号装置へ伝達される。
【０６３７】
（２）ビットストリームが、予約済と規定された値を有するシンタックス要素を含む場合で、復号装置がシンタックス要素または予約済の値を有するシンタックス要素を含むＮＡＬユニットを無視するものとすると規定される場合、そうでなければ、ビットストリームが本明細書に適合する場合、適合復号装置は、適合ビットストリームを復号化するのと同じ方法で当該ビットストリームを復号化するものとし、シンタックス要素または規定されたように予約済の値を有するシンタックス要素を含むＮＡＬユニットを無視するものとする。
【０６３８】
出力タイミングの適合性と出力順の適合性との２種類の復号装置の適合性がある。
【０６３９】
復号装置の適合性をチェックするため、サブクローズＣ．４に規定されるような要求されるプロファイル、階層、レベルに適合する試験ビットストリームが、仮想ストリームスケジューラ（hypothetical stream scheduler）（ＨＳＳ）によって、ＨＲＤと試験用復号装置（ＤＵＴ）との両方へ配信される。ＨＲＤによって出力されるすべてのクロップされた復号化画像もＤＵＴによって出力されるものとする。ＤＵＴによって出力される、クロップされた復号化画像それぞれはPicOutputFlagが１に等しい画像であるものとし、そのようなＤＵＴによって出力される、クロップされた復号化画像それぞれに対して、出力されるすべてのサンプルの値が、規定された復号化処理によって作製されるサンプルの値と等しいものとする。
【０６４０】
出力タイミングに関する復号装置の適合性については、ＨＳＳは、規定されたプロファイル、階層、レベル用のアネックスＡに規定されたようにビットレートおよびＣＰＢのサイズが制限されたSchedSelIdxの値のサブセットからのみ選択されるデリバリースケジュールに従って動作するか、または、アネックスＡに規定されたようにビットレートおよＣＰＢのサイズが制限された以下に規定されるような「補間」デリバリースケジュールに従って動作する。ＨＲＤとＤＵＴの両方に対して同じデリバリースケジュールが用いられる。
【０６４１】
ＨＲＤパラメータおよびバッファリング期間ＳＥＩメッセージが０よりも大きいcpb_cnt_minus1[ HighestTid ]とともに存在する場合、ピークビットレートｒ、ＣＰＢサイズｃ（ｒ）、および、初期のＣＰＢ削除遅延
初期のＣＰＢ削除遅延
【０６４２】
【数１６】
2018164282.tif 000059
【０６４３】
を有すると規定された「補間」デリバリースケジュールを用いて動作するＨＳＳから配信されるようなビットストリームを復号化装置は、次のように復号化することができる。
【０６４４】
【表４１】
2018164282.tif 000060
【０６４５】
０より大きいどのSchedSelIdxおよびｒについても、BitRate[ SchedSelIdx - 1 ]  <=  r  <=  BitRate[ SchedSelIdx ]であり、ｒおよびｃ（ｒ）が規定されたプロファイル、階層、レベル用の最大ビットレートおよびバッファサイズについてアネックスＡに規定されたような制限の範囲内である該当する。InitCpbRemovalDelay[ SchedSelIdx ] はあるバッファリング期間から他のものへ異なっていてもよく、再計算されるべきである。
【０６４６】
出力タイミングに関する復号装置の適合性については、上述したようなＨＲＤが用いられ、画像出力の（最初のビットの配信時間に関する）タイミングがＨＲＤおよびＤＵＴの両方に対して一定の遅延まで同じである。
【０６４７】
出力順に関する復号装置の適合性については、以下が適用される。
【０６４８】
（１）ＤＵＴからの「請求により」、ＨＳＳはビットストリームBitstreamToDecodeをＤＵＴへ配信する。これは、ＤＵＴが処理を進めるためによりビットを必要とするときのみ、ＨＳＳはビットを（復号化順に）配信することを意味する。また、これは、この試験について、ＤＵＴの符号化画像バッファが、一番大きい復号化ユニットのサイズくらい小さいことを意味する。
【０６４９】
（２）以下に記載される変形ＨＲＤを用いる。アネックスＡにおいて規定されたようにビットレートとＣＰＢサイズが制限されたようなビットストリームBitstreamToDecodeにおいて規定されたスケジュールのうちひとつによって、ＨＳＳはビットストリームをＨＲＤへ配信する。画像出力の順序はＨＲＤおよびＤＵＴの両方において同じであるものとする。
【０６５０】
（３）ＨＲＤ  ＣＰＢサイズは、サブクローズＥ．２．３に規定されるようにCpbSize[ SchedSelIdx ]によって与えられる。ここで、SchedSelIdxおよびＨＲＤパラメータはサブクローズＣ．１に規定されるように選択される。ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブＳＰＳから、もしくは、現在の復号化画像のnuh_layer_id の値に対するアクティブなＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。
【０６５１】
出力レイヤセットＤＰＢ情報パラメータoop_dpb_maxbuffering_parameters()が選択された出力レイヤセットに対して存在する場合、ＤＰＢサイズはmax_vps_dec_pic_buffering_minus1[CurrLayerId][HighestTid]によって与えられることもある。ここで、currLayerIdは現在の復号化画像のnuh_layer_idである。出力レイヤセットＤＰＢ情報パラメータoop_dpb_maxbuffering_parameters ()が選択された出力レイヤセットに対して存在しない場合、ＤＰＢサイズは、（現在の復号化画像に対するnuh_layer_idが０に等しい場合）アクティブなＳＰＳから、または、現在の復号化画像のnuh_layer_id の値に対してアクティブなレイヤＳＰＳからsps_max_dec_pic_buffering_minus1[ HighestTid ] + 1によって与えられる。
【０６５２】
ＨＲＤに対するＣＰＢからの削除時間は、最終ビット到着時間であり、復号化が差し迫っている。このＨＲＤのＤＰＢの動作はサブクローズＣ．５．２からＣ．５．２．３．に記載されている。
【０６５３】
復号化画像バッファは画像保存バッファを含む。０に等しいnuh_layer_idに対する画像保存バッファの数はアクティブなＳＰＳから得られる。各０でないnuh_layer_id値に対する画像保存バッファの数は、その０でないnuh_layer_id値に対するアクティブなレイヤＳＰＳから得られる。画像保存バッファはそれぞれ、「参照用に使用」とマーキングされた復号化画像を含むか、今後の出力のために保持される。サブクローズＦ．１３．５．２．２に規定されるようなＤＰＢからの画像の出力および削除の処理が起動され、続いて、サブクローズＦ．１３．５．２．３に規定されるような画像復号化、マーキング、追加バンピング、そして保存の処理が起動される。「バンピング」処理はサブクローズＦ．１３．５．２．４に規定されており、サブクローズＦ．１３．５．２．２およびＦ．１３．５．２．３に規定されるように起動される。
【０６５４】
現在の画像の復号化の前の（しかし、現在の画像の第１のスライスのスライスヘッダーを解析した後の）ＤＰＢからの画像の出力および削除は、現在の画像を含むアクセスユニットの第１の復号化ユニットがＣＰＢから削除され次のように進んだときに、瞬時に起こる。
【０６５５】
サブクローズ８．３．２に規定されるようなＲＰＳに対する復号化処理が起動される。
【０６５６】
（１）現在の画像が、NoRaslOutputFlagが１に等しくnuh_layer_idが０に等しいＩＲＡＰ画像であって、画像０ではないＩＲＡＰ画像である場合、以下の順序の工程が適用される。
【０６５７】
（Ａ）変数NoOutputOfPriorPicsFlagが、以下の様に、試験用復号装置に対して得られる。
【０６５８】
（ｉ）現在の画像がＣＲＡ画像である場合、（no_output_of_prior_pics_flagの値とは関係なく）NoOutputOfPriorPicsFlagを１に等しくなるように設定する。
【０６５９】
（ｉｉ）そうでなければ、アクティブなＳＰＳから得られるpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[ HighestTid ]の値が、先行する画像に対してアクティブなＳＰＳから得られるpic_width_in_luma_samples、pic_height_in_luma_samples、またはsps_max_dec_pic_buffering_minus1[ HighestTid ]のそれぞれの値と異なる場合、no_output_of_prior_pics_flagの値に関係なく、NoOutputOfPriorPicsFlagは試験用復号装置によって１に設定されてもよい（しかしながら、必ずしも設定されなくてもよい）。これらの条件のもとではNoOutputOfPriorPicsFlagをno_output_of_prior_pics_flagに等しくなるように設定することが好ましいが、この場合、試験用復号装置はNoOutputOfPriorPicsFlagを１に設定することができる。
【０６６０】
（ｉｉｉ）そうでない場合、NoOutputOfPriorPicsFlagはno_output_of_prior_pics_flagに等しくなるよう設定される。
【０６６１】
（Ｂ）試験用復号装置に対して得られたNoOutputOfPriorPicsFlagの値は、以下の様に、ＨＲＤに対して適用される。
【０６６２】
（ｉ）NoOutputOfPriorPicsFlagが１に等しい場合、ＤＰＢにおける全ての画像保存バッファは、それらが含んでいる画像の出力はされず、空にされ、そしてＤＰＢフルネスが０に設定される。
【０６６３】
（ｉｉ）そうでない場合（NoOutputOfPriorPicsFlagが０に等しい場合）、「出力不要」および「参照に不使用」とマーキングされた画像を含むすべての画像保存バッファが（出力は行わずに）空にされ、そして、サブクローズＦ．１３．５．２．４に規定される「バンピング」処理を繰り返し起動することによってＤＰＢにおけるすべての非空の画像保存バッファが空にされ、そしてＤＰＢフルネスが０に設定される。
【０６６４】
（ｉｉｉ）そうでない場合（現在の画像が、NoRaslOutputFlagが１でありnuh_layer_idが０であるＩＲＡＰ画像でない場合）、「出力不要」および「参照に不使用」とマーキングされた、画像を含むすべての画像保存バッファが（出力を行わずに）空にされる。空にされた各画像保存バッファについて、ＤＰＢフルネスが１だけ減少する。変数currLayerIdは現在の復号化画像のnuh_layer_idに等しくなるように設定される。
【０６６５】
変数MaxNumReorderPics[ currLayerId ][ HighestTid ]、MaxLatencyIncreasePlus1[ currLayerId ][ HighestTid ]、MaxLatencyPictures[ currLayerId ][ HighestTid ]、MaxDecPicBufferingMinus1[ currLayerId ][ HighestTid ]は次のように得られる。
【０６６６】
レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()がVPSに存在するならば、MaxNumReorderPics[ currLayerId ][HighestTid ] は、currLayerIdが０に等しいときは vps_max_num_reorder_pics[ HighestTid ] に設定され、currLayerIdが０より大きいときはcurrLayerId に対するmax_vps_num_reorder_pics[ CurrLayerId ][  HighestTid ]に設定される。そうではない場合は、レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()が存在しないならば、MaxNumReorderPics[ currLayerId ][  HighestTid ]は、アクティブＳＰＳに由来する（currLayerIdが０に等しいとき）sps_max_num_reorder_pics[ HighestTid ]に設定され、currLayerId 値に対するアクティブレイヤSPSに由来するsps_max_num_reorder_pics[ HighestTid ]に設定される。
【０６６７】
レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()がＶＰＳに存在するならば、MaxLatencyIncreasePlus1[ currLayerId ][  HighestTid ]は、currLayerIdが０に等しいときはvps_max_latency_increase_plus1[ HighestTid ]に設定され、currLayerIdが０より大きいときは、currLayerId に対するmax_vps_latency_increase_plus1[ CurrLayerId ][  HighestTid ]に設定される。レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()がＶＰＳに存在するならば、MaxLatencyPictures[ currLayerId ][ HighestTid ]は、currLayerIdが０に等しいときはSpsMaxLatencyPictures [ HighestTid ] に設定され、currLayerIdが０より大きいときはcurrLayerIdに対するVpsMaxLatencyPictures [ CurrLayerId ][  HighestTid ]に設定される。そうではない場合は、レイヤＤＰＢ情報パラメータlayer_dpb_info_parameters()が試験用動作点に対して存在しないならば、MaxLatencyIncreasePlus1[ currLayerId ][  HighestTid ]は、アクティブＳＰＳ（currLayerIdが０に等しいとき）のsps_max_latency_increase_plus1[ HighestTid ] に設定されるか、the active layer SPS for the value of currLayerIdのsps_max_latency_increase_plus1[ HighestTid ]に設定され、MaxLatencyPictures[ currLayerId ][ HighestTid ]は、（currLayerIdが０に等しいときは）アクティブＳＰＳに由来するSpsMaxLatencyPictures[ currLayerId ][ HighestTid ]に設定されるか、the active layer SPS for the value of currLayerIdに由来するSpsMaxLatencyPictures[ currLayerId ][ HighestTid ]に設定される。
【０６６８】
動作点ＤＰＢ情報パラメータoop_dpb_maxbuffering_parameters ()が選択された出力レイヤセットに対して存在するならば、MaxDecPicBufferingMinus1[ currLayerId ][HighestTid ]は、currLayerIdが０に等しいときはvps_max_dec_pic_buffering_minus1[ HighestTid ]に設定され、currLayerIdが０より大きいときは試験用動作点用のcurrLayerIdに対するmax_vps_dec_pic_buffering_minus1[ CurrLayerId ][  HighestTid ]に設定される。そうではない場合は、動作点ＤＰＢ情報パラメータoop_dpb_maxbuffering_parameters ()が試験用動作点に対して存在しないならば、MaxDecPicBufferingMinus1[ currLayerId ][HighestTid ] は、（currLayerIdが０に等しいときは）アクティブＳＰＳに由来するsps_max_dec_pic_buffering_minus1[ HighestTid ]に設定されるか、currLayerId値に対するアクティブレイヤSPSに由来するsps_max_dec_pic_buffering_minus1[ HighestTid ]に設定される。
【０６６９】
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は、空にされた追加画像保存バッファごとに一つずつＤＰＢフルネスをさらに減らしつつ、繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
【０６７０】
（１）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する、「出力要」とマークされた画像の数は、MaxNumReorderPics[CurrLayerId][HighestTid]より大きい。
【０６７１】
（２）MaxLatencyIncreasePlus1[CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内には、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた少なくとも一つの画像が存在し、この画像に関連付けられた変数PicLatencyCount[ currLayerId ] はMaxLatencyPictures[CurrLayerId][HighestTid]以上である。
【０６７２】
（３）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有する画像の数は、MaxDecPicBuffering[CurrLayerId][HighestTid]以上である。
【０６７３】
このサブクローズに規定されたこれらのプロセスは、現在の画像を含むアクセスユニットｎの最後の復号化ユニットがＣＰＢから削除されるとすぐに行われる。
【０６７４】
変数currLayerIdは、現在の復号化画像のnuh_layer_idに等しく設定される。
【０６７５】
ＤＰＢ内の、「出力要」とマークされ、currLayerIdに等しいnuh_layer_id値を有する画像ごとに、関連する変数PicLatencyCount[ currLayerId ] がPicLatencyCount[ currLayerId ] + 1に等しく設定される。
【０６７６】
現在の画像は、当該画像の最後の復号化ユニットが復号化されてから、復号されたと見なされる。現在の復号化された画像は、ＤＰＢ内の空の画像保存バッファに保存され、以下の事項が該当する。
【０６７７】
（Ａ）現在の復号化画像が１に等しいPicOutputFlagを有しているならば、「出力要」とマークされ、それと関連する変数PicLatencyCount[ currLayerId ]が０に等しく設定される。
【０６７８】
（Ｂ）そうではないならば（現在の復号化画像が０に等しいPicOutputFlagを有しているならば）、「出力不要」とマークされる。
【０６７９】
現在の復号化画像は「短期参照のために使用」とマークされる。
【０６８０】
以下の条件の一または複数が真ならば、サブクローズF.13.5.2.4で規定された「バンピング」工程は繰り返し呼び出され、最終的には以下の条件のすべてが真でなくなる。
【０６８１】
（Ａ）ＤＰＢ内の、currLayerIdに等しいnuh_layer_idを有し、「出力要」とマークされた画像の数は、MaxNumReorderPics[CurrLayerId][HighestTid]より大きい。
【０６８２】
（Ｂ）MaxLatencyIncreasePlus1[CurrLayerId][HighestTid]が０と等しくなく、ＤＰＢ内に、currLayerIdに等しいnuh_layer_idを有する少なくとも一つの画像が存在し、その画像に関連した変数PicLatencyCount[ currLayerId ] は、MaxLatencyPictures[CurrLayerId][HighestTid]以上である。
【０６８３】
「バンピング」工程は、以下の順序のステップからなる。
【０６８４】
（Ａ）最初に出力するべき画像は、ＤＰＢ内にある「出力要」とマークされたすべての画像の中でPicOrderCntValの値がもっとも小さいものとして選ばれる。
【０６８５】
（Ｂ）これらの画像は、０に等しいnuh_layer_idを有する画像用のアクティブＳＰＳまたは当該画像のnuh_layer_idに等しいnuh_layer_id値用のアクティブレイヤＳＰＳで規定されたコンフォーマンスクロッピングウィンドウを用いてクロップされ、クロップされた画像はnuh_layer_idの昇順に出力され、当該画像は「出力不要」とマークされる。
【０６８６】
（Ｃ）「参照に不使用」とマークされた画像を有し、画像のうち、クロップされ、出力された一つを含んでいた画像保存バッファそれぞれが空になる。
【０６８７】
図６２を参照し、修正されたシーケンスパラメータセット（ｓｐｓ）の一例を示す。修正ｓｐｓはsps_dpb_params_present_flagを含む。このフラグの値およびnuh_layer_idの値に基づいた一実施形態では、シンタックス要素のいくつか（例えば、sps_sub_layer_ordering_info_present_flag、sps_max_dec_pic_buffering_minus1[i]、sps_max_num_reorder_pics[i]、sps_max_latency_incease_plus1[i]）は信号化されなくてもよい。
【０６８８】
sps_dpb_params_present_flagが０に等しい場合は、nuh_layer_id >0のＳＰＳに対して、the syntax elements sps_sub_layer_ordering_info_present_flag、sps_max_dec_pic_buffering_minus1[ i ]、sps_max_num_reorder_pics[ i ]、 およびsps_max_latency_increase_plus1[ i ]が当該ＳＰＳに存在しないと規定する。これらのパラメータの値は、アクティブＶＰＳ拡張で信号化されたパラメータsub_layer_vps_buf_info_present_flag[ i ]、max_vps_num_reorder_pics[ i ][ j ]、およびmax_vps_latency_increase_plus1[ i ][ j ]の値に等しく設定される。sps_dpb_params_present_flagが１に等しい場合は、nuh_layer_id >0のＳＰＳに対して、the syntax elements sps_sub_layer_ordering_info_present_flag、sps_max_dec_pic_buffering_minus1[ i ]、sps_max_num_reorder_pics[ i ]、およびsps_max_latency_increase_plus1[ i ]が当該ＳＰＳに存在すると規定する。
【０６８９】
他の実施形態において、上記シンタックス要素の一または複数は、u(v)の代わりにue(v)の代わりに既知の一定数のビットを用いて信号化してもよい。例えば、上記シンタックス要素は、u(8) またはu(16)またはu(32)またはu(64)等を用いて信号化してもよい。
【０６９０】
他の実施形態において、上記シンタックス要素の一または複数は、u(v)符号化のような一定数のビットの代わりに、ue(v)またはその他のコード体系によって信号化してもよい。
【０６９１】
他の実施形態において、種々のシンタックス要素の名称およびセマンティクスは、上述のシンタックスおよびセマンティクスと比較して、plus1もしくはplus2を加算、またはminus1もしくはminus2を減算することによって変更してもよい。
【０６９２】
さらに他の実施形態において、種々のシンタックス要素は、上記ビットストリーム中の任意の箇所で、画像ごとに信号化してもよい。例えば、スライスセグメントヘッダー、ｐｐｓ／ｓｐｓ／ｖｐｓもしくはその他のパラメータセット、または上記ビットストリーム中の規準を定める他の部分において信号化してもよい。
【０６９３】
さらに他の実施形態において、本発明において出力レイヤセットに関して定義したすべての概念は、出力動作点[2,3] および／または動作点[1]に適用できる。
〔実施形態３〕
映像符号化の方法を開示する。当該方法は現在の画像の第一スライスヘッダーの解析を開始する工程を含む。復号化画像バッファ（ＤＰＢ）によって行われる工程のうち、どの工程が画像に基づくものであり、どの工程がアクセスユニット（ＡＵ）に基づくものかを決定する。上記ＤＰＢからの削除を行う。上記ＤＰＢからの画像出力を行う。上記ＤＰＢ内での現在の復号化画像の復号化および保存を行う。上記ＤＰＢ内での上記現在の復号化画像をマーキングする。上記ＤＰＢからの追加画像出力を行う。
【０６９４】
いくつかの構成では、上記ＤＰＢからの上記削除および出力は、ＡＵ出力フラグ、ＡＵによるＲＡＳＬ不出力フラグ、および／またはＡＵによる先行画像不出力フラグなどの少なくとも一つのＡＵ出力フラグに基づいていてもよい。当該ＡＵ出力フラグはビットストリームおよび他の条件において信号化されたシンタックス要素に基づいて得られたものであってよい。これらＡＵフラグはアクセスユニット（ＡＵ）レベルで得られ、用いられるフラグを表す。いくつかの構成では、これらは、画像出力フラグ（例えば、pic_output_flag）、画像ＲＡＳＬ不出力フラグ（picture no rasl output flag）（例えば、NoRaslOutputFlag）、および／または画像の先行画像不出力フラグ（picture no output of prior pictures flag）（例えば、no_output_of_prior_pics flag）などの画像レベルで信号化される、または、得られる同様のフラグとは異なるフラグである。
【０６９５】
ある構成では、第一ＡＵ出力フラグが上記ＤＰＢにより得られかつ上記ＤＰＢによって用いられ、第二ＡＵ出力フラグが上記ＤＰＢにより得られかつ上記ＤＰＢによって用いられてもよい。他の構成では、上記第一スライスヘッダーに画像出力フラグがある場合は、ＡＵにおけるすべての符号化画像に対して、すべての画像出力フラグシンタックス要素値が同じ値に制限されていてもよい。いくつかの構成では、上記第一スライスヘッダーに画像不出力フラグがある場合は、ＡＵにおけるすべての符号化画像に対して、すべての画像出力フラグシンタックス要素値が同じ値に制限されている。
【０６９６】
ある構成では、上記削除は画像に基づき、上記画像出力はＡＵに基づき、上記保存および復号化は画像に基づき、上記マーキングは画像に基づき、上記追加画像出力はＡＵに基づいてもよい。上記ＤＰＢからの上記削除では、上記現在の画像の復号化の前に、上記ＤＰＢから一または複数の画像の削除を行ってもよい。
【０６９７】
他の構成では、上記削除は画像に基づき、上記画像出力、上記復号化および保存、上記マーキング、および上記追加画像出力はＡＵに基づいてもよい。さらに他の構成では、上記削除、上記画像出力、上記復号化および保存、上記マーキング、および上記追加画像出力はＡＵに基づいてもよい。他の構成では、上記削除、上記復号化および保存、および上記マーキングは画像に基づき、上記画像出力および上記追加画像出力はＡＵに基づいてもよい。さらに他の構成では、上記削除、上記画像出力、上記復号化および保存、上記マーキング、および上記追加画像出力は画像に基づいてもよい。
【０６９８】
上記ＤＰＢ内での上記現在の復号化画像をマーキングする工程は、参照マーキング工程と出力マーキング工程とを含んでいてもよい。上記参照マーキング工程は画像に基づき、上記出力マーキング工程はＡＵに基づいてよい。空の保存バッファにおける上記ＤＰＢに復号化画像が保存されている場合は、ＤＰＢフルネスが一だけ増加し、上記ＤＰＢから画像が出力される場合は、上記ＤＰＢフルネスが一だけ減少してもよい。上記ＤＰＢフルネスはレイヤごとに追跡されてもよい。上記ＤＰＢフルネスは出力レイヤセットごとに追跡されてもよい。
【０６９９】
上記ＤＰＢは、異なる解像度、異なる色深度（bit-depth）、および異なる色度のうち一つまたは複数を有する複数の復号化画像用に、別々に特定され管理されている複数の画像バッファを有してもよい。上記ＤＰＢは、複数の画像保存バッファの共通プールを有していてもよく、大きさ、解像度、および色深度（bit-depth）の少なくとも一つに基づいて、当該複数の画像保存バッファに復号化画像が保存されてもよい。ある構成では、当該複数の画像保存バッファのうちの一つの画像バッファスロットに復号化画像が保存されてもよい。
【０７００】
上記方法はスケーラブル高効率映像符号化方式（ＳＨＶＣ）基準に合致する電子装置内の復号装置によって行われてもよい。また、上記方法はマルチビュー高効率映像符号化方式（ＭＶ−ＨＥＶＣ）基準に合致する電子装置内の復号装置によって行われてもよい。
【０７０１】
また、映像符号化のために構成された電子装置を開示する。当該電子装置はプロセッサと、上記プロセッサと電子的に通信するメモリとを備える。上記メモリに保存された指示を処理することにより、現在の画像の第一スライスヘッダーの解析を開始する。また、上記メモリに保存された指示を処理することにより、復号化画像バッファ（ＤＰＢ）によって行われる工程のうち、どの工程が画像に基づくものであり、どの工程がアクセスユニット（ＡＵ）に基づくものかを決定する。上記メモリに保存された指示を処理することにより、上記ＤＰＢからの削除も行う。上記メモリに保存された指示を処理することにより、上記ＤＰＢからの画像出力も行う。上記メモリに保存された指示を処理することにより、上記ＤＰＢ内での現在の復号化画像の復号化および保存も行う。上記メモリに保存された指示を処理することにより、上記ＤＰＢ内での上記現在の復号化画像のマーキングも行う。上記メモリに保存された指示を処理することにより、上記ＤＰＢからの追加画像出力も行う。
【０７０２】
類似する符号が機能上類似する構成要素を示す図面を参照して、以下に、様々な構成を記載する。本明細書において概要を記載され、図に示される上記システムおよび方法は、幅広く様々に異なる構成にして、設計することが可能である。よって、図面に表されるようないくつかの構成の以下のより詳細な記載は、請求の範囲を限定するものではなく、上記システムおよび方法の単に代表的なものである。
【０７０３】
図６３は、複数の電子装置２１０２ａ−ｂ間における映像符号化を示すブロック図である。第１の電子装置２１０２ａおよび第２の電子装置２１０２ｂが示されている。しかしながら、いくつかの構成では、第１の電子装置２１０２ａおよび第２の電子装置２１０２ｂに関して説明される特徴および機能性のうち、ひとつまたは複数の特徴および機能性を組み合わせてひとつの電子装置１０２としてもよい。各電子装置１０２は映像を符号化および／または複号化するよう構成されていてもよい。電子装置１０２はハイブリッド復号化画像バッファ（ＤＰＢ）動作を利用するように構成されていてもよい。ハイブリッド復号化画像バッファ（ＤＰＢ）動作では、復号化画像バッファ（ＤＰＢ）１１６で行われる削除、出力（バンピング）、保存、マーキング、追加出力（バンピング）の各種工程が画像単位またはアクセスユニット（ＡＵ）単位で発生するシナリオを参照する。これら工程の特定の組み合わせは画像単位またはアクセスユニット（ＡＵ）単位で行われていると見なされるが、画像単位またはアクセスユニット（ＡＵ）単位でこれらの工程それぞれを独立して行うことのすべてのあり得る組み合わせがサポートされている。
【０７０４】
ここでは、アクセスユニット（ＡＵ）とは、規定された分類規則に従って互いに関連付けられたネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットである。ネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットは、復号化順に連続するものであって、同じ出力時間に関連付けられたすべての符号化画像の映像符号化レイヤ（ＶＣＬ）ＮＡＬユニットおよびそれらの関連付けられた非ＶＣＬ  ＮＡＬユニットとを含むものである。ベースレイヤはすべてのＶＣＬ  ＮＡＬユニットが０に等しいnuh_layer_idを有するレイヤである。符号化画像は、nuh_layer_idが特定の値であるＶＣＬ  ＮＡＬユニットを含む画像であって、その画像のすべての符号化ツリーユニットを含む画像のコード化表現である。符号化画像はレイヤ成分と呼ばれることもある。画像もしくはアクセスユニット（ＡＵ）に基づく工程の更なる詳細については、図６９、７０に関連して説明する。
【０７０５】
ある構成では、各電子装置１０２は高効率映像符号化（ＨＥＶＣ）方式、スケーラブル高効率映像符号化（ＳＨＶＣ）方式、またはマルチビュー高効率映像符号化（ＭＶ−ＨＷＶＣ）方式に適合していてもよい。ＨＥＶＣ方式はＨ．２６４／ＭＰＥＧ・４  ＡＶＣ  （Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  ｃｏｄｉｎｇ）にとって代わる映像圧縮技術であり、映像画質が改良され、圧縮率が高くなっている。ここでは、モノクロフォーマットの輝度サンプル（luma samples）のアレイ、もしくは、４：２：０、４：２：２、４：４：４のカラーフォーマット、または他のカラーフォーマットの輝度サンプルのアレイと２つの対応するクロマサンプルの配列である。仮想参照復号装置（ＨＲＤ）の動作および出力順復号化画像バッファ（ＤＰＢ）１１６の動作は、ＪＣＴＶＣ‐Ｍ１００８，ＪＣＴＶＣ‐Ｌ１００８，ＪＣＴＶＣ‐Ｄ１００４，ＪＣＴ３Ｖ‐Ｃ１００４、ＪＣＴＶＣ‐Ｌ０４５３およびＪＣＴＶＣ‐Ｌ０４５２におけるＳＨＶＣおよびＭＶ‐ＨＥＶＣについて説明されている。
【０７０６】
第１の電子装置２１０２ａは符号化装置２１０８およびオーバーヘッドシグナリングモジュール２１１２を備えるていてもよい。第１の電子装置２１０２ａは入力画像２１０６を得てもよい。いくつかの構成では、入力画像２１０６は、第１の電子装置２１０２ａにおいてイメージセンサを用いてキャプチャされてもよく、メモリから検索されてもよく、そして／または他の電子装置１０２によって受信されてもよい。符号化装置２１０８は入力画像２１０６を符号化して符号化データ２１１０を作製してもよい。例えば、符号化装置２１０８は一連の入力画像２１０６（例えば、映像）を符号化してもよい。符号化データ２１１０はデジタルデータ（例えば、ビットストリーム）であってもよい。
【０７０７】
オーバーヘッドシグナリングモジュール２１１２は符号化データ２１１０に基づいてオーバーヘッドシグナリングを生成してもよい。例えば、オーバーヘッドシグナリングモジュール２１１２は、スライスヘッダー情報、映像パラメータセット（ＶＰＳ）情報、シーケンスパラメータセット（ＳＰＳ）情報、画像パラメータセット（ＰＰＳ）情報、ピクチャオーダーカウント（picture order count）（ＰＯＣ）、参照画像指示（reference picture designation）などの符号化データ２１１０にオーバーヘッドデータを加えてもよい。いくつかの構成では、オーバーヘッドシグナリングモジュール２１１２は、２つの画像セットの間の移行（transition）を示すラップインジケータ（wrap indicator）を作製してもよい。
【０７０８】
符号化装置２１０８（および、例えば、オーバーヘッドシグナリングモジュール２１１２）はビットストリーム２１１４を作製してもよい。ビットストリーム２１１４は入力画像２１０６に基づく符号化画像データを含んでいてもよい。いくつかの構成では、ビットストリーム２１１４は、スライスヘッダー情報、ＶＰＳ情報、ＳＰＳ情報、ＰＰＳ情報などのオーバーヘッドデータも含んでいてもよい。追加入力画像２１０６が符号化されるとき、ビットストリーム２１１４はひとつまたは複数の符号化データを含んでいてもよい。例えば、ビットストリーム２１１４はひとつまたは複数の符号化参照画像および／または他の画像を含んでいてもよい。
【０７０９】
ビットストリーム２１１４は復号装置２１０４に供給されてもよい。一例を挙げれば、ビットストリーム２１１４は、有線または無線リンクを用いて第２の電子装置２１０２ｂに送信されてもよい。場合によっては、インターネットやローカルエリアネットワーク（ＬＡＮ）などのネットワークを介して送信されてもよい。図６３に示すように、復号装置２１０４は、第１の電子装置２１０２ａにおける符号化装置２１０８から独立して、第２の電子装置２１０２ｂにおいて実現されてもよい。しがしながら、いくつかの構成では、符号化装置２１０８と復号装置２１０４は同じ電子装置１０２において実現されてもよい。符号化装置２１０８と復号装置２１０４が同じ電子装置において実現される場合、例えば、ビットストリーム２１１４は、バスを介して復号装置２１０４に供給されるか、または、復号装置２１０４が検索できるようメモリに格納されていてもよい。
【０７１０】
復号装置２１０４はビットストリーム２１１４を受信（例えば、取得）してもよい。復号装置２１０４はビットストリーム２１１４に基づいて復号化画像２１１８（例えば、ひとつまたは複数の復号化画像２１１８）を生成してもよい。復号化画像２１１８は表示され、再生され、メモリに保存されて、そして／または他の装置などに送信されてもよい。
【０７１１】
復号装置２１０４は復号化画像バッファ（ＤＰＢ）１１６を備えていてもよい。復号化画像バッファ（ＤＰＢ）１１６は、仮想参照復号装置（ＨＲＤ）に対して規定された、参照用、出力再順序付け、出力遅延用の復号化画像を保持するバッファであってもよい。電子装置１０２において、復号化画像バッファ （ＤＰＢ）１１６は、復号装置２１０４で再構成（例えば、復号化）された画像を保存するために用いられてもよい。これらの保存された画像は、例えば、インター予測機構で用いられてもよい。画像が順序通りに復号されない場合、それら画像は、あとで順番に表示されるように復号化画像バッファ（ＤＰＢ）１１６に保存されてもよい。
【０７１２】
Ｈ．２６４またはａｄｖａｎｃｅ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  （ＡＶＣ）方式では、復号化画像バッファ（ＤＰＢ）１１６の管理（例えば、削除、画像の追加、画像の再順序付けなど）がメモリ管理制御動作（ＭＭＣＯ）を用いて行われる。多くの様々な復号化画像バッファ（ＤＰＢ）１１６管理アプローチが検討されている。
【０７１３】
復号装置２１０４はハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール２１２０を備えていてもよい。ハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール２１２０は、画像に基づく工程２１２２による復号化画像バッファ（ＤＰＢ）１１６管理アプローチ、および／または、アクセスユニット（ＡＵ）に基づく工程２１２４による復号化画像バッファ（ＤＰＢ）１１６管理アプローチを可能にする。例えば、削除、保存、参照マーキングのために画像に基づく工程２１２４を用いることの利点のひとつは、最適な復号化画像バッファ（ＤＰＢ）１１６メモリが様々なレイヤによって用いられるということである。したがって、画像に基づく工程を用いる際の全体で要求されるメモリは低くてもよい。出力（出力、出力マーキング、追加出力を含む）のためにアクセスユニット（ＡＵ）に基づく工程２１２４を用いることの利点のひとつは、出力プロセスが単純になるということである。
【０７１４】
図６４はハイブリッド復号化画像バッファ（ＤＰＢ）１１６動作の方法２２００を示すフローチャートである。当該方法２２００は、第２の電子装置１０２における復号装置２１０４の一部としての復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。ある構成では、当該方法２２００はハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール２１２０によって行われてもよい。復号化画像バッファ（ＤＰＢ）１１６は現在の画像の第一スライスヘッダーの解析を始める（２２０２）。復号化画像バッファ（ＤＰＢ）１１６は、ハイブリッド復号化画像バッファ（ＤＰＢ）動作のどの工程が画像に基づくか、どの工程がアクセスユニット（ＡＵ）に基づくかを決定する（２２０４）。
【０７１５】
復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６から、（出力せずに）削除する（２２０６）。上記削除によって、現在の画像を復号化する前に復号化画像バッファ（ＤＰＢ）１１６から画像を削除する。復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６から画像出力（バンピング）する（２２０８）。画像出力（バンピング）は、符号化画像バッファ（ＣＰＢ）削除時間（coded picture buffer (CPB) removal time）に復号化画像バッファ（ＤＰＢ）１１６から画像を出力することをいう。いくつかの構成では、「バンピング」は復号化画像バッファ（ＤＰＢ）１１６からひとつ以上の画像を出力することを指すために用いてもよい。したがって、「バンピング」と「出力」は同じように用いられる。
【０７１６】
復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６内の現在の画像を復号化（２２１０）し保存する。復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６に保存された現在の復号化画像をマーキングする（２２１２）。例えば、復号化画像バッファ（ＤＰＢ）１１６は、「参照用に不使用」、「参照用に使用」、「出力要」、や「出力不要」などと現在の復号化画像をマーキングする（２１２２）。復号化画像バッファ（ＤＰＢ）１１６は、復号化画像バッファ（ＤＰＢ）１１６から別の画像出力（追加バンピング）も行ってもよい（２２１４）。いくつかの構成では、復号化画像バッファ（ＤＰＢ）１１６からの画像の削除／バンピングは、ある条件が満たされるまで行われてもよい。
【０７１７】
図６５はハイブリッド復号化画像バッファ（ＤＰＢ）１１６の動作の他の方法２３００を示すフローチャートである。例えば、図６５の上記方法２３００は、ハイブリッド復号化画像バッファ（ＤＰＢ）１１６の好ましい動作方法である。上記方法２３００は、電子装置１０２上の復号装置２１０４の一部としての復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。一構成において、上記方法２３００は、ハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール２１２０によって行われてもよい。上記復号化画像バッファ（ＤＰＢ）１１６は、現在の画像の第１スライスヘッダーの解析を開始してもよい（２３０２）。「ハイブリッド」という語は、上記復号化画像バッファ（ＤＰＢ）１１６のいくつかの動作工程が画像に基づいて行われ、上記復号化画像バッファ（ＤＰＢ）１１６のいくつかの動作工程がアクセスユニット（ＡＵ）に基づいて行われることを指す。上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）１１６から、（出力せずに）画像に基づく削除をしてもよい（２３０４）。上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）１１６から、アクセスユニット（ＡＵ）に基づく画像出力（バンピング）を行ってもよい（２３０６）。上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）において、画像に基づいて現在の画像を復号化し保存してもよい（２３０８）。
【０７１８】
上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）において、画像に基づいて現在の復号化画像のマーキングを行ってもよい（３１０）。上記復号化画像バッファ（ＤＰＢ）１１６によって行われる上記マーキングする工程は、さらに参照マーキング工程および出力マーキング工程の両方を含んでもよい。本明細書では、画像が「参照用に不使用」または「参照用に使用」であるとマーキングすることを、参照マーキング工程と称する。上記復号化処理動作中のどの時点においても、上記復号化画像バッファ（ＤＰＢ）１１６における復号化画像には、「参照用に不使用」、「短期参照用に使用」、または「長期参照用に使用」のいずれか一つのみをマーキングすることができる。これらのマーキングのうちの一つを画像に割り当てるということは、上記画像に割り当てられている他のマーキングを削除するということになる。画像が「参照用に使用」とマーキングされたという場合、これは、その画像が「短期参照用に使用」もしくは「長期参照用に使用」とマーキングされたことをまとめて指すが、その両方としてマーキングされることはない。本明細書では、画像が「出力要」または「出力不要」であることをマーキングすることを、出力マーキング工程と称する。
【０７１９】
上記復号化画像バッファ（ＤＰＢ）１１６は、上記参照マーキング工程および上記出力マーキング工程が画像に基づきまたはアクセスユニット（ＡＵ）に基づき行われるように動作してもよい。一般的に、これら二つのマーキングする工程のすべての可能な組み合わせ（通常は四つの組み合わせ）は、個々に、画像に基づきまたはアクセスユニット（ＡＵ）に基づき行われる。しかしながら、上記参照マーキング工程を画像に基づいて行い、上記出力マーキング工程をアクセスユニット（ＡＵ）に基づいて行うことが好ましい。
【０７２０】
上記復号化画像バッファ（ＤＰＢ）１１６は、アクセスユニット（ＡＵ）に基づいて現在の復号化画像の出力をマーキングしてもよい（２３１２）。上記復号化画像バッファ（ＤＰＢ）１１６は、上記復号化画像バッファ（ＤＰＢ）１１６から、アクセスユニット（ＡＵ）に基づいて他の画像出力（追加バンピング）を行ってもよい（２３１４）。いくつかの構成においては、上記復号化画像バッファ（ＤＰＢ）１１６からの画像の削除／バンピングを、所定の条件を満たすまで繰り返してもよい。
【０７２１】
いくつかのアプローチにおいて、上記スライスセグメントヘッダーのフラグに対して、ビットストリーム上の適合制約（bitstream conformance constraints）が必要であってもよい。いくつかの場合において、上記制約は、同じアクセスユニット（ＡＵ）に属する画像にわたるフラグに適用されてもよい。例えば、ビットストリーム上の適合制約に従うために、pic_output_flagおよび／またはno_output_of_prior_pics_flagというフラグが必要であってもよい。例えば、ＪＣＴＶＣ−Ｌ１００３、ＪＣＴＶＣ−Ｍ１００８、およびＪＣＴ３Ｖ−Ｄ１００４のそれぞれには、pic_output_flagおよびno_output_of_prior_pics_flagを用いた上記スライスセグメントヘッダーにおける信号化が記載されている。さらに、PicOutputFlag、NoRaslOutputFlag、およびNoOutputOfPriorPicsFlag等のフラグは、上記シンタックス要素およびＮＡＬユニットタイプに基づいて生成することができる。
【０７２２】
ＪＣＴＶＣ−Ｌ１００３、ＪＣＴＶＣ−Ｍ１００８、およびＪＣＴ３Ｖ−Ｄ１００４は、ＨＥＶＣ、ＳＨＶＣ、およびＭＶ−ＨＥＶＣに対するＤＰＢについての記載も含んでいる。ＪＣＴＶＣ−Ｍ１００８  ＳＨＶＣ  Ｄｒａｆｔ  Ｔｅｘｔ  １では、ＨＥＶＣのスケーラブル拡張用のテキストドラフトが提示されている。ＪＣＴ３Ｖ−Ｄ１００４  ＭＶ−ＨＥＶＣ  Ｄｒａｆｔ  Ｔｅｘｔ  ４では、ＨＥＶＣのマルチビュー拡張用のテキストドラフトが記載されている。
【０７２３】
ＪＣＴＶＣ−Ｌ１００３、ＪＣＴＶＣ−Ｍ１００８、および／またはＪＣＴ３Ｖ−Ｄ１００４に従って、上記映像符号化ビットストリームは、一般にネットワーク抽象化レイヤ（ＮＡＬ）ユニットと呼ばれる論理データパケットに置かれるシンタックス構造を含んでもよい。各ＮＡＬユニットは、関連データペイロードの目的を識別するための２バイトのＮＡＬユニットヘッダー（例えば１６ビット）等のＮＡＬユニットヘッダーを含む。例えば、各符号化スライス（および／または画像）は、一または複数のスライス（および／または画像）ＮＡＬユニットにおいて符号化されてもよい。他のＮＡＬユニットは、例えば、付加エンハンスメント情報、一時的サブレイヤアクセス（ＴＳＡ）画像の符号化スライス、段階的な一時的サブレイヤアクセス（ＳＴＳＡ）画像の符号化スライス、非ＴＳＡトレイリング画像（trailing picture）の符号化スライス、非ＳＴＳＡトレイリング画像の符号化スライス、区切られたリンクアクセス画像（broken link access picture）の符号化スライス、瞬時復号化更新画像の符号化スライス、クリーンランダムアクセス画像の符号化スライス、復号可能リーディング画像の符号化スライス、廃棄タグ付き画像、映像パラメータセット、シーケンスパラメータセット、画像パラメータセット、アクセスユニットデリミタ、シーケンスの終端、ビットストリームの終端、フィラーデータおよび／またはシーケンスエンハンスメント情報メッセージの符号化スライス等の他のデータカテゴリー用に含まれていてもよい。下記表（７）は、ＮＡＬユニットコードおよびＮＡＬユニットタイプクラスの一例を示す。他のＮＡＬユニットタイプも任意に含まれていてもよい。
【０７２４】
なお、表（７）に記載の上記ＮＡＬユニットのＮＡＬユニットタイプ値は、再配置および再割り当てされてもよい。また、更なるＮＡＬユニットタイプが追加または削除されてもよい。
【０７２５】
イントラランダムアクセスポイント（ＩＲＡＰ）画像は、下記表（７）に示す通り、各映像符号化レイヤＮＡＬユニットがBLA_W_LPからRSV_IRAP_VCL23を含む範囲のnal_unit_typeを持つ符号化画像である。ＩＲＡＰ画像は、イントラ符号化（Ｉ）スライスのみを含む。
【０７２６】
瞬時復号化更新（ＩＤＲ）画像は、表（７）に示す通り、各映像符号化レイヤＮＡＬユニットがIDR_W_RADLまたはIDR_N_LPに等しいnal_unit_typeを持つＩＲＡＰ画像である。瞬時復号化更新（ＩＤＲ）画像は、Ｉスライスのみを含み、復号化順序においてビットストリームの一番目の画像であってもよく、ビットストリームにおいて後の方に現れてもよい。
【０７２７】
各ＩＤＲ画像は、復号化順序における符号化映像シーケンス（ＣＶＳ）の一番目の画像である。区切られたリンクアクセス（ＢＬＡ）画像は、表（７）に示す通り、各映像符号化レイヤＮＡＬユニットがBLA_W_LP、BLA_W_RADL、またはBLA_N_LPに等しいnal_unit_typeを持つＩＲＡＰ画像である。
【０７２８】
ＢＬＡ画像は、Ｉスライスのみを含み、復号化順序においてビットストリームの一番目の画像であってもよく、ビットストリームにおいて後の方に現れてもよい。各ＢＬＡ画像は新しい符号化映像シーケンスを開始し、上記復号化処理においてＩＤＲ画像と同じ効果がある。しかしながら、ＢＬＡ画像は、非空の参照画像セットを特定するシンタックス要素を含む。
【０７２９】
【表４２】
2018164282.tif 000061
【０７３０】
下記の表（８）から、上記ＮＡＬユニットヘッダーシンタックスは２バイトのデータ、つまり、１６ビットを含んでもよい。一番目のビットは、ＮＡＬユニットの開始時において常にゼロに設定される「forbidden_zero_bit」であってもよい。次の６ビットは、上記表（７）に示す通り、ＮＡＬユニットに含まれるローバイトシーケンスペイロード（「ＲＢＳＰ」）のデータ構造のタイプを特定する「nal_unit_type」であってもよい。次の６ビットは、レイヤの識別子を特定する「nuh_layer_id」であってもよい。いくつかの場合において、代わりに、これらの６ビットは「nuh_reserved_zero_6bits」として特定されてもよい。上記nuh_reserved_zero_6bitsは、基準の基礎仕様において０に等しくてもよい。スケーラブル映像符号化および／またはシンタックス拡張において、nuh_layer_idは、この特定のＮＡＬユニットがこれらの６ビットの値によって識別されたレイヤに属していることを特定してもよい。
【０７３１】
次のシンタックス要素は「nuh_temporal_id_plus1」であってもよい。上記nuh_temporal_id_plus1 minus 1は、ＮＡＬユニットの一時的識別子を特定してもよい。変数の一時的識別子TemporalIdは、TemporalId = nuh_temporal_id_plus1 - 1のように特定されてもよい。上記一時的識別子TemporalIdは、一時的サブレイヤを識別するのに使われる。変数HighestTidは、復号化されるべき最上位の一時的サブレイヤを識別する。
【０７３２】
【表４３】
2018164282.tif 000062
【０７３３】
下記の表（９）は、典型的なシーケンスパラメータセット（ＳＰＳ）のシンタックス構造を示す。pic_width_in_luma_samplesは、輝度サンプル（luma samples）のユニットにおける各復号化画像の幅を特定する。pic_width_in_luma_samplesは、０に等しいということはない。pic_height_in_luma_samplesは、輝度サンプルのユニットにおける各復号化画像の高さを特定する。pic_height_in_luma_samplesは、０に等しいということはない。
【０７３４】
sps_max_sub_layers_minus1 plus 1は、ＳＰＳを参照する各ＣＶＳに存在してもよい一時的サブレイヤの最大数を特定する。sps_max_sub_layers_minus1の値は、０から６を含む範囲である。
【０７３５】
フラグsps_sub_layer_ordering_info_present_flagが１に等しい場合は、シンタックス要素sps_max_dec_pic_buffering_minus1[ i ]、sps_max_num_reorder_pics[ i ]、およびsps_max_latency_increase_plus1[ i ]が、sps_max_sub_layers_minus1 + 1のサブレイヤに対して存在していることを特定する。sps_sub_layer_ordering_info_present_flagが０に等しい場合は、sps_max_dec_pic_buffering_minus1[ sps_max_sub_layers_minus1 ]、sps_max_num_reorder_pics[ sps_max_sub_layers_minus1 ]、およびsps_max_latency_increase_plus1[ sps_max_sub_layers_minus1 ]の値がすべてのサブレイヤに適用されることを特定する。
【０７３６】
sps_max_dec_pic_buffering_minus1[ i ] plus 1は、HighestTidがｉに等しい場合の、画像保存バッファのユニットにおけるＣＶＳについての上記復号化画像バッファの最大必要サイズを特定する。sps_max_dec_pic_buffering_minus1[ i ]の値は、０以上MaxDpbSize - 1以下の範囲であり、ここで、MaxDpbSizeは画像保存バッファのユニットにおける最大復号化画像バッファサイズを特定する。ｉが０よりも大きい場合、sps_max_dec_pic_buffering_minus1[ i ]はsps_max_dec_pic_buffering_minus1[ i - 1 ]以上である。sps_sub_layer_ordering_info_present_flagが０に等しく、よってsps_max_dec_pic_buffering_minus1[ i ]が０以上sps_max_sub_layers_minus1 - 1以下の範囲のｉに対して存在しない場合、sps_max_dec_pic_buffering_minus1[ sps_max_sub_layers_minus1 ]に等しいと推定される。
【０７３７】
sps_max_num_reorder_pics[ i ]は、HighestTidがｉに等しい場合に、復号化順序ではＣＶＳの画像に先行し、出力順序ではその画像の後になる画像の最大許容数を示す。sps_max_num_reorder_pics[ i ]の値は、０以上sps_max_dec_pic_buffering_minus1[ i ]以下の範囲である。ｉが０よりも大きい場合、sps_max_num_reorder_pics[ i ]はsps_max_num_reorder_pics[ i - 1 ]以上であってもよい。sps_sub_layer_ordering_info_present_flagが０に等しく、よってsps_max_num_reorder_pics[ i ]が０以上sps_max_sub_layers_minus1 - 1以下の範囲のｉ用に存在しない場合、sps_max_num_reorder_pics[ sps_max_sub_layers_minus1 ]に等しいと推定される。
【０７３８】
０に等しくないsps_max_latency_increase_plus1[ i ]は、HighestTidがｉに等しい場合に、出力順序ではＣＶＳの画像に先行し、復号化順序ではその画像の後になる画像の最大数を特定するSpsMaxLatencyPictures[ i ]の値を計算するために使用されてもよい。sps_max_latency_increase_plus1[ i ]が０に等しくない場合、SpsMaxLatencyPictures[ i ]の値は以下の通り特定される：SpsMaxLatencyPictures[ i ] = sps_max_num_reorder_pics[ i ] + sps_max_latency_increase_plus1[ i ] - 1。sps_max_latency_increase_plus1[ i ]が０に等しい場合、対応する制限はない。
【０７３９】
sps_max_latency_increase_plus1[ i ]の値は、０以上２３２−２以下の範囲である。sps_sub_layer_ordering_info_present_flagが０に等しく、よってsps_max_latency_increase_plus1[ i ]が０以上sps_max_sub_layers_minus1 - 1以下の範囲のｉ用に存在しない場合、sps_max_latency_increase_plus1[ sps_max_sub_layers_minus1 ]に等しいと推定される。
【０７４０】
【表４４】
2018164282.tif 000063
【０７４１】
さらに、ＪＣＴＶＣ−Ｌ１００３はＨＥＶＣ基準を記載する。例えば、pic_out_flagおよびno_output_of_prior_pics_flagに関する詳細が下記の表（１０）に記載されている。
【０７４２】
【表４５】
2018164282.tif 000064
【０７４３】
表（１０）において、ＩＤＲ、またはＪＣＴＶＣ−Ｌ１００３のアネックスＣにて特定されるように、ビットストリームにおける一番目の画像ではないＢＬＡ画像、の復号化の後、no_output_of_prior_pics_flagは上記復号化画像バッファ（ＤＰＢ）における先の復号化画像の出力に影響を及ぼす。
【０７４４】
output_flag_present_flagが１に等しい場合は、pic_output_flagシンタックス要素が、関連するスライスヘッダー中に存在することを示す。output_flag_present_flagが０に等しい場合は、pic_output_flagシンタックス要素が、関連するスライスヘッダー中には存在しないことを示す。pic_output_flagは、ＪＣＴＶＣ−Ｌ１００３のアネックスＣで特定されるように復号化画像の出力および削除の処理に影響を及ぼす。pic_output_flagが存在しない場合、１に等しいと推定される。
【０７４５】
一般的な（ＪＣＴＶＣ−Ｌ１００３の８．１にあるような）復号化処理用に、PicOutputFlagは下記の様に設定される：
‐現在の画像がＲＡＳＬ画像であり、関連するＩＲＡＰ画像のNoRaslOutputFlagが１に等しい場合、PicOutputFlagは０に等しく設定されてもよい。
【０７４６】
‐そうでない場合、PicOutputFlagはpic_output_flagに等しく設定されてもよい。
【０７４７】
加えて、利用できない参照画像を生成する一般的な（ＪＣＴＶＣ−Ｌ１００３の８．３．３．１にあるような）復号化処理中に、生成した画像のPicOutputFlagの値を、ある条件下で０に等しく設定してもよい。
【０７４８】
現在の画像がＩＲＡＰ画像の場合、下記の通りである：
‐現在の画像がＩＤＲ画像、ＢＬＡ画像、復号化順序でビットストリームの一番目の画像、または復号化順序でシーケンスＮＡＬユニットの終端に続く一番目の画像である場合、変数NoRaslOutputFlagは１に等しく設定されてもよい。
【０７４９】
‐別の場合として、ＪＣＴＶＣ−Ｌ１００３にて特定されないある外部の手段を用いて、変数HandleCraAsBlaFlagを現在の画像用の値に設定する場合、変数HandleCraAsBlaFlagは上記外部の手段によって得られた値に等しく設定されてもよく、変数NoRaslOutputFlagはHandleCraAsBlaFlagに等しく設定されてもよい。
【０７５０】
‐別の場合として、変数HandleCraAsBlaFlagは０に等しく設定されてもよく、変数NoRaslOutputFlagは０に等しく設定されてもよい。
【０７５１】
上述したとおり、アクセスユニット（ＡＵ）とは、特定の分類規則に従って互いに関連し、復号化順序で連続し、同じ出力時間に関連するすべての符号化画像の映像符号化レイヤ（ＶＣＬ）ＮＡＬユニットおよびそれらの関連する非ＶＣＬ  ＮＡＬユニットを含む、ネットワーク抽象化レイヤ（ＮＡＬ）ユニットのセットを指す。上記ベースレイヤは、すべてのＶＣＬ  ＮＡＬユニットが０に等しいnuh_layer_idを持つレイヤである。符号化画像は、nuh_layer_idが特定の値であるＶＣＬ  ＮＡＬユニットを含み、その画像のすべての符号化ツリーユニットを含む画像のコード化表現である。いくつかの場合において、符号化画像はレイヤ成分と呼ばれてもよい。画像に基づくまたはアクセスユニット（ＡＵ）に基づく工程の更なる詳細については、図６９および図７０に関連して下記に記載する。
【０７５２】
いくつかの構成において、pic_output_flagおよび／またはno_output_of_prior_pics_flagに対するビットストリーム上の適合制約は、アクセスユニット（ＡＵ）の符号化画像に使われてもよい。加えて、３つの新しいアクセスユニット出力フラグ、つまり、ＡＵ出力フラグ（例えば、AuOutputFlag）、ＡＵによるＲＡＳＬ不出力フラグ（AU no RASL output flag）（例えば、AuNoRaslOutputFlag）、およびＡＵによる先行画像不出力フラグ（AU no output of prior pictures flag）（例えば、AuNoOutputOfPriorPicsFlag）が、様々なシンタックス要素の値およびＡＵの符号化画像用のＮＡＬユニットタイプに基づいて、ＡＵ用に生成されてもよい。いくつかの構成において、画像の出力および削除は、ＳＨＶＣおよびマルチビューＨＥＶＣ用のこれらの３つのフラグ（例えば、AuOutputFlag、AuNoRaslOutputFlag、およびAuNoOutputOfPriorPicsFlag）に基づいて行われてもよい。
【０７５３】
例えば、ＨＥＶＣ拡張用のビットストリーム上の適合制約が、本明細書におけるシステムおよび方法において記載されているように従われてもよい。特に、ビットストリーム上の適合制約は、ＳＨＶＣビットストリームに適用されてもよい。加えて、ビットストリーム上の適合制約は、ＭＶ−ＨＥＶＣビットストリームに適用されてもよい。
【０７５４】
一構成において、スライスセグメントヘッダーシンタックス要素pic_output_flagが存在する場合、その値が、アクセスユニット（ＡＵ）における符号化画像のすべてのスライスセグメントヘッダーにおいて同じであることが必要であってもよい。他の構成において、スライスセグメントヘッダーシンタックス要素pic_output_flagが存在する場合、その値が、符号化画像が同じＮＡＬユニットタイプである場合にアクセスユニット（ＡＵ）における符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。
【０７５５】
一構成において、nuh_layer_idの値が対象レイヤのnuh_layer_idに等しいスライスセグメントに対するスライスセグメントヘッダーシンタックス要素pic_output_flagが存在する場合、その値が、アクセスユニット（ＡＵ）におけるそのような符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。他の構成において、nuh_layer_idの値が対象レイヤのnuh_layer_idに等しくないスライスセグメントに対するスライスセグメントヘッダーシンタックス要素pic_output_flagが存在する場合、その値が、アクセスユニット（ＡＵ）におけるそのような符号化画像のすべてのスライスセグメントヘッダーにおいて０であってもよい。
【０７５６】
一構成において、対象レイヤは、ＪＣＴＶＣ−Ｌ１００３、ＪＣＴＶＣ−Ｍ１００８、またはＪＣＴ３Ｖ−Ｄ１００４に規定されるとおり、レイヤセット、対象レイヤセット、または出力レイヤセットに属するレイヤであってもよい。他の構成において、対象レイヤは復号化されるべきレイヤであってもよい。さらに他の構成において、対象レイヤは、復号化および出力されるべきレイヤであってもよい（表示されるかそうでなければ出力される）。
【０７５７】
いくつかの構成において、スライスセグメントヘッダーシンタックス要素no_output_of_prior_pics_flagが存在する場合、その値が、アクセスユニット（ＡＵ）における符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。他の構成において、スライスセグメントヘッダーシンタックス要素no_output_of_prior_pics_flagが存在する場合、その値が、符号化画像が同じＮＡＬユニットタイプである場合にアクセスユニット（ＡＵ）における符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。一構成において、nuh_layer_idの値が対象レイヤのnuh_layer_idに等しいスライスセグメントに対するスライスセグメントヘッダーシンタックス要素no_output_of_prior_pics_flagが存在する場合、その値が、アクセスユニット（ＡＵ）におけるそのような符号化画像のすべてのスライスセグメントヘッダーにおいて同じであってもよい。
【０７５８】
ある構成において、上記シンタックス要素pic_output_flagおよび／またはno_output_of_prior_pics_flagは、nuh_layer_id > ０の時に信号化されなくてもよい。この場合、nuh_layer_id > ０のレイヤの値は、０に等しいnuh_layer_idのそれらの信号化された値に等しいと推定される。
【０７５９】
いくつかの構成においては、AuOutputFlagおよびAuNoRaslOutputFlag等の追加のフラグを用いてもよい。上記フラグAuOutputFlagおよびAuNoRaslOutputFlagは多数のアプローチに従って得られてもよい。一アプローチまたは構成において、２つのフラグAuOutputFlagおよびAuNoRaslOutputFlagが生成され、ＤＰＢの動作に使用されてもよい。ＡＵにおけるすべての画像に対してPicOutputFlagが１に等しい場合、AuOutputFlagは１に等しく設定されてもよい。そうではない場合、AuOutputFlagは０に等しく設定されてもよい。
【０７６０】
他のアプローチにおいて、ＡＵにおける少なくとも一つの画像に対してPicOutputFlagが１に等しい場合、AuOutputFlagは１に等しく設定されてもよい。そうではない場合、AuOutputFlagは０に等しく設定されてもよい。したがって、この場合、ＡＵにおけるすべての画像に対してPicOutputFlagが０に等しい場合、AuOutputFlagは０に等しく設定されてもよい。
【０７６１】
更に他のアプローチにおいて、ＡＵにおけるすべての対象出力レイヤに属する画像に対するPicOutputFlagが１に等しい場合、AuOutputFlagは１に等しく設定されてもよい。そうではない場合、AuOutputFlagは０に等しく設定されてもよい。
【０７６２】
更に他のアプローチにおいて、ＡＵにおける少なくとも一つの対象出力レイヤに属する画像に対してPicOutputFlagが１に等しい場合、AuOutputFlagは１に等しく設定されてもよい。そうではない場合、AuOutputFlagは０に等しく設定されてもよい。
【０７６３】
一アプローチにおいて、ＡＵにおけるすべての画像に対してNoRaslOutputFlagが１に等しい場合、AuNoRaslOutputFlagは１に等しく設定されてもよい。そうではない場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。
【０７６４】
他のアプローチにおいて、ＡＵにおける少なくとも一つの画像に対してNoRaslOutputFlagが１に等しい場合、AuNoRaslOutputFlagは１に等しく設定されてもよい。そうではない場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。したがって、この場合、ＡＵにおけるすべての画像に対してNoRaslOutputFlagが０に等しい場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。
【０７６５】
更に他のアプローチにおいて、ＡＵにおけるすべての対象出力レイヤに属する画像に対するNoRaslOutputFlagが１に等しい場合、AuNoRaslOutputFlagは１に等しく設定されてもよい。そうではない場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。
【０７６６】
更に他のアプローチにおいて、ＡＵにおける少なくとも一つの対象出力レイヤに属する画像に対してNoRaslOutputFlagが１に等しい場合、AuNoRaslOutputFlagは１に等しく設定されてもよい。そうではない場合、AuNoRaslOutputFlagは０に等しく設定されてもよい。
【０７６７】
上述のアプローチおよび構成のいくつかにおいて、PicOutputFlagの代わりにAuOutputFlagを使ってＤＰＢが動作してもよい。加えて、NoRaslOutputFlagの代わりにAuNoRaslOutputFlagを使ってＤＰＢが動作してもよい。
【０７６８】
本発明のシステムおよび方法において、AuOutputFlagやAuNoRaslOutputFlag等のＡＵ出力フラグを使用する例を、下記リスト１Ａおよびリスト２Ａに示す。また、下記リスト１、リスト１Ａ、リスト２、およびリスト２Ａに記載の通り、ＡＵ出力フラグAuNoOutputOfPriorPicsFlagがＤＰＢの動作用に生成および使用されてもよい。
【０７６９】
本発明のシステムおよび方法は、規格の変更によって実施されてもよい。下記リスト１は、本発明のシステムおよび方法に適合するように変更されるＪＣＴＶＣ−Ｌ１００３のセクションを示す。
リスト１
【リスト１】
【０７７０】
2018164282.tif 000065
【０７７１】
2018164282.tif 000066
【０７７２】
2018164282.tif 000067
【０７７３】
2018164282.tif 000068
【０７７４】
2018164282.tif 000069
【０７７５】
上記のリスト１において、ＰＳＢは画像保存バッファ（picture storage buffer）を指す。ＤＰＢフルネスは、復号化画像バッファ（ＤＰＢ）１１６のフルネスを記す変数を指す。
【０７７６】
下記のリスト１Ａは、本発明のシステムおよび方法を可能にするためのリスト１のセクションC.3.2へのもう一つのアプローチを提供する。いくつかの構成では、リスト１Ａは、JCTVC-L1003のセクションC.3.2に対する変更を表すだけである。リスト１Ａは、上記のように定義したフラグAuNoOutputOfPriorPicsFlagとAuNoRaslOutputFlagを用いてもよい。
リスト１A
【リスト１Ａ】
【０７７７】
2018164282.tif 000070
【０７７８】
2018164282.tif 000071
【０７７９】
2018164282.tif 000072
【０７８０】
下記のリスト２は、本発明のシステムおよび方法を包含するために変更されるJCTVC-L1008のセクションを提供する。
リスト２
【リスト２】
【０７８１】
2018164282.tif 000073
【０７８２】
2018164282.tif 000074
【０７８３】
2018164282.tif 000075
【０７８４】
2018164282.tif 000076
【０７８５】
2018164282.tif 000077
【０７８６】
2018164282.tif 000078
【０７８７】
2018164282.tif 000079
【０７８８】
下記のリスト２Ａは、本発明のシステムおよび方法を可能にするためのリスト２のセクションF.13.5.2.2へのもう一つのアプローチを提供する。いくつかの構成では、リスト２Ａは、JCTVC-L1008のセクションF.13.5.2.2に対する変更を表すだけである。リスト２Ａは、上記のように定義したフラグAuNoOutputOfPriorPicsFlagとAuNoRaslOutputFlagを用いてもよい。
リスト２Ａ
【リスト２Ａ】
【０７８９】
2018164282.tif 000080
【０７９０】
2018164282.tif 000081
【０７９１】
2018164282.tif 000082
【０７９２】
或る構成において、上記のリスト１、リスト１Ａ、リスト２、およびリスト２Ａで提案されているテキストにおける"current picture"は、全て、"current decoded picture"に置き換えてもよい。
【０７９３】
下記のリスト３は、本発明のシステムおよび方法を包含するための復号化を行う付加的なセクションを提供する。リスト３は、本発明のシステムおよび方法を包含するために変更されるJCTVC-L1003（つまり、HEVC規格バージョン３４）のセクションを提供する。
リスト３
【リスト３】
【０７９４】
2018164282.tif 000083
【０７９５】
さまざまな工程が画像に基づく、またはアクセスユニットに基づく画像に基づくハイブリッド復号化画像バッファ（ＤＰＢ）１１６を定義するのに、多くの異なる変形例が可能である。
【０７９６】
【表４６】
2018164282.tif 000084
【０７９７】
【表４７】
2018164282.tif 000085
【０７９８】
【表４８】
2018164282.tif 000086
【０７９９】
【表４９】
2018164282.tif 000087
【０８００】
【表５０】
2018164282.tif 000088
【０８０１】
図６６は、復号装置２４０４の一構成を示すブロック図である。復号装置２４０４は電子装置２４０２に含まれていてもよい。例えば、復号装置２４０４は、高効率映像符号化（HEVC）復号装置であってもよい。復号装置２４０４および／または復号装置２４０４に含まれているものとして示された一または複数の要素は、ハードウェアで実施してもよいし、ソフトウェアで実施してもよいし、それらの組み合わせで実施してもよい。復号装置２４０４は、復号用のビットストリーム２４１４（例えば、ビットストリーム２４１４に含まれる一または複数の符号化画像）を受け取ってもよい。いくつかの構成では、受け取られたビットストリーム２４１４は、受け取られたオーバーヘッド情報（例えば、受け取られたスライスヘッダー）、受け取られたＰＰＳ、受け取られたバッファ記述情報などを含んでもよい。ビットストリーム２４１４に含まれた符号化画像は、一または複数の符号化参照画像および／または一または複数の他の符号化画像を含んでいてもよい。
【０８０２】
（ビットストリーム２４１４に含まれる上記一または複数の符号化画像内の）受け取られたシンボルは、エントロピー復号モジュール４５４によってエントロピー復号化されて動き情報信号４５６と量子化、縮小化、および／または変形係数４５８とを生成することができる。
【０８０３】
動き情報信号４５６は、動き補償モジュール４６０におけるフレームメモリ４６４からの参照フレーム信号４８４の一部と結び付いてもよく、それによってフレーム間予測信号４６８を生成してもよい。量子化、縮小化、および／または変形係数４５８は、逆モジュール４６２によって逆に量子化、縮小化、逆に変形し、それによって復号化残余信号４７０を生成してもよい。復号化残余信号４７０を予測信号４７８に加えて、復号信号４７２を生成してもよい。予測信号４７８は、上記フレーム間予測信号４６８、またはフレーム内予測モジュール４７４によって生成されるフレーム内予測信号４７６のいずれかから選ばれる信号であってもよい。いくつかの構成では、この信号選択はビットストリーム２４１４に基づいて（例えば、制御されて）いる。
【０８０４】
フレーム内予測信号４７６は、結合信号４７２（例えば、現在のフレーム内の）から前回復号化された情報から予測してもよい。結合信号４７２は、脱ブロッキングフィルタ４８０でフィルタしてもよい。その結果生成されるフィルタ後信号４８２をフレームメモリ４６４に書き込んでもよい。その結果生成されるフィルタ後信号４８２は復号化画像を含んでいてもよい。
【０８０５】
フレームメモリ４６４は、以下に説明する復号化画像バッファ（ＤＰＢ）２４１６を含んでいてもよい。復号化画像バッファ（ＤＰＢ）２４１６は、ハイブリッド復号化画像バッファ（ＤＰＢ）１１６動作が可能であってもよい。復号化画像バッファ（ＤＰＢ）２４１６は、短期または長期参照フレームとして維持することができる一または複数の復号化画像を含んでいてもよい。フレームメモリ４６４は、復号化された画像に対応するオーバーヘッド情報を含んでいてもよい。例えば、フレームメモリ４６４は、スライスヘッダー、映像パラメータセット（ＶＰＳ）情報、シーケンスパラメータセット（ＳＰＳ）情報、画像パラメータセット（ＰＰＳ）情報、サイクルパラメータ、バッファ記述情報等を含んでもよい。これらの情報の一または複数を、符号化装置（例えば、符号化装置２１０８、オーバーヘッドシグナリングモジュール２１１２）から信号化してもよい。
【０８０６】
図６７Ａは、映像符号化のために、エンハンスメントレイヤとベースレイヤを用い、当該エンハンスメントレイヤとベースレイヤに異なる復号化画像バッファ（ＤＰＢ）５１ａ−ｂと異なるハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ａ−ｂとを用いる様子を示すブロック図である。第一電子装置５０２ａと第二電子装置５０２ｂを示す。第一電子装置５０２ａは、エンハンスメントレイヤ符号化装置５２６とベースレイヤ符号化装置５２８とを含む映像符号化装置５０８を備えていてもよい。第一電子装置５０２ａ内に含まれる要素のそれぞれ（つまり、エンハンスメントレイヤ符号化装置５２６とベースレイヤ符号化装置５２８）は、ハードウェアで実施しても、ソフトウェアで実施しても、あるいはその両者の組み合わせで実施してもよい。第一電子装置５０２ａは、入力画像２５０６を取得してもよい。いくつかの実施形態では、入力画像２５０６は、画像センサを用いたり、メモリから読み出したり、他の電子装置５０２から受け取ったりして、第一電子装置５０２ａ上に記録してもよい。
【０８０７】
エンハンスメントレイヤ符号化装置５２６は、入力画像２５０６を符号化して符号化データを生成してもよい。例えば、エンハンスメントレイヤ符号化装置５２６は、一連の入力画像２５０６（例えば、映像）を符号化してもよい。符号化されたデータは、符号化エンハンスメントレイヤ映像ビットストリーム５３０に含まれてもよい。エンハンスメントレイヤ符号化装置５２６は、入力画像２５０６に基づいて、オーバーヘッド信号を生成してもよい。
【０８０８】
エンハンスメントレイヤ映像復号装置５３４は、復号化画像バッファ（ＤＰＢ）５１６ａとハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ａを含んでもよい。同様に、ベースレイヤ復号装置５３６は、復号化画像バッファ（ＤＰＢ）５１６ｂとハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ｂを含んでもよい。
【０８０９】
ベースレイヤ符号化装置５２８も、入力画像２５０６を符号化してもよい。一つの構成では、エンハンスメントレイヤ符号化装置５２６に用いられたのと同じ入力画像２５０６が、ベースレイヤ符号化装置５２８に用いられてもよい。他の構成では、エンハンスメントレイヤ符号化装置５２６に用いられたのとは異なる（しかし類似した）入力画像２５０６が、ベースレイヤ符号化装置５２８に用いられてもよい。例えば、信号‐ノイズ比（ＳＮＲ）の拡張性（品質拡張性とも呼ぶ）のために、同じ入力画像２５０６が、エンハンスメントレイヤ符号化装置５２６とベースレイヤ符号化装置５２８の両方に用いられてもよい。他の例として、空間拡張性のため、ベースレイヤ符号化装置５２８は、間引きした画像を用いてもよい。さらに他の例では、マルチビュー拡張性のため、ベースレイヤ符号化装置５２８は、異なるビュー画像を用いてもよい。ベースレイヤ符号化装置５２８は、符号化ベースレイヤ映像ビットストリーム５３２に含まれる符号化データを生成してもよい。
【０８１０】
符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２はそれぞれ、入力画像２５０６に基づく符号化データを含んでもよい。一例では、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２は、符号化画像データを含んでもよい。いくつかの構成では、符号化エンハンスメントレイヤ映像ビットストリーム５３０および／または符号化ベースレイヤ映像ビットストリーム５３２は、シーケンスパラメータセット（ＳＰＳ）情報、画像パラメータセット（ＰＰＳ）情報、映像パラメータセット（ＶＰＳ）情報、スライスヘッダー情報等のオーバーヘッドデータを含んでもよい。
【０８１１】
符号化エンハンスメントレイヤ映像ビットストリーム５３０が第二電子装置５０２ｂに供給されてもよい。同様に、符号化ベースレイヤ映像ビットストリーム５３２が第二電子装置５０２ｂに供給されてもよい。第二電子装置５０２ｂは映像復号装置２５０４を備えていてもよい。映像復号装置２５０４は、エンハンスメントレイヤ復号装置５３４とベースレイヤ復号装置５３６とを含んでいてもよい。一つの構成では、符号化ベースレイヤ映像ビットストリーム５３０はベースレイヤ復号装置５３６に復号化され、一方、符号化エンハンスメントレイヤ映像ビットストリーム５３０はエンハンスメントレイヤ復号装置５３６に復号化される。
【０８１２】
一例では、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２は、有線または無線で第二電子装置５０２ｂに送信されてもよい。いくつかの場合、この送信は、インターネット、ローカルエリア・ネットワーク（ＬＡＮ）、または機器間の通信を行う他の種類のネットワークなどのネットワークを介して行われる。なお、いくつかの構成では、符号化装置（つまり、エンハンスメントレイヤ符号化装置５２６とベースレイヤ符号化装置５２８）と復号装置２５０４（例えば、ベースレイヤ復号装置５３６とエンハンスメントレイヤ復号装置５３４）は、同じ電子装置５０２で実施されてもよい（つまり、第一電子装置５０２ａと第二電子装置５０２ｂは、一つの電子装置５０２の一部）。符号化装置と復号装置が同じ電子装置５０２で実施される例では、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２は、映像復号装置２５０４にさまざまな方法で供給しうる。例えば、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２は、映像復号装置２５０４に母線を介して供給されてもよいし、メモリに保存され、映像復号装置２５０４に読み出されてもよい。
【０８１３】
映像復号装置２５０４は、符号化エンハンスメントレイヤ映像ビットストリーム５３０と符号化ベースレイヤ映像ビットストリーム５３２に基づいて、一または複数の復号化画像を生成してもよい。復号化画像２１１８（エンハンスメントレイヤ復号化画像５３８とベースレイヤ復号化画像５４０を含んでいてもよい）は、表示、再生、メモリへの保存、および／または他の機器への送信などをされてもよい。
【０８１４】
一例では、復号化画像２１１８は、他の機器へ送信されるか、第一電子装置５０２ａへ戻されてもよい。復号化画像２１１８はまた、第二電子装置５０２ｂに保存されるか、あるいはその他のかたちで保持されてもよい。他の例では、第二電子装置５０２ｂは、復号化画像２１１８を表示してもよい。他の構成では、復号化画像２１１８は入力画像２５０６の諸要素を含んでもよい。当該諸要素は、ビットストリーム２１１４に加えられた符号化あるいは他の操作に応じて異なる性質を持つ。いくつかの構成では、復号化画像２１１８は、入力画像２５０６とは異なる解像度、フォーマット、仕様または他の性質を持つ画像ストリームに含まれてもよい。
【０８１５】
図６７Ｂは、共有復号化画像バッファ（ＤＰＢ）５１６ｃと共有ハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ｃを、ベースレイヤとエンハンスメントレイヤ双方に用いることを示すブロック図である。図６７Ｂは、エンハンスメントレイヤ映像復号装置５３４とベースレイヤ復号装置５３６が復号化画像バッファ（ＤＰＢ）５１６ｃとハイブリッド復号化画像バッファ（ＤＰＢ）動作モジュール５２０ｃを共有すること以外は、図６７Ａと同じ要素を含む。
【０８１６】
図６８は、ハイブリッド復号化画像バッファ（ＤＰＢ）１１６動作を示すタイミング図である。図６８のハイブリッド復号化画像バッファ（ＤＰＢ）１１６動作は、削除、保存、参照マーキングが画像に基づいて行われ、出力、出力マーキング、追加出力がアクセスユニット（ＡＵ）ベースで行われる、好ましい変形例の諸工程を示す。理想的な復号化画像バッファ（ＤＰＢ）１１６と仮想参照復号装置（ＨＲＤ）は、示されたさまざまな工程（例えば、削除６２１ａ‐ｂ、出力６２３、保存６２５ａ‐ｃ、マーキング６２７ａ‐ｃ、６２９および追加出力６３１）がすべて同時に行われるように動作する。これらの工程のシーケンスとタイミングオフセットは、個々の工程間に、説明のために描いたものである。復号装置間の出力タイミングの一致（output timing decoder conformance）のため、画像出力のタイミング（第一ビットの送出時間に対するタイミング）は、仮想参照復号装置（ＨＲＤ）と試験用復号装置（ＤＵＴ）の両方で、定められた遅れに到達するまでは同じである。したがって、図示されたタイミングオフセットは、ＨＲＤに対する定められた遅れを導入するＤＵＴに起こり得る。
【０８１７】
第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６を図示する。符号化画像バッファ（ＣＰＢ）削除時間２６４６を図示する。符号化画像バッファ（ＣＰＢ）削除時間２６４６の経過後、画像に基づく削除（出力なし）６２１ａが第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われ、画像に基づく削除（出力なし）６２１ｂがベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。タイミングオフセット後、アクセスユニット（ＡＵ）に基づく画像出力（バンピング（bumping））６２３が、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。
【０８１８】
別のタイミングオフセット後の、現在の復号化画像関連プロセス６１３を図示する。画像に基づく保存工程６２５ａ‐ｃは、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。ベースレイヤ（ＢＬ）２６４４、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａ、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの画像それぞれの復号化後、保存工程を行ってもよい。保存工程６２５はさらに細分してもよい。保存工程６２５において、復号化された画像は、空の保存バッファ内の復号化画像バッファ（ＤＰＢ）１１６内に保存され、復号化画像バッファ（ＤＰＢ）フルネスが一だけ増やされる。また、画像が復号化画像バッファ（ＤＰＢ）１１６から（出力なしに）削除されるときは、復号化画像バッファ（ＤＰＢ）フルネスが一だけ減らされる。同様に、画像が復号化画像バッファ（ＤＰＢ）１１６からはじき出される（bumped）とき（バンピング（bumping）中あるいは追加バンピング中）、復号化画像バッファ（ＤＰＢ）フルネスが一だけ減らされる。
【０８１９】
復号化画像バッファ（ＤＰＢ）１１６は、異なる特徴を有する複数の復号化画像用に、別々に特定され管理されている複数の画像バッファを有してもよい。例えば、復号化画像バッファ（ＤＰＢ）１１６は、異なる解像度、異なる色深度（bit-depth）、および／または異なる色度を有する複数の復号化画像用に、別々に特定され管理されている複数の画像バッファを有してもよい。
【０８２０】
復号化画像は、代わりに、復号化画像バッファ（ＤＰＢ）１１６内の複数の画像保存バッファの共通プールに保存されてもよい。例えば、二つの付加下位ケースを用いて、バンピング／削除プロセスおよびレベル定義に影響する復号化画像バッファ（ＤＰＢ）１１６のサイズ制限を決定してもよい。バイト基準の復号化画像バッファ（ＤＰＢ）１１６の制限では、解像度および／または色深度に基づいてサイズを考慮して復号化画像を保存してもよい。復号化画像バッファ（ＤＰＢ）１１６のサイズ制限は、復号化画像それぞれの解像度と色深度を考慮するバイト制限と定義できる。画像に基づく復号化画像バッファ（ＤＰＢ）１１６の制限では、復号化画像を保存してもよい（そして、画像バッファスロットを一つ占めると考えられる）。その場合、復号化画像バッファ（ＤＰＢ）１１６のサイズ制限は、復号化画像それぞれの解像度と色深度を考慮することなく、画像スロット数の制限と定義できる。
【０８２１】
一つの構成では、復号化画像バッファ（ＤＰＢ）フルネスはレイヤごとに監視してもよい。例えば、レイヤごとに、復号化画像バッファ（ＤＰＢ）１１６のサイズ制限を信号化し、バンピング（bumping）を行ってもよい。それぞれのレイヤが独自の画像保存バッファを有している場合、変数ＤＰＢFullness[nuh_layer_id]を用いて、それぞれのレイヤの復号化画像バッファ（ＤＰＢ）フルネスを監視してもよい。nuh_layer_idと等しいレイヤＩＤ値を有するレイヤから画像が削除されると、変数ＤＰＢFullness[nuh_layer_id]がＤＰＢFullness[nuh_layer_id]-1に設定されてもよい（すなわち、ＤＰＢFullness[nuh_layer_id]が一だけ減らされてもよい）。この場合、当該画像は画像保存バッファＰＳＢ[nuh_layer_id]から削除された。
【０８２２】
同様に、nuh_layer_idと等しいレイヤＩＤ値を有する現在復号化された画像が復号化画像バッファ（ＤＰＢ）１１６に保存されると、変数ＤＰＢFullness[nuh_layer_id]はＤＰＢFullness[nuh_layer_id]+1に設定される（すなわち、ＤＰＢFullness[nuh_layer_id]が一だけ増やされる）。この場合、当該画像は画像保存バッファＰＳＢ[nuh_layer_id]に保存された。
【０８２３】
復号化画像バッファ（ＤＰＢ）フルネスはまた、出力レイヤセットごとに監視することもできる。その場合、出力レイヤセットごとに特定された制限に基づいて、復号化画像バッファ（ＤＰＢ）１１６のサイズ制限を信号化し、バンピング（bumping）を行ってもよい。ＤＰＢフルネス値は、試験用動作点（operation point under test）と関連付けられた出力レイヤセットごとに監視することができる。こうして、画像が上記出力レイヤセットに属するレイヤから削除されると、復号化画像バッファ（ＤＰＢ）フルネスの値が、DPBFullness=DPBFullness-1と、一だけ減らされてもよい。同様に、現在復号化された画像が復号化画像バッファ（ＤＰＢ）１１６に保存されると、復号化画像バッファ（ＤＰＢ）フルネスが、DPBFullness=DPBFullness+1と、一だけ増やされてもよい。
【０８２４】
現在の復号化画像関連プロセス６１３のうち、マーキングプロセス６１１を図示する。マーキングプロセス６１１は、参照マーキング６２７ａ‐ｃと出力マーキング６２９を含む。保存工程６２５ａ‐ｃからのタイミングオフセット後、画像に基づく参照マーキング工程６２７ａ‐ｃが、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。別のタイミングオフセット後、アクセスユニット（ＡＵ）に基づく出力マーキング工程６２９が、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。現在の復号化画像関連プロセス６１３が終了すると、アクセスユニット（ＡＵ）に基づく画像出力（追加バンピング）工程６３１が、ベースレイヤ（ＢＬ）２６４４の復号化画像バッファ（ＤＰＢ）１１６、第一エンハンスメントレイヤ（ＥＬ１）２６４２ａの復号化画像バッファ（ＤＰＢ）１１６、および第二エンハンスメントレイヤ（ＥＬ２）２６４２ｂの復号化画像バッファ（ＤＰＢ）１１６によって行われてもよい。
【０８２５】
図６９は、第二エンハンスメントレイヤ（ＥＬ２）９４２ｂが、ベースレイヤ（ＢＬ）９４４および第一エンハンスメントレイヤ（ＥＬ１）９４２ａより低い画像率を有する場合の、符号化画像およびアクセスユニット（ＡＵ）用のレイヤのネットワーク抽象化レイヤ（ＮＡＬ）ユニットのための構造およびタイミングを示すブロック図である。ＥＬ１符号化画像９５３ａの各ＮＡＬユニットを、第一エンハンスメントレイヤ（ＥＬ１）９４２ａに沿って図示する。ＥＬ２符号化画像９５３ｂの各ＮＡＬユニットを、第二エンハンスメントレイヤ（ＥＬ２）９４２ｂに沿って図示する。ベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットを、ベースレイヤ（ＢＬ）９４４に沿って図示する。
【０８２６】
時間ｔ１において、ＥＬ１符号化画像９５３ａの各ＮＡＬユニット、ＥＬ２符号化画像９５３ｂの各ＮＡＬユニット、ベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）９５５ａの一部である。時間ｔ２において、ＥＬ１符号化画像９５３ａの各ＮＡＬユニットとベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）９５５ｂの一部である。時間ｔ３において、ＥＬ１符号化画像９５３ａの各ＮＡＬユニット、ＥＬ２符号化画像９５３ｂの各ＮＡＬユニット、ベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）９５５ｃの一部である。時間ｔ４において、ＥＬ１符号化画像９５３ａの各ＮＡＬユニットとベースレイヤ符号化画像９５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）９５５ｄの一部である。
【０８２７】
図７０は、ベースレイヤ（ＢＬ）１０４４が、第一エンハンスメントレイヤ（ＥＬ１）１０４２ａおよび第二エンハンスメントレイヤ（ＥＬ２）１０４２ｂより低い画像率を有する場合の、符号化画像およびアクセスユニット（ＡＵ）用のレイヤのネットワーク抽象化レイヤ（ＮＡＬ）ユニットのための構造およびタイミングを示すブロック図である。ＥＬ１符号化画像１０５３ａの各ＮＡＬユニットを、第一エンハンスメントレイヤ（ＥＬ１）１０４２ａに沿って図示する。ＥＬ２符号化画像１０５３ｂの各ＮＡＬユニットを、第二エンハンスメントレイヤ（ＥＬ２）１０４２ｂに沿って図示する。ベースレイヤ符号化画像１０５３ｃの各ＮＡＬユニットを、ベースレイヤ（ＢＬ）１０４４に沿って図示する。
【０８２８】
時間ｔ１において、ＥＬ１符号化画像１０５３ａの各ＮＡＬユニット、ＥＬ２符号化画像１０５３ｂの各ＮＡＬユニット、ベースレイヤ符号化画像１０５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）１０５５ａの一部である。時間ｔ２において、ＥＬ１符号化画像１０５３ａの各ＮＡＬユニットとＥＬ２符号化画像１０５３ｂの各ＮＡＬユニットは、アクセスユニット（ＡＵ）１０５５ｂの一部である。時間ｔ３において、ＥＬ１符号化画像１０５３ａの各ＮＡＬユニット、ＥＬ２符号化画像１０５３ｂの各ＮＡＬユニット、ベースレイヤ符号化画像１０５３ｃの各ＮＡＬユニットは、アクセスユニット（ＡＵ）１０５５ｃの一部である。時間ｔ４において、ＥＬ１符号化画像１０５３ａの各ＮＡＬユニットとＥＬ１符号化画像１０５３ｂの各ＮＡＬユニットは、アクセスユニット（ＡＵ）１０５５ｄの一部である。
【０８２９】
「コンピュータで読み取り可能な媒体」という用語は、コンピュータまたはプロセッサでアクセス可能なすべての入手可能な媒体を指す。本明細書での「コンピュータで読み取り可能な媒体」という用語は、非一時的で実体のあるコンピュータおよび／またはプロセッサで読み取り可能な媒体を示してもよい。コンピュータで読み取り可能な媒体またはプロセッサで読み取り可能な媒体の例として、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ‐ＲＯＭまたは他の光学ディスク記録装置、磁気ディスク記録装置または他の磁気記録装置、あるいは所望のプログラムコードを指示またはデータ構造のかたちで運搬または保存するのに使用でき、コンピュータまたはプロセッサでアクセス可能な他のすべての媒体を指す。本明細書において、ディスクは、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光学ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピーディスク、ブルーレイ(c)ディスクが挙げられるが、これらに限定されるものではない。ディスク（disk）は通常、データを磁気的に再生するものであり、ディスク（disc）はレーザを受けてデータを光学的に再生するものである。
【０８３０】
なお、本明細書に記載された方法の一つまたは複数は、ハードウェアを用いて実施および／または実行してもよい。例えば、本明細書に記載された方法またはアプローチの一つまたは複数は、チップセット、ＡＳＩＣ、ＬＳＩ、または集積回路等を用いて実施および／または実現してもよい。
【０８３１】
本明細書で開示された方法のそれぞれは、所望の方法を実現するための一または複数の工程または作用を含む。当該方法の複数の工程および／または複数の作用は、本願クレームの範囲から外れない限りにおいて、相互の交換および／または組み合わせて一つの工程にすることを行ってもよい。つまり、記載中の方法の適切な動作のために工程または作用を特定の順序にする必要があるのでない限り、特定の工程および／または作用の順序および／または仕様は、本願クレームの範囲から外れない限りにおいて、修正してもよい。
【０８３２】
なお、本願クレームは、上記で説明した構成および要素そのものだけに限定されるものではない。本願クレームの範囲から外れない限りにおいて、本明細書に記載したシステム、方法、および装置の配置、動作、および詳細に対して、さまざまな修正、変化、変形を加えてよい。
【図１Ａ】
2018164282.tif 000089
【図１Ｂ】
2018164282.tif 000090
【図２】
2018164282.tif 000091
【図３】
2018164282.tif 000092
【図４】
2018164282.tif 000093
【図５】
2018164282.tif 000094
【図６Ａ】
2018164282.tif 000095
【図６Ｂ】
2018164282.tif 000096
【図７Ａ】
2018164282.tif 000097
【図７Ｂ】
2018164282.tif 000098
【図８】
2018164282.tif 000099
【図９】
2018164282.tif 000100
【図１０】
2018164282.tif 000101
【図１１】
2018164282.tif 000102
【図１２】
2018164282.tif 000103
【図１３Ａ】
2018164282.tif 000104
【図１３Ｂ】
2018164282.tif 000105
【図１３Ｃ】
2018164282.tif 000106
【図１４】
2018164282.tif 000107
【図１５】
2018164282.tif 000108
【図１６】
2018164282.tif 000109
【図１７】
2018164282.tif 000110
【図１８】
2018164282.tif 000111
【図１９】
2018164282.tif 000112
【図２０】
2018164282.tif 000113
【図２１】
2018164282.tif 000114
【図２２】
2018164282.tif 000115
【図２３】
2018164282.tif 000116
【図２４】
2018164282.tif 000117
【図２５】
2018164282.tif 000118
【図２６】
2018164282.tif 000119
【図２７】
2018164282.tif 000120
【図２８】
2018164282.tif 000121
【図２９】
2018164282.tif 000122
【図３０】
2018164282.tif 000123
【図３１】
2018164282.tif 000124
【図３２】
2018164282.tif 000125
【図３３】
2018164282.tif 000126
【図３４】
2018164282.tif 000127
【図３５】
2018164282.tif 000128
【図３６】
2018164282.tif 000129
【図３７】
2018164282.tif 000130
【図３８Ａ】
2018164282.tif 000131
【図３８Ｂ】
2018164282.tif 000132
【図３９Ａ】
2018164282.tif 000133
【図３９Ｂ】
2018164282.tif 000134
【図４０】
2018164282.tif 000135
【図４１】
2018164282.tif 000136
【図４２】
2018164282.tif 000137
【図４３】
2018164282.tif 000138
【図４４】
2018164282.tif 000139
【図４５】
2018164282.tif 000140
【図４６】
2018164282.tif 000141
【図４７】
2018164282.tif 000142
【図４８】
2018164282.tif 000143
【図４９Ａ】
2018164282.tif 000144
【図４９Ｂ】
2018164282.tif 000145
【図５０】
2018164282.tif 000146
【図５１】
2018164282.tif 000147
【図５２】
2018164282.tif 000148
【図５３】
2018164282.tif 000149
【図５４】
2018164282.tif 000150
【図５５】
2018164282.tif 000151
【図５６】
2018164282.tif 000152
【図５７】
2018164282.tif 000153
【図５８】
2018164282.tif 000154
【図５９】
2018164282.tif 000155
【図６０】
2018164282.tif 000156
【図６１】
2018164282.tif 000157
【図６２】
2018164282.tif 000158
【図６３】
2018164282.tif 000159
【図６４】
2018164282.tif 000160
【図６５】
2018164282.tif 000161
【図６６】
2018164282.tif 000162
【図６７Ａ】
2018164282.tif 000163
【図６７Ｂ】
2018164282.tif 000164
【図６８】
2018164282.tif 000165
【図６９】
2018164282.tif 000166
【図７０】
2018164282.tif 000167
【手続補正書】
【提出日】平成30年6月27日(2018.6.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像を復号化する方法であって、
現在の画像を示す映像パラメータセット及びビットを含むビットストリームを受信する工程と、
上記現在の画像のスライスヘッダーの少なくとも一部を解析する工程と、
上記映像パラメータセット中の１つ以上のシンタックス要素に基づき、復号化画像バッファ（ＤＰＢ）からの削除の動作が画像ごとに実行されるべきであるか又はアクセスユニット（ＡＵ）ごとに実行されるべきであるかの第１の決定を実行する工程であって、アクセスユニットは、少なくともベースレイヤ及びエンハンスメントレイヤを含み、各レイヤは、画像を示す、工程と、
上記ＤＰＢからの画像出力の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの、上記第１の決定とは別の第２の決定を実行する工程と、
上記削除の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの上記第１の決定に従って、上記ＤＰＢからの上記削除の動作を実行する工程と、
上記画像出力の動作が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの上記第２の決定に従って、上記ＤＰＢからの上記画像出力の動作を実行する工程と、
上記ＤＰＢ中の現在の復号化画像の復号及び保存を実行する工程と、
上記現在の復号化画像をマーキングすることが画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの第３の決定を実行する工程と、
上記現在の復号化画像をマーキングすることが画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの上記第３の決定に従って、ＤＰＢ中の上記現在の復号化画像をマーキングする工程と、
上記ＤＰＢからの追加画像出力が画像ごとに実行されるべきであるか又はＡＵごとに実行されるべきであるかの第４の決定に従って、当該追加画像出力を実行する工程と、を含むことを特徴とする、方法。