(57)【要約】【課題】  符号化処理、または、復号処理におけるメモリを削減する。【解決手段】  階層動画像復号装置１は、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号するＮＡＬユニットヘッダ復号部を備えている。【選択図】  図１８
2015035642.tif 000002
【特許請求の範囲】
【請求項１】
ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、
復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、
前記ＮＡＬユニットヘッダ復号部は、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする画像復号装置。
【請求項２】
前記画像復号装置であって、
パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部を備え、
前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記画像復号装置であって、
パラメータセットから少なくともプロファイルを復号するパラメータセット復号部を備え、
前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像のプロファイルを示す場合には、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする請求項１から請求項２に記載の画像復号装置
【請求項４】
ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部を備え、
復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、
前記ＮＡＬユニットヘッダ復号部は、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする画像復号装置。
【請求項５】
前記画像復号装置であって、
パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部を備え、
前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする請求項４に記載の画像復号装置。
【請求項６】
前記画像復号装置であって、
パラメータセットから少なくともプロファイルを復号するパラメータセット復号部を備え、
前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像のプロファイルを示す場合には、ベースレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする請求項４に記載の画像復号装置。
【請求項７】
ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、
パラメータセットから少なくともレイヤ間予測最大ＴＩＤを復号するパラメータセット復号部と、
復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのレイヤ間予測最大ＴＩＤより小さいＴＩＤを有するピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、
パラメータセット復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合には、全てのレイヤに共通のレイヤ間予測最大ＴＩＤを割り当て、共通のレイヤ間予測最大ＴＩＤが用いられないと判定される場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする画像復号装置。
【請求項８】
上記パラメータセット復号部は、レイヤ間予測最大ＴＩＤアライメントフラグを復号し、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、１つのレイヤ間予測最大ＴＩＤを復号し、全てのレイヤに復号した１つのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間予測最大ＴＩＤアライメントフラグが０の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする請求項７に記載の画像復号装置。
【請求項９】
上記パラメータセット復号部は、共通レイヤ間予測最大ＴＩＤを復号し、共通レイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号した共通レイヤ間予測最大ＴＩＤを割り当て、共通レイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする請求項７に記載の画像復号装置。
【請求項１０】
上記パラメータセット復号部は、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号したベースレイヤのレイヤのレイヤ間予測最大ＴＩＤを割り当て、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする請求項７に記載の画像復号装置。
【請求項１１】
上記画像復号装置は、さらに、レイヤ間予測が可能であるか否かを示すフラグであるレイヤ間予測可能フラグを復号するレイヤ間予測可能フラグ復号部を備え、
上記レイヤ間予測可能フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測可能フラグを復号し、それ以外の場合には、レイヤ間予測可能フラグを０に設定することを特徴とする請求項７から請求項１０に記載の画像復号装置。
【請求項１２】
上記画像復号装置は、さらに、レイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグを復号するレイヤ間予測限定フラグ復号部を備え、
上記レイヤ間予測限定フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測限定フラグを復号し、それ以外の場合には、レイヤ間予測限定フラグを０に設定することを特徴とする請求項７から請求項１０に記載の画像復号装置。
【請求項１３】
上記画像復号装置は、さらに、テンポラル動き予測用の参照ピクチャを、レイヤＩＤによって指定するか否かを示すフラグである代替コロケート指示フラグを復号する代替コロケート指示情報復号部を備え、
上記代替コロケート指示情報復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記代替コロケート指示フラグを復号し、それ以外の場合には、代替コロケート指示フラグを０に設定することを特徴とする請求項７から請求項１０に記載の画像復号装置。
【請求項１４】
対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号するレイヤ依存情報復号手段と、
前記対象レイヤのある対象ピクチャが参照する、前記対象レイヤとは異なるレイヤのピクチャを示す情報を復号する実依存レイヤ情報復号手段と、
前記実依存レイヤ情報に基づいて、少なくともレイヤ間参照ピクチャセットを生成する参照ピクチャセット導出手段を備え、
前記レイヤ依存情報復号手段は、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグを、前記対象ピクチャのＴＩＤが、前記依存レイヤのレイヤ間予測最大ＴＩＤ未満にのみ、上記レイヤ間予測可能フラグに復号することを特徴とする動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
【背景技術】
【０００２】
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
【０００３】
動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている。
【０００４】
これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００５】
イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。
【０００６】
インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で予測画像生成に用いられる復号済のピクチャは参照ピクチャと呼ばれる。
【０００７】
HEVCでは、60fpsのコンテンツを30fpsで再生する場合のような、時間的に間引いたフレームレートで再生する場合を想定してテンポラルスケーラブルのための技術が用いられている。具体的には、各ピクチャに時間識別子(TemporalID、サブレイヤ識別子とも呼ばれる)を割り当て、時間識別子の高いピクチャは、その時間識別子よりも小さい時間識別子のピクチャを参照しない、という制約を課している。これにより、特定の時間識別子のピクチャのみを間引いて再生する場合には、それよりも高い時間識別子が付加されたピクチャの復号は不要になる。
【０００８】
また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。代表的な階層符号化方式の一つとしてSHVC（Scalable HEVC）およびMV-HEVC(MultiView HEVC)が知られている。
【０００９】
SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う（非特許文献２）。
【００１０】
MV-HEVCでは、視点スケーラビリティをサポートする。例えば、視点画像０（レイヤ０）、視点画像１（レイヤ１）、視点画像２（レイヤ２）の３つの視点画像を符号化する場合、下位レイヤ（レイヤ０）から、上位レイヤである視点画像１、視点画像２をレイヤ間予測により予測することによりレイヤ間の冗長性の除去が可能である。
【００１１】
レイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤの復号画像を利用して、予測画像を生成する。レイヤ間動き予測では、下位レイヤの動き情報を利用して、動き情報の予測値を導出する。
【００１２】
SHVCおよびMV-HEVCでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。
【００１３】
SHVCおよびMV-HEVCでは、非特許文献３に示すような、レイヤ単位で、レイヤ間予測に用いる最大サブレイヤmax_tid_il_ref_pics_plus1を指定し、その最大サブレイヤmax_tid_il_ref_pics_plus1以上（max_tid_il_ref_pics_plus1 - 1より大きい）の時間識別子のピクチャは、レイヤ間予測で参照されない技術が用いられている。これにより、時間識別子が所定の時間識別子よりも大きい下位レイヤのピクチャは、レイヤ間予測で用いることがないので、上位レイヤを復号する場合において、復号を省略することができる。レイヤ間予測で用いられない場合においても、同じレイヤの後続のピクチャで参照する場合には、時間識別子が大きいピクチャも復号する必要がある。実際には、同じレイヤの後続のピクチャで参照する場合は、参照するピクチャの時間識別子は、所定の時間識別子と同じか、より大きい時間識別子を備えるが、これらピクチャもまた、レイヤ間予測に用いることがないため、上位レイヤのみを復号する場合には、所定の時間識別子より大きいピクチャの復号は不要となる。
【００１４】
また、シーケンス全体において、参照に使用し得るレイヤに関する情報はVPSで符号化されるが、個々のピクチャでは参照しないことがある。そのため、ピクチャ単位で、参照するレイヤ数及び、どのレイヤを参照するかどうかを示す情報を符号化する技術が知られている。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】JCTVC-M1008_v3 「SHVC Working Draft 2」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR, 18-26 Apr. 2013 (２０１３年６月１４日公開)
【非特許文献２】JCTVC-D1004_v4 「MV-HEVC Draft 4」, Joint Collaborative Team on Video Coding (JCT-3V) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 4th Meeting: Incheon, KR, 20-26 Apr. 2013 (２０１３年６月２４日公開)
【非特許文献３】JCTVC-L0449 「Design Considered for Signalling Inter-layer Prediction Indication」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Geneva, CH, 14-23 Jan. 2013 (２０１３年１月２２日公開)
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、従来技術では、ピクチャ単位で付加される時間識別子が、異なるレイヤ間で一致することが保障されていないため、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能であるとは限らない。そのため、間引き再生中にあるレイヤ（例えば低解像度のレイヤ）から、別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像１であるレイヤ１）を同じ間引き再生において、再生することができないという課題があった。
【００１７】
また、同じアクセスユニットの別のレイヤの時間識別子をどのように設定するかについて、明確にされていなかった。
【００１８】
また、所定の時間識別子より大きい時間識別子のサブレイヤにおいて、視点間予測を禁止する最大サブレイヤの指定がレイヤ単位であるため、全てのレイヤで同じ最大サブレイヤを指定する場合にもレイヤ単位で最大サブレイヤを復号する必要があるため、冗長な符号を復号する必要があるという課題があった。
【００１９】
また、全てのレイヤで同じ最大サブレイヤを指定する場合には、時間識別子が当該最大サブレイヤよりも大きい場合には、レイヤ間予測が行われないため、ピクチャ単位で符号化される参照レイヤ数や参照レイヤの指定は不要であるにも関わらず、それら情報を符号化する必要があるという課題があった。
【００２０】
また、実依存レイヤ情報がテンポラルＩＤ（ＴＩＤ）およびレイヤ間予測最大ＴＩＤによらずに復号されるため、実際には参照されない依存レイヤから、実依存レイヤ（レイヤ間参照ピクチャ、レイヤ間予測ピクチャ）を選択することになり、実依存レイヤを示す実依存レイヤ情報が冗長であるという課題がある。
【００２１】
本発明は、上記課題を鑑みてされたものであり、その目的は、階層符号化方式において、ピクチャ単位で付加される時間識別子がレイヤ間で一致していること示すフラグを符号化することにより、該フラグが真の場合は、間引き再生中にあるレイヤから、別のレイヤに再生を変えることや、複数の視点を同じ間引き再生において再生することが可能となる仕組みを提供することにある。
【００２２】
また、最大サブレイヤが全てのレイヤで同じであることを示すフラグを符号化することにより、冗長な符号の符号化を回避することが可能となる画像符号化装置および画像復号装置を実現することにある。さらに、全てのレイヤで同じ最大サブレイヤを指定する場合に、時間識別子が当該最大サブレイヤよりも大きいピクチャに関しては、参照レイヤ数や参照レイヤの指定を省略することで、符号化効率が向上する画像符号化装置および画像復号装置を実現することにある。
【００２３】
また、ＴＩＤおよびレイヤ間予測最大ＴＩＤに応じて、実依存レイヤ情報を符号化・復号することにより、符号化効率が向上する画像符号化装置および画像復号装置を実現することにある。
【課題を解決するための手段】
【００２４】
本発明の１実施形態の画像復号装置によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。
【００２５】
上記の構成の画像復号装置によれば、同じアクセスユニットに属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生中にあるレイヤ（例えば低解像度のレイヤ）から、別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）を同じ間引き再生において、再生することができるという効果を奏する。
【００２６】
本発明の１実施形態の画像復号装置によれば、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。
【００２７】
上記の構成の画像復号装置によれば、レイヤ間サブレイヤアライメントフラグが１の場合には、同じアクセスユニットに属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生中にあるレイヤ（例えば低解像度のレイヤ）から、別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）を同じ間引き再生において、再生することができるという効果を奏する。
【００２８】
本発明の１実施形態の画像復号装置によれば、パラメータセットから少なくともプロファイルを復号するパラメータセット復号部を備え、前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像のプロファイルを示す場合には、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。
【００２９】
本発明の１実施形態の画像復号装置によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部を備え、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。
【００３０】
上記の構成の画像復号装置によれば、同じ表示時刻に属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤがＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である場合には、他のレイヤもＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である。そのため、どのレイヤにおいても、同じタイミングであるサブレイヤから、より上位のサブライヤに移行することができる（間引き再生中から非間引き再生に移行するなど間引きの粒度を下げることができる）という効果を奏する。
【００３１】
本発明の１実施形態の画像復号装置によれば、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻（アクセスユニット）に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。
【００３２】
本発明の１実施形態の画像復号装置によれば、パラメータセットから少なくともプロファイルを復号するパラメータセット復号部を備え、前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像のプロファイルを示す場合には、ベースレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。
【００３３】
本発明の１実施形態の画像復号装置によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間予測最大ＴＩＤを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのレイヤ間予測最大ＴＩＤより小さいＴＩＤを有するピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、パラメータセット復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合には、全てのレイヤに共通のレイヤ間予測最大ＴＩＤを割り当て、共通のレイヤ間予測最大ＴＩＤが用いられないと判定される場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。
【００３４】
上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤが用いられる場合にはレイヤ毎にレイヤ間予測最大ＴＩＤの復号を行う必要がないため、冗長なフラグの復号を削減する効果を奏する。
【００３５】
本発明の１実施形態の画像復号装置によれば、上記パラメータセット復号部は、レイヤ間予測最大ＴＩＤアライメントフラグを復号し、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、１つのレイヤ間予測最大ＴＩＤを復号し、全てのレイヤに復号した１つのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間予測最大ＴＩＤアライメントフラグが０の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。
【００３６】
本発明の１実施形態の画像復号装置によれば、パラメータセット復号部は、共通レイヤ間予測最大ＴＩＤを復号し、共通レイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号した共通レイヤ間予測最大ＴＩＤを割り当て、共通レイヤ間予測最大ＴＩＤが所定の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。
【００３７】
本発明の１実施形態の画像復号装置によれば、上記パラメータセット復号部は、レイヤ間サブレイヤアライメントフラグを復号し、レイヤ間サブレイヤアライメントフラグが１、かつ、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号したベースレイヤのレイヤのレイヤ間予測最大ＴＩＤを割り当て、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。
【００３８】
本発明の１実施形態の画像復号装置によれば、上記画像復号装置は、さらに、レイヤ間予測が可能であるか否かを示すフラグであるレイヤ間予測可能フラグを復号するレイヤ間予測可能フラグ復号部を備え、上記レイヤ間予測可能フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測可能フラグを復号し、それ以外の場合には、レイヤ間予測可能フラグを０に設定することを特徴とする。
上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤ以上のＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測可能フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。
【００３９】
本発明の１実施形態の画像復号装置によれば、上記画像復号装置は、さらに、レイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグを復号するレイヤ間予測限定フラグ復号部を備え、上記レイヤ間予測限定フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測限定フラグを復号し、それ以外の場合には、レイヤ間予測限定フラグを０に設定することを特徴とする。
【００４０】
上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤ以上のＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測限定フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。
【００４１】
本発明の１実施形態の画像復号装置によれば、上記画像復号装置は、さらに、テンポラル動き予測用の参照ピクチャを、レイヤＩＤによって指定するか否かを示すフラグである代替コロケート指示フラグを復号する代替コロケート指示情報復号部を備え、
上記代替コロケート指示情報復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記代替コロケート指示フラグを復号し、それ以外の場合には、代替コロケート指示フラグを０に設定することを特徴とする。
【００４２】
上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤ以上のＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、代替コロケート指示フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。
【００４３】
本発明の１実施形態の画像復号装置によれば、対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号するレイヤ依存情報復号手段と、前記対象レイヤのある対象ピクチャが参照する、前記対象レイヤとは異なるレイヤのピクチャを示す情報を復号する実依存レイヤ情報復号手段と、前記実依存レイヤ情報に基づいて、少なくともレイヤ間参照ピクチャセットを生成する参照ピクチャセット導出手段を備え、前記レイヤ依存情報復号手段は、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグを、前記対象ピクチャのＴＩＤが、前記依存レイヤのレイヤ間予測最大ＴＩＤ未満にのみ、上記レイヤ間予測可能フラグに復号することを特徴とする。
【発明の効果】
【００４４】
本発明によれば、同じ表示時刻（出力順、アクセスユニット）の全てのレイヤで同じＴＩＤを有することにより、異なるレイヤで同じ間引き再生を可能とする。
【００４５】
本発明によれば、同じ表示時刻（出力順、アクセスユニット）の全てのレイヤでサブレイヤアクセスピクチャの位置をアライメントすることによって、間引き再生におけるサブレイヤの移行をレイヤ間で揃えることを可能とする。
【００４６】
また、本発明によれば、レイヤ間のサブレイヤアライメントを制御するフラグを設けることによって、レイヤ間でサブレイヤアライメントを行う場合と、行わない場合の両方をサポートする。
【００４７】
また、本発明によれば、ステレオ画像において、レイヤ間のサブレイヤアライメントを行うことによって、複数の視点を同期して間引き再生する、もしくは、間引き再生のレイヤを移行することが可能になる。
【００４８】
また、本発明によれば、全てのレイヤで同じレイヤ間予測に用いる最大サブレイヤを指定することにより、レイヤ毎に最大サブレイヤを復号するような無駄を無くせる。
【００４９】
また、本発明によれば、レイヤ間サブレイヤアライメントの情報を用いることで、実依存レイヤに関する情報の符号量を低減できる。
【００５０】
また、本発明によれば、レイヤ間予測最大ＴＩＤに応じて、実依存レイヤ情報を復号することにより、実依存レイヤ情報の符号量を低減できる。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態に係る階層動画像復号装置に含まれる復号ピクチャ管理部におけるピクチャ管理処理を例示するフロー図である。
【図２】本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。
【図３】本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。
【図４】上記階層動画像復号装置の概略的構成を示す機能ブロック図である。
【図５】上記階層動画像復号装置に含まれる復号ピクチャ管理部の構成を例示した機能ブロック図である。
【図６】復号処理の特定のタイミングでのDPBの状態を例示した図である。
【図７】上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットおよび参照ピクチャリストに係る部分を示す図である。
【図８】上記階層動画像復号装置の可変長復号部から短期参照ピクチャセット情報の復号時に利用されるシンタックス表を示す図である。
【図９】上記階層動画像復号装置の可変長復号部からスライスセグメントヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットに係る部分を示す図である。
【図１０】スライス復号時に参照されるシンタックス表の一部であって、ILRP情報に相当する部分を示す図である。
【図１１】上記階層動画像復号装置の可変長復号部からスライスセグメントヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャリストに係る部分を示す図である。
【図１２】上記階層動画像復号装置の可変長復号部から参照ピクチャリスト修正情報の復号時に利用されるシンタックス表を示す図である。
【図１３】本発明の実施形態に係る符号化データ＃１におけるデータの階層構造を示す図である。
【図１４】ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。
【図１５】本発明の実施形態に係るＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。
【図１６】本発明の実施形態に係るテンポラルスケーラビリティを説明するための図である。
【図１７】本発明の実施形態に係るＴＳＡピクチャ、ＳＴＳＡピクチャを説明するための図である。
【図１８】本発明の実施形態に係るレイヤ間でＴＩＤのアライメントを行う例である。
【図１９】レイヤ間でＴＩＤのアライメントを行わない例である。
【図２０】レイヤ間でＴＩＤのアライメントを行わないさらに別の例である。
【図２１】レイヤ間で、ＴＳＡピクチャのアライメントを行う例である。
【図２２】レイヤ間で、ＳＴＳＡピクチャのアライメントを行う例である。
【図２３】レイヤ間で、ＴＳＡピクチャ、ＳＴＳＡピクチャのアライメントを行わない例である。
【図２４】レイヤ間で、ＴＳＡピクチャ、ＳＴＳＡピクチャの半アライメント（セミアライメント）が行われている例である。
【図２５】レイヤ間予測最大ＴＩＤMaxTidIlRefPicsを説明するための図である。
【図２６】レイヤ間でレイヤ間予測最大ＴＩＤがアライメントされている場合を説明する図である。
【図２７】レイヤ間でレイヤ間予測最大ＴＩＤがアライメントされていない場合を説明する図である。
【図２８】本発明の実施形態に係る可変長復号部１２の構成を例示した機能ブロック図である。
【図２９】本発明の実施形態に係るパラメータセット復号部１２１の復号する符号化データの構成を説明する図である。
【図３０】本発明の実施形態に係るパラメータセット復号部１２１の構成を例示した機能ブロック図である。
【図３１】本発明の実施形態に係るスライスセグメントヘッダ復号部１２２の構成を例示した機能ブロック図である。
【図３２】本発明の実施形態に係るレイヤ間予測最大ＴＩＤに関するＤ３の処理を示す図である。
【図３３】本発明の第２の実施形態に係るパラメータセット復号部１２１ａの復号する符号化データの構成を説明する図である。
【図３４】本発明の第２の実施形態に係るパラメータセット復号部１２１ａの構成を例示した機能ブロック図である。
【図３５】本発明の第２の実施形態に係るパラメータセット復号部１２１ｂの復号する符号化データの構成を説明する図である。
【図３６】本発明の第２の実施形態に係るパラメータセット復号部１２１ｂの構成を例示した機能ブロック図である。
【図３７】本発明の第２の実施形態に係るパラメータセット復号部１２１ｃの復号する符号化データの構成を説明する図である。
【図３８】本発明の第２の実施形態に係るパラメータセット復号部１２１ｃの構成を例示した機能ブロック図である。
【図３９】本発明の第３の実施形態に係るパラメータセット復号部１２１ａの構成を例示した機能ブロック図である。
【図４０】本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ａの復号する符号化データの構成を説明する図である。
【図４１】本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ａの構成を例示した機能ブロック図である。
【図４２】本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ｂの復号する符号化データの構成を説明する図である。
【図４３】本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ｂの構成を例示した機能ブロック図である。
【図４４】本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ｃの復号する符号化データの構成を説明する図である。
【図４５】本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ｃの構成を例示した機能ブロック図である。
【図４６】本発明の第３の実施形態に係るスライスセグメントヘッダ復号部１２２ａｂｃの構成を例示した機能ブロック図である。
【図４７】本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。
【図４８】本実施形態に係るレイヤ間サブレイヤアライメントフラグをＶＰＳに符号化する場合における符号化データの構成を説明する図である。
【図４９】本実施形態に係るレイヤ間サブレイヤアライメントフラグをＳＰＳ（ＶＵＩ）に符号化する場合における符号化データの構成を説明する図である。
【図５０】本発明の第４の実施形態に係るレイヤ依存情報復号部４０１１ａにおける依存レイヤRefLayers[]の導出処理を示す図である。
【図５１】本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃａの復号する符号化データの構成を説明する図である。
【図５２】本発明の第４の実施形態に係るスライスセグメントヘッダ復号部１２２Ｃａの構成を例示した機能ブロック図である。
【図５３】本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃａにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。
【図５４】本実施形態の依存レイヤを説明する図である。
【図５５】本実施形態の実依存レイヤを説明する図である。
【図５６】本実施形態のレイヤ間予測最大ＴＩＤ制限を説明する図である。
【図５７】本発明の第４の実施形態に係るレイヤ依存情報復号部４０１１ｂにおける依存レイヤの導出処理を示す図である。
【図５８】本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｂの復号する符号化データの構成を説明する図である。
【図５９】本発明の第４の実施形態に係るスライスセグメントヘッダ復号部１２２Ｃｂの構成を例示した機能ブロック図である。
【図６０】本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｂにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。
【図６１】本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｃの復号する符号化データの構成を説明する図である。
【図６２】本発明の第４の実施形態に係るスライスセグメントヘッダ復号部１２２Ｃｃの構成を例示した機能ブロック図である。
【図６３】本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｃにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。
【図６４】本発明の第４の実施形態に係る実依存レイヤ復号部１２２３Ｃｃにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。
【発明を実施するための形態】
【００５２】
図１〜図６４に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２を説明すれば以下の通りである。
【００５３】
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SHVCやMV-HEVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
【００５４】
また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
【００５５】
本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
【００５６】
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
【００５７】
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
【００５８】
図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
【００５９】
まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
【００６０】
下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
【００６１】
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
【００６２】
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
【００６３】
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
【００６４】
次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
【００６５】
なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
【００６６】
例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。
【００６７】
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
【００６８】
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
【００６９】
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
【００７０】
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
【００７１】
上位レイヤ  ：  ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
【００７２】
下位レイヤ  ：  ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
【００７３】
対象レイヤ  ：  復号または符号化の対象となっている階層のことをいう。
【００７４】
参照レイヤ（reference layer）  ：  対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
【００７５】
図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
【００７６】
基本レイヤ（base layer）  ：  最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
【００７７】
拡張レイヤ  ：  基本レイヤの上位レイヤは、拡張レイヤと称される。
【００７８】
レイヤ識別子  ：  レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
【００７９】
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
【００８０】
レイヤ間予測  ：  レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
【００８１】
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
【００８２】
（ＮＡＬユニットレイヤ）
図１３は、符号化データ＃１におけるデータの階層構造を示す図である。符号化データ＃１は、ＮＡＬ（Network Abstraction Layer）ユニットと呼ばれる単位で符号化される。
【００８３】
ＮＡＬは、動画像符号化処理を行う層であるＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
【００８４】
ＶＣＬは、画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。
【００８５】
図１４（ａ）は、ＮＡＬ（Network Abstraction Layer）ユニットのシンタックステーブルを示す。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダ（ＮＡＬユニットヘッダ：nal_unit_header()）が含まれる。なお、ＮＡＬユニットヘッダは、例えば、図１４（ｂ）に示すシンタックスで表わされる。ＮＡＬユニットヘッダには、ＮＡＬユニットに格納された符号化データの種類を表わす”nal_unit_type”、格納された符号化データが属するサブレイヤの識別子（テンポラル識別子）を表わす”nuh_temporal_id_plus1”や、格納された符号化データが属するレイヤの識別子（レイヤ識別子）を表わす”nuh_layer_id”が記述されている。
【００８６】
ＮＡＬユニットデータには、後述のパラメータセット、ＳＥＩ、スライスなどが含まれる。
【００８７】
図１５は、ＮＡＬユニットタイプの値とＮＡＬユニットの種別の関係を示す図である。図１５に示す通り、SYNA101 で示される０から１５の値のＮＡＬユニットタイプを持つＮＡＬユニットは、非ＲＡＰ(ランダムアクセスピクチャ)のスライスである。SYNA102 で示される１６から２１の値のＮＡＬユニットタイプを持つＮＡＬユニットは、ＲＡＰ(ランダムアクセスピクチャ)のスライスである。ＲＡＰピクチャには、大きく分けて、ＢＬＡピクチャ、ＩＤＲピクチャ、ＣＲＡピクチャがあり、ＢＬＡピクチャは、さらに、ＢＬＡ＿Ｗ＿ＬＰ、ＢＬＡ＿Ｗ＿ＤＬＰ、ＢＬＡ＿Ｎ＿ＬＰに分類される。ＩＤＲピクチャは、さらに、ＩＤＲ＿Ｗ＿ＤＬＰ、ＩＤＲ＿Ｎ＿ＬＰに分類される。ＴＳＡ＿Ｒ、ＴＳＡ＿ＮのＮＡＬユニットタイプは、ＴＳＡピクチャ（temporal sub-layer accessピクチャ））を表す、ＳＴＳＡ＿Ｒ、ＳＴＳＡ＿ＮのＮＡＬユニットタイプは、ＳＴＳＡピクチャ（step-wise temporal sub-layer accessピクチャ）を表す。また図１５において、ＮＡＬユニットに応じて、ＶＣＬもくはnon-VCLが区別される。ＶＣＬＮＡＬユニットは、符号化ユニット構成、予測パラメータ、残差などの画像の符号化データ。non-VCLＮＡＬユニットは、パラメータセットなど、画像を復号するために用いる上位のパラメータの符号化データである。
【００８８】
（アクセスユニット）
特定の分類ルールにより集約されたＮＡＬユニットの集合のことをアクセスユニットと呼ぶ。レイヤ数が１の場合には、アクセスユニットは１ピクチャを構成するＮＡＬユニットの集合である。レイヤ数が１より大きい場合には、アクセスユニットは同じ時刻の複数のレイヤのピクチャを構成するＮＡＬユニットの集合である。なお、アクセスユニットの区切りを示すために、符号化データはアクセスユニットデリミタ（Access unit delimiter）と呼ばれるＮＡＬユニットを含んでも良い。アクセスユニットデリミタは、符号化データ中にあるアクセスユニットを構成するＮＡＬユニットの集合と、別のアクセスユニットを構成するＮＡＬユニットの集合の間に含まれる。
【００８９】
（基本レイヤ）
図３は、ＮＡＬユニットデータの符号化データのデータ構造を例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
【００９０】
図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
【００９１】
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
【００９２】
ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。例えば、VPSは、対象レイヤで参照する対象レイヤ以外のレイヤである参照レイヤを規定する。具体的には、レイヤ依存フラグdirect_dependent_flag[i][j]をVPSに含め、レイヤ依存フラグdirect_dependent_flag[i][j]が1である場合に、対象レイヤiは参照レイヤjを参照し、レイヤ依存フラグが0であれば、対象レイヤiは参照レイヤjを参照しない。また、対象レイヤiに対応する0でないレイヤ依存フラグdirect_dependent_flag[i][j]の数から、対象レイヤiが参照する参照レイヤの数（レイヤ間予測参照レイヤ数ともいう）NumDirectRefLayers[i]が定まる。また、レイヤ依存フラグdirect_dependent_flag[i][j]が１の場合に、レイヤ依存タイプdirect_dependency_type[i][j]がさらにVPSに含まれる。
【００９３】
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブＳＰＳを意味する。
【００９４】
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。
【００９５】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスセグメントヘッダＳＨ1〜ＳＨNS、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
【００９６】
なお、以下、スライスセグメントヘッダＳＨ1〜ＳＨNSやスライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータも同様である。
【００９７】
スライスセグメントヘッダＳＨkには、対応するスライスＳkの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスセグメントヘッダＳＨに含まれる符号化パラメータの一例である。
【００９８】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
【００９９】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ1〜ＣＴＵNC（ＮＣはスライスＳに含まれるＣＴＵの総数）を含んでいる。
【０１００】
（ＣＴＵレイヤ）
ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック（CTB: Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
【０１０１】
符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
【０１０２】
符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。
【０１０３】
符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
【０１０４】
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
【０１０５】
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
【０１０６】
また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
【０１０７】
なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。
【０１０８】
また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
【０１０９】
（ＣＴＵヘッダ）
ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
【０１１０】
ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。
【０１１１】
なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
【０１１２】
また、量子化パラメータ差分Δｑｐは、対象ＣＴＵにおける量子化パラメータｑｐと、当該対象ＣＴＵの直前に符号化されたＣＴＵにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
【０１１３】
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵともＳ！称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。
【０１１４】
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
【０１１５】
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
【０１１６】
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
【０１１７】
予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
【０１１８】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
【０１１９】
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。
【０１２０】
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
【０１２１】
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
【０１２２】
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
【０１２３】
（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容を説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
【０１２４】
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
【０１２５】
［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
【０１２６】
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
【０１２７】
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。
【０１２８】
インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照ピクチャインデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。
【０１２９】
イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
【０１３０】
ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
【０１３１】
また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
【０１３２】
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。
【０１３３】
ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
【０１３４】
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現できる。
【０１３５】
また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。
【０１３６】
各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
【０１３７】
処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
【０１３８】
（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。
【０１３９】
（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用できる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。
【０１４０】
スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。
【０１４１】
また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、インター予測、または、レイヤ間画像予測のいずれかを指定する情報である。予測タイプ情報ＰＴｙｐｅには、レイヤ間画像予測モードの適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flag、inter_layer_pred_flag、または、base_mode_flagと呼ばれることもある。
【０１４２】
拡張レイヤにおいて、対象ＣＵのＣＵタイプが、イントラＣＵ、レイヤ間ＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。
【０１４３】
イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。イントラＣＵでは、レイヤ間画像予測フラグが“０”に、予測モードフラグが“０”に設定される。
【０１４４】
レイヤ間ＣＵは、参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間ＣＵでは、レイヤ間画像予測フラグが“１”に、予測モードフラグが“０”に設定される。
【０１４５】
スキップＣＵは、上述のHEVC方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。
【０１４６】
インターＣＵは、非スキップかつ動き補償（MC；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。
【０１４７】
また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。
【０１４８】
下位レイヤが、例えば、MPEG-2や、H.264/AVC方式によって符号化されていてもよい。
【０１４９】
拡張レイヤ符号化データでは、VPSが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。
【０１５０】
また、拡張レイヤ符号化データでは、SPS、PPS、スライスセグメントヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報（例えば、後述のレイヤ間参照ピクチャセット、レイヤ間参照ピクチャリスト、ベース制御情報等を直接、または、間接的に導出するためのシンタックス）が含まれていてもよい。
【０１５１】
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。
【０１５２】
（サブレイヤ）
サブレイヤは時間スケーラビリティを表現するために用いられる。一般的には各サブレイヤに属するピクチャに対して時間識別子（TemporalID, Tid）が割り当てられている。時間識別子は、低次サブレイヤほど、言い換えると低いフレームレートに相当するサブレイヤほど、小さい値が割り当てられている。特定のサブレイヤに相当するフレームレートの出力画像を得たい場合には、当該サブレイヤに割り当てられている時間識別子以下の値を持つ時間識別子が割り当てられた符号化データを抽出して復号すればよい。
【０１５３】
例えば、時間識別子の値がａであることをTID=aと表記した上で、TID=0が15fps（frame per second）に、TID=1が30fps、TID=2が60fpsに相当するとする。この場合、15fpsの出力画像を得るためにはTID=0の符号化データを抽出して復号すればよい。また、60fpsの出力画像を得るためにはTID=0、TID=1、TID=2の符号化データを抽出して復号すればよい。なお、階層符号化データに含まれる最大の時間識別子は最高次時間識別子（Highest Temporal Id）とも呼ばれる。
【０１５４】
上記の特性を実現するため、TID=kのピクチャは、k以下の時間識別子を持つピクチャのみをインター予測で参照可能という特徴を持つ。そのため、最高次時間識別子を持つピクチャは、インター予測で参照されない場合には、レイヤ間画像予測による参照ピクチャ（レイヤ間参照ピクチャ、レイヤ間予測ピクチャ）としてのみ利用され得る。
【０１５５】
図１６は、サブレイヤを説明するための図である。図中の図形は、ピクチャを示す、図形中の数字は復号順を示す番号である。以下、復号順Ｘのピクチャを、ピクチャＸと呼ぶ。図１６では、３つのサブレイヤ（TID=0, 1,2）が用いられている。ここでは、復号順０、１のピクチャがサブレイヤ０（TID=0）のピクチャ、ピクチャ２がサブレイヤ１（TID=1）のサブレイヤ非参照ピクチャ、復号順４、５、７のピクチャが、サブレイヤ１（TID=2）のサブレイヤ参照ピクチャとする。サブレイヤ非参照ピクチャであるピクチャ３は、後述のＣＦ条件（Ｔ３）により、自身と同じもしくのTIDのピクチャから参照されてはならないため、ピクチャ６は、復号順序が前のピクチャであっても同じサブレイヤのピクチャ３を参照してはならない。これに対し、復号順５のサブレイヤ参照ピクチャは、サブレイヤ参照ピクチャであるから、同じサブレイヤ階層のピクチャから参照可能である。そのため、この図では、同じTID=3のサブレイヤのピクチャ７から参照されている。なお、サブレイヤ参照ピクチャであるか、サブレイヤ非参照ピクチャであるかに関わらず、後述のＣＦ条件（Ｔ４）により、あるピクチャは、自身よりも低いTIDのピクチャから参照されてはならない（参照ピクチャのＴＩＤは、対象ピクチャのTIDよりも大きくなくてはならない）ため、TID=2のサブレイヤのピクチャ５は、TID=1のサブレイヤであるピクチャ６から参照することはできない。
【０１５６】
再生において、高いサブレイヤから低いサブレイヤへの遷移（TIDが大きいサブレイヤも再生する状態からTIDの小さいサブレイヤだけを再生する状態への遷移）は常に行うことができるが、低いサブレイヤから高いサブレイヤへの遷移（TIDが小さいサブレイヤだけを再生する状態からTIDの大きいサブレイヤも再生する状態への遷移）はできないことがある。低いサブレイヤから高いサブレイヤへの遷移が可能なピクチャを示すものがＴＳＡピクチャおよびＳＴＳＡピクチャである。
【０１５７】
図１７は、ＴＳＡピクチャ、ＳＴＳＡピクチャを説明するための図である。ＴＳＡピクチャは、復号順で後続のピクチャにおいて、ＴＳＡピクチャ自身と同じサブレイヤか、それよりも高いサブレイヤに遷移可能なピクチャである。図１７（ａ）に示すように、ピクチャ３およびその後続のピクチャ４は、自身よりも低いサブレイヤのピクチャのみを参照しているため、常に低いサブレイヤから高いサブレイヤへの遷移が可能である。すなわち、ピクチャ３では、ピクチャ３のサブレイヤより低いサブレイヤ（TID=0）から、ピクチャ３と同じサブレイヤ（TID=1）に遷移することができる。また、復号順４において、ピクチャ３よりも高いサブレイヤ（TID=2）に遷移することもできる。このようなピクチャであるピクチャ３をＴＳＡピクチャと呼ぶ。ＴＳＡピクチャは、ＴＳＡ＿Ｄ、ＴＳＡ＿ＮのＮＡＬユニットタイプにより示すことができる。ＴＳＡ＿Ｄ、ＴＳＡ＿Ｎは各々、サブレイヤ参照ピクチャのＴＳＡピクチャ、サブレイヤ非参照ピクチャのＴＳＡピクチャを示す。
【０１５８】
ＳＴＳＡピクチャは、復号順で後続のピクチャにおいて、ＳＴＳＡピクチャ自身と同じサブレイヤに遷移可能なピクチャである。図１７（ｂ）に示すように、ピクチャ３は、自身よりも低いサブレイヤのピクチャのみを参照しているため、この時点では、高いサブレイヤへの遷移が可能である。但し、ピクチャ４、ピクチャ３よりも高いサブピクチャのピクチャを参照している。そのため、この時点では復号順３のサブピクチャと同じサブピクチャまでしか遷移することができない。このようなピクチャであるピクチャ３をＳＴＳＡピクチャと呼ぶ。ＳＴＳＡピクチャは、ＳＴＳＡ＿Ｄ、ＳＴＳＡ＿ＮのＮＡＬユニットタイプにより示すことができる。ＳＴＳＡ＿Ｄ、ＳＴＳＡ＿Ｎは各々、サブレイヤ参照ピクチャのＴＳＡピクチャ、サブレイヤ非参照ピクチャのＴＳＡピクチャを示す。
【０１５９】
（レイヤ間サブレイヤアライメントとユースケース）
以下、レイヤ間サブレイヤアライメントと関連するユースケースを説明する。レイヤ間サブレイヤアライメントとは、同じ表示時刻（出力順、以下アクセスユニット）を有する異なるピクチャの間で、サブレイヤのパラメータであるＴＩＤ、もしくは、サブレイヤの遷移をサポートする参照関係を示すＴＳＡピクチャおよびＳＴＳＡピクチャについて同じ値を用いることである。
【０１６０】
以下に説明するユースケースのうち（Ｕ１）（Ｕ２）がサブレイヤ情報がアライメントされている場合、ユースケースのうち（Ｕ３）（Ｕ４）がサブレイヤ情報がアライメントされていない場合に対応する。
【０１６１】
レイヤ間で、ＴＩＤがアライメントされている場合には、以下のユースケース（Ｕ１）を実現することができる。
【０１６２】
あるレイヤで時間的な間引き再生が可能である場合には、別のレイヤでも同様の間引き再生が可能である。例えば、間引き再生を変化させずに、あるレイヤ（例えば低解像度のレイヤ）から別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数のレイヤ（例えば、視点画像０のレイヤ０と、視点画像１のレイヤ１）を同時に同じ間引き再生を用いて、再生することができる・・・（Ｕ１）
レイヤ間で、ＴＳＡピクチャおよびＳＴＳＡピクチャがアライメントされている場合には、以下のユースケース（Ｕ２）を実現することができる
あるレイヤのある表示時刻で低いサブレイヤから高いサブレイヤに移行することが可能である場合には、同じ表示時刻の別のレイヤも、同様に低いサブレイヤから高いサブレイヤに移行することが可能である。低いサブレイヤから高いサブレイヤへの移行において、レイヤの制限がないため、どのレイヤを再生しているかにかかわらず、レイヤに応じてサブレイヤ間の移行タイミングを逃すことがない。また、複数のレイヤを同時に再生している場合において、同じタイミングで低いサブレイヤから高いサブレイヤに移行することができる・・・（Ｕ２）
逆に、レイヤ間で、サブレイヤ情報がアライメントされていない場合には、以下のユースケース（Ｕ３）（Ｕ４）を実現することができる。
【０１６３】
レイヤ間で、ＴＩＤがアライメントされていない場合には、以下のユースケース（Ｕ３）（Ｕ３´）を実現することができる。
【０１６４】
ベースレイヤでは細かいレベル（例えば３レベル）のサブレイヤを設定して、高い粒度のテンポラルスケーラビリティをサポートし、非ベースレイヤでは粗いレベル（例えば２レベル）のサブレイヤを設定し粒度の低いテンポラルスケーラビリティをサポートにとどめ高い符号化効率を実現する・・・（Ｕ３）
ベースレイヤのみ複数のサブレイヤを有し、テンポラルスケーラビリティをサポートし、非ベースレイヤでは単一のサブレイヤのみを有しテンポラルスケーラビリティをサポートせず高い符号化効率を実現する・・・（Ｕ３´）
レイヤ間で、ＴＳＡピクチャおよびＳＴＳＡピクチャがアライメントされていない場合には、以下のユースケース（Ｕ４）を実現することができる
あるレイヤでは、高い頻度でＴＳＡピクチャもしくはＳＴＳＡピクチャを挿入し、低いサブレイヤから高いサブレイヤに移行することが容易に可能であるようにし利便性が高くするが、別のレイヤではＴＳＡピクチャもしくはＳＴＳＡピクチャを挿入しない、もしくは、低い頻度とすることによって、高い符号化を実現する。・・・（Ｕ４）
図１８は、レイヤ間で時間識別子（TemporalID、ＴＩＤ）のアライメント（レイヤ間ＴＩＤアライメント、レイヤ間サブレイヤ同期）を行う例である。この例は、ユースケース（Ｕ１）に対応する。図１８に示すように、同じ表示時刻（出力順、アクセスユニット）のピクチャはレイヤが異なっても同じＴＩＤを有する。例えば、同じ表示時刻のレイヤ０のピクチャ５とレイヤ１のピクチャ６は同じＴＩＤ＝１を有し、同じ表示時刻のレイヤ０のピクチャ９とレイヤ１のピクチャ１０は同じＴＩＤ＝２を有する。
【０１６５】
図１９は、レイヤ間でＴＩＤのアライメントを行わない例である。この例は、ユースケース（Ｕ３）に対応する。
【０１６６】
図１９に示すように、レイヤ０では、ピクチャ９は、自身よりも高いサブレイヤのピクチャであるピクチャ７のピクチャを参照できないのに対し、レイヤ１では、ピクチャ１０は、ピクチャ８を参照することができる。これは、レイヤ０が３つのサブレイヤ（ＴＩＤ＝０、１、２）に分かれているのに対し、レイヤ１が１つのサブレイヤのみ（ＴＩＤ＝０）であることから、サブレイヤに関する制約を受けないためである。なお、図１９では、同じアクセスユニットであるピクチャ７とピクチャ１０は各々異なるＴＩＤを持つことから、レイヤ間で同じＴＩＤを共有しない。つまり、レイヤ間でＴＩＤのアライメントを行わない例となっている。
【０１６７】
図２０は、レイヤ間でＴＩＤのアライメントを行わないさらに別の例である。この例では、ユースケース（Ｕ３´）に対応する。レイヤ０が３つのサブレイヤ（ＴＩＤ＝０、１、２）に分かれているのに対し、レイヤ１が２つのサブレイヤのみ（ＴＩＤ＝０、１）である。
【０１６８】
図２０に示すように、レイヤ０では、ピクチャ１３は、自身よりも高いサブレイヤのピクチャであるピクチャ９のピクチャを参照できないのに対し、レイヤ１では、復号順１３に対応するピクチャ１４は、ピクチャ９に対応するピクチャ１０を参照することができる。図１９、図２０では共通して、細かいサブレイヤ構成のレイヤ０では参照できないピクチャを、粗いサブレイヤ構成のレイヤ１では参照できることため、レイヤ１の方が符号化効率を高めることができる。
【０１６９】
上記、ユースケース（Ｕ２）（Ｕ３）を考慮すれば、レイヤ間のＴＩＤがレイヤ間アライメントが同じではない場合を許して、ユースケース（Ｕ１）〜（Ｕ３）に対応しつつ、後述のレイヤ間サブレイヤアライメントフラグによって、ユースケース（Ｕ１）が可能であることを復号装置に伝送することが好適である。
【０１７０】
図２１は、レイヤ間で、ＴＳＡピクチャのアライメント（レイヤ間サブレイヤピクチャ同期）を行う例である。この例では、ユースケースのＵ２に対応する。
図２１に示すように、同じ表示時刻のピクチャ５とピクチャ６はともにＴＳＡピクチャであり、同期されている。すなわち、同じ表示時刻において、レイヤに限定されずに（レイヤ０でもレイヤ１でも）、低サブレイヤから高サブレイヤに移行できる。ここではＴＳＡピクチャであるので、ＴＳＡピクチャ自身と同じサブレイヤか、それよりも高いサブレイヤに移行可能である。
【０１７１】
図２２は、レイヤ間で、ＳＴＳＡピクチャのアライメントを行う例である。この例では、ユースケースのＵ２に対応する。図２２に示すように、同じ表示時刻のピクチャ５とピクチャ６はともにＳＴＳＡピクチャであり、同期されている。すなわち、同じ表示時刻において、レイヤに限定されずに（レイヤ０でもレイヤ１でも）、低サブレイヤから高サブレイヤに移行できる。ここではＳＴＳＡピクチャであるので、ＴＳＡピクチャ自身と同じサブレイヤに移行可能である。
【０１７２】
図２３は、レイヤ間で、ＴＳＡピクチャ、ＳＴＳＡピクチャのアライメント（レイヤ間サブレイヤピクチャ同期）が行われていない例である。この例では、ユースケースのＵ４に対応する。図２３に示すように、同じ表示時刻のピクチャ５はＳＴＳＡピクチャであるが、ピクチャ６はＳＴＳＡピクチャではない。すなわち、レイヤ０では、低サブレイヤから高サブレイヤに移行できるピクチャ５の表示時刻において、レイヤ１では、低サブレイヤから高サブレイヤに移行できない。その代わりに、ピクチャ６は、ピクチャ５では参照できない同じサブレイヤのピクチャを参照しており、高い符号化効率を実現することができる。
【０１７３】
図２４は、レイヤ間で、ＴＳＡピクチャ、ＳＴＳＡピクチャの半アライメント（セミアライメント、レイヤ間サブレイヤピクチャ同期）が行われている例である。この例も、ユースケースのＵ４に対応する。図２２に示すように、同じ表示時刻のピクチャ５はＴＳＡピクチャ、ピクチャ６はＳＴＳＡピクチャであり、いずれかのサブレイヤ移行ピクチャであるという意味では同期されている。すなわち、同じ表示時刻において、レイヤに限定されずに（レイヤ０でもレイヤ１でも）、低サブレイヤから高サブレイヤに移行できる。しかしながら、レイヤ０では、移行可能点のピクチャは、ＴＳＡピクチャであるので、ＴＳＡピクチャ自身と同じサブレイヤか、それよりも高いサブレイヤに移行可能であるのに対し、レイヤ１では、、移行可能点のピクチャは、ＳＴＳＡピクチャであるので、ＴＳＡピクチャ自身と同じサブレイヤにのみ移行可能である。
【０１７４】
（レイヤ間予測最大ＴＩＤ）
図２５は、レイヤ間予測最大ＴＩＤMaxTidIlRefPicsを説明するための図である。レイヤ間予測最大ＴＩＤは、あるTIDのサブレイヤのピクチャが、レイヤ間予測に用いられるか否かを判別するために用いられる。レイヤ間予測最大ＴＩＤMaxTidIlRefPicsは、MaxTidIlRefPics以下のＴＩＤのピクチャは、レイヤ間予測に用いられるが、レイヤ間予測最大ＴＩＤMaxTidIlRefPicsより大きいＴＩＤのピクチャは、レイヤ間予測に用いられないことを示す。符号化データでは、MaxTidIlRefPicsに１を加えたmax_tid_il_ref_pics_plus1が符号化される。max_tid_il_ref_pics_plus1を復号した際、レイヤ間予測最大ＴＩＤMaxTidIlRefPicsは、
MaxTidIlRefPics ＝max_tid_il_ref_pics_plus1-１
により導出される。
【０１７５】
MaxTidIlRefPicsの代わりにmax_tid_il_ref_pics_plus1を用いると、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1は、max_tid_il_ref_pics_plus1より小さいＴＩＤのピクチャは、レイヤ間予測に用いられるが、max_tid_il_ref_pics_plus以上のＴＩＤのピクチャは、レイヤ間予測に用いられないことを示す。
【０１７６】
図２５に示すように、レイヤ０のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[0]が２の場合には、ＴＩＤ＝１以下のサブレイヤのピクチャのみがレイヤ間予測において参照される。従って、ＴＩＤ＝０のピクチャ１、ピクチャ３およびＴＩＤ＝１のピクチャ５のみがレイヤ間予測で参照される。ＴＩＤ＝２のピクチャ７、ピクチャ９は、レイヤ間予測で参照することができない。図２５に示すように、レイヤ０を再生せず、レイヤ１のみを再生する場合には、レイヤ間予測最大ＴＩＤを超えるＴＩＤのピクチャ、すなわち、ピクチャ７、ピクチャ９は、参照されないことが分かっているので、復号する必要がない。このように、あるレイヤのレイヤ間予測最大ＴＩＤは、自身以外のレイヤを再生する場合に、高いサブレイヤのピクチャの復号を省略するのに使用することができ、処理量を低減可能である。
【０１７７】
レイヤ間でＴＩＤがアライメントされている場合は、レイヤ１のピクチャのＴＩＤは、同じ表示時刻（出力順、アクセスユニット）のレイヤ０のピクチャのＴＩＤであるから、レイヤ０にレイヤ間予測最大ＴＩＤによりレイヤ間予測が制限されている場合には、レイヤ１のピクチャのＴＩＤを参照することで、レイヤ０のピクチャがレイヤ間予測で参照されないことが分かる。
【０１７８】
（レイヤ間予測最大ＴＩＤ）
図２６は、レイヤ間予測最大ＴＩＤのレイヤ間アライメントを示す図である。レイヤ間予測最大ＴＩＤがレイヤ間アライメントされているとは、異なるレイヤで同じレイヤ間予測最大ＴＩＤを有することである。図２６に示す通り、レイヤ０のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[0]、レイヤ１のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[1]はどちらも１であり、レイヤ間でアライメントされている。レイヤ間予測最大ＴＩＤがレイヤ間アライメントされている場合には、レイヤを区別することなく、あるレイヤがレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[]によりレイヤ間予測が制御されている場合には、他の全てのレイヤで同じレイヤ間予測最大ＴＩＤで、レイヤ間予測が制御される。従って、参照先がどのレイヤのピクチャであるのかを考慮することなく、対象ピクチャのＴＩＤが、レイヤ間予測最大ＴＩＤより大きい場合には、レイヤ間予測を行わない、ことを判別することができる。
【０１７９】
図２７は、レイヤ間予測最大ＴＩＤのレイヤ間アライメントがなされていない例を示す図である。レイヤ０のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[0]は１、レイヤ１のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[1]は３であり、レイヤ間でアライメントされていない。この場合、レイヤ２のピクチャであるピクチャ９からすると、同じ表示時刻のレイヤ０のピクチャ７は、レイヤ間予測最大ＴＩＤによりレイヤ間予測が制限されているのに対し、同じ表示時刻のレイヤ０のピクチャ７は、レイヤ間予測最大ＴＩＤによりレイヤ間予測がＴＩＤ＝０以下に制限されているのに対し、同じ表示時刻のレイヤ０のピクチャ８は、レイヤ間予測最大ＴＩＤによるレイヤ間予測の制限はＴＩＤ＝２以下であるから、参照することができる。このようにレイヤ間予測最大ＴＩＤがレイヤ間でアライメントされていない場合には、レイヤ間予測最大ＴＩＤによりレイヤ間予測が制限されているかがレイヤ依存となる。
【０１８０】
（RPS情報）
参照ピクチャセット（RPS）に係るシンタックス値（以下、RPS情報）は以下を含む。
１．SPS短期RPS情報：SPSに含まれる短期参照ピクチャセット情報
２．SPS長期RP情報：SPSに含まれる長期参照ピクチャ情報
３．SH短期RPS情報：スライスセグメントヘッダに含まれる短期参照ピクチャセット情報
４．SH長期RP情報：スライスセグメントヘッダに含まれる長期参照ピクチャ情報
５．ILRP情報：レイヤ間参照ピクチャ情報
（１．SPS短期RPS情報）
SPS短期RPS情報は、SPSを参照する各ピクチャから利用され得る複数の短期RPSの情報を含む。なお、短期RPSは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのPOC差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。
【０１８１】
SPS短期RPS情報を、図７を参照して説明する。図７は、SPS復号時に利用されるSPSシンタックス表の一部を例示している。図７の（Ａ）の部分がSPS短期RPS情報に相当する。SPS短期RPS情報には、SPSに含まれる短期RPS数（num_short_term_ref_pic_sets）、および、各短期RPSの定義（short_term_ref_pic_set(i)）が含まれる。
【０１８２】
短期RPS情報について、図８を参照して説明する。図８は、SPS復号時、および、スライスセグメントヘッダ復号時に利用される短期RPSのシンタックス表を例示している。
【０１８３】
短期RPS情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。
【０１８４】
また、短期RPS情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
【０１８５】
（２．SPS長期RP情報）
SPS長期RP情報は、SPSを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばPOC）により指定されるピクチャである。
【０１８６】
SPS長期RP情報の復号について、図７を再び参照して説明する。図７の（Ｂ）の部分がSPS長期RP情報に相当する。SPS長期RP情報には、SPSで伝送される長期参照ピクチャの有無を示す情報（long_term_ref_pics_present_flag）、SPSに含まれる長期参照ピクチャ数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのPOC（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
【０１８７】
なお、上記参照ピクチャのPOCは、参照ピクチャに関連付けられたPOCの値自体であってもよいし、POCのLSB（Least Significant Bit）、すなわち、POCを既定の２の冪乗の数で割った余りの値を用いてもよい。
【０１８８】
（３．SH短期RPS情報）
SH短期RPS情報は、スライスセグメントヘッダを参照するピクチャから利用され得る単一の短期RPSの情報を含む。
【０１８９】
SPS短期RPS情報の復号について、図９を参照して説明する。図９は、スライスセグメントヘッダ復号時に利用されるスライスセグメントヘッダシンタックス表の一部を例示している。図９の（Ａ）の部分がSH短期RPS情報に相当する。SH短期RPS情報は、短期RPSをSPSで復号済みの短期RPSの中から選択するか、スライスセグメントヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。SPSで復号済の中から選択する場合、復号済の短期RPSを一つ選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスセグメントヘッダに明示的に含める場合は、前述の図８を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、SPS短期RPS情報に含まれる。
【０１９０】
（４．SH長期RP情報）
SH長期RP情報は、スライスセグメントヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
【０１９１】
SH長期RP情報の復号について、図９を再び参照して説明する。図９の（Ｂ）の部分がSH長期RP情報に相当する。SH長期RP情報は、対象ピクチャで長期参照ピクチャが利用可能（long_term_ref_pic_present_flag）である場合のみスライスセグメントヘッダに含まれる。SPSで１以上の長期参照ピクチャを復号済である場合（num_long_term_ref_pics_sps>0）、SPSで復号済の長期参照ピクチャの中で対象ピクチャで参照され得る参照ピクチャの数（num_long_term_sps）がSH長期RP情報に含まれる。また、スライスセグメントヘッダで明示的に伝送される長期参照ピクチャ数（num_long_term_pics）がSH長期RP情報に含まれる。加えて、上記num_long_term_spsの数の長期参照ピクチャをSPSで伝送済の長期参照ピクチャの中から選択する情報（lt_idx_sps[i]）がSH長期RP情報に含まれる。さらに、スライスセグメントヘッダに明示的に含める長期参照ピクチャの情報として、上記num_long_term_picsの数だけ、参照ピクチャのPOC（poc_lsb_lt [i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。
【０１９２】
（５．ILRP情報）
ILRP情報は、スライスセグメントヘッダを含むピクチャからレイヤ間予測で参照され得るレイヤ間参照ピクチャの情報を含む。
【０１９３】
ILRP情報について、図１０を参照して説明する。図１０はスライス復号時に参照されるシンタックス表の一部であって、ILRP情報に相当する部分である。
【０１９４】
ILRP情報は、レイヤ間予測可能フラグ（inter_layer_pred_enabled_flag）を含む。さらに、レイヤ間予測有効フラグが１であり（レイヤ間予測が有効であり）、かつ、対象ピクチャから参照可能な参照レイヤ数（NumDirectRefLayers[nuh_layer_id]）が１より大きい場合、レイヤ間参照ピクチャ数を表すシンタックス（num_inter_layr_ref_pics_minus1）がILRP情報に含まれる。対象ピクチャにおけるレイヤ間参照ピクチャ数（NumActiveRefLayerPics）は“num_inter_layer_ref_pics_minus1 + 1”の値に設定される。加えて、各レイヤ間参照ピクチャの属するレイヤを示すレイヤ識別子（inter_layer_pred_layer_idc[i]）がILRP情報に含まれる。
【０１９５】
なお、ILRP情報に含まれる上記の各シンタックスは、自明である場合は省略されてもよい。例えば、１つのピクチャから参照可能なレイヤ間参照ピクチャ数が１枚に制限されている場合、レイヤ間参照ピクチャ数に係るシンタックスは不要である。
【０１９６】
〔階層動画像復号装置〕
以下では、第１の実施形態に係る階層動画像復号装置１の構成について、図２８〜図３１、図２９〜図３０を参照して説明する。
【０１９７】
（階層動画像復号装置の構成）
図４を用いて、階層動画像復号装置１の概略的構成を説明すると次のとおりである。図４は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
【０１９８】
図４に示すように階層動画像復号装置１は、可変長復号部１２、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。
【０１９９】
可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号して出力する。
【０２００】
図２８は、可変長復号部１２の構成を例示した機能ブロック図である。図２８に示すように、可変長復号部１２は、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を含んで構成される。
【０２０１】
ＮＡＬユニットヘッダ復号部１１は、ＮＡＬユニットヘッダを復号する。図１４の（ｂ）は、ＮＡＬユニットヘッダの構成を示す図である。ＮＡＬユニットヘッダ復号部１１は、ＮＡＬユニットヘッダから、ＮＡＬユニットタイプ(nal_unit_type)、レイヤＩＤ（nuh_layer_id）、テンポラルＩＤ（nuh_temporal_id_plus1）などのＮＡＬユニットヘッダ情報を復号する。
【０２０２】
テンポラルＩＤ（TemporalID, TID）は、nuh_temporal_id_plus1から以下の式により復号される。
【０２０３】
TemporalID = nuh_temporal_id_plus1 - 1
なお、テンポラルＩＤに関しては、ビットストリームコンフォーマンスとして、以下のＣＦ条件（Ｔ１）〜ＣＦ条件（Ｔ４）を満たす必要がある。
【０２０４】
ＮＡＬユニットタイプがＩＲＡＰピクチャの場合にはTemporalID=0とする・・・ＣＦ条件（Ｔ１）
ＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡの場合にはTemporalID=0としてはならない・・・ＣＦ条件（Ｔ２）
対象ピクチャがサブレイヤ非参照ピクチャの場合には、ＲＰＳには対象ピクチャのTemporalIDと同じTemporalIDを有するピクチャを参照ピクチャとして入れてはならない・・・ＣＦ条件（Ｔ３）
ＲＰＳには、対象ピクチャのTemporalIDよりも大きいTemporalIDを有するピクチャを参照ピクチャとして入れてはならない・・・ＣＦ条件（Ｔ４）
なお、ビットストリームコンフォーマンスとは、画像復号装置（ここでは本発明の実施形態に係る画像復号装置）が復号するビットストリームが満たす必要がある条件である。
【０２０５】
パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、各々、パラメータセット（VPS、SPS、PPS）に含まれるシンタックス値、予測情報、および、変換係数に係るシンタックス値を復号する。
【０２０６】
図３０は、パラメータセット復号部１２１の構成を例示した機能ブロック図である。図３０に示すようにパラメータセット復号部１２１は、レイヤ間サブレイヤアライメントフラグ復号部１２１１を含んで構成される。
【０２０７】
パラメータセット復号部１２１は、対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号する。
【０２０８】
具体的には、対象レイヤiが、参照レイヤjに依存するか否かを示すレイヤ依存フラグdirect_dependent_flag[i][j]を復号し、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]を導出する。依存レイヤリストRefLayers[][]は、レイヤＩＤのリストで表現される。依存レイヤリストRefLayers[ nuh_layer_id ][]は、nuh_layer_idで指定される対象レイヤが参照する、対照レイヤとは異なるレイヤのリストである。依存レイヤリストRefLayers[][]は、依存レイヤ識別子RefLayers[i][j]のセット（リスト）である。以下、RefLayersを単に依存レイヤ、と呼ぶこともある。また、各依存レイヤ識別子RefLayers[i][j]を復号することにより、依存レイヤリストRefLayers が復号される。
【０２０９】
レイヤ依存情報復号部４０１１は、対象レイヤiが、参照レイヤjのレイヤ依存フラグdirect_dependent_flag[ i ][ j ]が１である場合に、以下の式により導出される。
【０２１０】
if( direct_dependent_flag[ i ][ j ] )
RefLayerId[ i ][ NumDirectRefLayers[ i ]++ ] = j
なお、レイヤを示すインデックスiをレイヤＩＤに変換するテーブルlayer_id_in_nuh[]を用いて、
RefLayerId[ layer_id_in_nuh[i] ][ NumDirectRefLayers[ layer_id_in_nuh [i] ]++ ] = layer_id_in_nuh[j]
を用いても良い。direct_dependent_flag[ i ][ j ]が１である場合に、依存レイヤ数NumDirectRefLayers[]をインクリメントする。
【０２１１】
全ての対象レイヤiが、参照レイヤjについて上記処理を行うことにより、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]が導出される。  パラメータセット復号部１２１は、ＶＰＳからレイヤ依存タイプdirect_dependency_type[i][j]をさらに復号しても良い。
【０２１２】
図２９は、パラメータセット復号部１２１の復号する符号化データの構成を説明する図である。図中、ＳＳ１００１に示すようにパラメータセット（ここではＶＰＳ）の符号化データは、レイヤ間サブレイヤアライメントフラグ（レイヤ間ＴＩＤアライメントフラグ、tid_alignment_flag）を含む。
【０２１３】
パラメータセット復号部１２１は、パラメータセットからレイヤ間サブレイヤアライメントフラグ（tid_alignment_flag）を復号する。
【０２１４】
レイヤ間サブレイヤアライメントフラグは、同じ表示時刻（アクセスユニット）に属する全てのレイヤのＶＣＬＮＡＬユニットのピクチャが同じTemporalIDを有することを示す。すなわち、以下のＣＦ条件（Ｓ１）をビットストリームコンフォーマンスとして要求する。
【０２１５】
レイヤ間サブレイヤアライメントフラグが１の場合には、同じアクセスユニットの全てのＶＣＬＮＡＬユニットは、同じ値のTemporalIDを有していなければならない・・・ＣＦ条件（Ｓ１）
なお、同様の判定をビットストリームコンフォーマンスとする場合にも可能である。例えば、以下のＣＦ条件（Ｓ１´）なども可能である。
【０２１６】
レイヤ間サブレイヤアライメントフラグが１の場合には、あるＶＣＬＮＡＬユニットのTIDは、同じアクセスユニットの他のＶＣＬＮＡＬユニットのTemporalIDと同じ値を有していなければならない・・・ＣＦ条件（Ｓ１´）
なお、同様のコンフォーマンス条件は、単一のレイヤだけをサポートするHEVC Main Profile規格にも存在するが、HEVC Main Profileは同じ表示時刻を有する複数のスライスが同じTemporalIDを持つことを定義しているだけであり、HEVC Main Profileの定義の外にある複数のレイヤの場合を定義したものではない。
【０２１７】
なお、個別レイヤの間引き再生においては、同じ表示時刻を有する同じレイヤに属する全てのスライスは同じTemporalIDを持つ必要があるため、本発明の実施形態においても、以下のＣＦ条件（Ｓ０）をビットストリームコンフォーマンスとして要求する。
【０２１８】
同じレイヤＩＤを有する同じアクセスユニットの全てのＶＣＬＮＡＬユニットは、同じ値のTIDを有していなければならない・・・ＣＦ条件（Ｓ０）
上記ＣＦ条件（Ｓ０）は、以下のように表現することもできる。
【０２１９】
あるアクセスユニットのある符号化ピクチャに属する全てのＶＣＬＮＡＬユニットは、同じTIDを有していなくてはならない。
【０２２０】
符号化ピクチャとは、１つもしくは複数のスライスセグメントから構成されるピクチャである。そのため、「ある符号化ピクチャに属する全てのＶＣＬＮＡＬユニットは、同じTIDを有する」、により、全てのスライスで同じTIDを有する制限を示すことになる。なお、上記符号化ピクチャの定義は、ある１つのレイヤのピクチャのことである。別のレイヤのピクチャは、別の符号化ピクチャとして扱われるため、ＣＦ条件（Ｓ０）の定義では、異なるレイヤのピクチャは、同じアクセスユニットであっても、異なる値のTIDを有することができる。
【０２２１】
なお、単一レイヤ用の動画復号装置に対して、ＣＦ条件（Ｓ１）が要求されている場合、階層動画復号装置においては、その要求をＣＦ条件（Ｓ０）に置き換える。
【０２２２】
ＣＦ条件（Ｓ１）により、本実施形態の備えるＮＡＬユニットヘッダ復号部１１は、レイヤ間サブレイヤアライメントフラグが１の場合には、同じ表示時刻（アクセスユニット）に属する全てのレイヤの符号化データから同じTemporalIDを復号する。
【０２２３】
図３１は、スライスセグメントヘッダ復号部１２２の構成を例示した機能ブロック図である。図３１に示すようにスライスセグメントヘッダ復号部１２２は、RPS情報復号部１２２１、RPL情報復号部１２２２、実依存レイヤ復号部１２２３（レイヤ間参照ピクチャ情報復号部）、代替コロケート指示情報復号部１２２４を含んで構成される。
【０２２４】
RPS情報復号部１２２１は、スライスセグメントヘッダからSH短期RPS情報、SH長期RP情報を復号する。
【０２２５】
RPL情報復号部１２２２は、スライスセグメントヘッダから図１１に示すSHリスト修正情報を復号する。
【０２２６】
実依存レイヤ復号部１２２３は、依存レイヤリストRefLayersに属する依存レイヤから、復号対象ピクチャ（例えばスライスセグメントヘッダに対応するピクチャ）で実際に用いられる実依存レイヤ（レイヤ間参照ピクチャ、レイヤ間予測ピクチャ）の情報（実依存レイヤ情報、レイヤ間参照ピクチャ情報）を復号する。実依存レイヤも依存レイヤRefLayersと同様、レイヤＩＤのリストで表現される。実依存レイヤRefPicLayerIdは、実依存レイヤ識別子RefPicLayerId[i]のセット（リスト）である。以下、RefPicLayerIdを単に実依存レイヤ、と呼ぶこともある。  実依存レイヤ復号部１２２３は、対象スライスセグメントにおけるレイヤ間予測に関する実依存レイヤ情報として、実依存レイヤピクチャごとのレイヤ識別情報である参照ピクチャレイヤ識別子RefPicLayerId[]、実参照レイヤピクチャの中で実際にサンプル予測および動き予測で参照するレイヤ数を示す、実サンプル依存レイヤ数NumActiveSamplePredRefLayersおよび実動き依存レイヤ数NumActiveMotionPredRefLayers、そして、サンプル予測と動き予測それぞれの実依存レイヤ数に対応する依存レイヤの識別情報である、実サンプル依存レイヤ識別子ActiveSamplePredRefLayerId[]および実動き依存レイヤ識別子ActiveMotionPredRefLayerId[]を導出する。
【０２２７】
代替コロケート指示情報復号部１２２４は、テンポラル動き予測に用いる参照ピクチャcolPicを特定するための情報を復号する。
【０２２８】
ピクチャ復号部１３は、可変長復号部１２から復号された対象ピクチャに関するスライスセグメントヘッダ、予測情報、および、変換係数に係るシンタックス値と復号ピクチャ管理部１４から入力される参照ピクチャリストに基づいて、対象ピクチャの復号ピクチャを復号する。復号ピクチャは復号ピクチャ管理部１４に出力される。
【０２２９】
なお、ピクチャ復号部１３におけるインター予測による予測画像生成には、復号ピクチャ管理部１４内のDPBに記録されている復号ピクチャであって、ピクチャ復号部１３に入力される参照ピクチャリストに含まれるピクチャが参照ピクチャとして利用される。また、ピクチャ復号部１３におけるレイヤ間画像予測による予測画像生成には、復号ピクチャ管理部１４内のDPBに記録されているレイヤ間参照ピクチャであって、上述の参照ピクチャリストに含まれるピクチャが参照ピクチャとして利用される。
【０２３０】
復号ピクチャ管理部１４は、入力される復号ピクチャや参照レイヤピクチャを内部のDPBに記録するとともに、入力されるシンタックス値に基づいて参照ピクチャリスト生成や出力ピクチャ決定を行う。
【０２３１】
復号ピクチャ管理部１４は、復号されたSH短期RPS情報、SH長期RP情報に基づいて、ＣＦ条件（Ｔ４）を満たす同じレイヤの復号対象ピクチャ、もしくは、実依存レイヤ復号部１２２３で復号されたILRP情報（実依存レイヤもしくは実サンプル依存レイヤ）に基づいて復号対象ピクチャとは異なるレイヤのピクチャである参照レイヤピクチャを含むように、参照ピクチャセット（ＲＰＳ）および参照ピクチャリストを導出する。
【０２３２】
本実施形態の備える復号ピクチャ管理部１４は、レイヤ間サブレイヤアライメントフラグが１の場合には、ＣＦ条件（Ｓ１）により、復号対象ピクチャと同じTemporalIDのピクチャを、対象ピクチャと異なるレイヤから参照し、参照ピクチャに設定する。
【０２３３】
本実施形態の備える復号ピクチャ管理部１４は、ＣＦ条件（Ｔ４）により、復号対象ピクチャと同じレイヤの復号対象ピクチャのTemporalID以下のTemporalIDを有するピクチャを参照ピクチャに設定する。
【０２３４】
なお、復号ピクチャ管理部１４は、復号対象ピクチャのTemporalIDに基づいてＣＦ条件（Ｓ１）およびＣＦ条件（Ｔ４）に対応する処理を行う必要はなく、符号化データが、復号ピクチャ管理部１４を満たしていれば自動的に、上記処理を行うことができる。
【０２３５】
復号ピクチャ管理部１４の詳細について後述する。
【０２３６】
生成される参照ピクチャセットがＣＦ条件（Ｓ１）（Ｔ４）を満たすことによって、本実施形態の画像復号装置が復号対象とする符号化データを再生する場合においては、レイヤによらず、間引き再生が可能となる。
【０２３７】
ピクチャの復号においては、復号対象となるピクチャのほか、復号対象ピクチャが参照するピクチャも復号しておく必要があるが、復号対象と同じレイヤの参照ピクチャに関しては、再生すべきＴＩＤＡ以下のサブレイヤのピクチャは、それより上のサブレイヤのピクチャを参照することがないため、再生対象ではないＴＩＤＡより上のサブレイヤのピクチャを復号する必要がない。復号対象と異なるレイヤの参照ピクチャについても、レイヤ間サブレイヤアライメントがなされている場合には、レイヤ間参照ピクチャは、復号対象と同じＴＩＤを有することから、レイヤ間参照ピクチャは、それより上のサブレイヤのピクチャを参照することがないため、再生対象ではないＴＩＤＡより上のサブレイヤのピクチャを復号する必要がない。この関係が全てのピクチャ、レイヤで成り立つため、結果として、全てのレイヤにおいて、同じサブレイヤ再生が可能となる。
【０２３８】
上記構成の階層動画像復号装置１によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部１１と、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部１２１と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、同じ表示時刻（アクセスユニット）に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。
【０２３９】
上記構成の階層動画像復号装置１によれば、同じ表示時刻に属する全てのレイヤのＴＩＤが共通であることが示されている場合（レイヤ間サブレイヤアライメントフラグが１の場合）には、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生を変化させずに、あるレイヤ（例えば低解像度のレイヤ）から別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）のピクチャを同時に同じ間引き再生を用いて、再生することができるという効果を奏する。
【０２４０】
（階層動画像復号装置Ｓ１´）
以下では、第１の実施形態に係る階層動画像復号装置１の変形例である階層動画像復号装置Ｓ１´について説明する。本例は、階層動画像復号装置１Ｓ１´と同様、フラグによらずに、レイヤ間ＴＩＤアライメントが行われている場合を扱う。
【０２４１】
本変形例の復号装置が復号する符号化データのコンフォーマンス要求は以下の通りである。  本変形例の階層動画像復号装置Ｓ１´が復号する符号化データは、レイヤ間サブレイヤアライメントフラグによらず、ＣＦ条件（Ｓ１）を要求する。
【０２４２】
上記構成の階層動画像復号装置１Ｓ１´によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、同じ表示時刻（アクセスユニット）に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。
【０２４３】
上記の構成の画像復号装置によれば、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生を変化させずに、あるレイヤ（例えば低解像度のレイヤ）から別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）のピクチャを同時に同じ間引き再生を用いて、再生することができるという効果を奏する。
【０２４４】
階層動画像復号装置１Ｓ１´では、レイヤ間サブレイヤアライメントフラグ（レイヤ間ＴＩＤアライメントフラグ）を用いないため、レイヤ間でサブレイヤを非同期するユースケースをサポートしないが、レイヤ間サブレイヤアライメントがなされていることを前提とした機能であるユースケース（Ｕ１）を全ての符号化データに対してサポートすることができる。また、階層動画像復号装置と送信側で、パラメータセットをやり取りし、レイヤ間サブレイヤアライメントフラグを確認（ネゴシエーション）することなく、レイヤ間サブレイヤアライメントがなされていることを知ることができるため、ネゴシエーションの手間を省略できる。
【０２４５】
（階層動画像復号装置Ｓ１´´）
以下では、第１の実施形態に係る階層動画像復号装置１の変形例である階層動画像復号装置１Ｓ１´´について説明する。
【０２４６】
本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、ＣＦ条件（Ｓ１）を要求する。
【０２４７】
この条件は、階層動画像復号装置Ｓ１´と同様に、レイヤ間サブレイヤアライメントフラグを用いない条件とすることもできるが、以下のようにレイヤ間サブレイヤアライメントフラグを用いた上で、その値をプロファイルに応じて制限することによっても実現できる。
【０２４８】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグ（レイヤ間ＴＩＤアライメントフラグ）が１の場合に、ＣＦ条件（Ｓ１）を要求する。
【０２４９】
本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、レイヤ間サブレイヤアライメントフラグ（レイヤ間ＴＩＤアライメントフラグ）が１であることを要求する。
【０２５０】
階層動画像復号装置１Ｓ１´´は、可変長復号部１２Ｓ１´´、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｓ１´´は、ＮＡＬユニットヘッダ復号部１１Ｓ２´、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０２５１】
ＮＡＬユニットヘッダ復号部１１Ｓ１´´は、ステレオ画像のプロファイルを有する符号化データである場合には、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号する。
【０２５２】
パラメータセット復号部１２１は、少なくともプロファイルを復号する。プロファイルは、ＶＰＳもしくはＳＰＳから、general_profile_idcもしくはgeneral_profile_compatibility_flag[]を復号することで得られる。
【０２５３】
上記構成の階層動画像復号装置１Ｓ１´´によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともプロファイルを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、プロファイルが、ステレオ画像である場合には、同じ表示時刻に属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号することを特徴とする。
【０２５４】
上記の構成の画像復号装置によれば、プロファイルがステレオ画像である場合には、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）のピクチャを同時に同じ間引き再生を用いて、再生することができるという効果を奏する。
【０２５５】
つまり、プロファイルがステレオ画像を示す全ての符号化データの場合に、レイヤ間サブレイヤアライメントがなされていることを前提としたユースケース（Ｕ１）をサポートする。
【０２５６】
なお、上記条件では、ステレオ画像を示すプロファイルである、ステレオプロファイルではなく、多視点画像を示すプロファイルであるマルチビュープロファイルや、多視点にデプスを追加したマルチビュープラスデプスプロファイルに適用しても良い。
【０２５７】
（階層動画像復号装置１Ｓ２）
以上説明した階層動画像復号装置１、階層動画像復号装置１Ｓ１´、階層動画像復号装置１Ｓ１´´では、レイヤ間の間引き再生の同期を実現するため、もしくは、レイヤ間の間引き再生を行わない代わりに高い符号化効率を得る復号装置である。これらは、図１８から図２０を用いて説明したレイヤ間ＴＩＤアライメントに関する。なお、間引き再生を行う場合には、低いサブレイヤから高いサブレイヤに移行することも同様に重要である。これらは、図２１〜図２４を用いて説明したレイヤ間サブレイヤピクチャアライメントに関する。
【０２５８】
以下、第１の実施形態に係る階層動画像復号装置１の変形例である階層動画像復号装置１Ｓ２として、レイヤ間サブレイヤピクチャアライメントを示すレイヤ間サブレイヤアライメントフラグ（レイヤ間サブレイヤアクセスピクチャ同期フラグ）を用いる例を説明する。レイヤ間サブレイヤアライメントフラグは、ＴＳＡピクチャおよびＳＴＳＡピクチャに関するレイヤ間サブレイヤピクチャアライメントを行うフラグであるが、同時に、レイヤ間でＴＩＤを同期するフラグを兼ねても良い。
【０２５９】
本変形例の復号装置が復号する符号化データのコンフォーマンス要求は以下の通りである。
【０２６０】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグ（レイヤ間サブレイヤアクセスピクチャ同期フラグ）が１の場合に、ＣＦ条件（Ｓ１）を要求する。
【０２６１】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、以下のＣＦ条件（Ｓ２）ＣＦ条件（Ｓ３）を要求する。
【０２６２】
但し、ＣＦ条件（Ｓ２）ＣＦ条件（Ｓ３）の代わりにＣＦ条件（Ｓ４）でも良い。
【０２６３】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ４）を要求する。
【０２６４】
本変形例における、レイヤ間サブレイヤアライメントフラグは、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じ表示時刻に属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダであることを示す。すなわち、ＣＦ条件（Ｓ１）に加えて、以下のＣＦ条件（Ｓ２）とＣＦ条件（Ｓ３）をビットストリームコンフォーマンスとして要求する。
【０２６５】
あるアクセスユニットに属するピクチャのＮＡＬユニットタイプがＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤのピクチャのＮＡＬユニットのＮＡＬユニットタイプはＴＳＡピクチャでなければならない・・・ＣＦ条件（Ｓ２）
あるアクセスユニットに属するピクチャのＮＡＬユニットタイプがＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤのピクチャのＮＡＬユニットのＮＡＬユニットタイプはＳＴＳＡピクチャでなければならない・・・ＣＦ条件（Ｓ３）
ＣＦ条件（Ｓ２）、ＣＦ条件（Ｓ３）は、図２１、図２２に対応する。
【０２６６】
なお、本変形例における、レイヤ間サブレイヤアライメントフラグは、ＣＦ条件（Ｓ２）（Ｓ３）よりも、緩いレイヤ間アライメントでも良い。つまり、図２４に対応するセミアライメント条件の場合でも良い。
【０２６７】
この場合、ＣＦ条件（Ｓ２）、ＣＦ条件（Ｓ３）の代わりに、以下のＣＦ条件（Ｓ４）をビットストリームコンフォーマンスとして要求する。
【０２６８】
あるアクセスユニットに属するピクチャのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤのピクチャのＮＡＬユニットのＮＡＬユニットタイプもＴＳＡピクチャもしくはＳＴＳＡピクチャでなければならない・・・ＣＦ条件（Ｓ４）
また、セミアライメント条件は、ＣＦ条件（Ｓ４）の代わりに、ベースレイヤを基準とする次のＣＦ条件（Ｓ４´）等でも良い。
【０２６９】
アクセスユニットに属するベースレイヤピクチャ（ＮＡＬユニットＩＤが０のピクチャ）のＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤのピクチャのＮＡＬユニットのＮＡＬユニットタイプもＴＳＡピクチャもしくはＳＴＳＡピクチャでなければならない・・・ＣＦ条件（Ｓ４´）
なお、上記では、ＣＦ条件（Ｓ２）かつＣＦ条件（Ｓ３）を条件としていたが、より緩いレイヤ間アライメントとして、ＣＦ条件（Ｓ２）とＣＦ条件（Ｓ３）のどちらか一方を要求しても良い。ＣＦ条件（Ｓ２）のみを条件とする場合には、ＴＳＡピクチャのレイヤ間アライメントが行われているため、間引き再生から間引き再生のない（もしくは殆どない）状態に遷移が可能という効果を奏する。ＣＦ条件（Ｓ３）のみを条件とする場合には、比較的挿入が容易なＳＴＳＡピクチャのレイヤ間アライメントに限定されるため、間引き再生状態の遷移が可能であるという効果を保ちながら、レイヤ間アライメントともない符号化効率低下が小さいという効果を奏する。
【０２７０】
また、レイヤ間サブレイヤアライメントフラグを０か１かの２択のフラグではなく、３択を示すフラグとしても良い。この場合のフラグをレイヤ間サブレイヤアライメント識別子inter_layer_sublayer_alignment_idxと呼び。１つの値は、レイヤ間アライメントを要求しない。ほかの１つの場合に、緩いレイヤ間アライメントを要求するように割り当て、ほかの１つの場合に、強いレイヤ間アライメントを要求するように割り当てることが望ましい。例えば、１つを緩いアライメントであるＣＦ条件（Ｓ４）、ほかを強いアライメントであるＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）としても良い。
【０２７１】
inter_layer_sublayer_alignment_idx＝０：ＴＳＡ、ＳＴＳＡのレイヤ間アライメントを要求しない（ＴＳＡ、ＳＴＳＡのアライメントが行われていても良い）
inter_layer_sublayer_alignment_idx＝１：ＣＦ条件（Ｓ４）
inter_layer_sublayer_alignment_idx＝２：ＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）
また、ＣＦ条件（Ｓ２）とＣＦ条件（Ｓ３）を区別可能なように、１つの値の場合にＣＦ条件（Ｓ２）を要求し、別の１つの値の場合にＣＦ条件（Ｓ３）を要求しても良い。例えば、レイヤ間サブレイヤアライメント識別子inter_layer_sublayer_alignment_idxの１つの値は、レイヤ間アライメントを要求しないことを示し。他の１つの値は緩いアライメントであるＣＦ条件（Ｓ２）もしくはＣＦ条件（Ｓ３）を示し、他の値を強いアライメントであるＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）としても良い。
【０２７２】
inter_layer_sublayer_alignment_idx＝０：ＴＳＡ、ＳＴＳＡのレイヤ間アライメントを要求しない（ＴＳＡ、ＳＴＳＡのアライメントが行われていても良い）
inter_layer_sublayer_alignment_idx＝１：ＣＦ条件（Ｓ２）
inter_layer_sublayer_alignment_idx＝２：ＣＦ条件（Ｓ３）
inter_layer_sublayer_alignment_idx＝３：ＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）
他の構成として、例えば、レイヤ間サブレイヤアライメント識別子inter_layer_sublayer_alignment_idxの１つの値は、レイヤ間アライメントを要求しないことを示し。他の値を緩いアライメントであるＣＦ条件（Ｓ４）およびＣＦ条件（Ｓ２）およびＣＦ条件（Ｓ３）とし、ほかの１つの値を強いアライメントであるＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）を示すようにしても良い。
【０２７３】
inter_layer_sublayer_alignment_idx＝０：ＴＳＡ、ＳＴＳＡのレイヤ間アライメントを要求しない（ＴＳＡ、ＳＴＳＡのアライメントが行われていても良い）
inter_layer_sublayer_alignment_idx＝１：ＣＦ条件（Ｓ４）
inter_layer_sublayer_alignment_idx＝２：ＣＦ条件（Ｓ１）
inter_layer_sublayer_alignment_idx＝３：ＣＦ条件（Ｓ２）
inter_layer_sublayer_alignment_idx＝４：ＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）
また、緩いレイヤ間アライメントとしては、必ずしも、ＣＦ条件（Ｓ４）、ＣＦ条件（Ｓ２）、ＣＦ条件（Ｓ３）の３つを区別する必要はなくＣＦ条件（Ｓ４）を含む以下の構成でも良い。
【０２７４】
inter_layer_sublayer_alignment_idx＝０：ＴＳＡ、ＳＴＳＡのレイヤ間アライメントを要求しない（ＴＳＡ、ＳＴＳＡのアライメントが行われていても良い）
inter_layer_sublayer_alignment_idx＝１：ＣＦ条件（Ｓ４）
inter_layer_sublayer_alignment_idx＝２：ＣＦ条件（Ｓ２）
inter_layer_sublayer_alignment_idx＝３：ＣＦ条件（Ｓ２）＋ＣＦ条件（Ｓ３）
＜ＶＰＳにおける符号化＞
図４８は、レイヤ間サブレイヤアライメントフラグ（図ではinter_layer_sublayer_alignment_idx）を全レイヤ共通の１つのフラグとして、符号化データのＶＰＳに含める構成を示す。ＶＰＳは、全てのレイヤに共通のパラメータを指定するパラメータセットであるため、ＶＰＳで、レイヤ間サブレイヤアライメントフラグを符号化する構成によれば、全てのレイヤに対してレイヤ間アライメントを強制することができる効果を奏する。また、個別のレイヤでフラグを符号化する構成に比べて、全てのレイヤで１つのフラグを共有するため、符号量が低減できる効果を奏する。
【０２７５】
なお、ＶＰＳで符号化する場合においても、個々のレイヤ毎に、レイヤ間サブレイヤアライメントフラグを含める構成も可能である。例えば、ベースレイヤを除くレイヤ（例えば、１からレイヤ数−１までのインデックスiで識別されるレイヤ）について、レイヤ間サブレイヤアライメントフラグinter_layer_sublayer_alignment_idx[i]を含めることもできる。個別のレイヤのレイヤ間アライメントを示すフラグを符号化する場合には、どのレイヤとアライメントしているか（どのレイヤのピクチャがＴＳＡもしくはＳＴＳＡピクチャであれば、同じアクセスユニットに属する対象とするレイヤもＴＳＡもしくはＳＴＳＡピクチャであるか）を示す参照レイヤを識別する情報（例えば、参照レイヤのレイヤＩＤを含める構成でも良い。レイヤ間サブレイヤアライメントフラグinter_layer_sublayer_alignment_idx[i]毎に、アライメント対象となる参照レイヤinter_layer_sublayer_alignment_pic_idx[i]を含める構成とすれば自由度が高い構成が可能である。自由度の高い指定、例えば、レイヤ１、レイヤ３、レイヤ５だけをアライメントするような指定が行うことができる。
【０２７６】
なお、アライメント対象となる参照レイヤのレイヤＩＤを符号化せず、かならずレイヤＩＤ０つまり、ベースレイヤとアライメントすることにしても良い。参照レイヤのレイヤＩＤを符号化する場合には、参照レイヤのレイヤＩＤを符号化しない場合には、自由度は低いが、レイヤ間アライメントの基準となるレイヤが明確であるので、基準となるレイヤであるベースレイヤのピクチャがＴＳＡもしくはＳＴＳＡピクチャであるかを判定することで、レイヤ間アライメントがなされているほかのレイヤでもＴＳＡもしくはＳＴＳＡピクチャであり、同じピクチャでサブレイヤの遷移が行えることが容易にわかる。なお、基準となるレイヤを、依存レイヤの内で最小インデックスとなるレイヤとしても良い。
【０２７７】
＜ＳＰＳ・ＶＵＩにおける符号化＞
図４９は、レイヤ間サブレイヤアライメントフラグ（図ではinter_layer_sublayer_alignment_flag）を符号化データのＳＰＳ（ＶＵＩ）に含める場合の例である。ＳＰＳは基本的には個々のレイヤ毎に符号化されるパラメータである。そのためＳＰＳ（ＶＵＩ）で含めることによって、個々のレイヤで異なるレイヤ間アライメント状態を示すことができる。なお、１つのＳＰＳパラメータを複数のレイヤで共有することも可能である。ＶＵＩはＳＰＳ内のパラメータであり、ＶＵＩが存在するというフラグvui_parameters_present_flagが１の場合に符号化される。また、ＶＵＩではビットストリームに制約を課すか否かのフラグbitstream_restriction_flagが１の場合にレイヤ間サブレイヤアライメントフラグ（図ではinter_layer_sublayer_alignment_flag）を含む。個別のレイヤでフラグを符号化することが可能なＳＰＳ（ＶＵＩ）で符号化する場合には、あるレイヤはレイヤ間アライメントがされており、ほかのレイヤではレイヤ間アライメントがなされていない状態を明示的に識別することができるという効果を奏する。また、ＳＰＳはＶＰＳよりも高い周期で切り替えることが可能であるから、ある区間でレイヤ間アライメントを行い、ほかの区間ではレイヤ間アライメントを行わないような指定がより容易に行えるという効果を奏する。また、ＶＵＩにはビットストリームに対する制約を集めたパラメータを含めているため、ほかのビットストリーム制約のパラメータと共通の場所で符号化できるという効果を奏する。なお、ＳＰＳ（ＶＵＩ）に含める場合にも、アライメント対象となる参照レイヤinter_layer_sublayer_alignment_pic_idx[i]を含める構成としても良いし、参照レイヤの情報を含めずにベースレイヤ（もしくは依存レイヤの内で最小インデックスとなるレイヤ）とアライメントする構成としても良い。
【０２７８】
階層動画像復号装置１Ｓ２は、可変長復号部１２Ｓ２、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｓ２は、ＮＡＬユニットヘッダ復号部１１Ｓ２、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０２７９】
ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャの値を設定する。
【０２８０】
また、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＳＴＳＡピクチャの値を設定する。
【０２８１】
なお、ＣＦ条件（Ｓ２）（Ｓ３）の代わりに、ＣＦ条件（Ｓ４）を用いる場合には、以下の構成でも良い。
【０２８２】
ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャもしくはＳＴＳＡピクチャの値を設定する。
【０２８３】
なお、ＣＦ条件（Ｓ２）（Ｓ３）およびＣＦ条件（Ｓ４）の代わりに、ＣＦ条件（Ｓ２）のみおよびＣＦ条件（Ｓ３）のみを要求しても良い。例えばＣＦ条件（Ｓ２）のみの場合には、  ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャピクチャの値を設定する。
【０２８４】
また、さらに、既に説明したように、レイヤ間サブレイヤアライメントフラグinter_layer_sublayer_alignment_idxとして３選択以上のフラグを用いても良い。例えば、一つの構成では、
ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ４）により、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャピクチャの値を設定する。
【０２８５】
また、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが２の場合に、ＣＦ条件（Ｓ２）により、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャの値を設定する。
【０２８６】
また、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが３の場合に、ＣＦ条件（Ｓ３）により、あるレイヤのＮＡＬユニットタイプがＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＳＴＳＡピクチャの値を設定する。
【０２８７】
また、ＮＡＬユニットヘッダ復号部１１Ｓ２は、レイヤ間サブレイヤアライメントフラグが４の場合に、ＣＦ条件（Ｓ２）＋ＣＦ（３）により、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャの値を設定し、あるレイヤのＮＡＬユニットタイプがＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＳＴＳＡピクチャの値を設定する。
【０２８８】
上記構成の階層動画像復号装置１Ｓ２によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。
【０２８９】
上記の構成の画像復号装置によれば、同じアクセスユニットに属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤがＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である場合には、他のレイヤもＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である。そのため、どのレイヤにおいても、同じタイミングであるサブレイヤから、より上位のサブライヤに移行することができる（間引き再生中から非間引き再生に移行するなど間引きの粒度を下げることができる）という効果を奏する。
【０２９０】
上記の構成の画像復号装置によれば、レイヤ間サブレイヤアライメントフラグを１とすることにより、ユースケース（Ｕ１）とユースケース（Ｕ２）をサポートすることができる。また、上記の構成の画像復号装置は、コンフォーマンス条件を、レイヤ間サブレイヤアライメントフラグ依存としているため、レイヤ間サブレイヤアライメントフラグを０とすることにより、ユースケース（Ｕ３）とユースケース（Ｕ４）もサポートすることができる。
【０２９１】
（階層動画像復号装置１Ｓ２´）
以下では、第１の実施形態に係る階層動画像復号装置１の変形例である階層動画像復号装置１Ｓ２´について、図１〜図１６を参照して説明する。本例は、階層動画像復号装置１Ｓ１´と同様、フラグによらずに、レイヤ間ＴＩＤアライメントが行われている場合を扱う。
【０２９２】
本変形例の復号装置が復号する符号化データのコンフォーマンス要求は以下の通りである。
【０２９３】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグによらず、ＣＦ条件（Ｓ１）を要求する。
【０２９４】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合には、ＣＦ条件（Ｓ２）、ＣＦ条件（Ｓ３）を要求する。
【０２９５】
但し、ＣＦ条件（Ｓ２）ＣＦ条件（Ｓ３）の代わりにＣＦ条件（Ｓ４）でも良い。
【０２９６】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ４）を要求する。
【０２９７】
階層動画像復号装置１Ｓ２´は、可変長復号部１２Ｓ２´、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｓ２´は、ＮＡＬユニットヘッダ復号部１１Ｓ２´、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０２９８】
ＮＡＬユニットヘッダ復号部１１Ｓ２´は、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号する。
【０２９９】
ＮＡＬユニットヘッダ復号部１１Ｓ２´は、レイヤ間サブレイヤアライメントフラグが１の場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャもしくはＳＴＳＡピクチャの値を設定する。
【０３００】
パラメータセット復号部１２１は、パラメータセットからレイヤ間サブレイヤアライメントフラグを復号する。
【０３０１】
上記構成の階層動画像復号装置１Ｓ２´によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間サブレイヤアライメントフラグを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、レイヤ間サブレイヤアライメントフラグが１の場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。
【０３０２】
上記の構成の画像復号装置によれば、あるレイヤがＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である場合には、他のレイヤもＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である。そのため、どのレイヤにおいても、同じタイミングであるサブレイヤから、より上位のサブライヤに移行することができる（間引き再生中から非間引き再生に移行するなど間引きの粒度を下げることができる）という効果を奏する。
【０３０３】
上記の構成の画像復号装置によれば、全ての符号化データに対してユースケース（Ｕ１）とユースケース（Ｕ２）をサポートすることができる。
【０３０４】
（階層動画像復号装置１Ｓ２´´）
以下では、第１の実施形態に係る階層動画像復号装置１Ｓ２の変形例である階層動画像復号装置１Ｓ２´´について説明する。一般に、ステレオ画像符号化では、同じアクセスユニットの複数のレイヤのピクチャを復号し再生する。間引き再生においても、複数のレイヤのピクチャが同時に再生できた方が好ましい。従って、特に、ステレオ画像を示すプロファイルの場合には、レイヤ間サブレイヤアライメントを行うことをビットストリームコンフォーマンスとして要求する。
【０３０５】
本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、ＣＦ条件（Ｓ１）を要求する。
【０３０６】
本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、ＣＦ条件（Ｓ２）（Ｓ３）もしくはＣＦ条件（Ｓ４）を要求する。
【０３０７】
この条件は、以下のようにレイヤ間サブレイヤアライメントフラグを用いた条件としても同値である。
【０３０８】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ１）を要求する。
【０３０９】
本変形例の復号装置が復号する符号化データは、レイヤ間サブレイヤアライメントフラグが１の場合に、ＣＦ条件（Ｓ２）（Ｓ３）もしくはＣＦ条件（Ｓ４）を要求する。
【０３１０】
本変形例の復号装置が復号する符号化データが、ステレオ画像のプロファイルを有する符号化データである場合には、レイヤ間サブレイヤアライメントフラグが１であることを要求する。
【０３１１】
階層動画像復号装置１Ｓ２´´は、可変長復号部１２Ｓ２´´、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｓ２´´は、ＮＡＬユニットヘッダ復号部１１Ｓ２´、パラメータセット復号部１２１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０３１２】
ＮＡＬユニットヘッダ復号部１１Ｓ２´´は、プロファイルがステレオプロファイルを示す場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号する。
【０３１３】
ＮＡＬユニットヘッダ復号部１１Ｓ２´´は、プロファイルがステレオプロファイルを示す場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャもしくはＳＴＳＡピクチャの値を設定する。
【０３１４】
パラメータセット復号部１２１は、パラメータセットから少なくともプロファイルを復号する。プロファイルは、ＶＰＳもしくはＳＰＳから、general_profile_idcもしくはgeneral_profile_compatibility_flag[]を復号することで得られる。
【０３１５】
ＮＡＬユニットヘッダ復号部１１Ｓ２´´は、パラメータセット復号部１２１が復号したプロファイルがステレオ画像を示す場合に、アクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを復号する。
【０３１６】
ＮＡＬユニットヘッダ復号部１１Ｓ２´´は、パラメータセット復号部１２１が復号したプロファイルがステレオ画像を示す場合に、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャもしくはＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データにＴＳＡピクチャもしくはＳＴＳＡピクチャの値を設定する。
【０３１７】
上記構成の階層動画像復号装置１Ｓ２´´によれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともプロファイルを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、前記ＮＡＬユニットヘッダ復号部は、プロファイルがステレオ画像を示す場合には、あるレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを復号することを特徴とする。
【０３１８】
上記の構成の画像復号装置によれば、ステレオ画像の再生において、あるレイヤがＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である場合には、他のレイヤもＴＳＡピクチャ（もしくはＳＴＳＡピクチャ）である。そのため、どのレイヤにおいても、同じタイミングであるサブレイヤから、より上位のサブライヤに移行することができる（間引き再生中から非間引き再生に移行するなど間引きの粒度を下げることができる）という効果を奏する。
【０３１９】
つまり、プロファイルがステレオ画像を示す符号化データの場合に、レイヤ間サブレイヤアライメントがなされていることを前提としたユースケース（Ｕ１）とユースケース（Ｕ２）をサポートすることができる。
【０３２０】
なお、上記条件では、ステレオ画像を示すプロファイルである、ステレオプロファイルではなく、多視点画像を示すプロファイルであるマルチビュープロファイルや、多視点に奥行き情報（デプス）を追加したマルチビュープラスデプスプロファイルに適用しても良い。
【０３２１】
（第２の実施形態）
以下では、第２の実施形態に係る階層動画像復号装置の構成について、図３４〜図Ａ８を参照して説明する。第２の実施形態に係る階層動画像復号装置は、全てのレイヤが同じレイヤ間予測最大ＴＩＤを用いる場合を示すフラグを有する、もしくは、全てのレイヤが同じレイヤ間予測最大ＴＩＤを用いる場合において、レイヤ毎に符号化されるレイヤ間予測最大ＴＩＤの冗長性を低減する。以下、第２の実施形態に係る階層動画像復号装置について、階層動画像復号装置１Ａａ、階層動画像復号装置１Ａｂ、階層動画像復号装置１Ａｃを順に説明する。
【０３２２】
（階層動画像復号装置１Ａａ）
以下、第２の実施形態に係る階層動画像復号装置として、階層動画像復号装置１Ａａ、階層動画像復号装置１Ａｂ、階層動画像復号装置１Ａｃの３つの例を説明する。
【０３２３】
階層動画像復号装置１Ａａは、可変長復号部１２Ａａ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ａａは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０３２４】
図３４は、パラメータセット復号部１２１ａの構成を例示した機能ブロック図である。図３４に示すようにパラメータセット復号部１２１ａは、レイヤ間予測最大ＴＩＤアライメントフラグ復号部１２１２ａ、レイヤ間予測最大ＴＩＤ復号部１２１３ａを含んで構成される。
【０３２５】
図３３は、パラメータセット復号部１２１ａの復号する符号化データの構成を示すシンタックスデーブルである。図中、ＳＡ１００１に示すように、パラメータセット（ここではＶＰＳ）の符号化データはレイヤ間予測最大ＴＩＤアライメントフラグ（max_tid_alignment_flag）を含む。また、ＳＡ１００２に示すように、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、符号化データは１つのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を含む。ＳＡ１００３に示すように、レイヤ間予測最大ＴＩＤアライメントフラグが１以外の場合には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含む。ここでiはレイヤＩＤを示す0から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックス。
【０３２６】
なお、最大レイヤ数が２以下の場合には、レイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを含まないようにすることが好ましい。すなわち、最大レイヤ数―１vps_max_layers_minus1が１以下の場合は、レイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを含まず、vps_max_layers_minus1が１より大きい場合（２以上の場合）に、レイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを含むことが望ましい。
【０３２７】
パラメータセット復号部１２１ａのレイヤ間予測最大ＴＩＤアライメントフラグ復号部１２１２ａ、パラメータセットからレイヤ間予測最大ＴＩＤアライメントフラグ（max_tid_alignment_flag）を復号する。パラメータセット復号部１２１ａのレイヤ間予測最大ＴＩＤ復号部１２１３ａは、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、１つのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を復号し、レイヤ間予測最大ＴＩＤアライメントフラグが１以外の場合には、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を復号する。ここでiはレイヤＩＤを示す0から最大レイヤ数―１vps_max_layers_minus1までのインデックス。なお、最大レイヤ数が３以上の場合（最大レイヤ数―１vps_max_layers_minus1が１より大きい場合）に、レイヤ間予測最大ＴＩＤアライメントフラグ復号部１２１２ａはレイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを符号化データから復号する。レイヤ間予測最大ＴＩＤアライメントフラグmax_tid_alignment_flagを符号化データから復号しない場合には、レイヤ間予測最大ＴＩＤアライメントフラグ復号部１２１２ａはmax_tid_alignment_flagに０もしくは１を設定する。
【０３２８】
パラメータセット復号部１２１ａは、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、復号した１つのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を共通レイヤ間予測最大ＴＩＤ（general_max_tid_il_ref_pics_plus1）に設定する。
【０３２９】
general_max_tid_il_ref_pics_plus1 = max_tid_il_ref_pics_plus1[ 0 ]
パラメータセット復号部１２１ａのレイヤ間予測最大ＴＩＤ復号部１２１３ａは、共通レイヤ間予測最大ＴＩＤを、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]に設定する。
【０３３０】
上記構成の階層動画像復号装置１Ａａ、また後述の階層動画像復号装置１Ａｂ、階層動画像復号装置１Ａｃによれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間予測最大ＴＩＤを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのレイヤ間予測最大ＴＩＤより小さいＴＩＤを有するピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、パラメータセット復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合には、全てのレイヤに共通のレイヤ間予測最大ＴＩＤを割り当て、共通のレイヤ間予測最大ＴＩＤが用いられないと判定される場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。
【０３３１】
上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤが用いられる場合にはレイヤ毎にレイヤ間予測最大ＴＩＤの復号を行う必要がないため、冗長なフラグの復号を削減する効果を奏する。
【０３３２】
上記構成の階層動画像復号装置１Ａａによれば、上記パラメータセット復号部は、レイヤ間予測最大ＴＩＤアライメントフラグを復号し、レイヤ間予測最大ＴＩＤアライメントフラグが１の場合には、１つのレイヤ間予測最大ＴＩＤを復号し、全てのレイヤに復号した１つのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間予測最大ＴＩＤアライメントフラグが０の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。
【０３３３】
（階層動画像復号装置１Ａｂ）
以下、第２の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ａｂを説明する。
【０３３４】
階層動画像復号装置１Ａｂは、可変長復号部１２Ａｂ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ａｂは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ｂ、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０３３５】
図３６は、パラメータセット復号部１２１ｂの構成を例示した機能ブロック図である。図３６に示すようにパラメータセット復号部１２１ｂは、共通レイヤ間予測最大ＴＩＤ復号部１２１２ｂ、レイヤ間予測最大ＴＩＤ復号部１２１３ｂを含んで構成される。
【０３３６】
図３５は、パラメータセット復号部１２１ｂの復号する符号化データの構成を説明する図である。図中、ＳＡ２００１に示すように、パラメータセット（ここではＶＰＳ）の符号化データは共通レイヤ間予測最大ＴＩＤ（general_max_tid_il_ref_pics_plus1）を含む。また、ＳＡ２００２に示すように、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1が所定の値以外の場合（ここでは７未満の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含まない（導出される）。ＳＡ２００３に示すように、共通レイヤ間予測最大ＴＩＤが所定の値の場合（ここでは７の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含む。ここでiはレイヤＩＤを示す0から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックス。
【０３３７】
なお、最大レイヤ数が３以上の場合（最大レイヤ数―１vps_max_layers_minus1が１より大きい場合）には、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1を符号化データから復号する。符号化データから復号しない場合には、general_max_tid_il_ref_pics_plus1として所定の値（ここでは７）を設定する。
【０３３８】
パラメータセット復号部１２１ｂの共通レイヤ間予測最大ＴＩＤ復号部１２１２ｂは、パラメータセットから共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1を復号する。
【０３３９】
パラメータセット復号部１２１ｂのレイヤ間予測最大ＴＩＤ復号部１２１３ｂは、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1が制限しないことを示す所定の値（ここでは７）の場合には、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を復号する。ここでiはレイヤＩＤを示す０から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックスである。
【０３４０】
さらに、レイヤ間予測最大ＴＩＤ復号部１２１３ｂは、共通レイヤ間予測最大ＴＩＤが所定の値以外の場合には、ＳＡ２００２に示すように、共通レイヤ間予測最大ＴＩＤを、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]に設定する。ここでiはレイヤＩＤを示す０から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックスである。
【０３４１】
上記構成の階層動画像復号装置１Ａｂによれば、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを復号するＮＡＬユニットヘッダ復号部と、パラメータセットから少なくともレイヤ間予測最大ＴＩＤを復号するパラメータセット復号部と、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのレイヤ間予測最大ＴＩＤより小さいＴＩＤを有するピクチャを参照ピクチャに設定する復号ピクチャ管理部を備え、パラメータセット復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合には、全てのレイヤに共通のレイヤ間予測最大ＴＩＤを割り当て、共通のレイヤ間予測最大ＴＩＤが用いられないと判定される場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。
【０３４２】
上記の構成の画像復号装置によれば、共通レイヤ間予測最大ＴＩＤが所定の値の場合にはレイヤ毎にレイヤ間予測最大ＴＩＤの復号を行う必要がないため、冗長なフラグの復号を削減する効果を奏する。
【０３４３】
パラメータセット復号部は、共通レイヤ間予測最大ＴＩＤを復号し、共通レイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに復号した共通レイヤ間予測最大ＴＩＤを割り当て、共通レイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする画像復号装置。
【０３４４】
（階層動画像復号装置１Ａｃ）
以下、第２の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ａｃを説明する。
【０３４５】
階層動画像復号装置１Ａｃは、可変長復号部１２Ａｃ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ａｃは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ｃ、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０３４６】
図３８は、パラメータセット復号部１２１ｃの構成を例示した機能ブロック図である。図３８に示すようにパラメータセット復号部１２１ｃは、レイヤ間サブレイヤアライメントフラグ復号部１２１１、レイヤ間予測最大ＴＩＤ復号部１２１３ｃを含んで構成される。
【０３４７】
図３７は、パラメータセット復号部１２１ｃの復号する符号化データの構成を説明する図である。図中、ＳＡ３０００、ＳＡ３００１に示すように、パラメータセット（ここではＶＰＳ）の符号化データはレイヤ間サブレイヤアライメントフラグ（tid_alignment_flag）と、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を含む。また、ＳＡ３００２に示すように、レイヤ間サブレイヤアライメントフラグが１であり、なお且つ、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値以外の場合（ここでは７未満の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含まない（導出される）。ＳＡ３００３に示すように、レイヤ間サブレイヤアライメントフラグが０の場合、もしくは、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値の場合（ここでは７の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含む。ここでiはレイヤＩＤを示す０から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックスである。
【０３４８】
なお、第１の実施形態で説明したように、レイヤ間サブレイヤアライメントフラグの値にかかわらず、ＴＩＤのサブレイヤアライメントが行われる場合、すなわちＣＦ条件（Ｓ１）が成り立つ場合には、レイヤ間サブレイヤアライメントフラグによらず、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値以外の場合（ここでは７未満の場合）には、符号化データはレイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を含まない（導出される）としても良い。
【０３４９】
パラメータセット復号部１２１ｃのレイヤ間予測最大ＴＩＤ復号部１２１３ｃは、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値以外の場合（ここでは７未満の場合）には、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1にベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]を設定する。そして、レイヤ間予測最大ＴＩＤ復号部１２１３ｃは、ＳＡ３００２に示すように、共通レイヤ間予測最大ＴＩＤ（ベースレイヤのレイヤ間予測最大ＴＩＤ）を、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]に設定する。
【０３５０】
パラメータセット復号部１２１ｃのレイヤ間予測最大ＴＩＤ復号部１２１３ｃは、ベースレイヤのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ 0 ]が所定の値の場合（ここでは７以上の場合）には、レイヤ毎のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ i ]を復号する。ここでiはレイヤＩＤを示す１から最大レイヤ数―２（vps_max_layers_minus1−１）までのインデックスである。
【０３５１】
上記構成の階層動画像復号装置１Ａ３によれば、上記パラメータセット復号部は、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに、復号したベースレイヤのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間サブレイヤアライメントフラグが０、又は、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とする。
【０３５２】
なお、上記パラメータセット復号部は、レイヤ間サブレイヤアライメントフラグが１、かつ、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、全てのレイヤに、復号したベースレイヤのレイヤ間予測最大ＴＩＤを割り当て、レイヤ間サブレイヤアライメントフラグが０、又は、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを復号することを特徴とするように構成しても良い。
【０３５３】
上記構成の階層動画像復号装置１Ａｃによれば、ベースレイヤのレイヤ間予測最大ＴＩＤが所定の値以外の場合には、レイヤ毎にレイヤ間予測最大ＴＩＤの復号を行う必要がないため、冗長なフラグの復号を削減する効果を奏する。
【０３５４】
（第３の実施形態）
以下では、第３の実施形態に係る階層動画像復号装置１Ｂの構成について、図４０〜図４６を参照して説明する。第３の実施形態に係る階層動画像復号装置１Ｂは、全てのレイヤが同じレイヤ間予測最大ＴＩＤを用いる場合において、スライスセグメントヘッダで符号化されるレイヤ間予測に関する情報の冗長性を低減する。以下、第３の実施形態に係る階層動画像復号装置１Ｂの構成として、階層動画像復号装置１Ｂａ、階層動画像復号装置１Ｂｂ、階層動画像復号装置１Ｂｃを順に説明する。
【０３５５】
（階層動画像復号装置１Ｂａ）
階層動画像復号装置１Ｂａは、可変長復号部１２Ｂａ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｂａは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２ａ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントヘッダ復号部１２２、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。なお、パラメータセット復号部は、第２の実施形態で説明したパラメータセット復号部を用いることができる。すなわち、パラメータセット復号部１２１ａの代わりに、パラメータセット復号部１２１ｂ、パラメータセット復号部１２１ｃを用いても良い。
【０３５６】
図４１は、スライスセグメントヘッダ復号部１２２ａの構成を例示した機能ブロック図である。図４１に示すようにスライスセグメントヘッダ復号部１２２ａは、実依存レイヤ復号部１２２３として、レイヤ間予測可能フラグ復号部１２２３１を含んで構成される。
【０３５７】
図４０は、スライスセグメントヘッダ復号部１２２ａの復号する符号化データの構成を説明する図である。図中、ＳＢ１００１に示すように、スライスセグメントヘッダの符号化データは、レイヤ間予測可能フラグ（inter_layer_pred_enabled_flag）を含む。ＳＢ１００２に示すように、レイヤ間予測可能フラグ（inter_layer_pred_enabled_flag）が１の場合には、符号化データは、さらに、num_inter_layer_ref_pics_minus1と、inter_layer_pred_layer_idc[ i ]を含む。
【０３５８】
スライスセグメントヘッダ復号部１２２ａのレイヤ間予測可能フラグ復号部１２２３１は、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤ（general_max_tid_il_ref_pics_plus1から１を減算した値）以下の場合で、かつ、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumDirectRefLayers[ nuh_layer_id ]が０より大きい場合に、符号化データからレイヤ間予測可能フラグを復号する。
【０３５９】
レイヤ間予測可能フラグ復号部１２２３１は、レイヤ間予測可能フラグが符号化データから復号されない場合には、レイヤ間予測可能フラグとして、レイヤ間予測を行わないことを示す０を導出する。つまり、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1以上の場合（general_max_tid_il_ref_pics_plus1から１を減算した値よりも大きい場合）には、符号化データからレイヤ間予測可能フラグを復号せずに、レイヤ間予測可能フラグとして０を設定する。
【０３６０】
スライスセグメントヘッダ復号部１２２ａは、レイヤ間予測が可能であるか否かを示すフラグであるレイヤ間予測可能フラグを復号するレイヤ間予測可能フラグ復号部を備え、
上記レイヤ間予測可能フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測可能フラグを復号し、それ以外の場合には、レイヤ間予測可能フラグを０に設定することを特徴とする。
【０３６１】
上記構成の階層動画像復号装置１Ｂａによれば、スライスセグメントヘッダ復号部１２２ａを備えることにより、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤよりも大きいＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測可能フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。
【０３６２】
（階層動画像復号装置１Ｂｂ）
以下、第３の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ｂｂを説明する。
【０３６３】
階層動画像復号装置１Ｂｂは、可変長復号部１２Ｂｂ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｂｂは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２ｂ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。なお、パラメータセット復号部は、第２の実施形態で説明したパラメータセット復号部１２１ａを用いることができる。
【０３６４】
図４３は、スライスセグメントヘッダ復号部１２２ｂの構成を例示した機能ブロック図である。図４３に示すようにスライスセグメントヘッダ復号部１２２ｂは、実依存レイヤ復号部１２２３として、レイヤ間予測限定フラグ復号部１２２３２を含んで構成される。
【０３６５】
図４２は、スライスセグメントヘッダ復号部１２２ｂの復号する符号化データの構成を説明する図である。図中、ＳＢ２００１に示すように、スライスセグメントヘッダの符号化データは、スライスがレイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグ（inter_layer_sample_pred_only_flag）を含む。
【０３６６】
スライスセグメントヘッダ復号部１２２ｂのレイヤ間予測限定フラグ復号部１２２３２は、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤ（general_max_tid_il_ref_pics_plus1から１を減算した値）以下の場合で、かつ、依存レイヤNumSamplePredRefLayers[ nuh_layer_id ]が０より大きい場合に、符号化データからレイヤ間予測限定フラグを復号する。
【０３６７】
レイヤ間予測限定フラグ復号部１２２３２は、レイヤ間予測限定フラグが符号化データから復号されない場合には、レイヤ間予測限定フラグとして０を導出する。つまり、レイヤ間予測限定フラグ復号部１２２３２は、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1以上の場合（general_max_tid_il_ref_pics_plus1から１を減算した値よりも大きい場合）には、符号化データからレイヤ間予測限定フラグを復号せずに、レイヤ間予測限定フラグとして０を設定する。
【０３６８】
スライスセグメントヘッダ復号部１２２ｂは、レイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグを復号するレイヤ間予測限定フラグ復号部を備え、
上記レイヤ間予測限定フラグ復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測限定フラグを復号し、それ以外の場合には、レイヤ間予測限定フラグを０に設定することを特徴とする。
【０３６９】
上記構成の階層動画像復号装置１Ｂｂによれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤよりも大きいＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測限定フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。
【０３７０】
（階層動画像復号装置１Ｂｃ）
以下、第３の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ｂｃを説明する。
【０３７１】
階層動画像復号装置１Ｂｃは、可変長復号部１２Ｂｃ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｂｃは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２ｃ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。なお、パラメータセット復号部は、第２の実施形態で説明したパラメータセット復号部１２１ａを用いることができる。
【０３７２】
図４５は、スライスセグメントヘッダ復号部１２２ｃの構成を例示した機能ブロック図である。図４５に示すようにスライスセグメントヘッダ復号部１２２ｃは、代替コロケート指示情報復号部１２２４を含んで構成される。
【０３７３】
図４４は、スライスセグメントヘッダ復号部１２２ｃの復号する符号化データの構成を説明する図である。図中、ＳＢ３００１に示すように、スライスセグメントヘッダの符号化データは、代替コロケート指示フラグ（alt_collocated_indication_flag）を含む。
【０３７４】
スライスセグメントヘッダ復号部１２２ｂの代替コロケート指示情報復号部１２２４は、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1から１を減算した値以下の場合で、かつ、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumActiveMotionPredRefLayers[ nuh_layer_id ]が０より大きい場合に、符号化データから代替コロケート指示フラグを復号する。
【０３７５】
代替コロケート指示情報復号部１２２４は、代替コロケート指示フラグが符号化データから復号されない場合には、代替コロケート指示フラグとして、テンポラル動き予測用の参照ピクチャをレイヤＩＤによって指定しないことを示す０を導出する。つまり、対象ピクチャのTemporalIDが、共通レイヤ間予測最大ＴＩＤgeneral_max_tid_il_ref_pics_plus1以上の場合（general_max_tid_il_ref_pics_plus1-1よりも大きい場合）には、符号化データから代替コロケート指示フラグを復号せずに、代替コロケート指示フラグとして０を設定する。
【０３７６】
スライスセグメントヘッダ復号部１２２ｃは、テンポラル動き予測用の参照ピクチャを、レイヤＩＤによって指定するか否かを示すフラグである代替コロケート指示フラグを復号する代替コロケート指示情報復号部を備え、上記代替コロケート指示情報復号部は、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられると判定される場合で、ＴＩＤが、該共通レイヤ間予測最大ＴＩＤ未満の場合にのみ、上記代替コロケート指示フラグを復号し、それ以外の場合には、代替コロケート指示フラグを０に設定することを特徴とする。
【０３７７】
上記構成の階層動画像復号装置１Ｂｃによれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤよりも大きいＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、代替コロケート指示フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。
【０３７８】
（階層動画像復号装置１Ｂａｂｃ）
以下、第３の実施形態に係る階層動画像復号装置の１構成として、階層動画像復号装置１Ｂａｂｃを説明する。階層動画像復号装置１Ｂａ、階層動画像復号装置１Ｂｂ、階層動画像復号装置１Ｂｃにおいて説明したレイヤ間予測可能フラグ復号部１２２３１、レイヤ間予測限定フラグ復号部１２２３２、代替コロケート指示情報復号部１２２４は組み合わせて用いることも可能である。ここでは、全てを組み合わせて利用した場合を例として説明する。
【０３７９】
階層動画像復号装置１Ｂａｂｃは、可変長復号部１２Ｂａｂｃ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｂａｂｃは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１ａ、スライスセグメントヘッダ復号部１２２ａｂｃ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１、スライスセグメントデータ復号部１２３は、階層動画像復号装置１で説明済みであるため説明は省略する。なお、パラメータセット復号部は、第２の実施形態で説明したパラメータセット復号部１２１ａを用いることができる。
【０３８０】
図４６は、スライスセグメントヘッダ復号部１２２ａｂｃの構成を例示した機能ブロック図である。図４６に示すようにスライスセグメントヘッダ復号部１２２ａｂｃは、実依存レイヤ復号部１２２３として、レイヤ間予測可能フラグ復号部１２２３１、レイヤ間予測限定フラグ復号部１２２３２、代替コロケート指示情報復号部１２２４を含んで構成される。
【０３８１】
上記構成の階層動画像復号装置１Ｂａｂｃによれば、共通レイヤ間予測最大ＴＩＤで指示されるＴＩＤよりも大きいＴＩＤのピクチャの場合には、レイヤ間予測が制限されていることを利用して、レイヤ間予測可能フラグ、レイヤ間予測限定フラグ、代替コロケート指示フラグの復号を省略することにより、冗長なフラグの復号を削減する効果を奏する。
【０３８２】
以下、第１の実施形態から第３の実施形態の共通部分についてより詳細に説明する。
【０３８３】
（第４の実施形態）
以下では、第４の実施形態に係る階層動画像復号装置１Ｃの構成について、図５０〜図６４を参照して説明する。第４の実施形態に係る階層動画像復号装置１Ｃは、対象ピクチャにおいてレイヤ間予測に用いるピクチャであるレイヤ間参照ピクチャを依存レイヤのから選択する方法に関する。特に、レイヤ間参照ピクチャを依存レイヤのから選択する方法として、依存レイヤ毎に、その依存レイヤがレイヤ間参照ピクチャとして用いられるか否かを示す１ビットのフラグ（実レイヤ依存フラグ）を、対象ピクチャのＴＩＤが、該依存レイヤのレイヤ間予測最大ＴＩＤ未満の場合にのみに復号することを特徴とする。すなわち、実依存レイヤを復号する場合に、対象ピクチャのＴＩＤと、レイヤ間予測最大ＴＩＤに応じて、実レイヤ依存フラグを復号するかを否かを切り替える。以下、第４の実施形態に係る階層動画像復号装置１Ｃの構成として、階層動画像復号装置１Ｃａ、階層動画像復号装置１Ｃｂ、階層動画像復号装置１Ｃｃを順に説明する。
【０３８４】
（階層動画像復号装置１Ｃａ）
階層動画像復号装置１Ｃａは、可変長復号部１２Ｃａ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｃａは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１Ｃａ、スライスセグメントヘッダ復号部１２２Ｃａ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０３８５】
パラメータセット復号部１２１Ｃａは、レイヤ依存情報復号部４０１１ａを含んで構成される。レイヤ依存情報復号部４０１１ａは、対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報をＶＰＳから復号する。
【０３８６】
具体的には、パラメータセット復号部１２１Ｃａは、対象レイヤiが、参照レイヤjに依存するか否かを示すレイヤ依存フラグdirect_dependent_flag[i][j]を復号し、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]を導出する。依存レイヤリストRefLayers[][]は、レイヤＩＤのリストで表現される。依存レイヤリストRefLayers[ nuh_layer_id ][]は、nuh_layer_idで指定される対象レイヤが参照する、対照レイヤとは異なるレイヤのリストである。依存レイヤリストRefLayers[][]は、依存レイヤ識別子RefLayers[i][j]のセット（リスト）である。以下、RefLayersを単に依存レイヤ、と呼ぶこともある。
【０３８７】
図５０は、レイヤ依存情報復号部４０１１ａにおける依存レイヤRefLayers[]の導出処理を示す図である。
【０３８８】
レイヤ依存情報復号部４０１１ａは、SC1001ａに示すように、i(0〜63)、j(0〜63)に対して、依存レイヤリストRefLayerId[i][j]および、依存レイヤ数NumDirectRefLayers[ i ]を０に初期化する。
【０３８９】
レイヤ依存情報復号部４０１１ａは、SC1002ａに示すように、i(0〜63)、j(i〜63)に対して、対象レイヤiが、参照レイヤjのレイヤ依存フラグdirect_dependent_flag[ i ][ j ]を復号する。direct_dependent_flag[ i ][ j ]が１である場合には、以下の式により、依存レイヤリストRefLayerIdに、レイヤＩＤを追加し、依存レイヤ数をNumDirectRefLayers[ iNuhLId ][ k ]を１だけインクリメントする。
【０３９０】
RefLayerId[ iNuhLId ][ NumDirectRefLayers[ iNuhLId ][ k ]++ ][k] = layer_id_in_nuh[ j ]
なおレイヤＩＤは、レイヤを示すインデックスiをレイヤＩＤに変換するテーブルlayer_id_in_nuh[]を用いて、layer_id_in_nuh[ j ]により導出される。
【０３９１】
全ての対象レイヤiが、参照レイヤjについて上記処理を行うことにより、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]が導出される。
【０３９２】
図５４は、依存レイヤの例を示す。図５４に示すように、レイヤ依存フラグdirect_dependent_flagが１となる参照レイヤ、ここではレイヤ０、レイヤ２、レイヤ３のレイヤＩＤのリストRefLayers[][]= {0, 2, 3}が依存レイヤリストである。
【０３９３】
レイヤ依存情報復号部４０１１ａは、依存レイヤRefLayers[i][j]の各々に対し、レイヤ依存タイプdirect_dependency_type[i][j]を復号する。レイヤ依存タイプは、レイヤ依存フラグから導出された依存レイヤRefLayerIdごとに、レイヤ間予測の種類を示す情報であり、少なくとも画素の予測に用いるサンプル予測、動きベクトルの予測に用いる動き予測を示すことができる。
【０３９４】
ある対象ピクチャで実際に用いられる依存レイヤのリストを実依存レイヤリストRefPicLayerId[]と呼ぶ。実依存レイヤリストRefPicLayerId[]は、レイヤＩＤのリストで表現される。
【０３９５】
図５５は、実依存レイヤの例を示す。実レイヤ依存フラグactive_direct_dependent_flagは、各依存レイヤが対象ピクチャにおいてレイヤ間参照ピクチャとして用いられるか否かを示す０か１のフラグである。図５５では、依存レイヤRefLayers[][]= {0, 2, 3}に対して、各々active_direct_dependent_flag[0]、active_direct_dependent_flag[1]、active_direct_dependent_flag[2]が割り当てられている。その値は、各々、１、０、１である。active_direct_dependent_flag = {1,0,1}である。図５５では、レイヤ０、３に対応するインデックス０と２の実レイヤ依存フラグは１（active_direct_dependent_flag[0]=1、active_direct_dependent_flag[2]=1）、レイヤ２に対応するインデックス１の実レイヤ依存フラグ（active_direct_dependent_flag[1]=0）の例を示しており、レイヤ２は、実依存レイヤ情報で選択されなかったため、実依存レイヤには格納されない。レイヤ１は、レイヤ依存フラグを復号した段階で、元々依存レイヤに格納されていなかったので実レイヤ依存フラグは復号されない。
【０３９６】
なお、実レイヤ依存フラグactive_direct_dependent_flagの表記は、レイヤ間参照ピクチャ有効フラグinter_layer_ref_pic_enable_flagや、レイヤ間予測ピクチャ存在フラグinter_layer_pred_pic_present_flagや、その他の表記でも良い。
【０３９７】
図５６は、レイヤ間予測最大ＴＩＤの制限を説明する図である。レイヤ０からレイヤ２までの３レイヤがあり、レイヤ０のレイヤ間予測最大ＴＩＤがmax_tid_il_ref_pics_plus1[0] = 2、レイヤ１のレイヤ間予測最大ＴＩＤがmax_tid_il_ref_pics_plus1[1] = 1の例である。レイヤＸのレイヤ間予測最大ＴＩＤがmax_tid_il_ref_pics_plus1[X]の場合には、レイヤＸのピクチャは、レイヤ間予測最大ＴＩＤがmax_tid_il_ref_pics_plus1[X]未満のレイヤのみをレイヤ間参照ピクチャとして参照できる。従って、レイヤ０のピクチャは、ＴＩＤ＝０もしくは１のサブレイヤのピクチャのみが、他のレイヤからレイヤ間参照ピクチャとして参照することができる。レイヤ１のレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[1]が1であるので、レイヤ１のピクチャは、すなわちＴＩＤ＝０のサブレイヤのピクチャのみが、他のレイヤからレイヤ間参照ピクチャとして参照することができる。レイヤ２からみると、ＴＩＤ＝０のピクチャでは、レイヤ０、レイヤ１の２つの依存レイヤのピクチャをレイヤ間参照ピクチャとして参照できるのに対し、ＴＩＤ＝１のピクチャでは、レイヤ０の依存レイヤのピクチャのみがレイヤ間参照ピクチャとして参照できる。以下に説明するように、レイヤ間参照ピクチャを導出する実依存レイヤ復号部１２２３Ｃａは、ＴＩＤに応じて参照できないことが予め分かっている依存レイヤについては、レイヤ間参照ピクチャとして用いるか否かを示すフラグである実レイヤ依存フラグactive_direct_dependent_flagを復号しない（実依存レイヤ復号部１２２３Ｃｂ、実依存レイヤ復号部１２２３Ｃｃも同様）ことにより、実レイヤ依存フラグの符号量を低減する。
【０３９８】
図５２は、スライスセグメントヘッダ復号部１２２Ｃａの構成を例示した機能ブロック図である。図５２に示すようにスライスセグメントヘッダ復号部１２２Ｃａは、実依存レイヤ復号部１２２３として、実依存レイヤ復号部１２２３Ｃａを含んで構成される。
【０３９９】
図５１は、実依存レイヤ復号部１２２３Ｃａの復号する符号化データの構成を説明する図である。図中、ＳＢ１００１に示すように、スライスセグメントヘッダの符号化データは、実レイヤ間依存情報active_inter_layer_info()に示す情報、具体的には、ある依存レイヤに対象ピクチャと同時刻のピクチャが、レイヤ間参照ピクチャとして、参照可能であるか否かを示す実レイヤ依存フラグactive_direct_dependent_flagを含む。
【０４００】
本実施形態の階層動画像復号装置１Ｃａが復号する符号化データは、図５１に示すように、実レイヤ間依存情報として、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1）において、対象ピクチャのTemporalIDが、依存レイヤiのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]より小さい場合に実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。
【０４０１】
ここで、ref_layer_idは、図５１で以下の式で示すように依存レイヤiのレイヤＩＤを示し、依存レイヤリストRefLayerId[][]の対象レイヤnuh_layer_id、インデックスiの識別子RefLayerId[ nuh_layer_id][i] から導出することができる。
【０４０２】
ref_layer_id = RefLayerId[ nuh_layer_id][i]
スライスセグメントヘッダ復号部１２２Ｃａは、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumDirectRefLayers[ nuh_layer_id ]が０より大きい場合に、実依存レイヤ復号部１２２３Ｃにより、実依存レイヤを復号する。
【０４０３】
実依存レイヤ復号部１２２３Ｃａは、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1より小さい場合に符号化データから実レイヤ依存フラグを復号する。
【０４０４】
実依存レイヤ復号部１２２３Ｃａは、図５１の符号化データから、実レイヤ依存フラグactive_direct_dependent_flag[i]を復号し、実依存レイヤRefPicLayerId[]を導出する。すなわち、実依存レイヤ復号部１２２３Ｃａは、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1）について、依存レイヤiのレイヤ間予測最大ＴＩＤであるmax_tid_il_ref_pics_plus1[ref_layer_id]よりも、対象ピクチャのTemporalIDが小さい場合には、対象ピクチャにおいて依存レイヤが用いられるか否かを示す実レイヤ依存フラグactive_direct_dependent_flag[i]を復号する。なお、実依存レイヤ復号部１２２３Ｃａは、参照レイヤiの実レイヤ依存フラグactive_direct_dependent_flag[i]が符号化データに含まれない場合には、実レイヤ依存フラグactive_direct_dependent_flag[i]として０を導出する。
【０４０５】
また、上記では、依存レイヤiが、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1に対する
active_direct_dependent_flag[i]を復号すると説明したが、予め実依存レイヤ数（例えばmax_active_ref_layers）が定まる場合には、active_direct_dependent_flag[i]を復号する度に、active_direct_dependent_flag[i]が１となるレイヤ数をNumActiveRefLayerPicsとしてカウントし、そのレイヤ数NumActiveRefLayerPicsが既に復号された実依存レイヤ数max_active_ref_layersに達するまで、active_direct_dependent_flag[i]を復号する構成にしても良い。すなわち、実依存レイヤ数max_active_ref_layersに達っした時点でループを終了しても良い。
【０４０６】
図５３は、実依存レイヤ復号部１２２３Ｃａにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。図５３（ａ）に示すように、実依存レイヤ復号部１２２３Ｃａは、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1）について、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i]を、実依存レイヤリストRefPicLayerId[ j++ ]に格納する。このとき、実依存レイヤ数を示すインデックスjを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスjを、実依存レイヤ数NumActiveRefLayerPicsに格納する。
【０４０７】
なお、図５３（ｂ）、図５３（ｃ）に示すように、実依存レイヤと同様に、レイヤ間依存タイプから導出されるサンプル依存フラグSamplePredEnabledFlag[][]、動き依存フラグMotionPredEnabledFlag[][]を用いて、実サンプル依存フラグ、実動き依存フラグを導出しても良い。すなわち、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１であり、かつ、SamplePredEnabledFlag nuh_layer_id ][i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i]を、実サンプル依存レイヤリストActiveSamplePredRefLayerId[k++]に格納する。このとき、実依存レイヤ数を示すインデックスkを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスkを、実サンプル依存レイヤ数NumActiveSamplePredRefLayersに格納する。動き実サンプル依存レイヤについても、上記処理の、サンプル依存フラグSamplePredEnabledFlag、実サンプル依存レイヤActiveSamplePredRefLayerId、実サンプル依存レイヤ数NumActiveSamplePredRefLayers、インデックスkを、各々、動き依存フラグMotionPredEnabledFlag、実動き依存レイヤActiveMotionPredRefLayerId、実動き依存レイヤ数NumMotionSamplePredRefLayers、インデックスｌに置き換えることで処理できる。
【０４０８】
上記の構成によれば、対象ピクチャにおいて用いられる実依存レイヤを、依存レイヤi毎のフラグactive_direct_dependent_flag[i]に応じて復号する。このとき、依存レイヤi毎に対応するレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]（ref_layer_idはiから定まるレイヤＩＤ）があることから、実依存フラグactive_direct_dependent_flag[i]を、対象ピクチャのTIDと、依存レイヤiを参照可能なサブレイヤの制限を示すレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]に応じて導出する。
【０４０９】
上記構成の階層動画像復号装置１Ｃａによれば、対象ピクチャが、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグ復号手段を備え、前記実レイヤ依存フラグ復号手段は、実レイヤ依存フラグを、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1未満の場合（general_max_tid_il_ref_pics_plus1から１を減算した値よりも以下の場合）に、符号化データから復号することを特徴とする。
【０４１０】
上記構成の動画像復号装置によれば、対象ピクチャのTemporalIDが、依存レイヤのmax_tid_il_ref_pics_plus1以上の場合には、該依存レイヤを参照するか否かを示すフラグである実レイヤ依存フラグを復号しないため、符号量を低減する効果を奏する。
【０４１１】
（階層動画像復号装置１Ｃｂ）
階層動画像復号装置１Ｃｂは、可変長復号部１２Ｃｂ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｃｂは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１Ｃｂ、スライスセグメントヘッダ復号部１２２Ｃｂ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１は、階層動画像復号装置１で説明済みであるため説明は省略する。階層動画像復号装置１Ｃｂでは、依存レイヤ情報が、TemporalIDで管理される場合を示す。
【０４１２】
パラメータセット復号部１２１Ｃｂは、レイヤ依存情報復号部４０１１ｂを含んで構成される。レイヤ依存情報復号部４０１１ｂは、対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号する。
【０４１３】
具体的には、対象レイヤiが、参照レイヤjに依存するか否かを示すレイヤ依存フラグdirect_dependent_flag[i][j]を復号し、依存レイヤリストRefLayers[][]と依存レイヤ数NumDirectRefLayers[]を導出する。依存レイヤリストRefLayers[][][]は、レイヤＩＤのリストで表現される。依存レイヤリストRefLayers[ nuh_layer_id ][TemporalID][]は、nuh_layer_idで指定される対象レイヤが参照する、対照レイヤとは異なるレイヤのリストである。依存レイヤリストRefLayers[][][]は、依存レイヤ識別子RefLayers[i][j][k]のセット（リスト）である。以下、RefLayersを単に依存レイヤ、と呼ぶこともある。  図５７は、レイヤ依存情報復号部４０１１ｂにおける依存レイヤRefPicLayerId[]の導出処理を示す図である。
【０４１４】
レイヤ依存情報復号部４０１１ｂは、対象レイヤiが、参照レイヤjのレイヤ依存フラグdirect_dependent_flag[ i ][ j ]と、参照レイヤjのレイヤ間予測最大ＴＩＤであるmax_tid_il_ref_pics_plus1[j]に応じて、依存レイヤリストRefLayerId[i] [k] []を導出する。なおkは、テンポラルIDのインデックスを示し０から所定の値（ここでは7）の値をとる。
【０４１５】
レイヤ依存情報復号部４０１１ｂは、SC1001ｂに示すように、i(0〜63)、j(0〜63)、k(0〜7)に対して、依存レイヤリストRefLayerId[i] [k][j]および、依存レイヤ数NumDirectRefLayers[ i ][ k ]を０に初期化する。
【０４１６】
レイヤ依存情報復号部４０１１ｂは、SC1002ｂに示すように、i(0〜63)、j(i〜63)に対して、対象レイヤiが、参照レイヤjのレイヤ依存フラグdirect_dependent_flag[ i ][ j ]を復号する。direct_dependent_flag[ i ][ j ]が１である場合には、０からレイヤ間予測最大ＴＩＤ−１max_tid_il_ref_pics_plus1[j]までのテンポラルＩＤを示すインデックスkに対して、以下の式により、依存レイヤリストRefLayerIdに、レイヤＩＤを追加し、依存レイヤ数をNumDirectRefLayers[ iNuhLId ][ k ]を１だけインクリメントする。
【０４１７】
RefLayerId[ iNuhLId ] [k] [ NumDirectRefLayers[ iNuhLId ][ k ]++ ] = layer_id_in_nuh[ j ]
なおレイヤＩＤは、レイヤを示すインデックスiをレイヤＩＤに変換するテーブルlayer_id_in_nuh[]を用いて、layer_id_in_nuh[ j ]により導出される。
【０４１８】
全ての対象レイヤiが、参照レイヤjについて上記処理を行うことにより、依存レイヤリストRefLayers[][][]と依存レイヤ数NumDirectRefLayers[][]が導出される。すなわち、
対象レイヤi、テンポラルＩＤｋにおいて、依存レイヤリストRefLayers[i][k][]と依存レイヤ数NumDirectRefLayers[i][k]が導出される。なお、配列として表現する場合のi、j、kは上記[i][k][j]の順によらず、[i][j][k]等としても良い。
【０４１９】
図５９は、スライスセグメントヘッダ復号部１２２Ｃｂの構成を例示した機能ブロック図である。図５９に示すようにスライスセグメントヘッダ復号部１２２Ｃｂは、実依存レイヤ復号部１２２３として、実依存レイヤ復号部１２２３Ｃｂを含んで構成される。
【０４２０】
図５８は、実依存レイヤ復号部１２２３Ｃｂの復号する符号化データの構成を説明する図である。図中に示すように、スライスセグメントヘッダの符号化データは、実レイヤ間依存情報active_inter_layer_info()に示す情報、具体的には、実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。
【０４２１】
本実施形態の階層動画像復号装置１Ｃｂが復号する符号化データは、図５８に示すように、実レイヤ間依存情報として、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ] [TemporalID]-1）において、対象ピクチャのTemporalIDが、依存レイヤiのレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]より小さい場合に実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。
【０４２２】
ここで、ref_layer_idは、図５８に示すように依存レイヤiのレイヤＩＤを示し、依存レイヤリストRefLayerId[][]の対象レイヤnuh_layer_id、インデックスiの識別子RefLayerId[ nuh_layer_id][i] から導出することができる。
【０４２３】
ref_layer_id = RefLayerId[ nuh_layer_id][i] [TemporalID]
スライスセグメントヘッダ復号部１２２Ｃｂは、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumDirectRefLayers[ nuh_layer_id ]が０より大きい場合に、実依存レイヤ復号部１２２３Ｃｂにより、実依存レイヤを復号する。
【０４２４】
実依存レイヤ復号部１２２３Ｃｂは、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1より小さい場合に符号化データから実レイヤ依存フラグを復号する。
【０４２５】
実依存レイヤ復号部１２２３Ｃｂは、図５８の符号化データから、実レイヤ依存フラグactive_direct_dependent_flag[i]を復号し、実依存レイヤRefPicLayerId[]を導出する。すなわち、実依存レイヤ復号部１２２３Ｃｂは、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ] [TemporalID]-1）について、依存レイヤiのレイヤ間予測最大ＴＩＤであるmax_tid_il_ref_pics_plus1[ref_layer_id]よりも、対象ピクチャのTemporalIDが小さい場合には、対象ピクチャにおいて依存レイヤが用いられるか否かを示す実レイヤ依存フラグactive_direct_dependent_flag[i]を復号する。なお、実依存レイヤ復号部１２２３Ｃｂは、参照レイヤiの実レイヤ依存フラグactive_direct_dependent_flag[i]が符号化データに含まれない場合には０が導出する。
【０４２６】
また、上記では、依存レイヤiが、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1に対する
active_direct_dependent_flag[i]を復号すると説明したが、予め実依存レイヤ数（例えばmax_active_ref_layers）が定まる場合には、active_direct_dependent_flag[i]を復号する度に、active_direct_dependent_flag[i]が１となるレイヤ数をNumActiveRefLayerPicsとしてカウントし、そのレイヤ数NumActiveRefLayerPicsが既に復号された実依存レイヤ数max_active_ref_layersに達するまで、active_direct_dependent_flag[i]を復号する構成にしても良い。すなわち、実依存レイヤ数max_active_ref_layersに達っした時点でループを終了しても良い。
【０４２７】
図６０は、実依存レイヤ復号部１２２３Ｃｂにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。図６０（ａ）に示すように、実依存レイヤ復号部１２２３Ｃｂは、対象ピクチャの属するレイヤnuh_layer_idの各々の依存レイヤi（ここでiは、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ][TemporalID]-1）について、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i][TemporalID]を、実依存レイヤリストRefPicLayerId[ j++ ]に格納する。このとき、実依存レイヤ数を示すインデックスjを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスjを、実依存レイヤ数NumActiveRefLayerPicsに格納する。
【０４２８】
なお、図６０（ｂ）、図６０（ｃ）に示すように、実依存レイヤと同様に、レイヤ間依存タイプから導出されるサンプル依存フラグSamplePredEnabledFlag[][]、動き依存フラグMotionPredEnabledFlag[][]を用いて、実サンプル依存フラグ、実動き依存フラグを導出しても良い。すなわち、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１であり、かつ、SamplePredEnabledFlag nuh_layer_id ][i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i][TemporalID]を、実サンプル依存レイヤリストActiveSamplePredRefLayerId[k++]に格納する。このとき、実依存レイヤ数を示すインデックスkを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスkを、実サンプル依存レイヤ数NumActiveSamplePredRefLayersに格納する。動き実サンプル依存レイヤについても、上記処理の、サンプル依存フラグSamplePredEnabledFlag、実サンプル依存レイヤActiveSamplePredRefLayerId、実サンプル依存レイヤ数NumActiveSamplePredRefLayers、インデックスkを、各々、動き依存フラグMotionPredEnabledFlag、実動き依存レイヤActiveMotionPredRefLayerId、実動き依存レイヤ数NumMotionSamplePredRefLayers、インデックスｌに置き換えることで処理できる。
【０４２９】
上記の構成によれば、対象ピクチャにおいて用いられる実依存レイヤを、各依存レイヤi毎のフラグactive_direct_dependent_flag[i]に応じて復号する。このとき、依存レイヤi毎に対応するレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]があることから、実依存フラグactive_direct_dependent_flag[i]を、対象ピクチャのTIDと、依存レイヤiを参照可能なサブレイヤの制限を示すレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[ref_layer_id]に応じて導出する。
【０４３０】
上記構成の階層動画像復号装置１Ｃｂによれば、対象ピクチャが、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグ復号手段を備え、前記実レイヤ依存フラグ復号手段は、実レイヤ依存フラグを、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1未満の場合（max_tid_il_ref_pics_plus1から１を減算した値よりも以下の場合）に、符号化データから復号することを特徴とする。
【０４３１】
上記構成の動画像復号装置によれば、対象ピクチャのTemporalIDが、依存レイヤのmax_tid_il_ref_pics_plus1以上の場合には、該依存レイヤを参照するか否かを示すフラグである実レイヤ依存フラグを復号しないため、符号量を低減する効果を奏する。
【０４３２】
（階層動画像復号装置１Ｃｃ）
階層動画像復号装置１Ｃｃは、可変長復号部１２Ｃｃ、ピクチャ復号部１３、復号ピクチャ管理部１４を備える。可変長復号部１２Ｃｃは、ＮＡＬユニットヘッダ復号部１１、パラメータセット復号部１２１Ｃｃ、スライスセグメントヘッダ復号部１２２Ｃｃ、スライスセグメントデータ復号部１２３を備える。ピクチャ復号部１３、復号ピクチャ管理部１４、ＮＡＬユニットヘッダ復号部１１は、階層動画像復号装置１で説明済みであるため説明は省略する。
【０４３３】
パラメータセット復号部１２１Ｃａは、レイヤ依存情報復号部４０１１ａを含んで構成される。レイヤ依存情報復号部４０１１ａは、既に説明したように対象レイヤが参照する可能性のある対象レイヤとは異なるレイヤを示す情報である依存レイヤ情報を復号する。
【０４３４】
図６２は、スライスセグメントヘッダ復号部１２２Ｃｃの構成を例示した機能ブロック図である。図６２に示すようにスライスセグメントヘッダ復号部１２２Ｃｃは、実依存レイヤ復号部１２２３として、実依存レイヤ復号部１２２３Ｃｃを含んで構成される。
【０４３５】
図６１は、実依存レイヤ復号部１２２３Ｃｃの復号する符号化データの構成を説明する図である。図に示すように、スライスセグメントヘッダの符号化データは、実レイヤ間依存情報active_inter_layer_info()に示す情報、具体的には、実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。
【０４３６】
本実施形態の階層動画像復号装置１Ｃｃが復号する符号化データは、図６１に示すように、実レイヤ間依存情報として、対象ピクチャの属するレイヤnuh_layer_idの各々の参照レイヤi（ここでiは、0〜nuh_layer_id-1）において、参照レイヤiが対象レイヤnuh_layer_idの依存レイヤである場合、つまり、レイヤ依存フラグdirect_dependent_flag[nuh_layer_id][i]が１の場合には、実レイヤ依存フラグactive_direct_dependent_flag[i]を含む。
【０４３７】
スライスセグメントヘッダ復号部１２２Ｃｃは、レイヤＩＤnuh_layer_idが０より大きく、かつ、依存レイヤNumDirectRefLayers[ nuh_layer_id ]が０より大きい場合に、実依存レイヤ復号部１２２３Ｃｃにより、実依存レイヤを復号する。
【０４３８】
実依存レイヤ復号部１２２３Ｃｃは、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1より小さい場合に符号化データから実レイヤ依存フラグを復号する。
【０４３９】
実依存レイヤ復号部１２２３Ｃｃは、図６１の符号化データから、実レイヤ依存フラグactive_direct_dependent_flag[i]を復号し、実依存レイヤRefPicLayerId[]を導出する。すなわち、実依存レイヤ復号部１２２３Ｃｃは、対象ピクチャの属するレイヤnuh_layer_idの各々の参照レイヤi（ここでiは、0〜nuh_layer_id-1）について、参照レイヤiが依存レイヤであり（レイヤ依存フラグdirect_dependent_flag[nuh_layer_id][i]が１）、依存レイヤiのレイヤ間予測最大ＴＩＤであるmax_tid_il_ref_pics_plus1[i]よりも、対象ピクチャのTemporalIDが小さい場合には、対象ピクチャにおいて依存レイヤが用いられるか否かを示す実レイヤ依存フラグactive_direct_dependent_flag[i]を復号する。なお、実依存レイヤ復号部１２２３Ｃｃは、参照レイヤiの実レイヤ依存フラグactive_direct_dependent_flag[i]が符号化データに含まれない場合には０が導出する。
【０４４０】
また、上記では、依存レイヤiが、0〜依存レイヤ数NumDirectRefLayers[ nuh_layer_id ]-1に対する
active_direct_dependent_flag[i]を復号すると説明したが、予め実依存レイヤ数（例えばmax_active_ref_layers）が定まる場合には、active_direct_dependent_flag[i]を復号する度に、active_direct_dependent_flag[i]が１となるレイヤ数をNumActiveRefLayerPicsとしてカウントし、そのレイヤ数NumActiveRefLayerPicsが既に復号された実依存レイヤ数max_active_ref_layersに達するまで、active_direct_dependent_flag[i]を復号する構成にしても良い。すなわち、実依存レイヤ数max_active_ref_layersに達っした時点でループを終了しても良い。
【０４４１】
図６３は、実依存レイヤ復号部１２２３Ｃｃにおける実依存レイヤRefPicLayerId[]の導出処理を示す図である。図６３（ａ）に示すように、実依存レイヤ復号部１２２３Ｃｃは、対象ピクチャの属するレイヤnuh_layer_idの各々の参照レイヤi（ここでiは、0〜nuh_layer_id -1）について、復号した実レイヤ依存フラグactive_direct_dependent_flag[i]が１である場合には、対象ピクチャの属するレイヤnuh_layer_idの依存レイヤiに対応するレイヤＩＤであるRefLayerId[ nuh_layer_id ][i2]を、実依存レイヤリストRefPicLayerId[ j++ ]に格納する。このとき、実依存レイヤ数を示すインデックスjを、１だけインクリメントする。最終的に、全ての依存レイヤiの処理が終了した時点のインデックスjを、実依存レイヤ数NumActiveRefLayerPicsに格納する。ここで、i2は、依存レイヤのインデックスであり、初期値を０として、レイヤ依存フラグdirect_dependent_flag[nuh_layer_id][i]が１のときに、インクリメントすることで導出すすることができる。
【０４４２】
図６４は、実依存レイヤ復号部１２２３Ｃｃにおける実依存レイヤRefPicLayerId[]の導出処理を示す別の例である。図６３で説明した方法では、依存レイヤのインデックスとしてi2を用いていたが、他の方法で、レイヤＩＤを導出することも可能である。具体的には、RefLayerId[ nuh_layer_id ][i2]のかわりに、レイヤを示すインデックスiをレイヤＩＤに変換するテーブルlayer_id_in_nuh[]を用いて、layer_id_in_nuh[ j ]により導出されるiNuhLIdを用いる。
【０４４３】
なお、図６３（ｂ）、図６３（ｃ）に示すように、実依存レイヤと同様に、レイヤ間依存タイプから導出されるサンプル依存フラグSamplePredEnabledFlag[][]、動き依存フラグMotionPredEnabledFlag[][]を用いて、実サンプル依存フラグ、実動き依存フラグを導出しても良い。
【０４４４】
上記の構成によれば、対象ピクチャにおいて用いられる実依存レイヤを、各依存レイヤi毎のフラグactive_direct_dependent_flag[i]に応じて復号する。このとき、依存レイヤi毎に対応するレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[i]があることから、実依存フラグactive_direct_dependent_flag[i]を、対象ピクチャのTIDと、依存レイヤiを参照可能なサブレイヤの制限を示すレイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1[i]に応じて導出する。
【０４４５】
上記構成の階層動画像復号装置１Ｃｃによれば、対象ピクチャが、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグ復号手段を備え、前記実レイヤ依存フラグ復号手段は、実レイヤ依存フラグを、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1未満の場合（max_tid_il_ref_pics_plus1から１を減算した値よりも以下の場合）に、符号化データから復号することを特徴とする。
【０４４６】
上記構成の動画像復号装置によれば、対象ピクチャのTemporalIDが、依存レイヤのmax_tid_il_ref_pics_plus1以上の場合には、該依存レイヤを参照するか否かを示すフラグである実レイヤ依存フラグを復号しないため、符号量を低減する効果を奏する。
【０４４７】
（復号ピクチャ管理部）
図５を用いて、復号ピクチャ管理部１４の詳細構成を説明する。図５は、復号ピクチャ管理部１４の構成を例示した機能ブロック図である。
【０４４８】
図５に示すように、復号ピクチャ管理部１４は、DPB１４１、RPS導出部１４２、参照ピクチャ制御部１４３、レイヤ間参照ピクチャ制御部１４４、RPL導出部１４５、出力制御部１４６を備える。
【０４４９】
＜DPB１４１＞
DPB１４１は、復号ピクチャバッファ（Decoded Picture Buffer）とも呼ばれ、ピクチャ復号部１３で復号された対象レイヤの各ピクチャの復号ピクチャを記録する。DPBには、対象レイヤの各ピクチャに対応する復号ピクチャが出力順（POC: Picture Order Count）に関連付けて記録されている。加えて、DPBの各ピクチャに対しては、参照マークおよび出力マークを設定できる。
【０４５０】
参照マークは、DPB上のピクチャが対象ピクチャ以降の復号処理における予測画像生成処理（例えば、インター予測やレイヤ間画像予測）への利用可否を示す情報である。参照マークは、具体的には、「短期参照使用」（「used for short-term reference」）、「長期参照使用」（「used for long-term reference」）、「参照不使用」（「not used for reference」）のいずれかの値を取る。
【０４５１】
なお、参照マークの取り得る値を上記とするがそれに限らない。例えば、「レイヤ間参照使用」（「used for inter-layer reference」）の値に参照マークを設定できてもよい。また、「短期参照使用」と「長期参照使用」の区別をせず、両者の和集合を「参照使用」（「used for reference」）と定義してもよい。
【０４５２】
出力マークは、DPB上のピクチャを外部へ出力する必要性の有無を示す情報である。出力マークは、具体的には、「出力要」（「needed for output」）、「出力不要」（「not needed for output」）のいずれかの値を取る。
【０４５３】
＜RPS導出部１４２＞
RPS導出部１４２は、入力されたRPSに係るシンタックス値に基づいて対象ピクチャの復号処理に用いるRPS（参照ピクチャセット）を導出してレイヤ間参照ピクチャ制御部１４４、参照ピクチャ制御部１４３、および、RPL導出部１４５に出力する。
【０４５４】
（RPS導出処理）
次にRPS情報に基づくRPS導出処理の詳細を説明する。
【０４５５】
RPS導出処理は複数のRPSのサブセットを導出処理に分けられる。RPSのサブセットは以下のように定義される。
【０４５６】
RPSは参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照可能リストListCurr：対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能なピクチャのリスト
なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。
【０４５７】
現ピクチャ参照可能リストは、さらに４つの部分リストから構成される。
・現ピクチャ長期参照可能リストRefPicSetLtCurr：SPS長期RP情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・現ピクチャ短期前方参照可能リストRefPicSetStCurrBefore：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャ短期後方参照可能リストRefPicSetStCurrAfter：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャレイヤ間参照可能リストRefPicSetInterLayer：ILRP情報により指定される現ピクチャ参照可能ピクチャ
後続ピクチャ参照可能リストは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照可能リストRefPicSetLtFoll：SPS長期RP情報またはＳＨ長期RP情報により指定される後続ピクチャ参照可能ピクチャ。
・後続ピクチャ短期参照可能リストRefPicSetStFoll：SPS短期RPS情報またはＳＨ短期RPS情報により指定される後続ピクチャ参照可能ピクチャ。
【０４５８】
＜RPS導出部１４２＞
RPS導出部１４２は、RPSを構成する、現ピクチャ短期前方参照可能リストRefPicSetStCurrBefore、現ピクチャ短期後方参照可能リストRefPicSetStCurrAfter、現ピクチャ長期参照可能リストRefPicSetLtCurr、現ピクチャレイヤ間参照可能リストRefPicSetInterLayer、後続ピクチャ短期参照可能リストRefPicSetStFoll、および、後続ピクチャ長期参照可能リストRefPicSetLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されている。
（Ｓ１０１）SPS短期RPS情報、および、SH短期RPS情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、SH短期RPS情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、SH短期RPS情報に含まれるスライスセグメントヘッダで明示的に伝送された短期RPSを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期RPS情報に含まれるshort_term_ref_pic_set_idxが示す短期RPSを、SPS短期RPS情報に含まれる複数の短期RPSの中から選択する。
（Ｓ１０２）選択された短期RPSに含まれる参照ピクチャ各々のPOCを導出する。参照ピクチャのPOCは、参照ピクチャが前方短期参照ピクチャの場合、対象ピクチャのPOCから「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期参照ピクチャの場合、対象ピクチャのPOCに「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ１０３）短期RPSに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャを現ピクチャ短期前方参照可能リストRefPicSetStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストRefPicSetStFollに追加する。
（Ｓ１０４）短期RPSに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを現ピクチャ短期後方参照可能リストRefPicSetStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストRefPicSetStFollに追加する。
（Ｓ１０５）      SPS長期RP情報、および、SH長期RP情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャを特定する。具体的には、num_long_term_spsの数の参照ピクチャをSPS長期RP情報に含まれる参照ピクチャの中から選択して、順に長期RPSに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをSH長期RP情報に含まれる参照ピクチャを順に長期RPSに追加する。
（Ｓ１０６）長期RPSに含まれる参照ピクチャ各々のPOCを導出する。長期参照ピクチャのPOCは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
（Ｓ１０７）長期RPSに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを現ピクチャ長期参照可能リストRefPicSetLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続ピクチャ長期参照可能リストRefPicSetLtFollに追加する。
（Ｓ１０８）ILRP情報により指定された実依存レイヤ（もしくは実サンプル依存レイヤ）で指定される参照ピクチャを現ピクチャレイヤ間参照可能リストRefPicSetInterLayerに追加する。
（Ｓ１０９）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストRefPicSetStCurrBefore、現ピクチャ短期後方参照可能リストRefPicSetStCurrAfter、現ピクチャ長期参照可能リストRefPicSetLtCurr、および、現ピクチャレイヤ間参照可能リストRefPicSetInterLayerの４つのリストの各要素数の和に設定する。
【０４５９】
＜参照ピクチャ制御部１４３＞
参照ピクチャ制御部１４３は、入力されるRPSに基づいて、DPB１４１を更新する。概略的には、参照ピクチャ制御部１４３は、入力されたRPSにおいて 対象ピクチャ（現ピクチャ）のインター予測で参照可能と示されているピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」）に設定する。加えて、DPBに記録されている対象レイヤの復号ピクチャであって、前記の処理で「参照使用」とマークされないピクチャを「参照不使用」に設定する。なお、DPB上のレイヤ間参照ピクチャの参照マークは参照ピクチャ制御部１４３では変更しない。言い換えると、参照レイヤピクチャに由来するDPB上のピクチャの参照マークの変更は参照ピクチャ制御部１４３では行わず、後述のレイヤ間参照ピクチャ制御部１４４で行う。
【０４６０】
参照ピクチャ制御部１４３での参照マーク設定処理は以下の手順で実行される。
（Ｓ２０１）DPB上のレイヤ間参照ピクチャを除く全てのピクチャの参照マークを「参照不使用」に設定する。
（Ｓ２０２）次の（ａ）または（ｂ）の条件を満たすピクチャ各々について、対応するDPB上のピクチャ、すなわち同一のPOCが割り当てられているピクチャ、を特定して参照マークを「短期参照使用」に設定する。
【０４６１】
（ａ）RPSの現ピクチャ短期前方参照可能リストRefPicSetStCurrBeforeに含まれているピクチャ。
【０４６２】
（ｂ）RPSの現ピクチャ長期後方参照可能リストRefPicSetStCurrAfterに含まれている各ピクチャ。
（Ｓ２０３）次の（ｃ）の条件を満たすピクチャ各々について、対応するDPB上のピクチャを特定して参照マークを「長期参照使用」に設定する。
【０４６３】
（ｃ）RPSの現ピクチャ長期参照可能リストRefPicSetLtCurrに含まれているピクチャ。
【０４６４】
なお、上記の参照マーク設定手順は一例であり、DPB上のピクチャの参照マークが同じになる限りは別の手順で参照マークを設定してもよい。例えば、上記手順のＳ２０２とＳ２０３の処理を先に実行し、両手順で参照マークが変更されなかったピクチャであって、かつ、対象レイヤの復号ピクチャであるDPB上の各ピクチャのマークを「参照不使用」に設定してもよい。
【０４６５】
＜レイヤ間参照ピクチャ制御部１４４＞
レイヤ間参照ピクチャ制御部１４４は、入力される参照レイヤピクチャとRPSに基づいて、DPB１４１を更新する。概略的には、レイヤ間参照ピクチャ制御部１４４は、入力されたRPSにおいて 対象ピクチャ（現ピクチャ）のレイヤ間インター予測で参照可能と示されているピクチャに対応する参照レイヤピクチャをDPBに記録する。加えて、DPB上で当該ピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」に設定する。加えて、DPB上で当該ピクチャの出力マークを「出力不要」に設定する。
【０４６６】
より具体的には、レイヤ間参照ピクチャ制御部１４４における参照マーク設定処理は、次の手順で実行される。
【０４６７】
（Ｓ３０１）次の（ｄ）の条件を満たすピクチャ各々について、DPB上のピクチャバッファを確保し、入力される参照レイヤピクチャを当該ピクチャバッファに記録する。
【０４６８】
（ｄ）RPSの現ピクチャレイヤ間参照可能リストRefPicSetInterLayerに含まれているピクチャ。
【０４６９】
なお、参照レイヤピクチャを記録する際に、必要に応じてスケーリングやフィルタリングを適用した後に前記ピクチャバッファに記録してもよい。特に、参照レイヤと対象レイヤの出力ピクチャの解像度が異なる場合（空間スケーラビリティの場合）、参照レイヤの復号ピクチャである参照レイヤピクチャを、対象レイヤの出力ピクチャの解像度に合わせてスケーリングする必要がある。
【０４７０】
（Ｓ３０２）Ｓ３０１でDPBに記録した各ピクチャの参照マークを「参照使用」に設定する。
【０４７１】
（Ｓ３０３）Ｓ３０１でDPBに記録した各ピクチャの出力マークを「出力不要」に設定する。
【０４７２】
＜RPL導出部１４５＞
RPL導出部１４５は、入力RPS、および、入力シンタックス値に含まれるRPL情報に基づいて対象ピクチャの対象スライスのインター予測またはレイヤ間画像予測で利用する参照ピクチャリストを導出して出力する。
【０４７３】
（RPL導出処理）
参照ピクチャリスト構築処理の詳細を説明する。参照ピクチャリスト導出部は、参照ピクチャセットRPSと、RPL修正情報に基づいて参照ピクチャリストRPLを生成する。
【０４７４】
参照ピクチャリストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、Ｌ０参照リストの構築手順を説明する。Ｌ０参照リストは、以下のＳ３０１〜Ｓ３０７に示す手順で構築される。（Ｓ３０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
（Ｓ３０２）暫定Ｌ０参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０３）暫定Ｌ０参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０４）暫定Ｌ０参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０５）参照ピクチャリストが修正される場合（RPL修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ３０６ａ〜Ｓ３０６ｂの処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ３０７の処理を実行する。
（Ｓ３０６ａ）Ｌ０参照ピクチャの修正が有効な場合（RPL修正情報に含まれるref_pic_list_modification_flag_l0の値が１の場合）であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが２に等しい場合、Ｓ３０６ｂを実行する。そうでない場合、Ｓ３０６ｃを実行する。
（Ｓ３０６ｂ）RPL修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、Ｓ３０６ｃを実行する。
【０４７５】
list_entry_l0[0] = 1
list_entry_l0[1] = 0
（Ｓ３０６ｃ）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照ピクチャインデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。
【０４７６】
RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ０参照リストのrIdxの位置の参照ピクチャとして格納する。
（Ｓ３０７）暫定Ｌ０参照リストをＬ０参照リストとする。
【０４７７】
次にＬ１参照リストを構築する。なお、Ｌ１参照リストも、上記Ｌ０参照リストと同様の手順で構築できる。上記Ｌ０参照リストの構築手順（Ｓ３０１〜Ｓ３０７）において、Ｌ０参照ピクチャ、Ｌ０参照リスト、暫定Ｌ０参照リスト、list_entry_l0をそれぞれ、Ｌ１参照ピクチャ、Ｌ１参照リスト、暫定Ｌ１参照リスト、list_entry_l1と置き換えればよい。
【０４７８】
＜出力制御部１４６＞
出力制御部１４６は、概略的には、所定のタイミングでDPB141のピクチャを外部に出力するとともに出力マークを更新する。具体的には、出力制御部１４６によるピクチャ出力処理は次の手順で実行される。
【０４７９】
（Ｓ４０１）DPB上のピクチャであって、出力マークが「出力要」であるピクチャのうちPOCが最小であるピクチャを出力する。
【０４８０】
（Ｓ４０２）Ｓ４０１で出力されたピクチャの出力マークを「出力不要」に設定する。
【０４８１】
（Ｓ４０３）DPB上のピクチャの中から、参照マークが「参照不使用」であり、かつ、出力マークが「出力不要」であるピクチャを選択して、当該ピクチャをDPBから削除する。
【０４８２】
なお、上記の処理は一般的なDPB上の不要ピクチャ削除処理（一般的なバンピング処理）と呼称できる。一般的なバンピング処理では、DPB上の各ピクチャが対象レイヤの復号ピクチャであるかレイヤ間参照ピクチャ（参照レイヤの復号ピクチャに由来するピクチャ）であるかの判定を行うことなくDPB上のピクチャの出力およびDPB上の不要ピクチャの削除を実行できる。
【０４８３】
（ピクチャ管理処理手順）
次に、復号ピクチャ管理部１４におけるピクチャ管理処理を図１を参照して説明する。図１は、復号ピクチャ管理部１４における対象ピクチャ復号時のピクチャ管理処理の概略を示したフロー図である。対象ピクチャ復号時のピクチャ管理処理は、以下のＳ５０１〜Ｓ５１０の手順で実行される。
【０４８４】
（Ｓ５０１）RPS導出部１４２は、入力されたシンタックス値から対象ピクチャのRPSを導出する。導出されたRPSは参照ピクチャ制御部１４３、レイヤ間参照ピクチャ制御部１４４、および、RPL導出部１４５に出力する。Ｓ５０２に進む。
【０４８５】
（Ｓ５０２）参照ピクチャ制御部１４３は、入力RPSに基づきDPB上の対象レイヤの復号ピクチャの参照マークを更新する。Ｓ５０３に進む。
【０４８６】
（Ｓ５０３）レイヤ間参照ピクチャ制御部１４４は、入力のRPSにレイヤ間参照ピクチャの参照マークが含まれるか判定する。含まれる場合（Ｓ５０３でYESの場合）、Ｓ５０４に進む。一方、含まれない場合（Ｓ５０３でNOの場合）、Ｓ５０６に進む。
【０４８７】
（Ｓ５０４）レイヤ間参照ピクチャ制御部１４４は、入力の参照レイヤピクチャをレイヤ間参照ピクチャとしてDPB１４１上のピクチャバッファに記録する。Ｓ５０５に進む。
【０４８８】
（Ｓ５０５）レイヤ間参照ピクチャ制御部１４４は、Ｓ５０４で記録したレイヤ間参照ピクチャの出力マークを「出力不要」に設定する。Ｓ５０６に進む。
【０４８９】
（Ｓ５０６）出力制御部１４６は、DPB１４１上のピクチャを必要に応じて外部に出力して当該ピクチャの出力マークを更新する。Ｓ５０７に進む。
【０４９０】
（Ｓ５０７）RPL導出部１４５は、入力のRPSとシンタックス値に基づき、対象ピクチャ復号時に用いられる参照ピクチャリストを生成して外部に出力する。Ｓ５０８に進む。なお、このタイミングで、外部では当該参照ピクチャリストおよびDPB１４１上の参照ピクチャを利用して対象ピクチャの復号処理を実行して、対象ピクチャの復号ピクチャを生成する。
【０４９１】
（Ｓ５０８）入力される対象ピクチャの復号ピクチャをDPB１４１上のピクチャバッファに記録する。Ｓ５０９に進む。
【０４９２】
（Ｓ５０９）廃棄可能フラグ（discardable_flag）の値に応じて対象ピクチャの参照マークを更新する。廃棄可能フラグは、対象ピクチャが後続のピクチャ復号時に参照ピクチャまたはレイヤ間参照ピクチャとして利用される可能性の有無を示すフラグである。廃棄可能フラグの値が１の場合、参照マークを「参照不使用」に更新する。廃棄可能フラグの値が０の場合、参照マークを「参照使用」に更新する。
【０４９３】
（Ｓ５１０）DPB上に記録されているピクチャのうち、下記条件Ｄ１、Ｄ２、およびＤ３を全て満たすピクチャの参照マークを「参照不使用」に設定する。
【０４９４】
Ｄ１：対象ピクチャのPOCと同一POCを有するピクチャ。
【０４９５】
Ｄ２：対象ピクチャより復号順の遅い対象ピクチャのPOCと同一POCを有するピクチャの復号時にレイヤ間参照ピクチャとして利用されないピクチャ。
【０４９６】
Ｄ３：同一レイヤ内の予測（例えばインター予測）により利用されないピクチャ。
【０４９７】
なお、図３２は、レイヤ間予測最大ＴＩＤに関するＤ３の処理を示す図である。
【０４９８】
復号ピクチャ管理部１４は、参照レイヤピクチャに対するremainingInterLayerReferencesFlagを導出する。図３２に示すように、復号ピクチャ管理部１４は、対象ピクチャのTemporalID（currTid）が、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1から１を減算した値以下であるか否かを判定する。真の場合には、lastestDecからnumTargetDecLayersの間のインデックスについて、依存レイヤテーブルNumDirectRefLayersと レイヤＩＤRefLayerIdを比較し、一致する場合に、remainingInterLayerReferencesFlagを１とする。以上の処理により、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1から１を減算した値以下のTemporalIDを有し、かつ、依存レイヤテーブルNumDirectRefLayersにあるレイヤのみで、remainingInterLayerReferencesFlagが１となる。そして、復号ピクチャ管理部１４は、remainingInterLayerReferencesFlagが１となったピクチャには、参照する（used for reference）事を示す参照マークを付ける。復号ピクチャ管理部１４は、remainingInterLayerReferencesFlagが０となったピクチャには、参照しない（unused for reference）事を示す参照マークを付ける。すなわち、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1から１を減算した値より大きいTemporalIDを有するか、もしくは、依存レイヤテーブルNumDirectRefLayersにないレイヤに、参照しない事を示す参照マークが付加される。この導出規則を規則（ＭＴ１）と呼ぶ。
【０４９９】
復号ピクチャ管理部１４は、参照する（used for reference）の参照マークの付いた参照レイヤピクチャのみを、参照ピクチャセットに用いる。
【０５００】
参照レイヤピクチャ管理部１５４は、入力される参照レイヤピクチャを内部のDPBに記録するとともに、入力されるシンタックス値に基づいて参照ピクチャリスト生成や出力する参照レイヤピクチャの決定を行う。生成された参照ピクチャリストは参照レイヤピクチャ復号部１５３に出力され、参照レイヤピクチャは外部に出力される。なお、参照レイヤピクチャ管理部１５４における処理は、図４の復号ピクチャ管理部１４における処理と同様であり詳細説明は省略する。
【０５０１】
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図４７を参照して説明する。
【０５０２】
（階層動画像符号化装置の構成）
図４７を用いて、階層動画像符号化装置２の概略構成を説明する。図４７は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
【０５０３】
図４７に示すように階層動画像符号化装置２は、ピクチャ符号化部２１、可変長符号化部２２、復号ピクチャ管理部１４を備える。
【０５０４】
ピクチャ符号化部２１は、入力画像ＰＩＮ＃Ｔを符号化して対応するシンタックス値を生成して出力する。また、同時に出力したシンタックス値を用いて復号処理を行うことで復号ピクチャを生成して出力する。ピクチャ符号部２１は、シンタックス値または復号ピクチャの生成に、入力される参照ピクチャリストを利用したインター予測またはレイヤ間画像予測を用いる。
【０５０５】
可変長符号化部２２は、入力されるシンタックス値を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔとして出力する。
【０５０６】
復号ピクチャ管理部１４は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１４と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１４では、DPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略できる。なお、階層動画像復号装置１の復号ピクチャ管理部１４の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の復号ピクチャ管理部１４にも適用できる。
【０５０７】
可変長符号化部２２は、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化するＮＡＬユニットヘッダ符号化部２２１を備え、ＮＡＬユニットヘッダ符号化部２２１は、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化する。また、復号ピクチャ管理部１４は、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する。
【０５０８】
また、可変長符号化部２２は、さらに、レイヤ間サブレイヤアライメントフラグを符号化するパラメータセット符号化部２２２を備え、
ＮＡＬユニットヘッダ符号化部２２１は、レイヤ間サブレイヤアライメントフラグが１である場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化しても良い。
【０５０９】
また、可変長符号化部２２は、さらに、プロファイルを符号化するパラメータセット符号化部２２２を備え、ＮＡＬユニットヘッダ符号化部２２１は、プロファイルがステレオ画像のプロファイルである場合には、レイヤ間サブレイヤアライメントフラグが１である場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化しても良い。
【０５１０】
以上の階層動画像符号化装置２が生成する符号化データは、階層動画像復号装置１、階層動画像復号装置１Ｓ１´、階層動画像復号装置１Ｓ１´´で復号される。
【０５１１】
（階層動画像符号化装置２Ｓ２）
以下、階層動画像符号化装置２の変形例である階層動画像符号化装置２Ｓ２を説明する。階層動画像符号化装置２Ｓが生成する符号化データは、階層動画像復号装置１Ｓ２、Ｓ２´、Ｓ２´´で復号される。階層動画像符号化装置２は、ピクチャ符号化部２１、可変長符号化部２２Ｓ２、復号ピクチャ管理部１４を備える。ピクチャ符号化部２１、復号ピクチャ管理部１４、前述の実施形態と同様であるので説明を省略する。同様に、既に説明した手段と同一の符号を付した手段は、本実施形態でも同様の構成であるので、以降説明を省略する。
【０５１２】
可変長符号化部２２Ｓ２の備えるＮＡＬユニットヘッダ符号化部２２１Ｓ２は、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化し、
ＮＡＬユニットヘッダ符号化部Ｓ２は、ベースレイヤのＮＡＬユニットタイプがＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャである場合には、同じアクセスユニットに属する全てのレイヤの符号化データが同じＴＳＡピクチャ、もしくは、ＳＴＳＡピクチャの値を有するＮＡＬユニットヘッダを符号化する。
【０５１３】
上記の構成の画像符号化装置２が生成する符号化データを再生する場合には、同じアクセスユニットに属する全てのレイヤのＴＩＤが共通であることが示されている場合には、あるレイヤで可能であった時間的な間引き再生が、別のレイヤで可能である。そのため、間引き再生中にあるレイヤ（例えば低解像度のレイヤ）から、別のレイヤ（例えば、高解像度のレイヤ）に再生を変えることや、複数の視点（例えば、視点画像０であるレイヤ０と視点画像０であるレイヤ１）を同じ間引き再生において、再生することができるという効果を奏する。
【０５１４】
また、可変長符号化部２２Ｓ２は、さらに、レイヤ間サブレイヤアライメントフラグを符号化するパラメータセット符号化部２２２を備え、
ＮＡＬユニットヘッダ符号化部２２１Ｓ２は、レイヤ間サブレイヤアライメントフラグが１である場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化しても良い。
【０５１５】
また、可変長符号化部２２Ｓ２は、さらに、プロファイルを符号化するパラメータセット符号化部２２２を備え、
ＮＡＬユニットヘッダ符号化部２２１Ｓ２は、プロファイルがステレオ画像のプロファイルである場合には、レイヤ間サブレイヤアライメントフラグが１である場合に、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化しても良い。
【０５１６】
（階層動画像符号化装置２Ａ）
以下、階層動画像符号化装置２の変形例である階層動画像符号化装置２Ａを説明する。階層動画像符号化装置２Ａが生成する符号化データは、階層動画像復号装置１Ａａ、階層動画像復号装置１Ａｂ、階層動画像復号装置１Ａｃで復号される。階層動画像符号化装置２は、ピクチャ符号化部２１、可変長符号化部２２Ａ、復号ピクチャ管理部１４を備える。ピクチャ符号化部２１、復号ピクチャ管理部１４、前述の実施形態と同様であるので説明を省略する。同様に、既に説明した手段と同一の符号を付した手段は、本実施形態でも同様の構成であるので、以降説明を省略する。
【０５１７】
可変長符号化部２２Ａは、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化するＮＡＬユニットヘッダ符号化部２２１Ａと、少なくともレイヤ間予測最大ＴＩＤを符号化するパラメータセット符号化部２２２Ａを備える。
【０５１８】
ＮＡＬユニットヘッダ符号化部２２１は、同じアクセスユニットに属する全てのレイヤの符号化データに同じ値のＴＩＤが設定されているＮＡＬユニットヘッダを符号化する。また、ラメータセット符号化部２２２Ａは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、全てのレイヤに対して１つのレイヤ間予測最大ＴＩＤを共通レイヤ間予測最大ＴＩＤとして符号化し、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを符号化する。また、復号ピクチャ管理部１４は、復号対象ピクチャと同じレイヤの復号対象ピクチャのＴＩＤ以下のＴＩＤを有するピクチャ、もしくは、復号対象ピクチャとは異なるレイヤのピクチャを参照ピクチャに設定する。
【０５１９】
上記の構成の画像符号化装置Ａによれば、共通レイヤ間予測最大ＴＩＤが用いられる場合にはレイヤ毎にレイヤ間予測最大ＴＩＤの符号化を行う必要がないため、符号化データから冗長なフラグの符号をなくし符号量を削減する効果を奏する。
【０５２０】
また、パラメータセット符号化部２２２Ａは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、レイヤ間予測最大ＴＩＤアライメントフラグを１として符号化し、全てのレイヤに復号した１つのレイヤ間予測最大ＴＩＤを符号化し、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いらない場合には、レイヤ間予測最大ＴＩＤアライメントフラグを０として符号化し、レイヤ毎にレイヤ間予測最大ＴＩＤを符号化しても良い。
【０５２１】
また、パラメータセット符号化部２２２Ａは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、所定の値以外（ここでは７未満）の共通レイヤ間予測最大ＴＩＤを符号化し、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いらない場合には、共通レイヤ間予測最大ＴＩＤとして、所定の値（ここでは７）を符号化し、レイヤ毎にレイヤ間予測最大ＴＩＤを符号化することを特徴とする。
【０５２２】
また、パラメータセット符号化部２２２Ａは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、レイヤ間サブレイヤアライメントフラグを１として符号化し、ベースレイヤのレイヤ間予測最大ＴＩＤを所定の値以外（ここでは７未満）として符号化し、１つのレイヤ間予測最大ＴＩＤを共通レイヤ間予測最大ＴＩＤとして符号化し、てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられない場合には、レイヤ毎にレイヤ間予測最大ＴＩＤを符号化しても良い。
【０５２３】
（階層動画像符号化装置２Ｂ）
以下、階層動画像符号化装置２の変形例である階層動画像符号化装置２Ｂを説明する。階層動画像符号化装置２Ｂが生成する符号化データは、階層動画像復号装置１Ｂａ、階層動画像復号装置１Ｂｂ、階層動画像復号装置１Ｂｃ、階層動画像復号装置１Ｂａｂｃで復号される。
【０５２４】
階層動画像符号化装置２Ｂは、ピクチャ符号化部２１、可変長符号化部２２Ｂ、復号ピクチャ管理部１４を備える。ピクチャ符号化部２１、復号ピクチャ管理部１４、前述の実施形態と同様であるので説明を省略する。同様に、既に説明した手段と同一の符号を付した手段は、本実施形態でも同様の構成であるので、以降説明を省略する。
【０５２５】
可変長符号化部２２Ｂは、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化するＮＡＬユニットヘッダ符号化部２２１Ａと、少なくともレイヤ間予測最大ＴＩＤを符号化するパラメータセット符号化部２２２Ａと、レイヤ間予測が可能であるか否かを示すフラグであるレイヤ間予測可能フラグを符号化するレイヤ間予測可能フラグ符号化部２２３Ｂを備える。レイヤ間予測可能フラグ符号化部２２３Ｂは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測可能フラグを符号化し、それ以外の場合には、レイヤ間予測可能フラグを０として符号化しない。
【０５２６】
また、可変長符号化部２２Ｂは、レイヤ間予測のみを用いるか否かを示すフラグであるレイヤ間予測限定フラグを符号化するレイヤ間予測限定フラグ符号化部２２４Ｂを備える。レイヤ間予測可能フラグ符号化部２２４Ｂは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記レイヤ間予測限定フラグを符号化し、それ以外の場合には、レイヤ間予測限定フラグを０として符号化しない。
【０５２７】
また、可変長符号化部２２Ｂは、テンポラル動き予測用の参照ピクチャを、レイヤＩＤによって指定するか否かを示すフラグである代替コロケート指示フラグを符号化する代替コロケート指示フラグ符号化部２２５Ｂを備える。代替コロケート指示フラグ符号化部２２５Ｂは、全てのレイヤで共通のレイヤ間予測最大ＴＩＤが用いられる場合には、ＴＩＤが、該共通のレイヤ間予測最大ＴＩＤ未満の場合にのみ、上記代替コロケート指示フラグを符号化し、それ以外の場合には、代替コロケート指示フラグを０として符号化しない。
【０５２８】
（階層動画像符号化装置２Ｃ）
以下、階層動画像符号化装置２の変形例である階層動画像符号化装置２Ｃを説明する。階層動画像符号化装置２Ｂが生成する符号化データは、階層動画像復号装置１Ｃａ、階層動画像復号装置１Ｃｂ、階層動画像復号装置１Ｃｃで復号される。
【０５２９】
階層動画像符号化装置２Ｃは、ピクチャ符号化部２１、可変長符号化部２２Ｂ、復号ピクチャ管理部１４を備える。ピクチャ符号化部２１、復号ピクチャ管理部１４、前述の実施形態と同様であるので説明を省略する。同様に、既に説明した手段と同一の符号を付した手段は、本実施形態でも同様の構成であるので、以降説明を省略する。
【０５３０】
可変長符号化部２２Ｃは、ＮＡＬユニットヘッダから少なくともレイヤＩＤと時間識別情報ＴＩＤを符号化するＮＡＬユニットヘッダ符号化部２２１Ｃと、少なくともレイヤ間予測最大ＴＩＤを符号化するパラメータセット符号化部２２２Ｃと、実依存レイヤ符号化部２２３Ｃを備える。実依存レイヤ符号化部２２３Ｃは、対象ピクチャのTemporalIDが、レイヤ間予測最大ＴＩＤmax_tid_il_ref_pics_plus1より小さい場合（max_tid_il_ref_pics_plus1から１を減算した値よりも以下の場合）に、依存レイヤリストに属する各レイヤのピクチャが前記対象ピクチャから参照されるか否かを示す実レイヤ依存フラグactive_direct_dependent_flagを符号化する。
【０５３１】
上記構成の動画像符号化装置によれば、対象ピクチャのTemporalIDが、依存レイヤのmax_tid_il_ref_pics_plus1以上の場合には、該依存レイヤを参照するか否かを示すフラグである実レイヤ依存フラグを符号化しないため、符号量を低減する効果を奏する。
【０５３２】
なお、上述した実施形態における階層動階層動画像符号化装置２、階層動画像復号装置１の全部もしくは一部をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、階層動画像復号装置１、階層動階層動画像符号化装置２のいずれかに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【０５３３】
また、上述した実施形態における階層動画像符号化装置２、階層動画像復号装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。階層動画像符号化装置２、階層動画像復号装置１の各機能ブロックは個別にプロセッサ化しても良いし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【０５３４】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０５３５】
本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用できる。
【符号の説明】
【０５３６】
１          階層動画像復号装置（画像復号装置）
１１        ＮＡＬユニットヘッダ復号部
１１Ｓ１    ＮＡＬユニットヘッダ復号部
１１Ｓ２    ＮＡＬユニットヘッダ復号部
１２        可変長復号部（可変長復号手段）
１２１      パラメータセット復号部
１２１ａ  パラメータセット復号部
１２１ｂ  パラメータセット復号部
１２１ｂ  パラメータセット復号部
１２１Ｃａ  パラメータセット復号部
１２１Ｃｂ  パラメータセット復号部
１２１Ｃｃ  パラメータセット復号部
１２２ａ    スライスセグメントヘッダ復号部
１２２ｂ    スライスセグメントヘッダ復号部
１２２ｃ    スライスセグメントヘッダ復号部
１２２Ｃａ  スライスセグメントヘッダ復号部
１２２Ｃｂ  スライスセグメントヘッダ復号部
１２２Ｃｃ  スライスセグメントヘッダ復号部
１２１２ａ  レイヤ間予測最大ＴＩＤアライメントフラグ復号部
１２１２ｂ  共通レイヤ間予測最大ＴＩＤ復号部
１２１３ａ  レイヤ間予測最大ＴＩＤ復号部
１２１３ｂ  レイヤ間予測最大ＴＩＤ復号部
１２１３ｃ  レイヤ間予測最大ＴＩＤ復号部
１２２１    RPS情報復号部
１２２２    RPL情報復号部
１２２３    実依存レイヤ復号部（レイヤ間参照ピクチャ情報復号部）
１２２３Ｃａ  実依存レイヤ復号部
１２２３Ｃｂ  実依存レイヤ復号部
１２２３Ｃｃ  実依存レイヤ復号部
１２２３１  レイヤ間予測可能フラグ復号部
１２２３２  レイヤ間予測限定フラグ復号部
１２２４    代替コロケート指示情報復号部
１２３      スライスセグメントデータ復号部
１３        ピクチャ復号部（ピクチャ復号手段）
１４        復号ピクチャ管理部（復号ピクチャ管理手段）
１４１      ＤＰＢ
１４２      ＲＰＳ導出部
１４３      参照ピクチャ制御部
１４４      レイヤ間参照ピクチャ制御部（ベース参照ピクチャ制御手段）
１４５      ＲＰＬ導出部
１４６      出力制御部（出力制御手段）
１５１      可変長復号部（可変長復号手段）
１５３      参照レイヤピクチャ復号部
１５４      参照レイヤピクチャ管理部（参照レイヤピクチャ管理手段）
２          階層動画像符号化装置（画像符号化装置）
２１        ピクチャ符号化部
２２        可変長符号化部
２２Ｓ２    可変長符号化部
２２Ａ      可変長符号化部
２２Ｂ      可変長符号化部
２２Ｃ      可変長符号化部
２２１Ｓ２  ＮＡＬユニットヘッダ符号化部
２２１Ａ    ＮＡＬユニットヘッダ符号化部
２２２      パラメータセット符号化部
２２２Ａ    パラメータセット符号化部
２２３Ｂ    レイヤ間予測可能フラグ符号化部
２２４Ｂ    レイヤ間予測限定フラグ符号化部
２２５Ｂ    代替コロケート指示フラグ符号化部
２２３Ｃ    実レイヤ依存フラグ符号化部
【図１】
2015035642.tif 000003
【図２】
2015035642.tif 000004
【図３】
2015035642.tif 000005
【図４】
2015035642.tif 000006
【図５】
2015035642.tif 000007
【図６】
2015035642.tif 000008
【図７】
2015035642.tif 000009
【図８】
2015035642.tif 000010
【図９】
2015035642.tif 000011
【図１０】
2015035642.tif 000012
【図１１】
2015035642.tif 000013
【図１２】
2015035642.tif 000014
【図１３】
2015035642.tif 000015
【図１４】
2015035642.tif 000016
【図１５】
2015035642.tif 000017
【図１６】
2015035642.tif 000018
【図１７】
2015035642.tif 000019
【図１８】
2015035642.tif 000020
【図１９】
2015035642.tif 000021
【図２０】
2015035642.tif 000022
【図２１】
2015035642.tif 000023
【図２２】
2015035642.tif 000024
【図２３】
2015035642.tif 000025
【図２４】
2015035642.tif 000026
【図２５】
2015035642.tif 000027
【図２６】
2015035642.tif 000028
【図２７】
2015035642.tif 000029
【図２８】
2015035642.tif 000030
【図２９】
2015035642.tif 000031
【図３０】
2015035642.tif 000032
【図３１】
2015035642.tif 000033
【図３２】
2015035642.tif 000034
【図３３】
2015035642.tif 000035
【図３４】
2015035642.tif 000036
【図３５】
2015035642.tif 000037
【図３６】
2015035642.tif 000038
【図３７】
2015035642.tif 000039
【図３８】
2015035642.tif 000040
【図３９】
2015035642.tif 000041
【図４０】
2015035642.tif 000042
【図４１】
2015035642.tif 000043
【図４２】
2015035642.tif 000044
【図４３】
2015035642.tif 000045
【図４４】
2015035642.tif 000046
【図４５】
2015035642.tif 000047
【図４６】
2015035642.tif 000048
【図４７】
2015035642.tif 000049
【図４８】
2015035642.tif 000050
【図４９】
2015035642.tif 000051
【図５０】
2015035642.tif 000052
【図５１】
2015035642.tif 000053
【図５２】
2015035642.tif 000054
【図５３】
2015035642.tif 000055
【図５４】
2015035642.tif 000056
【図５５】
2015035642.tif 000057
【図５６】
2015035642.tif 000058
【図５７】
2015035642.tif 000059
【図５８】
2015035642.tif 000060
【図５９】
2015035642.tif 000061
【図６０】
2015035642.tif 000062
【図６１】
2015035642.tif 000063
【図６２】
2015035642.tif 000064
【図６３】
2015035642.tif 000065
【図６４】
2015035642.tif 000066