(57)【要約】      （修正有）【課題】対象レイヤのCTB単位で対象レイヤの復号と参照レイヤの復号の並列処理を実行する場合に、処理遅延やメモリ量を削減できる上位レイヤの符号化データのデータ構造、および、該符号化データを符号化／復号可能な画像符号化装置および画像復号装置を提供する。【解決手段】階層動画像復号装置１はパラメータセットを復号するパラメータセット復号部１２と、スライスを復号するスライス復号部１４と、対象レイヤに対する参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像生成部を備え、パラメータセット復号部は、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号し、スライス復号部は、対象レイヤの処理単位サイズの大きさの処理単位で復号処理を実行する。【選択図】図４
2015076807.tif 000002
【特許請求の範囲】
【請求項１】
階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する画像復号装置であって、
パラメータセットを復号するパラメータセット復号部と、
スライスを復号するスライス復号部と、
対象レイヤに対する参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像生成部を備え、
前記パラメータセット復号部は、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号し、
前記スライス復号部は、前記対象レイヤの処理単位サイズの大きさの処理単位で復号処理を実行することを特徴とする画像復号装置。
【請求項２】
前記処理単位はＣＴＢサイズであって、
前記スライス復号部は、符号化データに含まれるＣＴＵから復号した復号画像を、スライスに含まれる領域であって、前記ＣＴＢサイズと等しいサイズの領域の復号ピクチャとすることを特徴とする、請求項１に記載の画像復号装置。
【請求項３】
前記処理単位は最小ＣＢサイズであって、
前記スライス復号部は、符号化データに含まれるＣＵから復号した復号画像を、スライスに含まれる領域であって、前記最小ＣＢサイズ以上のサイズの領域の復号ピクチャとすることを特徴とする、請求項１に記載の画像復号装置。
【請求項４】
前記パラメータセット復号部は、レイヤ間解像度比が１の場合に、参照レイヤの処理単位サイズと一致する処理単位サイズを、対象レイヤの処理単位サイズとして復号し、レイヤ間解像度比が１より大きい場合に、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号することを特徴とする、請求項１から請求項３に記載の画像復号装置。
【請求項５】
前記パラメータセット復号部は、レイヤ間予測適用時の動きベクトルが０に制限されている場合に、参照レイヤの処理単位サイズと一致する処理単位サイズを、対象レイヤの処理単位サイズとして復号し、レイヤ間予測適用時の動きベクトルが０に制限されていない場合に、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号することを特徴とする、請求項１から請求項３に記載の画像復号装置。
【請求項６】
前記パラメータセット復号部は、スケール後参照レイヤ左オフセットとスケール後参照レイヤ上オフセットを復号し、
前記パラメータセット復号部は、前記スケール後参照レイヤ左オフセットと前記スケール後参照レイヤ上オフセットがともに参照レイヤの処理単位幅の倍数である場合に、参照レイヤの処理単位サイズと一致する処理単位サイズを、対象レイヤの処理単位サイズとして復号し、前記スケール後参照レイヤ左オフセットまたは前記スケール後参照レイヤ上オフセットのいずれかが参照レイヤの処理単位幅の倍数ではない場合に、レイヤ間予測適用時の動きベクトルが０に制限されていない場合に、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号することを特徴とする、請求項１から請求項３に記載の画像復号装置。
【請求項７】
前記パラメータセット復号部は、直接参照または間接参照の関係にある任意の２個のレイヤに対して、同一の処理単位サイズを対象レイヤの処理単位サイズとして復号することを特徴とする、請求項１から請求項３に記載の画像復号装置。
【請求項８】
前記パラメータセット復号部は、処理単位サイズ制約情報を復号し、該処理単位サイズ制約情報が示す制約を満たす処理単位サイズを、対象レイヤの処理単位サイズとして復号することを特徴とする、請求項１から請求項３に記載の画像復号装置。
【請求項９】
入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、
パラメータセットを符号化するパラメータセット符号化部と、
スライスを符号化するスライス符号化部と、
対象レイヤに対する参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像生成部を備え、
前記パラメータセット符号化部は、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして符号化し、
前記スライス符号化部は、前記対象レイヤの処理単位サイズの大きさの処理単位で符号化処理を実行することを特徴とする画像符号化装置。
【請求項１０】
階層画像を構成するレイヤに関連付けられたパラメータセットを含む符号化データのデータ構造において、
前記パラメータセットは、前記パラメータセットが関連付けられたレイヤである関連レイヤに対する処理単位サイズとして、前記関連レイヤに対する参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを含み、
前記符号化データを復号する画像復号装置において、前記関連レイヤを前記処理単位サイズが示す大きさの処理単位で復号処理が実行されることを特徴とする符号化データのデータ構造。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置、および符号化データのデータ構造に関する。
【背景技術】
【０００２】
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
【０００３】
動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている。
【０００４】
これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００５】
イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。
【０００６】
インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で予測画像生成に用いられる復号済のピクチャは参照ピクチャと呼ばれる。
【０００７】
また、複数の相互に関連性のある動画像をレイヤ（階層）に分けて符号化することで、複数の動画像から符号化データを生成する技術も知られており、階層符号化技術と呼ばれる。階層符号化技術により生成される符号化データは階層符号化データとも呼ばれる。
【０００８】
代表的な階層符号化技術としてHEVCを基礎とするSHVC（Scalable HEVC）が知られている（非特許文献１）。
【０００９】
SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、複数の異なる解像度の動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に原画像をレイヤ間の冗長性を除去するために、前記下位レイヤを参照レイヤとするレイヤ間予測を適用した上で、上位レイヤとして符号化する。
【００１０】
別の代表的な階層符号化技術としてHEVCを基礎とするMV-HEVC（Multi View HEVC）が知られている（非特許文献２）。
【００１１】
MV-HEVCではビュースケーラビリティをサポートする。ビュースケーラビリティでは、複数の異なる視点（ビュー）に対応する動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、基本となる視点（ベースビュー）に対応する動画像を下位レイヤとして符号化する。次に、異なる視点に対応する動画像を、レイヤ間予測を適用した上で、上位レイヤとして符号化する。
【００１２】
SHVCやMV-HEVCにおけるレイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、参照レイヤの復号画像を利用して、予測画像を生成する。レイヤ間動き予測では、参照レイヤの動き情報を利用して、動き情報の予測値を導出する。レイヤ間予測において予測に用いられるピクチャはレイヤ間参照ピクチャと呼ばれる。また、レイヤ間参照ピクチャを含むレイヤは参照レイヤと呼ばれる。なお、以下では、インター予測に用いられる参照ピクチャと、レイヤ間予測に用いられる参照ピクチャを総称して単に参照ピクチャと呼称する。SHVCやMV-HEVCでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。
【００１３】
HEVCでは、各レイヤはCTU（符号化ツリーユニット）と呼ばれる符号化単位を基準として符号化される。CTUはピクチャ内の部分領域に係る符号化データを含んでいる。CTUに対応する部分領域、すなわちCTUから復号される部分領域は、CTB（符号化ツリーブロック）と呼ばれる。一つのCTUは、さらに複数のCU（符号化ユニット）から構成される。各CUは、CTBの部分領域に対応する符号化データを含んでいる。CUから復号されるCTUの部分領域はCB（符号化ブロック）と呼ばれる。HEVCでは、ピクチャは複数のCTBから構成されており、各CTBは複数のCBから構成されている。HEVCでは、CTBやCBの情報（CTBサイズと最小CB最小サイズ）を指定でき、その情報はパラメータセットとして符号化される。
【００１４】
SHVCやMV-HEVCでは、HEVCと同様にピクチャはCTBから構成され、CTBはCBから構成される。パラメータセットを用いてレイヤ毎に異なるCTBやCBの情報（CTBサイズと最小CBサイズ）を設定できる。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】JCT3V-E1004_v6 「MV-HEVC Draft Text 5」, Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 115th Meeting: Vienna, AT, 27 Jul. -2 Aug. 2013 (２０１３年８月７日公開)
【非特許文献２】JCTVC-N1008_v1 「SHVC Draft 3」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Vienna, AT, 25 July - 2 Aug. 2013 （２０１３年８月２０日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、レイヤ毎に異なるCTBやCBの情報（CTBサイズや最小CBサイズ）を指定する場合、対象レイヤと参照レイヤで異なるCTBサイズや最小CBサイズが設定される場合があった。そして、その場合に、対象レイヤのCTB単位で対象レイヤの復号と参照レイヤの復号を並列処理を実行すると、対象レイヤCTBの復号処理に遅延が発生したり、対象レイヤCTBの復号に必要な参照レイヤCTBを記録するメモリのメモリ量が増加する場合があるという課題があった。
【００１７】
本発明は、上記問題に鑑みてされたものであり、その目的は、対象レイヤのCTB単位で対象レイヤの復号と参照レイヤの復号の並列処理を実行する場合に、処理遅延やメモリ量を削減できる上位レイヤの符号化データのデータ構造、および、該符号化データを符号化／復号可能な画像符号化装置および画像復号装置を実現することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する画像復号装置であって、パラメータセットを復号するパラメータセット復号部と、スライスを復号するスライス復号部と、対象レイヤに対する参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像生成部を備え、前記パラメータセット復号部は、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号し、前記スライス復号部は、前記対象レイヤの処理単位サイズの大きさの処理単位で復号処理を実行することを特徴としている。
【００１９】
また、上記画像復号装置において、前記処理単位はＣＴＢサイズであって、前記スライス復号部は、符号化データに含まれるＣＴＵから復号した復号画像を、スライスに含まれる領域であって、前記ＣＴＢサイズと等しいサイズの領域の復号ピクチャとする、ことが好ましい。
【００２０】
また、上記画像復号装置において、前記処理単位は最小ＣＢサイズであって、前記スライス復号部は、符号化データに含まれるＣＵから復号した復号画像を、スライスに含まれる領域であって、前記最小ＣＢサイズ以上のサイズの領域の復号ピクチャとする、ことが好ましい。
【００２１】
また、上記画像復号装置において、前記パラメータセット復号部は、レイヤ間解像度比が１の場合に、参照レイヤの処理単位サイズと一致する処理単位サイズを、対象レイヤの処理単位サイズとして復号し、レイヤ間解像度比が１より大きい場合に、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号する、ことが好ましい。
【００２２】
また、上記画像復号装置において、前記パラメータセット復号部は、レイヤ間予測適用時の動きベクトルが０に制限されている場合に、参照レイヤの処理単位サイズと一致する処理単位サイズを、対象レイヤの処理単位サイズとして復号し、レイヤ間予測適用時の動きベクトルが０に制限されていない場合に、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号する、ことが好ましい。
【００２３】
また、上記画像復号装置において、前記パラメータセット復号部は、スケール後参照レイヤ左オフセットとスケール後参照レイヤ上オフセットを復号し、前記パラメータセット復号部は、前記スケール後参照レイヤ左オフセットと前記スケール後参照レイヤ上オフセットがともに参照レイヤの処理単位幅の倍数である場合に、参照レイヤの処理単位サイズと一致する処理単位サイズを、対象レイヤの処理単位サイズとして復号し、前記スケール後参照レイヤ左オフセットまたは前記スケール後参照レイヤ上オフセットのいずれかが参照レイヤの処理単位幅の倍数ではない場合に、レイヤ間予測適用時の動きベクトルが０に制限されていない場合に、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号する、ことが好ましい。
【００２４】
また、上記画像復号装置において、前記パラメータセット復号部は、直接参照または間接参照の関係にある任意の２個のレイヤに対して、同一の処理単位サイズを対象レイヤの処理単位サイズとして復号する、ことが好ましい。
【００２５】
また、上記画像復号装置において、前記パラメータセット復号部は、処理単位サイズ制約情報を復号し、該処理単位サイズ制約情報が示す制約を満たす処理単位サイズを、対象レイヤの処理単位サイズとして復号する、ことが好ましい。
【００２６】
上記課題を解決するために、本発明に係る画像符号化装置は、入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、パラメータセットを符号化するパラメータセット符号化部と、スライスを符号化するスライス符号化部と、対象レイヤに対する参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像生成部を備え、前記パラメータセット符号化部は、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして符号化し、前記スライス符号化部は、前記対象レイヤの処理単位サイズの大きさの処理単位で符号化処理を実行することを特徴としている。
【００２７】
上記課題を解決するために、本発明に係る符号化データのデータ構造は、階層画像を構成するレイヤに関連付けられたパラメータセットを含む符号化データのデータ構造において、前記パラメータセットは、前記パラメータセットが関連付けられたレイヤである関連レイヤに対する処理単位サイズとして、前記関連レイヤに対する参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを含み、前記符号化データを復号する画像復号装置において、前記関連レイヤを前記処理単位サイズが示す大きさの処理単位で復号処理が実行されることを特徴としている。
【発明の効果】
【００２８】
本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する画像復号装置において、パラメータセットを復号するパラメータセット復号部と、スライスを復号するスライス復号部と、対象レイヤに対する参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像生成部を備えており、前記パラメータセット復号部は、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして復号し、前記スライス復号部は、前記対象レイヤの処理単位サイズの大きさの処理単位で復号処理を実行する構成である。
【００２９】
本発明に係る画像符号化装置は、入力画像から上位レイヤの符号化データを生成する画像符号化装置において、パラメータセットを符号化するパラメータセット符号化部と、スライスを符号化するスライス符号化部と、対象レイヤに対する参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像生成部を備え、前記パラメータセット符号化部は、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして符号化し、前記スライス符号化部は、前記対象レイヤの処理単位サイズの大きさの処理単位で符号化処理を実行する構成である。
【００３０】
本発明に係る画像符号化データのデータ構造は、階層画像を構成するレイヤに関連付けられたパラメータセットを含む符号化データのデータ構造において、前記パラメータセットは、前記パラメータセットが関連付けられたレイヤである関連レイヤに対する処理単位サイズとして、前記関連レイヤに対する参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを含み、前記符号化データを復号する画像復号装置において、前記関連レイヤを前記処理単位サイズが示す大きさの処理単位で復号処理が実行される構成である。
【００３１】
よって、本発明に係る画像符号化データを復号または符号化を行う、本発明に係る画像復号装置と画像符号化装置では、対象レイヤのCTB単位で対象レイヤの復号と参照レイヤの復号または符号化の並列処理を実行する場合に、処理遅延やメモリ量を削減できる。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る、階層符号化データの備えるパラメータセット復号部において実行される、CTB情報復号処理のフロー図である。
【図２】本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。
【図３】本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。
【図４】上記階層動画像復号装置の概略的構成を示す機能ブロック図である。
【図５】上記階層動画像復号装置に含まれるベース復号部の構成を例示する機能ブロック図である。
【図６】VPS拡張復号時に参照されるシンタックス表の一部であって、レイヤ間依存情報に係る部分である。
【図７】SPS復号時に参照されるシンタックス表の一部であって、符号化ツリーブロックに係る部分である。
【図８】参照レイヤに対する対象レイヤの解像度比が１の場合の対象レイヤのCTBと参照レイヤのCTBの関係を例示した図であって、（ａ）はレイヤ間CTB幅比が２の場合、（ｂ）はレイヤ間CTB幅比が0.5の場合、（ｃ）はレイヤ間CTB幅比が１の場合の例をそれぞれ示す。
【図９】参照レイヤに対する対象レイヤの解像度比が２の場合の対象レイヤのCTBと参照レイヤのCTBの関係を例示した図であって、（ａ）はレイヤ間CTB幅比が２の場合、（ｂ）はレイヤ間CTB幅比が0.5の場合、（ｃ）はレイヤ間CTB幅比が１の場合の例をそれぞれ示す。
【図１０】SPS復号時に参照されるシンタックス表の一部であって、レイヤ間画素対応情報に係る部分である。
【図１１】対象レイヤのピクチャ、参照レイヤのピクチャ、および、レイヤ間画素対応オフセットの関係を例示する図であり、（ａ）は、参照レイヤのピクチャ全体が対象レイヤのピクチャの一部に対応する場合の例を示し、（ｂ）は、参照レイヤのピクチャの一部が対象レイヤのピクチャ全体に対応する場合の例を示す。
【図１２】上記階層動画像復号装置に含まれるスライス復号部の構成を例示する機能ブロック図である。
【図１３】レイヤ識別子が大きいほど大きいCTBサイズを復号する場合のCTB情報復号処理のフロー図である。
【図１４】本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。
【図１５】上記階層動画像符号化装置に含まれるスライス符号化部の構成を例示する機能ブロック図である。
【図１６】上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。
【図１７】上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。
【発明を実施するための形態】
【００３３】
図１〜図１７に基づいて、本発明の一実施形態に係る階層動画像復号装置１、階層動画像符号化装置２を説明すれば以下のとおりである。
【００３４】
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
【００３５】
階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
【００３６】
本実施形態に係る階層動画像符号化装置２、階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
【００３７】
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
【００３８】
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
【００３９】
図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
【００４０】
まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
【００４１】
下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
【００４２】
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
【００４３】
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
【００４４】
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
【００４５】
次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
【００４６】
なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
【００４７】
例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。
【００４８】
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
【００４９】
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
【００５０】
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
【００５１】
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
【００５２】
上位レイヤ  ：  ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
【００５３】
下位レイヤ  ：  ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
【００５４】
対象レイヤ  ：  復号または符号化の対象となっている階層のことをいう。なお、対象レイヤに対応する復号画像を対象レイヤピクチャと呼ぶ。また、対象レイヤピクチャを構成する画素を対象レイヤ画素と呼ぶ。
【００５５】
参照レイヤ（reference layer）  ：  対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。なお、参照レイヤに対応する復号画像を参照レイヤピクチャと呼ぶ。また、参照レイヤを構成する画素を参照レイヤ画素と呼ぶ。
【００５６】
図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
【００５７】
基本レイヤ（base layer；ベースレイヤ）  ：  最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
【００５８】
拡張レイヤ  ：  基本レイヤの上位レイヤは、拡張レイヤと称される。
【００５９】
レイヤ識別子  ：  レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
【００６０】
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
【００６１】
レイヤ間予測  ：  レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
【００６２】
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
【００６３】
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。
【００６４】
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。
【００６５】
例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をHEVCにより符号化して、インターネットで伝送してもよい。
【００６６】
（基本レイヤ）
図３は、基本レイヤにおいて採用できる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造を例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
【００６７】
階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
【００６８】
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
【００６９】
ビデオパラメータセットＶＰＳでは、符号化データに含まれるレイヤ数、レイヤ間の依存関係が規定されている。ＶＰＳは、一般に、複数のレイヤで共通のパラメータセットである。
【００７０】
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブＳＰＳを意味する。
【００７１】
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。
【００７２】
なお、アクティブＳＰＳおよびアクティブＰＰＳはレイヤ毎に設定できる。すなわち、レイヤ毎に異なるＳＰＳやＰＰＳを参照して復号処理を実行できる。
【００７３】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスヘッダＳＨ1〜ＳＨNS、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
【００７４】
なお、以下、スライスヘッダＳＨ1〜ＳＨNSやスライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータも同様である。
【００７５】
スライスヘッダＳＨkには、対応するスライスＳkの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
【００７６】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
【００７７】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ1〜ＣＴＵNC（ＮＣはスライスＳに含まれるＣＴＵの総数）を含んでいる。
【００７８】
（ＣＴＵレイヤ）
ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットより復号される対象ピクチャ上の部分領域を符号化ツリーブロック（CTB: Coding Tree block）と呼ぶ。対象ピクチャの輝度成分である輝度ピクチャに対応するCTBは輝度CTBと呼ばれる。換言すると、CTUから復号される輝度ピクチャ上の部分領域は輝度CTBと呼ばれる。一方、CTUから復号される色差ピクチャに対応する部分領域は色差CTBと呼ばれる。一般に、画像の色フォーマットが決まっていれば、輝度CTBサイズと色差CTBサイズは相互に変換可能である。例えば、色フォーマットが4:2:2の場合は、色差CTBサイズは輝度CTBサイズの各半分である。以下の記載では、特に断りがなければ、CTBサイズとは輝度CTBサイズを意味する。また、CTUサイズは、CTUに対応する輝度CTBサイズである。
【００７９】
符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
【００８０】
符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。
【００８１】
符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
【００８２】
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。なお、CUに対応するピクチャ上の領域は符号化ブロック（CB:Coding Block）と呼ばれる。輝度ピクチャ上のCBを輝度CB、色差ピクチャ上のCBを色差CBと呼ぶ。CUサイズ（符号化ノードのサイズ）とは、輝度CBサイズを意味する。
【００８３】
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
【００８４】
また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
【００８５】
なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。
【００８６】
また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
【００８７】
（ＣＴＵヘッダ）
ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
【００８８】
ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。
【００８９】
なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
【００９０】
また、量子化パラメータ差分Δｑｐは、対象ＣＴＵにおける量子化パラメータｑｐと、当該対象ＣＴＵの直前に符号化されたＣＴＵにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
【００９１】
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。
【００９２】
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
【００９３】
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
【００９４】
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
【００９５】
予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
【００９６】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
【００９７】
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。
【００９８】
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
【００９９】
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
【０１００】
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
【０１０１】
（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容を説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
【０１０２】
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
【０１０３】
［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
【０１０４】
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
【０１０５】
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。
【０１０６】
インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照ピクチャインデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。
【０１０７】
イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
【０１０８】
ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
【０１０９】
また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
【０１１０】
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。
【０１１１】
ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
【０１１２】
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現できる。
【０１１３】
また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。
【０１１４】
各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
【０１１５】
処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
【０１１６】
（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。
【０１１７】
（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用できる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。
【０１１８】
拡張レイヤ符号化データは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。
【０１１９】
また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、または、インター予測のいずれかを指定する情報である。インター予測では、対象レイヤと同一レイヤの参照ピクチャ（レイヤ内参照ピクチャ）または、対象レイヤの参照レイヤ上の参照ピクチャ（レイヤ間参照ピクチャ）のいずれを参照ピクチャとして、参照ピクチャ上の復号画像から予測画像を生成する。
【０１２０】
また、拡張レイヤ符号化データに含まれるパラメータセットのSPSには、拡張レイヤピクチャの処理単位を表わす情報として符号化ツリーブロック情報（CTB情報）が含まれる。CTB情報には、CTBサイズや最小CBサイズを表わす情報が含まれている。本発明における拡張レイヤ符号化データには、概略的には、拡張レイヤに対する参照レイヤでの処理単位のサイズ（CTBサイズ、または、最小CBサイズ）以上の大きさとなるような、処理単位のサイズが含まれている。CTB情報については、階層動画像復号装置１の含むパラメータセット復号部の動作の説明の際に詳細を記載する。
【０１２１】
また、上述のとおり拡張レイヤ（上位レイヤ）の符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。例えば、下位レイヤが、例えば、MPEG-2や、H.264/AVC方式によって符号化されていてもよい。
【０１２２】
拡張レイヤ符号化データでは、VPSが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。
【０１２３】
また、拡張レイヤ符号化データでは、SPS、PPS、スライスヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報、例えば、レイヤ間参照ピクチャセット、レイヤ間参照ピクチャリスト、ベース制御情報等に係るシンタックスが含まれていてもよい。また、SPSやPPSは例えばレイヤ識別子を介して特定のレイヤに関連付けられている。SPSやPPSが関連付けられているレイヤを該SPS、PPSに対する関連レイヤと呼ぶ。
【０１２４】
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。
【０１２５】
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図１３を参照して説明する。
【０１２６】
（階層動画像復号装置の構成）
図４を用いて、階層動画像復号装置１の概略的構成を説明すると次のとおりである。図４は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層符号化データＤＡＴＡを復号して、対象レイヤの復号ピクチャを復号して、出力ピクチャＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは、基本レイヤを参照レイヤとする拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
【０１２７】
図４に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、パラメータセット復号部１２、スライス復号部１４、ベース復号部１５、復号ピクチャ管理部１６を含む。
【０１２８】
ＮＡＬ逆多重化部１１は、NAL（Network Abstraction Layer）における単位であるNALユニットを単位として伝送される階層符号化データＤＡＴＡを逆多重化する。
【０１２９】
NALは、VCL（Video Coding Layer；ビデオ符号化レイヤ）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
【０１３０】
VCLは、動画像符号化処理を行う層のことであり、VCLにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG-2システムに対応する。
【０１３１】
なお、NALでは、NALユニット単位で区切られた符号化データが、宛先となる下位システムへ伝送される。NALユニットには、VCLで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、NALユニット格納されることでNAL多重化されて階層動画像復号装置１に伝送される。
【０１３２】
階層符号化データＤＡＴＡには、VCLにより生成されたNALユニットであるVCL NALユニットの他に、パラメータセット（VPS、SPS、PPS）やSEI等を含むNALユニットが含まれる。それらのNALユニットはVCL NALユニット（符号化レイヤNALユニット）に対して非VCL NALユニット（非符号化レイヤNALユニット）と呼ばれる。
【０１３３】
ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるNALユニットのうち、非VCL NALユニットをパラメータセット復号部１２に、VCL NALユニットをスライス復号部１４にそれぞれ供給する。
【０１３４】
パラメータセット復号部１２は、入力される非VCL NALユニットからパラメータセット、すなわち、ＶＰＳ、ＳＰＳ、および、ＰＰＳを復号してスライス復号部１４に供給する。なお、パラメータセット復号部１２における本発明との関連性の高い処理の詳細について後述する。
【０１３５】
スライス復号部１４は、入力されるVCL NALユニット、パラメータセット、および、参照ピクチャに基づいて復号ピクチャ、または、復号ピクチャの部分領域を生成して復号ピクチャ管理部１６内のバッファに記録する。スライス復号部の詳細な説明は後述する。
【０１３６】
復号ピクチャ管理部１６は、入力される復号ピクチャやベース復号ピクチャを内部の復号ピクチャバッファ（DPB: Decoded Picture Buffer）に記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、復号ピクチャ管理部１６は、DPBに記録されている復号ピクチャを、所定のタイミングで出力ピクチャＰＯＵＴ＃Ｔとして外部に出力する。
【０１３７】
ベース復号部１５は、参照レイヤ符号化データＤＡＴＡ＃Ｒからベース復号ピクチャを復号する。ベース復号ピクチャは、対象レイヤの復号ピクチャ復号時に利用される参照レイヤの復号ピクチャである。ベース復号部１５は、復号したベース復号ピクチャを復号ピクチャ管理部１６内のDPBに記録する。
【０１３８】
図５を用いて、ベース復号部１５の詳細構成を説明する。図５は、ベース復号部１５の構成について例示した機能ブロック図である。
【０１３９】
図５に示すように、ベース復号部１５は、ベースNAL逆多重化部１５１、ベースパラメータセット復号部１５２、ベーススライス復号部１５４、ベース復号ピクチャ管理部１５６を備える。
【０１４０】
ベースNAL逆多重化部１５１は、参照レイヤ符号化データＤＡＴＡ＃Ｒを逆多重化して、VCL NALユニットと非VCL NALユニットを抽出し、非VCL NALユニットをベースパラメータセット復号部１５２に、VCL NALをベーススライス復号部１５４にそれぞれ供給する。
【０１４１】
ベースパラメータセット復号部１５２は、入力される非VCL NALユニットからパラメータセット、すなわち、VPS、SPS、および、PPSを復号してベーススライス復号部１５４に供給する。
【０１４２】
ベーススライス復号部１５４は、入力されるVCL NALユニット、パラメータセット、および、参照ピクチャに基づいてベースレイヤの復号ピクチャ、または、復号ピクチャの部分領域を生成してベース復号ピクチャ管理部１５６内のバッファに記録する。
【０１４３】
ベース復号ピクチャ管理部１５６は、入力される復号ピクチャを内部のDPBに記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、ベース復号ピクチャ管理部１５６は、DPBに記録されている復号ピクチャを、所定のタイミングでベース復号ピクチャとして出力する。
【０１４４】
（パラメータセット復号部１２）
パラメータセット復号部１２は、入力される対象レイヤの符号化データから、対象レイヤの復号に用いられるパラメータセット（VPS、SPS、PPS）を復号して出力する。一般に、パラメータセットの復号は既定のシンタックス表に基づいて実行される。すなわち、シンタックス表の定める手順に従って符号化データからビット列を読み出して、シンタックス表に含まれるシンタックスのシンタックス値を復号する。また、必要に応じて、復号したシンタックス値に基づいて導出した変数を導出して、出力するパラメータセットに含めてもよい。したがって、パラメータセット復号部１２から出力されるパラメータセットは、符号化データに含まれるパラメータセット（VPS、SPS、PPS）に係るシンタックスのシンタックス値、および、該シンタックス値より導出される変数の集合と表現することもできる。
【０１４５】
以下では、パラメータセット復号部１２において復号に使用されるシンタックス表のうち、本発明との関連性が高いシンタックス表を中心に説明する。
【０１４６】
（レイヤ情報）
パラメータセットには、レイヤ情報として、最大レイヤ数情報、レイヤセット情報、および、レイヤ間依存情報が含まれている。
【０１４７】
最大レイヤ数情報は、階層符号化データ内の最大レイヤ数を表わす情報であり、シンタックスvps_max_layers_minus1としてVPSに含まれている。階層符号化データ内の最大レイヤ数（以下、最大レイヤ数）は、（vps_max_layers_minus1+1）の値に設定される。
【０１４８】
レイヤセット情報は、階層符号化データに含まれるレイヤのリストであり、VPSから復号される。VPSには、レイヤ識別子の値がｊのレイヤが、ｉ番目のレイヤセットに含まれるか否かを示すシンタックス（layer_id_included_flag[i][j]）が含まれており、該シンタックスの値が１であるレイヤ識別子を持つレイヤからレイヤセットが構成される。
【０１４９】
レイヤ間依存情報は、VPSに含まれるVPS拡張から復号される。VPS拡張に含まれるレイヤ間依存情報について、図６を参照して説明する。図６は、VPS拡張復号時に参照されるシンタックス表の一部であって、レイヤ間依存情報に係る部分を示す。VPS拡張（vps_extension）には、レイヤ間依存情報として、直接依存フラグ（direct_dependency_flag）が含まれている。直接依存フラグdirect_dependency_flag[i][j]は、ｉ番目のレイヤが、ｊ番目のレイヤに依存しているか否かを示し、依存している場合に１の値、依存していない場合に０の値をとる。ここで、ｉ番目のレイヤがｊ番目のレイヤに依存している場合、ｉ番目のレイヤを対象レイヤとして復号処理を実行する場合に、ｊ番目のレイヤがレイヤ間予測により参照される可能性があることを意味する。逆に、ｉ番目のレイヤがｊ番目のレイヤに依存していない場合、ｉ番目のレイヤを対象レイヤとして復号処理を実行する場合に、ｊ番目のレイヤがレイヤ間予測により参照されないことを意味する。言い換えると、ｉ番目のレイヤのｊ番目のレイヤに対する直接依存フラグが１である場合、ｊ番目のレイヤはｉ番目のレイヤの参照レイヤとなりえる。特定のレイヤに対して参照レイヤとなりえるレイヤの集合、つまり対応する直接依存フラグの値が１であるレイヤの集合を、直接依存レイヤセットと呼ぶ。
【０１５０】
（符号化ツリーブロック情報）
パラメータセットには、符号化ツリーブロック情報として、輝度CTBサイズと輝度CBの最小サイズが含まれている。パラメータセットに含まれるSPSから復号される符号化ツリーブロック情報を図７を参照して説明する。図７は、パラメータセットに含まれるSPSの復号時に参照されるシンタックス表の一部であって、符号化ツリーブロックに係る部分である。
【０１５１】
図７に示したように、SPS復号時に参照されるシンタックス表（seq_parameter_set_rbsp）には、最小CBサイズを表わす情報（log2_min_luma_coding_block_size_minus3）、および、最大CBサイズと最小CBサイズの差を表わす情報（log2_diff_max_min_luma_coding_block_size）が含まれている。ここで、最小CBサイズと、最大CBサイズと最小CBサイズとから最大CBサイズ、つまり、CTBサイズが計算できる。したがって、パラメータセット復号部１２は、符号化データに含まれるSPSのシンタックスから、CTBサイズと最小CTBサイズを導出できる。
【０１５２】
図７に示したシンタックスと最小CBサイズ、および、CTBサイズの関係は次の通りである。最小CBサイズを最小CBの幅で表わす。また、CTBサイズをCTBの幅で表わす。最小CBの幅minCbW、CTBの幅ctbWはそれぞれ以下の式により計算できる。
【０１５３】
minCbW = 1 << log2MinCbSize
ctbW = 1 << (log2MinCbSize + log2_diff_max_min_luma_coding_block_size)
ただし、log2MinCbSize = log2_min_luma_coding_block_size_minus3 + 3
なお、必ずしも最小CBサイズとCTBサイズは上記シンタックスでパラメータセットに含まれている必要はない。別の表現、例えば、最小CBサイズの幅とCTBサイズの幅を直接パラメータセットに含んでいてもよい。
【０１５４】
（CTB情報復号処理）
パラメータセット復号部１２における符号化ツリーブロック情報の復号処理（CTB情報復号処理）を、図１を参照して説明する。図１は、CTB情報復号処理のフロー図である。CTB情報復号処理は、以下のＳ１０１〜Ｓ１０５に示す手順により実行される。
【０１５５】
（Ｓ１０１）階層符号化データに含まれるVPSからレイヤセット情報を復号し、レイヤセットに含まれる最初のレイヤを対象レイヤに設定する。Ｓ１０２に進む。
【０１５６】
（Ｓ１０２）レイヤ間依存情報をVPS拡張から復号し、対象レイヤに対する直接依存レイヤセットを導出する。Ｓ１０３に進む。
【０１５７】
（Ｓ１０３）直接依存レイヤセットに含まれるレイヤが含むCTBサイズの中で最大のCTBサイズ以上のCTBサイズであって、該最大CTBサイズの整数倍のCTBサイズを対象レイヤの符号化ツリーブロック情報としてSPSから復号する。Ｓ１０４に進む。なお、具体的には、復号される対象レイヤ符号化ツリーブロック情報の示すCTBの幅curCtbWは、対象レイヤに対するｊ番目の直接参照レイヤの符号化ツリーブロック情報の示すCTBの幅refCtbW[j]と表わす場合、全てのｊについて、次の関係Ａが成り立つ。
【０１５８】
（関係Ａ）curCtbW >= refCtbW[j]
上記の関係Ａによると、対象レイヤの任意の直接参照レイヤに対して、対象レイヤのCTB幅は直接参照レイヤのCTB幅以上である、ことを意味している。一般に、CTBは正方形である。したがって、対象レイヤの任意の直接参照レイヤに対して、対象レイヤのCTBサイズは直接参照レイヤのCTBサイズ以上である、とも表現できる。
【０１５９】
なお、関係Ａに加えて次の関係Ｂが成立するようなCTBの幅を復号してもよい。
【０１６０】
（関係Ｂ）各ｊに対してある整数Ｎが存在し、curCtbW = N * refCtbW[j]
上記の関係Ｂによると、対象レイヤのCTBの幅は、該対象レイヤの参照レイヤのCTBの幅の整数倍と表現できる。
【０１６１】
（Ｓ１０４）対象レイヤはレイヤセットの最後の要素か否かを判定する。最後の要素ではない場合（Ｓ１０４でNOの場合）、Ｓ１０５を実行する。最後の要素である場合（Ｓ１０４でYESの場合）、CTB情報復号処理を終了する。
【０１６２】
（Ｓ１０５）レイヤセット内で現在の対象レイヤの次のレイヤを新たな対象レイヤに設定して、Ｓ１０２に進む。
【０１６３】
（CTB情報復号処理の効果）
上記のCTB情報復号処理により復号される対象レイヤのCTBサイズを用いると、対象レイヤのCTUと参照レイヤのCTUを並列復号する場合に少ない遅延で対象レイヤのCTBを復号できる。この効果について、図８を図９を参照して詳しく説明する。以下では、参照レイヤの解像度に対する対象レイヤの解像度の比のことをレイヤ間解像度比と呼ぶ。なお、参照レイヤのピクチャ全体が対象レイヤのピクチャ全体に対応する場合、レイヤ間解像度比は、参照レイヤピクチャの幅に対する対象レイヤピクチャの幅の比に等しい。
【０１６４】
図８は、レイヤ間解像度比が１の場合の対象レイヤのCTBと参照レイヤのCTBの関係を例示した図である。以下、参照レイヤのCTB幅に対する対象レイヤのCTB幅の比をレイヤ間CTB幅比と呼ぶ。図８（ａ）は、レイヤ間CTB幅比が２の場合の例を示す。この場合、対象レイヤ上の１個のCTB（ECTB1）に、参照レイヤ上の４個のCTB（BCTB1〜BCTB4）が対応する。したがって、対象レイヤCTBをレイヤ間予測を用いて復号する場合、4個の参照レイヤCTBを先に復号する必要があるため、遅延が生じる。図８（ｂ）は、レイヤ間CTB幅比が0.5の場合の例を示す。この場合、対象レイヤ上の4個のCTB（ECTB5〜ECTB8）に、参照レイヤ上の１個のCTB（BCTB5）が対応する。したがって、対象レイヤCTBをレイヤ間予測を用いて復号する場合、参照レイヤのCTBをメモリに保持しておく必要が生じるため、メモリ量が増加する。例えば、ECTB6とECTB7の両方からBCTB5が参照されるが、ECTB6とECTB7は別のCTBライン上にある。一般に、CTBのラスタスキャン順に処理が実行されるため、ECTB6の復号後、ECTB7の復号開始前までに遅延があり、BCTB5をその間メモリに保持しておく必要が生じる。図８（ｃ）は、レイヤ間CTB幅比が１の場合の例を示す。この場合、対象レイヤ上のCTB（ECTB9）に、参照レイヤ上のCTB（BCTB9）が対応する。したがって、レイヤ間CTB比が２の場合の遅延や、レイヤ間CTB比が２の場合のメモリ量増加は発生しない。
【０１６５】
図９は、レイヤ間解像度比が２の場合の対象レイヤのCTBと参照レイヤのCTBの関係を例示した図である。図９（ａ）は、レイヤ間CTB幅比が２の場合の例を示す。この場合、対象レイヤ上の１個のCTB、参照レイヤ上の１個のCTBが対応する。したがって、遅延もメモリ増加も生じない。図９（ｂ）は、レイヤ間CTB幅比が0.5の場合の例を示す。この場合、対象レイヤ上の16個のCTBに、参照レイヤ上の１個のCTBが対応する。したがって、遅延が生じる。図９（ｃ）は、レイヤ間CTB幅比が１の場合の例を示す。この場合、対象レイヤ上の４個のCTBに、参照レイヤ上の１個のCTBが対応する。したがって、遅延が生じる。
【０１６６】
以上の例で説明したように、レイヤ間CTB幅比を２に設定することで、レイヤ間解像度比が２の場合に遅延とメモリ量増加を抑制できる。また、レイヤ間CTB幅比を１に設定することで、レイヤ間解像度比が１の場合に遅延とメモリ量増加を抑制できる。一方、レイヤ間CTB幅比が0.5の場合は、遅延またはメモリ量増加のいずれかが発生する。上記CTB情報復号処理によれば、レイヤ間CTB幅比が0.5となるような対象レイヤCTBサイズの復号を避けることができる。一方で、レイヤ間CTB幅比が１または２となるような対象レイヤCTBサイズを復号できるため、レイヤ間解像度比に応じた適切なCTBサイズを復号することで対象レイヤと参照レイヤのCTBを並列復号する場合の遅延やメモリ量増加を抑制できる。
【０１６７】
なお、一般に、階層符号化データにおいて、レイヤ間解像度比は１以上に制限される。したがって、レイヤ間CTB幅比を１未満に設定しても、対象レイヤCTBと参照レイヤCTBを並列実行する場合に遅延またはメモリ量増加のいずれかが発生する。したがって、レイヤ間CTB幅比を１以上に制限することが好ましい。
【０１６８】
（レイヤ間位置対応情報）
パラメータセット復号部１２は、入力される対象レイヤ符号化データからレイヤ間位置対応情報を復号する。レイヤ間位置対応情報は、概略的には、対象レイヤと参照レイヤの対応する領域の位置関係を示す。例えば、対象レイヤのピクチャと参照レイヤのピクチャにある物体（物体Ａ）が含まれる場合、対象レイヤのピクチャ上の物体Ａに対応する領域と、参照レイヤのピクチャ上の物体Ａに対応する領域が、前記対象レイヤと参照レイヤの対応する領域に相当する。なお、レイヤ間位置対応情報は、必ずしも上記の対象レイヤと参照レイヤの対応する領域の位置関係を正確に示す情報でなくてもよいが、一般的には、レイヤ間予測の正確性を高めるために正確な対象レイヤと参照レイヤの対応する領域の位置関係を示している。レイヤ間位置対応情報は、参照レイヤのピクチャ上の画素と、対応する対象レイヤのピクチャ上の画素との位置関係を示すレイヤ間画素対応情報を含む。
【０１６９】
レイヤ間画素対応情報は、例えば、上位レイヤのSPSの一部であるSPS拡張（sps_estension）に含まれており、図１０に示すシンタックス表に従って復号される。図１０は、パラメータセット復号部１２がSPS復号時に参照するシンタックス表の一部であって、レイヤ間画素対応情報に係る部分である。
【０１７０】
SPSから復号されるレイヤ間画素対応情報には、SPS拡張に含まれるレイヤ間画素対応情報の個数（num_scaled_ref_layer_offsets）が含まれる。加えて、レイヤ間画素対応情報には、前記レイヤ間画素対応情報の個数分のレイヤ間画素対応オフセットが含まれる。レイヤ間画素対応オフセットには、スケール後参照レイヤ左オフセット（scaled_ref_layer_left_offset[i]）、スケール後参照レイヤ上オフセット（scaled_ref_layer_top_offset[i]）、スケール後参照レイヤ右オフセット（scaled_ref_layer_right_offset[i]）、および、スケール後参照レイヤ下オフセット（scaled_ref_layer_bottom_offset[i]）が含まれる。
【０１７１】
レイヤ間画素対応オフセットに含まれる各オフセットの意味を、図１１を参照して説明する。図１１は、対象レイヤのピクチャ、参照レイヤのピクチャ、および、レイヤ間画素対応オフセットの関係を例示する図である。
【０１７２】
図１１（ａ）は、参照レイヤのピクチャ全体が対象レイヤのピクチャの一部に対応する場合の例を示す。この場合、参照レイヤピクチャ全体に対応する対象レイヤ上の領域（対象レイヤ対応領域）は、対象レイヤピクチャの内部に含まれている。図１１（ｂ）は、参照レイヤのピクチャの一部が対象レイヤのピクチャ全体に対応する場合の例を示す。この場合、参照レイヤ対応領域の内部に対象レイヤピクチャが含まれている。なお、対象レイヤピクチャ全体にオフセッと含まれている。
【０１７３】
図１１に示したように、スケール後参照レイヤ左オフセット（図ではSRL左オフセット）は、参照レイヤ対象領域左辺の対象レイヤピクチャ左辺に対するオフセットを表わす。なお、SRL左オフセットが０より大きい場合、参照レイヤ対象領域左辺が対象レイヤピクチャ左辺の右側に位置することを表わす。
【０１７４】
スケール後参照レイヤ上オフセット（図ではSRL上オフセット）は、参照レイヤ対象領域上辺の対象レイヤピクチャ上辺に対するオフセットを表わす。なお、SRL上オフセットが０より大きい場合、参照レイヤ対象領域上辺が対象レイヤピクチャ上辺の下側に位置することを表わす。
【０１７５】
スケール後参照レイヤ右オフセット（図ではSRL右オフセット）は、参照レイヤ対象領域右辺の対象レイヤピクチャ右辺に対するオフセットを表わす。なお、SRL右オフセットが０より大きい場合、参照レイヤ対象領域右辺が対象レイヤピクチャ右辺の左側に位置することを表わす。
【０１７６】
スケール後参照レイヤ下オフセット（図ではSRL下オフセット）は、参照レイヤ対象領域下辺の対象レイヤピクチャ下辺に対するオフセットを表わす。なお、SRL下オフセットが０より大きい場合、参照レイヤ対象領域下辺が対象レイヤピクチャ下辺の上側に位置することを表わす。
【０１７７】
（スライス復号部１４）
スライス復号部１４は、入力されるVCL NALユニット、および、パラメータセットに基づいて復号ピクチャを生成して出力する。
【０１７８】
図１２を用いて、スライス復号部１４の概略的構成を説明する。図１２は、スライス復号部１４の概略的構成を示した機能ブロック図である。
【０１７９】
スライス復号部１４は、スライスヘッダ復号部１４１、CTU復号部１４４を備えている。CTU復号部１４４は、さらに、予測残差復元部１４４１、予測画像生成部１４４２、および、CTU復号画像生成部１４４３を含んでいる。
【０１８０】
（スライスヘッダ復号部）
スライスヘッダ復号部１４１は、入力されるVCL NALユニットとパラメータセットに基づいてスライスヘッダを復号する。復号したスライスヘッダは、入力されるVCL NALユニットと合わせてCTU復号部１４４に出力する。
【０１８１】
（CTU復号部）
CTU復号部１４４は、概略的には、入力されるスライスヘッダ、VCL NALユニットに含まれるスライスデータ、および、パラメータセットに基づいて、スライスに含まれる各CTUに対応する領域の復号画像を復号することで、スライスの復号画像を生成する。ここで、CTUサイズは、パラメータセットに含まれる、前記CTB情報復号処理で導出した対象レイヤに対するCTBサイズが用いられる。スライスの復号画像は、入力されるスライスヘッダが示すスライス位置に、復号ピクチャの一部として出力される。CTUの復号画像は、CTU復号部１４４内部の予測残差復元部１４４１、予測画像生成部１４４２、および、CTU復号画像生成部１４４３により生成される。予測残差復元部１４４１は、入力のスライスデータに含まれる予測残差情報（ＴＴ情報）を復号して対象CTUの予測残差を生成して出力する。予測画像生成部１４４２は、入力のスライスデータに含まれる予測情報（ＰＴ情報）の示す予測方法と予測パラメータに基づいて予測画像を生成して出力する。その際、必要に応じて、参照ピクチャの復号画像や符号化パラメータが利用される。CTU復号画像生成部１４４３は、入力される予測画像と予測残差を加算して対象CTUの復号画像を生成して出力する。
【０１８２】
（動画像復号装置１の効果）
以上説明した本実施形態に係る階層動画像復号装置１（階層画像復号装置）は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、対象レイヤである上位レイヤの復号ピクチャを復元する階層画像復号装置であって、パラメータセットを復号するパラメータセット復号部１２と、スライスを復号するスライス復号部１４と、対象レイヤに対する参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像生成部１４４２を備えている。加えて、前記パラメータセット復号部は、参照レイヤのCTBサイズ（処理単位サイズ）以上の大きさのCTBサイズ（処理単位サイズ）を、対象レイヤのCTBサイズ（処理単位サイズ）として復号し、前記スライス復号部は、前記対象レイヤのCTBサイズ（処理単位サイズ）の大きさのCTB（処理単位）で復号処理を実行できる。
【０１８３】
したがって、上記階層動画像復号装置１は、対象レイヤと参照レイヤのCTBを並列復号する場合の遅延またはメモリ量増加を発生させるCTBサイズである、参照レイヤCTBサイズよりも小さい対象レイヤCTBサイズが復号されることを抑制した上で、CTBの並列復号を低遅延かつ少ないメモリ量で実行する対象レイヤのCTBサイズを復号できる。
【０１８４】
（変形例１：レイヤ間CTBサイズ比の制約の別の例）
上記階層動画像復号装置１のCTB情報復号処理において、対象レイヤに対する任意の参照レイヤに対してレイヤ間CTBサイズ比が１以上となるようなCTBサイズを復号する例を説明したが、別のレイヤ間CTBサイズ比に係る制約を満たすCTBサイズを復号しても構わない。例えば、下記に示した何れかの制約を満たすCTBサイズを復号してもよい。
【０１８５】
（制約１）全てのレイヤでCTBサイズが一致
この制約では、階層符号化データに含まれる全てのレイヤに対するCTBサイズが一致するよう制約されている。換言すると、CTB情報復号処理において、対象レイヤがレイヤセットに含まれる最初のレイヤ（最下位レイヤ）である場合には、任意のサイズのCTBが復号される。一方、対象レイヤがレイヤセットに含まれる２個目移行のレイヤである場合には、前記最初のレイヤで復号されたCTBサイズと同一のCTBサイズが復号される。
【０１８６】
上記制約によれば、全てのレイヤが同じCTBサイズのCTBを単位として符号化または復号処理されている。対象レイヤと参照レイヤでCTBサイズが異なる場合、レイヤ間動き予測に代表されるCTBサイズに依存した方式により参照ピクチャが含む情報を読み出す場合、同一のピクチャを参照ピクチャとする処理であっても、参照ピクチャが対象ピクチャと同一レイヤのピクチャであるか、もしくは、参照ピクチャが対象ピクチャの参照レイヤのピクチャであるかによって結果が異なるという問題が生じる。上記制約によれば、同一のピクチャがいずれのレイヤから参照される場合であっても、同一のCTBサイズによりレイヤ間動き予測が適用できるため、レイヤ毎にレイヤ間動き予測を最適用する処理を省略できる。
【０１８７】
（制約２）レイヤチェイン内でCTBサイズが一致
この制約では、同一のレイヤチェインに属するレイヤのCTBサイズが一致するよう制約されている。レイヤチェインとは、レイヤの集合であって、同一レイヤチェインに属する２個のレイヤは、直接参照の関係、または、間接参照の関係のいずれかの関係にある。レイヤＡの直接参照レイヤセットにレイヤＢが含まれる場合、レイヤＡとレイヤＢは直接参照の関係にあるという。また、レイヤＡとレイヤＢが直接参照の関係にあり、レイヤＢとレイヤＣが直接参照の関係にある場合、レイヤＡとレイヤＣは間接参照の関係にあるという。一方、レイヤＡとレイヤＢの関係が直接参照の関係でも間接参照の関係でもない場合、レイヤＡとレイヤＢは独立の関係にあるという。互いに独立の２つのレイヤは、異なるレイヤチェインに属する。
【０１８８】
上記制約によれば、同一のレイヤチェインに属するレイヤについては、前記制約１で説明したのと同様の効果を得ることができる。一方、異なるレイヤチェインに属するレイヤについては、異なるCTBサイズを復号できる。異なるレイヤチェインに属するレイヤ間ではレイヤ間予測が適用されないため、異なるCTBサイズを用いても構わないため、制約２では制約１と較べてより柔軟にCTBサイズを設定できる。
【０１８９】
（制約３）レイヤ識別子が大きいほどCTBサイズを大きくする
この制約では、階層符号化データにレイヤＡとレイヤＢが含まれ、レイヤＡのレイヤ識別子がレイヤＢのレイヤ識別子の値に較べて大きい場合、レイヤＡに対するCTBサイズがレイヤＢに対するCTBサイズ以上となるようにCTBサイズが制約される。この制約を適用する場合のCTB情報復号処理について図１３を参照して説明する。図１３は、レイヤ識別子が大きいほど大きいCTBサイズを復号する場合のCTB情報復号処理のフローを示す。
【０１９０】
制約３を適用する場合のCTB情報復号処理は、以下のＳ２０１〜Ｓ２０５に示す手順で実行される。なお、レイヤセットには、レイヤ識別子の昇順にレイヤが含まれている。（Ｓ２０１）階層符号化データに含まれるVPSからレイヤセット情報を復号し、レイヤセットに含まれる最初のレイヤを対象レイヤに設定し、暫定CTB最大幅の値を０に設定する。Ｓ２０２に進む。なお、暫定CTB最大幅の値は必ずしも０である必要はないが、最小のCTB幅以下に設定する必要がある。
（Ｓ２０２）対象レイヤのCTB幅として、暫定CTB最大幅以上のCTB幅を復号する。Ｓ２０３に進む。
（Ｓ２０３）暫定CTB最大幅の値として、対象レイヤのCTB幅を設定する。この手順により、暫定CTBの最大幅の値は対象レイヤとして処理済みのレイヤに対するCTB幅の中で最大のCTB幅の値に設定される。
（Ｓ２０４）対象レイヤはレイヤセットの最後の要素か否かを判定する。最後の要素ではない場合（Ｓ２０４でNOの場合）、Ｓ２０５を実行する。最後の要素である場合（Ｓ２０４でYESの場合）、CTB情報復号処理を終了する。
（Ｓ２０５）レイヤセット内で現在の対象レイヤの次のレイヤを新たな対象レイヤに設定して、Ｓ２０２に進む。
【０１９１】
上記のCTB情報復号処理により、レイヤセットに含まれうレイヤのうち、レイヤ識別子が大きいレイヤほど大きいCTBサイズ（CTB幅）が復号される。レイヤ識別子ａのレイヤＡとレイヤ識別子ｂのレイヤＢがあって、ｂがａより大きい場合、レイヤＡはレイヤＢの参照レイヤに設定できるが、レイヤＢはレイヤＡの参照レイヤには設定できない。したがって、レイヤ識別子が大きいレイヤほど大きいCTBサイズを復号することで、対象レイヤのCTBサイズが参照レイヤのCTBサイズ以上になることが保証される。加えて、上記の制約３に基づくCTB情報復号処理では、対象レイヤの複数の直接依存レイヤのCTBサイズを判定する必要がないため、処理が簡略化できる。
【０１９２】
（変形例２：レイヤ間解像度比と符号化ツールに応じた制約の例）
上記階層動画像復号装置１のCTB情報復号処理において、常に同一の制約を満たすCTBサイズを復号する例を説明したが、それに限らない。パラメータセットに含まれる情報を参照して、所定の条件に応じて異なる制約を満たすCTBサイズを復号してもよい。例えば、下記の何れかの制約条件によりCTBサイズが満たすべき制約が選択されてもよい。
【０１９３】
（制約条件１）レイヤ間解像度比
この制約条件では、レイヤ間解像度比、すなわち、参照レイヤの解像度に対する対象レイヤの解像度の比に基づいて、適用するレイヤ間CTBサイズ比に係る制約を決定する。なお、レイヤ間解像度比は、厳密には、図１１を参照して説明した、参照レイヤピクチャに対する参照レイヤ対応領域の比である。具体的な制約条件とレイヤ間CTBサイズ比に係る制約の関係は次の通りである。
【０１９４】
Ｃ１ａ）レイヤ間解像度比が１に等しい場合、参照レイヤのCTBサイズと対象レイヤのCTBサイズが一致する制約を適用する。この条件の場合、例えば、変形例１の制約１や制約２として説明したレイヤ間CTBサイズ比に係る制約が適用できる。
【０１９５】
Ｃ１ｂ）レイヤ間解像度比が１より大きい場合、対象レイヤのCTBサイズが参照レイヤのCTBサイズ以上とする制約を適用する。この条件の場合、例えば、図１を参照して説明した制約や、変形例１の制約３として説明したレイヤ間CTBサイズ比に係る制約が適用できる。
【０１９６】
レイヤ間解像度比が１と等しい場合、パラメータセット復号部１２におけるCTB情報復号処理の効果として、図８を参照して説明したように、参照レイヤのCTBサイズと一致する対象レイヤのCTBサイズを適用することで遅延やメモリ量増加を抑制できる。一方、レイヤ間解像度比が１より大きい場合、図９を参照して説明したように、参照レイヤのCTBサイズより大きい対象レイヤのCTBサイズを適用することで遅延やメモリ量増加を抑制できる場合がある。上記の制約条件１に従うと、レイヤ間解像度比に応じて、適切な制約のCTBサイズをCTB情報復号処理で復号できる。
【０１９７】
なお、対象レイヤと参照レイヤが空間スケーラビリティの関係にある場合、レイヤ間解像度比は１より大きい値となる。一方、対象レイヤと参照レイヤがＳＮＲスケーラビリティ、または、ビュースケーラビリティの関係にある場合、レイヤ間解像度比は１となる。このことから、レイヤ間解像度比が１に等しい、という条件は、対象レイヤと参照レイヤがＳＮＲスケーラビリティまたはビュースケーラビリティの関係にある、という条件と読み替えることもできる。また、レイヤ間解像度比が１より大きい、という条件は、対象レイヤと参照レイヤが空間スケーラビリティの関係にある、という条件と読み替えることもできる。
【０１９８】
なお、上記説明した制約は、レイヤ間解像度比がＣ１ａの条件を満たす場合に、レイヤ間階層度比がＣ１ｂの条件を満たす場合に較べて、より強いレイヤ間CTBサイズ比に係る制約を適用しているともいえる。この性質を満たす限りにおいては、必ずしもＣ１ａやＣ１ｂで示したレイヤ間CTBサイズ比に係る制約を利用せず、他のレイヤ間CTBサイズ比に係る制約を適用してもよい。例えば、レイヤ間解像度比がＣ１ａの条件を満たす場合に、対象レイヤのCTBサイズが参照レイヤのCTBサイズ以上とする制約を適用し、レイヤ間解像度比がＣ１ａの条件を満たす場合に、対象レイヤのCTBサイズを制約しないという構成でもよい。
【０１９９】
（制約条件２）レイヤ間画像予測における動きベクトル制限の有無
この制約条件では、対象レイヤにおいて、参照レイヤ上のピクチャを参照ピクチャとしてレイヤ間画像予測を行う場合に、動きベクトルが０に制限されているか否かに応じて、適用するレイヤ間CTBサイズ比に係る制約を決定する。具体的な制約条件とレイヤ間CTBサイズ比に係る制約の関係は次の通りである。
【０２００】
Ｃ２ａ）レイヤ間画像予測適用時の動きベクトルが０に制限されている場合、参照レイヤのCTBサイズと対象レイヤのCTBサイズが一致する制約を適用する。
【０２０１】
Ｃ２ｂ）レイヤ間画像予測適用時の動きベクトルが０に制限されていない場合、対象レイヤのCTBサイズが参照レイヤのCTBサイズ以上とする制約を適用する。
【０２０２】
なお、動きベクトルが０に制限されているという条件は、厳密には、動きベクトルの各成分が０に等しい条件、と表現される。また、レイヤ間画像予測において動きベクトルが０に制限されている場合、対象レイヤ上の画素と対応する参照レイヤ上の位置（対応参照レイヤ位置）の画素値（または、画素値の補間により得られる値）が予測値として用いられる。動きベクトルが０に制限されていない場合、前記対象参照レイヤ位置に動きベクトルに相当する変位を加えて得られる位置の画素値が予測値として用いられる。
【０２０３】
動きベクトルが０に制限されている場合は、制限されていない場合に較べて、対象レイヤと参照レイヤをCTB単位の並列処理が容易になる。特に、参照レイヤと対象レイヤでCTBサイズが一致していれば、対象レイヤのCTBにおいてレイヤ間画像予測により参照される対象レイヤ上の領域が対象レイヤ上の対応するCTBに制限されるため、並列処理がより容易になる。
【０２０４】
なお、一般には、対象レイヤと参照レイヤが空間スケーラビリティやＳＮＲスケーラビリティの関係にある場合、レイヤ間画像予測における動きベクトルは０に制限されている。一方、対象レイヤと参照レイヤがビュースケーラビリティの関係にある場合、レイヤ間画像予測における動きベクトルは０に制限されていない。
【０２０５】
（制約条件３）レイヤ間位置対応情報
この制約条件では、パラメータセットに含まれる、対象レイヤに対する参照レイヤのレイヤ間位置対応情報に基づいて、適用するレイヤ間CTBサイズ比に係る制約を決定する。具体的な制約条件とレイヤ間CTBサイズ比に係る制約の関係は次の通りである。
【０２０６】
Ｃ３ａ）SRL左オフセットとSRL上オフセットの値がともに対象レイヤCTBサイズの整数倍である場合、参照レイヤのCTBサイズと対象レイヤのCTBサイズが一致する制約を適用する。
【０２０７】
Ｃ３ｂ）上記以外の場合（SRL左オフセットまたはSRL上オフセットのいずれかが対象レイヤCTBサイズの整数倍ではない場合）、対象レイヤのCTBサイズが参照レイヤのCTBサイズ以上とする制約を適用する。
【０２０８】
ここで、SRL左オフセットとSRL上オフセットは、図１１を参照して説明した、レイヤ間位置位置対応情報に含まれるシンタックスである。上記制約条件によれば、SRL左オフセットとSRL上オフセットが対象レイヤCTBの整数倍の場合、すなわち、参照レイヤ対応領域左上画素と対象ピクチャ左上画素が対象レイヤCTBの整数倍ずれた位置にある場合、参照レイヤと対象レイヤのCTBサイズが一致する。この場合、レイヤ間解像度比が１でれば、参照レイヤと対象レイヤのCTB位置が一致するため、並列処理が容易になる。
【０２０９】
（制約条件の組み合わせ）
上記複数の制約条件を組み合わせることもできる。例えば、上記の制約条件１と制約条件２を組み合わせた制約条件を用いてもよい。その場合、次のような制約条件とレイヤ間CTBサイズ比に係る制約の関係となる。
【０２１０】
Ｄ１ａ）レイヤ間解像度比が１に等く、かつ、レイヤ間画像予測適用時の動きベクトルが０に制限されている場合、参照レイヤのCTBサイズと対象レイヤのCTBサイズが一致する制約を適用する。
【０２１１】
Ｄ１ｂ）上記以外の場合（レイヤ間解像度比が１より大きい、または、レイヤ間画像予測適用時の動きベクトルが０に制限されていない場合）、対象レイヤのCTBサイズが参照レイヤのCTBサイズ以上とする制約を適用する。
【０２１２】
（変形例３：最小CBサイズへの適用）
上記階層動画像復号装置１のCTB情報復号処理において、所定の制約を満たすCTBサイズを復号する例を説明したが、CTBサイズ以外の処理単位について、同様の制約を満たす処理単位サイズを復号することでも効果が得られる。例えば、最小CBサイズを処理単位として、CTB情報復号処理において、所定の制約を満たす最小CBサイズを復号できる。
【０２１３】
具体的には、最小CBサイズを処理単位とする場合のCTB情報復号処理は、図１を参照して説明した手順において、Ｓ１０３を次のＳ１０３ａに置き換えた手順を適用できる。（Ｓ１０３ａ）直接依存レイヤセットに含まれるレイヤが含む最小CBサイズの中で最大の最小CBサイズ以上の最小CBサイズであって、該最小CBサイズの整数倍の最小CBサイズを対象レイヤの符号化ツリーブロック情報としてSPSから復号して、Ｓ１０４に進む。なお、具体的には、復号される対象レイヤ符号化ツリーブロック情報の示す最小CB幅curMinCbWは、対象レイヤに対するｊ番目の直接参照レイヤの符号化ツリーブロック情報の示す最小CBの幅をrefMinCbW[j]と表わす場合、全てのｊについて、次の関係Ａ’が成り立つ。
【０２１４】
（関係Ａ’）curMinCbW >= refMinCbW[j]
上記の関係Ａ’によると、対象レイヤの任意の直接参照レイヤに対して、対象レイヤの最小CB幅は直接参照レイヤの最小CB幅以上である、ことを意味している。
【０２１５】
（変形例４：制限情報のシグナル）
上記階層動画像復号装置１のCTB情報復号処理において、所定の制約を満たすCTBサイズを復号する例を説明したが、CTBサイズの満たすべき制約を示す情報（CTBサイズ制約情報、処理単位サイズ制約情報）をパラメータセットの一部として復号し、該CTBサイズ制約情報の示す制約を満たすCTBサイズをCTB情報復号処理において復号できる。
【０２１６】
具体的には、階層符号化データから復号されるVPSに、CTBサイズ制約情報を復号するようパラメータ復号部１２を構成できる。
【０２１７】
CTBサイズ制約情報は、例えば、レイヤ間CTBサイズ制約有効フラグであり、該フラグの値０は、参照レイヤのCTBサイズと対象レイヤのCTBサイズの間に制約がないことを示し、該フラグの値１は、対象レイヤのCTBサイズが対象レイヤのCTBサイズ以上である制約が適用されることを示す。
【０２１８】
また、CTBサイズ制約情報は、例えば、レイヤ間CTBサイズ制約識別子であり、該識別子の値０は、参照レイヤのCTBサイズと対象レイヤのCTBサイズの間に制約がないことを示し、該識別子の値１は、対象レイヤのCTBサイズが対象レイヤのCTBサイズ以上である制約が適用されることを示し、該識別子の値２は、対象レイヤのCTBサイズと対象レイヤのCTBサイズが一致する制約が適用されることを示す。
【０２１９】
階層符号化データ内のVPSに含まれるCTBサイズ制約情報を参照することで、階層動画像復号装置で対象レイヤと参照レイヤのCTB単位並列処理が実行可能か否かを容易に判定できる。
【０２２０】
CTBサイズ制約情報は、上記の例に限定されず、別の制約（例えば変形例１で説明したいずれかの制約）が適用されることを示す情報であってもよい。また、必ずしも常にVPSに含まれる必要はなく、特定の条件を満たす場合、例えば、パラメータセットの示すスケーラビリティの種別（scalability_type）がSNRスケーラビリティである場合、にのみVPSに含まれていても構わない。
【０２２１】
また、CTBサイズ制約情報は、VPSに２個以上含まれていてもよい。例えば、レイヤセットに含まれるレイヤ毎にCTBサイズ制約情報を含める構成を用いることができる。また、例えば、直接依存レイヤ毎にCTBサイズ制約条件を含める構成を用いることができる。２個以上のCTBサイズ制約情報を含めることで、パラメータセットの符号量は増加するが、より柔軟にレイヤ間のCTBサイズ制約に係る情報を伝送できる。
【０２２２】
（変形例５：ツール制限の併用）
上記階層動画像復号装置１のCTB情報復号処理において、所定の制約を満たすCTBサイズを復号することで、参照レイヤCTBと対象レイヤCTBの並列復号時の遅延やメモリ量を低減できることを説明した。前記並列復号時の遅延やメモリ量低減のさらなる低減を目的として、参照レイヤ上の動き情報の参照を制限することができる。
【０２２３】
具体的には、所定の条件を満たす場合に、対象レイヤにおいてレイヤ間動き予測を適用しない。すなわち、参照レイヤ上のピクチャの動き情報を参照する動き情報予測や動き情報推定を実行しない。前記所定の条件とは、レイヤ間解像度比が１であって、スケーラビリティの種別がＳＮＲスケーラビリティを示す場合である。
【０２２４】
上記の条件でレイヤ間動き予測を適用しない場合、同一ピクチャ上の動き情報が同一レイヤ内の動き予測とレイヤ間動き予測の両方の予測により参照される状況を避けることができる。したがって、参照レイヤと対象レイヤのCTBサイズが異なる場合であっても、常に単一の方法で動き情報を推定できるため、階層動画像復号装置の実装を簡略化できる。
【０２２５】
（階層動画像符号化装置の構成）
図１４を用いて、階層動画像符号化装置２の概略構成を説明する。図１４は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
【０２２６】
図１４に示すように階層動画像符号化装置２は、NAL多重化部２１、パラメータセット符号化部２２、スライス符号化部２４、復号ピクチャ管理部１６、および、ベース復号部１５を備える。
【０２２７】
ＮＡＬ多重化部２１は、入力される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。
【０２２８】
パラメータセット符号化部２２は、入力画像に基づいて、入力画像の符号化に用いるパラメータセット（VPS、SPS、および、PPS）を設定して、対象レイヤ符号化データＤＡＴＡ＃Ｔの一部として非VCL NALユニットの形式でパケット化してNAL多重化部２１に供給する。
【０２２９】
パラメータセット符号化部２２で符号化されるパラメータセットには、階層動画像復号装置１の備えるパラメータセット復号部１２の説明で記載した符号化ツリーブロック情報を含んでいる。パラメータセット符号化部２２は、符号化ツリーブロック情報として、レイヤ間CTB幅比が１以上となるCTBサイズを符号化する。また、パラメータセットには、対象レイヤの直接依存レイヤの集合である直接依存レイヤセットが含まれる。
【０２３０】
スライス符号化部２４は、入力される入力画像、パラメータセット、タイル情報、および、復号ピクチャ管理部１６に記録されている参照ピクチャに基づいて、ピクチャを構成するスライスに対応する入力画像の一部を符号化して、当該部分の符号化データを生成し、対象レイヤ符号化データＤＡＴＡ＃Ｔの一部としてNAL多重化部２１に供給する。スライス符号化部２４の詳細な説明は後述する。
【０２３１】
復号ピクチャ管理部１６は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１６と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１６では、内部のDPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略できる。なお、階層動画像復号装置１の復号ピクチャ管理部１６の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の復号ピクチャ管理部１６にも適用できる。
【０２３２】
ベース復号部１５は、既に説明した階層動画像復号装置１の備えるベース復号部１５と同一の構成要素であり、詳細説明は省略する。
【０２３３】
（スライス符号化部）
次に図１５を参照して、スライス符号化部２４の構成の詳細を説明する。図１５は、スライス符号化部２４の概略的構成を示した機能ブロック図である。
【０２３４】
図１５に示すように、スライス符号化部２４は、スライスヘッダ設定部２４１、CTU符号化部２４４を含む。CTU符号化部２４４は、内部に予測残差符号化部２４４１、予測画像符号化部２４４２、CTU復号画像生成部１４４３を含む。
【０２３５】
スライスヘッダ設定部２４１は、入力されるパラメータセットに基づいてスライス単位で入力される入力画像の符号化に用いるスライスヘッダを生成する。生成されたスライスヘッダは、スライス符号化データの一部として出力されるとともに、入力画像と合わせてCTU符号化部２４４に供給される。
【０２３６】
CTU符号化部２４４は、入力されるパラメータセット、スライスヘッダに基づいて、入力画像（対象スライス部分）をCTU単位で符号化して、対象スライスに係るスライスデータおよび復号画像（復号ピクチャ）を生成して出力する。CTU符号化部２４４では、パラメータセットが含むCTBサイズの大きさのCTBを単位として対象スライスの入力画像を分間し、各CTBに対応する画像を一つのCTUとして符号化する。CTUの符号化は、予測画像符号化部２４４２、予測残差符号化部２４４１、CTU復号画像生成部により実行される。
【０２３７】
予測画像符号化部２４４２は、対象スライスに含まれる対象CTUの予測方式および予測パラメータを決定し、決定した予測方式に基づいて予測画像を生成して予測残差符号化部２４４１とCTU復号画像生成部１４４３に出力する。予測方式や予測パラメータの情報は予測情報（ＰＴ情報）として可変長符号化されて、スライス符号化データに含まれるスライスデータの一部として出力される。予測画像符号化部２４４２で選択可能な予測方式には、少なくともレイヤ間画像予測が含まれている。
【０２３８】
予測残差符号化部２４４１は、入力される入力画像と予測画像の差分画像を、変換・量子化して得られる量子化変換係数（ＴＴ情報）を、スライス符号化データに含まれるスライスデータの一部として出力する。また、量子化変換係数に逆変換・逆量子化を適用して予測残差を復元し、復元した予測残差をCTU復号画像生成部１４４３に出力する。
【０２３９】
CTU復号画像生成部１４４３は、階層動画像復号装置１の同名の構成要素と同じ機能を有しているため、同一の符号を付与して説明を省略する。
【０２４０】
（動画像符号化装置２の効果）
以上説明した本実施形態に係る階層動画像符号化装置２は、入力画像から上位レイヤの符号化データを生成する階層動画像符号化装置であって、パラメータセットを符号化するパラメータセット符号化部２２と、スライスを符号化するスライス符号化部２４と、参照レイヤ上のピクチャを参照ピクチャとするレイヤ間予測により予測画像を生成する予測画像符号化部２４４２を備ている。加えて、前記パラメータセット符号化部２２は、参照レイヤの処理単位サイズ以上の大きさの処理単位サイズを、対象レイヤの処理単位サイズとして符号化し、前記スライス符号化部２４は、前記対象レイヤの処理単位サイズの大きさの処理単位で符号化処理を実行することができる。
【０２４１】
したがって、上記階層動画像符号化装置２は、対象レイヤと参照レイヤのCTBを並列復号する場合の遅延またはメモリ量増加を発生させるCTBサイズである、参照レイヤCTBサイズよりも小さい対象レイヤCTBサイズが符号化されることを抑制した上で、CTBの並列復号を低遅延かつ少ないメモリ量で実行する対象レイヤのCTBサイズを符号化できる。
【０２４２】
（階層符号化データの構成）
（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
【０２４３】
図１６に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図１６の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
【０２４４】
図１６の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
【０２４５】
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図１６の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
【０２４６】
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
【０２４７】
図１６の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図１６の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
【０２４８】
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図１６の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
【０２４９】
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
【０２５０】
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
【０２５１】
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
【０２５２】
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
【０２５３】
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
【０２５４】
図１７に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図１７の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
【０２５５】
図１７の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
【０２５６】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０２５７】
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図１７の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
【０２５８】
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
【０２５９】
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
【０２６０】
図１７の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図１７の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
【０２６１】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０２６２】
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図１７の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
【０２６３】
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
【０２６４】
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
【０２６５】
（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０２６６】
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２６７】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０２６８】
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２６９】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０２７０】
本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用できる。
【符号の説明】
【０２７１】
１          階層動画像復号装置（画像復号装置）
１１        ＮＡＬ逆多重化部
１２        パラメータセット復号部
１４        スライス復号部
１４１      スライスヘッダ復号部
１４４      ＣＴＵ復号部
１４４１    予測残差復元部
１４４２    予測画像生成部
１４４３    ＣＴＵ復号画像生成部
１５        ベース復号部
１５１      ベースＮＡＬ逆多重化部
１５２      ベースパラメータセット復号部
１５４      ベーススライス復号部
１５６      ベース復号ピクチャ管理部
１６        復号ピクチャ管理部
２          階層動画像符号化装置（画像符号化装置）
２１        ＮＡＬ多重化部
２２        パラメータセット符号化部
２４        スライス符号化部
２４１      スライスヘッダ設定部
２４４      ＣＴＵ符号化部
２４４１    予測残差符号化部
２４４２    予測画像符号化部
【図１】
2015076807.tif 000003
【図２】
2015076807.tif 000004
【図３】
2015076807.tif 000005
【図４】
2015076807.tif 000006
【図５】
2015076807.tif 000007
【図６】
2015076807.tif 000008
【図７】
2015076807.tif 000009
【図８】
2015076807.tif 000010
【図９】
2015076807.tif 000011
【図１０】
2015076807.tif 000012
【図１１】
2015076807.tif 000013
【図１２】
2015076807.tif 000014
【図１３】
2015076807.tif 000015
【図１４】
2015076807.tif 000016
【図１５】
2015076807.tif 000017
【図１６】
2015076807.tif 000018
【図１７】
2015076807.tif 000019