(57)【要約】      （修正有）【課題】符号化処理、または、復号処理におけるメモリを削減する。【解決手段】階層動画像復号装置は、上位レイヤ内の対象ピクチャの復号ピクチャ導出処理に先立って、下位レイヤの復号ピクチャに基づき生成されるレイヤ間参照ピクチャを復号ピクチャバッファに追加し、レイヤ間参照ピクチャの参照マークを参照使用に設定し、レイヤ間参照ピクチャの出力マークを出力不要に設定する。ピクチャ管理部は、復号ピクチャバッファの各ピクチャの出力マークと参照マークとを参照して、対象ピクチャ以降の復号及び出力が不要であるピクチャを特定し、特定したピクチャを復号ピクチャバッファから破棄するバンピング処理を実行する。【選択図】図１
2015002495.tif 000002
【特許請求の範囲】
【請求項１】
階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、
上位レイヤの復号ピクチャバッファを管理するピクチャ管理部を備え、
上記ピクチャ管理部は、上位レイヤ内の対象ピクチャの復号ピクチャ導出処理に先立って、下位レイヤの復号ピクチャに基づき生成されるレイヤ間参照ピクチャを上記復号ピクチャバッファに追加し、当該レイヤ間参照ピクチャの参照マークを参照使用に設定し、当該レイヤ間参照ピクチャの出力マークを出力不要に設定することを特徴とする画像復号装置。
【請求項２】
上記ピクチャ管理部は、上記復号ピクチャ導出処理の完了後、上記対象ピクチャが復号順である次の対象ピクチャに移る前のタイミングで、上記レイヤ間参照ピクチャの参照マークを参照不使用に設定することを特徴とする、請求項１に記載の画像復号装置。
【請求項３】
上記ピクチャ管理部は、上記復号ピクチャバッファの各ピクチャの出力マークと参照マークとを参照して、上記対象ピクチャ以降の復号及び出力が不要であるピクチャを特定し、当該特定したピクチャを上記復号ピクチャバッファから破棄するバンピング処理を実行することを特徴とする請求項１又は請求項２に記載の画像復号装置。
【請求項４】
参照レイヤのピクチャの復号ピクチャであるベース復号ピクチャを生成するベース復号部と、
上記ベース復号部は、上記参照レイヤの復号ピクチャバッファであるベース復号ピクチャバッファを管理するベース復号ピクチャ管理部とを備え、
上記ベースピクチャ管理部は、上記ピクチャ管理部で実行されるバンピング処理と同一のバンピング処理により、復号ピクチャバッファから破棄するピクチャを決定することを特徴とする請求項３に記載の画像復号装置。
【請求項５】
階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、
複数レイヤ共通の復号ピクチャバッファを管理するピクチャ管理部を備え、
上記ピクチャ管理部は、対象ピクチャの属するサブレイヤにおける同一レイヤ内ピクチャ間のインター予測適用有無を判定し、当該判定結果が当該同一レイヤ内ピクチャ間のインター予測適用不可である場合には、当該対象ピクチャの参照マークを参照不使用に設定することを特徴とする画像復号装置。
【請求項６】
上記同一レイヤ内ピクチャ間のインター予測適用有無の判定は、最高次サブレイヤに属するピクチャに対してのみ適用されることを特徴とする請求項５に記載の画像復号装置。
【請求項７】
階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、
複数レイヤ共通の復号ピクチャバッファを管理するピクチャ管理部と、
階層符号化データからシンタックス値を復号する可変長復号部とを備え、
上記可変長復号部は、シンタックス値として廃棄可能フラグを復号し、
上記廃棄可能フラグは、対象ピクチャが復号順で後続のピクチャのインター予測またはレイヤ間画像予測で参照されない場合に１の値をとり、対象ピクチャが復号順で後続のピクチャのインター予測またはレイヤ間画像予測で参照される場合に０の値をとり、
上記ピクチャ管理部は、上記廃棄可能フラグの値に応じて上記対象ピクチャの参照マークを更新することを特徴とする画像復号装置。
【請求項８】
入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、
上位レイヤの復号ピクチャバッファを管理するピクチャ管理部を備え、
上記ピクチャ管理部は、上位レイヤ内の対象ピクチャの復号ピクチャ導出処理に先立って、下位レイヤの復号ピクチャに基づき生成されるレイヤ間参照ピクチャを上記復号ピクチャバッファに追加し、当該レイヤ間参照ピクチャの参照マークを参照使用に設定し、当該レイヤ間参照ピクチャの出力マークを出力不要に設定することを特徴とする画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
【背景技術】
【０００２】
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
【０００３】
動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。
【０００４】
これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００５】
イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。
【０００６】
インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で予測画像生成に用いられる復号済のピクチャは参照ピクチャと呼ばれる。
【０００７】
HEVCでは、復号済のピクチャは復号ピクチャバッファ（DPB: Decoded Picture Buffer）に記録されている。DPB上の各ピクチャには、参照ピクチャとして利用される可能性の有無の情報（参照マーク）と、出力ピクチャとして出力する必要の有無の情報（出力マーク）が関連付けられている。参照マークおよび出力マークの情報に基づいて不要なピクチャをDPBから取り除くことで、DPBに記録されているピクチャの枚数が過剰にならないように制御できる。
【０００８】
また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。代表的な階層符号化方式の一つとしてSHVC（Scalable HEVC）が知られている（非特許文献２）。
【０００９】
SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。
【００１０】
レイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤの復号画像を利用して、予測画像を生成する。レイヤ間動き予測では、下位レイヤの動き情報を利用して、動き情報の予測値を導出する。
【００１１】
SHVCでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。
【００１２】
SHVCのレイヤ間画像予測で使用される下位レイヤの復号画像は、所定の変換（例えばスケーリング）を適用した後に、レイヤ間参照ピクチャとしてバッファに記録される。SHVCでは、復号された対象レイヤのピクチャについては、HEVC同様に復号済のピクチャをDPBに記録して管理する仕組みが適用される。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開)
【非特許文献２】JCTVC-M1008_v1 「SHVC Working Draft 2」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR, 18-26 Apr. 2013 (２０１３年５月２１日公開)
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、従来技術として挙げたSHVCでは、レイヤ間予測画像生成に利用される下位レイヤの復号ピクチャを、拡張レイヤにおけるDPBで正しく管理する仕組みが提供されていない。より具体的には、レイヤ間予測で参照した下位レイヤの復号ピクチャが不要となるタイミングが明らかではない。そのため、拡張レイヤの符号化または復号処理時に下位レイヤの復号ピクチャが適切なタイミングで破棄できないという課題があった。
【００１５】
本発明は、上記問題に鑑みてされたものであり、その目的は、階層符号化方式において、下位レイヤの復号ピクチャをDPBに含めて管理することにより、下位レイヤの復号ピクチャがバッファ上で不要となった時点で破棄できる仕組みを提供することにある。また、それにより、より少ないメモリで符号化データを符号化／復号する画像符号化装置および画像復号装置を実現することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、上位レイヤの復号ピクチャバッファを管理するピクチャ管理部を備え、上記ピクチャ管理部は、上位レイヤ内の対象ピクチャの復号ピクチャ導出処理に先立って、下位レイヤの復号ピクチャに基づき生成されるレイヤ間参照ピクチャを上記復号ピクチャバッファに追加し、当該レイヤ間参照ピクチャの参照マークを参照使用に設定し、当該レイヤ間参照ピクチャの出力マークを出力不要に設定することを特徴としている。
【００１７】
また、上記画像復号装置において、上記ピクチャ管理部は、上記復号ピクチャ導出処理の完了後、上記対象ピクチャが復号順である次の対象ピクチャに移る前のタイミングで、上記レイヤ間参照ピクチャの参照マークを参照不使用に設定する、ことが好ましい。
【００１８】
また、上記画像復号装置において、上記ピクチャ管理部は、上記復号ピクチャバッファの各ピクチャの出力マークと参照マークとを参照して、上記対象ピクチャ以降の復号及び出力が不要であるピクチャを特定し、当該特定したピクチャを上記復号ピクチャバッファから破棄するバンピング処理を実行する、ことが好ましい。
【００１９】
また、上記画像復号装置において、参照レイヤのピクチャの復号ピクチャであるベース復号ピクチャを生成するベース復号部と、上記ベース復号部は、参照レイヤの復号ピクチャバッファであるベース復号ピクチャバッファを管理するベース復号ピクチャ管理部とを備え、上記ベースピクチャ管理部は、上記ピクチャ管理部で実行されるバンピング処理と同一のバンピング処理により、復号ピクチャバッファから破棄するピクチャを決定する、ことが好ましい。
【００２０】
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、複数レイヤ共通の復号ピクチャバッファを管理するピクチャ管理部を備え、上記ピクチャ管理部は、対象ピクチャの属するサブレイヤにおける同一レイヤ内ピクチャ間のインター予測適用有無を判定し、当該判定結果が当該同一レイヤ内ピクチャ間のインター予測適用不可である場合には、当該対象ピクチャの参照マークを参照不使用に設定することを特徴としている。
【００２１】
また、上記画像復号装置において、上記同一レイヤ内ピクチャ間のインター予測適用有無の判定は、最高次サブレイヤに属するピクチャに対してのみ適用される、ことが好ましい。
【００２２】
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、複数レイヤ共通の復号ピクチャバッファを管理するピクチャ管理部と、階層符号化データからシンタックス値を復号する可変長復号部とを備え、上記可変長復号部は、シンタックス値として廃棄可能フラグを復号し、上記廃棄可能フラグは、対象ピクチャが復号順で後続のピクチャのインター予測またはレイヤ間画像予測で参照されない場合に１の値をとり、対象ピクチャが復号順で後続のピクチャのインター予測またはレイヤ間画像予測で参照される場合に０の値をとり、上記ピクチャ管理部は、上記廃棄可能フラグの値に応じて上記対象ピクチャの参照マークを更新する、ことが好ましい。
【００２３】
上記課題を解決するために、本発明に係る画像符号化装置は、入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、上位レイヤの復号ピクチャバッファを管理するピクチャ管理部を備え、上記ピクチャ管理部は、上位レイヤ内の対象ピクチャの復号ピクチャ導出処理に先立って、下位レイヤの復号ピクチャに基づき生成されるレイヤ間参照ピクチャを上記復号ピクチャバッファに追加し、当該レイヤ間参照ピクチャの参照マークを参照使用に設定し、当該レイヤ間参照ピクチャの出力マークを出力不要に設定することを特徴としている。
【発明の効果】
【００２４】
本発明に係る画像復号装置はピクチャ管理部を備えおり、前記ピクチャ管理部は、レイヤ間参照ピクチャをDPBに追加し、続いて、当該レイヤ間参照ピクチャの参照マークを「参照使用」に設定するとともに、当該レイヤ間参照ピクチャの出力マークを「出力不要」に設定するベース参照ピクチャ制御部を備えている。したがって、階層動画像復号装置１は、ピクチャ復号に用いたレイヤ間参照ピクチャを、レイヤ間参照ピクチャとインター予測の参照ピクチャを区別しないバンピング処理を用いて、不要になった時点でDPBから除去できるため、少ないメモリ平均使用量で入力符号化データを復号できる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る階層動画像復号装置に含まれる復号ピクチャ管理部におけるピクチャ管理処理を例示するフロー図である。
【図２】本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。
【図３】本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。
【図４】上記階層動画像復号装置の概略的構成を示す機能ブロック図である。
【図５】上記階層動画像復号装置に含まれる復号ピクチャ管理部の構成を例示した機能ブロック図である。
【図６】復号処理の特定のタイミングでのDPBの状態を例示した図である。
【図７】上記階層動画像復号装置の可変長復号部からＳＰＳ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットおよび参照ピクチャリストに係る部分を示す図である。
【図８】上記階層動画像復号装置の可変長復号部から短期参照ピクチャセット情報の復号時に利用されるシンタックス表を示す図である。
【図９】上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャセットに係る部分を示す図である。
【図１０】スライス復号時に参照されるシンタックス表の一部であって、ILRP情報に相当する部分を示す図である。
【図１１】上記階層動画像復号装置の可変長復号部からスライスヘッダ復号時に利用されるシンタックス表の一部であって、参照ピクチャリストに係る部分を示す図である。
【図１２】上記階層動画像復号装置の可変長復号部から参照ピクチャリスト修正情報の復号時に利用されるシンタックス表を示す図である。
【図１３】対象レイヤ上で復号順の連続する２枚のピクチャ（順にピクチャＭ、ピクチャＮ）でのピクチャ管理処理の具体例を示す図である。
【図１４】上記階層動画像復号装置に含まれるベース復号部の構成を例示する機能ブロック図である。
【図１５】共通DPMモデル利用時のピクチャ管理処理の一例において処理の一部を表すフロー図である。
【図１６】共通DPMモデル利用時のピクチャ管理処理の別の一例において処理の一部を表すフロー図である。
【図１７】本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。
【図１８】上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。
【図１９】上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。
【発明を実施するための形態】
【００２６】
図１〜図１９に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２を説明すれば以下のとおりである。
【００２７】
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
【００２８】
また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
【００２９】
本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
【００３０】
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
【００３１】
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
【００３２】
図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
【００３３】
まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
【００３４】
下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
【００３５】
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
【００３６】
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
【００３７】
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
【００３８】
次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
【００３９】
なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
【００４０】
例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。
【００４１】
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
【００４２】
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
【００４３】
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
【００４４】
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
【００４５】
上位レイヤ  ：  ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
【００４６】
下位レイヤ  ：  ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
【００４７】
対象レイヤ  ：  復号または符号化の対象となっている階層のことをいう。
【００４８】
参照レイヤ（reference layer）  ：  対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
【００４９】
図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
【００５０】
基本レイヤ（base layer）  ：  最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
【００５１】
拡張レイヤ  ：  基本レイヤの上位レイヤは、拡張レイヤと称される。
【００５２】
レイヤ識別子  ：  レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
【００５３】
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
【００５４】
レイヤ間予測  ：  レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
【００５５】
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
【００５６】
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。
【００５７】
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。
【００５８】
例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をHEVCにより符号化して、インターネットで伝送してもよい。
【００５９】
（基本レイヤ）
図３は、基本レイヤにおいて採用できる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造を例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
【００６０】
階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
【００６１】
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
【００６２】
ビデオパラメータセットＶＰＳでは、符号化データに含まれるレイヤ数、レイヤ間の依存関係が規定されている。
【００６３】
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブＳＰＳを意味する。
【００６４】
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。
【００６５】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスヘッダＳＨ1〜ＳＨNS、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
【００６６】
なお、以下、スライスヘッダＳＨ1〜ＳＨNSやスライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータも同様である。
【００６７】
スライスヘッダＳＨkには、対応するスライスＳkの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
【００６８】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
【００６９】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ1〜ＣＴＵNC（ＮＣはスライスＳに含まれるＣＴＵの総数）を含んでいる。
【００７０】
（ＣＴＵレイヤ）
ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック（CTB: Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
【００７１】
符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
【００７２】
符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。
【００７３】
符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
【００７４】
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
【００７５】
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
【００７６】
また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
【００７７】
なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。
【００７８】
また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
【００７９】
（ＣＴＵヘッダ）
ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
【００８０】
ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。
【００８１】
なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
【００８２】
また、量子化パラメータ差分Δｑｐは、対象ＣＴＵにおける量子化パラメータｑｐと、当該対象ＣＴＵの直前に符号化されたＣＴＵにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
【００８３】
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。
【００８４】
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
【００８５】
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
【００８６】
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
【００８７】
予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
【００８８】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
【００８９】
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。
【００９０】
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
【００９１】
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
【００９２】
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
【００９３】
（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容を説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
【００９４】
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
【００９５】
［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
【００９６】
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
【００９７】
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。
【００９８】
インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照ピクチャインデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。
【００９９】
イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
【０１００】
ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
【０１０１】
また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
【０１０２】
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。
【０１０３】
ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
【０１０４】
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現できる。
【０１０５】
また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。
【０１０６】
各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
【０１０７】
処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
【０１０８】
（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。
【０１０９】
（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用できる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。
【０１１０】
スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。
【０１１１】
また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、インター予測、または、レイヤ間画像予測のいずれかを指定する情報である。予測タイプ情報ＰＴｙｐｅには、レイヤ間画像予測モードの適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flag、inter_layer_pred_flag、または、base_mode_flagと呼ばれることもある。
【０１１２】
拡張レイヤにおいて、対象ＣＵのＣＵタイプが、イントラＣＵ、レイヤ間ＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。
【０１１３】
イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。イントラＣＵでは、レイヤ間画像予測フラグが“０”に、予測モードフラグが“０”に設定される。
【０１１４】
レイヤ間ＣＵは、参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間ＣＵでは、レイヤ間画像予測フラグが“１”に、予測モードフラグが“０”に設定される。
【０１１５】
スキップＣＵは、上述のHEVC方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。
【０１１６】
インターＣＵは、非スキップかつ動き補償（MC；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。
【０１１７】
また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。
【０１１８】
下位レイヤが、例えば、MPEG-2や、H.264/AVC方式によって符号化されていてもよい。
【０１１９】
拡張レイヤ符号化データでは、VPSが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。
【０１２０】
また、拡張レイヤ符号化データでは、SPS、PPS、スライスヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報（例えば、後述のレイヤ間参照ピクチャセット、レイヤ間参照ピクチャリスト、ベース制御情報等を直接、または、間接的に導出するためのシンタックス）が含まれていてもよい。
【０１２１】
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。
【０１２２】
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図１６を参照して説明する。
【０１２３】
（階層動画像復号装置の構成）
図４を用いて、階層動画像復号装置１の概略的構成を説明すると次のとおりである。図４は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
【０１２４】
図４に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、ピクチャ復号部１３、復号ピクチャ管理部１４、および、ベース復号部１５を備える。
【０１２５】
ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。
【０１２６】
ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
【０１２７】
ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG-2システムに対応する。
【０１２８】
なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニット格納されることでＮＡＬ多重化されて階層動画像復号装置１に伝送される。
【０１２９】
ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１５に供給する。
【０１３０】
可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号して出力する。
【０１３１】
可変長復号部１２で復号されるシンタックス値には、変換係数や予測情報に係るシンタックス値が含まれる。
【０１３２】
また、可変長復号部１２で復号されるシンタックス値には、対象レイヤの復号に用いるパラメータセット、すなわち、VPS、SPS、PPSに含まれるシンタックス値が含まれる。また、スライスヘッダに含まれるシンタックス値も含まれる。
【０１３３】
可変長復号部１２は、スライスヘッダ、予測情報、および、変換係数に係るシンタックス値をピクチャ復号部１３に供給する。また、可変長復号部１２は、パラメータセット、および、スライスヘッダに係るシンタックス値を復号ピクチャ管理部１４に供給する。
【０１３４】
ピクチャ復号部１３は、対象ピクチャに関するスライスヘッダ、予測情報、および、変換係数に係るシンタックス値に基づいて、対象ピクチャの復号ピクチャを復号する。復号ピクチャは復号ピクチャ管理部１４に出力される。
【０１３５】
なお、ピクチャ復号部１３におけるインター予測による予測画像生成には、復号ピクチャ管理部１４内のDPBに記録されている復号ピクチャであって、入力される参照ピクチャリストに含まれるピクチャが参照ピクチャとして利用される。また、ピクチャ復号部１３におけるレイヤ間画像予測による予測画像生成には、復号ピクチャ管理部１４内のDPBに記録されているレイヤ間参照ピクチャであって、入力される参照ピクチャリストに含まれるピクチャが参照ピクチャとして利用される。
【０１３６】
復号ピクチャ管理部１４は、入力される復号ピクチャやベース復号ピクチャを内部のDPBに記録するとともに、入力されるシンタックス値に基づいて参照ピクチャリスト生成や出力ピクチャ決定を行う。なお、復号ピクチャ管理部１４は本実施形態における重要な構成要素であるため、詳細を後述する。
【０１３７】
ベース復号部１５は、参照レイヤ符号化データＤＡＴＡ＃Ｒからベース復号ピクチャを復号する。ベース復号ピクチャは、対象レイヤの復号ピクチャ復号時に利用される参照レイヤの復号ピクチャである。なお、ベース復号ピクチャは１レイヤの復号ピクチャとは限らない。すなわち、対象レイヤが複数の参照レイヤを参照する場合は、ベース復号部１５は、参照する複数のレイヤに対応するベース復号ピクチャを復号する。ベース復号部１５は、復号したベース復号ピクチャを復号ピクチャ管理部１４に供給する。なお、ベース復号部１５の詳細は後述する。
【０１３８】
以下では、復号ピクチャ管理部１４とベース復号部１５の詳細を説明する。
【０１３９】
（復号ピクチャ管理部）
図５を用いて、復号ピクチャ管理部１４の詳細構成を説明する。図５は、復号ピクチャ管理部１４の構成を例示した機能ブロック図である。
【０１４０】
図５に示すように、復号ピクチャ管理部１４は、DPB１４１、RPS導出部１４２、参照ピクチャ制御部１４３、ベース参照ピクチャ制御部１４４、RPL導出部１４５、出力制御部１４６を備える。
【０１４１】
＜DPB１４１＞
DPB１４１は、復号ピクチャバッファ（Decoded Picture Buffer）とも呼ばれ、ピクチャ復号部１３で復号された対象レイヤの各ピクチャの復号ピクチャを記録する。DPBには、対象レイヤの各ピクチャに対応する復号ピクチャが出力順（POC: Picture Order Count）に関連付けて記録されている。加えて、DPBの各ピクチャに対しては、参照マークおよび出力マークを設定できる。
【０１４２】
参照マークは、DPB上のピクチャが対象ピクチャ以降の復号処理における予測画像生成処理（例えば、インター予測やレイヤ間画像予測）への利用可否を示す情報である。参照マークは、具体的には、「短期参照使用」（「used for short-term reference」）、「長期参照使用」（「used for long-term reference」）、「参照不使用」（「not used for reference」）のいずれかの値を取る。
【０１４３】
なお、参照マークの取り得る値を上記とするがそれに限らない。例えば、「レイヤ間参照使用」（「used for inter-layer reference」）の値に参照マークを設定できてもよい。また、「短期参照使用」と「長期参照使用」の区別をせず、両者の和集合を「参照使用」（「used for reference」）と定義してもよい。
【０１４４】
出力マークは、DPB上のピクチャを外部へ出力する必要性の有無を示す情報である。出力マークは、具体的には、「出力要」（「needed for output」）、「出力不要」（「not needed for output」）のいずれかの値を取る。
【０１４５】
なお、参照マークや出力マークは復号処理や符号化処理の特定のタイミングで明示的に設定されていなくてもよく、その場合、参照マークまたは出力マークは「未定義」と判定する。
【０１４６】
ここでDPBの状態の例を図６を参照して説明する。図６は、復号処理の特定のタイミングでのDPBの状態を例示している。図６において、DPBには4枚のピクチャが記録されており、それぞれ、POC、参照マーク（図中ではRM）、出力マーク（図中ではOM）が関連付けられている。POCがａ、参照マークがb、出力マークがcのピクチャを「a-b-c」と表記すると、DPBには「2-LR-NNfO」、「10-NR-NNfO」、「14-SR-NfO」、「12-unk-NfO」のピクチャが含まれている。なお、参照マークの値は略記号を用いて、「長期参照使用」を“LR”、「長期参照使用」を“SR”、「長期参照使用」を“NR”、「未定義」を“unk”と表記している。また、出力マークの値は略記号を用いて、「出力要」を“NfO”、「出力不要」を“NNfO”と表記している。本発明に関する以降の説明において、特に断りがなければ、DPB内のピクチャの状態を表すために上記の表記方法を用いる。
【０１４７】
このDPB状態の例では、「10-NR-NNfO」のピクチャは「参照不使用」であって「出力不要」であるからDPBに保持しておく必要はなく、出来るだけ早い段階にDPBから削除することで、DPBのメモリ使用量を節約できる。
【０１４８】
＜RPS導出部１４２＞
RPS導出部１４２は、入力されたRPSに係るシンタックス値に基づいて対象ピクチャの復号処理に用いるRPS（参照ピクチャセット）を導出してベース参照ピクチャ制御部１４４、参照ピクチャ制御部１４３、および、RPL導出部１４５に出力する。
【０１４９】
以下ではRPSに係るシンタックス値、および、当該シンタックス値に基づくRPS導出処理の詳細をそれぞれ説明する。
【０１５０】
（RPS情報）
RPSに係るシンタックス値（以下、RPS情報）は以下を含む。
１．SPS短期RPS情報：SPSに含まれる短期参照ピクチャセット情報
２．SPS長期RP情報：SPSに含まれる長期参照ピクチャ情報
３．SH短期RPS情報：スライスヘッダに含まれる短期参照ピクチャセット情報
４．SH長期RP情報：スライスヘッダに含まれる長期参照ピクチャ情報
５．ILRP情報：レイヤ間参照ピクチャ情報
（１．SPS短期RPS情報）
SPS短期RPS情報は、SPSを参照する各ピクチャから利用され得る複数の短期RPSの情報を含む。なお、短期RPSは、対象ピクチャに対する相対的な位置（例えば対象ピクチャとのPOC差分）により指定される参照ピクチャ（短期参照ピクチャ）となり得るピクチャの集合である。
【０１５１】
SPS短期RPS情報を、図７を参照して説明する。図７は、SPS復号時に利用されるSPSシンタックス表の一部を例示している。図７の（Ａ）の部分がSPS短期RPS情報に相当する。SPS短期RPS情報には、SPSに含まれる短期RPS数（num_short_term_ref_pic_sets）、および、各短期RPSの定義（short_term_ref_pic_set(i)）が含まれる。
【０１５２】
短期RPS情報について、図８を参照して説明する。図８は、SPS復号時、および、スライスヘッダ復号時に利用される短期RPSのシンタックス表を例示している。
【０１５３】
短期RPS情報には、対象ピクチャより表示順が早い短期参照ピクチャ数（num_negative_pics）、および、対象ピクチャより表示順が遅い短期参照ピクチャ数（num_positive_pics）が含まれる。なお、以下では、対象ピクチャより表示順が早い短期参照ピクチャを前方短期参照ピクチャ、対象ピクチャより表示順が遅い短期参照ピクチャを後方短期参照ピクチャと呼ぶ。
【０１５４】
また、短期RPS情報には、各前方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s0_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s0_flag[i]）が含まれる。加えて、各後方短期参照ピクチャに対して、対象ピクチャに対するPOC差分の絶対値（delta_poc_s1_minus1[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_s1_flag[i]）が含まれる。
【０１５５】
（２．SPS長期RP情報）
SPS長期RP情報は、SPSを参照する各ピクチャから利用され得る複数の長期参照ピクチャの情報を含む。なお、長期参照ピクチャとは、シーケンス内の絶対的な位置（例えばPOC）により指定されるピクチャである。
【０１５６】
SPS長期RP情報の復号について、図７を再び参照して説明する。図７の（Ｂ）の部分がSPS長期RP情報に相当する。SPS長期RP情報には、SPSで伝送される長期参照ピクチャの有無を示す情報（long_term_ref_pics_present_flag）、SPSに含まれる長期参照ピクチャ数（num_long_term_ref_pics_sps）、および、各長期参照ピクチャの情報が含まれる。長期参照ピクチャの情報には、参照ピクチャのPOC（lt_ref_pic_poc_lsb_sps[i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_sps_flag[i]）が含まれる。
【０１５７】
なお、上記参照ピクチャのPOCは、参照ピクチャに関連付けられたPOCの値自体であってもよいし、POCのLSB（Least Significant Bit）、すなわち、POCを既定の２の冪乗の数で割った余りの値を用いてもよい。
【０１５８】
（３．SH短期RPS情報）
SH短期RPS情報は、スライスヘッダを参照するピクチャから利用され得る単一の短期RPSの情報を含む。
【０１５９】
SPS短期RPS情報の復号について、図９を参照して説明する。図９は、スライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図９の（Ａ）の部分がSH短期RPS情報に相当する。SH短期RPS情報は、短期RPSをSPSで復号済みの短期RPSの中から選択するか、スライスヘッダに明示的に含めるかを示すフラグ（short_term_ref_pic_set_sps_flag）を含む。SPSで復号済の中から選択する場合、復号済の短期RPSを一つ選択する識別子（short_term_ref_pic_set_idx）が含まれる。スライスヘッダに明示的に含める場合は、前述の図８を参照して説明したシンタックス表（short_term_ref_pic_set(idx)）に相当する情報が、SPS短期RPS情報に含まれる。
【０１６０】
（４．SH長期RP情報）
SH長期RP情報は、スライスヘッダを参照するピクチャから利用され得る長期参照ピクチャの情報を含む。
【０１６１】
SH長期RP情報の復号について、図９を再び参照して説明する。図９の（Ｂ）の部分がSH長期RP情報に相当する。SH長期RP情報は、対象ピクチャで長期参照ピクチャが利用可能（long_term_ref_pic_present_flag）である場合のみスライスヘッダに含まれる。SPSで１以上の長期参照ピクチャを復号済である場合（num_long_term_ref_pics_sps>0）、SPSで復号済の長期参照ピクチャの中で対象ピクチャで参照され得る参照ピクチャの数（num_long_term_sps）がSH長期RP情報に含まれる。また、スライスヘッダで明示的に伝送される長期参照ピクチャ数（num_long_term_pics）がSH長期RP情報に含まれる。加えて、上記num_long_term_spsの数の長期参照ピクチャをSPSで伝送済の長期参照ピクチャの中から選択する情報（lt_idx_sps[i]）がSH長期RP情報に含まれる。さらに、スライスヘッダに明示的に含める長期参照ピクチャの情報として、上記num_long_term_picsの数だけ、参照ピクチャのPOC（poc_lsb_lt [i]）、および、対象ピクチャの参照ピクチャとして使用される可能性の有無（used_by_curr_pic_lt_flag[i]）が含まれる。
【０１６２】
（５．ILRP情報）
ILRP情報は、スライスヘッダを含むピクチャからレイヤ間予測で参照され得るレイヤ間参照ピクチャの情報を含む。
【０１６３】
ILRP情報について、図１０を参照して説明する。図１０はスライス復号時に参照されるシンタックス表の一部であって、ILRP情報に相当する部分である。
【０１６４】
ILRP情報は、レイヤ間予測有効フラグ（inter_layer_pred_enabled_flag）を含む。さらに、レイヤ間予測有効フラグが１であり（レイヤ間予測が有効であり）、かつ、対象ピクチャから参照可能な参照レイヤ数（NumDirectRefLayers[nuh_layer_id]）が１より大きい場合、レイヤ間参照ピクチャ数を表すシンタックス（num_inter_layr_ref_pics_minus1）がILRP情報に含まれる。対象ピクチャにおけるレイヤ間参照ピクチャ数（NumActiveRefLayerPics）は“num_inter_layer_ref_pics_minus1 + 1”の値に設定される。加えて、各レイヤ間参照ピクチャの属するレイヤを示すレイヤ識別子（inter_layer_pred_layer_idc[i]）がILRP情報に含まれる。
【０１６５】
なお、ILRP情報に含まれる上記の各シンタックスは、自明である場合は省略されてもよい。例えば、１つのピクチャから参照可能なレイヤ間参照ピクチャ数が１枚に制限されている場合、レイヤ間参照ピクチャ数に係るシンタックスは不要である。
【０１６６】
（RPS導出処理）
次にRPS情報に基づくRPS導出処理の詳細を説明する。
【０１６７】
RPS導出処理は複数のRPSのサブセットを導出処理に分けられる。RPSのサブセットは以下のように定義される。
【０１６８】
RPSは参照可能ピクチャの種類に応じて次の２つのサブセットに分けられる。
・現ピクチャ参照可能リストListCurr：対象ピクチャにおける参照可能ピクチャのリスト
・後続ピクチャ参照可能リストListFoll：対象ピクチャでは参照されないが、対象ピクチャに復号順で後続のピクチャで参照可能なピクチャのリスト
なお、現ピクチャ参照可能リストに含まれるピクチャの数を、現ピクチャ参照可能ピクチャ数NumCurrListと呼ぶ。
【０１６９】
現ピクチャ参照可能リストは、さらに４つの部分リストから構成される。
・現ピクチャ長期参照可能リストListLtCurr：SPS長期RP情報またはSH長期RP情報により指定される現ピクチャ参照可能ピクチャ
・現ピクチャ短期前方参照可能リストListStCurrBefore：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャ短期後方参照可能リストListStCurrAfter：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャであって、表示順が対象ピクチャより早いもの
・現ピクチャレイヤ間参照可能リストListIlCurr：ILRP情報により指定される現ピクチャ参照可能ピクチャ
後続ピクチャ参照可能リストは、さらに２つの部分リストから構成される。
・後続ピクチャ長期参照可能リストListLtFoll：SPS長期RP情報またはＳＨ長期RP情報により指定される後続ピクチャ参照可能ピクチャ。
・後続ピクチャ短期参照可能リストListStFoll：SPS短期RPS情報またはＳＨ短期RPS情報により指定される現ピクチャ参照可能ピクチャ。
【０１７０】
RPSを構成する、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、現ピクチャ長期参照可能リストListLtCurr、現ピクチャレイヤ間参照可能リストListIlCurr、後続ピクチャ短期参照可能リストListStFoll、および、後続ピクチャ長期参照可能リストListLtFollを次の手順で生成する。加えて、現ピクチャ参照可能ピクチャ数NumPocTotalCurrを導出する。なお、前記各参照可能リストは、以下の処理の開始前に空に設定されている。
（Ｓ１０１）SPS短期RPS情報、および、SH短期RPS情報に基づいて、対象ピクチャの復号に用いる単一の短期参照ピクチャセットを特定する。具体的には、SH短期RPS情報に含まれるshort_term_ref_pic_set_spsの値が０である場合、SH短期RPS情報に含まれるスライスヘッダで明示的に伝送された短期RPSを選択する。それ以外（short_term_ref_pic_set_spsの値が１の場合、ＳＨ短期RPS情報に含まれるshort_term_ref_pic_set_idxが示す短期RPSを、SPS短期RPS情報に含まれる複数の短期RPSの中から選択する。
（Ｓ１０２）選択された短期RPSに含まれる参照ピクチャ各々のPOCを導出する。参照ピクチャのPOCは、参照ピクチャが前方短期参照ピクチャの場合、対象ピクチャのPOCから「delta_poc_s0_minus1[i]+1」の値を減算して導出する。一方、参照ピクチャが後方短期参照ピクチャの場合、対象ピクチャのPOCに「delta_poc_s1_minus1[i]+1」の値を加算して導出する。
（Ｓ１０３）短期RPSに含まれる前方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s0_flag[i]の値が1である場合、当該前方参照ピクチャを現ピクチャ短期前方参照可能リストListStCurrBeforeに追加する。それ以外（used_by_curr_pic_s0_flag[i]の値が0）の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
（Ｓ１０４）短期RPSに含まれる後方参照ピクチャを伝送された順に確認し、関連付けられているused_by_curr_pic_s1_flag[i]の値が1である場合、当該後方参照ピクチャを現ピクチャ短期後方参照可能リストListStCurrAfterに追加する。それ以外（used_by_curr_pic_s1_flag[i]の値が０の場合、当該前方参照ピクチャを後続ピクチャ短期参照可能リストListStFollに追加する。
（Ｓ１０５）      SPS長期RP情報、および、SH長期RP情報に基づいて、対象ピクチャの復号に用いる長期参照ピクチャを特定する。具体的には、num_long_term_spsの数の参照ピクチャをSPS長期RP情報に含まれる参照ピクチャの中から選択して、順に長期RPSに追加する。選択される参照ピクチャは、lt_idx_sps[i]の示す参照ピクチャである。続いて、num_long_term_picsの数の参照ピクチャをSH長期RP情報に含まれる参照ピクチャを順に長期RPSに追加する。
（Ｓ１０６）長期RPSに含まれる参照ピクチャ各々のPOCを導出する。長期参照ピクチャのPOCは、関連付けて復号されたpoc_lst_lt[i]、または、lt_ref_pic_poc_lsb_sps[i]の値から直接導出される。
（Ｓ１０７）長期RPSに含まれる参照ピクチャを順に確認し、関連付けられているused_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が1である場合、当該長期参照ピクチャを現ピクチャ長期参照可能リストListLtCurrに追加する。それ以外（used_by_curr_pic_lt_flag[i]、または、used_by_curr_pic_lt_sps_flag[i]の値が0）の場合、当該長期参照ピクチャを後続ピクチャ長期参照可能リストListLtFollに追加する。
（Ｓ１０８）ILRP情報により指定される参照ピクチャを現ピクチャレイヤ間参照可能リストListIlCurrに追加する。追加は、レイヤ間参照予測が有効（inter_layer_pred_enabled_flagが１）の場合に次の順に実行される。まず、ILRP情報に含まれるレイヤ間参照ピクチャ数個の参照レイヤを、参照レイヤ識別子（inter_layer_pred_layer_idc[i]）に基づき選択してアクティブ参照レイヤに設定する。次に、アクティブ参照レイヤ上の対象ピクチャと同じPOCと関連付けられたピクチャを現ピクチャレイヤ間参照可能リストListIlCurrに追加する。
（Ｓ１０９）変数NumPocTotalCurrの値を、現ピクチャから参照可能な参照ピクチャの和に設定する。すなわち、変数NumPocTotalCurrの値を、現ピクチャ短期前方参照可能リストListStCurrBefore、現ピクチャ短期後方参照可能リストListStCurrAfter、現ピクチャ長期参照可能リストListLtCurr、および、現ピクチャレイヤ間参照可能リストListIlCurrの４つのリストの各要素数の和に設定する。
【０１７１】
＜参照ピクチャ制御部１４３＞
参照ピクチャ制御部１４３は、入力されるRPSに基づいて、DPB１４１を更新する。概略的には、参照ピクチャ制御部１４３は、入力されたRPSにおいて 対象ピクチャ（現ピクチャ）のインター予測で参照可能と示されているピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」）に設定する。加えて、DPBに記録されている対象レイヤの復号ピクチャであって、前記の処理で「参照使用」とマークされないピクチャを「参照不使用」に設定する。なお、DPB上のレイヤ間参照ピクチャの参照マークは参照ピクチャ制御部１４３では変更しない。言い換えると、ベース復号ピクチャに由来するDPB上のピクチャの参照マークの変更は参照ピクチャ制御部１４３では行わず、後述のベース参照ピクチャ制御部１４４で行う。
【０１７２】
参照ピクチャ制御部１４３での参照マーク設定処理は以下の手順で実行される。
（Ｓ２０１）DPB上の全てのピクチャの参照マークを「参照不使用」に設定する。
（Ｓ２０２）次の（ａ）または（ｂ）の条件を満たすピクチャ各々について、対応するDPB上のピクチャ、すなわち同一のPOCが割り当てられているピクチャ、を特定して参照マークを「短期参照使用」に設定する。
【０１７３】
（ａ）RPSの現ピクチャ短期前方参照可能リストListStCurrBeforeに含まれているピクチャ。
【０１７４】
（ｂ）RPSの現ピクチャ長期後方参照可能リストListStCurrAfterに含まれている各ピクチャ。
（Ｓ２０３）次の（ｃ）の条件を満たすピクチャ各々について、対応するDPB上のピクチャを特定して参照マークを「長期参照使用」に設定する。
【０１７５】
（ｃ）RPSの現ピクチャ長期参照可能リストListLtCurrに含まれているピクチャ。
【０１７６】
なお、上記の参照マーク設定手順は一例であり、DPB上のピクチャの参照マークが同じになる限りは別の手順で参照マークを設定してもよい。例えば、上記手順のＳ２０２とＳ２０３の処理を先に実行し、両手順で参照マークが変更されなかったピクチャであって、かつ、対象レイヤの復号ピクチャであるDPB上の各ピクチャのマークを「参照不使用」に設定してもよい。
【０１７７】
＜ベース参照ピクチャ制御部１４４＞
ベース参照ピクチャ制御部１４４は、入力されるベース復号ピクチャとRPSに基づいて、DPB１４１を更新する。概略的には、ベース参照ピクチャ制御部１４４は、入力されたRPSにおいて 対象ピクチャ（現ピクチャ）のレイヤ間インター予測で参照可能と示されているピクチャに対応するベース復号ピクチャをレイヤ間参照ピクチャとしてDPBに記録する。加えて、DPBに記録されたレイヤ間参照ピクチャの参照マークを「参照使用」（「短期参照使用」または「長期参照使用」）に設定する。加えて、DPB上で当該レイヤ間参照ピクチャの出力マークを「出力不要」に設定する。
【０１７８】
より具体的には、ベース参照ピクチャ制御部１４４における参照マーク設定処理は、次の手順で実行される。
【０１７９】
（Ｓ３０１）次の（ｄ）の条件を満たすピクチャ各々について、DPB上のピクチャバッファを確保し、入力されるベース復号ピクチャを当該ピクチャバッファに記録する。
【０１８０】
（ｄ）RPSの現ピクチャレイヤ間参照可能リストListIlCurrに含まれているピクチャ。
【０１８１】
なお、ベース復号ピクチャを記録する際に、必要に応じてスケーリングやフィルタリングを適用した後に前記ピクチャバッファに記録してもよい。特に、参照レイヤと対象レイヤの出力ピクチャの解像度が異なる場合（空間スケーラビリティの場合）、参照レイヤの復号ピクチャであるベース復号ピクチャを、対象レイヤの出力ピクチャの解像度に合わせてスケーリングする必要がある。
【０１８２】
（Ｓ３０２）Ｓ３０１でDPBに記録した各ピクチャの参照マークを「参照使用」に設定する。
【０１８３】
（Ｓ３０３）Ｓ３０１でDPBに記録した各ピクチャの出力マークを「出力不要」に設定する。
【０１８４】
＜RPL導出部１４５＞
RPL導出部１４５は、入力RPS、および、入力シンタックス値に含まれるRPL情報に基づいて対象ピクチャの対象スライスのインター予測またはレイヤ間画像予測で利用する参照ピクチャリストを導出して出力する。
【０１８５】
（RPL情報）
RPL情報は、参照ピクチャリストRPLを構築するためにSPSまたはスライスヘッダより復号されるシンタックス値である。RPL情報は、SPSリスト修正情報、および、SHリスト修正情報から構成される。
【０１８６】
SPSリスト修正情報はSPSに含まれる情報であり、参照ピクチャリスト修正の制約に係る情報である。SPSリスト修正情報について、図７を再び参照して説明する。図７の（Ｃ）の部分がSPSリスト修正情報に相当する。SPSリスト修正情報には、ピクチャに含まれる前スライスで参照ピクチャリストが共通か否かを示すフラグ（restricted_ref_pic_lists_flag）、および、スライスヘッダ内にリスト並べ替えに関する情報が存在するか否かを示すフラグ（lists_modification_present_flag）が含まれる。
【０１８７】
ＳＨリスト修正情報はスライスヘッダに含まれる情報であり、対象ピクチャに適用される参照ピクチャリストの長さ（参照リスト長）の更新情報、および、参照ピクチャリストの並べ替え情報（参照リスト並べ替え情報）が含まれる。SHリスト修正情報について、図１１を参照して説明する。図１１はスライスヘッダ復号時に利用されるスライスヘッダシンタックス表の一部を例示している。図１１の（Ｃ）の部分がＳＨリスト修正情報に相当する。
【０１８８】
参照リスト長更新情報として、リスト長の更新有無を示すフラグ（num_ref_idx_active_override_flag）が含まれる。加えて、Ｌ０参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l0_active_minus1）、および、Ｌ１参照リストの変更後の参照リスト長を表す情報（num_ref_idx_l1_active_minus1）が含まれる。
【０１８９】
参照リスト並べ替え情報としてスライスヘッダに含まれる情報について、図１２を参照して説明する。図１２はスライスヘッダ復号時に利用される参照リスト並べ替え情報のシンタックス表を例示している。
【０１９０】
参照リスト並べ替え情報には、Ｌ０参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l0）が含まれる。前記フラグの値が１（Ｌ０参照リストの並べ替えが有る場合）、かつ、NumPocTotalCurrが２より大きい場合、Ｌ０参照リスト並べ替え順序（list_entry_l0[i]）が参照リスト並べ替え情報に含まれる。ここで、NumPocTotalCurrは、現ピクチャにおいて利用可能な参照ピクチャの数を表す変数である。したがって、Ｌ０参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ０参照リスト並べ替え順序がスライスヘッダに含まれる。
【０１９１】
同様に、参照ピクチャがＢスライスである場合、つまり、対象ピクチャにおいてＬ１参照リストが利用可能である場合、Ｌ１参照リスト並べ替え有無フラグ（ref_pic_list_modification_flag_l1）が参照リスト並べ替え情報に含まれる。前記フラグの値が１、かつ、NumPocTotalCurrが２より大きい場合、Ｌ１参照リスト並べ替え順序（list_entry_l1[i]）が参照リスト並べ替え情報に含まれる。言い換えると、Ｌ１参照リストの並べ替えが有る場合であって、かつ、現ピクチャにおいて利用可能な参照ピクチャ数が２より大きい場合にのみ、Ｌ１参照リスト並べ替え順序がスライスヘッダに含まれる。
【０１９２】
（RPL導出処理）
参照ピクチャリスト構築処理の詳細を説明する。参照ピクチャリスト導出部は、参照ピクチャセットRPSと、RPL修正情報に基づいて参照ピクチャリストRPLを生成する。
【０１９３】
参照ピクチャリストはＬ０参照リストとＬ１参照リストの２つのリストから構成される。始めに、Ｌ０参照リストの構築手順を説明する。Ｌ０参照リストは、以下のＳ３０１〜Ｓ３０７に示す手順で構築される。
（Ｓ３０１）暫定Ｌ０参照リストを生成して、空のリストに初期化する。
（Ｓ３０２）暫定Ｌ０参照リストに対し、現ピクチャ短期前方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０３）暫定Ｌ０参照リストに対し、現ピクチャ短期後方参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０４）暫定Ｌ０参照リストに対し、現ピクチャ長期参照可能リストに含まれる参照ピクチャを順に追加する。
（Ｓ３０５）参照ピクチャリストが修正される場合（RPL修正情報に含まれるlists_modification_present_flagの値が１の場合）、以下のＳ３０６ａ〜Ｓ３０６ｂの処理を実行する。そうでない場合（lists_modification_present_flagの値が０の場合）、Ｓ３０７の処理を実行する。
（Ｓ３０６ａ）Ｌ０参照ピクチャの修正が有効な場合（RPL修正情報に含まれるref_pic_list_modification_flag_l0の値が１の場合）であって、かつ、現ピクチャ参照可能ピクチャ数NumCurrListが２に等しい場合、Ｓ３０６ｂを実行する。そうでない場合、Ｓ３０６ｃを実行する。
（Ｓ３０６ｂ）RPL修正情報に含まれるリスト並べ替え順序list_entry_l0[i]の値を下記の式により設定し、その後、Ｓ３０６ｃを実行する。
【０１９４】
list_entry_l0[0] = 1
list_entry_l0[1] = 0
（Ｓ３０６ｃ）参照リスト並べ替え順序list_entry_l0[i]の値に基づいて、暫定Ｌ０参照リストの要素を並べ換えて、Ｌ０参照リストとする。参照ピクチャインデックスrIdxに対応するＬ０参照リストの要素RefPicList0[rIdx]は、次式により導出される。ここで、RefListTemp0[i]は、暫定Ｌ０参照リストのi番目の要素を表す。
【０１９５】
RefPicList0[ rIdx ] = RefPicListTemp0[ list_entry_l0[ rIdx ] ]
上記の式によれば、参照リスト並べ替え順序list_entry_l0[i]において、参照ピクチャインデックスrIdxの示す位置に記録されている値を参照し、暫定Ｌ０参照リストにおいて前記値の位置に記録されている参照ピクチャを、Ｌ０参照リストのrIdxの位置の参照ピクチャとして格納する。
（Ｓ３０７）暫定Ｌ０参照リストをＬ０参照リストとする。
【０１９６】
次にＬ１参照リストを構築する。なお、Ｌ１参照リストも、上記Ｌ０参照リストと同様の手順で構築できる。上記Ｌ０参照リストの構築手順（Ｓ３０１〜Ｓ３０７）において、Ｌ０参照ピクチャ、Ｌ０参照リスト、暫定Ｌ０参照リスト、list_entry_l0をそれぞれ、Ｌ１参照ピクチャ、Ｌ１参照リスト、暫定Ｌ１参照リスト、list_entry_l1と置き換えればよい。
【０１９７】
＜出力制御部１４６＞
出力制御部１４６は、概略的には、所定のタイミングでDPB141のピクチャを外部に出力するとともに出力マークを更新する。具体的には、出力制御部１４６によるピクチャ出力処理は次の手順で実行される。
【０１９８】
（Ｓ４０１）DPB上のピクチャであって、出力マークが「出力要」であるピクチャのうちPOCが最小であるピクチャを出力する。
【０１９９】
（Ｓ４０２）Ｓ４０１で出力されたピクチャの出力マークを「出力不要」に設定する。
【０２００】
（Ｓ４０３）DPB上のピクチャの中から、参照マークが「参照不使用」であり、かつ、出力マークが「出力不要」であるピクチャを選択して、当該ピクチャをDPBから削除する。
【０２０１】
なお、上記の処理は一般的なDPB上の不要ピクチャ削除処理（一般的なバンピング処理）と呼称できる。一般的なバンピング処理では、DPB上の各ピクチャが対象レイヤの復号ピクチャであるかレイヤ間参照ピクチャ（参照レイヤの復号ピクチャに由来するピクチャ）であるかの判定を行うことなくDPB上のピクチャの出力およびDPB上の不要ピクチャの削除を実行できる。
【０２０２】
（ピクチャ管理処理手順）
次に、復号ピクチャ管理部１４におけるピクチャ管理処理を図１を参照して説明する。図１は、復号ピクチャ管理部１４における対象ピクチャ復号時のピクチャ管理処理の概略を示したフロー図である。対象ピクチャ復号時のピクチャ管理処理は、以下のＳ５０１〜Ｓ５１０の手順で実行される。
【０２０３】
（Ｓ５０１）RPS導出部１４２は、入力されたシンタックス値から対象ピクチャのRPSを導出する。導出されたRPSは参照ピクチャ制御部１４３、ベース参照ピクチャ制御部１４４、および、RPL導出部１４５に出力する。Ｓ５０２に進む。
【０２０４】
（Ｓ５０２）参照ピクチャ制御部１４３は、入力RPSに基づきDPB上の対象レイヤの復号ピクチャの参照マークを更新する。Ｓ５０３に進む。
【０２０５】
（Ｓ５０３）ベース参照ピクチャ制御部１４４は、入力のRPSにレイヤ間参照ピクチャが含まれるか判定する。含まれる場合（Ｓ５０３でYESの場合）、Ｓ５０４に進む。一方、含まれない場合（Ｓ５０３でNOの場合）、Ｓ５０６に進む。
【０２０６】
（Ｓ５０４）ベース参照ピクチャ制御部１４４は、入力のベース復号ピクチャをレイヤ間参照ピクチャとしてDPB１４１上のピクチャバッファに記録し、参照マークを設定する。Ｓ５０５に進む。
【０２０７】
（Ｓ５０５）ベース参照ピクチャ制御部１４４は、Ｓ５０４で記録したレイヤ間参照ピクチャの出力マークを「出力不要」に設定する。Ｓ５０６に進む。
【０２０８】
（Ｓ５０６）出力制御部１４６は、DPB１４１上のピクチャを必要に応じて外部に出力して当該ピクチャの出力マークを更新する。Ｓ５０７に進む。
【０２０９】
（Ｓ５０７）RPL導出部１４５は、入力のRPSとシンタックス値に基づき、対象ピクチャ復号時に用いられる参照ピクチャリストを生成して外部に出力する。Ｓ５０８に進む。なお、このタイミングで、外部では当該参照ピクチャリストおよびDPB１４１上の参照ピクチャを利用して対象ピクチャの復号処理を実行して、対象ピクチャの復号ピクチャを生成する。
【０２１０】
（Ｓ５０８）入力される対象ピクチャの復号ピクチャをDPB１４１上のピクチャバッファに記録する。Ｓ５０９に進む。
【０２１１】
（Ｓ５０９）レイヤ間参照ピクチャの参照マークを「参照不使用」に設定する。Ｓ５１０に進む。
【０２１２】
（Ｓ５１０）対象ピクチャの参照マークを「短期参照使用」に設定する。処理を終了する。
【０２１３】
（ピクチャ管理処理の具体例）
次に、図１を用いて説明したピクチャ管理処理の具体例を図１３を合わせて用いて説明する。図１３は、対象レイヤ上で復号順の連続する２枚のピクチャ（順にピクチャＭ、ピクチャＮ）でのピクチャ管理処理の具体例を説明する図である。図１３(a)は、ピクチャ管理処理のフローを表す。また、図１３(b)は、図１３(a)に示した各ステップにおけるDPB上のピクチャＭに関するレイヤ間参照ピクチャの参照マークと出力マークの状態を表す。
【０２１４】
以下、図１３(a)に示したフローに従って説明する。なお、説明において、DPB上のピクチャＭに関するレイヤ間参照ピクチャの参照マークがａ、出力マークがｂである状態のことを、ピクチャＭに係るレイヤ間参照ピクチャの状態は「ａ−ｂ」である、と表記する。またピクチャＭのPOCをｍ、ピクチャＮのPOCをｎとする。さらに、各ステップの符号は図１の対応するステップを示唆する。例えば「ステップＳ５０４Ｍ」は、「ピクチャＭに対するステップＳ５０４」に相当する。
【０２１５】
（Ｓ５００Ｍ）ピクチャＭを対象ピクチャに設定する。ピクチャＭに係るレイヤ間参照ピクチャはこの段階では対象レイヤのDPB上には存在せず、状態は「unk−unk」である。
【０２１６】
（Ｓ５０４Ｍ）POCがmのベース復号ピクチャをレイヤ間参照ピクチャ（ピクチャＭに係るレイヤ間参照ピクチャ）としてDPBに記録する。加えて、参照マークを「長期参照使用」（“LR”）に設定する。ピクチャＭに係るレイヤ間参照ピクチャの状態は「LR-unk」となる。
【０２１７】
（Ｓ５０５Ｍ）ピクチャＭに係るレイヤ間参照ピクチャの出力マークを「出力不要」（“NNfO”）に設定する。ピクチャＭに係るレイヤ間参照ピクチャの状態は「LR-NNfO」となる。
【０２１８】
（Ｓ５０６Ｍ）DPBのピクチャを出力して出力マークを更新する。ここで、ピクチャＭに係るレイヤ間参照ピクチャの参照マークは「長期参照使用」であるため、当該ピクチャはDPBから除去されず、出力マークも更新されない。したがって、ピクチャＭに係るレイヤ間参照ピクチャの状態は「LR-NNfO」のままとなる。
【０２１９】
（Ｓ５０８Ｍ）ピクチャＭの復号ピクチャをDPBに追加する。ピクチャＭに係るレイヤ間参照ピクチャの状態は「LR-NNfO」のままとなる。
【０２２０】
（Ｓ５０９Ｍ）レイヤ間参照ピクチャの参照マークを「参照不使用」（“NR”）に更新する。ピクチャＭに係るレイヤ間参照ピクチャの状態は「NR-NNfO」となる。
【０２２１】
（Ｓ５００Ｎ）ピクチャＮを対象ピクチャに設定する。ピクチャＭに係るレイヤ間参照ピクチャの状態は「NR-NNfO」のままとなる。
【０２２２】
（Ｓ５０６Ｎ）DPBのピクチャを出力して出力マークを更新する。ここで、DPB上のピクチャＭに係るレイヤ間参照ピクチャは「参照不使用」かつ「出力不要」なので、当該レイヤ間参照ピクチャはDPB上から除去される。
【０２２３】
（ピクチャ管理処理まとめ）
以上、図１と図１３を用いて説明した階層動画像復号装置１の備える復号ピクチャ管理部１４でのピクチャ管理処理は以下のＡ１〜Ａ４に示す特徴を有している。
【０２２４】
Ａ１．レイヤ間参照ピクチャをDPBに追加する処理を含む。
【０２２５】
Ａ２．レイヤ間参照ピクチャをDPBに追加する際に（Ａ１の処理の直後に）、対象ピクチャの当該レイヤ間参照ピクチャの参照マークを「長期参照使用」に設定する処理を含む。
【０２２６】
Ａ３．レイヤ間参照ピクチャをDPBに追加する際に（Ａ１の処理の直後に）、当該レイヤ間参照ピクチャの出力マークを「出力不要」に設定する処理を含む。
【０２２７】
Ａ４．対象ピクチャの復号ピクチャ生成処理の完了後、レイヤ間参照ピクチャの参照マークを「参照不使用」に更新する処理を含む。
【０２２８】
上記特徴から、上記復号ピクチャ管理部１４によるピクチャ管理処理によれば、対象ピクチャの復号においてレイヤ間参照ピクチャとして用いられるピクチャをDPBに追加した上で、当該対象ピクチャの復号ピクチャ生成に利用できる。加えて、前記復号ピクチャ生成が完了した時点で、後続のピクチャ復号に不要となる前記レイヤ間参照ピクチャの参照マークと出力マークの状態を、一般的なバンピング処理によりDPBから破棄できる状態に設定できる。
【０２２９】
したがって、上記復号ピクチャ管理部１４によるピクチャ管理処理によれば、ピクチャ復号に用いたレイヤ間参照ピクチャを、不要になった時点でDPBから除去できるるため、少ないメモリ平均使用量で入力符号化データを復号できる。加えて、DPB上のピクチャがレイヤ間参照ピクチャか、インター予測による参照ピクチャかを区別することなくDPB上の不要ピクチャを破棄できるため、当該処理に入力符号化データの復号にレイヤ間参照ピクチャを用いない場合と同一のアルゴリズムを用いることで回路規模を少なく抑えられる。
【０２３０】
換言すると、復号ピクチャ管理部１４は、ベース復号部１５の内部に含まれる復号ピクチャ管理部が実行するバンピング処理と同一のバンピング処理により、復号ピクチャバッファ（DPB１４１）から破棄するピクチャを決定できるため、回路規模を少なく抑えられる。
【０２３１】
なお、上記特徴のＡ２で参照マークを「長期参照使用」に設定すると記載したが、それに限らず、対象ピクチャの復号に使われる可能性のある旨を示す別の参照マーク（例えば「短期参照使用」や「レイヤ間参照使用」）が設定されていてもよい。対象ピクチャの復号に使われる可能性のある旨を示す参照マークを「参照使用」と表す場合、Ａ２の特徴を次のＡ２’の特徴で置き換えても良い。
【０２３２】
Ａ２’．レイヤ間参照ピクチャをDPBに追加する際に（Ａ１の処理の直後に）、対象ピクチャの当該レイヤ間参照ピクチャの参照マークを「参照使用」に設定する処理を含む。
【０２３３】
また、上記のＡ１〜Ａ４や図１で記載した処理順はあくまで一例であり、それに限らない。
【０２３４】
具体的には、Ａ１、Ａ２、Ａ３の処理は対象ピクチャ導出処理（ピクチャ復号部１３によるピクチャ復号処理）の開始前のタイミングで実行すればよい。
【０２３５】
換言すると、ピクチャ管理部１４は、上位レイヤ内の対象ピクチャの復号ピクチャ導出処理に先立って、下位レイヤの復号ピクチャに基づき生成されるレイヤ間参照ピクチャを上記復号ピクチャバッファに追加（Ａ１の処理を実行）するとともに、当該レイヤ間参照ピクチャの参照マークを参照使用に設定（Ａ２の処理を実行）し、出力マークを出力不要に設定（Ａ３の処理を実行）してもよい。
【０２３６】
また、Ａ４の処理は、対象ピクチャ導出処理（ピクチャ復号部１３によるピクチャ復号処理）の完了後であって、復号順で後続の同一レイヤ内のピクチャの復号処理開始前に実行すればよい。
【０２３７】
換言すると、ピクチャ管理部１４は、対象ピクチャの復号ピクチャ導出処理の完了後、上記対象ピクチャが復号順で対象ピクチャの次のピクチャの復号開始前のタイミングで、上記レイヤ間参照ピクチャの参照マークを参照不使用に設定（Ａ４の処理を実行）すしてもよい。
【０２３８】
（ベース復号部）
図１４を用いて、ベース復号部１５の詳細構成を説明する。図１４は、ベース復号部１５の構成について例示した機能ブロック図である。
【０２３９】
図１４に示すように、ベース復号部１５は、可変長復号部１５１、ベースピクチャ復号部１５３、ベース復号ピクチャ管理部１５４を備える。
【０２４０】
可変長復号部１５１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種符号化パラメータ（代表的には変換係数、予測情報、RPS情報、RPL情報）に係る各種シンタックス値を復号する。可変長復号部１５１が復号する予測情報および変換係数のシンタックスは、図４の可変長復号部１２と同様であるため詳細説明は省略する。
【０２４１】
可変長復号部１５１は、復号したシンタックス値をベースピクチャ復号部１５３およびベース復号ピクチャ管理部１５４に供給する。
【０２４２】
ベースピクチャ復号部１５３は、参照レイヤ上の対象ピクチャに関するスライスヘッダ、予測情報、および、変換係数に係るシンタックス値に基づいて、参照レイヤ上の対象ピクチャの復号ピクチャ（ベース復号ピクチャ）を復号して出力される。なお、ベースピクチャ復号部１５３におけるベース復号ピクチャ復号処理は、図４のピクチャ復号部１３におけるピクチャ復号処理と同様であるため詳細説明は省略する。
【０２４３】
ベース復号ピクチャ管理部１５４は、入力されるベース復号ピクチャを内部のDPBに記録するとともに、入力されるシンタックス値に基づいて参照ピクチャリスト生成や出力するベース復号ピクチャの決定を行う。生成された参照ピクチャリストはベースピクチャ復号部１５３に出力され、ベース復号ピクチャは外部に出力される。なお、ベース復号ピクチャ管理部１５４における処理は、図４の復号ピクチャ管理部１４における処理と同様であり詳細説明は省略する。
【０２４４】
（動画像復号装置１の効果）
以上説明した本実施形態に係る階層動画像復号装置１はピクチャ管理部１４を備えおり、前記ピクチャ管理部は、レイヤ間参照ピクチャをDPBに追加し、続いて、当該レイヤ間参照ピクチャの参照マークを「参照使用」に設定するとともに、当該レイヤ間参照ピクチャの出力マークを「出力不要」に設定するベース参照ピクチャ制御部１４４を備えている。したがって、階層動画像復号装置１は、ピクチャ復号に用いたレイヤ間参照ピクチャを、レイヤ間参照ピクチャとインター予測の参照ピクチャを区別しないバンピング処理を用いて、不要になった時点でDPBから除去できるため、少ないメモリ平均使用量で入力符号化データを復号できる。
【０２４５】
［変形例１：共通DPBの場合の参照マーク］
上記の階層動画像復号装置１のピクチャ管理処理では、レイヤ毎に独立に、各レイヤの復号ピクチャと参照ピクチャ管理のためのDPBを持つことを仮定して説明したが、それに限らない。例えば、復号ピクチャ管理部１４は対象レイヤである拡張レイヤの復号ピクチャを管理するDPB１４１を備え、ベース復号部１５内のベース復号ピクチャ管理部１５４はベース復号ピクチャを管理するDPBを備えているものと仮定していたが、両者が共通のDPBを用いるように階層動画像復号装置を構成することもできる。以下、複数レイヤの復号ピクチャを共通のDPBで管理する仕組みを、共通DPBモデルと称する。
【０２４６】
共通DPBモデルを用いる場合、階層動画像復号装置１で説明した構成において、少なくとも以下の点を変更する必要が生じる。
【０２４７】
１．バンピング処理方法
２．DPB上のピクチャの参照マークおよび出力マーク処理の更新方法
以下では、それぞれの変更について説明する。
【０２４８】
（１．バンピング処理方法の変更）
出力制御部１４６におけるバンピング処理を次の手順で実行するよう変更する。
【０２４９】
（Ｓ４０１ｒ）DPB上のピクチャであって、出力マークが「出力要」である対象レイヤのピクチャのうちPOCが最小のピクチャを出力する。
【０２５０】
（Ｓ４０２ｒ）Ｓ４０１ｒで出力されたピクチャの出力マークを「出力不要」に設定する。
【０２５１】
（Ｓ４０３ｒ）DPB上のピクチャの中から、参照マークが「参照不使用」であり、かつ、出力マークが「出力不要」であるピクチャを選択して、当該ピクチャをDPBから削除する。
【０２５２】
（２．DPB上のピクチャの参照マークおよび出力マーク処理の更新方法の変更）
図１５に示す処理により図１の処理の一部を置き換える。図１５は、共通DPMモデル利用時のピクチャ管理処理の一部を表すフロー図である。以下で説明する図１５に示す処理Ｓ５０９ｒ１からＳ５１０ｒ１は、図１のＳ５０９とＳ５１０の処理を置き換える。
【０２５３】
（Ｓ５０９ｒ１）廃棄可能フラグ（discardable_flag）の値に応じて対象ピクチャの参照マークを更新する。廃棄可能フラグは、対象ピクチャが後続のピクチャ復号時に参照ピクチャまたはレイヤ間参照ピクチャとして利用される可能性の有無を示すフラグである。廃棄可能フラグの値が１の場合、参照マークを「参照不使用」に更新する。廃棄可能フラグの値が０の場合、参照マークを「参照使用」に更新する。
【０２５４】
（Ｓ５１０ｒ１）DPB上に記録されているピクチャのうち、下記条件Ｄ１、Ｄ２、およびＤ３を全て満たすピクチャの参照マークを「参照不使用」に設定する。
【０２５５】
Ｄ１：対象ピクチャのPOCと同一POCを有するピクチャ。
【０２５６】
Ｄ２：対象ピクチャより復号順の遅い対象ピクチャのPOCと同一POCを有するピクチャの復号時にレイヤ間参照ピクチャとして利用されないピクチャ。
【０２５７】
Ｄ３：同一レイヤ内の予測（例えばインター予測）により利用されないピクチャ。
【０２５８】
上記変更を加えたピクチャ管理処理により、共通DPBモデルを用いる場合であっても、レイヤ間画像予測やインター予測で参照されなくなった復号ピクチャの参照マークを「参照不使用」に設定できる。したがって、DPB上のピクチャの出力マークが「出力不要」と変更された時点でピクチャをDPBから削除できるため、メモリの平均使用量を低減できる。
【０２５９】
なお、Ｓ５１０ｒ１を省略する構成を用いてもよい。その場合、対象ピクチャより復号順の遅い後続ピクチャにおけるレイヤ間画像予測やインター予測で参照されないピクチャに対しては廃棄可能フラグの値を１とする制約を設けることが好ましい。廃棄可能フラグ選択の自由度が低下する一方で、Ｓ５１０ｒ１の処理を省略できるため処理量が削減できるという利点がある。
【０２６０】
［変形例１−１：共通DPBの場合の参照マーク、サブレイヤの考慮］
変形例１に記載した共通DPBモデルに適用するピクチャ管理処理において、ピクチャの属するサブレイヤ（時間レイヤ）の情報を用いた判定を含めても良い。
【０２６１】
サブレイヤは時間スケーラビリティを表現するために用いられる。一般的には各サブレイヤに属するピクチャに対して時間識別子（temporal_id）が割り当てられている。時間識別子は、低次サブレイヤほど、言い換えると低いフレームレートに相当するサブレイヤほど、小さい値が割り当てられている。特定のサブレイヤに相当するフレームレートの出力画像を得たい場合には、当該サブレイヤに割り当てられている時間識別子以下の値を持つ時間識別子が割り当てられた符号化データを階層符号化データから抽出して復号すればよい。
【０２６２】
例えば、時間識別子の値がａであることをTid=aと表記した上で、Tid=0が15fps（frame per second）に、Tid=1が30fps、Tid=2が60fpsに相当するとする。この場合、15fpsの出力画像を得るためにはTid=0の符号化データを抽出して復号すればよい。また、60fpsの出力画像を得るためにはTid=0、Tid=1、Tid=2の符号化データを抽出して復号すればよい。なお、階層符号化データに含まれる最大の時間識別子は最高次時間識別子（Highest Temporal Id）とも呼ばれる。
【０２６３】
上記の特性を実現するため、Tid=kのピクチャは、k以下の時間識別子を持つピクチャのみをインター予測で参照可能という特徴を持つ。そのため、最高次時間識別子を持つピクチャは、インター予測で参照されない場合には、レイヤ間画像予測による参照ピクチャ（レイヤ間参照ピクチャ）としてのみ利用され得る。
【０２６４】
本変形例では、図１６に示す処理により図１の処理の一部を置き換える。図１６は、共通DPMモデル利用時のピクチャ管理処理の一部を表すフロー図である。以下で説明する図１６に示す処理Ｓ５０９ｒ１およびＳ５１０ｒ２〜Ｓ５１５ｒ２の処理は、図１のＳ５０９とＳ５１０の処理を置き換える。なお、Ｓ５０９の処理は変形例１で記載した同一符号の処理と同じであり説明を省略する。
【０２６５】
（Ｓ５１０ｒ２）対象ピクチャが復号順で後続のピクチャにおけるレイヤ間画像予測で参照されるかを判定する。参照される場合（Ｓ５１０ｒ２でYES）、Ｓ５１４ｒ２に進む。参照されない場合（Ｓ５１０ｒ２でNO）、Ｓ５１１ｒ２に進む。
【０２６６】
（Ｓ５１１ｒ２）最高次時間識別子（HighestTid）を持つピクチャ間でインター予測が許可されているかを判定する。許可されている場合（Ｓ５１１ｒ２でYES）、Ｓ５１３ｒ２に進む。許可されていない場合（Ｓ５１１ｒ２でNO）、Ｓ５１２ｒ２に進む。
【０２６７】
（Ｓ５１２ｒ２）対象ピクチャの時間識別子が最高次時間識別子（HighestTid）かを判定する。最高時時間識別子である場合（Ｓ５１２ｒ２でYES）、Ｓ５１５ｒ２に進む。最高次識別子でない場合（Ｓ５１２ｒ２でNO）、Ｓ５１３ｒ２に進む。
【０２６８】
（Ｓ５１３ｒ２）対象ピクチャがインター予測で参照されるかを判定する。インター予測で参照される場合（Ｓ５１３ｒ２でYES）、Ｓ５１５ｒ２に進む。インター予測で参照されない場合（Ｓ５１３ｒ２でNO）、Ｓ５１４ｒ２に進む。
【０２６９】
（Ｓ５１４ｒ２）対象ピクチャの参照マークを「参照使用」に設定して処理を終了する。
【０２７０】
（Ｓ５１５ｒ２）対象ピクチャの参照マークを「参照不使用」に設定して処理を終了する。
【０２７１】
図１６を用いて説明した上記処理は、概略的には次のように表現することができる。すなわち、復号したピクチャの参照マークを設定するために、まず後続のレイヤ間画像予測での参照可能性有無を調べる。そして、レイヤ間画像予測で使用されない場合に、インター予測での参照可能性有無に先立って、時間識別子を用いた判定を行う。時間識別子を用いた判定が所定の条件を満たす場合、インター予測での参照可能性有無の判定を省略して、対象ピクチャの参照マークを「参照不使用」に設定する。ここで、所定の条件は、対象ピクチャが最高次サブレイヤに属し（最高次時間識別子を有し）、かつ、最高次サブレイヤに属するピクチャ間でインター予測が許可されているか否かである。
【０２７２】
インター予測での参照可能性の判定はRPSの仕組みを用いる場合には容易ではない。なぜなら、対象ピクチャがインター予測に使用されるか否かは、復号順で次ピクチャのRPSを復号しDPBの参照マークを更新するまで分からないためである。
【０２７３】
上記ピクチャ管理処理によれば、最高次サブレイヤのピクチャ間のインター予測が制限されている場合に、その事実を利用してインター予測の利用可能性の判定を省略できる。したがって、対象ピクチャをより早い段階で「参照不使用」とマークすることができるため、出力済となった対象ピクチャをより早くDPBから削除できるためDPBのメモリ平均使用量を削減できる。
【０２７４】
特に最高次サブレイヤに属するピクチャ間のインター予測適用有無の判定を行っているのは、最高次サブレイヤに属するピクチャは一般的に画質が低く、より低次のサブレイヤに属するピクチャを参照する場合が多いためである。最高次より低次のサブレイヤに属するピクチャ間でもＳ５１１ｒ２と同様の判定によりインター予測の適用有無を判定しても構わない。最高次サブレイヤに属するピクチャの数は、低次サブレイヤに属するピクチャに較べて多いことと、最高次サブレイヤに属するピクチャ間でのインター予測の有効性が低いことから、いずれかのサブレイヤに対してピクチャ間のインター予測適用有無の判定を行うのであれば、最高次サブレイヤに対して行うのが好ましい。
【０２７５】
なお、同一の時間識別子を持つピクチャ間でインター予測の適用が禁止されている場合には、Ｓ５１１ｒ２やＳ５１２ｒ２における判定は冗長であるため、省略することが好ましい。
【０２７６】
上記の変形例１−１の構成は、次のようにも表現できる。すなわち、上位レイヤの復号ピクチャを復元する画像復号装置において、上位レイヤの復号ピクチャバッファ（DPB）を管理するピクチャ管理部は、上位レイヤ内の対象ピクチャの復号ピクチャ導出処理に先立って、対象ピクチャの属するサブレイヤにおけるレイヤ間予測適用有無を判定し、当該判定結果がレイヤ間予測適用可能である場合に、下位レイヤの復号ピクチャに基づき生成されるレイヤ間参照ピクチャを上記復号ピクチャバッファに追加するとともに、当該レイヤ間参照ピクチャの参照マークを参照使用に設定し、出力マークを出力不要に設定する。
【０２７７】
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図１７を参照して説明する。
【０２７８】
（階層動画像符号化装置の構成）
図１７を用いて、階層動画像符号化装置２の概略構成を説明する。図１７は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
【０２７９】
図１７に示すように階層動画像符号化装置２は、ピクチャ符号化部２１、可変長符号化部２２、ＮＡＬ多重化部２３、復号ピクチャ管理部１４、および、ベース復号部１５を備える。
【０２８０】
ピクチャ符号化部２１は、入力画像ＰＩＮ＃Ｔを符号化して対応するシンタックス値を生成して出力する。また、同時に出力したシンタックス値を用いて復号処理を行うことで復号ピクチャを生成して出力する。ピクチャ符号部２１は、シンタックス値または復号ピクチャの生成に、入力される参照ピクチャリストを利用したインター予測またはレイヤ間画像予測を用いる。
【０２８１】
可変長符号化部は、入力されるシンタックス値を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔとして出力する。
【０２８２】
ＮＡＬ多重化部２３は、入力される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。
【０２８３】
復号ピクチャ管理部１４は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１４と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１４では、DPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略できる。なお、階層動画像復号装置１の復号ピクチャ管理部１４の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の復号ピクチャ管理部１４にも適用できる。
【０２８４】
ベース復号部１５は、既に説明した階層動画像復号装置１の備えるベース復号部１５と同一の構成要素であり、詳細説明は省略する。
【０２８５】
（動画像符号化装置２の効果）
以上説明した本実施形態に係る階層動画像符号化装置２はピクチャ管理部１４を備えおり、前記ピクチャ管理部は、レイヤ間参照ピクチャをDPBに追加し、続いて、当該レイヤ間参照ピクチャの参照マークを「参照使用」に設定するとともに、当該レイヤ間参照ピクチャの出力マークを「出力不要」に設定するベース参照ピクチャ制御部１４４を備えている。したがって、階層動画像符号化装置２は、ピクチャ符号化に用いたレイヤ間参照ピクチャを、レイヤ間参照ピクチャとインター予測の参照ピクチャを区別しないバンピング処理を用いて、不要になった時点でDPBから除去できるため、少ないメモリ平均使用量で入力画像を符号化できる。
【０２８６】
（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
【０２８７】
図１８に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図１８の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
【０２８８】
図１８の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
【０２８９】
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図１８の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
【０２９０】
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
【０２９１】
図１８の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図１８の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
【０２９２】
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図１８の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
【０２９３】
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
【０２９４】
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
【０２９５】
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
【０２９６】
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
【０２９７】
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
【０２９８】
図１９に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図１９の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
【０２９９】
図１９の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
【０３００】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０３０１】
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図１９の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
【０３０２】
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
【０３０３】
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
【０３０４】
図１９の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図１９の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
【０３０５】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０３０６】
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図１９の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
【０３０７】
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
【０３０８】
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
【０３０９】
（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０３１０】
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３１１】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０３１２】
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０３１３】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０３１４】
本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。
【符号の説明】
【０３１５】
１          階層動画像復号装置（画像復号装置）
１１        ＮＡＬ逆多重化部
１２        可変長復号部（可変長復号手段）
１３        ピクチャ復号部（ピクチャ復号手段）
１４        復号ピクチャ管理部（復号ピクチャ管理手段）
１４１      ＤＰＢ
１４２      ＲＰＳ導出部
１４３      参照ピクチャ制御部
１４４      ベース参照ピクチャ制御部（ベース参照ピクチャ制御手段）
１４５      ＲＰＬ導出部
１４６      出力制御部（出力制御手段）
１５        ベース復号部
１５１      可変長復号部（可変長復号手段）
１５３      ベースピクチャ復号部
１５４      ベース復号ピクチャ管理部（ベース復号ピクチャ管理手段）
２          階層動画像符号化装置（画像符号化装置）
２１        ピクチャ符号化部
２２        可変長符号化部
２３        ＮＡＬ多重化部
【図１】
2015002495.tif 000003
【図２】
2015002495.tif 000004
【図３】
2015002495.tif 000005
【図４】
2015002495.tif 000006
【図５】
2015002495.tif 000007
【図６】
2015002495.tif 000008
【図７】
2015002495.tif 000009
【図８】
2015002495.tif 000010
【図９】
2015002495.tif 000011
【図１０】
2015002495.tif 000012
【図１１】
2015002495.tif 000013
【図１２】
2015002495.tif 000014
【図１３】
2015002495.tif 000015
【図１４】
2015002495.tif 000016
【図１５】
2015002495.tif 000017
【図１６】
2015002495.tif 000018
【図１７】
2015002495.tif 000019
【図１８】
2015002495.tif 000020
【図１９】
2015002495.tif 000021