(57)【要約】      （修正有）【課題】注目領域の再生画像の画質を高く維持しつつ、階層符号化データの符号量を低減する。【解決手段】画像復号装置１は、スキップスライス判定部と、非スキップＣＴＵ復号部と、スキップＣＴＵ生成部を備えている。スライスヘッダから対象スライスがスキップスライスか非スキップスライスかを示すスキップスライスフラグを復号し、スキップスライスフラグが、対象スライスがスキップスライスであることを示す場合、スライスヘッダ復号部は、対象スライスに含まれるＣＴＵ数であるスキップＣＴＵ数を復号するとともに、該スキップＣＴＵ数の示す個数のＣＴＵの復号画像をスキップＣＴＵ生成部により生成することで対象スライスの復号画像を生成し、スキップスライスフラグが、対象スライスが非スキップスライスであることを示す場合、対象スライスに含まれるＣＴＵを非スキップＣＴＵ復号部により復号することで対象スライスの復号画像を生成する。【選択図】図１
2015073213.tif 000002
【特許請求の範囲】
【請求項１】
階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、
上位レイヤのスライスヘッダを復号するスライスヘッダ復号部と、
上位レイヤの非スキップスライスに属するＣＴＵの復号画像をスライスデータに基づいて復号する非スキップＣＴＵ復号部と、
上位レイヤのスキップスライスに属するＣＴＵの復号画像を生成するスキップＣＴＵ生成部を備え、
前記スライスヘッダ復号部は、対象スライスがスキップスライスか非スキップスライスかを示すスキップスライスフラグを復号または推定し、
前記スキップスライスフラグが、対象スライスがスキップスライスであることを示す場合、前記スライスヘッダ復号部は、対象スライスに含まれるＣＴＵ数であるスキップＣＴＵ数を復号するとともに、該スキップＣＴＵ数の示す個数のＣＴＵの復号画像を前記スキップＣＴＵ生成部により生成することで対象スライスの復号画像を生成し、
前記スキップスライスフラグが、対象スライスが非スキップスライスであることを示す場合、対象スライスに含まれるＣＴＵを前記非スキップＣＴＵ復号部により復号することで対象スライスの復号画像を生成することを特徴とする画像復号装置。
【請求項２】
表示領域情報を復号するパラメータセット復号部を備え、
前記表示領域情報が指定する表示領域には、スキップスライスを含むタイルを含まず、タイルであって、該タイルに含まれるスライスが全て非スキップスライスであるタイルを含むことを特徴とする、請求項１に記載の画像復号装置。
【請求項３】
上記スキップＣＴＵ数は、対象スライスが属するタイルに含まれるＣＴＵ数を最大値とする可変長符号の復号処理を適用することで、スライスヘッダから復号されることを特徴とする、請求項１に記載の画像復号装置。
【請求項４】
対象スライスを含むピクチャが１個のタイルを含む場合、上記スライスヘッダ復号部により復号または推定されるスキップスライスフラグが対象スライスが非スキップスライスであることを示すことを特徴とする、請求項１から請求項３に記載の画像復号装置。
【請求項５】
パラメータセットに含まれる全タイル依存性識別子を復号するパラメータセット復号部を備え、
上記全タイル依存性識別子が、対応タイル間以外の動き依存がないこと、または、対応タイル間以外のレイヤ間依存がないことを示す場合、上記スライスヘッダ復号部により復号または推定されるスキップスライスフラグが対象スライスが非スキップスライスであることを示すことを特徴とする、請求項１から請求項３に記載の画像復号装置。
【請求項６】
対象スライスを含むピクチャが２個以上のタイルを含む場合、上記スライスヘッダ復号部は上記スキップスライスフラグを復号し、
対象スライスを含むピクチャが１個のタイルを含む場合、上記スライスヘッダ復号部は上記スキップスライスフラグの値として対象スライスが非スキップスライスであることを示す値を推定することを特徴とする、請求項４に記載の画像復号装置。
【請求項７】
対象スライスを含むピクチャが２個以上のタイルを含む場合、上記スライスヘッダ復号部は、上記スキップスライスフラグの値に応じて非スキップＣＴＵ復号部、または、スキップＣＴＵ生成部のいずれか一方を選択して対象スライスに含まれるＣＴＵを復号し、
対象スライスを含むピクチャが１個のタイルを含む場合、上記スライスヘッダ復号部は非スキップＣＴＵ復号部を選択して対象スライスに含まれるＣＴＵを復号することを特徴とする、請求項４に記載の画像復号装置。
【請求項８】
上記全タイル依存性識別子は、対応タイル間以外の動き依存の有無を示す情報と、対応タイル間以外のレイヤ間依存の有無を示す情報を両方含むことを特徴とする、請求項５に記載の画像復号装置。
【請求項９】
パラメータセットに含まれる全タイル依存性識別子を復号するパラメータセット復号部を備え、
対象スライスを含むピクチャが２個以上のタイルを含み、かつ、上記全タイル依存性識別子が、対応タイル間以外の動き依存がないこと、または、対応タイル間以外のレイヤ間依存がないことを示す場合、上記スライスヘッダ復号部により復号または推定されるスキップスライスフラグが、対象スライスが非スキップスライスであることを示すことを特徴とする、請求項１から請求項３に記載の画像復号装置。
【請求項１０】
入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、
上位レイヤのスライスヘッダを符号化するスライスヘッダ符号化部と、
上位レイヤの非スキップスライスに属するＣＴＵの復号画像をスライスデータに基づいて符号化する非スキップＣＴＵ符号化部と、
上位レイヤのスキップスライスに属するＣＴＵの復号画像を生成するスキップＣＴＵ生成部と、
表示領域情報を符号化するパラメータセット符号化部を備え、
前記スライスヘッダ符号化部は、対象スライスがスキップスライスか非スキップスライスかを示すスキップスライスフラグを符号化し、
前記スキップスライスフラグが、対象スライスがスキップスライスであることを示す場合、前記スライスヘッダ符号化部は、対象スライスに含まれるＣＴＵ数であるスキップＣＴＵ数を符号化するとともに、該スキップＣＴＵ数の示す個数のＣＴＵの復号画像を前記スキップＣＴＵ生成部により生成することで対象スライスの復号画像を生成し、
前記スキップスライスフラグが、対象スライスが非スキップスライスであることを示す場合、対象スライスに含まれるＣＴＵを前記非スキップＣＴＵ符号化部により生成することで対象スライスの復号画像を生成し、
前記表示領域情報が指定する表示領域には、スキップスライスを含むタイルを含まず、タイルであって、該タイルに含まれるスライスが全て非スキップスライスであるタイルを含むことを特徴とする画像符号化装置。
【請求項１１】
入力される階層符号化データを入力される注目領域情報に基づいて変換し、変換後の階層符号化データを出力する階層符号化データ変換装置であって、
上位レイヤの符号化データを注目領域情報に基づいて修正するスライス修正部を備え、
前記スライス修正部は、注目領域情報の示す注目領域に基づいて、上位レイヤの符号化データに含まれるスライスであって、前記注目領域に含まれないスライスを非スキップスライスからスキップスライスに変更することで上位レイヤの符号化データを修正することを特徴とする階層符号化データ変換装置。
【請求項１２】
前記スライス修正部は、上位レイヤの符号化データに含まれるスライスであって、前記注目領域に含まれないタイルに含まれるスライスを非スキップスライスからスキップスライスに変更することで上位レイヤの符号化データを修正することを特徴とする請求項１１に記載の階層符号化データ変換装置。
【請求項１３】
パラメータセット修正部を備え、
前記パラメータセット修正部は、パラメータセットに含まれる表示領域情報を、該表示領域情報の示す表示領域が、前記注目領域情報の示す注目領域と一致するよう書き換えることでパラメータセットを修正することを特徴とする、請求項１１または請求項１２に記載の階層符号化データ変換装置。
【請求項１４】
蓄積された階層符号化データを用いてピクチャ全体及びピクチャの注目領域に相当する部分領域を表示する注目領域表示システムであって、
注目領域情報を供給する注目領域通知部と、
前記注目領域情報に基づいて階層符号化データを変換して変換後階層符号化データを生成する階層符号化データ変換部と、
上記変換後階層符号化データを復号して上位レイヤの復号ピクチャ及び下位レイヤの復号ピクチャを出力する階層動画像復号部と、
前記下位レイヤの復号ピクチャを全体表示画像として出力し、かつ、前記上位レイヤの復号ピクチャを注目領域表示画像として出力する表示制御部を備えることを特徴とする注目領域表示システム。
【請求項１５】
上記表示制御部は、注目領域情報が注目領域が指定されていないことを示す場合、注目領域表示画像を出力しないことを特徴とする、請求項１４に記載の注目領域表示システム。
【請求項１６】
上記表示制御部は、注目領域情報の変更がある場合に、前記変更を判定した時点から、前記階層動画像復号部から変更後の注目領域情報に係る上位レイヤの復号ピクチャが供給されるまでの間、前記下位レイヤの復号ピクチャの部分領域であって、前記変更後の注目領域情報の示す領域を注目領域表示画像として出力することを特徴とする、請求項１４または請求項１５に記載の注目領域表示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
【背景技術】
【０００２】
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
【０００３】
動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。
【０００４】
これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００５】
イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。
【０００６】
インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で予測画像生成に用いられる復号済のピクチャは参照ピクチャと呼ばれる。
【０００７】
また、複数の相互に関連性のある動画像をレイヤ（階層）に分けて符号化することで、複数の動画像から符号化データを生成する技術も知られており、階層符号化技術と呼ばれる。階層符号化技術により生成される符号化データは階層符号化データとも呼ばれる。
【０００８】
代表的な階層符号化技術としてHEVCを基礎とするSHVC（Scalable HEVC）が知られている（非特許文献２）。
【０００９】
SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、複数の異なる解像度の動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に原画像をレイヤ間の冗長性を除去するためにレイヤ間予測を適用した上で、上位レイヤとして符号化する。
【００１０】
別の代表的な階層符号化技術としてHEVCを基礎とするMV-HEVC（Multi View HEVC）が知られている（非特許文献３）。
【００１１】
MV-HEVCではビュースケーラビリティをサポートする。ビュースケーラビリティでは、複数の異なる視点（ビュー）に対応する動画像をレイヤに分けて符号化して階層符号化データを生成する。例えば、基本となる視点（ベースビュー）に対応する動画像を下位レイヤとして符号化する。次に、異なる視点に対応する動画像を、レイヤ間予測を適用した上で、上位レイヤとして符号化する。
【００１２】
SHVCやMV-HEVCにおけるレイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤの復号画像を利用して、予測画像を生成する。レイヤ間動き予測では、下位レイヤの動き情報を利用して、動き情報の予測値を導出する。レイヤ間予測において予測に用いられるピクチャはレイヤ間参照ピクチャと呼ばれる。また、レイヤ間参照ピクチャを含むレイヤは参照レイヤと呼ばれる。なお、以下では、インター予測に用いられる参照ピクチャと、レイヤ間予測に用いられる参照ピクチャを総称して単に参照ピクチャと呼称する。
【００１３】
SHVCやMV-HEVCでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。
【００１４】
SHVCやMV-HEVCを利用するアプリーケーションの一つに、注目領域を考慮した映像アプリケーションがある。例えば、映像再生端末において、通常は全領域の映像を比較的低解像度で再生する。映像再生端末の視聴者が表示されている映像の一部を注目領域として指定した場合、当該注目領域が高解像度で再生端末に表示される。
【００１５】
前記のような注目領域を考慮した映像アプリケーションは、全領域の比較的低解像度の映像を下位レイヤの符号化データとして、注目領域の高解像度映像を上位レイヤの符号化データとして符号化した階層符号化データを用いて実現できる。すなわち、全領域を再生する場合は下位レイヤの符号化データのみを復号して再生し、注目領域の高解像度映像を再生する場合は、上位レイヤの符号化データを前記下位レイヤの符号化データに追加して伝送することで、低解像度映像に対する符号化データと高解像度映像に対する符号化データを両方送る場合に較べて少ない伝送帯域で前記アプリケーションが実現できる。
【先行技術文献】
【非特許文献】
【００１６】
【非特許文献１】「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開)
【非特許文献２】JCT3V-E1004_v6 「MV-HEVC Draft Text 5」, Joint Collaborative Team on 3D Video Coding Extension Development of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 115th Meeting: Vienna, AT, 27 Jul. -2 Aug. 2013 (２０１３年８月７日公開)
【非特許文献３】JCTVC-N1008_v1 「SHVC Draft 3」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 14th Meeting: Vienna, AT, 25 July - 2 Aug. 2013 （２０１３年８月２０日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１７】
しかしながら、注目領域に係らず全領域の高解像度映像に相当する上位レイヤの符号化データを伝送する場合、下位レイヤのみの符号化データを伝送する場合に較べて符号量が大きく増大するという課題があった。
【００１８】
また、注目領域のみを含むような上位レイヤの符号化データを生成する場合、生成に要する処理量が多いという課題があった。例えば、ユーザ毎に異なる注目領域が指定される場合、ユーザ毎に異なる上位レイヤの符号化データを生成する必要があるが、そのような上位レイヤの符号化データの生成に要する処理量が大きい場合、多数のユーザに対して注目領域に相当する上位レイヤの符号化データを生成して送信することが困難であるという課題があった。
【００１９】
本発明は、上記問題に鑑みてされたものであり、その目的は、階層符号化方式において、全領域に相当する上位レイヤの符号化データと注目領域に相当する上位レイヤの符号化データのいずれも符号化／復号可能な画像符号化装置および画像復号装置を実現することにある。加えて、本発明の目的は、全領域に相当する上位レイヤの符号化データから注目領域に相当する上位レイヤの符号化データを、復号画像を生成することなく生成可能な符号化データのデータ構造、および、前記上位レイヤの符号化データから前記注目領域に相当する上位レイヤの符号化データを生成する符号化データ変換装置を実現することにある。
【課題を解決するための手段】
【００２０】
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、上位レイヤのスライスヘッダを復号するスライスヘッダ復号部と、上位レイヤの非スキップスライスに属するＣＴＵの復号画像をスライスデータに基づいて復号する非スキップＣＴＵ復号部と、上位レイヤのスキップスライスに属するＣＴＵの復号画像を生成するスキップＣＴＵ生成部を備え、前記スライスヘッダ復号部は、対象スライスがスキップスライスか非スキップスライスかを示すスキップスライスフラグを復号または推定し、前記スキップスライスフラグが、対象スライスがスキップスライスであることを示す場合、前記スライスヘッダ復号部は、対象スライスに含まれるＣＴＵ数であるスキップＣＴＵ数を復号するとともに、該スキップＣＴＵ数の示す個数のＣＴＵの復号画像を前記スキップＣＴＵ生成部により生成することで対象スライスの復号画像を生成し、前記スキップスライスフラグが、対象スライスが非スキップスライスであることを示す場合、対象スライスに含まれるＣＴＵを前記非スキップＣＴＵ復号部により復号することで対象スライスの復号画像を生成することを特徴としている。
【００２１】
また、上記画像復号装置において、表示領域情報を復号するパラメータセット復号部を備え、前記表示領域情報が指定する表示領域には、スキップスライスを含むタイルを含まず、タイルであって、該タイルに含まれるスライスが全て非スキップスライスであるタイルを含む、ことが好ましい。
【００２２】
また、上記画像復号装置において、上記スキップＣＴＵ数は、対象スライスが属するタイルに含まれるＣＴＵ数を最大値とする可変長符号の復号処理を適用することで、スライスヘッダから復号される、ことが好ましい。
【００２３】
また、上記画像復号装置において、対象スライスを含むピクチャが１個のタイルを含む場合、上記スライスヘッダ復号部により復号または推定されるスキップスライスフラグが対象スライスが非スキップスライスであることを示す、ことが好ましい。
【００２４】
また、上記画像復号装置において、パラメータセットに含まれる全タイル依存性識別子を復号するパラメータセット復号部を備え、上記全タイル依存性識別子が、対応タイル間以外の動き依存がないこと、または、対応タイル間以外のレイヤ間依存がないことを示す場合、上記スライスヘッダ復号部により復号または推定されるスキップスライスフラグが対象スライスが非スキップスライスであることを示す、ことが好ましい。
【００２５】
また、上記画像復号装置において、対象スライスを含むピクチャが２個以上のタイルを含む場合、上記スライスヘッダ復号部は上記スキップスライスフラグを復号し、対象スライスを含むピクチャが１個のタイルを含む場合、上記スライスヘッダ復号部は上記スキップスライスフラグの値として対象スライスが非スキップスライスであることを示す値を推定する、ことが好ましい。
【００２６】
また、上記画像復号装置において、対象スライスを含むピクチャが２個以上のタイルを含む場合、上記スライスヘッダ復号部は、上記スキップスライスフラグの値に応じて非スキップＣＴＵ復号部、または、スキップＣＴＵ生成部のいずれか一方を選択して対象スライスに含まれるＣＴＵを復号し、対象スライスを含むピクチャが１個のタイルを含む場合、上記スライスヘッダ復号部は非スキップＣＴＵ復号部を選択して対象スライスに含まれるＣＴＵを復号する、ことが好ましい。
【００２７】
また、上記画像復号装置において、上記全タイル依存性識別子は、対応タイル間以外の動き依存の有無を示す情報と、対応タイル間以外のレイヤ間依存の有無を示す情報を両方含む、ことが好ましい。
【００２８】
また、上記画像復号装置において、パラメータセットに含まれる全タイル依存性識別子を復号するパラメータセット復号部を備え、対象スライスを含むピクチャが２個以上のタイルを含み、かつ、上記全タイル依存性識別子が、対応タイル間以外の動き依存がないこと、または、対応タイル間以外のレイヤ間依存がないことを示す場合、上記スライスヘッダ復号部により復号または推定されるスキップスライスフラグが、対象スライスが非スキップスライスである、ことが好ましい。
【００２９】
上記課題を解決するために、本発明に係る画像符号化装置は、入力画像から上位レイヤの符号化データを生成する画像符号化装置であって、上位レイヤのスライスヘッダを符号化するスライスヘッダ符号化部と、上位レイヤの非スキップスライスに属するＣＴＵの復号画像をスライスデータに基づいて符号化する非スキップＣＴＵ符号化部と、上位レイヤのスキップスライスに属するＣＴＵの復号画像を生成するスキップＣＴＵ生成部と、表示領域情報を符号化するパラメータセット符号化部を備え、前記スライスヘッダ符号化部は、対象スライスがスキップスライスか非スキップスライスかを示すスキップスライスフラグを符号化し、前記スキップスライスフラグが、対象スライスがスキップスライスであることを示す場合、前記スライスヘッダ符号化部は、対象スライスに含まれるＣＴＵ数であるスキップＣＴＵ数を符号化するとともに、該スキップＣＴＵ数の示す個数のＣＴＵの復号画像を前記スキップＣＴＵ生成部により生成することで対象スライスの復号画像を生成し、前記スキップスライスフラグが、対象スライスが非スキップスライスであることを示す場合、対象スライスに含まれるＣＴＵを前記非スキップＣＴＵ符号化部により生成することで対象スライスの復号画像を生成し、前記表示領域情報が指定する表示領域には、スキップスライスを含むタイルを含まず、タイルであって、該タイルに含まれるスライスが全て非スキップスライスであるタイルを含むことを特徴としている。
【００３０】
上記課題を解決するために、本発明に係る符号化データ変換装置は、入力される階層符号化データを入力される注目領域情報に基づいて変換し、変換後の階層符号化データを出力する階層符号化データ変換装置であって、上位レイヤの符号化データを注目領域情報に基づいて修正するスライス修正部を備え、前記スライス修正部は、注目領域情報の示す注目領域に基づいて、上位レイヤの符号化データに含まれるスライスであって、前記注目領域に含まれないスライスを非スキップスライスからスキップスライスに変更することで上位レイヤの符号化データを修正することを特徴としている。
【００３１】
また、上記符号化データ変換装置において、前記スライス修正部は、上位レイヤの符号化データに含まれるスライスであって、前記注目領域に含まれないタイルに含まれるスライスを非スキップスライスからスキップスライスに変更することで上位レイヤの符号化データを修正する、ことが好ましい。
【００３２】
また、上記符号化データ変換装置において、パラメータセット修正部を備え、前記パラメータセット修正部は、パラメータセットに含まれる表示領域情報を、該表示領域情報の示す表示領域が、前記注目領域情報の示す注目領域と一致するよう書き換えることでパラメータセットを修正する、ことが好ましい。
【００３３】
上記課題を解決するために、本発明に係る注目領域表示システムは、蓄積された階層符号化データを用いてピクチャ全体及びピクチャの注目領域に相当する部分領域を表示する注目領域表示システムであって、注目領域情報を供給する注目領域通知部と、前記注目領域情報に基づいて階層符号化データを変換して変換後階層符号化データを生成する階層符号化データ変換部と、上記変換後階層符号化データを復号して上位レイヤの復号ピクチャ及び下位レイヤの復号ピクチャを出力する階層動画像復号部と、前記下位レイヤの復号ピクチャを全体表示画像として出力し、かつ、前記上位レイヤの復号ピクチャを注目領域表示画像として出力する表示制御部を備えることを特徴としている。
【００３４】
また、上記注目領域表示システムにおいて、上記表示制御部は、注目領域情報が注目領域が指定されていないことを示す場合、注目領域表示画像を出力しない、ことが好ましい。
【００３５】
また、上記注目領域表示システムにおいて、上記表示制御部は、注目領域情報の変更がある場合に、前記変更を判定した時点から、前記階層動画像復号部から変更後の注目領域情報に係る上位レイヤの復号ピクチャが供給されるまでの間、前記下位レイヤの復号ピクチャの部分領域であって、前記変更後の注目領域情報の示す領域を注目領域表示画像として出力する、ことが好ましい。
【発明の効果】
【００３６】
本発明に係る画像復号装置は、上位レイヤのスライスヘッダに含まれるスキップスライスフラグの値が対象スライスがスキップスライスであることを示す場合、スライスデータを用いることなくスキップＣＴＵ生成部により対象スライス内の復号画像を生成できる。スキップＣＴＵ生成部はスライスデータを用いずに復号画像を生成するため、非スキップＣＴＵ生成部でスライスデータを参照して復号画像を復号する場合に較べて復号画像の画質は低いが、より少ない処理量で、かつ、より少ない符号化データ（スライスデータ）を用いて復号画像が生成できる。したがって、本発明に係る画像復号装置は、注目領域に含まれる領域内のスライスを非スキップスライス、注目領域に含まれない領域内のスライスをスキップスライスとして符号化された階層符号化データを復号する場合に、注目領域内の復号画像の品質を損なうことなく、少ない符号量の符号化データから、少ない処理量で復号画像を生成して復号ピクチャとして出力できる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態に係る階層動画像復号装置が備えるスキップスライス判定部において、対象スライスがスキップスライスか否かを判定する処理のフロー図である。
【図２】本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。
【図３】本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスＳＥＱを規定するシーケンスレイヤを示しており、（ｂ）は、ピクチャＰＩＣＴを規定するピクチャレイヤを示しており、（ｃ）は、スライスＳを規定するスライスレイヤを示しており、（ｄ）は、符号化ツリーユニットＣＴＵを規定するＣＴＵレイヤを示しており、（ｅ）は、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示している。
【図４】本発明の実施形態に係る階層符号化データにおけるピクチャとタイル・スライスの関係を説明する図であり、（ａ）はピクチャをタイル・スライスにより分割する場合の分割領域を例示しており、（ｂ）は符号化データの構成におけるタイルとスライスの関係を例示している。
【図５】上記階層動画像復号装置の概略的構成を示す機能ブロック図である。
【図６】上記階層動画像復号装置に含まれるベース復号部の構成を例示する機能ブロック図である。
【図７】PPSの復号時に参照されるシンタックス表の一部であって、タイル情報に係る部分である。
【図８】ピクチャをタイル分割した場合のタイル行とタイル列を例示した図である。
【図９】SPSに含まれるSPS拡張の復号時に参照されるシンタックス表の一部であって、タイル情報に係る部分である。
【図１０】全レイヤ依存性識別子の値と動き依存およびレイヤ間依存の対応関係を示す表である。
【図１１】上記階層動画像復号装置に含まれるスライス復号部の構成を例示する機能ブロック図である。
【図１２】スライスヘッダ復号時に参照されるシンタックス表の一部であって、スライス位置情報に係る部分である。
【図１３】スライスヘッダ復号時に参照されるシンタックス表の一部であって、スキップスライス情報に係る部分である。
【図１４】対象スライスがスキップスライスか否かを判定する処理のフロー図である。
【図１５】スライス復号処理の手順を示すフロー図である。
【図１６】SPS復号時に参照されるシンタックス表の一部であって、表示領域情報に係る部分である。
【図１７】ピクチャ内の部分領域である表示領域と表示領域位置情報の関係を例示する図である。
【図１８】本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。
【図１９】上記階層動画像符号化装置に含まれるスライス符号化部の構成を例示する機能ブロック図である。
【図２０】本発明の一実施形態に係る階層符号化データ変換装置の概略的構成を示した機能ブロック図である。
【図２１】上記階層動画像復号装置、階層動画像符号化装置、及び、階層符号化データ変換装置の組み合わせにより実現する注目領域表示システムの構成を示したブロック図である。
【図２２】上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。
【図２３】上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。
【発明を実施するための形態】
【００３８】
図１〜図２３に基づいて、本発明の一実施形態に係る階層動画像復号装置１、階層動画像符号化装置２、および符号化データ変換装置３を説明すれば以下のとおりである。
【００３９】
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
【００４０】
階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
【００４１】
また、本実施形態に係る符号化データ変換装置３は、階層動画像符号化装置２によって階層符号化された符号化データを変換し、所定の注目領域に関する符号化データを（注目領域符号化データ）を生成する。注目領域符号化データは、本実施形態に係る階層動画像復号装置１で復号できる。
【００４２】
本実施形態に係る階層動画像符号化装置２、階層動画像復号装置１、及び階層符号化データ変換装置３の詳細な説明に先立って、まず（１）階層動画像符号化装置２または階層符号化データ変換装置３によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
【００４３】
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
【００４４】
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
【００４５】
図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
【００４６】
まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
【００４７】
下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
【００４８】
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
【００４９】
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
【００５０】
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
【００５１】
次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
【００５２】
なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
【００５３】
例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。
【００５４】
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
【００５５】
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
【００５６】
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
【００５７】
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
【００５８】
上位レイヤ  ：  ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
【００５９】
下位レイヤ  ：  ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
【００６０】
対象レイヤ  ：  復号または符号化の対象となっている階層のことをいう。
【００６１】
参照レイヤ（reference layer）  ：  対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
【００６２】
図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
【００６３】
基本レイヤ（base layer；ベースレイヤ）  ：  最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
【００６４】
拡張レイヤ  ：  基本レイヤの上位レイヤは、拡張レイヤと称される。
【００６５】
レイヤ識別子  ：  レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
【００６６】
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
【００６７】
レイヤ間予測  ：  レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
【００６８】
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
【００６９】
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。
【００７０】
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。
【００７１】
例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をHEVCにより符号化して、インターネットで伝送してもよい。
【００７２】
（基本レイヤ）
図３は、基本レイヤにおいて採用できる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造を例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
【００７３】
階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、符号化ツリーユニット（Coding Tree Unit；ＣＴＵ）を規定するＣＴＵレイヤ、符号化ツリーユニットＣＴＵに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
【００７４】
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、ビデオパラメータセットＶＰＳ（Video Parameter Set）、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
【００７５】
ビデオパラメータセットＶＰＳでは、符号化データに含まれるレイヤ数、レイヤ間の依存関係が規定されている。
【００７６】
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＳＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるＳＰＳが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブＳＰＳとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブＳＰＳを意味する。
【００７７】
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。特定ピクチャの復号に使用されるＰＰＳはアクティブＰＰＳとも呼ばれる。以下では、特に断りがなければ、ＰＰＳは対象ピクチャに対するアクティブＰＰＳを意味する。
【００７８】
なお、アクティブＳＰＳおよびアクティブＰＰＳは、レイヤ毎に異なるＳＰＳやＰＰＳに設定してもよい。
【００７９】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、スライスヘッダＳＨ1〜ＳＨNS、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
【００８０】
なお、以下、スライスヘッダＳＨ1〜ＳＨNSやスライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータも同様である。
【００８１】
スライスヘッダＳＨkには、対応するスライスＳkの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、ＳＰＳを指定するＳＰＳ識別子（seq_parameter_set_id）や、ＰＰＳを指定するＰＰＳ識別子（pic_parameter_set_id）が含まれる。また、スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
【００８２】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
【００８３】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、符号化ツリーユニットＣＴＵ1〜ＣＴＵNC（ＮＣはスライスＳに含まれるＣＴＵの総数）を含んでいる。
【００８４】
（ＣＴＵレイヤ）
ＣＴＵレイヤでは、処理対象の符号化ツリーユニットＣＴＵ（以下、対象ＣＴＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、符号化ツリーユニットのことを符号化ツリーブロック（CTB: Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
【００８５】
符号化ツリーユニットＣＴＵは、ＣＴＵヘッダＣＴＵＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはＣＴＵに含まれる符号化単位情報の総数）とを含む。ここで、まず、符号化ツリーユニットＣＴＵと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
【００８６】
符号化ツリーユニットＣＴＵは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するための単位に分割される。
【００８７】
符号化ツリーユニットＣＴＵの上記単位は、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
【００８８】
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応する単位を、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。
【００８９】
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、符号化ツリーユニットＣＴＵを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
【００９０】
また、符号化ツリーのルート（root）は、符号化ツリーユニットＣＴＵに対応付けられる。換言すれば、符号化ツリーユニットＣＴＵは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
【００９１】
なお、各符号化ノードのサイズは、当該符号化ノードの親ノードとなる符号化ノード（すなわち、当該符号化ノードの１階層上位のノード）のサイズの縦横とも半分である。
【００９２】
また、符号化ツリーユニットＣＴＵのサイズ、および、各符号化ユニットのとり得るサイズは、シーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、符号化ツリーユニットＣＴＵのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
【００９３】
（ＣＴＵヘッダ）
ＣＴＵヘッダＣＴＵＨには、対象ＣＴＵの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ＣＴＵの各ＣＵへの分割パターンを指定するＣＴＵ分割情報ＳＰ＿ＣＴＵ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
【００９４】
ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＴＵを分割するための符号化ツリーを表す情報であり、具体的には、対象ＣＴＵに含まれる各ＣＵの形状、サイズ、および、対象ＣＴＵ内での位置を指定する情報である。
【００９５】
なお、ＣＴＵ分割情報ＳＰ＿ＣＴＵは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばＣＴＵ分割情報ＳＰ＿ＣＴＵは、対象ＣＴＵ全体またはＣＴＵの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ＣＴＵの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
【００９６】
また、量子化パラメータ差分Δｑｐは、対象ＣＴＵにおける量子化パラメータｑｐと、当該対象ＣＴＵの直前に符号化されたＣＴＵにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
【００９７】
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。
【００９８】
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
【００９９】
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。換言すれば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
【０１００】
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
【０１０１】
予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
【０１０２】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
【０１０３】
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎなどがある。
【０１０４】
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。換言すれば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
【０１０５】
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
【０１０６】
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
【０１０７】
（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容を説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
【０１０８】
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
【０１０９】
［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
【０１１０】
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法を指定する情報である。ベースレイヤにおいては、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
【０１１１】
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅで指定される予測方法において用いられる予測情報である。ベースレイヤにおいては、イントラ予測の場合にイントラ予測情報PP_Intraが含まれる。また、インター予測の場合にはインター予測情報PP_Interを含む。
【０１１２】
インター予測情報PP_Interは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される予測情報を含む。より具体的には、インター予測情報PP_Interは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータ（動き補償パラメータ）を含む。インター予測パラメータとしては、例えば、マージフラグ（merge_flag）、マージインデックス（merge_idx）、推定動きベクトルインデックス（mvp_idx）、参照ピクチャインデックス（ref_idx）、インター予測フラグ（inter_pred_flag）、および動きベクトル残差（mvd）を含む。
【０１１３】
イントラ予測情報PP_Intraは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報PP_Intraには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
【０１１４】
ここで、イントラ予測パラメータは、各イントラＰＵについてのイントラ予測（予測モード）を復元するためのパラメータである。予測モードを復元するためのパラメータには、ＭＰＭ（Most Probable Mode、以下同様）に関するフラグであるmpm_flag、ＭＰＭを選択するためのインデックスであるmpm_idx、および、ＭＰＭ以外の予測モードを指定するためのインデックスであるrem_idxが含まれる。ここで、ＭＰＭとは、対象パーティションで選択される可能性が高い推定予測モードである。例えば、対象パーティションの周辺のパーティションに割り付けられた予測モードに基づいて推定された推定予測モードや、一般的に発生確率の高いＤＣモードやＰｌａｎａｒモードがＭＰＭに含まれ得る。
【０１１５】
また、以下において、単に“予測モード”と表記する場合、特にことわりのない限り、輝度予測モードのことを指すものとする。色差予測モードについては、“色差予測モード”と表記し、輝度予測モードと区別する。また、予測モードを復元するパラメータには、色差予測モードを指定するためのパラメータであるchroma_modeが含まれる。
【０１１６】
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数の変換ブロックそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。
【０１１７】
ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
【０１１８】
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各変換ブロックの形状、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象ノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現できる。
【０１１９】
また、例えば、ＣＵサイズが、６４×６４の場合、分割により得られる各変換ブロックは、３２×３２画素から４×４画素までのサイズをとり得る。
【０１２０】
各量子化予測残差ＱＤは、階層動画像符号化装置２が以下の処理１〜３を、処理対象の変換ブロックである対象ブロックに施すことによって生成した符号化データである。
【０１２１】
処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
【０１２２】
（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。
【０１２３】
（拡張レイヤ）
拡張レイヤのレイヤ表現に含まれる符号化データ（以下、拡張レイヤ符号化データ）についても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用できる。ただし、拡張レイヤ符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略できる。
【０１２４】
スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。
【０１２５】
また、ＣＵ情報ＣＵに含まれる予測タイプ情報ＰＴｙｐｅは、対象ＣＵについての予測画像生成方法がイントラ予測、インター予測、または、レイヤ間画像予測のいずれかを指定する情報である。予測タイプ情報ＰＴｙｐｅには、レイヤ間画像予測モードの適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flag、inter_layer_pred_flag、または、base_mode_flagと呼ばれることもある。
【０１２６】
拡張レイヤにおいて、対象ＣＵのＣＵタイプが、イントラＣＵ、レイヤ間ＣＵ、インターＣＵ、スキップＣＵのいずれであるかが指定されていてもよい。
【０１２７】
イントラＣＵは、ベースレイヤにおけるイントラＣＵと同様に定義できる。イントラＣＵでは、レイヤ間画像予測フラグが“０”に、予測モードフラグが“０”に設定される。
【０１２８】
レイヤ間ＣＵは、参照レイヤのピクチャの復号画像を予測画像生成に用いるＣＵと定義できる。レイヤ間ＣＵでは、レイヤ間画像予測フラグが“１”に、予測モードフラグが“０”に設定される。
【０１２９】
スキップＣＵは、上述のHEVC方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。
【０１３０】
インターＣＵは、非スキップかつ動き補償（MC；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。
【０１３１】
また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。
【０１３２】
下位レイヤが、例えば、MPEG-2や、H.264/AVC方式によって符号化されていてもよい。
【０１３３】
拡張レイヤ符号化データでは、VPSが拡張されて、レイヤ間の参照構造を表すパラメータが含まれていてもよい。
【０１３４】
また、拡張レイヤ符号化データでは、SPS、PPS、スライスヘッダが拡張されて、レイヤ間画像予測に用いる参照レイヤの復号画像に係る情報（例えば、後述のレイヤ間参照ピクチャセット、レイヤ間参照ピクチャリスト、ベース制御情報等を直接、または、間接的に導出するためのシンタックス）が含まれていてもよい。
【０１３５】
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。
【０１３６】
〔ピクチャ、タイル、スライスの関係〕
次に、本発明に係る重要な概念であるピクチャ、タイル、スライスについて、相互の関係および符号化データとの関係を図４を参照して説明する。図４は、階層符号化データにおけるピクチャとタイル・スライスの関係を説明する図である。タイルは、ピクチャ内の矩形の部分領域、および、該部分領域に係る符号化データに対応付けられる。スライスはピクチャ内の部分領域、および、該部分領域に係る符号化データ、すなわち、該部分領域に係るスライスヘッダおよびスライスデータに対応付けられる。
【０１３７】
図４（ａ）はピクチャをタイル・スライスにより分割する場合の分割領域を例示している。図４（ａ）では、ピクチャは矩形の６個のタイル（T00、T01、T02、T10、T11、T12）に分割されている。タイルT00、タイルT02、タイルT10、タイルT12は、それぞれ１個のスライス（順にスライスS00、スライスS02、スライスS10、スライスS12）を含む。一方、タイルT01は2個のスライス（スライスS01aとスライスS01b）を含み、タイルT11は2個のスライス（スライスS11aとスライスS11b）を含んでいる。
【０１３８】
図４（ｂ）は符号化データの構成におけるタイルとスライスの関係を例示している。まず、符号化データは、複数のVCL（Video Coding Layer；ビデオ符号化レイヤ）NALユニットと非VCL（non-VCL）NALユニットから構成される。１枚のピクチャの相当するビデオ符号化レイヤの符号化データは、複数のVCL NALから構成される。ピクチャがタイルに分割される場合、ピクチャに相当する符号化データには、タイルのラスタ順にタイルに相当する符号化データが含まれている。すなわち、図４（ａ）で示したようにピクチャがタイルに分割される場合、タイルT00、T01、T02、T10、T11、T12の順にタイルに相当する符号化データが含まれる。タイルが複数のスライスに分割される場合、スライス先頭のCTUが、タイル内でのCTUラスタスキャン順で先に位置するスライスから順に、スライスに相当する符号化データがタイルに相当する符号化データに含まれる。例えば、図４（ａ）で示したようにタイルT01がスライスS01aとS01bを含む場合、スライスS01a、スライスS01bの順にスライスに相当する符号化データがタイルT01に相当する符号化データに順に含まれる。
【０１３９】
以上の説明から分かるように、ピクチャ内の特定のタイルに相当する符号化データには、１以上のスライスに対応する符号化データが関連付けられている。そのため、タイルに関連付けられるスライスの復号画像を生成できれば、該タイルに対応するピクチャ内の部分領域の復号画像を生成できる。
【０１４０】
以下では、特に追加の説明がなければ、上記のようなピクチャ、タイル、スライスと符号化データの関係を前提として説明を行う。
【０１４１】
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１〜図１７を参照して説明する。
【０１４２】
（階層動画像復号装置の構成）
図５を用いて、階層動画像復号装置１の概略的構成を説明すると次のとおりである。図５は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層符号化データＤＡＴＡ（階層動画像符号化装置２から提供される階層符号化データＤＡＴＡＦ、または、符号化データ変換装置３から提供される階層符号化データＤＡＴＡＲ）を復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは基本レイヤを参照レイヤとする拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
【０１４３】
図５に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、パラメータセット復号部１２、タイル設定部１３、スライス復号部１４、ベース復号部１５、復号ピクチャ管理部１６を含む。
【０１４４】
ＮＡＬ逆多重化部１１は、NAL（Network Abstraction Layer）におけるNALユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。
【０１４５】
NALは、VCL（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
【０１４６】
VCLは、動画像符号化処理を行う層のことであり、VCLにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG-2システムに対応する。
【０１４７】
なお、NALでは、VCLで生成されたビットストリームが、NALユニットという単位で区切られて、宛先となる下位システムへ伝送される。NALユニットには、VCLで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、NALユニット格納されることでNAL多重化されて階層動画像復号装置１に伝送される。
【０１４８】
階層符号化データＤＡＴＡには、VCLにより生成されたNALの他に、パラメータセット（VPS、SPS、PPS）やSEI等を含むNALが含まれる。それらのNALはVCL NALに対して非VCL NALと呼ばれる。
【０１４９】
ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるNALのうち、非VCL NALをパラメータセット復号部１２に、VCL NALをスライス復号部１４にそれぞれ供給する。
【０１５０】
パラメータセット復号部１２は、入力される非VCL NALからパラメータセット、すなわち、ＶＰＳ、ＳＰＳ、および、ＰＰＳを復号してタイル設定部１３とスライス復号部１４に供給する。
【０１５１】
タイル設定部１３は、入力されるパラメータセットに基づいてピクチャのタイル情報を導出してスライス復号部１４に供給する。タイル情報は、少なくともピクチャのタイル分割情報を含む。タイル設定部１３の詳細な説明は後述する。
【０１５２】
スライス復号部１４は、入力されるVCL NAL、パラメータセット、タイル情報、および、参照ピクチャに基づいて復号ピクチャ、または、復号ピクチャの部分領域を生成して復号ピクチャ管理部１６内のバッファに記録する。スライス復号部の詳細な説明は後述する。
【０１５３】
復号ピクチャ管理部１６は、入力される復号ピクチャやベース復号ピクチャを内部の復号ピクチャバッファ（DPB: Decoded Picture Buffer）に記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、復号ピクチャ管理部１６は、DPBに記録されている復号ピクチャを、所定のタイミングで出力ピクチャＰＯＵＴ＃Ｔとして外部に出力する。
【０１５４】
ベース復号部１５は、参照レイヤ符号化データＤＡＴＡ＃Ｒからベース復号ピクチャを復号する。ベース復号ピクチャは、対象レイヤの復号ピクチャ復号時に利用される参照レイヤの復号ピクチャである。ベース復号部１５は、復号したベース復号ピクチャを復号ピクチャ管理部１６内のDPBに記録する。
【０１５５】
図６を用いて、ベース復号部１５の詳細構成を説明する。図６は、ベース復号部１５の構成について例示した機能ブロック図である。
【０１５６】
図６に示すように、ベース復号部１５は、ベースNAL逆多重化部１５１、ベースパラメータセット復号部１５２、ベースタイル設定部１５３、ベーススライス復号部１５４、ベース復号ピクチャ管理部１５６を備える。
【０１５７】
ベースNAL逆多重化部１５１は、参照レイヤ符号化データＤＡＴＡ＃Ｒを逆多重化して、VCL NALと非VCL NALを抽出し、非VCL NALをベースパラメータセット復号部１５２に、VCL NALをベーススライス復号部１５４にそれぞれ供給する。
【０１５８】
ベースパラメータセット復号部１５２は、入力される非VCL NALからパラメータセット、すなわち、VPS、SPS、および、PPSを復号してベースタイル設定部１５３とベーススライス復号部１５４に供給する。
【０１５９】
ベーススタイル設定部１５３は、入力されるパラメータセットに基づいてピクチャのタイル情報を導出してベーススライス復号部１５４に供給する。
【０１６０】
ベーススライス復号部１５４は、入力されるVCL NAL、パラメータセット、タイル情報、および、参照ピクチャに基づいて復号ピクチャ、または、復号ピクチャの部分領域を生成してベース復号ピクチャ管理部１５６内のバッファに記録する。
【０１６１】
ベース復号ピクチャ管理部１５６は、入力される復号ピクチャを内部のDPBに記録するとともに、参照ピクチャリスト生成や出力ピクチャ決定を行う。また、ベース復号ピクチャ管理部１５６は、DPBに記録されている復号ピクチャを、所定のタイミングでベース復号ピクチャとして出力する。
【０１６２】
（タイル設定部１３）
タイル設定部１３は、入力されるパラメータセットに基づいてピクチャのタイル情報を導出して出力する。
【０１６３】
本実施形態において、タイル設定部１３により生成されるタイル情報は、概略的には、タイル構造情報とタイル依存情報を含む。
【０１６４】
タイル構造情報は、ピクチャ内のタイルの個数と各タイルの大きさが示す情報である。なお、タイルがピクチャを格子状に分割して得られる部分領域に対応付ける場合、ピクチャ内のタイルの個数は、水平方向に含まれるタイルの個数と垂直方向に含まれるタイルの個数の積に等しい。
【０１６５】
タイル依存情報は、ピクチャ内のタイル復号時の依存性を示す情報である。ここで、タイル復号時の依存性は、タイルがタイル外の領域に係る復号画素やシンタックス値に依存する程度を示す。なお、タイル外の領域には、対象ピクチャ上のタイル外の領域、参照ピクチャ上のタイル外の領域、ベース復号ピクチャ上のタイル外の領域が含まれる。
【０１６６】
以下、タイル設定部１３により生成されるタイル情報の詳細について、入力されるパラメータセットに基づく導出過程を含めて説明する。
【０１６７】
タイル情報は、パラメータセットに含まれるSPSやPPSに含まれるタイル情報に係るシンタックスの値に基づいて導出される。タイル情報に係るシンタックスについて図７と図９を参照して説明する。
【０１６８】
（PPSタイル情報）
図７は、パラメータセットに含まれるPPSの復号時にパラメータ復号部１２により参照されるシンタックス表の一部であって、タイル情報に係る部分である。
【０１６９】
PPSに含まれるタイル情報に係るシンタックス（PPSタイル情報）には、複数タイル有効フラグ（tiles_enabled_flag）が含まれる。複数タイル有効フラグの値が１の場合、ピクチャが２個以上のタイルから構成されることを示す。当該フラグの値が０の場合、ピクチャが１個のタイルから構成される、すなわちピクチャとタイルが一致することを示す。
【０１７０】
複数タイルが有効（tiles_enabled_flagが真）である場合、PPSタイル情報には、タイル列数を示す情報（num_tile_columns_minus1）、タイル行数を示す情報（num_tiles_rows_minus1）、および、タイルサイズの均等性を示すフラグ（uniform_spacing_flag）が追加で含まれる。
【０１７１】
num_tile_columns_minus1は、ピクチャの水平方向に含まれるタイルの数から１を引いた値に相当するシンタックスである。また、num_tile_rows_minus1は、ピクチャの垂直方向に含まれるタイルの数から１を引いた値に相当するシンタックスである。したがって、ピクチャに含まれるタイル数NumTilesInPicは次式により計算される。
【０１７２】
NumTilesInPic = (num_tile_columns_minus1+1) * (num_tile_rows_minus1+1)
uniform_spacing_flagの値が１の場合、ピクチャに含まれるタイルサイズが均等、すなわち、各タイルの幅と高さが等しいことを示す。uniform_spacing_flagの値が０の場合、ピクチャに含まれるタイルサイズが不均等、すなわち、ピクチャに含まれるタイルの幅や高さが必ずしも一致しないことを示す。
【０１７３】
ピクチャに含まれるタイルサイズが不均等（uniform_spacing_flagが０）の場合、PPSタイル情報には、ピクチャに含まれる各タイル列に対して、タイル幅を示す情報（column_width_minus1[i]）、および、ピクチャに含まれる各タイル行に対して、タイルの高さを示す情報（row_height_minus1[i]）が追加で含まれる。
【０１７４】
また、複数タイルが有効である場合、PPSタイル情報には、タイル境界をまたぐループフィルタの適用有無を示すフラグ（loop_filter_across_tiles_enabled_flag）を追加で含む。
【０１７５】
ここで、図８を参照して、タイル行、タイル列とピクチャの関係を説明しておく。図８は、ピクチャをタイル分割した場合のタイル行とタイル列を例示した図である。図８の例では、ピクチャは４個のタイル列と３個のタイル行により分割されており、計１２個のタイルを含んでいる。例えば、タイル列０（TileCol0）は、タイルＴ００、Ｔ１０、Ｔ２０を含んでいる。また、例えば、タイル行０（TileRow0）は、タイルＴ００、Ｔ０１、Ｔ０２、Ｔ０３を含んでいる。タイル列ｉの幅はCTU単位でColWidth[i]と表記される。タイル行ｊの高さはCTU単位でRowHeight[j]と表記される。したがって、タイル行ｉに属し、かつ、タイル列ｊに属するタイルの幅はColWidth[i]、高さはRowHeight[j]となる。
【０１７６】
上記のPPSタイル情報に基づいて、タイル設定部１３は、タイル構造情報を導出する。タイル構造情報には、ラスタスキャンCTBアドレスからタイルスキャンCTBアドレスを導出する配列（CtbAddrRsToTs[ctbAddrRs]）、タイルスキャンCTBアドレスからラスタスキャンCTBアドレスを導出する配列（CtbAddrTsToRs[ctbAddrTs]）、タイルスキャンCTBアドレス毎のタイル識別子（TileId[ctbAddrTs]）、各タイル列の幅（ColumnWidthInLumaSamples[i]）、および、各タイル行の高さ（RowHeightInLumaSamples[j]）が含まれる。
【０１７７】
uniform_spacing_flagが１の場合、ピクチャサイズとピクチャ内のタイル数に基づいて各タイル列の幅が計算される。例えば、次式によりｉ番目のタイル列の幅（ColumnWidthInLumaSamples[i]）が計算される。なお、PicWidthInCtbsYは、ピクチャの水平方向に含まれるCTUの数を表す。
【０１７８】
ColWidth[i] = ( (i+1) * PicWidthInCtbsY ) / ( num_tile_columns_minus1 + 1 ) - ( i * PicWidthInCtbsY ) / ( num_tile_columns_minus1 + 1 )
つまり、ピクチャをタイル列数で等分して得られる（i+1）番目とi番目の境界位置の差分として、ｉ番目のタイル列のCTU単位の幅であるColWidth[i]が計算される。
【０１７９】
一方、uniform_spacing_flagが０の場合、（column_width_minus1[i]+1）の値がｉ番目のタイル列のCTU単位の幅ColWidth[i]に設定される。
【０１８０】
ColumnWidthInLumaSamples[i]の値は、ColWidth[i]にCTUの画素単位の幅を乗じて得られる値を設定する。
【０１８１】
なお、タイル行のCTU単位の高さRowHeight[j]についても、上記タイル列の幅と同様の方法で計算される。PicWidthInCtbsYの代わりにPicHeightInCtbsY（ピクチャの垂直方向に含まれるCTU数)、num_tiles_columns_minus1の代わりにnum_tiles_row_minus1、column_width_minus1[i]の代わりにrow_height_minus1[i]を用いる。
【０１８２】
RowHeightInLumaSamples[j]の値は、RowHeight[j]にCTUの画素単位の高さを乗じて得られる値を設定する。
【０１８３】
次に、タイルスキャンCTBアドレスからラスタスキャンCTBアドレスを導出する配列（CtbAddrTsToRs[ctbAddrTs]）の導出方法を説明する。
【０１８４】
まず、ｉ番目のタイル列の境界位置を示すcolBd[i]、および、ｊ番目のタイル行の境界位置を示すrowBd[j]を次式により計算する。なお、colBd[0]とrowBd[0]の値は０とする。
【０１８５】
colBd[i+1] = colBd[i] + colWidth[i]
rowBd[j+1] = rowBd[j] + rowHeight[j]
続いて、ピクチャに含まれるラスタスキャンCTUアドレス（ctbAddrRs）で識別されるCTUに関連付けられるタイルスキャンCTUアドレスを以下の手順で導出する。
【０１８６】
対象CTUのピクチャ内CTU単位での位置（tbX、tbY）をctbAddrRsから次式により計算する。ここで演算子「%」は剰余演算子であり、「A % B」は整数Aを整数Bで割った余りを意味する。
【０１８７】
tbX = ctbAddrRs % PicWidthInCtbsY
tbY = ctbAddrRs / PicWidthInCtbsY
続いて、対象CTUを含むタイルのピクチャ内のタイル単位の位置（tileX、tileY）を導出する。tileXには、評価式（tbX >= colBd[i]）が真となる最大のｉの値が設定される。同様に、tileYには、評価式（tbY >= rowBd[j]）が真となる最大のｊの値が設定される。
【０１８８】
CtbAddrRsToTs[ctbAddrRs]の値には、(tileX、tileY）のタイルよりもタイルスキャン順で先行するタイルに含まれるCTUの和と、（tileX、tileY）のタイル内で（tbX - colBd[tileX]、tbY - rowBd[tileY]）に位置するCTUの当該タイル内ラスタスキャン順の位置を加算した値が設定される。
【０１８９】
CtbAddrTsToRs[ctbAddrTs]の値には、CtbAddrRsToTs[k]がctbAddrTsと一致する場合のkの値が設定される。
【０１９０】
TileId[ctbAddrTs]の値には、ctbAddrTsで示されるCTUが属するタイルのタイル識別子が設定される。ピクチャ内でタイル単位で（tileX、tileY）の位置にあるタイルのタイル識別子tileId(tileX、tileY)は、次式により計算される。
【０１９１】
tileId(tileX,tileY) = (tileY * (num_tile_cols_minus1 + 1)) + tileX
（SPSタイル情報）
図９はパラメータセットに含まれるSPSの復号時にパラメータ復号部１２により参照されるシンタックス表の一部であって、タイル情報に係る部分である。上位レイヤのSPSに含まれるSPS拡張（sps_extension）には、タイル依存情報として、全タイル依存性識別子（all_tiles_decoding_dependency_idc）が含まれる。
【０１９２】
全タイル依存性識別子の値は、符号化データに含まれる全タイルの復号に係る依存性の情報が含まれている。具体的には、動き依存とレイヤ間依存の情報を含んでいる。
【０１９３】
動き依存は、レイヤ内のインター予測において、対象ピクチャの各タイルと同一位置にある参照ピクチャ上の領域（参照ピクチャ上の対応タイル領域）に含まれない領域（参照ピクチャタイル外領域）の復号画素や当該参照ピクチャタイル外領域のシンタックスに依存せずに対象ピクチャのタイルが復号できるか否かを示す。なお、以下では、参照ピクチャタイル外領域の復号画素やシンタックスに依存せずにタイルが復号できる場合を「動き依存がない」、それ以外の場合を「動き依存がある」と表現する。
【０１９４】
レイヤ間依存は、レイヤ間予測において、対象ピクチャの各タイルと同一位置にあるレイヤ間参照ピクチャ上の領域（レイヤ間参照ピクチャ上の対応タイル領域）に含まれない領域（レイヤ間参照ピクチャタイル外領域）の復号画素や当該レイヤ間参照ピクチャタイル外領域のシンタックスに依存せずに対象ピクチャのタイルが復号できるか否かを示す。なお、以下では、レイヤ間参照ピクチャタイル外領域の復号画素やシンタックスに依存せずにタイルが復号できる場合を「レイヤ間依存がない」、それ以外の場合を「レイヤ間依存がある」と表現する。
【０１９５】
全レイヤ依存性識別子の値と動き依存およびレイヤ間依存の対応関係を図１０に示す。図１０に示した通り、全レイヤ依存性識別子の値０は、動き依存とレイヤ間依存がともにあることを示す。全レイヤ依存性識別子の値１は、動き依存はあり、レイヤ間依存がないことを示す。全レイヤ依存性識別子の値２は、動き依存はなく、レイヤ間依存があることを示す。全レイヤ依存性識別子の値３は、動き依存、レイヤ間依存ともにないことを示す。
【０１９６】
上記の対応関係によると、全レイヤ依存性識別子の値を２進数で表現した場合に、下位１ビットがレイヤ間依存の有無に相当し、上位１ビットが動き依存の有無に対応する。全レイヤ依存性識別子の値と動き依存とレイヤ間依存の関係は、上記の対応関係に限定されてないが、上記対応関係を使えば、動き依存のみ、または、レイヤ間依存のみの依存有無を容易に判定できるため好ましい。
【０１９７】
なお、タイル依存情報は、必ずしもSPSに含まれる必要はなく、別のパラメータセット、例えばVPSやPPS、に含まれていても構わない。
【０１９８】
また、タイル依存情報として全レイヤ依存識別子を説明したが、他の情報をタイル依存情報としてもよい。より一般的には、以下のいずれかの情報を含んでいれば、タイル依存情報として利用できる。
【０１９９】
（１）任意のタイル復号時に参照ピクチャ上のタイル外領域の復号画素を参照するか否かを示す情報
（２）任意のタイル復号時に参照ピクチャ上のタイル外領域の符号化パラメータ（例えば動き情報）を参照するか否かを示す情報
（３）任意のタイル復号時にレイヤ間参照ピクチャ上のタイル外領域の復号画素を参照するか否かを示す情報
（４）任意のタイル復号時にレイヤ間参照ピクチャ上のタイル外領域の符号化パラメータ（例えば動き情報）を参照するか否かを示す情報
例えば、２値のフラグであって、上記（１）を示す情報をタイル依存情報として利用できる。また、例えば、３値の情報であって、「０」が上記（１）でタイル外領域の復号画素を参照することを示し、「１」が上記（１）でタイル外領域の復号画素を参照せず、上記（２）でタイル外領域の符号化パラメータを参照することを示し、「２」が上記（１）でタイル外領域の復号画素を参照せず、かつ、上記（２）でタイル外領域の符号化パラメータを参照しないことを示す情報をタイル依存情報として用いてもよい。
【０２００】
（スライス復号部１４）
スライス復号部１４は、入力されるVCL NAL、パラメータセット、および、タイル情報に基づいて復号ピクチャを生成して出力する。
【０２０１】
図１１を用いて、スライス復号部１４の概略的構成を説明する。図１１は、スライス復号部１４の概略的構成を示した機能ブロック図である。
【０２０２】
スライス復号部１４は、スライスヘッダ復号部１４１、スライス位置設定部１４２、スキップスライス判定部１４３、CTU復号部１４４を備えている。CTU復号部１４４は、さらに、非スキップCTU復号部１４４ＮとスキップCTU生成部１４４Ｓを含んでいる。
【０２０３】
（スライスヘッダ復号部）
スライスヘッダ復号部１４１は、入力されるVCL NALとパラメータセットに基づいてスライスヘッダを復号し、スライス位置設定部１４２、スキップスライス判定部１４３、および、CTU復号部１４４に出力する。
【０２０４】
スライスヘッダには、ピクチャ内のスライス位置に係る情報（SHスライス位置情報）、および、スキップスライスに係る情報（SHスキップスライス情報）が含まれる。以下、各々についてスライスヘッダ復号部１４１がスライスヘッダ復号時に参照するシンタックス表を例示して説明する。
【０２０５】
図１２は、スライスヘッダ復号時にスライスヘッダ復号部１４１により参照されるシンタックス表の一部であって、スライス位置情報に係る部分である。
【０２０６】
スライスヘッダには、スライス位置情報として、ピクチャ内先頭スライスフラグ（first_slice_segment_in_pic_flag）が含まれる。ピクチャ内先頭スライスフラグが１の場合、対象スライスが復号順でピクチャ内の先頭に位置することを示す。ピクチャ内先頭スライスフラグが０の場合は、対象スライスが復号順でピクチャ内の先頭に位置しないことを示す。
【０２０７】
また、スライスヘッダには、スライス位置情報として、スライスPPS識別子（slice_pic_parameter_set_id）が含まれる。スライスPPS識別子は、対象スライスに関連付けられるPPSの識別子であり、当該PPS識別子を介して、対象スライスに関連付けるべきタイル情報が特定される。
【０２０８】
また、スライスヘッダには、スライス位置情報として、スライスセグメントアドレス（slice_segment_address）が含まれる。スライスセグメントアドレスは、対象スライスの位置、すなわち、対象スライスに含まれるCTUのうち復号順で先頭のCTUのピクチャ内での位置を、ピクチャ内のCTUラスタスキャン順によるアドレスで指定する情報である。
【０２０９】
図１３は、スライスヘッダ復号時にスライスヘッダ復号部１４１により参照されるシンタックス表の一部であって、スキップスライス情報に係る部分である。
【０２１０】
スキップスライス情報は、上位レイヤに含まれるスライスヘッダであって、スライスヘッダ拡張が有効（slice_segment_header_extension_present_flagが真）である場合に復号される。したがって、上位レイヤとなり得ない基礎レイヤでは、スキップスライス情報はスライスヘッダに含まれない。
【０２１１】
複数タイルが有効（tiles_enabled_flagが真）であり、かつ、全タイル依存性識別子が動き依存またはレイヤ間依存の少なくとも何れか一方があることを示す（all_tiles_decoding_dependency_idc > 0）場合、スライスヘッダには、スキップスライス情報として、非重要タイルフラグ（non_significant_tile_flag）が含まれる。さらに、非重要タイルフラグが真の場合、スライスに含まれるCTU数を表わすシンタックス（num_ctu_in_slice_segment_minus1）が含まれる。前記のスライスに含まれるCTU数を表わすシンタックスは、スキップCTU数とも呼称する。なお、非重要タイルフラグは、スキップスライスフラグとも呼称される。また、同一のタイルに含まれる非重要タイルフラグの値は一致するよう制限されていることが好ましい。
【０２１２】
ここで、num_ctu_in_slice_segment_minus1はビット長Mの二値化された非負整数として復号される。ビット長Mは、対象スライスを含むタイルに含まれるCTU数に基づいて、以下の式により計算される。
【０２１３】
M = Ceil( Log2( ColWidth[tileX] * RowHeight[tileY] )
ここで、tileX = tileIdx % (num_tile_cols_minus1 + 1)
tileY = tileIdx / (num_tile_cols_minus1 + 1)
tileIdx = TileId[ CtbAddrRsToTs[ slice_segment_address ] ]
上記の式に従って導出されるMの値は、タイル識別子tileIdxに対応するタイルに含まれるCTU数（ColWidth[tileX] * RowHeight[tileY]）の２の対数をKとした場合、Ceil(K)、すなわち、K以上の整数の中で最小の整数に相当する値である。
【０２１４】
なお、num_ctu_in_slice_segment_minus1は上記以外の方法で二値化しても構わない。例えば、ピクチャ内に含まれるCTU数numCtbsInPicsを用いて、整数NをN=Ceil(Log2(numCtbsInPics))に設定し、当該Nをビット長とする非負整数として二値化してもよい。しかしながら、一般に複数タイルを用いる場合は、スライスはタイルに包含されるため、num_ctu_in_slice_segment_minus1を伝送する場合にはスライスに含まれるCTU数がタイルに含まれるCTU数を超えることはない。そのため、ピクチャに含まれるCTU数よりも少ないタイルに含まれるCTU数に基づいた符号長を用いることで、より少ない符号量でシンタックスを符号化できるため好ましい。
【０２１５】
図１３を参照して説明したスライスヘッダに含まれるスキップスライス情報は、次のように表現することもできる。すなわち、基礎レイヤのスライスヘッダにはスキップスライス情報が含まれず、上位レイヤのスライスヘッダには所定の条件でスキップスライス情報が含まれる。
【０２１６】
このように上位レイヤのスライスヘッダにのみスキップスライス情報を追加することは、特に基礎レイヤが既存の標準、例えばHEVC、に準拠する場合に有用である。なぜならば、HEVCはすでに普及しており、スライスヘッダのシンタックスを変更することは困難である。そのような場合に、上位レイヤにのみスキップスライス情報を所定の条件で追加することで、基礎レイヤの後方互換性を損なうことなく、上位レイヤでは注目領域の高解像度画像表示に代表されるアプリケーションで使用できるスキップスライスの機能を提供できる。
【０２１７】
（スライス位置設定部）
スライス位置設定部１４２は、入力されるスライスヘッダとタイル情報に基づいてピクチャ内のスライス位置を特定してCTU復号部１４４に出力する。
【０２１８】
スライス内のｉ番目のCTUのピクチャ内での位置をCTU単位で（ctbX[i],ctbY[i])、タイルスキャンによるアドレスをctbAddrTs[i]と記載する場合、スライスの先頭CTU、すなわち０番目のCTU、のピクチャ内の位置（ctbX[0]、ctbY[0]）、タイルスキャンによるアドレスctbAddrTsは次式により計算される。
【０２１９】
ctbAddrTs[0] = CtbAddrRsToTs[slice_segment_address]
ctbX[0] = slice_segment_address % PicWidthInCtbsY
ctbY[0] = slice_segment_address / PicWidthInCtbsY
ここで、CtbAddrRsToTs[X]はラスタスキャンのアドレスをタイルスキャンのアドレスに変換する配列であり、スライス位置設定部に入力されるタイル情報に含まれている。
【０２２０】
また、スライス内ｉ番目（ｉ＞０）のCTUのピクチャ内での位置（ctbX[i],ctbY[i])は次式により計算される。
【０２２１】
ctbAddrTs[i] = ctbAddrTs[i-1] + 1
ctbX[i] = CtbAddrTsToRs[ctbAddrTs[i]] % PicWidthInCtbsY
ctbY[i] = CtbAddrTsToRs[ctbAddrTs[i]] / PicWidthInCtbsY
つまり、対象CTUのタイルスキャンのアドレスは、直前に先行するCTUのタイルスキャンのアドレスに1加算した値に設定される。そして、得られたタイルスキャンのアドレスを、タイル情報に含まれる変換配列CtbAddrTsToRsを用いてラスタスキャンのアドレスに変換する。ラスタスキャンのアドレスとCTU単位のピクチャの幅によりCTUのピクチャ内での位置（ctbX[i],ctbY[i]）が導出される。
【０２２２】
なお、（ctbX[i],ctbY[i]）からCTUのピクチャ内輝度画素単位での位置（ctbXInLumaPixels[i],ctbYInLumaPixels[i])を計算するには、各要素にCTUサイズを乗ずる計算をすればよい。例えば、輝度画素単位のCTU幅の２の対数であるCtbLog2SizeYを用いて、次のように計算できる。
【０２２３】
ctbXInLumaPixels[i] = ctbX[i] << CtbLog2SizeY
ctbYInLumaPixels[i] = ctbY[i] << CtbLog2SizeY
以上の処理により、スライス位置設定部１４２は、スライスに含まれる各CTUのピクチャ内での位置を計算して出力する。
【０２２４】
（スキップスライス判定部）
スキップスライス判定部１４３は、入力されるスライスヘッダに基づいて、対象スライスがスキップスライスか否かを判定する。対象スライスがスキップスライスと判定した場合、スライスヘッダをCTU復号部１４４内のスキップCTU生成部１４４Ｓに出力する。対象スライスが非スキップスライスと判定した場合、スライスヘッダおよびスライスデータをCTU復号部１４４内の非スキップCTU復号部１４４Ｎに出力する。
【０２２５】
スキップスライス判定部１４３にて実行される、対象スライスがスキップスライスか否かの判定処理を図１を参照して説明する。図１は対象スライスがスキップスライスか否かを判定する処理のフロー図である。スキップスライスの判定は以下のＳ１０1〜Ｓ１０５の手順で実行される。
【０２２６】
（Ｓ１０１）ピクチャ内のタイル数が２以上（Ｓ１０１でYES）の場合、Ｓ１０２へ進む。それ以外（Ｓ１０１でNO）の場合、Ｓ１０５へ進む。なお、Ｓ１０１の判定は、tiles_enabled_flagの値を参照して実行できる。つまり、tiles_enabled_flagの値が１ならばピクチャ内のタイル数は２以上であり、tiles_enabled_flagの値が０ならばピクチャ内のタイル数は１である、という事実を利用して判定できる。
【０２２７】
（Ｓ１０２）シーケンスに含まれる全てのタイルに関して、動き依存、または、レイヤ間依存のいずれかが無い（Ｓ１０２でYES）場合、Ｓ１０３に進む。それ以外（Ｓ１０２でNO）の場合、Ｓ１０５に進む。なお、Ｓ１０２の判定は、前述のSPSタイル情報に含まれる全タイル依存性識別子（all_tiles_decoding_dependency_idc）を参照して実行できる。
【０２２８】
（Ｓ１０３）非重要タイルフラグ（non_significant_tile_flag）の値が１に等しい（Ｓ１０３でYES）場合、Ｓ１０４に進む。それ以外（Ｓ１０３でNO）の場合、Ｓ１０５に進む。
【０２２９】
（Ｓ１０４）対象スライスをスキップスライスに設定して処理を終了する。
【０２３０】
（Ｓ１０５）対象スライスを非スキップスライスに設定して処理を終了する。
【０２３１】
上記の手順によれば、非重要タイルが存在しない条件（ピクチャ内のタイル数が１、または、動き情報とレイヤ間依存のいずれも依存が有る）が成立する場合には対象スライスを非スキップスライスに設定し、それ以外の場合には、非重要タイルフラグの値に応じて対象スライスが非スキップスライスかスキップスライスかを決定している。
【０２３２】
上記の手順によれば、ピクチャ内のタイル数が１の場合にタイルをスキップすることを抑制できる。上位レイヤのピクチャ全体をスキップスライスとする処理の有用度は低い。なぜならば、そのような場合には下位レイヤのみを復号することで代用できるためである。したがって、タイル数が１の場合にタイルをスキップする処理を抑制できることが好ましい。
【０２３３】
また、上記の手順によれば、動き依存とレイヤ間依存のいずれも有る場合にタイルがスキップされることを抑制できる。動き依存がある場合、対象スライスが属するタイルの復号に、参照ピクチャ上で当該タイルと同一位置に対応する領域外の画素値やシンタックス値が参照される可能性がある。そのため、注目領域外のタイルをスキップスライスとして符号化すると、後続のピクチャにおける注目領域内の復号画像に影響が出るため、好ましくない。また、レイヤ間依存がある場合、注目領域外のタイルに相当する下位レイヤのタイルを復号する必要があり、下位レイヤにおいて注目領域外の領域を復号せずに複雑度を減らすこと、や、下位レイヤの注目領域に相当するタイルと、対象レイヤのタイルの並列復号ができないため、好ましくない。そのため、動き依存がレイヤ間依存のいずれかが無い場合にのみ、タイルがスキップできることが好ましく、上記のＳ１０２の手順により、そのような制約が実現できる。
【０２３４】
なお、図１を参照して説明した処理において、Ｓ１０１のタイル数に係る判定処理を省略し、Ｓ１０１でYESが選択されたものとして処理を行っても構わない。その場合、ピクチャ全体がスキップされる可能性が生じるが、判定処理の処理量を削減できる。
【０２３５】
また、図１を参照して説明した処理において、Ｓ１０２での処理、すなわち、「全タイルに動き依存がない、または、全タイルでレイヤ間依存がない」かを判定する処理に代わり、「全タイルに動き依存がない」かを判定する処理を行っても構わない。そうのような構成は、特に対象レイヤが参照レイヤとならない場合に有効であり、判定処理を削減できる。なぜならば、対象レイヤのタイルをスキップスライスに変更した場合であっても、当該タイルがより上位のレイヤにおいてレイヤ間予測により参照される可能性がないためである。
【０２３６】
なお、図１を参照して説明した処理に代わり、図１４に示した処理を用いてもよい。図１４では、図１のＳ１０１とＳ１０２の判定処理でNOだった場合に対象スライスを非スキップスライスに直接設定せず、一度non_significant_flagの値を0に設定するＳ１０６ａを実行する点が図１のフローと異なる。図１４に基づく場合のスキップスライスの判定は以下のＳ１０1ａ〜Ｓ１０６の手順で実行される。なお、Ｓ１０３、Ｓ１０４、Ｓ１０５の処理は図１を参照して説明した同一符号の処理と同じであり記載を省略する。
【０２３７】
（Ｓ１０１ａ）ピクチャ内のタイル数が２以上（Ｓ１０１ａでYES）の場合、Ｓ１０２ａへ進む。それ以外（Ｓ１０１ａでNO）の場合、Ｓ１０６ａへ進む。
【０２３８】
（Ｓ１０２ａ）シーケンスに含まれる全てのタイルに関して、動き依存、または、レイヤ間依存のいずれかが無い（Ｓ１０２ａでYES）場合、Ｓ１０３に進む。それ以外（Ｓ１０２ａでNO）の場合、Ｓ１０６ａに進む。
【０２３９】
（Ｓ１０６ａ）非重要タイルフラグ（non_significant_tile_flag）の値を０に設定してＳ１０３でへ進む。
【０２４０】
上記の図１４を参照して説明した対象スライスがスキップスライスか否かの判定処理は、図１を参照して説明した処理に較べて判定回数が少なく実装できるという利点がある。なぜならば、ピクチャ内のタイル数はPPSタイル情報により決定できる。つまり、Ｓ１０１ａの判定はＰＰＳ１個につき一度実行して、その結果を保存しておくことができる。また、Ｓ１０２ａの判定に用いる全タイル依存性識別子はSPSタイル情報に含まれる。つまり、Ｓ１０２ａの判定はＳＰＳ１個につき一度実行して、その結果を保存しておくことができる。
【０２４１】
なお、図１３に示したシンタックス表に基づいてnon_significant_tile_flagを復号する場合、non_significant_tile_flagが符号化データ中に存在しない場合の推定値を０に設定することでも、図１４を参照して説明した処理と同一のスキップスライス判定処理が実現できる。なぜならば、図１３のシンタックス表では、Ｓ１０１ａがYES（tiles_enabled_flagが１）かつＳ１０１ｂがYES（all_tiles_decoding_dependency_idc>0）の場合にのみnon_significant_tile_flagが復号されるためである。
【０２４２】
（CTU復号部）
CTU復号部１４４は、概略的には、入力されるスライスヘッダ、スライスデータ、および、パラメータセットに基づいて、スライスに含まれる各ＣＴＵに対応する領域の復号画像を復号することで、スライスの復号画像を生成する。スライスの復号画像は、入力されるスライス位置の示す位置に、復号ピクチャの一部として出力される。CTUの復号画像は、スキップスライス判定部１４３の結果に基づいて、CTU復号部１４４に含まれる非スキップCTU復号部１４４Ｎ、または、スキップCTU生成部１４４Ｓにおいて実行される。
【０２４３】
非スキップCTU復号部１４４Ｎは、入力されるスライスヘッダ、スライスデータに基づいて、非スキップスライスに含まれるCTUの復号画像を復号して出力する。すなわち、スライスデータに含まれるＰＴ情報を復号して対象CTUの予測画像を生成し、スライスデータに含まれるＴＴ情報を復号して対象CTUの予測残差を生成し、当該予測画像と予測残差に基づいて対象CTUの復号画像を生成する。
【０２４４】
（スキップCTU生成部）
スキップCTU生成部１４４Ｓは、入力されるスライスヘッダに基づいて、スキップスライスに含まれるCTUの復号画像を復号して出力する。スキップCTU生成部１４４Ｓにおいて生成されるCTUの復号画像の画素値p(x,y)は、例えば、次式により生成できる。ここで、(x,y)はCTU内の画素位置、BitDepthは出力画像のビット深度を表わす。
【０２４５】
p(x,y) = 1 << (BitDepth - 1)
すなわち、復号画像の画素値は、CTU内の位置によらず、ビット深度に依存した固定の値（ビット深度により表現される最大値に１を加算した値を２で除算した値）が設定される。例えば、出力画像のビット深度が８ビットの場合、128の値がスキップCTU内の各画素の復号画素値として設定される。
【０２４６】
なお、復号画像の画素値の生成方法は、必ずしも上記の方法でなくてもよい。スライスデータに依存しない別の生成方法で復号画像の画素値を導出しても構わない。例えば、パラメータセットが参照ピクチャまたはレイヤ間参照ピクチャの復号画素が参照可能であることを示す場合、参照ピクチャまたはレイヤ間参照ピクチャ上の復号画素をコピーしてスキップCTUの画素値としてもよい。レイヤ間参照ピクチャを用いる場合には、必要に応じて復号画像をスケーリングした後にコピーしてもよい。
【０２４７】
（スライス復号処理フロー）
スライス復号部１４におけるスライス復号処理を図１５を参照して説明する。図１５はスライス復号処理の手順を示すフロー図である。
【０２４８】
（Ｓ２０１）スライスヘッダ復号部１４１は、パラメータセットに基づいて、VLC NALからスライスヘッダを復号する。スライスヘッダをスライス位置設定部１４２に、スライスヘッダとVLC NALに含まれるスライスデータをスキップスライス判定部に出力する。Ｓ２０２に進む。
【０２４９】
（Ｓ２０２）スライス位置設定部１４２は、タイル情報と、スライスヘッダに基づいて、スライス位置を導出してCTU復号部１４４に出力する。Ｓ２０３に進む。
【０２５０】
（Ｓ２０３）スキップスライス判定部１４３は、スライスヘッダに基づいて、対象スライスがスキップスライスか非スキップスライスかを判定する。対象スライスが非スキップスライスの場合、スライスヘッダとスライスデータを非スキップCTU復号部１４４Ｎに出力してＳ２０４ａに進む。対象スライスがスキップスライスの場合、スライスヘッダをスキップCTU生成部１４４Ｓに出力してＳ２０４ｂに進む。
【０２５１】
（Ｓ２０４ａ）非スキップスライスCTU復号部１４４Ｎは、スライスデータからCTUを順次復号し、復号したCTUの復号画像を、入力のスライス位置が示す位置に対応する復号ピクチャの部分領域として出力する。Ｓ２０５に進む。
【０２５２】
（Ｓ２０４ｂ）スキップスライスCTU生成部１４４Ｓは、スライスヘッダが示す個数のCTUの復号画像を所定の導出処理により生成し、生成したCTUの復号画像を、入力のスライス位置が示す位置に対応する復号ピクチャの部分領域として出力する。Ｓ２０５に進む。
【０２５３】
（Ｓ２０５）CTU復号部１４４は、非スキップCTU復号部１４４ＮまたはスキップCTU生成部１４４Ｓから出力されたスライスに含まれるCTUの復号画像を、復号ピクチャの一部であるスライスの復号画像として出力する。
【０２５４】
（動画像復号装置１の効果）
以上説明した本実施形態に係る階層動画像復号装置１（階層画像復号装置）は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、上位レイヤの復号ピクチャを復元する画像復号装置であって、上位レイヤのスライスヘッダを復号するスライスヘッダ復号部１４１と、上位レイヤの非スキップスライスに属するＣＴＵの復号画像をスライスデータに基づいて復号する非スキップＣＴＵ復号部１４４Ｎと、上位レイヤのスキップスライスに属するＣＴＵの復号画像を生成するスキップＣＴＵ生成部１４４Ｓを備えている。スライスヘッダ復号部１４１は、対象スライスがスキップスライスか非スキップスライスかを示すスキップスライスフラグを復号または推定し、前記スキップスライスフラグが、対象スライスがスキップスライスであることを示す場合、スライスヘッダ復号部１４１は、スキップＣＴＵ数を復号するとともに、該スキップＣＴＵ数の示す個数のＣＴＵの復号画像をスキップＣＴＵ生成部１４４Ｓにより生成することで対象スライスの復号画像を生成する。前記スキップスライスフラグが、対象スライスが非スキップスライスであることを示す場合、対象スライスに含まれるＣＴＵを前記非スキップＣＴＵ復号部１４４Ｎにより復号することで対象スライスの復号画像を生成することができる。
【０２５５】
上記のように本発明に係る階層動画像復号装置１は、上位レイヤのスライスヘッダに含まれるスキップスライスフラグの値が対象スライスがスキップスライスであることを示す場合、スライスデータを用いることなくスキップＣＴＵ生成部により対象スライス内の復号画像を生成できる。スキップＣＴＵ生成部はスライスデータを用いずに復号画像を生成するため、非スキップＣＴＵ生成部でスライスデータを参照して復号画像を復号する場合に較べて復号画像の画質は低いが、より少ない処理量で、かつ、より少ない符号化データを用いて復号画像が生成できる。したがって、階層動画像復号装置１は、注目領域に含まれる領域内のスライスを非スキップスライス、注目領域に含まれない領域内のスライスをスキップスライスとして符号化された階層符号化データを復号する場合に、注目領域内の復号画像の品質を損なうことなく、少ない符号量の符号化データから、少ない処理量で復号画像を生成して復号ピクチャとして出力できる。
【０２５６】
[変形例１：コンフォーマンスウィンドウによる表示]
本実施形態に係る階層動画像復号装置１において、パラメータセットから表示領域情報を復号し、当該表示領域情報の示す復号ピクチャの部分領域を最終的な出力ピクチャとして外部に出力する構成を説明する。この構成では、パラメータセットから復号される表示領域情報は、復号ピクチャの部分領域であって、スキップスライスを含まない領域に制限される。以下、具体的な構成と手順を説明する。
【０２５７】
パラメータセット復号部１２は、入力される対象レイヤ符号化データＤＡＴＡ＃Ｔから表示領域情報を復号する。表示領域情報は、例えば、SPSに含まれており、図１６に示すシンタックス表に従って復号される。図１６は、パラメータセット復号部１２がSPS復号時に参照するシンタックス表の一部であって、表示領域情報に係る部分である。
【０２５８】
SPSから復号される表示領域情報は、表示領域フラグ（conformance_flag）を含む。表示領域フラグは表示領域の位置を表わす情報（表示領域位置情報）が追加でSPSに含まれるか否かを示す。すなわち、表示領域フラグが１の場合、表示領域位置情報が追加で含まれることを示し、表示領域フラグが０の場合、表示領域位置情報が追加で含まれないことを示す。
【０２５９】
SPSから復号される表示領域情報は、表示領域フラグが１の場合、さらに表示領域位置情報として表示領域左オフセット（conf_win_left_offset）、表示領域右オフセット（conf_win_right_offset）、表示領域上オフセット（conf_win_top_offset）、表示領域下オフセット（conf_win_bottom_offset）を含む。
【０２６０】
表示領域は、表示領域フラグが０の場合には、ピクチャ全体が設定される。一方、表示領域フラグが１の場合には、表示領域位置情報が示すピクチャ内の部分領域が設定される。なお、表示領域は、コンフォーマンス窓（conformance window）とも呼称される。
【０２６１】
図１７を参照して表示領域位置情報と表示領域の関係を説明する。図１７は、ピクチャ内の部分領域である表示領域と表示領域位置情報の関係を例示する図である。図に示したように、表示領域はピクチャ内に包含されており、表示領域上オフセットはピクチャ上辺と表示領域上辺の距離、表示領域左オフセットはピクチャ左辺と表示領域左辺の距離、表示領域右オフセットはピクチャ右辺と表示領域右辺の距離、表示領域下オフセットはピクチャ下辺と表示領域下辺の距離をそれぞれ表わしている。したがって、上記の表示領域位置情報により、表示領域のピクチャ内の位置およびサイズが一意に特定できる。なお、表示領域情報は、表示領域のピクチャ内の位置およびサイズが一意に特定できる他の情報であっても構わない。
【０２６２】
上記表示領域は、スキップスライスに対応する領域を含まないように制限される。言い換えると、パラメータセットより復号される表示領域位置情報が指定する表示領域には、スキップスライスを含まないように制限される。スキップスライスの復号画像は一般的にスキップスライスの復号画像に較べて画質が低いため、表示領域を非スキップスライスに制限することで、階層動画像復号装置より出力される復号ピクチャの部分領域の画質を高く維持できる。
【０２６３】
一般に、スライスのピクチャ内での位置の判定はタイルのピクチャ内での位置の判定より困難である。なぜならば、タイルの位置はPPSから計算できるのに対し、スライスの位置（スライスが含む各CTUの位置）はスライスヘッダやスライスデータを復号するまで特定できないためである。したがって、表示領域がスキップスライスを含むタイルに対応する領域を含まない構成とすることで、表示領域がスキップスライスを含まない構成とする場合に較べて、より容易に表示領域が制約を満たしているか否かを判定できる。
【０２６４】
なお、スキップスライスに対応する領域を出力せず、かつ、スキップスライスに対応する領域を参照しない構成では、スキップCTU生成部１４４Ｓを備えない構成とすることも可能である。この場合、表示領域がスキップスライスを含むタイルに対応する領域を含まず、かつ参照しない、構成では、スキップCTU生成部１４４Ｓにおけるスキップスライス部分の復号画像導出を省略することが可能であるため、さらに処理量を削減することができる。
【０２６５】
（階層動画像符号化装置の構成）
図１８を用いて、階層動画像符号化装置２の概略構成を説明する。図１８は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
【０２６６】
図１８に示すように階層動画像符号化装置２は、NAL多重化部２１、パラメータセット符号化部２２、タイル設定部２３、スライス符号化部１４、復号ピクチャ管理部１６、および、ベース復号部１５を備える。
【０２６７】
ＮＡＬ多重化部２１は、入力される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。
【０２６８】
パラメータセット符号化部２２は、入力されるタイル情報と入力画像に基づいて、入力画像の符号化に用いるパラメータセット（VPS、SPS、および、PPS）を設定して、対象レイヤ符号化データＤＡＴＡ＃Ｔの一部としてVCL NALの形式でパケット化してNAL多重化部２１に供給する。
【０２６９】
パラメータセット符号化部２２は、図１６と図１７を参照して説明した、表示領域情報を含んでいることが好ましい。また、階層動画像復号装置１の変形例１の構成として説明したよういに、表示領域情報はスキップスライスに対応する領域を含まないよう制限されていることが好ましい。または、表示領域情報はスキップスライスを含むタイルに対応する領域を含まないように制限されていることが好ましい。
【０２７０】
タイル設定部２３は、入力画像に基づいてピクチャのタイル情報を設定して、パラメータセット符号化部２２とスライス符号化部２４に供給する。例えば、ピクチャサイズをＭ×Ｎ個のタイルに分割することを示すタイル情報を設定する。ここで、Ｍ、Ｎは任意の正の整数である。また、例えば、ピクチャが所定サイズのタイル（例えば１２８画素×１２８画素のタイル）に分割されるようにタイル情報を設定してもよい。
【０２７１】
スライス符号化部２４は、入力される入力画像、パラメータセット、タイル情報、および、復号ピクチャ管理部１６に記録されている参照ピクチャに基づいて、ピクチャを構成するスライスに対応する入力画像の一部を符号化して、当該部分の符号化データを生成し、対象レイヤ符号化データＤＡＴＡ＃Ｔの一部としてNAL多重化部２１に供給する。スライス符号化部２４の詳細な説明は後述する。
【０２７２】
復号ピクチャ管理部１６は、既に説明した階層動画像復号装置１の備える復号ピクチャ管理部１６と同一の構成要素である。ただし、階層動画像符号化装置２の備える復号ピクチャ管理部１６では、内部のDPBに記録されたピクチャを出力ピクチャとして出力する必要はないため、当該出力は省略できる。なお、階層動画像復号装置１の復号ピクチャ管理部１６の説明において「復号」として説明した記載は「符号化」と置き換えることで、階層動画像符号化装置２の復号ピクチャ管理部１６にも適用できる。
【０２７３】
ベース復号部１５は、既に説明した階層動画像復号装置１の備えるベース復号部１５と同一の構成要素であり、詳細説明は省略する。
【０２７４】
（スライス符号化部）
次に図１９を参照して、スライス符号化部２４の構成の詳細を説明する。図１９は、スライス符号化部２４の概略的構成を示した機能ブロック図である。
【０２７５】
図１９に示すように、スライス符号化部２４は、スライスヘッダ設定部２４１、スライス位置設定部２４２、スキップスライス判定部２４３、および、CTU符号化部２４４を含む。CTU符号化部２４４は、内部に非スキップCTU符号化部２４４ＮとスキップＣＴＵ生成部２４４Ｓを含む。
【０２７６】
スライスヘッダ設定部２４１は、入力されるパラメータセットとスライス位置情報に基づいてスライス単位で入力される入力画像の符号化に用いるスライスヘッダを生成する。生成されたスライスヘッダは、スライス符号化データの一部として出力されるとともに、入力画像と合わせてスキップスライス判定部１４３に供給される。
【０２７７】
スライスヘッダ設定部２４１で生成されるスライスヘッダには、図１２を参照して説明したSHスライス位置情報、および、図１３を参照して説明したスライススキップ情報が少なくとも含まれる。
【０２７８】
スライス位置設定部２４２は、入力されるタイル情報に基づいてピクチャ内のスライス位置を決定してスライスヘッダ設定部２４１に供給する。
【０２７９】
スキップスライス設定部２４３は、階層動画像復号装置１のスライス復号部１４に含まれるスキップスライス判定部１４３に対応する構成要素であり、入力されるスライスヘッダに基づいて、対象スライスがスキップスライスか否かを判定する。スキップスライス判定部２４３における上記判定は、スキップスライス判定部１４３と同一の判定基準が利用できる。スキップスライス判定部２４３は、対象スライスがスキップスライスと判定した場合、スライスヘッダをCTU符号化部２４４内のスキップCTU生成部２４４Ｓに出力する。対象スライスが非スキップスライスと判定した場合、スライスヘッダおよび入力画像（対象スライス部分）をCTU符号化部２４４内の非スキップCTU符号化部２４４Ｎに出力する。
【０２８０】
CTU符号化部２４４は、入力されるパラメータセット、スライスヘッダに基づいて、入力画像（対象スライス部分）をCTU単位で符号化して、対象スライスに係るスライスデータおよび復号画像（復号ピクチャ）を生成して出力する。CTUの符号化は、スキップスライス判定部２４３の判定結果に従って、非スキップCTU符号化部２４４Ｎ、または、スキップCTU生成部２４４Ｓの何れかで実行される。
【０２８１】
非スキップCTU符号化部２４４Ｎは、非スキップスライスに含まれるCTUを符号化することで対応するスライスデータの部分データ、および、当該CTUの復号画像を生成する。符号化では、まず、入力画像の性質に基づいて対象CTUの予測パラメータ（ＰＴ情報）導出する。次に、前記予測パラメータに基づいて対象CTUの予測画像を生成し、入力画像と予測画像の差分を予測残差情報（ＴＴ情報）として生成する。ＰＴ情報とＴＴ情報を合わせて、対象CTUに相当するスライスデータの部分データを生成するとともに、ＴＴ情報を復号して対象CTUの予測残差を生成し、当該予測画像と予測残差に基づいて対象CTUの復号画像を生成する。
【０２８２】
スキップCTU生成部２４４Ｓは、入力されるスライスヘッダに基づいて、スキップスライスに含まれるCTUの復号画像を復号して出力する。スキップCTU生成部２４４Ｓの復号画像生成の処理は、階層動画像復号装置１のスライス復号部１４が含むスキップCTU生成部１４４Ｓと同一の処理を用いることができる。
【０２８３】
（動画像符号化装置２の効果）
以上説明した本実施形態に係る階層動画像符号化装置２は、入力画像から上位レイヤの符号化データを生成する階層動画像符号化装置（階層画像符号化装置）であって、上位レイヤのスライスヘッダを符号化するスライスヘッダ符号化部２４と、上位レイヤの非スキップスライスに属するＣＴＵの復号画像をスライスデータに基づいて符号化する非スキップＣＴＵ符号化部２４４Ｎと、上位レイヤのスキップスライスに属するＣＴＵの復号画像を生成するスキップＣＴＵ生成部２４４Ｓを備えている。
【０２８４】
したがって、本発明に係る階層動画像符号化装置２は、注目領域外の領域に代表される重要度が比較的低い領域をスキップスライスを用いて符号化できる。その場合、非スキップスライスを用いて符号化する場合に較べて復号画像の画質は低いが、より少ない処理量で、より少ない符号量の符号化データが生成できる。したがって、階層動画像符号化装置２は、注目領域に含まれる領域内のスライスを非スキップスライス、注目領域に含まれない領域内のスライスをスキップスライスとして入力画像を符号化して階層符号化データを生成する場合に、注目領域内の復号画像の品質を損なうことなく、少ない符号量の階層符号化データを生成できる。
【０２８５】
また、階層動画像符号化装置２は、表示領域情報を符号化するパラメータセット符号化部を備えており、該表示領域情報はスキップスライスを含むタイルを含まないように制限されている。したがって、階層動画像符号化装置２により符号化された階層符号化データを復号して再生した場合であっても、品質の低い復号画像に相当する領域が再生することを抑止できるため、再生端末による再生画像の品質を保証できる。
【０２８６】
〔階層符号化データ変換装置３〕
図２０を用いて、階層符号化データ変換装置３の概略構成を説明する。図２０は、階層符号化データ変換装置３の概略的構成を示した機能ブロック図である。階層符号化データ変換装置３は、入力される階層符号化データＤＡＴＡを変換して、入力される注目領域情報に係る階層符号化データＤＡＴＡ−ＲＯＩを生成する。なお、階層符号化データＤＡＴＡは階層動画像符号化装置２により生成された階層符号化データである。また、階層符号化データＤＡＴＡ−ＲＯＩを階層動画像復号装置１に入力することで注目領域情報に係る上位レイヤの動画像を再生できる。
【０２８７】
図２０に示すように、階層符号化データ変換装置３は、NAL逆多重化部１１、NAL多重化部２１、パラメータセット復号部１２、タイル設定部１３、パラメータセット修正部３２、スライス修正部３４を含む。
【０２８８】
NAL逆多重化部１１、パラメータセット復号部１２、タイル設定部１３は、それぞれ、階層動画像復号装置１が含む同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。
【０２８９】
NAL多重化部２１は、階層動画像符号化装置２が含む同名の構成要素と同じ機能を有するため、同一の符号を付与して説明を省略する。
【０２９０】
パラメータセット修正部３２は、入力される注目領域情報とタイル情報に基づいて、入力されるパラメータセット情報を修正して出力する。
【０２９１】
注目領域情報は、動画像を構成するピクチャにおいて、ユーザー（例えば再生動画像の視聴者）が指定するピクチャの部分領域である。注目領域情報は、例えば矩形の領域で指定される。その場合、例えば、注目領域を表わす矩形の上辺、下辺、左辺、右辺のピクチャ全体の対応する辺（上辺、下辺、左辺、または、右辺）からの位置のオフセットを注目領域情報として指定できる。なお、矩形以外の形状の領域（例えば、円、多角形、物体抽出により抽出した物体を示す領域）を注目領域として使用してもよいが、以下では説明の簡単のため矩形の注目領域を想定する。なお、矩形以外の領域に対して、以下に記載する内容を適用する場合、例えば、注目領域を包含する面積最小の矩形を以下の説明における注目領域とみなして適用できる。
【０２９２】
パラメータセット修正部３２は、入力される注目領域情報の示す注目領域と一致するように、入力されるパラメータセットに含まれるSPSの表示領域情報を書き換える。SPSの表示領域情報として図１６を参照して説明したシンタックスを用いる場合、表示領域情報は次のＳ３０１からＳ３０３の手順で書き換えられる。
【０２９３】
（Ｓ３０１）注目領域がピクチャ全体と一致するか否かを判定する。一致する場合、Ｓ３０２に進み、一致しない場合、Ｓ３０３に進む。
【０２９４】
（Ｓ３０２）上書き前の表示領域フラグの値が１であった場合には、当該表示領域フラグの値を０に上書きし、かつ、表示領域オフセット（conf_win_left_offset、conf_win_right_offset、conf_win_top_offset、conf_win_bottom_offset）をSPSから取り除いて処理を終了する。
【０２９５】
（Ｓ３０３）表示領域フラグの値を１に上書きする。表示領域オフセットの各オフセットを注目領域を表わす矩形の各辺のピクチャの対応する辺との位置のオフセットの値に設定する。例えば、注目領域上辺のピクチャ上辺に対する位置オフセットを表示領域上オフセット（conf_win_top_offset）の値に設定する。なお、書き換え前の表示領域フラグの値が１であった場合には、上記設定した注目領域オフセットの値を用いて、元の注目領域オフセットの値を上書きする。書き換え前の表示領域フラグの値が１であった場合には、上記設定した注目領域オフセットをSPSの表示領域フラグの直後に挿入する。
【０２９６】
スライス修正部３４は、入力されるパラメータセットとタイル情報に基づいて、入力されるスライスデータを注目領域情報を考慮したスライスデータに修正して出力する。
【０２９７】
スライスデータの修正は、概略的には、注目領域に含まれないタイルに含まれるスライスをスキップスライスに設定し、少なくとも一部の領域が注目領域に含まれるタイルに含まれるスライスを非スキップスライスに設定する修正である。スライスデータ修正処理は次のＳ４０１〜Ｓ４０４に示す手順で実行される。
【０２９８】
（Ｓ４０１）ピクチャが含む各タイル順次対象タイルに設定し、以下のＳ４０２からＳ４０４の処理を実行する。
【０２９９】
（Ｓ４０２）対象タイルが、パラメータセットのSPSの含む表示領域情報が示す表示領域の完全に外側か否かを判定する。例えば、以下のＣ１〜Ｃ４に示す全ての条件が真であれば、対象タイルが表示領域の外側と判定される。
【０３００】
Ｃ１：対象タイル右辺が表示領域左辺と一致、または、前者が後者の左に位置する、
Ｃ２：対象タイル左辺が表示領域右辺と一致、または、前者が後者の右に位置する、
Ｃ３：対象タイル上辺が表示領域下辺と一致、または、前者が後者の下に位置する、
Ｃ４：対象タイル下辺が表示領域上辺と一致、または、前者が後者の上に位置する。
【０３０１】
対象タイルが表示領域の外側と判定された場合、Ｓ４０３に進む。それ以外の場合、Ｓ４０４に進む。
【０３０２】
なお、上記判定処理において表示領域の代わりに注目領域情報を直接スライス修正部３４に入力して表示領域の代わりに注目領域を用いても構わない。
【０３０３】
（Ｓ４０３）対象タイルに含まれるスライスをスキップスライスに設定する。すなわち、対象タイルに含まれる全てのスライスに対して、スライスヘッダに含まれるスキップスライスフラグの値を１に上書きする。上書き前のスキップスライスフラグの値が０である場合、スライスに含まれるCTUの数をスキップCTU数としてスライスヘッダのスキップスライスフラグの直後に追加し、かつ、スライスデータを全て削除する。
【０３０４】
（Ｓ４０４）対象タイルに含まれるスライスを非スキップスライスに設定する。なお、通常はスライス修正前のスライスデータは非スキップスライスであり、その場合は、入力されたスライスヘッダとスライスデータをそのまま出力する。
【０３０５】
（階層符号化データ変換処理フロー）
階層符号化データ変換装置３による階層符号化データ変換処理は、Ｓ５０１〜Ｓ５０６に示す手順を順次実行することで実現される。
【０３０６】
（Ｓ５０１）NAL逆多重化部１１は、入力された階層符号化データＤＡＴＡを逆多重化する。得られた対象レイヤ符号化データＤＡＴＡ＃Ｔのうち、パラメータセットに係る部分（非VCL NAL）をパラメータ復号部１２に出力し、スライスレイヤ（スライスヘッダ、スライスデータ）に係る部分をスライス修正部３４に出力する。得られた参照レイヤ符号化データＤＡＴＡ＃ＲはNAL逆多重化部２１に出力される。
【０３０７】
（Ｓ５０２）パラメータセット復号部１２は、入力された非VCL NALからパラメータセット（VPS、SPS、PPS）を復号して、パラメータセット修正部３２とタイル設定部１３に出力する。
【０３０８】
（Ｓ５０３）パラメータセット修正部３２は、入力される注目領域情報に基づいて入力されるパラメータセットを修正し、NAL多重化部２１とスライス修正部３４に出力する。
【０３０９】
（Ｓ５０４）タイル設定部１３は、入力されるパラメータセットからタイル情報を導出してスライス修正部３４に出力する。
【０３１０】
（Ｓ５０５）スライス修正部３４は、入力されるタイル情報と修正後のパラメータセットに基づいて、入力されるスライスヘッダ、スライスデータを修正して、NAL多重化部２１に出力する。
【０３１１】
（Ｓ５０６）NAL多重化部２１は、入力される修正後のパラメータセットと修正後のスライスヘッダとスライスデータを修正後の対象レイヤの符号化データとして、入力される参照レイヤ符号化データＤＡＴＡ＃Ｒと多重化して階層符号化データＤＡＴＡ−ＲＯＩとして外部に出力する。
【０３１２】
（階層符号化データ変換装置３の効果）
以上説明した本実施形態に係る階層符号化データ変換装置３は、対象レイヤ（上位レイヤ）の符号化データを注目領域情報に基づいて修正するスライス修正部３４を備えている。スライス修正部３４は、注目領域情報の示す注目領域に基づいて、上位レイヤの符号化データに含まれるスライスであって、注目領域に含まれないスライスを非スキップスライスからスキップスライスに変更する。
【０３１３】
上記の階層符号化データ変換装置３によれば、入力された階層符号化データを変換して、上位レイヤにおいて注目領域に含まれないスライスをスキップスライスに変換した階層符号化データを生成できる。スキップスライスは非スキップスライスに較べて符号量が少ないため、変換前に較べて符号量の少ない符号化データを生成できる。加えて、変換後の符号化データにおいて、注目領域に関しては、非スキップスライスで符号化されているため、変換前に較べて注目領域の復号画像の画質は低下しない。
【０３１４】
〔注目領域表示システム〕
上述した階層動画像復号装置１、階層動画像符号化装置２、及び、階層符号化データ変換装置３を組み合わせて、注目領域情報を表示するシステム（注目領域表示システムＳＹＳ）を構成できる。
【０３１５】
図２１に基づいて、上述した階層動画像復号装置１、階層動画像符号化装置２、及び、階層符号化データ変換装置３の組み合わせにより、注目領域表示システムが構成できることを説明する。図２１は、階層動画像復号装置１、階層動画像符号化装置２、及び、階層符号化データ変換装置３の組み合わせによる注目領域表示システムの構成を示したブロック図である。注目領域表示システムＳＹＳは、概略的には、品質の異なる入力画像を階層符号化して蓄積しておき、ユーザーからの注目領域情報に応じて蓄積された階層符号化データを変換して提供し、変換した階層符号化データを復号することで注目領域（ＲＯＩ）に係る高品質の再生画像を表示する。
【０３１６】
図２１に示すように、注目領域表示システムＳＹＳは、階層動画像符号化部ＳＹＳ１Ａ、階層動画像符号化部ＳＹＳ１Ｂ、階層符号化データ蓄積部ＳＹＳ２、階層符号化データ変換部ＳＹＳ３、階層動画像復号部ＳＹＳ４、表示制御部ＳＹＳ５、ＲＯＩ表示部ＳＹＳ６、全体表示部ＳＹＳ７、ＲＯＩ通知部ＳＹＳ８を構成要素として含む。
【０３１７】
階層動画像符号化部ＳＹＳ１Ａ、ＳＹＳ１Ｂには、前述の階層動画像符号化装置２を利用できる。
【０３１８】
階層符号化データ蓄積部ＳＹＳ２は、階層符号化データを蓄積し、要求に応じて階層符号化データを供給する。階層符号化データ蓄積部ＳＹＳ２として、記録媒体（メモリ、ハードディスク、光学ディスク）を備えたコンピュータが利用できる。
【０３１９】
階層符号化データ変換部ＳＹＳ３には、前述の階層符号化データ変換部３が利用できる。
【０３２０】
階層動画像復号部ＳＹＳ４には、前述の階層動画像復号装置１が利用できる。
【０３２１】
表示制御部ＳＹＳ５は、注目領域情報に基づいて、復号ピクチャをＲＯＩ表示画像としてＲＯＩ表示部ＳＹＳ６に提供するか、または、復号ピクチャを全体表示画像として全体表示部ＳＹＳ７に供給する。
【０３２２】
表示制御部ＳＹＳ５は、注目領域情報で注目領域が指定されている場合、階層動画像復号部から入力される復号ピクチャであって、下位レイヤの復号ピクチャを全体表示画像として全体表示部ＳＹＳ７に供給する一方で、ＲＯＩ表示部ＳＹＳ６には、階層動画像復号部から入力される復号ピクチャであって、上位レイヤの復号ピクチャをＲＯＩ表示画像としてＲＯＩ表示部ＳＹＳ６に供給する。なお、注目領域情報で注目領域が指定されていない場合、ＲＯＩ表示部ＳＹＳ６にはＲＯＩ表示画像は供給されない。
【０３２３】
表示制御部ＳＹＳ５は、注目領域情報で注目領域が指定されている場合、階層動画像復号部から入力される復号ピクチャであって、下位レイヤの復号ピクチャを全体表示画像として全体表示部ＳＹＳ７に供給する一方で、ＲＯＩ表示部ＳＹＳ６には復号ピクチャを供給しない。
【０３２４】
なお、表示制御部ＳＹＳ５は、注目領域情報が変更された場合に、当該注目領域情報に係る階層符号化データの上位レイヤの復号ピクチャが階層動画像復号部ＳＹＳ４から供給されるまでの間、階層符号化データの下位レイヤの復号ピクチャの部分領域であって、注目領域に対応する部分をＲＯＩ表示画像としてＲＯＩ表示部ＳＹＳ６に供給しても構わない。下位レイヤの復号ピクチャの部分領域であって、注目領域に対応する部分は、該注目領域に係る上位レイヤの復号ピクチャに較べて画質は低いが、ユーザーが注目領域の指定後に、階層符号化データ変換部への通知及び変換処理に伴う遅延を待たずに注目領域をＲＯＩ表示部ＳＹＳ６に表示ができるという利点がある。
【０３２５】
ＲＯＩ表示部ＳＹＳ６は、ＲＯＩ表示画像を所定の表示領域の所定の表示位置に表示する。例えば、表示領域はテレビの画面であり、表示位置はその部分領域（例えば右上隅の矩形領域）である。また、例えば、表示領域は携帯型端末（スマートフォンやタブレット型コンピュータ）のディスプレイであり、表示位置はその全体である。
【０３２６】
全体表示部ＳＹＳ７は、全体表示画像を所定の表示領域の所定の表示位置に表示する。例えば、表示領域はテレビの画面であり、表示位置はその全体である。なお、全体表示部ＳＹＳ７とＲＯＩ表示部ＳＹＳ６の表示領域が同じ場合、ＲＯＩ表示画像を全体表示画像の上に重ねるように表示することが好ましい。なお、ＲＯＩ表示部ＳＹＳ６および全体表示部ＳＹＳ７は、入力される画像を表示領域のサイズに一致するサイズに拡大または縮小して表示しても構わない。
【０３２７】
ＲＯＩ通知部ＳＹＳ８は、所定の方法でユーザーが指定した注目領域情報を通知する。例えば、ユーザーは全体表示画像が表示された表示領域上で、注目領域に相当する領域を指定することでＲＯＩ通知部に注目領域を伝えることができる。なお、ＲＯＩ通知部ＳＹＳ８は、ユーザーの指定がない場合は、注目領域が無いことを示す情報を注目領域情報として通知する。
【０３２８】
（注目領域表示システムのフロー）
注目領域表示システムによる処理は、階層符号化データ生成蓄積処理と注目領域データ生成再生処理に分けることができる。
【０３２９】
階層符号化データ生成蓄積処理では、異なる品質の入力画像から階層符号化データを生成して蓄積する。階層符号化データ生成蓄積処理は、Ｔ１０１からＴ１０３の手順で実行される。
【０３３０】
（Ｔ１０１）階層動画像符号化部ＳＹＳ１Ｂは、入力される低品質の入力画像を符号化し、生成された階層符号化データを階層動画像符号化部ＳＹＳ１Ａに供給する。つまり、階層動画像符号化部ＳＹＳ１Ｂは、入力画像から、階層動画像符号化部ＳＹＳ１Ａにおいて参照レイヤ（下位レイヤ）として使用される階層符号化データを生成して出力する。
【０３３１】
（Ｔ１０２）階層動画像符号化部ＳＹＳ１Ａは、入力される高品質の入力画像を、入力された階層符号化データを参照レイヤの符号化データとして符号化し、階層符号化データを生成して階層符号化データ蓄積部ＳＹＳ２に出力する。
【０３３２】
（Ｔ１０３）階層符号化データ蓄積部ＳＹＳ２は、入力された階層符号化データに適切なインデックスを付けて内部の記録媒体に記録する。
【０３３３】
注目領域データ生成再生処理では、階層符号化データ蓄積部ＳＹＳ２から階層符号化データを読み出し、注目領域に相当する階層符号化データに変換し、変換した階層符号化データを復号して再生及び表示する。注目領域データ生成再生処理は、以下のＴ２０１〜Ｔ２０７の手順で実行される。
【０３３４】
（Ｔ２０１）ユーザーの選択した動画像に関する階層符号化データが階層符号化データ蓄積部ＳＹＳ２から階層符号化データ変換部ＳＹＳ３に供給される。
【０３３５】
（Ｔ２０２）ＲＯＩ通知部ＳＹＳ８は、ユーザーの指定した注目領域情報を階層符号化データ変換部ＳＹＳ３、および、表示制御部ＳＹＳ５に通知する。
【０３３６】
（Ｔ２０３）階層符号化データ変換部ＳＹＳ３は、入力された注目領域情報に基づいて、入力された階層符号化データを変換して、階層動画像復号部ＳＹＳ４に出力する。
【０３３７】
（Ｔ２０４）階層動画像復号部ＳＹＳ４は、入力された階層動画像符号化データ（変換後）を復号して、再生された上位レイヤおよび下位レイヤの復号ピクチャを表示制御部ＳＹＳ５に出力する。
【０３３８】
（Ｔ２０５）表示制御部ＳＹＳ５は、入力された注目領域情報に基づいて、入力された復号ピクチャをＲＯＩ表示部ＳＹＳ６および全体表示部ＳＹＳ７に出力する。
【０３３９】
（Ｔ２０６）全体表示部ＳＹＳ７は、入力された全体表示画像を表示する。
【０３４０】
（Ｔ２０７）ＲＯＩ表示部ＳＹＳ６は、入力されたＲＯＩ表示画像を表示する。
【０３４１】
（注目領域表示システムの効果）
以上説明した本実施形態に係る注目領域表示システムＳＹＳは、注目領域情報を供給する注目領域通知部（ＲＯＩ通知部ＳＹＳ８）と、前記注目領域情報に基づいて階層符号化データを変換して変換後階層符号化データを生成する階層符号化データ変換部ＳＹＳ３と、上記変換後階層符号化データを復号して上位レイヤ及び下位レイヤの復号ピクチャを出力する階層動画像復号部ＳＹＳ４と、表示制御部ＳＹＳ５、注目領域表示部（ＲＯＩ表示部ＳＹＳ６），および、全体表示部ＳＹＳ７を備えている。前記表示制御部ＳＹＳ５は、前記下位レイヤの復号ピクチャを全体表示部ＳＹＳ７に供給し、かつ、前記上位レイヤの復号ピクチャを注目領域表示部に供給する。
【０３４２】
上記の注目領域表示システムＳＹＳによれば、下位レイヤの復号ピクチャの全体を表示し、かつ、注目領域情報により指定された領域の復号ピクチャを表示できる。その際、注目領域情報により指定された領域の復号ピクチャは、階層符号化データの上位レイヤの符号化データを用いて復号されるため、画質が高い。加えて、注目領域に基づいて変換された階層符号化データは、変換前の階層符号化データよりも符号量が少ない。したがって、上記の注目領域表示システムＳＹＳを用いることで、階層符号化データの転送に要する帯域を削減しつつ、注目領域に係る画質の高い復号ピクチャを再生できる。
【０３４３】
（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
【０３４４】
図２２に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図２２の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
【０３４５】
図２２の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
【０３４６】
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２２の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
【０３４７】
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
【０３４８】
図２２の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２２の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
【０３４９】
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２２の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
【０３５０】
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
【０３５１】
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
【０３５２】
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
【０３５３】
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
【０３５４】
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
【０３５５】
図２３に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図２３の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
【０３５６】
図２３の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
【０３５７】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０３５８】
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２３の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
【０３５９】
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
【０３６０】
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
【０３６１】
図２３の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２３の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
【０３６２】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０３６３】
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２３の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
【０３６４】
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
【０３６５】
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
【０３６６】
（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０３６７】
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３６８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０３６９】
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０３７０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０３７１】
本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用できる。
【符号の説明】
【０３７２】
１          階層動画像復号装置（画像復号装置）
１１        ＮＡＬ逆多重化部
１２        パラメータセット復号部
１３        タイル設定部
１４        スライス復号部
１４１      スライスヘッダ復号部
１４２      スライス位置設定部
１４３、２４３      スキップスライス判定部
１４４      ＣＴＵ復号部
１４４Ｎ    非スキップＣＴＵ復号部
１４４Ｓ    スキップＣＴＵ生成部
１５        ベース復号部
１６        復号ピクチャ管理部
２          階層動画像符号化装置（画像符号化装置）
２１        ＮＡＬ多重化部
２２        パラメータセット符号化部
２３        タイル設定部
２４        スライス符号化部
２４１      スライスヘッダ設定部
２４２      スライス位置設定部
２４４      ＣＴＵ符号化部
２４４Ｎ    非スキップＣＴＵ符号化部
２４４Ｓ    スキップＣＴＵ符号化部
３          階層符号化データ変換装置
３２        パラメータセット修正部
３４        スライス修正部
ＳＹＳ      注目領域表示システム
ＳＹＳ１Ａ、ＳＹＳ１Ｂ      階層動画像符号化部
ＳＹＳ２    階層符号化データ蓄積部
ＳＹＳ３    階層符号化データ変換部
ＳＹＳ４    階層動画像復号部
ＳＹＳ５    表示制御部
ＳＹＳ６    ＲＯＩ表示部（注目領域表示部）
ＳＹＳ７    全体表示部
ＳＹＳ８    ＲＯＩ通知部（注目領域通知部）
【図１】
2015073213.tif 000003
【図２】
2015073213.tif 000004
【図３】
2015073213.tif 000005
【図４】
2015073213.tif 000006
【図５】
2015073213.tif 000007
【図６】
2015073213.tif 000008
【図７】
2015073213.tif 000009
【図８】
2015073213.tif 000010
【図９】
2015073213.tif 000011
【図１０】
2015073213.tif 000012
【図１１】
2015073213.tif 000013
【図１２】
2015073213.tif 000014
【図１３】
2015073213.tif 000015
【図１４】
2015073213.tif 000016
【図１５】
2015073213.tif 000017
【図１６】
2015073213.tif 000018
【図１７】
2015073213.tif 000019
【図１８】
2015073213.tif 000020
【図１９】
2015073213.tif 000021
【図２０】
2015073213.tif 000022
【図２１】
2015073213.tif 000023
【図２２】
2015073213.tif 000024
【図２３】
2015073213.tif 000025