(57)【要約】      （修正有）【課題】階層符号化方式において、参照レイヤ対応領域外にある画素を参照するレイヤ間画像予測の適用可非を制御する仕組みを提供する。【解決手段】階層符号化データを復号画像復号装置であって、対象レイヤと参照レイヤの対応領域を示す参照レイヤ対応領域情報を復号する参照レイヤ対応領域情報復号手段と、所定条件を満たすレイヤ間画像予測を禁止するレイヤ間画像予測制約フラグを復号するレイヤ間画像予測制約フラグ復号手段と、復号済の参照レイヤピクチャと参照レイヤ対応領域情報とに基づいてリサンプル参照レイヤピクチャを生成するリサンプリング手段と、対象レイヤのピクチャを構成する各予測単位の予測画像を生成する予測画像生成手段を備え、予測画像生成手段は、レイヤ間画像予測制約フラグが真であって、予測単位の予測方式がレイヤ間画像予測である場合、所定条件を満たさないレイヤ間画像予測により予測単位の予測画像を生成する。【選択図】図６
2015035641.tif 000002
【特許請求の範囲】
【請求項１】
レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
対象レイヤと参照レイヤの対応領域を示す参照レイヤ対応領域情報を復号する参照レイヤ対応領域情報復号手段と、
復号済の参照レイヤピクチャと上記参照レイヤ対応領域情報とに基づいて、上記参照レイヤピクチャの画像及び動き情報を対象レイヤのピクチャへ対応づけてリサンプル参照レイヤピクチャを生成するリサンプリング手段と、
上記対象レイヤのピクチャを構成する各予測単位の予測画像を生成する予測画像生成手段とを備え、
上記リサンプリング手段は、さらに、リサンプル参照レイヤピクチャの各画素に対応する参照レイヤピクチャの参照画素位置を導出する参照画素位置導出手段と、
上記導出された参照画素位置を含むフィルタ領域上の画素へ所定のリサンプルフィルタを用いて、上記リサンプル参照レイヤピクチャの各画素を生成するリサンプリング画像生成手段を備え、
前記リサンプリング画像生成手段は、上記フィルタ領域において、参照レイヤピクチャの画面外の座標を含む場合、参照レイヤピクチャの最近接する画面端の座標へ置換することを特徴とするの動画像復号装置。
【請求項２】
レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
対象レイヤと参照レイヤの対応領域を示す参照レイヤ対応領域情報を復号する参照レイヤ対応領域情報復号手段と、
復号済の参照レイヤピクチャと上記参照レイヤ対応領域情報とに基づいて、上記参照レイヤピクチャの画像及び動き情報を対象レイヤのピクチャへ対応づけてリサンプル参照レイヤピクチャを生成するリサンプリング手段と、
上記対象レイヤのピクチャを構成する各予測単位の予測画像を生成する予測画像生成手段を備え、
上記予測画像生成手段は、上記予測単位の予測方式がレイヤ間画像予測である場合、上記所定条件を満たさないレイヤ間画像予測により上記予測単位の予測画像を生成することを特徴とする動画像復号装置。
【請求項３】
上記動画像復号装置は、さらに、所定条件を満たすレイヤ間画像予測を禁止するレイヤ間画像予測制約フラグを復号するレイヤ間画像予測制約フラグ復号手段を備え、
上記予測画像生成手段は、上記レイヤ間画像予測制約フラグが真であって、上記予測単位の予測方式がレイヤ間画像予測である場合、上記所定条件を満たさないレイヤ間画像予測により上記予測単位の予測画像を生成することを特徴とする請求項２に記載の動画像復号装置。
【請求項４】
上記所定条件を満たすレイヤ間画像予測とは、レイヤ間画像予測において、上記予測単位と対応する上記リサンプル参照レイヤピクチャ上の対応領域と上記参照レイヤ対応領域に関して、（１）上記対応領域の左端座標が上記参照レイヤ対応領域の左端座標より小さい、（２）上記対応領域の右端座標が上記参照レイヤ対応領域の右端座標より大きい、（３）上記対応領域の上端座標が上記参照レイヤ対応領域の上端座標より小さい、（４）上記対応領域の下端座標が参照レイヤ対応領域の下端座標より大きい、のうち少なくともいずれか一つを満たす場合であることを特徴とする請求項２または請求項３に記載の動画像復号装置。
【請求項５】
上記所定条件を満たすレイヤ間画像予測とは、レイヤ間画像予測において、上記予測単位と対応する上記リサンプル参照レイヤピクチャ上の対応領域と上記参照レイヤ対応領域に関して、（１）上記対応領域の右端座標が上記参照レイヤ対応領域の左端座標より小さい、（２）上記対応領域の左端座標が上記参照レイヤ対応領域の右端座標より大きい、
（３）上記対応領域の下端座標が上記参照レイヤ対応領域の上端座標より小さい、（４）上記対応領域の上端座標が参照レイヤ対応領域の下端座標より大きい、のうち少なくともいずれか一つを満たす場合であることを特徴とする請求項２または請求項３に記載の動画像復号装置。
【請求項６】
上記リサンプリング手段は、上記レイヤ間画像予測制約フラグが真である場合、上記リサンプル参照レイヤピクチャの画像のうち、上記参照レイヤ対応領域内の画像のみを生成することを特徴とする請求項４に記載の動画像復号装置。
【請求項７】
上記レイヤ間画像予測制約フラグ復号手段は、参照レイヤ対応領域情報の有無に基づいて、上記レイヤ間画像予測制約フラグを復号することを特徴とする請求項３から６に記載の動画像復号装置。
【請求項８】
上記参照レイヤ対応領域情報復号手段は、対象シーケンス全体で共通となる参照レイヤ対応領域情報をシーケンス単位で復号し、各ピクチャに対応する参照レイヤ対応領域情報を、ピクチャ単位で復号することを特徴とする請求項１から７に記載の動画像復号装置。
【請求項９】
上記各ピクチャに対応する参照レイヤ対応領域情報は、上記対象シーケンス全体で共通となる参照レイヤ対応領域情報からの差分情報であることを特徴とする請求項８に記載の動画像復号装置。
【請求項１０】
上記予測単位の予測方式がレイヤ間画像予測であるかを示すレイヤ間画像予測フラグを復号するレイヤ間画像予測復号手段を備え、
上記レイヤ間画像予測復号手段は、上記所定条件を満たすレイヤ間画像予測に関するレイヤ間画像予測フラグの復号を省略することを特徴とする請求項４または請求項５に記載の動画像復号装置。
【請求項１１】
レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、
対象レイヤと参照レイヤの対応領域を示す参照レイヤ対応領域情報を符号化する参照レイヤ対応領域情報符号化手段と、
所定条件を満たすレイヤ間画像予測を禁止するレイヤ間画像予測制約フラグを符号化するレイヤ間画像予測制約フラグ符号化手段と、
符号化済の参照レイヤピクチャと参照レイヤ対応領域情報とに基づいて、上記参照レイヤピクチャの画像及び動き情報を対象レイヤのピクチャへ対応づけてリサンプル参照レイヤピクチャを生成するリサンプリング手段と、
上記対象レイヤのピクチャを構成する各予測単位の予測画像を生成する予測画像生成手段を備え、
上記予測画像生成手段は、上記レイヤ間画像予測制約フラグが真であって、上記予測単位の予測方式がレイヤ間画像予測である場合、上記所定条件を満たさないレイヤ間画像予測により上記予測単位の予測画像を生成することを特徴とする動画像符号化装置。
【請求項１２】
上記所定条件を満たすレイヤ間画像予測とは、レイヤ間画像予測において、上記予測単位と対応する上記リサンプル参照レイヤピクチャ上の対応領域と上記参照レイヤ対応領域に関して、（１）上記対応領域の左端座標が上記参照レイヤ対応領域の左端座標より小さい、（２）上記対応領域の右端座標が上記参照レイヤ対応領域の右端座標より大きい、（３）上記対応領域の上端座標が上記参照レイヤ対応領域の上端座標より小さい、（４）上記対応領域の下端座標が参照レイヤ対応領域の下端座標より大きい、のうち少なくともいずれか一つを満たす場合であることを特徴とする請求項１１に記載の動画像符号化装置。
【請求項１３】
上記所定条件を満たすレイヤ間画像予測とは、レイヤ間画像予測において、上記予測単位と対応する上記リサンプル参照レイヤピクチャ上の対応領域と上記参照レイヤ対応領域に関して、（１）上記対応領域の右端座標が上記参照レイヤ対応領域の左端座標より小さい、（２）上記対応領域の左端座標が上記参照レイヤ対応領域の右端座標より大きい、
（３）上記対応領域の下端座標が上記参照レイヤ対応領域の上端座標より小さい、（４）上記対応領域の上端座標が参照レイヤ対応領域の下端座標より大きい、のうち少なくともいずれか一つを満たす場合であることを特徴とする請求項１１に記載の動画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
【背景技術】
【０００２】
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
【０００３】
動画像符号化方式としては、AVC（H.264/MPEG-4 Advanced Video Coding）や、その後継コーデックであるHEVC（High-Efficiency Video Coding）が知られている（非特許文献１）。
【０００４】
これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００５】
イントラ予測では、同一ピクチャ内の局所復号画像に基づいて、当該ピクチャにおける予測画像が順次生成される。
【０００６】
インター予測では、ピクチャ間の動き補償により予測画像が生成される。インター予測で予測画像生成に用いられる復号済のピクチャは参照ピクチャと呼ばれる。
【０００７】
また、近年、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術が提案されている。代表的な階層符号化方式の一つとしてSHVC（Scalable HEVC）が知られている（非特許文献２）。
【０００８】
SHVCでは、空間スケーラビリティ、時間スケーラビリティ、SNRスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとして符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。
【０００９】
レイヤ間予測には、レイヤ間画像予測とレイヤ間動き予測がある。レイヤ間画像予測では、下位レイヤの復号画像を利用して、予測画像を生成する。レイヤ間動き予測では、下位レイヤの動き情報を利用して、動き情報の予測値を導出する。
【００１０】
SHVCでは、予測画像の生成に、インター予測、イントラ予測、レイヤ間画像予測のいずれかを利用できる。
【００１１】
SHVCのレイヤ間画像予測で使用される下位レイヤのピクチャ（参照レイヤピクチャrlPic）の復号画像rlPicSampleは、上位レイヤ（対象レイヤ）のピクチャのサイズへリサンプル処理（スケーリング処理とも呼ぶ）を適用した後に、リサンプル参照レイヤピクチャrsPic（レイヤ間参照ピクチャ）の画像rsPicSampleとして復号ピクチャバッファに記録される。SHVCでは、復号された対象レイヤのピクチャについては、HEVC同様に復号済のピクチャをDPBに記録して管理する仕組みが適用される。
【００１２】
また、SHVCのレイヤ間動き予測で使用される参照レイヤピクチャrlPicの動き情報rlPicMotionは、対象レイヤのピクチャのサイズへリサンプル処理を適用した後に、リサンプル参照レイヤピクチャrsPic（レイヤ間参照ピクチャ）の動き情報rsPicMotionとして参照ピクチャメモリに記録される。なお、動き情報のリサンプル処理は、レイヤ間動きマッピング（MFM:Motion Field Mapping）とも呼ばれ、画像のリサンプル処理は、レイヤ間画像マッピングとも呼ぶ。
【００１３】
また、SHVCでは、参照レイヤピクチャrlPicから、リサンプル参照レイヤピクチャrsPicのリサンプル画像rsPicSample、及びリサンプル動き情報rsPicMotionを生成するために、リサンプル参照レイヤピクチャrsPic（あるいは、対象ピクチャcurPic）上のどの領域が参照レイヤピクチャrlPicと対応するかを示す参照レイヤ対応領域情報が利用される。例えば、リサンプル参照レイヤピクチャrsPicのリサンプル画像rsPicSampleを生成する際に、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域外の画素は、最近接する、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域境界上の画素でパディングされて生成される。あるいは、参照レイヤ対応領域外にある画素の座標(xP, yP)を、最近接する参照レイヤ対応領域の境界画素の座標(xP’,yP’)へ置換し、境界画素の座標(xP’, yP’)に対応する参照レイヤピクチャrlPicの参照画素の位置(xRL, yRL)を導出し、その参照画素の位置を中心にリサンプルフィルタを適用することで生成される。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】「Recommendation H.265 (04/13)」, ITU-T (２０１３年６月７日公開)
【非特許文献２】JCTVC-M1008_v3 「SHVC Working Draft 2」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR, 18-26 Apr. 2013 (２０１３年６月１４日公開)
【発明の概要】
【発明が解決しようとする課題】
【００１５】
従来技術として挙げたSHVCでは、対象ピクチャcurPic上のある予測単位ＰＵの予測画像をレイヤ間画像予測により生成する場合、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域外にある画像を参照することができる。すなわち、レイヤ間画像予測の予測画像に、リサンプル参照レイヤピクチャrsPic上において、パディングによって生成された画素を含むことができる。しかしながら、レイヤ間画像予測において、パディングによって生成された画素を含む予測画像は予測精度が低いため、符号化効率の低下、および画質低下を招くという課題があった。また、従来技術において、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域外にある座標のリサンプル画素を生成する場合、その座標を、最近接する参照レイヤ対応領域の境界画素へ置換するため、リサンプル画素を生成する処理が複雑であるという課題があった。
【００１６】
本発明は、上記問題に鑑みてされたものであり、その目的は、階層符号化方式において、参照レイヤ対応領域外にある画素を参照するレイヤ間画像予測の適用可非を制御する仕組みを提供することにある。また、それにより、より少ない符号量、処理量、およびメモリ量で符号化データを符号化／復号する画像符号化装置および画像復号装置を実現することにある。
【課題を解決するための手段】
【００１７】
上記課題を解決するために、本発明に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
対象レイヤと参照レイヤの対応領域を示す参照レイヤ対応領域情報を復号する参照レイヤ対応領域情報復号手段と、
復号済の参照レイヤピクチャと上記参照レイヤ対応領域情報とに基づいて、上記参照レイヤピクチャの画像及び動き情報を対象レイヤのピクチャへ対応づけてリサンプル参照レイヤピクチャを生成するリサンプリング手段と、
上記対象レイヤのピクチャを構成する各予測単位の予測画像を生成する予測画像生成手段とを備え、
上記リサンプリング手段は、さらに、リサンプル参照レイヤピクチャの各画素に対応する参照レイヤピクチャの参照画素位置を導出する参照画素位置導出手段と、
上記導出された参照画素位置を含むフィルタ領域上の画素へ所定のリサンプルフィルタを用いて、上記リサンプル参照レイヤピクチャの各画素を生成するリサンプリング画像生成手段を備え、
前記リサンプリング画像生成手段は、上記フィルタ領域において、参照レイヤピクチャの画面外の座標を含む場合、参照レイヤピクチャの最近接する画面端の座標へ置換することを特徴とする。
【００１８】
以上、上記構成によれば、リサンプル参照レイヤピクチャ上の座標(xP, yP)が参照レイヤ対応領域より外側にある場合、直接、参照レイヤピクチャ上の参照画素位置(xRef, yRef)を導出する。従って、従来技術と比較して、参照画素位置の導出に係る導出処理を簡略化することができる。また、上記構成によれば、リサンプル参照レイヤピクチャ上の参照レイヤ対応領域外の各座標のリサンプル画素を生成する際に、リサンプルフィルタの適用する参照レイヤピクチャ上のフィルタ領域において、画面外の座標の画素がある場合、その画素と相関の高い（空間的距離が近い）画素を利用して、リサンプル画像を生成する。その結果、従来技術に比べて、参照レイヤ対応領域外のリサンプル画像の精度を向上させることができる。また、参照レイヤ対応領域外の画素を参照するレイヤ間画像予測に関して、従来技術よりも予測精度を向上させることができる。従って、符号化効率を向上にもつながる。特に、本発明では、参照レイヤ対応領域の境界より外側に、水平方向に幅ΔFX、高さΔFYの領域において、リサンプル画像の画素値が滑らかに変化する領域を生成することができる。そのため、レイヤ間画像予測において、参照レイヤ対応領域外のうち、上記参照レイヤ対応領域の境界より外側に、水平方向に幅ΔFX、高さΔFYの領域を参照するレイヤ間画像予測の予測精度を向上させることができる。
【００１９】
上記課題を解決するために、本発明に係る画像復号装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを復号して、復号の対象となる対象レイヤにおける画像を復元する画像復号装置であって、
対象レイヤと参照レイヤの対応領域を示す参照レイヤ対応領域情報を復号する参照レイヤ対応領域情報復号手段と、
復号済の参照レイヤピクチャと上記参照レイヤ対応領域情報とに基づいて、上記参照レイヤピクチャの画像及び動き情報を対象レイヤのピクチャへ対応づけてリサンプル参照レイヤピクチャを生成するリサンプリング手段と、
上記対象レイヤのピクチャを構成する各予測単位の予測画像を生成する予測画像生成手段を備え、
上記予測画像生成手段は、上記予測単位の予測方式がレイヤ間画像予測である場合、所定条件を満たさないレイヤ間画像予測により上記予測単位の予測画像を生成することを特徴とする。
【００２０】
以上、上記構成によれば、復号済の参照レイヤピクチャと上記参照レイヤ対応領域情報とに基づいて、上記参照レイヤピクチャの画像及び動き情報を対象レイヤのピクチャへ対応付けてリサンプル参照レイヤピクチャの画像及び、動き情報を生成するため、レイヤ間画像予測、及びレイヤ間動き予測の精度を向上させることができる。その結果、さらに、符号効率を向上させることができる。また、上記構成によれば、予測精度の低い所定条件を満たすレイヤ間画像予測の使用を禁止するため、符号化効率を向上させることができる。
【００２１】
さらに、本発明に係る画像復号装置において、
所定条件を満たすレイヤ間画像予測を禁止するレイヤ間画像予測制約フラグを復号するレイヤ間画像予測制約フラグ復号手段を備え、
上記予測画像生成手段は、上記レイヤ間画像予測制約フラグが真であって、上記予測単位の予測方式がレイヤ間画像予測である場合、上記所定条件を満たさないレイヤ間画像予測により上記予測単位の予測画像を生成することを特徴とする。
【００２２】
上記構成によれば、所定条件を満たすレイヤ間画像予測を禁止するか否かを制御することができる。特に、レイヤ間画像予測制約フラグが真である場合、予測精度の低い所定条件を満たすレイヤ間画像予測の使用を禁止するため、符号化効率を向上させることができる。
【００２３】
さらに、本発明に係る画像復号装置において、上記所定条件を満たすレイヤ間画像予測とは、レイヤ間画像予測において、上記予測単位と対応する上記リサンプル参照レイヤピクチャ上の対応領域と上記参照レイヤ対応領域に関して、（１）上記対応領域の左端座標が上記参照レイヤ対応領域の左端座標より小さい、（２）上記対応領域の右端座標が上記参照レイヤ対応領域の右端座標より大きい、（３）上記対応領域の上端座標が上記参照レイヤ対応領域の上端座標より小さい、（４）上記対応領域の下端座標が参照レイヤ対応領域の下端座標より大きい、のうち少なくともいずれか一つを満たす場合であることを特徴とする。
【００２４】
以上、上記構成によれば、参照レイヤ対応領域より外側の画像を参照するレイヤ間画像予測の使用を禁止することができる。従って、予測精度の低い参照レイヤ対応領域外の画素を参照するレイヤ間画像予測を使用しないため、より符号化効率の高い画像復号装置を実現することができる。さらに、上記構成によれば、レイヤ間画像予測制約フラグを復号した時点で、同フラグが真である場合、対象シーケンスにおいて、リサンプル参照レイヤピクチャ上の参照レイヤ対応領域より外側の画像(参照レイヤ対応領域外)をレイヤ間画像予測時に参照されないことが分かるため、リサンプル参照レイヤピクチャのリサンプル画像を生成するときに、参照レイヤ対応領域外の画像の生成を省略することが可能となる。
【００２５】
さらに、本発明に係る画像復号装置において、上記所定条件を満たすレイヤ間画像予測とは、レイヤ間画像予測において、上記予測単位と対応する上記リサンプル参照レイヤピクチャ上の対応領域と上記参照レイヤ対応領域に関して、（１）上記対応領域の右端座標が上記参照レイヤ対応領域の左端座標より小さい、（２）上記対応領域の左端座標が上記参照レイヤ対応領域の右端座標より大きい、（３）上記対応領域の下端座標が上記参照レイヤ対応領域の上端座標より小さい、（４）上記対応領域の上端座標が参照レイヤ対応領域の下端座標より大きい、のうち少なくともいずれか一つを満たす場合であることを特徴とする。
【００２６】
以上、上記構成によれば、参照レイヤ対応領域より外側の画像のみを参照するレイヤ間画像予測の使用を禁止することができる。従って、予測精度の低い参照レイヤ対応領域外の画素のみを参照するレイヤ間画像予測を使用しないため、より符号化効率の高い画像復号装置を実現することができる。
【００２７】
さらに、本発明に係る画像復号装置において、上記リサンプリング手段は、上記レイヤ間画像予測制約フラグが真である場合、上記リサンプル参照レイヤピクチャの画像のうち、上記参照レイヤ対応領域内の画像のみを生成することを特徴とする。
【００２８】
以上、上記構成によれば、レイヤ間画像予測制約フラグを復号した時点で、同フラグが真である場合、対象シーケンスにおいて、リサンプル参照レイヤピクチャ上の参照レイヤ対応領域より外側の画像(参照レイヤ対応領域外)をレイヤ間画像予測時に参照されないことが分かるため、リサンプル参照レイヤピクチャのリサンプル画像を生成するときに、参照レイヤ対応領域外の画像の生成を省略することができる。従って、リサンプリング処理の簡略化、及び参照レイヤ対応領域外の画像を保持するために必要なメモリを削減することができる。
【００２９】
さらに、本発明に係る画像復号装置において、上記レイヤ間画像予測制約フラグ復号手段は、参照レイヤ対応領域情報の有無に基づいて、上記レイヤ間画像予測制約フラグを復号することを特徴とする。
【００３０】
以上、上記構成によれば、参照レイヤ対応情報がある場合のみ、上記レイヤ間画像予測制約フラグを明示的に復号する。すなわち、参照レイヤ対応領域情報が無い場合は、上記レイヤ間画像予測制約フラグの復号を省略する。従って、レイヤ間画像予測制約フラグの復号に関する処理を低減し、さらに、符号量を削減することができる。
【００３１】
さらに、本発明に係る画像復号装置において、上記参照レイヤ対応領域情報復号手段は、対象シーケンス全体で共通となる参照レイヤ対応領域情報をシーケンス単位で復号し、各ピクチャに対応する参照レイヤ対応領域情報を、ピクチャ単位で復号することを特徴とする。
【００３２】
以上、上記構成によれば、参照レイヤ対応領域に基づいて導出される、対象レイヤ（例えば、拡張レイヤ）と参照レイヤ（例えば、ベースレイヤ）との間のレイヤ間対応関係パラメータに基づいて、リサンプル参照レイヤピクチャ上の各画素に対応する参照レイヤピクチャ上の参照画素の位置を決定し、その参照画素と周辺画素に所定のリサンプルフィルタを適用することで、対象画素を生成することができる。これにより、レイヤ間画像予測で使用されるリサンプル画像の精度を向上させる効果を得ることができる。特に、ピクチャ単位で対象レイヤと参照レイヤの対応領域が変化するシーケンスに対しては、参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間画像マッピングを行う場合に比べて、ピクチャ単位の参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間画像マッピングを行うことにより、よりレイヤ間画像予測で使用されるリサンプル画像の精度をより向上させる効果を奏する。それに伴いレイヤ間画像予測の予測精度も向上するため、符号化効率の向上を図ることが可能となる。
【００３３】
また、上記構成によれば、参照レイヤ対応情報に基づいて導出される、対象レイヤ（例えば拡張レイヤ）と参照レイヤ（例えばベースレイヤ）との間のレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY等）に基づいて、リサンプル参照レイヤピクチャ上の対象ブロックに対応する参照レイヤピクチャ上の参照画像ブロックを決定し、参照画像ブロックの動き情報に基づいて対象ブロックの動き情報を生成することができる。これにより、レイヤ間動き予測で使用される動き情報（テンポラル動き情報）の精度を向上させる効果を得ることができる。特に、ピクチャ単位で対象レイヤと参照レイヤの対応領域が変化するシーケンスに対しては、参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間動きマッピングを行う場合に比べて、アクティブ参照レイヤ対応領域情報（ピクチャ単位の参照レイヤ対応領域情報）により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間動きマッピングを行うことにより、よりレイヤ間動き予測で使用される動き情報（テンポラル動き情報）の精度をより向上させる効果を奏する。それに伴いレイヤ間動き予測の予測精度も向上するため、符号化効率の向上を図ることが可能となる。
【００３４】
さらに、本発明に係る画像復号装置において、上記各ピクチャに対応する参照レイヤ対応領域情報は、上記対象シーケンス全体で共通となる参照レイヤ対応領域情報からの差分情報であることを特徴とする。
【００３５】
以上、上記構成によれば、ピクチャ単位で参照レイヤ対応領域の情報を明示的に通知する場合に比べて、ピクチャ単位の参照レイヤ対応領域情報を、シーケンス全体で共通となる参照レイヤ対応領域に対するピクチャ単位の参照レイヤ対応領域のサイズの差分情報として通知することで、ピクチャ単位の参照レイヤ対応領域情報の復号に必要な符号量を削減することができる。
【００３６】
さらに、本発明に係る画像復号装置は、上記予測単位の予測方式がレイヤ間画像予測であるかを示すレイヤ間画像予測フラグを復号するレイヤ間画像予測復号手段を備え、
上記レイヤ間画像予測復号手段は、上記所定条件を満たすレイヤ間画像予測に関するレイヤ間画像予測フラグの復号を省略することを特徴とする。
【００３７】
以上、上記構成によれば、対象予測単位に対応するレイヤ間画像予測フラグを明示的に復号する否かを制御することができる。すなわち、対象予測単位において、上記所定条件を満たすレイヤ間画像予測の場合、レイヤ間画像予測フラグの復号を省略する（すなわち、レイヤ間画像予測フラグが０であると推定）ことにより、レイヤ間画像予測フラグの復号に係る処理量を低減することができる。また、レイヤ間画像予測フラグに係る符号量を削減することができるため、符号効率の向上の効果を奏する。
【００３８】
上記課題を解決するために、本発明に係る画像符号化装置は、レイヤごとに異なる品質の画像に関する画像情報が階層的に符号化された階層符号化データを符号化して、符号化の対象となる対象レイヤにおける画像を符号化する画像符号化装置であって、
対象レイヤと参照レイヤの対応領域を示す参照レイヤ対応領域情報を符号化する参照レイヤ対応領域情報符号化手段と、
所定条件を満たすレイヤ間画像予測を禁止するレイヤ間画像予測制約フラグを符号化するレイヤ間画像予測制約フラグ符号化手段と、
符号化済の参照レイヤピクチャと参照レイヤ対応領域情報とに基づいて、上記参照レイヤピクチャの画像及び動き情報を対象レイヤのピクチャへ対応づけてリサンプル参照レイヤピクチャを生成するリサンプリング手段と、
上記対象レイヤのピクチャを構成する各予測単位の予測画像を生成する予測画像生成手段を備え、
上記予測画像生成手段は、上記レイヤ間画像予測制約フラグが真であって、上記予測単位の予測方式がレイヤ間画像予測である場合、上記所定条件を満たさないレイヤ間画像予測により上記予測単位の予測画像を生成することを特徴とする動画像符号化装置。
【００３９】
以上、上記構成によれば、符号化済の参照レイヤピクチャと上記参照レイヤ対応領域情報とに基づいて、上記参照レイヤピクチャの画像及び動き情報を対象レイヤのピクチャへ対応付けてリサンプル参照レイヤピクチャの画像及び、動き情報を生成するため、レイヤ間画像予測、及びレイヤ間動き予測の精度を向上させることができる。その結果、さらに、符号効率を向上させることができる。また、上記構成によれば、予測精度の低い所定条件を満たすレイヤ間画像予測の使用を禁止するため、符号化効率を向上させることができる。
【００４０】
さらに、本発明に係る画像符号化装置において、上記所定条件を満たすレイヤ間画像予測とは、レイヤ間画像予測において、上記予測単位と対応する上記リサンプル参照レイヤピクチャ上の対応領域と上記参照レイヤ対応領域に関して、（１）上記対応領域の左端座標が上記参照レイヤ対応領域の左端座標より小さい、（２）上記対応領域の右端座標が上記参照レイヤ対応領域の右端座標より大きい、（３）上記対応領域の上端座標が上記参照レイヤ対応領域の上端座標より小さい、（４）上記対応領域の下端座標が参照レイヤ対応領域の下端座標より大きい、のうち少なくともいずれか一つを満たす場合であることを特徴とする。
【００４１】
以上、上記構成によれば、参照レイヤ対応領域より外側の画像を参照するレイヤ間画像予測の使用を禁止することができる。従って、予測精度の低い参照レイヤ対応領域外の画素を参照するレイヤ間画像予測を使用しないため、より符号化効率の高い画像符号化装置を実現することができる。さらに、上記構成によれば、レイヤ間画像予測制約フラグを決定した時点で、同フラグが真である場合、対象シーケンスにおいて、リサンプル参照レイヤピクチャ上の参照レイヤ対応領域より外側の画像(参照レイヤ対応領域外)をレイヤ間画像予測時に参照されないことが分かるため、リサンプル参照レイヤピクチャのリサンプル画像を生成するときに、参照レイヤ対応領域外の画像の生成を省略することが可能となる。
【００４２】
さらに、本発明に係る画像符号化装置において、上記所定条件を満たすレイヤ間画像予測とは、レイヤ間画像予測において、上記予測単位と対応する上記リサンプル参照レイヤピクチャ上の対応領域と上記参照レイヤ対応領域に関して、（１）上記対応領域の右端座標が上記参照レイヤ対応領域の左端座標より小さい、（２）上記対応領域の左端座標が上記参照レイヤ対応領域の右端座標より大きい、（３）上記対応領域の下端座標が上記参照レイヤ対応領域の上端座標より小さい、（４）上記対応領域の上端座標が参照レイヤ対応領域の下端座標より大きい、のうち少なくともいずれか一つを満たす場合であることを特徴とする。
【００４３】
以上、上記構成によれば、参照レイヤ対応領域より外側の画像のみを参照するレイヤ間画像予測の使用を禁止することができる。従って、予測精度の低い参照レイヤ対応領域外の画素のみを参照するレイヤ間画像予測を使用しないため、より符号化効率の高い画像符号化装置を実現することができる。
【発明の効果】
【００４４】
以上のように、本発明に係る画像復号装置は、レイヤ間画像予測制約フラグが参照レイヤ対応領域外の画素を参照するレイヤ間画像予測の適用不可を示す場合、予測精度の低い参照レイヤ対応領域外の画素を参照するレイヤ間画像予測を使用しないため、符号効率を向上させる効果を奏する。また、リサンプル参照ピクチャrsPicの画像rsPicSampleを生成する際に、参照レイヤ対応領域外の画素を生成する処理（パディング処理）を省略することができるため、リサンプル処理に係る処理量を低減させる効果を奏する。
【００４５】
以上のように、本発明に係る画像符号化装置は、レイヤ間画像予測制約フラグが参照レイヤ対応領域外の画素を参照するレイヤ間画像予測の適用不可を示す場合、予測精度の低い参照レイヤ対応領域外の画素を参照するレイヤ間画像予測を使用しないため、符号効率を向上させる効果を奏する。また、リサンプル参照ピクチャrsPicの画像rsPicSampleを生成する際に、参照レイヤ対応領域外の画素を生成する処理（パディング処理）を省略することができるため、リサンプル処理に係る処理量を低減させる効果を奏する。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態に係る階層符号化データのレイヤ構造を説明するための図であって、（ａ）は、階層動画像符号化装置側について示しており、（ｂ）は、階層動画像復号装置側について示している。
【図２】本発明の実施形態に係る階層符号化データの構成を説明するための図であって、（ａ）は、シーケンスSEQを既定するシーケンスレイヤ、（ｂ）は、ピクチャPICTを規定するピクチャレイヤ、（ｃ）は、スライスSを規定するスライスレイヤ、（ｄ）は、スライスデータを規定するスライスデータレイヤ、（ｅ）は、スライスデータに含まれる符号化ツリーユニットを規定する符号化ツリーレイヤ、（ｆ）は、符号化ツリーに含まれる符号化単位（Coding Unit; CU）を規定する符号化ユニットレイヤを示す図である。
【図３】本実施形態に係るビデオパラメータセットVPSに含まれるシンタックスの一例である。
【図４】対象レイヤの画像と参照レイヤの画像との対応領域（参照レイヤ対応領域）を説明するための図である。
【図５】本実施形態に係る参照レイヤ対応領域情報、およびレイヤ間画像予測制約フラグの一例である。
【図６】参照レイヤ対応領域SRLAより外側の画像を参照するレイヤ間画像予測の一例である。（ａ）は、レイヤ間画像予測時に、参照レイヤ対応領域SRLAと、参照レイヤ対応領域外NSRLAの両方の画像を参照する場合を示し、（ｂ）は、レイヤ間画像予測時に、参照レイヤ対応領域外NSRLAの画像のみを参照する場合を示す。
【図７】本実施形態に係るアクティブ参照レイヤ指定情報、アクティブ参照レイヤ対応領域情報の一例である。
【図８】本実施形態に係るアクティブ参照レイヤ対応領域情報の別の一例である。
【図９】本実施形態に係るアクティブ参照レイヤ対応領域を説明するための図である。
【図１０】参照ピクチャリストの一例を示す概念図である。
【図１１】参照ピクチャの例を示す概念図である。
【図１２】上記階層動画像復号装置の概略的構成を示す機能ブロック図である。
【図１３】本実施形態に係る画像復号装置の構成を示す概略図である。
【図１４】本実施形態に係るインター予測パラメータ復号部の構成を示す概略図である。
【図１５】本実施形態に係るマージ予測パラメータ導出部の構成を示す概略図である。
【図１６】対象ブロックと空間動きベクトルの対象ブロックおよび時間動きベクトルの対象ブロックの位置関係を示す概念図である。
【図１７】本実施形態に係るＡＭＶＰ予測パラメータ導出部の構成を示す概略図である。
【図１８】本実施形態に係るリサンプリング部の構成を示す概略図である。
【図１９】輝度に関するリサンプルフィルタの一例である。
【図２０】色差に関するリサンプルフィルタの一例である。
【図２１】レイヤ間画像予測フラグを含むＣＵのシンタックスの一例を示す図である。
【図２２】本実施形態に係る予測パラメータ復号部の変形例に係る動作を示すフロー図である。
【図２３】本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。
【図２４】本実施形態に係る画像符号化装置の概略的構成を示す機能ブロック図である。
【図２５】本実施形態に係るインター予測パラメータ符号化部の概略的構成を示す機能ブロック図である。
【図２６】本実施形態に係る予測パラメータ符号化部の変形例に係る動作を示すフロー図である。
【図２７】上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。
【図２８】上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成を示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。
【図２９】本実施形態に係るレイヤ画像マッピング部の動作を示すフロー図である。
【図３０】従来技術に係るレイヤ画像マッピング部の動作を示すフロー図である。
【図３１】リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域外NSRLA上の画素に対応する参照画素位置の導出を示す模式図であり，（ａ）は従来技術に係る参照画素位置の導出例であり、（ｂ）は本発明に係る参照画素位置の導出例である。
【図３２】リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域外NSRLAのリサンプル画素を説明するための図であり、（ａ）は従来技術における例を示し、（ｂ）は本発明における例である。
【図３３】本実施形態に係る参照レイヤ対応領域情報の別の一例である。
【図３４】本実施形態に係るアクティブ参照レイヤ対応領域情報の別の一例である。
【図３５】本実施形態に係るアクティブ参照レイヤ対応領域情報の別の一例である。
【発明を実施するための形態】
【００４７】
図１〜図２８に基づいて、本発明の一実施形態に係る階層動画像復号装置１および階層動画像符号化装置２を説明すれば以下のとおりである。
【００４８】
〔概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によって階層符号化された符号化データを復号する。階層符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。階層符号化は、例えば、SVCやSHVCにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および、“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
【００４９】
また、階層符号化技術は、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティ、および（４）ビュースケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレームレート（単位時間のフレーム数）において階層化する技術である。ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。また、ビュースケーラビリティは、各画像に対応付けられた視点位置において階層化する技術である。
【００５０】
本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造を説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
【００５１】
〔階層符号化データのレイヤ構造〕
ここで、図１を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図１は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図１（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
【００５２】
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
【００５３】
図１（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図１（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
【００５４】
まず、図１（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
【００５５】
下位階層Ｌ３の階層動画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図１において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
【００５６】
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図１において“Ｂ”にて示している）が含まれる。
【００５７】
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図１において“Ａ”にて示している）が含まれる。
【００５８】
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
【００５９】
次に、図１（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１＃Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
【００６０】
なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
【００６１】
例えば、中位階層Ｌ２の階層復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号できる。
【００６２】
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
【００６３】
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図１（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。例えば、復号画像ＰＯＵＴ＃Ｂの復号に、“Ｂ”だけから構成される階層符号化データと、復号画像ＰＯＵＴ＃Ｃを入力とする階層動画像復号装置も構成できる。
【００６４】
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
【００６５】
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
【００６６】
上位レイヤ  ：  ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図１において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
【００６７】
下位レイヤ  ：  ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図１において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
【００６８】
対象レイヤ  ：  復号または符号化の対象となっている階層のことをいう。
【００６９】
参照レイヤ  ：  対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
【００７０】
図１（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
【００７１】
基本レイヤ  ：  最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
【００７２】
拡張レイヤ  ：  基本レイヤの上位レイヤは、拡張レイヤと称される。
【００７３】
レイヤ識別子  ：  レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
【００７４】
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
【００７５】
レイヤ間予測  ：  レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を参照レイヤの情報から予測するレイヤ間予測のことをレイヤ間動き情報予測と称することもある。また、下位レイヤの復号画像から予測するレイヤ間予測のことをレイヤ間画像予測（あるいはレイヤ間テクスチャ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
【００７６】
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
【００７７】
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、HEVCおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、MPEG-2や、H.264/AVCなどの符号化方式により生成してもよい。
【００７８】
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、各階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１に供給されてもよいし、同一の伝送路を介して階層動画像復号装置１に供給されてもよい。
【００７９】
例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをMPEG-2またはH.264/AVCにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をHEVCにより符号化して、インターネットで伝送してもよい。
【００８０】
図２は、階層符号化データDATA（図１では、例えば、階層符号化データDATA#B）のデータ構造の例示を示す図である。
【００８１】
階層符号化データDATAにおけるデータの階層構造を図２に示す。階層符号化データDATAは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
図２の（ａ）〜（ｆ）は、それぞれ、シーケンスSEQを規定するシーケンスレイヤ、ピクチャPICTを規定するピクチャレイヤ、スライスSを規定するスライスレイヤ、スライスデータを規定するスライスデータレイヤ、スライスデータに含まれる符号化ツリーユニット（Coding Tree Unit；CTU）を規定する符号化ツリーレイヤ、符号化ツリーユニットCTUに含まれる符号化単位（Coding Unit；CU）を規定する符号化ユニットレイヤを示す図である。
【００８２】
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスSEQ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスSEQは、図２の（ａ）に示すように、ビデオパラメータセットVPS（Video Parameter Set）、シーケンスパラメータセットSPS（Sequence Parameter Set）、ピクチャパラメータセットPPS（Picture Parameter Set）、ピクチャPICT、及び、付加拡張情報SEI（Supplemental Enhancement Information）を含んでいる。ここで＃の後に示される値はレイヤIDを示す。図２では、＃０と＃１すなわちレイヤ０とレイヤ１の符号化データが存在する例を示すが、レイヤの種類およびレイヤの数はこれに限らない。
【００８３】
ビデオパラメータセットVPSは、複数のレイヤから構成されている動画像において、複数の動画像に共通する符号化パラメータの集合および動画像に含まれる複数のレイヤおよび個々のレイヤに関連する符号化パラメータの集合が規定されている。図３を用いて、VPSに含まれるシンタックスの一例を説明する。例えば、VPSは、図３（ａ）上のSYNVPS01に示すレイヤ数を規定するvps_max_layers_minus1を含む。また、VPS拡張データ（図３（ａ）上のSYNVPS02）では、NALユニットヘッダ上に規定されるレイヤ識別子layer_idとレイヤiを対応付けるレイヤ識別子指定情報layer_id_nuh[i]（図SYNS_VPS（ｂ）上のSYNVPS03）を含む。以降、説明を簡単化のため、特に断りが無ければ、レイヤiは、レイヤ識別子layer_id＝iを有するレイヤを表わすものとする。また、VPS拡張データ（図３（ａ）上のSYNVPS02）では、対象レイヤで参照する対象レイヤ以外のレイヤである参照レイヤを規定する参照レイヤ指定情報（図３（ｂ）上のSYNVPS04）が含まれる。具体的には、参照レイヤ指定情報には、レイヤ従属フラグdirect_dependency_flag[i][j]が含まれる。レイヤ従属フラグdirect_dependency_flag[i][j]は値が1である場合に、対象レイヤiは参照レイヤjを参照し、レイヤ従属フラグが0であれば、対象レイヤiは参照レイヤjを参照しないことを表す。また、対象レイヤiに対応する0でないレイヤ従属フラグdirect_dependency_flag[i][j]の数から、対象レイヤiが参照する参照レイヤの数（レイヤ間予測参照レイヤ数ともいう）NumDirectRefLayers[i]が定まる。また、対象レイヤiが参照するレイヤである参照レイヤRefLayerId[i][]が導出される。RefLayerId[i][]は、対象レイヤiが参照する参照レイヤのレイヤＩＤを格納したリストでありNumDirectRefLayers[i]個の要素を持つ。また、レイヤ従属フラグdirect_dependency_flag[i][j]が１の場合に、レイヤ従属タイプdirect_dependency_type[i][j]（図３（ｂ）上のSYNVPS05）がさらにVPSに含まれる。レイヤ従属タイプdirect_dependency_type[i][j]は、（１）対象レイヤiが参照レイヤｊを参照するレイヤ間画像予測の有無を示すレイヤ間画像予測有無フラグSamplePredEnableFlag[i][j]、（２）対象レイヤiが参照レイヤｊを参照するレイヤ間動き予測の有無を示すレイヤ間動き予測有無フラグMotionPredEnableFlag[i][j]、（３）対象レイヤiがレイヤ間画像予測のために参照する参照レイヤの数（レイヤ間画像予測参照レイヤ数ともいう）NumSamplePredRefLayers[i]、および（４）対象レイヤiがレイヤ間動き予測のために参照する参照レイヤの数（レイヤ間動き予測参照レイヤ数ともいう）NumMotionPredRefLayers[i]等のパラメータを導出するために利用されるシンタックスである。ここで、対象レイヤiが参照レイヤｊを参照するレイヤ間画像予測の有無を示すレイヤ間画像予測有無フラグSamplePredEnableFlag[i][j]は、例えば、次式(F-1)により導出され、値が真の場合、対象レイヤiが参照レイヤｊを参照するレイヤ間画像予測があることを示し、値が偽の場合は、レイヤ間画像予測が無いことを示す。
【００８４】
SamplePredEnableFlag[i][j] = ((direct_dependency_type[i][j] + 1) & 1);  (F-1)
また、対象レイヤiが参照レイヤｊを参照するレイヤ間動き予測の有無を示すレイヤ間動き予測有無フラグMotionPredEnableFlag[i][j]は、例えば、下記式(F-2)により導出され、値が真の場合、対象レイヤiが参照レイヤｊを参照するレイヤ間動き予測があることを示し、値が偽の場合は、レイヤ間動き予測が無いことを示す。
【００８５】
MotionPredEnableFlag[i][j] =  
(((direct_dependency_type[i][j] + 1) & 2)>>1);                   (F-2)
また、レイヤ間画像予測参照レイヤ数NumSamplePredRefLayers[i]は、対象レイヤiに対応する0でないレイヤ間画像予測有無フラグSamplePredEnableFlag[i][j]の数から定まる。同様に、レイヤ間動き予測参照レイヤ数NumMotionPredRefLayers[i]は、対象レイヤiに対応する0でないレイヤ間動き予測有無フラグMotionPredEnableFlag[i][j]の数から定まる。
【００８６】
また、レイヤ間画像予測有無フラグSamplePredEnableFlag[i][j]に基づいて、各レイヤにおいてレイヤ間画像予測で利用される参照レイヤのレイヤ識別子を特定するためのレイヤ間画像予測参照レイヤインデクスSamplePredRefLayerId[i][sIdx]、及びレイヤ間動き予測有無フラグMotionPredEnableFlag[i][j]に基づいて、各レイヤにおいてレイヤ間動き予測で利用される参照レイヤのレイヤ識別子を特定ためのレイヤ間動き予測参照レイヤインデクスMotionPredRefLayerId[i][mIdx]が以下の式（F-3）により導出される。
【００８７】
for( i=1; mIdx=0, sIdx = 0; i<=vps_max_layers_minus1; i++){
iNuhLid = layer_id_in_nuh[ i ];
for( j=0; j<i; j++){ 
if ( MotionPredEnableFlag[iNuhId][ j ] )
MotionPredRefLayerId[ iNuhId ][mIdx ++ ] = layer_id_in_nuh[ j ];
if ( SamplePredEnableFlag[iNuhId][ j] )
SamplePredRefLayerId[ iNuhId ][sIdx ++ ] = layer_id_in_nuh[ j ];
}
}                                                           (F-3)
シーケンスパラメータセットSPSでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、対象シーケンス内のピクチャの横幅PWや縦幅PHが規定される。また、SPSは、対象レイヤの対象ピクチャcurPic（あるいは、リサンプル参照レイヤピクチャrsPic）上のどの領域が参照レイヤピクチャrlPicと対応するかを示す参照レイヤ対応領域情報を規定する。また、SPSは符号化データ内に複数存在してもよい。その場合、対象シーケンス毎に復号に用いられるSPSが複数の候補から選択される。特定シーケンスの復号に使用されるＳＰＳは、アクティブSPSとも呼ばれる。以下では、特に断りがなければ、対象シーケンスに対するアクティブSPSを意味する。
【００８８】
ここで、参照レイヤ対応領域情報の説明に先だって、図４を用いて、対象レイヤのピクチャと参照レイヤのピクチャとの対応領域（参照レイヤ対応領域）を説明する。同図上のrlPicは、縦幅RLPH、横幅RLPWの画像サイズを有する参照レイヤのピクチャ（参照レイヤピクチャ）である。同図上のrsPicは、参照レイヤピクチャrlPicを、縦幅PH、横幅PWの画像サイズを有する対象レイヤのピクチャへマッピングしたピクチャ（リサンプル参照レイヤピクチャ）rsPicである。同図上のSRLA (灰色部分)は、対象レイヤのピクチャ上で、参照レイヤピクチャrlPicと対応する領域（参照レイヤ対応領域）であり、縦幅SRLPH、横幅SRLPWのサイズを有する。同図上のNSRLAは、参照レイヤ対応領域SRLAの外側の領域（参照レイヤ対応領域外と呼ぶ）である。同図上のOffsetLは、参照レイヤ対応領域SRLAの最左上画素と対象レイヤのピクチャ（あるいは、リサンプル参照ピクチャrsPic）の最左上画素間の水平方向（ｘ方向）のオフセットを表わす。同図上のOffsetTは、参照レイヤ対応領域SRLAの最左上画素と対象レイヤのピクチャ（あるいは、リサンプル参照ピクチャrsPic）の最左上画素間の垂直方向（y方向）のオフセットを表わす。同図上のOffsetRは、参照レイヤ対応領域SRLAの最右下画素と対象レイヤのピクチャ（あるいは、リサンプル参照ピクチャrsPic）の最右下画素間の水平方向（ｘ方向）のオフセットを表わす。同図上のOffsetBは、参照レイヤ対応領域SRLAの最右下画素と対象レイヤのピクチャ（あるいは、リサンプル参照ピクチャrsPic）の最右下画素間の垂直方向（y方向）のオフセットを表わす。
【００８９】
SPSは、図５(a)上のSYNSPS01に示すSPS拡張データsps_extension()を含む。さらに、SPS拡張データsps_extension()は、参照レイヤ対応領域情報として、図５(b)上のSYNSPS02に示すシンタックス群を含む。なお、SPSに含まれる参照レイヤ対応領域情報は、シーケンス全体で共通（基準）となる参照レイヤ対応領域である。各ピクチャ毎に参照レイヤ対応領域が変化する場合は、ピクチャ単位で対応する参照レイヤ対応領域情報（後述のアクティブ参照レイヤ対応領域情報）を通知する。
【００９０】
scaled_ref_layer_offsets_param_present_flagは、対象レイヤcurLayerIdの対象ピクチャcurPicと参照レイヤ数NumDirectRefLayers[curLayerId]個の参照レイヤ対応領域情報の有無を示すフラグ（参照レイヤ対応領域情報群有無フラグ）であり、値が真の場合、参照レイヤ数個の参照レイヤ対応領域情報があることを示し、値が偽の場合、参照レイヤ対応領域情報はないことを示す。図５（ｂ）上のSYNSPS02の例では、NumDirectRefLayers[curLyaerId]が０より大きい場合、明示的に参照レイヤ対応領域情報群有無フラグが通知され、NumDirectRefLayers[curLyaerId]が０の場合、参照レイヤ対応領域情報群有無フラグは０であると推定される。なお、従来技術では、対象レイヤの参照レイヤ数NumDirectRefLayers[curLayer]が分かっているのにも関わらず、明示的に、何個の参照レイヤ対応領域情報があるかを示すシンタックスnum_scaled_ref_layer_offsetsが含まれていた。一方、本発明では、参照レイヤ対応領域情報群有無フラグが真の場合、明示的に各参照レイヤの参照レイヤ対応領域情報（NumDirectRefLayers[curLyaerId]個の参照レイヤ対応領域情報）を通知する構成である。これによって、何個の参照レイヤ対応領域情報があるかを示すシンタックスnum_scaled_ref_layer_offsetsを通知する従来技術に比べて、参照レイヤ対応領域情報に係る符号量を削減することが可能である。
【００９１】
なお、図５（ｂ）上のSYNSPS02の代わりに、図３３（ａ）に示すSYNSPS02Aの構成としてもよい。すなわち、NumDirectRefLayers[curLyaerId]が１より大きい場合、明示的に参照レイヤ対応領域情報群有無フラグが通知され、NumDirectRefLayers[curLyaerId]が０の場合、参照レイヤ対応領域情報群有無フラグは０であると推定し、NumDirectRefLayers[curLyaerId]が１の場合（NumDirectRefLayrs[curlayerId]が２未満の場合）、参照レイヤ対応領域情報有無フラグは１であると推定する。これによって、図５（ｂ）上のSYNSPS02の例に比べて、参照レイヤ数が１個の場合、参照レイヤ対応領域情報群有無フラグを明示的に通知する必要がなくなり、参照レイヤ対応領域情報群有無フラグに係る符号量を削減することが可能である。また、NumDirectRefLayers[curLyaerId]が０の場合、NumDirectRefLayers[curLyaerId]によるループ部のフラグは符号化されない。しかし、これらのフラグを符号化しないことをより明確に示すために、参照レイヤ対応領域情報群有無フラグは０であると推定しても良い。
【００９２】
上記、図３３（ａ）の構成では、NumDirectRefLayers[curLyaerId]が１より大きい場合に、参照レイヤ対応領域情報群有無フラグを通知することにより、参照レイヤ対応領域情報を符号化する必要のない場合の、符号量を削減することができる。また、後述するように、各参照レイヤに対して、参照レイヤ対応領域情報有無フラグを符号化しないことにより、各シンタックス（scaled_ref_layer_left_offset[i]、scaled_ref_layer_top_offset[i]、scaled_ref_layer_right_offset[i]、scaled_ref_layer_bottom_offset[i]）に係る符号量を削減することが可能である。また、図３３（ｂ）に示すSYNSPS02Bの構成としてもよい。この場合、参照レイヤ対応領域情報群有無フラグは含まれず、明示的に、NumDirectRefLayers[curLayer]個の参照レイヤ対応領域情報を通知する構成である。同様に、何個の参照レイヤ対応領域情報があるかを示すシンタックスnum_scaled_ref_layer_offsetsを通知する従来技術に比べて、参照レイヤ対応領域情報に係る符号量を削減することが可能である。
【００９３】
scaled_ref_layer_offset_present_flag[i]は、対象レイヤcurLayerIdと参照レイヤRefLayerId[curLayerId][i]間の参照レイヤ対応領域情報の有無を示すフラグ（参照レイヤ対応領域情報有無フラグと呼ぶ）であり、値が真の場合、参照レイヤ対応領域情報として、さらに、以下の４つのシンタックスscaled_ref_layer_left_offset[i]、scaled_ref_layer_top_offset[i]、scaled_ref_layer_right_offset[i]、scaled_ref_layer_bottom_offset[i]が明示的に含まれ、偽の場合は、上記４つのシンタックスの値は、それぞれゼロであると推定される。各シンタックスの定義は、次の通りである。なお、上記参照レイヤ対応領域情報群有無フラグの値が偽の場合は、参照レイヤ対応領域情報有無フラグの値はゼロと推定される。
【００９４】
scaled_ref_layer_left_offset[i]は、レイヤ間予測に使われる、リサンプルしたi番目の参照レイヤRefLayerId[curLayerId][i]上の参照レイヤ対応領域SRLAの最左上画素と対象ピクチャcurPicの最左上画素間の所定画素単位の水平方向(x方向)のオフセットである。
【００９５】
scaled_ref_layer_top_offset[i]は、レイヤ間予測に使われる、リサンプルしたｉ番目の参照レイヤRefLayerId[curLayerId][i]上の参照レイヤ対応領域SRLAの最左上画素と対象ピクチャcurPicの最左上画素間の所定画素単位の垂直方向(y方向)のオフセットである。
【００９６】
scaled_ref_layer_right_offset[i]は、レイヤ間予測に使われる、リサンプルしたｉ番目の参照レイヤRefLayerId[curLayerId][i]上の参照レイヤ対応領域SRLAの最右下画素と対象ピクチャcurPicの最右下輝度画素間の所定画素単位の水平方向(x方向)のオフセットである。
【００９７】
scaled_ref_layer_bottom_offset[i]は、レイヤ間予測に使われる、リサンプルしたi番目の参照レイヤRefLayerId[curLayerId][i]上の参照レイヤ対応領域SRLAの最右下画素と対象ピクチャcurPicの最右下画素間の所定画素単位の垂直方向(y方向)のオフセットである。
【００９８】
従って、参照レイヤ対応領域情報有無フラグが０の場合、各シンタックス（scaled_ref_layer_left_offset[i]、scaled_ref_layer_top_offset[i]、scaled_ref_layer_right_offset[i]、scaled_ref_layer_bottom_offset[i]）に係る符号量を削減することが可能である。
【００９９】
図４上の各オフセットOffsetL、OffsetT、OffsetR、及びOffsetBは、対象レイヤcurLayerIdと参照レイヤRefLayerId[curLayerId][dRlIdx]間の参照レイヤ対応領域情報に含まれるシンタックスscaled_ref_layer_left_offset[dRlIdx]、scaled_ref_layer_top_offset[dRlIdx]、scaled_ref_layer_right_offset[dRlIdx]、scaled_ref_layer_bottom_offset[dRlIdx]を用いて、以下の式(G-1)〜(G-4)により導出される。
【０１００】
OffsetL = scaled_ref_layer_left_offset[dRlIdx]   << sample_unit_bit;  (G-1)
OffsetT = scaled_ref_layer_top_offset[dRlIdx]    << sample_unit_bit;  (G-2)
OffsetR = scaled_ref_layer_right_offset[dRlIdx]  << sample_unit_bit;  (G-3)
OffsetB = scaled_ref_layer_bottom_offset[dRlIdx] << sample_unit_bit;  (G-4)
ここで、sample_unit_bitは、2のべき乗で表わされる所定画素単位を、2を底とする対数値で表わした値である。例えば、２画素を単位とする場合は、sample_unit_bit = 1となる。また、2^N画素（Nの値は０以上）を単位とする場合は、sample_unit_bit = Nとなる。なお、sample_unit_bitは、画像復号装置と画像符号化装置間において予め定めておいてもよいし、SPS等のパラメータセットにおいて通知されてもよい。なお、OffsetLはScaledRefLayerLeftOffset、OffsetTはScaledRefLayerTopOffset、OffsetRはScaledRefLayerRightOffset、OffsetBはScaledRefLayerBottomOffsetとも呼ばれる。
【０１０１】
逆に、各シンタックスscaled_ref_layer_left_offset[dRlIdx], scaled_ref_layer_top_offset[dRlIdx], scaled_ref_layer_right_offset[dRlIdx], scaled_ref_layer_bottom_offset[dRlIdx]の値は、(G-1)〜(G-4)の逆処理に相当する(I-1)〜(I-4)によって導出される。
【０１０２】
scaled_ref_layer_left_offset[dRlIdx]  = OffsetL >> sample_unit_bit;  (I-1)
scaled_ref_layer_top_offset[dRlIdx]   = OffsetT >> sample_unit_bit;  (I-2)
scaled_ref_layer_right_offset[dRlIdx] = OffsetR >> sample_unit_bit;  (I-3)
scaled_ref_layer_bottom_offset[dRlIdx] = OffsetB>> sample_unit_bit;  (I-4)
また、scaled_ref_layer_offset_present_flag[dRlIdx]の値は、式（I-１）〜(I-4)で定まる各シンタックスの値が全て０の場合、０へ設定され、それ以外の場合は１へ設定される。
【０１０３】
また、図４上の参照レイヤ対応領域SRLAの横幅SRLPWと縦幅SRLPHは、例えば、以下の式(G-5)〜(G-6)により導出される。
【０１０４】
SRLPW = PW - OffsetL - OffsetR;                                   (G-5)
SRLPH = PH - OffsetT - OffsetB;                                   (G-6)
なお、PWはPicWidthInSamplesL、PHはPicHeightInSamplesL、SRLPWはScaledRefLayerPicWidthInSamplesL、SRLPHはScaledRefLayerPicHeightInSamplesLとも呼ばれる。
【０１０５】
また、図４上の参照レイヤ対応領域SRLAの横幅に対する参照レイヤピクチャrlPicの横幅のサイズ比ScaleFactorX、及び参照レイヤ対応領域SRLAの縦幅に対する参照レイヤピクチャrlPicの縦幅のサイズ比ScaleFactorYは、以下の式(G-7)〜(G-8)により導出される。
【０１０６】
ScaleFactorX = ( ( RLPW << nosf_bit ) + (SRLPW >> 1) )/ SRLPW;   (G-7)
ScaleFactorY = ( ( RLPH << nosf_bit ) + (SRLPH >> 1) )/ SRLPH;   (G-8)
ここで、nosf_bitは、図４上の参照レイヤ対応領域SRLAと参照レイヤピクチャrlPicの横幅のサイズ比ScaleFactorX、および縦幅のサイズ比ScaleFactorYのビット精度を表わし、例えば、nosf_bit = 16と設定される。また、参照レイヤピクチャrlPicの横幅RLPWはRefLayerPicWidthInSamplesL、参照レイヤピクチャrlPicの縦幅RLPHはRefLayerPicHeightInSamplesLとも呼ばれる。
【０１０７】
（レイヤ間画像予測制約フラグについて）
さらに、SPS拡張データsps_extension()には、図５上のSYNSPS03に示すレイヤ間画像予測制約フラグinter_layer_sample_pred_constraint_flagが含まれる。レイヤ間画像予測制約フラグinter_layer_sample_pred_constraint_flagは、値が真の場合、対象ピクチャcurPic上の全ての予測単位PBXにおいて、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAより外側の画像を参照するレイヤ間画像予測の使用を禁止することを示し、値が偽の場合は、対象ピクチャcurPic上の全ての予測ブロックPBXにおいてリサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAより外側の画像を参照するレイヤ間画像予測の使用を許可することを示す。
【０１０８】
また、レイヤ間画像予測制約フラグを明示的にSPS拡張データへ含むかどうかは、図５上のSYNSPS02に示す参照レイヤ対応領域情報が一つでも含まれることを示すフラグScaledRefLayerOffsetsPresentFlagに基づいて判定する。ScaledRefLayerOffsetsPresentFlagは、各レイヤの参照レイヤ対応領域有無フラグの値との論理和によって導出される。
【０１０９】
ScaledRefLayerOffsetsPresentFlag |= scaled_ref_layer_present_flag[i];
ScaledRefLyaerOffsetsPresentFlagの値が真（１）の場合、レイヤ間画像予測制約フラグinter_layer_sample_pred_constraint_flagはSPS拡張データに含まれ、偽の場合は、SPS拡張データに含まれず、値は偽（０）と推定される。
【０１１０】
なお、ScaledRefLayerOffsetsPresentFlagは、各レイヤの参照レイヤ対応領域有無フラグの値の和によって導出されてもよい。
【０１１１】
ScaledRefLayerOffsetsPresentFlag += scaled_ref_layer_present_flag[i];
また、レイヤ間画像予測制約フラグは、参照レイヤ対応領域情報群有無フラグscaled_ref_layer_offsets_param_present_flagの値が真（１）の場合、SPS拡張データに含まれ、偽の場合は、SPS拡張データに含まれず、値は偽（０）と推定されてもよい。これにより、ScaledRefLayerOffsetsPresentFlagの導出に係る演算を省略することができる。
【０１１２】
なお、レイヤ間画像予測制約フラグは、各参照レイヤ毎に通知するようにしてもよい。また、レイヤ間画像予測制約フラグは、パラメータセット上に明示的に含まないで、参照レイヤ対応領域情報がパラメータセット（VPS、SPS、PPS、SH等）において含まれる場合、レイヤ間画像予測制約フラグの値を１と設定してもよい。すなわち、参照レイヤ対応領域情報がある場合は、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAより外側の画像を参照するレイヤ間画像予測の使用を常に禁止することとなる。この場合、レイヤ間画像予測制約フラグに係る符号の復号／符号化の省略、符号化効率の向上の効果を奏する。
【０１１３】
ここで、参照レイヤ対応領域SRLAより外側の画像を参照するレイヤ間画像予測の使用を禁止することを示すフラグ（レイヤ間画像予測制約フラグ）を導入することのメリットに関して、図４を用いて説明する。図４において、curPicは、対象ピクチャを示し、rsPicは、リサンプル参照レイヤピクチャを示し、rlPicは参照レイヤピクチャを示し、SRLAは参照レイヤ対応領域を示し、NSRLAは参照レイヤ対応領域SRLAの外側の領域（参照レイヤ対応領域外）を示す。従来技術では、リサンプル参照レイヤピクチャrsPicのリサンプル画像rsPicSampleの生成において、参照レイヤ対応領域SRLAの部分の画素は、参照レイヤピクチャrlPic上に対応する画素があるため、所定のリサンプルフィルタ（アップサンプリングフィルタとも呼ぶ）を適用することにより生成される。一方、参照レイヤ対応領域外NSRLAの部分の画素は、参照レイヤピクチャrlPic上に対応する画素がない。そのため、（１）参照レイヤ対応領域外NSRLAの部分の画素は、最近接する、リサンプリングによって得られた参照レイヤ対応領域SRLAの境界画素でパディング（コピー）するか、あるいは、（２）参照レイヤ対応領域外NSRLAの部分の画素は、その画素の座標 (xP, yP)を最近接する参照レイヤ対応領域の境界画素の座標(xP’,yP’)へ置換し、境界画素の座標(xP’, yP’)に対応する参照レイヤピクチャrlPicの参照画素の位置(xRL, yRL)を導出し、その参照画素の位置を中心に所定のリサンプルフィルタを適用することで生成される。従って、参照レイヤ対応領域SRLA内のみの画素を参照するレイヤ間画像予測は、参照レイヤピクチャrlPicに対応する画素があるため、予測精度が高く符号化効率の向上につながるが、参照レイヤ対応領域外NSRAの画素を参照するレイヤ間画像予測は予測精度が低いため、逆に、符号化効率の低下へつながる可能性がある。
【０１１４】
そこで、参照レイヤ対応領域SRLAより外側の画像を参照するレイヤ間画像予測の使用を禁止することにより、より符号化効率の高い画像復号装置、および画像符号化装置を実現することが可能である。また、画像復号装置側では、レイヤ間画像予測制約フラグinter_layer_sample_pred_flagを復号した時点で、同フラグが真である場合、対象シーケンスにおいて、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAより外側の画像(参照レイヤ対応領域外NSRLA)をレイヤ間画像予測時に参照されないことが分かるため、リサンプル参照レイヤピクチャrsPicのリサンプル画像rsPicSampleを生成するときに、参照レイヤ対応領域外NSRLAの画像の生成を省略することが可能となる。従って、リサンプリング処理の簡略化、及び参照レイヤ対応領域外NSRLAの画像を保持するために必要なメモリを削減することが可能となる。
【０１１５】
（参照レイヤ対応領域より外側の画像を参照するレイヤ間画像予測について）
以下では、図６(a)を参照しながら、レイヤ間画像予測において、対象ピクチャcurPic上のある予測単位PBXに対応するリサンプル参照レイヤピクチャrsPic上の対応領域RBXが、参照レイヤ対応領域SRLAより外側の画像を参照する条件について説明する。同図において、curPicは対象ピクチャを表わし、rlPicは参照レイヤピクチャ、rsPicはリサンプル参照レイヤピクチャ、SRLAは参照レイヤ対応領域を表わす。同図において、予測単位PBX(X=1…4)に対応するリサンプル参照レイヤピクチャrsPic上の対応領域(参照領域)をRBX(X=1…4)とする。なお、予測単位PBXの縦幅をhPb、横幅wPbとする。
【０１１６】
（Ａ１）対応領域の左端座標(xP)が参照レイヤ対応領域SRLAの左端座標(offsetL)よりも小さい場合（図６(a)においてRB1）、すなわち、次式(H-1)を満たす場合である。
【０１１７】
xP < max ( 0, OffsetL )                                       (H-1)
ここで、maxの演算がある理由は、参照レイヤ対応領域SRLAの左端座標が負値の場合(offsetLが負値である場合)、リサンプル参照レイヤピクチャrsPicの左端座標（０）へ補正するためである。
【０１１８】
（Ａ２）対応領域の右端座標(xP + wPb - 1)が参照レイヤ対応領域SRLAの右端座標(PW -OffsetR - 1)よりも大きい場合（図６(a)においてRB3）、すなわち、次式(H-2)を満たす場合である。
【０１１９】
xP + wPb - 1 > min ( PW - 1, PW - OffsetR - 1 )                (H-2)
ここで、minの演算がある理由は、参照レイヤ対応領域SRLAの右端座標がリサンプル参照レイヤピクチャrsPicの右端座標より大きい場合（offsetRが負値である場合）、リサンプル参照レイヤピクチャrsPicの右端座標（PW - 1）へ補正するためである。なお、式(H-2)は（H-2’）とも表現できる。
【０１２０】
xP + wPb > min ( PW, PW - OffsetR )                            (H-2’)
（Ａ３）対応領域の上端座標(yP)が参照レイヤ対応領域SRLAの上端座標(offsetT)よりも小さい場合（図６(a)においてRB2）、すなわち、次式(H-3)を満たす場合である。
【０１２１】
yP < max ( 0, OffsetT )                                        (H-3)
ここで、maxの演算がある理由は、参照レイヤ対応領域SRLAの上端座標が負値の場合(offsetTが負値である場合)、リサンプル参照レイヤピクチャrsPicの上端座標（０）へ補正するためである。
【０１２２】
（Ａ４）対応領域の下端座標（yP + hPb - 1）が参照レイヤ対応領域SRLAの下端座標(PH -OffsetB - 1)よりも大きい場合（図６(a)においてRB4）、すなわち、次式(H-4)を満たす場合である。
【０１２３】
yP + yPb - 1 > min ( PH - 1, PH - OffsetB - 1 )                (H-4)
ここで、minの演算がある理由は、参照レイヤ対応領域SRLAの右端座標がリサンプル参照レイヤピクチャrsPicの右端座標より大きい場合（offsetRが負値である場合）、リサンプル参照レイヤピクチャrsPicの右端座標（PW - 1）へ補正するためである。なお、式(H-4)は（H-4’）とも表現できる。
【０１２４】
yP + yPb > min ( PH, PH - OffsetR )                            (H-4’)
なお、max(A,B)は、A、Bのうち大きい値を返す演算子であり、min(A,B)は、A、Bのうち小さい値を返す演算子である（以下同様）。
【０１２５】
すなわち、レイヤ間画像予測において、対象ピクチャcurPic上のある予測単位PBXに対応するリサンプル参照レイヤピクチャrsPic上の対応領域RBXが、上記条件（Ａ１）〜（Ａ４）のいずれか一つでも満たす場合、参照レイヤ対応領域SRLAより外側の画像を参照することを示す。
【０１２６】
（参照レイヤ対応領域より外側の画像のみを参照するレイヤ間画像予測について）
上記で説明したレイヤ間画像予測制約フラグは、対象ピクチャcurPic上の全ての予測単位PBXにおいて、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAより外側の画像を参照するレイヤ間画像予測の使用を禁止することを示していたが、これに限定されない。例えば、レイヤ間画像予測制約フラグは、対象ピクチャcurPic上の全ての予測単位PBXにおいて、サンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAより外側の画像のみを参照するレイヤ間画像予測の使用を禁止するフラグと定義してもよい。以下では、図６(b)を参照しながら、レイヤ間画像予測において、対象ピクチャcurPic上のある予測単位PBXに対応するリサンプル参照レイヤピクチャrsPic上の対応領域RBXが、参照レイヤ対応領域SRLAより外側の画像のみ参照する条件について説明する。同図において、curPicは対象ピクチャを表わし、rlPicは参照レイヤピクチャ、rsPicはリサンプル参照レイヤピクチャ、SRLAは参照レイヤ対応領域を表わす。同図において、予測単位PBX(X=1…4)に対応するリサンプル参照レイヤピクチャrsPic上の対応領域をRBX(X=1…4)とする。なお、予測単位PBXの縦幅をhPb、横幅wPbとする。
【０１２７】
（Ｂ１）対応領域の右端座標(xP + wPb - 1)が参照レイヤ対応領域SRLAの左端座標(offsetL)よりも小さい場合（図６(b)においてRB1）、すなわち、次式(H-5)を満たす場合である。
【０１２８】
xP + wPb - 1 < max ( 0, OffsetL )                    (H-5)
（Ｂ２）対応領域の左端座標(xP)が参照レイヤ対応領域SRLAの右端座標(PW -OffsetR - 1)よりも大きい場合（図６(b)においてRB3）、すなわち、次式(H-6)を満たす場合である。
【０１２９】
xP > min ( PW - 1, PW - OffsetR - 1 )                (H-6)
（Ｂ３）対応領域の下端座標(yP + hPb - 1)が参照レイヤ対応領域SRLAの上端座標(offsetT)よりも小さい場合（図６(b)においてRB2）、すなわち、次式(H-7)を満たす場合である。
【０１３０】
yP + hPb - 1 < max ( 0, OffsetT )                    (H-7)
（Ｂ４）対応領域の上端座標（yP）が参照レイヤ対応領域SRLAの下端座標(PH -OffsetB - 1)よりも大きい場合（図６(b)においてRB4）、すなわち、次式(H-8)を満たす場合である。
【０１３１】
yP > min ( PH - 1, PH - OffsetB - 1 )                (H-8)
レイヤ間画像予測制約フラグが、対象ピクチャcurPic上の全ての予測単位PBXにおいて、サンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAより外側の画像のみを参照するレイヤ間画像予測の使用を禁止することを示す場合においても、予測精度の低い参照レイヤ対応領域外NSRAの画素のみを参照するレイヤ間画像予測を使用しないため、同様に、より符号化効率の高い画像復号装置、および画像符号化装置を実現することが可能である。
【０１３２】
ピクチャパラメータセットPPSでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。例えば、ピクチャの復号に用いられる量子化幅の基準値や、重み付き予測の適用を示すフラグが含まれる。なお、PPSは符号化データ内に複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のPPSの何れかを選択する。特定ピクチャの復号に使用されるPPSはアクティブPPSとも呼ばれる。以下では、特に断りがなければ、PPSは対象ピクチャに対するアクティブPPSを意味する。
【０１３３】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャPICT（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャPICTは、図２の（ｂ）に示すように、スライスS0〜SNS-1を含んでいる。（NSはピクチャPICTに含まれるスライスの総数）。
【０１３４】
なお、以下、スライスS0〜SNS-1のそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡに含まれるデータであって、添え字を付している他のデータも同様である。
【０１３５】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスS（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスSは、図２の（ｃ）に示すように、スライスヘッダSH、および、スライスデータSDATAを含んでいる。
【０１３６】
スライスヘッダSHには、対象スライスの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダSHに含まれる符号化パラメータの一例である。
【０１３７】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、または、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、または、イントラ予測を用いるＢスライスなどが挙げられる。
【０１３８】
また、スライスヘッダSHには、VPSで規定された対象シーケンス全体で参照しうる参照レイヤのうち、対象ピクチャの復号／符号化において実際に、レイヤ間予測のために参照する参照レイヤ（アクティブ参照レイヤとも呼ぶ）を指定するためのアクティブ参照レイヤ指定情報inter_pred_enable_flag, num_inter_layer_ref_pics_minus1, inter_layer_pred_layer_idc[i]が含まれる（図７上のSYNSH01）。各シンタックスの定義は次の通りである。
【０１３９】
inter_layer_pred_enable_flagは、対象ピクチャcurPicの復号時においてレイヤ間予測の有無を示すフラグ（レイヤ間予測有無フラグとも呼ぶ）であり、値が１の場合、レイヤ間予測が利用されることを示し、値が０の場合は、レイヤ間予測が利用されないことを示す。もし、明示的にスライスヘッダSHに含まれない場合、値は０と推定される。さらに、レイヤ間予測有無フラグの値が１の場合、さらにnum_inter_layer_ref_pic_minus1、inter_layer_pred_layer_idc[i]が含まれる。
【０１４０】
num_inter_layer_ref_pic_minus1 + 1は、対象ピクチャcurPicの復号時においてレイヤ間予測に利用されるアクティブ参照レイヤの数（アクティブ参照レイヤ数とも呼ぶ）NumActiveRefLayerPicsを表わす。具体的には、参照レイヤ数NumDirectRefLayers[curLayerId]、レイヤ間予測有無フラグinter_layer_pred_enable_flagとnum_inter_layer_ref_pic_minus1に基づいて、アクティブ参照レイヤ数NumActiveRefLayerPicsが、例えば、次の式(G-9)により導出される。
【０１４１】
if( curLayerId == 0 || NumDirectRefLayers[ curLayerId ] == 0 ||
!inter_layer_pred_enable_flag ){
NumActiveRefLayerPics = 0;
} else{
NumActiveRefLayerPics = num_inter_layer_ref_pics_minus1 + 1;
}                                                                    (G-9)
inter_layer_pred_layer_idc[i]は、変数RefPicLayerId[i]において、対象ピクチャcurPicのレイヤ間予測のために利用されるi番目の参照レイヤのレイヤ識別子を表わす。
【０１４２】
すなわち、RefPicLayerId[i] = RefLayerId[curLayerId][inter_layer_pred_layer idc[i]];
また、アクティブレイヤ間動き予測参照レイヤ数NumActivePredRefLayers、及びアクティブレイヤ間動き参照レイヤActiveMotionPredRefLayerId[i]が、例えば、次の式(G-10)により導出される。
【０１４３】
for(i=0, j=0; NumActiveRefLayerPics; i++)
RefPicLayerId[i] = RefLayerId[curLayerId][inter_layer_pred_layer_idc[i]];
if( MotionPredEnableFlag[curLayerId][inter_layer_pred_layer_idc[i]] )
ActiveMotionPredRefLayerId[j++] = 
RefLayerId[curLayerId][inter_layer_pred_layer_idc[i];
}
NumActiveMotionPredRefLayers = j;                                   (G-10)
また、スライスヘッダSHには、SPSで規定された参照レイヤ対応領域情報とは別に、対象レイヤの対象ピクチャcurPic上のどの領域がアクティブ参照レイヤピクチャと実際に対応するかを示すアクティブ参照レイヤ対応領域情報（図７）が含まれていてもよい。
【０１４４】
シンタックスactive_scaled_ref_layer_offsets_param_present_flagは、SPSで規定された参照レイヤ対応領域情報とは別に、対象レイヤcurLayerIdの対象ピクチャcurPicとアクティブ参照レイヤ数NumActiveRefLayerPics[curLayerId]個のアクティブ参照レイヤ対応領域情報の有無を示すフラグ（アクティブ参照レイヤ対応領域情報群有無フラグ）であり、値が真の場合、アクティブ参照レイヤ数個の参照レイヤ対応領域情報があることを示し、値が偽の場合、アクティブ参照レイヤ対応領域情報はないことを示す。図７上のSYNSH02の例では、NumDirectRefLayers[curLyaerId]が０より大きい場合、明示的にアクティブ参照レイヤ対応領域情報群有無フラグが通知され、NumDirectRefLayers[curLyaerId]が０の場合、アクティブ参照レイヤ対応領域情報群有無フラグは０であると推定される。なお、従来技術では、対象レイヤの参照レイヤ数NumDirectRefLayers[curLayer]が分かっているのにも関わらず、明示的に、何個の参照レイヤ対応領域情報があるかを示すシンタックスnum_scaled_ref_layer_offsetsが含まれていた。一方、本発明では、参照レイヤ対応領域情報群有無フラグが真の場合、明示的に各アクティブ参照レイヤのアクティブ参照レイヤ対応領域情報（NumActiveRefLayers[curLyaerId]個のアクティブ参照レイヤ対応領域情報）を通知する構成である。これによって、何個の参照レイヤ対応領域情報があるかを示すシンタックスnum_scaled_ref_layer_offsetsを通知する従来技術に比べて、アクティブ参照レイヤ対応領域情報に係る符号量を削減することが可能である。また、NumActiveRefLayers[curLyaerId]が０の場合、NumActiveRefLayers[curLyaerId]によるループ部のフラグは符号化されない。しかし、これらのフラグを符号化しないことをより明確に示すために、アクティブ参照レイヤ対応領域情報群有無フラグは０であると推定しても良い。
【０１４５】
なお、図７上のSYNSH02の代わりに、図３４（ａ）に示すSYNSH02Aの構成としてもよい。すなわち、NumActiveRefLayers[curLyaerId]が１より大きい場合、明示的にアクティブ参照レイヤ対応領域情報群有無フラグが通知され、NumActiveRefLayers[curLyaerId]が０の場合、アクティブ参照レイヤ対応領域情報群有無フラグは０であると推定し、NumActiveRefLayers[curLyaerId]が１の場合、アクティブ参照レイヤ対応領域情報有無フラグは１であると推定する。これによって、図７上のSYNSH02の例に比べて、アクティブ参照レイヤ数が１個の場合、アクティブ参照レイヤ対応領域情報群有無フラグを明示的に通知する必要がなくなり、アクティブ参照レイヤ対応領域情報群有無フラグに係る符号量を削減することが可能である。また、図３４(ｂ)に示すSYNSH02Bの構成としてもよい。この場合、アクティブ参照レイヤ対応領域情報群有無フラグは含まれず、明示的に、NumActiveRefLayers[curLayer]個のアクティブ参照レイヤ対応領域情報を通知する構成である。同様に、何個の参照レイヤ対応領域情報があるかを示すシンタックスnum_scaled_ref_layer_offsetsを通知する従来技術に比べて、アクティブ参照レイヤ対応領域情報に係る符号量を削減することが可能である。
【０１４６】
シンタックスactive_scaled_ref_layer_offset_present_flag[k]は、対象レイヤcurLayerIdとアクティブ参照レイヤRefPicLayerId[k]間のアクティブ参照レイヤ対応領域情報の有無を示すフラグ（アクティブ参照レイヤ対応領域情報有無フラグと呼ぶ）であり、値が真の場合、アクティブ参照レイヤ対応領域情報として、さらに、以下の４つのシンタックスactive_scaled_ref_layer_left_offset[k]、active_scaled_ref_layer_top_offset[k]、active_scaled_ref_layer_right_offset[k]、active_scaled_ref_layer_bottom_offset[k]が明示的に含まれ、偽の場合は、上記４つのシンタックスの値は、それぞれゼロであると推定される。各シンタックスの定義は、次の通りである。
【０１４７】
active_scaled_ref_layer_left_offset[k]は、レイヤ間予測に使われる、リサンプルしたk番目のアクティブ参照レイヤRefPicLayerId[k]上のアクティブ参照レイヤ対応領域SRLA’の最左上画素と対象ピクチャcurPicの最左上画素間の所定画素単位の水平方向(x方向)のオフセットである。
【０１４８】
active_scaled_ref_layer_top_offset[k]は、レイヤ間予測に使われる、リサンプルしたk番目のアクティブ参照レイヤRefPicLayerId[k]上のアクティブ参照レイヤ対応領域SRLA’の最左上画素と対象ピクチャcurPicの最左上画素間の所定画素単位の垂直方向(y方向)のオフセットである。
【０１４９】
active_scaled_ref_layer_right_offset[k]は、レイヤ間予測に使われる、リサンプルしたk番目のアクティブ参照レイヤRefPicLayerId[k]上のアクティブ参照レイヤ対応領域SRLA’の最右下画素と対象ピクチャcurPicの最右下輝度画素間の所定画素単位の水平方向(x方向)のオフセットである。
【０１５０】
active_scaled_ref_layer_bottom_offset[k]は、レイヤ間予測に使われる、リサンプルしたk番目の参照レイヤRefPicLayerId[k]上のアクティブ参照レイヤ対応領域SRLA’の最右下画素と対象ピクチャcurPicの最右下画素間の所定画素単位の垂直方向(y方向)のオフセットである。
【０１５１】
従って、アクティブ参照レイヤ対応領域情報有無フラグが０の場合、各シンタックス（active_scaled_ref_layer_left_offset[i]、active_scaled_ref_layer_top_offset[i]、active_scaled_ref_layer_right_offset[i]、active_scaled_ref_layer_bottom_offset[i]）に係る符号量を削減することが可能である。
【０１５２】
図４上の各オフセットOffsetL、OffsetT、OffsetR、及びOffsetBは、対象レイヤcurLayerIdとアクティブ参照レイヤRefPicLayerId[k]間のアクティブ参照レイヤ対応領域情報の各シンタックスactive_scaled_ref_layer_offset_present_flag[k]、active_scaled_ref_layer_left_offset[k]、active_scaled_ref_layer_top_offset[k]、active_scaled_ref_layer_right_offset[k]、active_scaled_ref_layer_bottom_offset[k]を用いて、例えば、以下の式(G-1A)〜(G-4A)により導出される。
【０１５３】
OffsetL = active_scaled_ref_layer_left_offset[k]  << sample_unit_bit;   (G-1A)
OffsetT = active_scaled_ref_layer_top_offset[k]   << sample_unit_bit;   (G-2A)
OffsetR = active_scaled_ref_layer_right_offset[k]  << sample_unit_bit;  (G-3A)
OffsetB = active_scaled_ref_layer_bottom_offset[k] << sample_unit_bit;  (G-4A)
逆に、各シンタックスactive_scaled_ref_layer_left_offset[k]、active_scaled_ref_layer_top_offset[k]、active_scaled_ref_layer_right_offset[k]、active_scaled_ref_layer_bottom_offset[k]は、式(G-1)〜(G-4)の逆処理 (I-1)〜(I-4)において、左辺を対応する各シンタックスへ置き換えることで同様に導出される。また、シンタックスactive_scaled_ref_layer_offset_present_flag[k]は、各シンタックスactive_scaled_ref_layer_left_offset[k]、active_scaled_ref_layer_top_offset[k]、active_scaled_ref_layer_right_offset[k]、active_scaled_ref_layer_bottom_offset[k]の値が全て０である場合、値を０へ設定し、それ以外の場合は、１へ設定される。
【０１５４】
すなわち、スライスヘッダSHにおいて、アクティブ参照レイヤ対応領域情報が通知される場合は、SPS上で通知される参照レイヤ対応領域情報によって定まる各オフセットOffsetL, OffsetT, OffsetRおよびOffsetBは、アクティブ参照レイヤ対応領域情報に基づいて再設定される。スライス単位で、アクティブ参照レイヤ対応領域情報を通知することのメリットは、ピクチャ単位で対象レイヤと参照レイヤの対応領域が変化するシーケンスに対して、より正確な参照レイヤ対応領域情報を通知することが可能となり、より高精度なレイヤ間動きマッピング、レイヤ間画像マッピングの実施が可能となる。従って、レイヤ間動きマッピング、及びレイヤ間画像マッピングの精度が向上するため、それに伴いレイヤ間動き予測、レイヤ間画像予測の予測精度も向上するため、符号化効率の向上を図ることが可能となる。
【０１５５】
また、アクティブ参照レイヤ対応領域情報のデータ構造は、図７のSYNA05に限定されず、SPSで通知した参照レイヤ対応領域情報に対する差分情報（図８のSYNSH03）としてもよい。以下、図８のSYNSH03のシンタックスの定義について、図９を参照しながら説明する。なお、アクティブ参照レイヤ対応領域情報群有無フラグ、およびアクティブ参照レイヤ対応領域有無フラグは説明済みのため省略する。図９において、対象レイヤの画像と参照レイヤの画像との対応領域（参照レイヤ対応領域）を説明する。同図上のrlPicは、縦幅RLPH、横幅RLPWの画像サイズを有する参照レイヤの画像（参照レイヤピクチャ）である。同図上のrsPicは、参照レイヤピクチャrlPicを、縦幅PH、横幅PWの画像サイズを有する対象レイヤの画像へマッピングした画像（リサンプル参照レイヤピクチャ）rsPicである。同図上のSRLAは、SPSで通知される参照レイヤ対応領域情報により定まる、対象レイヤの画像上で、参照レイヤの画像と実際に対応する領域（参照レイヤ対応領域）であり、縦幅SRLPH、横幅SRLPHのサイズを有する。同図上のOffsetLは、参照レイヤ対応領域SRLAの最左上画素とリサンプル参照ピクチャrsPic（あるいは、対象レイヤの対象ピクチャcurPic）の最左上画素間の水平方向（ｘ方向）のオフセットを表わす。同図上のOffsetTは、参照レイヤ対応領域SRLAの最左上画素とリサンプル参照ピクチャrsPic（あるいは、対象レイヤの対象ピクチャcurPic）の最左上画素間の垂直方向（y方向）のオフセットを表わす。同図上のOffsetRは、参照レイヤ対応領域SRLAの最右下画素とリサンプル参照ピクチャrsPic（あるいは、対象レイヤの対象ピクチャcurPic）の最右下画素間の水平方向（ｘ方向）のオフセットを表わす。同図上のOffsetBは、参照レイヤ対応領域SRLAの最右下画素とリサンプル参照ピクチャrsPic（あるいは、対象レイヤの対象ピクチャcurPic）の最右下画素間の垂直方向（y方向）のオフセットを表わす。同図上のSRLA’は、スライスヘッダSHで通知されるアクティブ参照レイヤ対応領域情報により定まる、対象レイヤの画像上で、参照レイヤの画像と実際に対応する領域（アクティブ参照レイヤ対応領域）であり、縦幅SRLPH’、横幅SRLPH’のサイズを有する。同図上のOffsetT’は、アクティブ参照レイヤ対応領域SRLA’の最左上画素とリサンプル参照ピクチャrsPic（あるいは、対象レイヤの対象ピクチャcurPic）の最左上画素間の垂直方向（y方向）のオフセットを表わす。同図上のOffsetR’は、アクティブ参照レイヤ対応領域SRLA’の最右下画素とリサンプル参照ピクチャrsPic（あるいは、対象レイヤの対象ピクチャcurPic）の最右下画素間の水平方向（ｘ方向）のオフセットを表わす。同図上のOffsetB’は、アクティブ参照レイヤ対応領域SRLA’の最右下画素とリサンプル参照ピクチャrsPic（あるいは、対象レイヤの対象ピクチャcurPic）の最右下画素間の垂直方向（y方向）のオフセットを表わす。同図上のΔLは、オフセットOffsetLとOffsetL’との差を表わし、ΔTは、オフセットOffsetTとOffsetT’の差を表わし、ΔRは、オフセットOffsetRとOffsetR’との差を表わし、ΔBは、オフセットOffsetBとOffsetB’との差を表わす。
【０１５６】
active_diff_scaled_ref_layer_left_offset[k]は、参照レイヤ対応領域SRLAの最左上画素とアクティブ参照レイヤ対応領域SRLA’の最左上画素間の所定画素単位の水平方向(x方向)のオフセットである。
【０１５７】
active_diff_scaled_ref_layer_top_offset[k]は、参照レイヤ対応領域SRLAの最左上画素とアクティブ参照レイヤ対応領域SRLA’の最左上画素間の所定画素単位の垂直方向(y方向)のオフセットである。
【０１５８】
active_diff_scaled_ref_layer_left_offset[k]は、参照レイヤ対応領域SRLAの最右下画素とアクティブ参照レイヤ対応領域SRLA’の最右下画素間の所定画素単位の水平方向(x方向)のオフセットである。
【０１５９】
active_diff_scaled_ref_layer_bottom_offset[k]は、参照レイヤ対応領域SRLAの最右下画素とアクティブ参照レイヤ対応領域SRLA’の最右下画素間の所定画素単位の垂直方向(y方向)のオフセットである。
なお、上記４つのシンタックスがスライスヘッダSH上で明示的に含まれない場合は、各シンタックスの値はゼロと推定されるものとする。
【０１６０】
従って、参照レイヤiにおいて参照レイヤ対応領域情報が不要である場合、アクティブ参照レイヤ対応領域情報有無フラグを０とすることにより、各シンタックス（active_diff_scaled_ref_layer_left_offset[i]、active_diff_scaled_ref_layer_top_offset[i]、active_diff_scaled_ref_layer_right_offset[i]、active_diff_scaled_ref_layer_bottom_offset[i]）に係る符号量を削減することが可能である。
【０１６１】
なお、図８のSYNSH03では、アクティブ参照レイヤ数NumActiveRefLayerPics[curLayerId]が０より大きい場合、アクティブ参照レイヤ対応領域情報有無フラグを明示的に通知し、アクティブ参照レイヤ数NumActiveRefLayerPics[curLayerId]が０の場合、アクティブ参照レイヤ対応領域情報有無フラグはゼロであると推定される。図８のSYNSH03の代わりに、図３５（ａ）に示すSYNSH03Bの構成としてもよい。すなわち、NumActiveRefLayers[curLyaerId]が１より大きい場合、明示的にアクティブ参照レイヤ対応領域情報群有無フラグが通知され、NumActiveRefLayers[curLyaerId]が０の場合、アクティブ参照レイヤ対応領域情報群有無フラグは０であると推定し、NumActiveRefLayers[curLyaerId]が１の場合、アクティブ参照レイヤ対応領域情報有無フラグは１であると推定する。これによって、図８上のSYNSH03の例に比べて、アクティブ参照レイヤ数が１個の場合、アクティブ参照レイヤ対応領域情報群有無フラグを明示的に通知する必要がなくなり、アクティブ参照レイヤ対応領域情報群有無フラグに係る符号量を削減することが可能である。また、図３５(ｂ)に示すSYNSH03Bの構成としてもよい。この場合、アクティブ参照レイヤ対応領域情報群有無フラグは含まれず、明示的に、NumActiveRefLayers[curLayer]個のアクティブ参照レイヤ対応領域情報を通知する構成である。同様に、何個の参照レイヤ対応領域情報があるかを示すシンタックスnum_scaled_ref_layer_offsetsを通知する従来技術に比べて、アクティブ参照レイヤ対応領域情報に係る符号量を削減することが可能である。
【０１６２】
図９上のアクティブ参照レイヤ対応領域SRLA’の各オフセットOffsetL’、OffsetT’、OffsetR’、及びOffsetB’は、参照レイヤ対応領域SRLAの各オフセットOffsetL、OffsetT, OffsetR, OffsetBと、対象レイヤcurLayerIdとアクティブ参照レイヤRefPicLayerId[k]間のアクティブ参照レイヤ対応領域情報の各シンタックスactive_ scaled_ref_layer_offset_present_flag[k]、active_diff_scaled_ref_layer_left_offset[k]、active_diff_scaled_ref_layer_top_offset[k]、active_diff_scaled_ref_layer_right_offset[k]、active_scaled_ref_layer_bottom_offset[k]を用いて、例えば、以下の式(G-1B)〜(G-4B)により導出される。
【０１６３】
OffsetL’ = OffsetL + active_diff_scaled_ref_layer_left_offset[k]  << sample_unit_bit; (G-1B)
OffsetT’ = OffsetT + active_diff_scaled_ref_layer_top_offset[k]  << sample_unit_bit;    (G-2B)
OffsetR’ = OffsetR + active_diff_scaled_ref_layer_right_offset[k]  << sample_unit_bit;  (G-3B)
OffsetB’ = OffsetB + active_diff_scaled_ref_layer_bottom_offset[k] << sample_unit_bit;  (G-4B)
逆に、各シンタックスactive_diff_scaled_ref_layer_left_offset[k]、active_diff_scaled_ref_layer_top_offset[k]、active_diff_scaled_ref_layer_right_offset[k]、active_scaled_ref_layer_bottom_offset[k]は、式(G-1B)〜(G-4B)の逆処理である式(I-1B)〜（I-4B）によって導出される。
【０１６４】
active_diff_scaled_ref_layer_left_offset[k] = (OffsetL’ - OffsetL) >> sample_unit_bit; (I-1B)
active_diff_scaled_ref_layer_top_offset[k] = (OffsetT’ - OffsetT) >> sample_unit_bit; (I-2B)
active_diff_scaled_ref_layer_right_offset[k] = (OffsetR’ - OffsetR) >> sample_unit_bit; (I-3B)
active_diff_scaled_ref_layer_bottom_offset[k] = (OffsetB’ - OffsetB) >> sample_unit_bit; (I-4B)
なお、active_ scaled_ref_layer_offset_present_flag[k]の値は、式(I-1B)〜(I-4B)で導出される各シンタックスの値が全て０である場合、値を０へ設定し、それ以外の場合は、１へ設定することで定まる。
【０１６５】
また、図９上のアクティブ参照レイヤ対応領域SRLA’の横幅SRLPW’と縦幅SRLPH’は、例えば、以下の式(G-5A)〜(G-6A)により導出される。
【０１６６】
SRLPW’ = PW - OffsetL’ - OffsetR’;                              (G-5A)
SRLPH’ = PH - OffsetT’ - OffsetB’;                              (G-6A)
また、図９上のアクティブ参照レイヤ対応領域SRLA’と参照レイヤピクチャrlPicの横幅のサイズ比ScaleFactorX、縦幅のサイズ比ScaleFactorYは、前述の式(G-7)〜(G-8)において、SRLPWをSRLPW’、SRLPHをSRLPH’へ置き換えることで導出される。
【０１６７】
以上、アクティブ参照レイヤ対応領域のサイズを明示的に通知する図７のSYNA05のデータ構造に比べて、アクティブ参照レイヤ対応領域情報を、SPSで通知した参照レイヤ対応領域情報に対する差分情報として通知することにより、アクティブ参照レイヤ対応領域のサイズを通知するのに必要な符号量を削減する効果がある。以降、特に断りがなければ、参照レイヤ対応領域SRLA、およびアクティブ参照レイヤ領域SRLA’を区別せずに、単に参照レイヤ対応領域SRLAと呼ぶ。なお、アクティブ参照レイヤ対応領域情報（ピクチャ単位の参照レイヤ対応領域）は、各ピクチャの先頭のスライスで一度通知すればよい。それによって、各ピクチャを構成するスライス単位で通知する場合に比べて、アクティブ参照レイヤ対応領域情報を通知するのに必要な符号量を削減する効果がある。
【０１６８】
また、スライスタイプがＰスライスまたはＢスライスである時に、後述するテンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag，collocated_ref_idx, alt_collocated_indication_flag, collocated_ref_layer_idexが含まれる。
【０１６９】
なお、スライスヘッダSHは、上記シーケンスレイヤに含まれる、ピクチャパラメータ
セットPPSへの参照を示すＰＰＳ識別子（pic_parameter_set_id）を含んでいても良い。
また、スライスヘッダSH等のパラメータセットでは、対象レイヤの空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティ、ビュースケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、quality_id、および、view_id）が符号化されていてもよい。
【０１７０】
（スライスデータレイヤ）
スライスデータレイヤでは、処理対象のスライスデータSDATAを復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスデータSDATAは、図２の（ｄ）に示すように、符号化ツリーユニット（CTU: Coding Tree Unit）を含んでいる。符号化ツリーユニットCTUは、スライスを構成する固定サイズ（例えば画素数６４×６４）の画像領域である。なお、符号化ツリーユニットCTUに対応する画像ブロックを、符号化ツリーブロック（CTB: Coding Tree Block）と称する。
【０１７１】
（符号化ツリーレイヤ）
符号化ツリーレイヤは、図２の（ｅ）に示すように、処理対象の符号化ツリーユニットを復号するために階層動画像復号装置１が参照するデータの集合が規定されている。符号化ツリーユニットは、再帰的な４分木分割により分割される。再帰的な４分木分割により得られる木構造のことを符号化ツリー（coding tree）と称する。符号化ツリーユニットCTUは、分割フラグ（split_flag）を含み、split_flagが１の場合には、符号化ツリーユニットCTUはさらに４つのCTUに分割される。split_flagが０の場合には、符号化ツリーユニットCTUは４つの符号化ユニット（CU: Coding Unit）に分割される。符号化ユニットCUは符号化ツリーレイヤの末端ノードであり、このレイヤではこれ以上分割されない。符号化ユニットCUは、符号化／復号処理の基本的な単位となる。
【０１７２】
符号化ユニットCUのサイズは、符号化ツリーユニットCTUのサイズが６４×６４画素の場合には、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。なお、符号化ユニットCUに対応する画像ブロックを、符号化ブロック（CB: Coding Block）と称する。
【０１７３】
（符号化ユニットレイヤ）
符号化ユニットレイヤは、図２の（ｆ）に示すように、処理対象の符号化ユニットを復号するために階層動画像復号装置１が参照するデータの集合が規定されている。具体的には、符号化ユニットは、ＣＵヘッダCUH、１つ以上の予測ユニット（PU: Prediction Unit）で構成される予測ツリー、１つ以上の変換ユニット（TU: Transform Unit）で構成される変換ツリーを含んで構成される。
【０１７４】
ＣＵヘッダCUHでは、符号化ユニットが、イントラ予測を用いるユニットであるか、インター予測を用いるユニットであるかを示す予測タイプ情報PTypeなどが規定される。
【０１７５】
予測ツリーでは、符号化ユニットCUが１または複数の予測ユニットPUに分割され、各予測ユニットの位置とサイズとが規定される。予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。イントラ予測とは、同一ピクチャ内の予測であり、インター予測とは、互いに異なるピクチャ間（例えば、表示時刻間、レイヤ画像間）で行われる予測処理を指す。
【０１７６】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）と、Ｎ×Ｎとがある。
【０１７７】
インター予測の場合、分割方法は、ＣＵヘッダCUHに含まれる分割モード（part_mode）により規定され、対象ＣＵのサイズを２Ｎ×２Ｎとすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ（符号化ユニットと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、およびＮ×Ｎの４つの対称的分割（symmetric splitting）、並びに、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎの４つの非対称的分割（asymmetric splitting）がある。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる予測単位のことを予測ブロック、または、パーティションと称する。分割数は１、２、４のいずれかであるため、ＣＵに含まれるＰＵは１個から４個である。これらのＰＵを順にＰＵ０、ＰＵ１、ＰＵ２、ＰＵ３と表現する。
【０１７８】
また、変換ツリーにおいては、符号化ユニットCUが１または複数の変換ユニットTUに分割され、各変換ユニットの位置とサイズとが規定される。変換ツリーにおける分割には、符号化ユニットと同一のサイズの領域を変換ユニットとして割り付けるものと、上述した符号化ツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
【０１７９】
なお、予測ユニットPU、変換ユニットTUに対応する画像ブロックを、それぞれ予測ブロック（PB: Prediction Block）、変換ブロック（TB: Transform Block）と称する。
【０１８０】
（予測パラメータ）
予測ユニットの予測画像は、予測ユニットに付随する予測パラメータによって導出される。予測パラメータには、イントラ予測の予測パラメータもしくはインター予測の予測パラメータがある。以下、インター予測の予測パラメータ（インター予測パラメータ）について説明する。インター予測パラメータは、予測リスト利用フラグpredFlagL0、predFlagL1と、参照ピクチャインデックスrefIdxL0、refIdxL1と、ベクトルmvL0、mvL1から構成される。予測リスト利用フラグpredFlagL0、predFlagL1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストが用いられるか否かを示すフラグであり、値が１の場合に、各フラグに対応する参照ピクチャリストが用いられる。なお、本明細書中「ＸＸであるか否かを示すフラグ」と記す場合、値が１である時はＸＸである場合、値が０である時はＸＸではない場合とし、論理否定、論理積などでは１を真、０を偽と扱う（以下同様）。但し、実際の装置や方法では真値、偽値として他の値を用いることもできる。２つの参照ピクチャリストが用いられる場合、つまり、predFlagL0=1，predFlagL1=1の場合、その予測方法を双予測といい、１つの参照ピクチャリストを用いる場合、すなわち（predFlagL0，predFlagL1）＝（1,0）もしくは（predFlagL0，predFlagL1）＝（0,1）の場合、その予測方法を単予測という。なお、予測リスト利用フラグの情報は、後述のインター予測識別子inter_pred_idcで表現することもできる。
【０１８１】
符号化データに含まれるインター予測パラメータを導出するためのシンタックス要素には、例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。
【０１８２】
また、予測パラメータとして、イントラ予測とインター予測と区別して、レイヤ間画像予測を指定する情報が含まれていてもよい。例えば、レイヤ間画像予測の適用有無を指定するフラグ（レイヤ間画像予測フラグ）を含む。なお、レイヤ間画像予測フラグは、texture_rl_flaと呼ばれることもある。
【０１８３】
また、階層符号化データにおいて、拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。下位レイヤが、例えば、MPEG-2や、H.264/AVC方式によって符号化されていてもよい。
【０１８４】
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略できる。
【０１８５】
（参照ピクチャリストの一例）
次に、参照ピクチャリストの一例について説明する。参照ピクチャリストとは、後述する参照ピクチャメモリ３０６（図１３）に記憶された参照ピクチャからなる列である。図１０（ａ）は、参照ピクチャリストの一例を示す概念図である。参照ピクチャリスト６０１において、左右に一列に配列された５個の矩形は、それぞれ参照ピクチャを示す。左端から右へ順に示されている符号Ｐ０、Ｐ１、Ｑ２、Ｐ３、Ｐ４は、それぞれの参照ピクチャを示す符号である。Ｐ１等のＰとは、レイヤＰを示し、そしてＱ２のＱとは、レイヤＰとは異なるレイヤＱを示す。Ｐ及びＱの添字は、ピクチャ順序番号POC（Picture Order Count）を示す。refIdxLXの真下の下向きの矢印は、参照ピクチャインデックスrefIdxLXが、参照ピクチャメモリ３０６において参照ピクチャＱ２を参照するインデックスであることを示す。
【０１８６】
（参照ピクチャの例）
次に、ベクトルを導出する際に用いる参照ピクチャの例について説明する。図１１は、参照ピクチャの例を示す概念図である。図１１において、横軸は表示時刻を示し、縦軸はレイヤ数を示す。図示されている、縦２行、横３列（計６個）の長方形は、それぞれピクチャを示す。６個の長方形のうち、下行の左から２列目の長方形は復号対象のピクチャ（対象ピクチャ）を示し、残りの５個の長方形がそれぞれ参照ピクチャを示す。対象ピクチャから下向きの矢印で示される参照ピクチャＱ２は対象ピクチャと同じ表示時刻であってレイヤが異なるピクチャである。対象ピクチャcurPic(P2)を基準とするレイヤ間予測においては、参照ピクチャＱ２が用いられる。対象ピクチャから左向きの矢印で示される参照ピクチャＰ１は、対象ピクチャと同じレイヤであって、過去のピクチャである。対象ピクチャから右向きの矢印で示される参照ピクチャＰ３は、対象ピクチャと同じレイヤであって、未来のピクチャである。対象ピクチャを基準とする動き予測においては、参照ピクチャＰ１又はＰ３が用いられる。
【０１８７】
（インター予測フラグと予測リスト利用フラグ）
インター予測識別子と、予測リスト利用フラグpredFlagL0、predFlagL1の関係は以下のように相互に変換可能である。そのため、インター予測パラメータとしては、予測リスト利用フラグを用いても良いし、インター予測識別子を用いてもよい。また、以下、予測リスト利用フラグを用いた判定は、インター予測識別子に置き替えても可能である。逆に、インター予測識別子inter_pred_idcを用いた判定は、予測リスト利用フラグに置き替えても可能である。
【０１８８】
inter_pred_idc＝（predFlagL1 << 1）+ predFlagL0;
predFlagL0 ＝ inter_pred_idc & 1;
predFlagL1 ＝ inter_pred_idc >> 1;
ここで、>>は右シフト、<<は左シフトである。
【０１８９】
（マージ予測とＡＭＶＰ予測）
予測パラメータの復号（符号化）方法には、マージ予測（merge）モードとAMVP（Adaptive Motion Vector Prediction、適応動きベクトル予測）モードがある。マージフラグmerge_flagは、これらを識別するためのフラグである。マージ予測モードでも、AMVPモードでも、既に処理済みのブロックの予測パラメータを用いて、対象PUの予測パラメータが導出される。マージ予測モードは、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めずに、既に導出した予測パラメータをそのまま用いるモードであり、AMVPモードは、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルmvLXを符号化データに含めるモードである。なおベクトルmvLXは、予測ベクトルを示す予測ベクトルインデックス（mvp_LX_idx）と差分ベクトル（mvdLX）として符号化される。
【０１９０】
インター予測識別子inter_pred_idcは、参照ピクチャの種類および数を示すデータであり、Pred_L0、Pred_L1、Pred_Biの何れかの値をとる。Pred_L0、Pred_L1は、各々Ｌ０リスト、Ｌ１リストと呼ばれる参照ピクチャリストに記憶された参照ピクチャが用いられることを示し、共に１枚の参照ピクチャを用いること（単予測）を示す。Ｌ０リスト、Ｌ１リストを用いた予測を各々Ｌ０予測、Ｌ１予測と呼ぶ。Pred_Biは２枚の参照ピクチャを用いること（双予測）を示し、Ｌ０リストとＬ１リストに記憶された参照ピクチャ２つを用いることを示す。予測ベクトルインデックスmvp_LX_idxは予測ベクトルを示すインデックスであり、参照ピクチャインデックスrefIdxLXは、参照ピクチャリストに記憶された参照ピクチャを示すインデックスである。なお、ＬＸは、Ｌ０予測とＬ１予測を区別しない場合に用いられる記述方法であり、ＬＸをＬ０、Ｌ１に置き換えることでＬ０リストに対するパラメータとＬ１リストに対するパラメータを区別する。例えば、refIdxL0はＬ０予測に用いる参照ピクチャインデックス、refIdxL1はＬ１予測に用いる参照ピクチャインデックス、refIdx（またはrefIdxLX）は、refIdxL0とrefIdxL1を区別しない場合に用いられる表記である。
【０１９１】
マージインデックスmerge_idxは、処理が完了したブロックから導出される予測パラメータ候補（マージ候補）のうち、いずれの予測パラメータを復号対象ブロックの予測パラメータとして用いるかを示すインデックスである。
【０１９２】
（動きベクトルと変位ベクトル）
ベクトルmvLXには、動きベクトルと変位ベクトルがある。動きベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、異なる表示時刻（例えば、隣接する離散時刻）における同一レイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。変位ベクトルとは、あるレイヤのある表示時刻でのピクチャにおけるブロックの位置と、同一の表示時刻における異なるレイヤのピクチャにおける対応するブロックの位置との間の位置のずれを示すベクトルである。異なるレイヤのピクチャとしては、異なる解像度のピクチャである場合（空間スケーラビリティ）、異なる品質のピクチャである場合（ＳＮＲスケーラビリティ）、もしくは、異なる視点のピクチャである場合（ビュースケーラビリティ）などがある。以降の説明では、動きベクトルと変位ベクトルを区別しない場合には、単にベクトルmvLXと呼ぶ。ベクトルmvLXに関する予測ベクトル、差分ベクトルを、それぞれ予測ベクトルmvpLX、差分ベクトルmvdLXと呼ぶ。ベクトルmvLXおよび差分ベクトルmvdLXが、動きベクトルであるか変位ベクトルであるかは、ベクトルに付随する参照ピクチャインデックスrefIdxLXを用いて区別される。
【０１９３】
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１２〜図２２を参照して説明する。
【０１９４】
（階層動画像復号装置の構成）
図１２を用いて、階層動画像復号装置１の概略的構成を説明すると次のとおりである。図１２は、階層動画像復号装置１の概略的構成を示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。なお、以下では、対象レイヤは拡張レイヤであるとして説明する。そのため、対象レイヤは、参照レイヤに対する上位レイヤでもある。逆に、参照レイヤは、対象レイヤに対する下位レイヤでもある。
【０１９５】
図１２に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、対象レイヤピクチャ復号部１２、および、参照レイヤピクチャ復号部１３を備える。
【０１９６】
ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。
【０１９７】
ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
【０１９８】
ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、H.264/AVCおよびHEVCのファイルフォーマットや、MPEG-2システムに対応する。
【０１９９】
なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニット格納されることでＮＡＬ多重化されて階層動画像復号装置１に伝送される。
【０２００】
ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを対象レイヤピクチャ復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照レイヤピクチャ復号部１３に供給する。
【０２０１】
対象レイヤピクチャ復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔと参照レイヤ復号ピクチャから対象レイヤ復号ピクチャを復号する。なお、対象レイヤピクチャ復号部１２の詳細は後述する。
【０２０２】
参照レイヤピクチャ復号部１３は、参照レイヤ符号化データＤＡＴＡ＃Ｒから参照レイヤ復号ピクチャを復号する。参照レイヤ復号ピクチャは、対象レイヤの復号ピクチャ復号時に利用される参照レイヤの復号ピクチャである。参照レイヤピクチャ復号部１３は、復号した参照レイヤ復号ピクチャを対象レイヤピクチャ復号部１２に供給する。なお、参照レイヤピクチャ復号部１３は、対象レイヤピクチャ復号部１２と同等の機能を有するため、詳細な説明は省略する。
【０２０３】
以下では、対象レイヤピクチャ復号部１２の詳細を説明する。
【０２０４】
（対象レイヤピクチャ復号部１２（画像復号装置））
図１３を用いて、対象レイヤピクチャ復号部１２の詳細構成について説明する。図１３は、対象レイヤピクチャ復号部１２の構成を例示した機能ブロック図である。対象レイヤピクチャ復号部１２は、可変長復号部３０１、予測パラメータ復号部３０２、参照ピクチャメモリ（参照ピクチャ記憶部、フレームメモリ）３０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）３０７、予測画像生成部３０８、逆量子化・逆ＤＣＴ部３１１、加算部３１２及びリサンプリング部３１４を含んで構成される。なお、対象レイヤが基本レイヤである場合、リサンプリング部３１４は不要である。
【０２０５】
また、予測パラメータ復号部３０２は、インター予測パラメータ復号部３０３、イントラ予測パラメータ復号部３０４、及び図示しないレイヤ間情報導出部３２０を含んで構成される。予測画像生成部３０８は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０を含んで構成される。リサンプリング部３１４は、レイヤ間画像マッピング部３１５およびレイヤ間動きマッピング部３１６およびを含んで構成される。
【０２０６】
可変長復号部３０１は、外部から入力された対象レイヤ符号化データDATA#Tに対して可変長復号を行って、個々の符号（シンタックス要素）を分離し復号する。分離された符号には、予測画像を生成するための予測情報および、差分画像を生成するための残差情報などがある。
【０２０７】
可変長復号部３０１は、分離した符号の一部を予測パラメータ復号部３０２に出力する。分離した符号の一部とは、例えば、予測モードpredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、レイヤ数vps_max_layers_minus1（図３上のSYNVPS01）、レイヤ識別子指定情報(図３上のSYNVPS02)、参照レイヤ指定情報(図３上のSYNVPS04)、レイヤ従属タイプ情報(図３上のSYNVPS05)、参照レイヤ対応領域情報(図５上のSYNSPS02)、レイヤ間画像予測制約フラグ(図５上のSYNSPS03)、アクティブ参照レイヤ指定情報(図７上のSYNSH01)、アクティブ参照レイヤ対応領域情報(図７上のSYNSH02)、コロケート情報collocated_from_l0_flag，collocated_ref_idx, alt_collocated_indication_flag, collocated_ref_layer_idexなどである。どの符号を復号するか否かの制御は、予測パラメータ復号部３０２の指示に基づいて行われる。可変長復号部３０１は、量子化係数を逆量子化・逆ＤＣＴ部３１１に出力する。この量子化係数は、符号化処理において、残差信号に対してＤＣＴ（Discrete Cosine Transform、離散コサイン変換）を行い量子化して得られる係数である。
【０２０８】
予測パラメータ復号部３０２は、可変長復号部３０１から入力された符号に基づいて、インター予測パラメータまたはイントラ予測パラメータを復号する。そして、復号された予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。予測パラメータ復号部３０２は、また、テンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag、collocated_ref_idx, alt_collocated_indication_flag, collocated_ref_layer_idexを抽出し、予測パラメータメモリ３０７に記憶する。
【０２０９】
インター予測パラメータ復号部３０３は、予測パラメータメモリ３０７に記憶された予測パラメータを参照してインター予測パラメータを出力する。インター予測パラメータ復号部３０３の詳細については後述する。
【０２１０】
イントラ予測パラメータ復号部３０４は、可変長復号部３０１から入力された符号に基づいて、予測パラメータメモリ３０７に記憶された予測パラメータを参照してイントラ予測パラメータを復号する。イントラ予測パラメータとは、ピクチャブロックを１つのピクチャ内で予測する処理で用いるパラメータ、例えば、イントラ予測モードIntraPredModeである。イントラ予測パラメータ復号部３０４は、復号したイントラ予測パラメータを予測画像生成部３０８に出力し、また予測パラメータメモリ３０７に記憶する。
【０２１１】
レイヤ間情報導出部３２０は、復号された参照レイヤ対応領域情報に基づいて、対象レイヤiが参照する参照レイヤｊに関するレイヤ間対応関係パラメータとして、リサンプル参照レイヤピクチャrsPic上における参照レイヤ対応領域SRLAの位置を示すオフセットOffsetL、OffsetT、OffsetR、OffsetBを前述の式（G-1）〜(G-4)を用いて導出し、参照レイヤ対応領域SRLAの横幅SRLPWおよび縦幅SRLPHを前述の式（G-5）〜(G-6)を用いて導出する。
【０２１２】
続いて、対象レイヤiが参照する参照レイヤｊに対応するアクティブ参照レイヤ対応領域情報があれば、その情報を用いて参照レイヤ対応領域SRLAの位置を示すオフセットOffsetL、OffsetT、OffsetR、OffsetB、および参照レイヤ対応領域SRLAの横幅SRLPWと縦幅SRLPHを再設定する。
【０２１３】
（図７のSYNSH02を用いる場合）
アクティブ参照レイヤ対応領域情報として、図７のSYNSH02を用いる場合は、オフセットOffsetL, OffsetT, OffsetR, およびOffsetBを前述の式(G-1A)〜(G-4A)により導出し、参照レイヤ対応領域SRLAの横幅SRLPW、及び縦幅SRLPHを前述の式(G-5)〜(G-6)により導出する。
【０２１４】
（図８のSYNSH03を用いる場合）
また、アクティブ参照レイヤ対応領域情報として、図８のSYNSH03を用いる場合は、導出済のオフセットOffsetL, OffsetT, OffsetR, およびOffsetBに対して、それぞれ差分値ΔL、ΔT、ΔR、ΔB(図９)を加算し、オフセットOffsetL’, OffsetT’, OffsetR’, OffsetB’を導出する(前述の式(G-1B)〜(G-4B)が対応)。その後、
アクティブ参照レイヤ対応領域SRLA’の横幅SRLPW’、及び縦幅SRLPH’を前述の式(G-5A)〜(G-6A)により導出する。
【０２１５】
続いて、参照レイヤ対応領域SRLAと参照レイヤピクチャrlPicの横幅のサイズ比ScaleFactorXと縦幅のサイズ比ScaleFactorYを前述の式(G-7)〜(G-8)を用いて導出する。
【０２１６】
レイヤ間情報導出部３０２０にて導出されたレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY等）は予測パラメータメモリ３０７で記憶される。
【０２１７】
参照ピクチャメモリ３０６は、後述する加算部３１２が生成した参照ピクチャのブロック（参照ピクチャブロック）を、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
【０２１８】
予測パラメータメモリ３０７は、予測パラメータを、復号対象のピクチャ及びブロック毎に予め定めた位置に記憶する。具体的には、予測パラメータメモリ３０７は、インター予測パラメータ復号部３０３が復号したインター予測パラメータ、イントラ予測パラメータ復号部３０４が復号したイントラ予測パラメータ及び可変長復号部３０１が分離した予測モードpredModeを記憶する。記憶されるインター予測パラメータには、例えば、予測リスト利用フラグpredFlagLX（インター予測識別子inter_pred_idc）、参照ピクチャインデックスrefIdxLX、ベクトルmvLXがある。
【０２１９】
予測画像生成部３０８には、可変長復号部３０１から入力された予測モードpredModeが入力され、また予測パラメータ復号部３０２から予測パラメータが入力される。また、予測画像生成部３０８は、参照ピクチャメモリ３０６から参照ピクチャを読み出す。予測画像生成部３０８は、予測モードpredModeが示す予測モードに応じて、入力された予測パラメータと読み出した参照ピクチャを用いて予測ピクチャブロックＰ（予測画像）を生成する。
【０２２０】
ここで、予測モードpredModeがインター予測モードを示す場合、インター予測画像生成部３０９は、インター予測パラメータ復号部３０３から入力されたインター予測パラメータと読み出した参照ピクチャを用いてインター予測により予測ピクチャブロックＰを生成する。予測ピクチャブロックＰはＰＵに対応する。ＰＵは、上述したように予測処理を行う単位となる複数の画素からなるピクチャの一部分、つまり１度に予測処理が行われる復号対象ブロックに相当する。
【０２２１】
インター予測画像生成部３０９は、予測リスト利用フラグpredFlagLXが１である参照ピクチャリスト（Ｌ０リスト、もしくはＬ１リスト）に対し、参照ピクチャインデックスrefIdxLXで示される参照ピクチャから、復号対象ブロックを基準としてベクトルmvLXが示す位置にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。インター予測画像生成部３０９は、読み出した参照ピクチャブロックについて予測を行って予測ピクチャブロックＰを生成する。インター予測画像生成部３０９は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
【０２２２】
予測モードpredModeがイントラ予測モードを示す場合、イントラ予測画像生成部３１０は、イントラ予測パラメータ復号部３０４から入力されたイントラ予測パラメータと読み出した参照ピクチャを用いてイントラ予測を行う。具体的には、イントラ予測画像生成部３１０は、復号対象のピクチャであって、既に復号されたブロックのうち復号対象ブロックから予め定めた範囲にある参照ピクチャブロックを参照ピクチャメモリ３０６から読み出す。予め定めた範囲とは、復号対象ブロックがいわゆるラスタースキャンの順序で順次移動する場合、例えば、左、左上、上、右上の隣接ブロックのうちのいずれかであり、イントラ予測モードによって異なる。ラスタースキャンの順序とは、各ピクチャにおいて、上端から下端まで各行について、順次左端から右端まで移動させる順序である。
【０２２３】
イントラ予測画像生成部３１０は、読み出した参照ピクチャブロックについてイントラ予測モードIntraPredModeが示す予測モードで予測を行って予測ピクチャブロックを生成する。イントラ予測画像生成部３１０は、生成した予測ピクチャブロックＰを加算部３１２に出力する。
【０２２４】
逆量子化・逆ＤＣＴ部３１１は、可変長復号部３０１から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部３１１は、求めたＤＣＴ係数について逆ＤＣＴ（Inverse Discrete Cosine Transform、逆離散コサイン変換）を行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部３１１は、算出した復号残差信号を加算部３１２に出力する。
【０２２５】
加算部３１２は、インター予測画像生成部３０９及びイントラ予測画像生成部３１０から入力された予測ピクチャブロックＰと逆量子化・逆ＤＣＴ部３１１から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部３１２は、生成した参照ピクチャブロックを参照ピクチャメモリ３０６に記憶し、生成した参照ピクチャブロックをピクチャ毎に統合した対象レイヤ復号ピクチャPOUT#Tを外部に出力する。
【０２２６】
リサンプリング部３１４は、予測パラメータメモリ３０７に記録された参照レイヤ対応領域情報、レイヤ間画像予測制約フラグ、およびアクティブ参照レイヤ対応領域情報と、参照レイヤピクチャ復号部１５で復号された参照レイヤ復号ピクチャ（参照レイヤピクチャrlPicと呼ぶ）の動き情報rlPicMotion、及び画像rlPicSampleを用いて、リサンプル参照レイヤピクチャrsPicのリサンプル動き情報rsPicMotion及びリサンプル画像rsPicSampleをそれぞれレイヤ間動きマッピング部３１６、レイヤ間画像マッピング部３１５において生成する。生成されたリサンプル動き情報rsPicMotionは、予測パラメータメモリ３０７に格納される。また、生成されたリサンプル画像rsPicSampleは参照ピクチャメモリ３０６に格納される。なお、レイヤ間画像マッピング部３１５、およびレイヤ間動きマッピング部３１６の詳細は後述する。
【０２２７】
（インター予測パラメータ復号部の構成）
次に、インター予測パラメータ復号部３０３の構成について説明する。図１４_は、本実施形態に係るインター予測パラメータ復号部３０３の構成を示す概略図である。インター予測パラメータ復号部３０３は、インター予測パラメータ復号制御部３０３１、ＡＭＶＰ予測パラメータ導出部３０３２、加算部３０３５、およびマージ予測パラメータ導出部３０３６を含んで構成される。
【０２２８】
インター予測パラメータ復号制御部３０３１は、インター予測に関連する符号（シンタックス要素の復号を可変長復号部３０１に指示し、符号化データに含まれる符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを抽出する。
【０２２９】
インター予測パラメータ復号制御部３０３１は、まず、マージフラグmerge_flagを抽出する。ここ以降、インター予測パラメータ復号制御部３０３１があるシンタックス要素を抽出すると表現する場合は、あるシンタックス要素の復号を可変長復号部３０１に指示し、該当のシンタックス要素を符号化データから読み出すことを意味する。ここで、マージフラグが示す値が１、すなわち、マージ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、マージ予測に係る予測パラメータとして、マージインデックスmerge_idxを抽出する。インター予測パラメータ復号制御部３０３１は、抽出したマージインデックスmerge_idxをマージ予測パラメータ導出部３０３６に出力する。
【０２３０】
マージフラグmerge_flagが０、すなわち、ＡＭＶＰ予測モードを示す場合、インター予測パラメータ復号制御部３０３１は、ＡＭＶＰ予測パラメータを抽出する。ＡＭＶＰ予測パラメータとして、例えば、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXがある。インター予測パラメータ復号制御部３０３１は、抽出したインター予測識別子inter_pred_idcから導出した予測リスト利用フラグpredFlagLXと、参照ピクチャインデックスrefIdxLXをＡＭＶＰ予測パラメータ導出部３０３２及び予測画像生成部３０８（図１３）に出力し、また予測パラメータメモリ３０７（図１３）に記憶する。インター予測パラメータ復号制御部３０３１は、抽出したベクトルインデックスmvp_LX_idxをＡＭＶＰ予測パラメータ導出部３０３２（動き情報導出部）に出力する。インター予測パラメータ復号制御部３０３１は、抽出した差分ベクトルmvdLXを加算部３０３５に出力する。
【０２３１】
図１５は、本実施形態に係るマージ予測パラメータ導出部３０３６（動き情報導出部）の構成を示す概略図である。マージ予測パラメータ導出部３０３６は、マージ候補導出部３０３６１とマージ候補選択部３０３６２を備える。マージ候補導出部３０３６１は、マージ候補格納部３０３６１１と、基本マージ候補導出部３０３６１３を含んで構成される。
【０２３２】
マージ候補格納部３０３６１１は、基本マージ候補導出部３０３６１３から入力されたマージ候補を格納する。なお、マージ候補は、予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLXを含んで構成されている。
【０２３３】
基本マージ候補導出部３０３６１３は、空間マージ候補導出部３０３６１３１と時間マージ候補導出部３０３６１３２と結合マージ候補導出部３０３６１３３とゼロマージ候補導出部３０３６１３４を含んで構成される。
【０２３４】
空間マージ候補導出部３０３６１３１は、所定の規則に従って、予測パラメータメモリ３０７が記憶している予測パラメータ（予測リスト利用フラグpredFlagLX、ベクトルmvLX、参照ピクチャインデックスrefIdxLX）を読み出し、読み出した予測パラメータをマージ候補として導出する。読み出される予測パラメータは、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係る予測パラメータである。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
【０２３５】
時間マージ候補導出部３０３６１３２は、復号対象ブロックが含まれるスライスのスライスヘッダ内の、テンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag, collocated_ref_idx, alt_collocated_indication_flag, collocated_ref_layer_idxにより指定される参照ピクチャcolPicの動き情報を予測パラメータメモリ３０７より参照し、時間マージ候補と呼ばれる動き情報を導出する。なお、alt_collocated_indication_flagの値が０の場合、collocated_from_l0_flag、collocated_ref_idxによって指定される同一レイヤ上の参照ピクチャcolPicの動き情報に基づいて、時間マージ候補の動き情報を導出する。一方、alt_collocated_indication_flagの値が１の場合、collocated_ref_layer_idxによって指定される参照レイヤピクチャrlPicの動き情報rlPicMotionをレイヤ間動きマッピング３１５によりリサンプルされたリサンプル動き情報rsPicMotionに基づいて、時間マージ候補の動き情報を導出する。
【０２３６】
復号対象ブロックの右下座標BRを含む参照ピクチャcolPic中のブロックの予測パラメータを予測パラメータメモリ３０７から読みだしマージ候補とする。参照ピクチャcolPic及び右下座標BRの導出方法は、時間ベクトル候補導出部３０３３２２の方法と同一であるので後述する。なお、時間マージ候補導出部３０３６１３２および時間ベクトル候補導出部３０３３２２で参照される動き情報をテンポラル動き情報と呼ぶ。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
【０２３７】
図１６に、復号対象ブロックＸに関して、空間マージ候補導出の際に予測パラメータを読み出す対象とするブロック（座標A0,A1,B0,B1,B2を含むブロック）の位置関係の例を示す。また、復号対象ブロックＸに関して、時間マージ候補導出の際に予測パラメータ（動き情報）を参照する対象とする参照ピクチャcolPic内のブロック（座標BRを含むブロック）の位置関係の例を示す。図中のブロックＹは、復号対象ブロックＸに対応する位置にある、参照ピクチャcolPic内のブロックである。なお、これらブロック位置の関係については、後述する空間ベクトル候補導出部３０３３２１においてベクトル候補を導出する際に予測パラメータを読み出す対象とするブロック位置および、時間ベクトル候補導出部３０３３２２においてベクトル候補を導出する際に予測パラメータ（動き情報）を参照する対象とするブロック位置も、それぞれ同様の関係がある。
【０２３８】
結合マージ候補導出部３０３６１３３は、既に導出されマージ候補格納部３０３６１１に格納された２つの異なる導出済マージ候補のベクトルと参照ピクチャインデックスを、それぞれＬ０、Ｌ１のベクトルとして組み合わせることで結合マージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
【０２３９】
ゼロマージ候補導出部３０３６１３４は、参照ピクチャインデックスrefIdxLXが０であり、ベクトルmvLXのＸ成分、Ｙ成分が共に０であるマージ候補を導出する。導出されたマージ候補はマージ候補格納部３０３６１１に格納される。
【０２４０】
マージ候補選択部３０３６２は、マージ候補格納部３０３６１１に格納されているマージ候補のうち、インター予測パラメータ復号制御部３０３１から入力されたマージインデックスmerge_idxに対応するインデックスが割り当てられたマージ候補を、対象ＰＵのインター予測パラメータとして選択する。マージ候補選択部３０３６２は選択したマージ候補を予測パラメータメモリ３０７（図１３）に記憶するとともに、予測画像生成部３０８（図１３）に出力する。
【０２４１】
図１７は、本実施形態に係るＡＭＶＰ予測パラメータ導出部３０３２の構成を示す概略図である。ＡＭＶＰ予測パラメータ導出部３０３２は、ベクトル候補導出部３０３３と予測ベクトル選択部３０３４を備える。
【０２４２】
ベクトル候補導出部３０３３は、参照ピクチャインデックスrefIdxに基づいて予測パラメータメモリ３０７（図１３）が記憶するベクトル（動きベクトル又は変位ベクトル）をベクトル候補mvpLXとして読み出し、所定の数のベクトル候補を導出してベクトル候補格納部３０３３１へ格納する。導出されるベクトルは、空間ベクトル候補導出部３０３３２１、時間ベクトル候補導出部３０３３２２、ゼロベクトル候補導出部３０３３２３により決定される。
【０２４３】
空間ベクトル候補導出部３０３３２１は、復号対象ブロックから予め定めた範囲内にあるブロック（例えば、復号対象ブロックの左下端、左上端、右上端にそれぞれ接するブロックの全部又は一部）のそれぞれに係るベクトルを予測パラメータメモリから読み出してベクトル候補とする。
【０２４４】
時間ベクトル候補導出部３０３３２２は、復号対象ブロックが含まれるスライスのスライスヘッダ内の、テンポラル動き情報を指定するためのコロケート情報collocated_from_l0_flag、collocated_ref_idx、alt_collocated_indication_flag、collocated_ref_layer_idxにより指定される参照ピクチャcolPicの動き情報を予測パラメータメモリ３０７より参照し、時間ベクトル候補と呼ばれる動き情報を導出する。復号対象ブロックの右下の座標を含む参照ピクチャ中のブロックに係るベクトルを予測パラメータメモリ３０７から読み出してベクトル候補とする。なお、alt_collocated_indication_flagの値が０の場合、collocated_from_l0_flag、collocated_ref_idxによって指定される同一レイヤ上の参照ピクチャcolPicの動き情報に基づいて、時間ベクトル候補の動き情報を導出する。一方、alt_collocated_indication_flagの値が１の場合、collocated_ref_layer_idxによって指定される参照レイヤピクチャrlPicの動き情報rlPicMotionをレイヤ間動きマッピング３１５によりリサンプルされたリサンプル動き情報rsPicMotionに基づいて、時間動きベクトル候補の動き情報を導出する。
【０２４５】
参照ピクチャcolPicと右下座標BRの導出方法を以下説明する。レイヤ間動き予測フラグalt_collocated_indication_flagが１に等しい時、対象ピクチャと同一アクセスユニット内にあるコロケート参照レイヤインデックスcollocated_ref_layer_idxが指定するアクティブ参照レイヤActiveMotionPredRefLayerId[collocated_ref_layer_idx]のリサンプル参照レイヤピクチャrsPicを、テンポラル動き情報の対象となる参照ピクチャcolPicとする。レイヤ間動き予測フラグalt_collocated_indication_flagが０に等しい場合は、次のように参照ピクチャcolPicを導出する。復号対象ブロックを含むスライスのスライスタイプがＢスライスの場合で、かつコロケート情報collocated_from_l0_flagが０に等しい時、参照ピクチャリストＬ１内で、テンポラルインデックスcollocated_ref_idxが指す位置の参照ピクチャ（＝RefPicList1[collocated_ref_idx]）を、テンポラル動き情報の対象となる参照ピクチャcolPicとする。一方、スライスタイプがＢスライスの場合でも上記の条件にあてはまらないか、またはスライスタイプがＰスライスの場合、参照ピクチャリストＬ０内で、インデックスcollocated_ref_idxが指す位置の参照ピクチャ（＝RefPicList0[collocated_ref_idx]）を、テンポラル動き情報の対象となる参照ピクチャcolPicとする。
【０２４６】
右下座標BRは、復号対象ブロックの座標が(xPb, yPb)、サイズが(nPbW, nPbH)である場合、ブロックの右下座標xColBr、yColBrを以下の式により導出する（図１６参照）。
【０２４７】
xColBr = xPb + nPbW
yColBr = yPb + nPbH
さらに、座標の水平成分、垂直成分がそれぞれ16の倍数となるように、以下の式により座標を生成する。
【０２４８】
xColBr´ = ( ( xColBr  >>  4 )  <<  4
yColBr´ = ( ( yColBr  >>  4 )  <<  4
この生成後の座標（xColBr´, yColBr´）を、テンポラル動き情報の参照位置を示す右下座標BRとする。
【０２４９】
ゼロベクトル候補導出部３０３３２３は、ベクトル候補として水平成分と垂直成分が共にゼロであるゼロベクトルを生成する。ゼロベクトルの生成は、前述の空間ベクトル候補導出部および時間ベクトル候補導出部によって導出されたベクトル候補の数が、前記所定の数に達しなかった場合にのみ実行する。例えば、空間ベクトル候補の対象となる範囲のブロックや時間ベクトル候補の対象となるブロックがイントラ予測符号化されている場合は、そのブロックに関する動きベクトルがないため、ベクトル候補として利用できないことになる。その結果として、ベクトル候補の数が所定の数に満たない場合に、ゼロベクトル候補導出部がゼロベクトルを生成し、ベクトル候補格納部へ出力する。ベクトル候補格納部３０３３１は、空間ベクトル候補導出部３０３３２１、時間ベクトル候補導出部３０３３２２、ゼロベクトル候補導出部３０３３２３から出力される候補ベクトルを、予測ベクトルリストに所定の数まで順番に格納する。ここで、ベクトル候補に関する前記所定の数は例えば２とし、ベクトル候補導出部３０３３は、前記所定の数に達するまで各ベクトル候補を導出し、以降の導出処理は省略してもよい。
【０２５０】
予測ベクトル選択部３０３４は、ベクトル候補導出部３０３３が読み出したベクトル候補のうち、インター予測パラメータ復号制御部３０３１から入力されたベクトルインデックスmvp_LX_idxが示すベクトル候補を予測ベクトルmvpLXとして選択する。予測ベクトル選択部３０３４は、選択した予測ベクトルmvpLXを加算部３０３５に出力する。
【０２５１】
候補ベクトルは、復号処理が完了したブロックであって、復号対象ブロックから予め定めた範囲のブロック（例えば、隣接ブロック）を参照し、参照したブロックに係るベクトルに基づいて生成される。なお、隣接ブロックには、対象ブロックに空間的に隣接するブロック、例えば、左ブロック、上ブロックの他、対象ブロックに時間的に隣接するブロック、例えば、対象ブロックと同じ位置で、表示時刻が異なるブロックから得られたブロックを含む。候補ベクトルに関しては、参照ブロックが、復号対象ブロックと空間的に隣接するブロックである場合と、時間的に隣接するブロックである場合とを区別するために、それぞれ空間動きベクトル、時間動きベクトル（またはテンポラル動きベクトル、テンポラル動き情報）と称することもある。
【０２５２】
加算部３０３５は、予測ベクトル選択部３０３４すなわちＡＭＶＰ予測パラメータ導出部３０３２から入力された予測ベクトルmvpLXとインター予測パラメータ復号制御部３０３１から入力された差分ベクトルmvdLXを加算してベクトルmvLXを算出する。加算部３０３５は、算出したベクトルmvLXを予測画像生成部３０８（図１３）に出力する。
【０２５３】
（レイヤ間画像マッピング部）
次に、レイヤ間画像マッピング部３１５の構成について説明する。レイヤ間画像マッピング部３１５は、リサンプル参照レイヤピクチャrsPicのリサンプル画像rsPicSampleを、参照レイヤピクチャrlPicの画像rlPicSampleからレイヤ間画像マッピングにより生成する。
【０２５４】
図１８に、レイヤ間画像マッピング部３１５の構成を示す。レイヤ間画像マッピング部３１５は、リサンプル参照レイヤピクチャrsPicの各画素に対応する、参照レイヤピクチャrlPicにおける参照画素の位置を導出する参照画素導出部３１５１と、導出された位置にある画素とその周辺画素にリサンプルフィルタを適用して、リサンプル画像を生成するリサンプル画像生成部３１５２とをさらに含んで構成される。
【０２５５】
レイヤ間画像マッピング部３１５は、リサンプル参照レイヤピクチャrsPic上のxP = 0…PW-1、yP  = 0…PH - 1)の範囲にある輝度、及びxPC = 0…PWC - 1, yPC = 0…PHC - 1)の範囲にある色差の各画素値を生成する。ここで、PWC、PHCは、それぞれ、リサンプル参照レイヤピクチャrsPicの色差における横幅、縦幅である。なお、レイヤ間画像予測制約フラグinter_pred_sample_constraint_flagが真の場合、参照レイヤ対応領域SRLA（輝度（xP = offsetL …PW - offsetR - 1, yP = offsetT…PH - offsetB - 1）, 色差（xPC = 0ffsetL/2 … PWC - offsetR/2 - 1, offsetT/2…PHC - offset/2 - 1）)の範囲にある画像のみレイヤ間画像予測で参照されるため、上記範囲のみのリサンプル画像を生成し、参照ピクチャメモリ３０８へ記憶してもよい。それにより、参照レイヤ対応領域外NSRLのリサンプル画像（輝度、色差）の生成の処理簡略化、及び保持するためのメモリ削減をすることが可能である。
【０２５６】
参照画素位置導出部３１５１は、レイヤ間情報導出部３０２０で導出されたレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY）を用いて、リサンプル参照レイヤピクチャrsPic上の各画素に対応する参照レイヤピクチャrlPic上の参照画素の位置を算出する。具体的には、対象画素のピクチャ内の座標が（xP, yP）であるとき、参照画素位置(xRef, yRef)と位相(xPhase, yPhase)を以下の手順で導出し、リサンプル画像生成部３１５２へ出力する。
（１）1/2^MP画素精度(MPは、0…nosf_bitまでの整数)の参照画素位置(xRefMP, yRefMP)を例えば、式(N-1)〜(N-2)により導出する。例えば、1/16画素精度であれば、MP=4となる。
【０２５７】
xRefMP = (((xP - offsetX ) * ScaleFactorX + 
( 1<< (nosf_bit - MP - 1) ) >> (nosf_bit - MP) );      (N-1)
yRefMP = (((yP - offsetY ) * ScaleFactorY + 
( 1<< (nosf_bit - MP - 1) ) >> (nosf_bit - MP) );      (N-2)
ここで、offsetX、offsetYは、輝度、色差によって値が異なる。輝度である場合は、offsetX = OffsetL、offsetY = offsetTとなる。色差である場合は、offsetX = OffsetL/2、offsetY = offsetT / 2となる。なお、1/2^MP画素精度の参照画素位置(xRefMP, yRefMP)の導出は、式(N-1)〜(N-2)に限定されない。例えば、輝度と色差のサンプル位置を考慮し、輝度の場合、式（N-1）〜(N-2)により、色差の場合、式(N-1A)〜(N-2A)、(N-1B)〜(N-2B)により導出してもよい。ここで、phaseX、phaseYは、輝度に対する色差のサンプル位置の位相差である。
【０２５８】
（色差の場合）
xRefMP = (((xP - offsetX ) * ScaleFactorX + iAddX )
>> (nosf_bit - MP) ) - (phaseX<<2);                 (N-1A)
iAddX = ((( RLPW * phaseX)<<( nosf_bit -2 )) + (SRLPW >> 1) ) / SRLPW +
+ (1<<( nosf_bit - 1));                             (N-1B);
yRefMP = (((yP - offset ) * ScaleFactorY + iAddY ) 
>> (nosf_bit - MP) ) - (phaseY<<2);                 (N-2A)
iAddY  = ((( RLPH * phaseY)<<( nosf_bit -2 )) + (SRLPH >> 1) ) / SRLPH
+ (1<<( nosf_bit - 1));                             (N-2B)
（２）導出した1/2^MP画素精度の参照画素位置(xRefMP, yRefMP)から、整数精度の参照画素位値(xRef, yRef)および位相(xPhase, yPhase)を式(N-3)〜(N-6)により導出する。
【０２５９】
xRef   = (xRefMP  >> MP);             (N-3)
xPhase = (xRefMP  % (1<<MP));         (N-4)
yRef   = (yRefMP  >> MP);             (N-5)
yPhase = (yRefMP  % (1<<MP));         (N-6)
リサンプル画像生成部３１５２は、導出された参照画素位置(xRef, yRef)及び位相(xPhase, yPhase)と所定のリサンプルフィルタを適用し、輝度及び色差のリサンプル画素intSampleを生成し、生成したリサンプル画像rsPicSampleを参照ピクチャメモリ３０８へ格納する。
【０２６０】
（輝度の場合）
まず、参照レイヤピクチャrlPic上の水平位置xPosRL(xPosRL = xRef - fs/2 +1 …xRef + fs /2)、垂直位置yPosRL (yPosRL = yRef-1…yRef + fs - 1 )の範囲(フィルタ領域)にある画素rlPicSampleLに対して、所定のリサンプルフィルタFL(例えば、図１９に示す8タップ、1/16画素精度のフィルタ)を適用し、画素tempArray[n] (n=0…fs - 1)を生成する(式(N-7))。ここで、式(N-7)は、水平方向にリサンプルフィルタを適用することを表わす。なお、fsはフィルタのタップ数を表わす。
【０２６１】
tempArray[n] = 
ΣFL[xPhase,i]*rlPicSampleL[Clip3(0, RLPW-1,xRef-fs/2 + 1 + i),yPosRL];   (N-7)
ここで、Clip3(a,b,X)は、Xに関して、X＜aの時はX=aとし、b＜Xの時はX=bとすることによって、a≦X≦bとなるようにXを制限する関数である。すなわち、上記式において、Clip3(0, RLPW-1,xRef-fs/2 + 1 + i)の部分は、リサンプルフィルタを適用する水平方向の参照画素位置(xRef - fs/2 + 1 + i)が、画面外の座標を示す場合は、画面端座標へ補正する操作を示す。また、iは0…fs-1の値をとる。また、yPosRLは、参照レイヤピクチャrlPicの画面外の座標を示す場合、以下の式(N-8)により画面端座標へ補正される。
【０２６２】
yPosRL = Clip3 (0, RLPH - 1, yRef + n - 1);      (N-8)
続いて、導出した画素tempArray[n](n=0…fs-1)に対して、所定のリサンプルフィルタFL(例えば、図１９に示す8タップ、1/16画素精度のフィルタ)を適用し、対象画素(xP,yP)の値rsPicSampleL[xP][yP]を導出する(式(N-9)〜(N-10))。ここで、式(N-9)は、垂直方向にリサンプルフィルタを適用することを表わす。
【０２６３】
intSample = ((ΣFL[yPhase,i]*tempArray[i]) + (1<<11) )>>12;     (N-9)
rsPicSampleL[xP][yP] = Clip3( 0, (1<<BitDepthY), intSample );   (N-10)
ここで、iは0…fs-1の値をとり、はBitDepthYは輝度のビット精度を表わす。
【０２６４】
（色差の場合）
まず、参照レイヤピクチャrlPic上の水平位置xPosRL(xPosRL = xRef - fs/2 + 1…xRef + fs/2)、垂直位置yPosRL (yPosRL = yRef- fs/2 + 1…yRef + fs/2 )の範囲(フィルタ領域)にある画素rlPicSampleCに対して、所定のリサンプルフィルタFC(例えば、図２０に示す4タップ、1/16画素精度のフィルタ)を適用し、画素tempArray[n] (n=0…fs-1)を生成する(式(N-11))。
【０２６５】
tempArray[n] = 
ΣFC[xPhase,i]*rlPicSampleC[Clip3(0, RLPWC-1,xRef- 1 + i),yPosRL];  (N-11)
ここで、iは0…fs-1の値をとる。また、yPosRLは、参照レイヤピクチャrlPicの画面外の座標を示す場合、以下の式(N-12)により画面端座標へ補正される。
【０２６６】
yPosRL = Clip3 (0, RLPHC - 1, yRef + n - 1);      (N-12)
ここで、RLPWC、RLPHCはそれぞれ、参照レイヤピクチャrlPicの色差の横幅、横幅である。
【０２６７】
続いて、導出した画素tempArray[n](n=0…fs-1)に対して、所定のリサンプルフィルタFC(例えば、図２０に示す4タップ、1/16画素精度のフィルタ)を適用し、対象画素(xP,yP)の値rsPicSampleC[xP][yP]を導出する(式(N-12)〜(N-13))。
【０２６８】
intSample = ((ΣFC[yPhase,i]*tempArray[i]) + (1<<11) )>>12;     (N-12)
rsPicSampleC[xP][yP] = Clip3( 0, (1<<BitDepthC), intSample );   (N-13)
ここで、iは0…fs-1の値をとり、BitDepthCは色差のビット精度を表わす。
【０２６９】
なお、レイヤ間画像マッピング部３１５は、下記方法の何れかによって、参照レイヤピクチャrlPicを特定し、レイヤ間対応関係パラメータに基づいて、レイヤ間画像マッピングを行う。
【０２７０】
（参照レイヤピクチャ特定方法１）スライスヘッダ上のアクティブ参照レイヤ指定情報(図７上のSYNSH01)により指定されるアクティブ参照レイヤをレイヤ間画像マッピングの対象とする参照レイヤピクチャrlPicとする。すなわち、レイヤ間予測有無フラグが真（１）の場合、アクティブ参照レイヤ数(num_inter_layer_ref_pic_minus1 + 1)個のアクティブ参照レイヤ（RefLayerId[curLayerId][inter_layer_pred_idc]）が、レイヤ間画像マッピングの対象となる。
【０２７１】
（参照レイヤピクチャ特定方法２）参照ピクチャリストに含まれる参照ピクチャのうち、参照ピクチャのレイヤIDが、復号対象画像のレイヤIDと異なる場合、その参照ピクチャをレイヤ間画像マッピングの対象とする参照レイヤピクチャとする。具体的にはRefPicList0[]、RefPicList1[]の参照ピクチャのレイヤIDを走査し、復号対象画像のレイヤIDと異なる参照ピクチャを特定する。
【０２７２】
以上のように、レイヤ間画像マッピング部３１５において、対象レイヤ（例えば拡張レイヤ）と参照レイヤ（例えばベースレイヤ）との間のレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY等）に基づいて、リサンプル参照レイヤピクチャrsPic上の各画素に対応する参照レイヤピクチャrlPic上の参照画素の位置を決定し、その参照画素と周辺画素に所定のリサンプルフィルタを適用することで、対象画素を生成することができる。これにより、レイヤ間画像予測で使用されるリサンプル画像の精度を向上させる効果を得ることができる。特に、ピクチャ単位で対象レイヤと参照レイヤの対応領域が変化するシーケンスに対しては、参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間画像マッピングを行う場合に比べて、アクティブ参照レイヤ対応領域情報（ピクチャ単位の参照レイヤ対応領域情報）により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間画像マッピングを行うことにより、レイヤ間画像予測で使用されるリサンプル画像の精度をより向上させる効果を奏する。それに伴いレイヤ間画像予測の予測精度も向上するため、符号化効率の向上を図ることが可能となる。
【０２７３】
（本発明におけるレイヤ間画像マッピングの動作）
本発明に係るレイヤ間画像マッピング部におけるリサンプル参照レイヤピクチャrsPic上の座標(xP, yP)に関するリサンプル画素の生成処理について、図２９を参照しながら、説明する。図２９は、本発明に係るレイヤ間画像マッピング部におけるリサンプル参照レイヤピクチャrsPic上の座標(xP, yP)に関するリサンプル画素の生成処理の動作を示すフロー図である。
【０２７４】
（ステップS802）参照画素位置導出部３１５１は、各座標(xP,yP)に対応する1/2^MP画素精度の参照画素位置(xRefMP, yRefMP)を前述の式(N-1)〜(N-2)により導出する。
【０２７５】
（ステップS803）参照画素位置導出部３１５１は、導出した1/2^MP画素精度の参照画素位置より、整数画素精度の参照画素位置(xRef, yRef)及び位相(xPhase, yPhase)を前述の式(N-3)〜(N-6)により導出する。
【０２７６】
（ステップS804）リサンプル画像生成部３１５２は、参照レイヤピクチャrlPic上の水平位置xPosRL(xPosRL = xRef - fs/2 +1 …xRef + fs /2)、垂直位置yPosRL (yPosRL = yRef-1…yRef + fs - 1 )の範囲(フィルタ領域)にある画素rlPicSampleX(X=L,C)に対して、所定のリサンプルフィルタを適用し、画素tempArray[n] (n=0…fs - 1)を生成する(式(N-7)、または、(N-12))。
【０２７７】
（ステップS805）リサンプル画像生成部３１５２は、導出した画素tempArray[n](n=0…fs-1)に対して、所定のリサンプルフィルタを適用し、対象画素(xP,yP)の値rsPicSampleX[xP][yP](X=L, C)を導出する(式(N-9)〜(N-10)、または(N-12)〜(N-13))。
【０２７８】
（従来技術におけるレイヤ間画像マッピング部の動作）
一方、従来技術におけるレイヤ間画像マッピング部におけるリサンプル参照レイヤピクチャrsPic上の座標(xP, yP)に関するリサンプル画素の生成処理について、図３０を参照しながら、説明する。図３０は、従来技術におけるレイヤ間画像マッピング部におけるリサンプル参照レイヤピクチャrsPic上の座標(xP, yP)に関するリサンプル画素の生成処理の動作を示すフロー図である。
【０２７９】
（ステップS801’）従来技術における参照画素位置導出部３１５１は、リサンプル参照レイヤピクチャrsPic上のxP = 0…PW-1、yP  = 0…PH - 1の範囲にある輝度、及びxPC = 0…PWC - 1, yPC = 0…PHC - 1の範囲にある色差の各画素を生成する際に、まず、座標（xP, yP）を参照レイヤ対応領域SRLA内に制限した座標(xP’,yP’)を式(N-20)〜(N-21)に基づいて導出する。すなわち、図３１(a)に示すように、リサンプル参照レイヤピクチャrsPic上の座標(xP, yP)が参照レイヤ対応領域SRLAより外側にある場合、座標(xP, yP)を最近接する参照レイヤ対応領域SRLAの境界画素の座標(xP’,yP’)へ置換する処理である。
【０２８０】
xP’ = Clip3 ( offsetL, PW - offsetR - 1, xP );       (N-20)
yP’ = Clip3 ( offsetT, PH - offsetB - 1, yP );       (N-21)
（ステップS802’） 従来技術における参照画素位置導出部３１５１は、導出した座標(xP’,yP’)に対応する1/2^MP画素精度の参照画素位置(xRefMP, yRefMP)を前述の式(N-1)〜(N-2)により導出する。
【０２８１】
（ステップS803）従来技術における参照画素位置導出部３１５１は、導出した1/2^MP画素精度の参照画素位置より、整数画素精度の参照画素位置(xRef, yRef)及び位相(xPhase, yPhase)を前述の式(N-3)〜(N-6)により導出する。
【０２８２】
（ステップS804）従来技術におけるリサンプル画像生成部３１５２は、参照レイヤピクチャrlPic上の水平位置xPosRL(xPosRL = xRef - fs/2 +1 …xRef + fs /2)、垂直位置yPosRL (yPosRL = yRef-1…yRef + fs - 1 )の範囲にある画素rlPicSampleX(X=L,C)に対して、所定のリサンプルフィルタを適用し、画素tempArray[n] (n=0…fs - 1)を生成する(式(N-7)、または、(N-12))。
【０２８３】
（ステップS805）従来技術におけるリサンプル画像生成部３１５２は、導出した画素tempArray[n](n=0…fs-1)に対して、所定のリサンプルフィルタを適用し、対象画素(xP,yP)の値rsPicSampleX[xP][yP](X=L, C)を導出する(式(N-9)〜(N-10)、又は(N-12)〜(N-13))。
【０２８４】
（本発明のレイヤ間画像マッピング部の効果）
以下、従来技術と本発明との差異を説明し、本発明のレイヤ間画像マッピング部の効果を説明する。従来技術と本発明との異なる点は、図３１(a)に示すように、リサンプル参照レイヤピクチャrsPic上の座標(xP, yP)が参照レイヤ対応領域SRLAより外側にある場合、座標(xP, yP)を最近接する参照レイヤ対応領域SRLAの境界画素の座標(xP’,yP’)へ置換する処理の有無である（図３０のステップS801’）。この結果、図３２(a)に示すように、従来技術におけるリサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域外NSRLAの画素(xP,yP)は、最近接する、参照レイヤ対応領域SRLA上の境界画素(xP’,yP’)の画素と同一となる。
【０２８５】
一方、本発明では、図３１(ｂ)に示すように、リサンプル参照レイヤピクチャrsPic上の座標(xP, yP)が参照レイヤ対応領域SRLAより外側にある場合、直接、参照レイヤピクチャrlPic上の参照画素位置(xRef, yRef)を導出する。従って、従来技術と比較して、参照画素位置の導出に係る導出処理を簡略化することが可能である。
【０２８６】
また、本発明では、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域外NSRLAの画素(xP,yP)は、最近接する、参照レイヤ対応領域SRLA上の境界画素(xP’,yP’)の画素と必ずしも同一とはならない。具体的には、図３２(b)において、参照レイヤ対応領域SRLAの境界より外側に、水平方向に幅ΔFX、高さΔFYの領域NSRLA’（図３２(b)上のNSRLA’）に関しては、滑らかに画素値が変化する領域となり、領域NSRLA’より外側の画素は、最近接する画素領域NSRLA’の境界画素と同一となる。ここで、ΔFX、ΔFYの大きさは、例えば、式(N-22)〜(N-24)に示すように、リサンプルフィルタのタップ数(フィルタサイズ)fsと、参照レイヤ対応領域SRLAの横幅SRLPW、縦幅SRLPHと参照レイヤピクチャrlPicの横幅RLPW、縦幅RLPHによって定まる。
【０２８７】
ΔFX = (fs * ScaleFactorXA + ( 1<< (nosf_bit - 1) ) >> (nosf_bit) );   (N-22)
ΔFY = (fs * ScaleFactorYA + ( 1<< (nosf_bit - 1) ) >> (nosf_bit) );   (N-23)
ScaleFactorXA = ( ( SRLPW << nosf_bit) + (RLPW>>1) )/ RLPW;            (N-24)
ScaleFactorYA = ( ( SRLPH << nosf_bit) + (RLPH>>1) )/ RLPH;            (N-24)
なお、ScaleFactorXAは、参照レイヤピクチャrlPicの横幅RLPWに対する参照レイヤ対応領域SRLAの横幅SRLPWのサイズ比であり、ScaleFactorYAは、同様にrsPicの縦幅に対するSRLAの縦幅SRLPHのサイズ比である。例えば、参照レイヤ対応領域SRLAのサイズを1920x1080(SRLPW=1920, SRLPH=1080)、参照レイヤピクチャrlPicのサイズを960x540(RLPW=960,RLPH=540)、フィルタサイズfs = 8、ビット精度nosf_bit = 16とすれば、それぞれ、下式のように、ΔFX=16、ΔFY=16と導出される。
【０２８８】
ΔFX = (8 * (((1920 << 16) + (960 >> 1)) / 960) + (1<< 15)) >> 16 = 16;
ΔFY = (8 * (((1080 << 16) + (540 >> 1)) / 540) + (1<< 15)) >> 16 = 16;
また、参照レイヤ対応領域SRLAのサイズを1920x1080(SRLPW=1920, SRLPH=1080)、参照レイヤピクチャrlPicのサイズを1280x720 (RLPW=1280,RLPH=720)、フィルタサイズfs = 8、ビット精度nosf_bit = 16とすれば、それぞれ、下式のように、ΔFX=12、ΔFY=12と導出される。
【０２８９】
ΔFX = (8 * (((1920 << 16) + (1280>> 1)) / 1280) + (1<< 15)) >> 16 = 12;
ΔFX = (8 * (((1080 << 16) + (720 >> 1)) / 720)  + (1<< 15)) >> 16 = 12;
このようなリサンプル画像が生成されるのは、参照レイヤ対応領域外NSRLA上の画素(xP,yP)を、例えば、垂直位置yPを固定して、水平方向に水平位置xPをxP=0…offsetT-1まで変化させた場合、リサンプルフィルタを適用するフィルタ領域(参照レイヤピクチャrsPic上の参照画素位置(xRef, yRef)を中心に、水平位置xPosRL(xPosRL = xRef - fs/2 +1 …xRef + fs /2)、垂直位置yPosRL (yPosRL = yRef-1…yRef + fs - 1 )の範囲、図３１(b)上のFLTA）が、従来技術とは異なり、座標(xP,yP)に応じて変化するためである。なお、フィルタ領域FLTAにおいて、参照レイヤピクチャrlPicの画面外の座標を参照する画素は、その画素と相関の高い（空間的距離が近い）画面端の画素へ置換される。
【０２９０】
以上、本発明におけるレイヤ間画像マッピング部は、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域外NSRLAの各座標のリサンプル画素を生成する際に、リサンプルフィルタの適用する参照レイヤピクチャrsPic上のフィルタ領域FLTAにおいて、画面外の座標の画素がある場合、その画素と相関の高い（空間的距離が近い）画素を利用して、リサンプル画像を生成する。その結果、従来技術に比べて、参照レイヤ対応領域外NSRLAのリサンプル画像の精度を向上させることができる。また、参照レイヤ対応領域外NSRLAの画素を参照するレイヤ間画像予測に関して、従来技術よりも予測精度を向上させることができる。従って、符号化効率を向上にもつながる。特に、本発明では、参照レイヤ対応領域SRLAの境界より外側に、水平方向に幅ΔFX、高さΔFYの領域NSRLA’において、リサンプル画像の画素値が滑らかに変化する領域を生成することができる。そのため、レイヤ間画像予測において、参照レイヤ対応領域外NSRLAのうち、上記領域NSRLA’を参照するレイヤ間画像予測の予測精度を向上させることができる。なお、本発明におけるレイヤ間画像マッピング部は、レイヤ間画像予測制約フラグによらず単独で適用可能である。
【０２９１】
（レイヤ間動きマッピング部）
次に、レイヤ間動きマッピング部３１６の構成について説明する。レイヤ間動きマッピング部３１６は、リサンプル参照レイヤピクチャrsPicのリサンプル動き情報rsPicMotionを、参照レイヤピクチャrlPicの動き情報rlPicMotionを動きマッピングにより生成する。
【０２９２】
図１８に、レイヤ間動きマッピング部３１６の構成を示す。レイヤ間動きマッピング部３１５は、対象レイヤにおける対象ブロックに対応する、参照レイヤにおける画像ブロックである参照画像ブロックを決定する参照画像ブロック導出部３１６１と、決定された参照画像ブロックの動き情報に基づいて対象ブロックの動き情報を生成する動き情報生成部３１６２とをさらに含んで構成される。
【０２９３】
参照画像ブロック導出部３１６１は、レイヤ間情報導出部３０２０で導出されたレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY）を用いて、リサンプル参照レイヤピクチャrsPic上の所定単位の対象ブロック（例えば、１６×１６）に対応する、参照レイヤピクチャrlPic上における参照画像ブロックの位置を算出する。
【０２９４】
対象ブロックとは、動きマッピングの対象となるリサンプル参照レイヤピクチャrsPic上のブロックである。対象ブロックは、また、対象レイヤ上の復号対象ブロックのテンポラリ動きベクトルとして参照されるブロックである。具体的には、対象ブロックのピクチャ内の座標が（xP, yP）であるとき、参照画像ブロックの座標（xRL, yRL）を以下の手順で導出する。
（１）対象ブロックの中心座標（xPCtr, yPCtr）を式(M-1)〜(M-2)により導出する。
【０２９５】
xPCtr = xP + ctrOffsetX;         (M-1)
yPCtr = yP + ctrOffsetY;         (M-2)
ここで、ctrOffsetXおよびctrOffsetYは、それぞれ対象ブロックの左上画素位置から対象ブロックの中心画素位置までの水平方向(x方向)のオフセット、垂直方向(y方向)のオフセットである。対象ブロックのサイズが2^M1×2^N1(M1、N1は自然数）、すなわち、横幅2^M1、縦幅2^N1である場合、 ctrOffsetX = 2^(M1-1)、ctrOffsetY = 2^(N1-1)と設定することが好ましい。例えば、対象ブロックのサイズが１６×１６であれば、各オフセットの値は８となる。
（２）導出した対象ブロックの中心座標（xPCtr, yPCtr）に対応する参照レイヤピクチャrlPic上の座標（xRef, yRef）を式(M-3)〜(M-4)により導出する。
【０２９６】
xRef = 
( ( xPCtr - OffsetL ) * ScaleFactorX + (1<<(nosf_bit-1)) ) >> nosf_bit;  (M-3)
yRef = 
( ( yPCtr - OffsetT ) * ScaleFactorX + (1<<(nosf_bit-1)) ) >> nosf_bit;  (M-4)
（３）参照画像ブロックの座標(xRL, yRL)を式(M-5)〜(M-6)により導出する。
【０２９７】
xRL = ( xRef >> M2 ) << M2;    (M-5)
yRL = ( yRef >> N2 ) << N2;    (M-6)
ここで、M2、N2はそれぞれ参照画像ブロックのサイズ2^M2×2^N2を表す値である。例えば、参照画像ブロックのサイズが１６×１６であれば、M2 = 4、N2 = 4となる。なお、動き情報の記録単位は、参照レイヤピクチャrlPicとリサンプル参照レイヤピクチャrsPicとで同一であることが好ましい。
【０２９８】
参照画像ブロック導出部３１３１は、導出した参照画像ブロックの位置を、動き情報生成部３１３２へ出力する。
【０２９９】
動き情報生成部３１３２は、参照画像ブロック導出部３１３１から入力された参照画像ブロックの座標（xRL, yRL）に対応する参照レイヤピクチャrlPicの動き情報rlPicMotionを参照し、それを基にリサンプル参照レイヤピクチャrsPic上の対象ブロックのリサンプル動き情報rsPicMotion（復号対象ブロックのテンポラリ動きベクトルとして参照される対象ブロックの予測パラメータ）を生成する。具体的には、対象ブロックの動き情報（予測モードpredMode、参照ピクチャインデックスrefIdxLX、ベクトルmvLX）について、後述の条件に応じて所定の値を設定し、生成した動き情報(rsPicMotion)を予測パラメータメモリ３０７に記憶する。
【０３００】
動き情報生成部３１３２は、上記の各予測パラメータを生成する際、参照画像ブロックの座標や、予測モードpredModeに従って、次のように予測パラメータを決定する。まず、参照画像ブロックの座標（xRL, yRL）が参照レイヤピクチャrlPicの外側に位置する場合、即ち、参照レイヤピクチャrlPicの画像サイズをRLPW × RLPHとしたときに、以下の条件式のいずれかを満たす場合には、予測モードpredMode[xP][yP]をイントラ予測モード（MODE_INTRA）へ設定する。
【０３０１】
( xRL < 0 ) || ( xRL >= RLPW )
( yRL < 0 ) || ( yRL >= RLPH )
ここで、記号||は、論理和を意味する。上記の条件いずれにも当てはまらない場合には、以下の式のように参照画像ブロックに対応する予測モードをpredMode[xP][yP]に代入して生成する。ここでpredModeRLは、参照レイヤピクチャrlPicにおける予測モードである。
【０３０２】
predMode[xP][yP] = predModeRL[xRL][yRL];
上記の結果、predMode[xP][yP]がインター予測モード（MODE_INTER）になる場合、参照ピクチャリストL0, L1それぞれに対応する参照ピクチャインデックスrefIdxLX、参照ピクチャインデックスrefIdxLXに対応するピクチャ順序番号refPOCLXおよび予測リスト利用フラグpredFlagLXに対応する参照レイヤピクチャrlPicの予測パラメータを代入して設定する。具体的には以下の式を適用する。
【０３０３】
refIdxLX[xP][yP]  = refIdxLXRL[xRL][yRL];
refPOCLX[xP][yP]  = refPOCLXRL[xRL][yRL];
predFlagLX[xP][yP]= predFlagLXRL[xRL][yRL];
ここで、refIdxLXRLは参照レイヤピクチャrlPicにおける参照ピクチャインデックスであり、refPOCLXRLは、参照レイヤピクチャrlPicにおける参照ピクチャインデックスrefPOCLXRLに対応するピクチャ順序番号であり、predFlagLXRLは、参照レイヤピクチャrlPicにおける予測リスト利用フラグである。
【０３０４】
さらに、ベクトルmvLXが、参照レイヤ対応領域SRLAの横幅SRLPWと縦幅SRLPH、参照レイヤピクチャrlPicの横幅RLPWと縦幅RLPH、及び参照レイヤピクチャrlPicのベクトルmvLXRLを用いて以下の手順で導出される。
（１―Ａ）参照レイヤ対応領域SRLAの横幅SRLPWと参照レイヤピクチャの横幅RLPWが等しい場合、以下の式により水平成分のベクトルmvLX[xP][yP][0]を設定する。
【０３０５】
mvLX[xP][yP][0] = mvLXRL[xRL][yRL][0];
（１−Ｂ）参照レイヤ対応領域SRLAの横幅SRLPWと参照レイヤピクチャの横幅RLPWが等しくない場合、参照レイヤピクチャrlPicの水平成分の動きベクトルを以下の式によりスケーリングし、水平成分のベクトルmvLX[xP][yP][0]を設定する。
【０３０６】
scaleFactorMVX = Clip3(-2^12, 2^12 - 1, ( ( SRLPW << 8 ) + (RLPW>>1) )/RLPW);
mvLX’= Sign(scaleFactorMVX * mvLXRL[xRL][yRL][0]) * 
(( Abs ( scaleFactorMVX *mvLXRL[xRL][yRL][0] ) + 127) >> 8);
mvLX[xP][yP][0] = Clip3( -2^15, 2^15 - 1, mvLX’);
（２―Ａ）参照レイヤ対応領域SRLAの縦幅SRLPHと参照レイヤピクチャの縦幅RLPHが等しい場合、以下の式により垂直成分のベクトルmvLX[xP][yP][1]を設定する。
【０３０７】
mvLX[xP][yP][1] = mvLXRL[xRL][yRL][1];
（２−Ｂ）参照レイヤ対応領域SRLAの縦幅SRLPHと参照レイヤピクチャの横幅RLPHが等しくない場合、参照レイヤピクチャrlPicの垂直成分の動きベクトルを以下の式によりスケーリングし、垂直成分のベクトルmvLX[xP][yP][1]を設定する。
【０３０８】
scaleFactorMVY = Clip3(-2^12, 2^12 - 1, ( ( SRLPH << 8 ) + (RLPH>>1) )/RLPH);
mvLX’= Sign(scaleFactorMVY * mvLXRL[xRL][yRL][1]) * 
(( Abs ( scaleFactorMVY *mvLXRL[xRL][yRL][1] ) + 127) >> 8);
mvLX[xP][yP][1] = Clip3( -2^15, 2^15 - 1, mvLX’); 
ここで、ベクトルmvLX[][][]は、３つめの配列添え字０，１がそれぞれ水平成分、垂直成分を表す。
【０３０９】
一方、生成後のpredMode[xP][yP]がイントラ予測モード（MODE_INTRA）になる場合は、参照ピクチャリストL0, L1それぞれに対応する参照ピクチャインデックスrefIdxLX、参照ピクチャインデックスrefIdxLXに対応するピクチャ順序番号refPOCLXおよび予測リスト利用フラグpredFlagLX、及びベクトルmvLXを、それぞれ参照なし、およびゼロになるよう設定する。具体的には以下の式により設定する。
【０３１０】
refIdxLX[xP][yP] = -1;
refPOCLX[xP][yP] = -1;
predFlagLX[xP][yP] = 0;
mvLX[xP][yP][0] = mvLX[xP][yP][1] = 0;
レイヤ間動きマッピング部３１３は、リサンプル参照レイヤピクチャrsPicののき情報を、対象レイヤの復号を開始する前に生成する。レイヤ間動きマッピング部３１３は、参照レイヤピクチャ復号部１３より入力される参照レイヤピクチャrlPicが存在し、レイヤ間動き予測フラグalt_collocated_indication_flagが１の場合には、以下の処理に基づいて、参照ピクチャの予測パラメータpredMode[xP][yP]、refIdxLX[xP][yP]、mvL0[xP][yP]、mvL1[xP][yP]を生成する。
【０３１１】
レイヤ間動きマッピング部３１６は、リサンプル参照レイヤピクチャrsPic上の座標（xP, yP）を、それぞれ、0からリサンプル参照レイヤピクチャrsPicの幅，高さまで、16の倍数になるように順次設定する。具体的には、以下の式を適用する。
【０３１２】
xP = xPb << 4;
yP = yPb << 4;
ここで、xPb，yPbはそれぞれ、以下のように0から最大値までインクリメントした整数値を設定する。
【０３１３】
xPb = 0 ... ( (PW + 15) >> 4 ) - 1;
yPb = 0 ... ( (PH + 15) >> 4 ) - 1;
なお、レイヤ間動きマッピング部３１６は、下記方法の何れかによって、参照レイヤピクチャrlPicを特定し、レイヤ間対応関係パラメータに基づいて、レイヤ間動きマッピングを行う。。
【０３１４】
（参照レイヤピクチャ特定方法１）スライスヘッダ上のコロケート情報で指定される参照レイヤピクチャを、レイヤ間動きマッピングの対象とする参照レイヤピクチャrlPicとする。具体的には、コロケート情報は、スライスヘッダに含まれリストＬ０フラグcollocated_from_L0_flagおよび参照インデックスcollocated_ref_idxにより指定されるリストＬ０フラグcollocated_from_L0_flagは、参照画像ブロックが含まれる画像（参照レイヤピクチャ）が参照ピクチャリストＬ０から得られるか否かを示し、参照インデックスcollocated_ref_idxは、前記参照画像の、参照ピクチャリスト内の位置（インデックス）を示す。collocated_from_L0_flag、collocated_ref_idxにより指定される参照画像colPicのレイヤIDが、復号対象画像のレイヤIDと異なる場合、参照画像colPicを、レイヤ間動きマッピングの対象とする参照レイヤピクチャとする。
【０３１５】
（参照レイヤピクチャ特定方法２）スライスヘッダ上のレイヤ間動き予測フラグalt_colloated_indication_flagが真（１）の場合、コロケート参照レイヤＩＤcollocated_ref_layer_idxで指定されるアクティブレイヤ間動き参照レイヤActiveMotionPredRefLayerId[ collocated_ref_layer_idx ]を、レイヤ間動きマッピングの対象とする参照レイヤピクチャrlPicとする。
【０３１６】
（参照レイヤピクチャ特定方法３）参照ピクチャリストに含まれる参照ピクチャのうち、参照ピクチャのレイヤIDが、復号対象画像のレイヤIDと異なる場合、その参照ピクチャをレイヤ間動きマッピングの対象とする参照レイヤピクチャとする。具体的にはRefPicList0[]、RefPicList1[]の参照ピクチャのレイヤIDを走査し、復号対象画像のレイヤIDと異なる参照ピクチャを特定する。
【０３１７】
以上のように、レイヤ間動きマッピング部３１６において、対象レイヤ（例えば拡張レイヤ）と参照レイヤ（例えばベースレイヤ）との間のレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY等）に基づいて、リサンプル参照レイヤピクチャrsPic上の対象ブロックに対応する参照レイヤピクチャrlPic上の参照画像ブロックを決定し、参照画像ブロックの動き情報に基づいて対象ブロックの動き情報を生成することができる。これにより、レイヤ間動き予測で使用される動き情報（テンポラル動き情報）の精度を向上させる効果を得ることができる。特に、ピクチャ単位で対象レイヤと参照レイヤの対応領域が変化するシーケンスに対しては、参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間動きマッピングを行う場合に比べて、アクティブ参照レイヤ対応領域情報（ピクチャ単位の参照レイヤ対応領域情報）により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間動きマッピングを行うことにより、よりレイヤ間動き予測で使用される動き情報（テンポラル動き情報）の精度をより向上させる効果を奏する。それに伴いレイヤ間動き予測の予測精度も向上するため、符号化効率の向上を図ることが可能となる。
【０３１８】
＜予測パラメータ復号部３０２の変形例１＞
上述の例では、対象ＣＵの予測タイプがインター予測である場合に、各ＰＵ単位で、参照画像リスト上の参照レイヤの画像（リサンプル参照レイヤピクチャrsPic）を示す参照画像インデックスを指定することで、レイヤ間画像予測を利用することが可能である。対象ＣＵにおいてレイヤ間画像予測を利用するかどうかは、上記例に限定されず、対象ＣＵ内で、明示的にレイヤ間画像予測フラグtexture_rl_flagを通知することにより可能である。図２１は、ＣＵ単位でレイヤ間画像予測フラグtexture_rl_flagを含む場合の符号化データの構成を示す図である。図２１に示す通り、ＣＵ単位の符号化データは、SYNCU01に示すレイヤ間画像予測フラグ(texture_rl_flag)、SYNCU02に示すCUタイプ情報(予測モードフラグ(pred_mode_flag))、SYNCU03に示すPU分割タイプ(part_mode)、並びに図示しないＰＵ情報、およびＴＵ情報から構成される。
【０３１９】
以下、図２２を用いて、ＣＵ単位でレイヤ間画像予測フラグを含む場合の符号化データを復号する動作を説明する。
【０３２０】
（Ｓ６０１）予測パラメータ復号部３０２は、可変長復号部３０１を用いて、所定のパラメータセット（例えば、ＶＰＳ）単位毎に、参照レイヤ指定情報、及びレイヤ間予測タイプ情報を復号し、それらの情報に基づいて、対象レイヤiが参照レイヤｊからのレイヤ間画像予測の有無を示すレイヤ間画像予測有無フラグSamplePredEnableFlag[i][j]を導出する。また、可変長復号部３０１を用いて、所定のパラメータセット（例えば、ＳＰＳ）単位毎に、参照レイヤ対応領域情報を復号する。さらに、参照レイヤ対応領域情報に基づいて、レイヤ間画像予測制約フラグを復号する。
【０３２１】
（Ｓ６０２）予測パラメータ復号部３０２は、可変長復号部３０１を用いて、所定パラメータセット（例えば、スライスヘッダ）単位毎に、アクティブ参照レイヤ対応領域情報を復号する。さらに、予測パラメータ復号部３０２は、復号した参照レイヤ対応領域情報、及びアクティブ参照レイヤ対応領域情報に基づいて、対象ピクチャが参照する各リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAの位置情報（OffsetL、OffsetT、OffsetR、OffsetB）とサイズ情報（SRLPW、SRLPH）を導出する。具体的な導出方法は説明済のため省略する。続いて、各ＣＴＢにおいて、以下の処理を行う。
【０３２２】
（Ｓ６０３）ＣＵのループを開始する。ＣＵのループはＣＴＢに含まれる全てのＣＵを順に処理することで行われる。
【０３２３】
（Ｓ６０４）予測パラメータ復号部３０２は、レイヤ間画像予測適用可フラグInterLayerSamplePredEnableFlag、及びレイヤ間画像予測禁止フラグNoInterlayerSamplePredFlagを導出する。レイヤ間画像予測適用可フラグInterLayerSamplePredEnableFlagは、例えば、次式によって導出される。
【０３２４】
InterlayerSamplePredEnableFlag = SamplePredEnableFlag[curLayerId][refLayerId]
ここで、curLayerIdは、対象レイヤiを示すレイヤ識別子を示し、refLayerIdは、参照レイヤjを示すレイヤ識別子である。なお、refLayerIdは、予めスライスヘッダ上で通知されていてもよいし、CU単位で通知されてもよい。
【０３２５】
また予測パラメータ復号部３０２は、レイヤ間画像予測制約フラグ、及び対象ＣＵの最左上画素の座標（ｘP, yP）とCUサイズlog2CbSize（CUサイズを２を底とした対数値で表現）に基づいて、レイヤ間画像予測禁止フラグNoInterLayerSamplePredFlagを導出する。具体的には、レイヤ間画像予測制約フラグが０の場合は、レイヤ間画像予測禁止フラグを０へ設定する(NoInterLayerSamplePredFlag = 0)。一方、レイヤ間画像予測制約フラグが１の場合は、対象ピクチャcurPic上の対象CUと対応するリサンプル参照レイヤピクチャrsPic上の対応領域が、（参照レイヤ対応領域より外側の画像を参照するレイヤ間画像予測について）において説明した条件（Ａ１）〜（Ａ４）のいずれかの条件を満たす場合、レイヤ間画像予測禁止フラグを１へ設定し (NoInterLayerSamplePredFlag = 1)、それ以外の場合は、レイヤ間画像予測禁止フラグを０へ設定する(NoInterLayerSamplePredFlag = 0)。なお、対象ＣＵの縦幅をhPb(=log2CbSize<<1)、横幅wPb(=log2CbSize)とする。
【０３２６】
（Ｓ６０５）対象レイヤcurLayerId、レイヤ間画像予測適用可フラグInterLayerSamplePredEnableFlagとレイヤ間画像予測禁止フラグNoInterLayerSamplePredFlagが次式(J-1)を満たすかを判定する。
【０３２７】
curLayerId > 0 &&  
InterLayerSamplePredEnableFlag && !NoInterLayerSamplePredFlag ? 1 : 0; (J-1)
すなわち、対象レイヤのレイヤ識別子curLayerIdが０より大きく（拡張レイヤである）、かつ、レイヤ間画像予測適用可フラグが真、かつレイヤ間画像予測禁止フラグが偽であるかどうかを判定する。式（J-1）において、値が真の場合（Ｓ６０５においてＹｅｓ）、ステップＳ６０６へ遷移し、レイヤ間画像予測フラグtexture_rl_flag（図２１上のSYNCU01）を復号する（Ｓ６０６）。それ以外の場合（式(J-1)の値が偽の場合）、ステップＳ６０７へ遷移し、レイヤ間画像予測フラグtexture_rl_flagの復号を省略し、texture_rl_flagの値をゼロへ設定する（Ｓ６０７）。
【０３２８】
（Ｓ６０８）レイヤ間画像予測フラグの値が１であるかを判定する。同フラグの値が真である場合、ステップＳ６１１へ遷移する。同フラグの値が偽の場合、ステップＳ６０９へ遷移する。
【０３２９】
（Ｓ６０９）対象ＣＵのＣＵタイプを示すＣＵタイプ情報、例えば図２１上のSYNCU02に示す予測モードフラグ(pred_mode_flag)を復号する。予測モードフラグに基づいて、対象ＣＵのＣＵタイプ、すなわちイントラＣＵであるか、インターＣＵであるか決定する。予測モードフラグが１の場合は、イントラＣＵであることを示し、０の場合は、インターＣＵであることを示す。なお、インターＣＵの場合は、予測モードフラグの後に、図２１上のSYNCU03に示すＰＵ分割タイプ情報(part_mode)がさらに復号されうる。
【０３３０】
（Ｓ６１０）対象ＣＵ内に含まれる各ＰＵ単位のＰＵ情報が復号される。
【０３３１】
（Ｓ６１１）対象ＣＵ内に含まれる各ＴＵ単位のＴＵ情報が復号される。
【０３３２】
（Ｓ６１２）ＣＵ単位のループの終端である。
【０３３３】
上記予測パラメータ復号部３０２の変形１によれば、対象ＣＵ（対象予測単位）のレイヤ間画像予測フラグ(texture_rl_flag)を、明示的に復号するか否かをレイヤ間画像予測適用可フラグおよびレイヤ間画像予測禁止フラグに基づいて制御する。特に、参照レイヤ対応領域情報、またはアクティブ参照レイヤ対応領域情報で指定される参照レイヤ対応領域SRLA外の画素を含むレイヤ間画像予測を禁止することを示すレイヤ間画像予測制約フラグが１である場合、対象ＣＵに対応するリサンプル参照レイヤピクチャrsPic上の対応領域が参照レイヤ対応領域SRLAを跨ぐレイヤ間画像予測が利用されないことが画像復号装置と画像符号化装置間において保障されている。従って。対象ＣＵに対応するリサンプル参照レイヤピクチャrsPic上の対応領域が参照レイヤ対応領域SRLAを跨ぐ場合（前述の条件（Ａ１）〜（Ａ４）のいずれかを満たす場合）、レイヤ間画像予測フラグの復号を省略する（すなわち、レイヤ間画像予測フラグが０であると推定）ことにより、レイヤ間画像予測フラグの復号に係る処理量を低減することができる。また、レイヤ間画像予測フラグに係る符号量を削減することができるため、符号効率の向上の効果を奏する。また、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLA外の画素が、レイヤ間画像予測において参照されないことが補償されているため、参照レイヤ対応領域外の画素をレイヤ間画像マッピング（リサンプリング処理）によって生成する処理を省略することができる。また、参照ピクチャメモリにおいて、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLA外の画素を保持するためのメモリを削減することができる。
【０３３４】
＜予測パラメータ復号部３０２の変形例２＞
なお、上記の例では、レイヤ間画像予測制約フラグが１の場合は、参照レイヤ対応領域情報、またはアクティブ参照レイヤ対応領域情報で指定される参照レイヤ対応領域SRLA外の画素を参照するレイヤ間画像予測の使用を禁止することを示すこと前提に説明したが、それに限定されない。レイヤ間画像予測制約フラグが１の場合は、参照レイヤ対応領域情報、またはアクティブ参照レイヤ対応領域情報で指定される参照レイヤ対応領域SRLA外の画素のみを参照するレイヤ間画像予測の使用を禁止することを示してもよい。
【０３３５】
この場合、上記ステップＳ６０４において，レイヤ間画像予測禁止フラグを導出する条件式を前述の条件（Ａ１）〜（Ａ４）の代わりに、（参照レイヤ対応領域より外側の画像のみを参照するレイヤ間画像予測について）において説明した条件（Ｂ１）〜（Ｂ４）へ置き換える。
【０３３６】
上記予測パラメータ復号部３０２の変形例２によれば、対象ＣＵのレイヤ間画像予測フラグ(texture_rl_flag)を、明示的に復号するか否かをレイヤ間画像予測適用可フラグおよびレイヤ間画像予測禁止フラグに基づいて制御する。特に、レイヤ間画像予測制約フラグが１である場合、対象ＣＵに対応するリサンプル参照レイヤピクチャrsPic上の対応領域が参照レイヤ対応領域SRLA外の画素のみを参照するレイヤ間画像予測が利用されないことが画像復号装置と画像符号化装置間において保障されている。従って。対象ＣＵに対応するリサンプル参照レイヤピクチャrsPic上の対応領域が参照レイヤ対応領域SRLA外の画素のみを参照する場合（前述の条件（Ｂ１）〜（Ｂ４）のいずれかを満たす場合）、レイヤ間画像予測フラグの復号を省略する（すなわち、レイヤ間画像予測フラグが０であると推定）ことにより、レイヤ間画像予測フラグの復号に係る処理量を低減することができる。また、レイヤ間画像予測フラグに係る符号量を削減することができるため、符号効率の向上の効果を奏する。
【０３３７】
（ビットストリーム制限による階層動画像復号装置）
なお、以上説明した階層動画像復号装置によれば、レイヤ間画像予測制約フラグを復号し、フラグが真の場合に、所定条件を満たさないレイヤ間画像予測により予測単位の予測画像を生成していたが、レイヤ間画像予測制約フラグではなく、ビットストリーム制限としても良い。
【０３３８】
すなわち、特定のプロファイル（例えばスケーラブル拡張プロファイル）において、本実施形態の階層動画像復号装置は、以下の条件（ＣＦ条件）をビットストリームコンフォーマンスとして要求する。
【０３３９】
予測単位の予測方式がレイヤ間画像予測である場合、所定条件を満たすレイヤ間画像予測を行ってはならない・・・ＣＦ条件
上記ＣＦ条件は、以下の条件としても同値である。
【０３４０】
予測単位の予測方式がレイヤ間画像予測である場合、所定条件を満たさないレイヤ間画像予測を行う・・・ＣＦ条件
なお、ビットストリームコンフォーマンスとは、階層動画像復号装置（ここでは本発明の実施形態に係る階層動画像復号装置）が復号するビットストリームが満たす必要がある条件である。
【０３４１】
この場合、階層動画像復号装置は、予測画像生成手段は、予測単位の予測方式がレイヤ間画像予測である場合、所定条件を満たさないレイヤ間画像予測により予測単位の予測画像を生成することを特徴とする。
【０３４２】
〔階層動画像符号化装置〕
以下では、本実施形態に係る階層動画像符号化装置２の構成について、図２３を参照して説明する。
【０３４３】
（階層動画像符号化装置の構成）
図２３を用いて、階層動画像符号化装置２の概略構成を説明する。図２３は、階層動画像符号化装置２の概略的構成を示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
【０３４４】
図２３に示すように階層動画像符号化装置２は、対象レイヤピクチャ符号化部２２、ＮＡＬ多重化部２１、および、参照レイヤピクチャ復号部１３を備える。
【０３４５】
対象レイヤピクチャ符号化部２２は、入力画像ＰＩＮ＃Ｔを符号化して、対象レイヤ符号化データＤＡＴＡ＃Ｔとして出力する。また、対象レイヤピクチャ符号化部２２は、入力画像ＰＩＮ＃Ｔを符号化するために、参照レイヤピクチャ復号部１３において復号された参照レイヤ復号ピクチャを利用したレイヤ間画像予測を用いる。
【０３４６】
ＮＡＬ多重化部２１３は、入力される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。
【０３４７】
参照レイヤピクチャ復号部１３は、既に説明した階層動画像復号装置１の備える参照レイヤ復号部１３と同一の構成要素であり、詳細説明は省略する。
【０３４８】
（対象レイヤピクチャ符号化部２２（画像符号化装置））
図２４を用いて、対象レイヤピクチャ符号化部２２の詳細構成について説明する。図２４は、対象レイヤピクチャ符号化部２２の構成を例示した機能ブロック図である。画対象レイヤピクチャ符号化部２２は、予測画像生成部１０１、減算部１０２、ＤＣＴ・量子化部１０３、可変長符号化部１０４、逆量子化・逆ＤＣＴ部１０５、加算部１０６、予測パラメータメモリ（予測パラメータ記憶部、フレームメモリ）１０８、参照ピクチャメモリ（参照画像記憶部、フレームメモリ）１０９、符号化パラメータ決定部１１０、予測パラメータ符号化部１１１、参照レイヤ対応領域推定部１１４およびリサンプリング部３１４を含んで構成される。予測パラメータ符号化部１１１は、インター予測パラメータ符号化部１１２及びイントラ予測パラメータ符号化部１１３を含んで構成される。リサンプリング部３１４は、レイヤ間画像マッピング部３１５、レイヤ間動きマッピング部３１６を含んで構成される。なお、リサンプリング部３１４は、画像復号装置におけるリサンプリング部３１４と同等の構成を有する。
【０３４９】
リサンプリング部３１４は、予測パラメータメモリ１０８に記録されたレイヤ間画像予測制約フラグ、および予測パラメータメモリ１０８へ記録された参照レイヤ対応領域情報、およびアクティブ参照レイヤ対応領域情報と、参照レイヤピクチャ復号部１５が復号した参照レイヤ復号ピクチャ（参照レイヤピクチャrlPicと呼ぶ）の動き情報rlPicMotion、及び画像rlPicSampleを用いて、リサンプル参照レイヤピクチャrsPicのリサンプル動き情報rsPicMotion及びリサンプル画像rsPicSampleをそれぞれレイヤ間動きマッピング部３１６、レイヤ間画像マッピング部３１５において生成する。生成されたリサンプル動き情報rsPicMotionは、予測パラメータメモリ１０８に格納される。また、生成されたリサンプル画像rsPicSampleは参照ピクチャメモリ１０９に格納される。なお、レイヤ間画像マッピング部３１５、およびレイヤ間動きマッピング部３１６は、対象レイヤピクチャ復号部１２と同一であるため説明を省略する。ただし、予測パラメータメモリ３０７、参照ピクチャメモリ３０８を予測パラメータメモリ１０８、参照ピクチャメモリ１０９へ置き換えて解釈するものとする。
【０３５０】
予測画像生成部１０１は、外部から入力された対象レイヤの入力画像PIN#Tの各ピクチャについて、そのピクチャを分割した領域であるブロック毎に予測ピクチャブロックＰを生成する。ここで、予測画像生成部１０１は、予測パラメータ符号化部１１１から入力された予測パラメータに基づいて参照ピクチャメモリ１０９から参照ピクチャブロックを読み出す。予測パラメータ符号化部１１１から入力された予測パラメータとは、例えば、動きベクトル又は変位ベクトルである。予測画像生成部１０１は、符号化対象ブロックを起点として予測された動きベクトル又は変位ベクトルが示す位置にあるブロックの参照ピクチャブロックを読み出す。予測画像生成部１０１は、読み出した参照ピクチャブロックについて複数の予測方式のうちの１つの予測方式を用いて予測ピクチャブロックＰを生成する。予測画像生成部１０１は、生成した予測ピクチャブロックＰを減算部１０２に出力する。なお、予測画像生成部１０１は、既に説明した予測画像生成部３０８と同じ動作であるため予測ピクチャブロックＰの生成の詳細は省略する。
【０３５１】
減算部１０２は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値を、外部から入力された対象レイヤの入力画像PIN#Tの対応するブロックの信号値から画素毎に減算して、残差信号を生成する。減算部１０２は、生成した残差信号をＤＣＴ・量子化部１０３に出力する。
【０３５２】
ＤＣＴ・量子化部１０３は、減算部１０２から入力された残差信号についてＤＣＴを行い、ＤＣＴ係数を算出する。ＤＣＴ・量子化部１０３は、算出したＤＣＴ係数を量子化して量子化係数を求める。ＤＣＴ・量子化部１０３は、求めた量子化係数をエントロピー可変長符号化部１０４及び逆量子化・逆ＤＣＴ部１０５に出力する。
【０３５３】
可変長符号化部１０４には、ＤＣＴ・量子化部１０３から量子化係数が入力され、予測パラメータ符号化部１１１から符号化パラメータが入力される。入力される符号化パラメータには、例えば、予測モードpredMode、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測フラグinter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLX、レイヤ数vps_max_layers_minus1（図３上のSYNVPS01）、レイヤ識別子指定情報(図３上のSYNVPS02)、参照レイヤ指定情報(図３上のSYNVPS04)、レイヤ従属タイプ情報(図３上のSYNVPS05)、参照レイヤ対応領域情報(図５上のSYNSPS02)、レイヤ間画像予測制約フラグ(図５上のSYNSPS03)、アクティブ参照レイヤ指定情報(図７上のSYNSH01)、アクティブ参照レイヤ対応領域情報(図７上のSYNSH02)、コロケート情報collocated_from_l0_flag，collocated_ref_idx, alt_collocated_indication_flag, collocated_ref_layer_idexなどの符号がある。
【０３５４】
可変長符号化部１０４は、入力された量子化係数と符号化パラメータを可変長符号化して、対象レイヤ符号化データDATA#Tを生成し、外部に出力する。
【０３５５】
逆量子化・逆ＤＣＴ部１０５は、ＤＣＴ・量子化部１０３から入力された量子化係数を逆量子化してＤＣＴ係数を求める。逆量子化・逆ＤＣＴ部１０５は、求めたＤＣＴ係数について逆ＤＣＴを行い、復号残差信号を算出する。逆量子化・逆ＤＣＴ部１０５は、算出した復号残差信号を加算部１０６に出力する。
【０３５６】
加算部１０６は、予測画像生成部１０１から入力された予測ピクチャブロックＰの信号値と逆量子化・逆ＤＣＴ部１０５から入力された復号残差信号の信号値を画素毎に加算して、参照ピクチャブロックを生成する。加算部１０６は、生成した参照ピクチャブロックを参照ピクチャメモリ１０９に記憶する。
【０３５７】
予測パラメータメモリ１０８は、予測パラメータ符号化部１１１が生成した予測パラメータを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
【０３５８】
参照ピクチャメモリ１０９は、加算部１０６が生成した参照ピクチャブロックを、符号化対象のピクチャ及びブロック毎に予め定めた位置に記憶する。
【０３５９】
符号化パラメータ決定部１１０は、符号化パラメータの複数のセットのうち、１つのセットを選択する。符号化パラメータとは、上述した予測パラメータやこの予測パラメータに関連して生成される符号化の対象となるパラメータである。
【０３６０】
符号化パラメータ決定部１１０は、上記符号化パラメータの複数のセットの各々について情報量の大きさと符号化誤差を示すコスト値を算出する。コスト値は、例えば、符号量と二乗誤差に係数λを乗じた値との和である。符号量は、量子化誤差と符号化パラメータを可変長符号化して得られる対象レイヤ符号化データDATA#Tの情報量である。二乗誤差は、減算部１０２において算出された残差信号の残差値の二乗値についての画素間の総和である。係数λは、予め設定されたゼロよりも大きい実数である。符号化パラメータ決定部１１０は、算出したコスト値が最小となる符号化パラメータのセットを選択する。これにより、可変長符号化部１０４は、選択した符号化パラメータのセットを対象レイヤ符号化データDATA#Tとして外部に出力し、選択されなかった符号化パラメータのセットを出力しない。
【０３６１】
選択される符号化パラメータのセットは、選択する予測方式に依存する。選択の対象となる予測方式は、符号化対象のピクチャが基本レイヤのピクチャである場合には、イントラ予測、動き予測及びマージ予測である。動き予測とは、上述のインター予測のうち、表示時刻間の予測である。マージ予測とは、既に符号化されたブロックであって、符号化対象ブロックから予め定めた範囲内にあるブロックと同一の参照ピクチャブロック及び予測パラメータを用いる予測である。符号化対象のピクチャが上位レイヤ（拡張レイヤ）のピクチャである場合には、選択の対象となる予測方式は、イントラ予測、動き予測、マージ予測、及びレイヤ間予測（レイヤ間画像予測、レイヤ間動き予測）である。
【０３６２】
符号化パラメータ決定部１１０は、選択した予測方式に対応する予測モードpredModeを予測パラメータ符号化部１１１に出力する。例えば、予測方式として動き予測を選択した場合、符号化パラメータ決定部１１０は、動きベクトルmvLXも併せて出力する。動きベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。動きベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、ピクチャ順序番号POC）を含み、予測パラメータを表すものであっても良い。予測方式としてレイヤ間予測を選択した場合、符号化パラメータ決定部１１０は、変位ベクトルmvLXも併せて出力する。変位ベクトルmvLXは、符号化対象ブロックの位置から予測ピクチャブロックＰを生成する際の参照ピクチャブロックの位置までのベクトルを示す。変位ベクトルmvLXを示す情報には、参照ピクチャを示す情報（例えば、参照ピクチャインデックスrefIdxLX、レイヤ識別子layer_id）を含み、予測パラメータを表すものであっても良い。予測方式としてマージ予測を選択した場合、符号化パラメータ決定部１１０は、マージインデックスmerge_idxも併せて出力する。
【０３６３】
なお、符号化パラメータ決定部１１０は、レイヤ間画像予測制約フラグが真（１）であって、対象予測単位が参照しうるリサンプル参照ピクチャ上rsPic上の対応領域が、（参照レイヤ対応領域より外側の画像を参照するレイヤ間画像予測について）において説明した条件（Ａ１）〜（Ａ４）の何れか一つでも満たす場合、対象予測単位の予測方式として、レイヤ間画像予測（異なるレイヤを参照するインター予測）を選択せず、イントラ予測、あるいは同一レイヤ上のインター予測を選択するものとする。すなわち、上記条件を満たす参照ピクチャインデックスを含む予測パラメータは、符号化データに含まれないことになる。なお、条件（Ａ１）〜（Ａ４）の代わりに、（参照レイヤ対応領域より外側の画像のみを参照するレイヤ間画像予測について）において説明した条件（Ｂ１）〜（Ｂ４）を用いてもよい。なお、インター予測において、参照画像リスト上の参照レイヤの画像（リサンプル参照レイヤピクチャrsPic）を示す参照画像インデックスを指定することで、レイヤ間画像予測を利用することが可能である。
【０３６４】
予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力されたパラメータに基づいて予測ピクチャを生成する際に用いる予測パラメータを導出し、導出した予測パラメータを符号化して符号化パラメータのセットを生成する。予測パラメータ符号化部１１１は、生成した符号化パラメータのセットを可変長符号化部１０４に出力する。
【０３６５】
予測パラメータ符号化部１１１は、生成した符号化パラメータのセットのうち符号化パラメータ決定部１１０が選択したものに対応する予測パラメータを予測パラメータメモリ１０８に記憶する。
【０３６６】
予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０から入力された予測モードpredModeがインター予測モードを示す場合、インター予測パラメータ符号化部１１２を動作させる。予測パラメータ符号化部１１１は、予測モードpredModeがイントラ予測モードを示す場合、イントラ予測パラメータ符号化部１１３を動作させる。
【０３６７】
インター予測パラメータ符号化部１１２は、符号化パラメータ決定部１１０から入力された予測パラメータに基づいてインター予測パラメータを導出する。インター予測パラメータ符号化部１１２は、インター予測パラメータを導出する構成として、インター予測パラメータ復号部３０３がインター予測パラメータを導出する構成（図１５,図１７参照）と同一の構成を含む。インター予測パラメータ符号化部１１２の構成については、後述する。
【０３６８】
イントラ予測パラメータ符号化部１１３は、符号化パラメータ決定部１１０から入力された予測モードpredModeが示すイントラ予測モードIntraPredModeをイントラ予測パラメータのセットとして定める。
【０３６９】
参照レイヤ対応領域推定部１１４は、入力される対象レイヤの画像と、参照レイヤピクチャ復号部１３より入力される参照レイヤピクチャrlPicの画像rlSampleから、対象レイヤと参照レイヤの対応領域を表わす参照レイヤ対応領域情報（シーケンス全体で共通の参照レイヤ対応領域情報（図５のSYNSPS02）、ピクチャ単位の参照レイヤ対応領域情報（図７のSYNSH02、または図８のSYNSH03））を算出し、予測パラメータ符号化部１１１へ出力する。例えば、参照レイヤ対応領域推定部１１４は、対象レイヤと参照レイヤの同時刻のピクチャ間で、まずエッジやコーナー点などの特徴点を抽出し、その特徴点どうしの対応点を求める特徴点ベースマッチングを行い、画像間の対応付けを示すパラメータ（例えば、射影変換行列、または回転行列と平行移動ベクトル））を算出する。基本的に、スケーラブル符号化では、対象レイヤと参照レイヤは、空間的な倍率、及び位置が異なる画像であるため、算出する必要があるのは、倍率（ｘ方向、ｙ方向）、及び平行移動ベクトル（ｘ方向、ｙ方向）である。算出した画像間の対応付けを示すパラメータから、対象レイヤのピクチャと参照レイヤ対応領域との位置関係を示すパラメータ（参照レイヤ対応領域情報（offsetL、offsetT、offsetR、offsetBなど）を導出し、予測パラメータ符号化部１１１へ出力する。なお、参照レイヤ対応領域推定部１１４を含まずに、対象レイヤと参照レイヤの対応関係（参照レイヤ対応領域情報）を既知であるとし、外部より入力してもよい。
【０３７０】
予測パラメータ符号化部１１１は、参照レイヤ対応領域推定部１１４から入力された参照レイヤ対応領域情報から各シンタックスを、例えば式(I-１)〜(I-4)、(I-1B）〜(I-4B)等で導出し、導出した各シンタックスを符号化する。なお、参照レイヤ対応領域情報は、スライスレイヤ単位、ピクチャレイヤ単位、シーケンスレイヤ単位のいずれかの単位で出力する。また、予測パラメータ符号化部１１１は、図示しないレイヤ間情報導出部１１６０をさらに含む。レイヤ間情報導出部１１６０は、予測パラメータ復号部３０２が備えるレイヤ間情報導出部３０２０と同等の機能を有する。符号化された参照レイヤ対応領域情報に基づいて、対象レイヤiが参照する参照レイヤｊに関するレイヤ間対応関係パラメータとして、リサンプル参照レイヤピクチャrsPic上における参照レイヤ対応領域SRLAの位置を示すオフセットOffsetL、OffsetT、OffsetR、OffsetBを前述の式（G-1）〜(G-4)を用いて導出し、参照レイヤ対応領域SRLAの横幅SRLPWおよび縦幅SRLPHを前述の式（G-5）〜(G-6)を用いて導出する。
【０３７１】
続いて、対象レイヤiが参照する参照レイヤｊに対応するアクティブ参照レイヤ対応領域情報があれば、その情報を用いて参照レイヤ対応領域SRLAの位置を示すオフセットOffsetL、OffsetT、OffsetR、OffsetB、および参照レイヤ対応領域SRLAの横幅SRLPWと縦幅SRLPHを再設定する。
【０３７２】
続いて、参照レイヤ対応領域SRLAと参照レイヤピクチャrlPicの横幅のサイズ比ScaleFactorXと縦幅のサイズ比ScaleFactorYを前述の式(G-7)〜(G-8)を用いて導出する。
【０３７３】
レイヤ間情報導出部１１６０にて導出されたレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY等）は予測パラメータメモリ１０８で記憶される。
【０３７４】
さらに、予測パラメータ符号化部１１１は、参照レイヤ対応領域情報に基づいて、レイヤ間画像予測制約フラグを符号化する。参照レイヤ対応領域情報があれば、レイヤ間予測画像制約フラグを符号化し、参照レイヤ対応領域情報がなければ、レイヤ間画像制約フラグの値は０と推定し、符号化を省略する。なお、レイヤ間画像予測制約フラグの値は、符号化パラメータ決定部１１０において決定されてもよいし、外部より指定してもよい。
【０３７５】
（インター予測パラメータ符号化部１１２）
インター予測パラメータ符号化部１１２の構成について説明する。インター予測パラメータ符号化部１１２は、画像復号装置におけるインター予測パラメータ復号部３０３に対応する手段である。
【０３７６】
図２５は、本実施形態に係るインター予測パラメータ符号化部１１２の構成を示す概略図である。インター予測パラメータ符号化部１１２は、マージ予測パラメータ導出部１１２１、ＡＭＶＰ予測パラメータ導出部１１２２、減算部１１２３、インター予測パラメータ符号化制御部１１２４を含んで構成される。
【０３７７】
マージ予測パラメータ導出部１１２１は、上述のマージ予測パラメータ導出部３０３６（図１５参照）と同様の構成を有する。
【０３７８】
マージ予測パラメータ導出部１１２１には、符号化パラメータ決定部１１０から入力される予測モードpredModeがマージ予測モードを示す場合、符号化パラメータ決定部１１０からマージインデックスmerge_idxが入力される。マージインデックスmerge_idxは、インター予測パラメータ符号化制御部１１２４に出力される。マージ予測パラメータ導出部１１２１は、マージ候補のうちマージインデックスmerge_idxが示す参照ブロックの参照ピクチャインデックスrefIdxLX、ベクトルmvLXを予測パラメータメモリ１０８から読み出す。マージ候補とは、符号化対象となる符号化対象ブロックから予め定めた範囲にある参照ブロック（例えば、符号化対象ブロックの左下端、左上端、右上端に接する参照ブロックのうち）であって、符号化処理が完了した参照ブロックである。
【０３７９】
ＡＭＶＰ予測パラメータ導出部１１２２は、上述のＡＭＶＰ予測パラメータ導出部３０３２（図１７参照）と同様の構成を有する。
【０３８０】
ＡＭＶＰ予測パラメータ導出部１１２２には、符号化パラメータ決定部１１０から入力される予測モードpredModeがインター予測モードを示す場合、符号化パラメータ決定部１１０からベクトルmvLXが入力される。ＡＭＶＰ予測パラメータ導出部１１２２は、入力されたベクトルmvLXに基づいて予測ベクトルmvpLXを導出する。ＡＭＶＰ予測パラメータ導出部１１２２は、導出した予測ベクトルmvpLXを減算部１１２３に出力する。なお、参照ピクチャインデックスrefIdx及びベクトルインデックスmvp_LX_idxは、インター予測パラメータ符号化制御部１１２４に出力される。
【０３８１】
減算部１１２３は、符号化パラメータ決定部１１０から入力されたベクトルmvLXから、ＡＭＶＰ予測パラメータ導出部１１２２から入力された予測ベクトルmvpLXを減算して差分ベクトルmvdLXを生成する。差分ベクトルmvdLXはインター予測パラメータ符号化制御部１１２４に出力する。
【０３８２】
インター予測パラメータ符号化制御部１１２４は、インター予測に関連する符号（シンタックス要素）の符号化を可変長符号化部１０４に指示し、符号化データに含める符号（シンタックス要素）を例えば、分割モードpart_mode、マージフラグmerge_flag、マージインデックスmerge_idx、インター予測識別子inter_pred_idc、参照ピクチャインデックスrefIdxLX、予測ベクトルインデックスmvp_LX_idx、差分ベクトルmvdLXを符号化する。
【０３８３】
インター予測パラメータ符号化制御部１１２４は、予測モードpredModeがマージ予測モードを示す場合には、符号化パラメータ決定部１１０から入力されたマージインデックスmerge_idxを可変長符号化部１０４に出力する。
【０３８４】
インター予測パラメータ符号化制御部１１２４は、予測モードpredModeがインター予測モードを示す場合には、符号化パラメータ決定部１１０から入力された参照ピクチャインデックスrefIdxLX及びベクトルインデックスmvp_LX_idx、減算部１１２３から入力された差分ベクトルmvdLXを、可変長符号化部１０４に出力する。
【０３８５】
以上のように、レイヤ間画像マッピング部３１５において、対象レイヤ（例えば拡張レイヤ）と参照レイヤ（例えばベースレイヤ）との間のレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY等）に基づいて、リサンプル参照レイヤピクチャrsPic上の各画素に対応する参照レイヤピクチャrlPic上の参照画素の位置を決定し、その参照画素と周辺画素に所定のリサンプルフィルタを適用することで、対象画素を生成することができる。これにより、レイヤ間画像予測で使用されるリサンプル画像の精度を向上させる効果を得ることができる。特に、ピクチャ単位で対象レイヤと参照レイヤの対応領域が変化するシーケンスに対しては、参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間画像マッピングを行う場合に比べて、アクティブ参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間画像マッピングを行うことにより、よりレイヤ間画像予測で使用されるリサンプル画像の精度をより向上させる効果を奏する。それに伴いレイヤ間画像予測の予測精度も向上するため、符号化効率の向上を図ることが可能となる。
【０３８６】
以上のように、レイヤ間動きマッピング部３１６において、対象レイヤ（例えば拡張レイヤ）と参照レイヤ（例えばベースレイヤ）との間のレイヤ間対応関係パラメータ（OffsetL、OffsetT、OffsetR、OffsetB、SRLPW、SRLPH、ScaleFactorX、ScaleFactorY等）に基づいて、リサンプル参照レイヤピクチャrsPic上の対象ブロックに対応する参照レイヤピクチャrlPic上の参照画像ブロックを決定し、参照画像ブロックの動き情報に基づいて対象ブロックの動き情報を生成することができる。これにより、レイヤ間動き予測で使用される動き情報（テンポラル動き情報）の精度を向上させる効果を得ることができる。特に、ピクチャ単位で対象レイヤと参照レイヤの対応領域が変化するシーケンスに対しては、参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間動きマッピングを行う場合に比べて、アクティブ参照レイヤ対応領域情報により導出されるレイヤ間対応関係パラメータに基づいてレイヤ間動きマッピングを行うことにより、よりレイヤ間動き予測で使用される動き情報（テンポラル動き情報）の精度をより向上させる効果を奏する。それに伴いレイヤ間動き予測の予測精度も向上するため、符号化効率の向上を図ることが可能となる。
【０３８７】
＜予測パラメータ符号化部１１１の変形例１＞
上述の例では、対象ＣＵの予測タイプがインター予測である場合に、各ＰＵ単位で、参照画像リスト上の参照レイヤの画像（リサンプル参照レイヤピクチャrsPic）を示す参照画像インデックスを指定することで、レイヤ間画像予測を利用することが可能である。対象ＣＵにおいてレイヤ間画像予測を利用するかどうかは、上記例に限定されず、対象ＣＵ内で、明示的にレイヤ間画像予測フラグtexture_rl_flagを通知することにより可能である。図２１は、ＣＵ単位でレイヤ間画像予測フラグtexture_rl_flagを含む場合の符号化データの構成を示す図である。図２１に示す通り、ＣＵ単位の符号化データは、SYNCU01に示すレイヤ間画像予測フラグ(texture_rl_flag)、SYNCU02に示すCUタイプ情報(予測モードフラグ(pred_mode_flag))、SYNCU03に示すPU分割タイプ(part_mode)、並びに図示しないＰＵ情報、およびＴＵ情報から構成される。
【０３８８】
以下、図２６を用いて、ＣＵ単位でレイヤ間画像予測フラグを含む場合の符号化データを符号化する動作を説明する。なお、予測パラメータ符号化部１１１の変形例１は、予測パラメータ復号部３０２の逆処理に相当する。
【０３８９】
（Ｓ７０１）予測パラメータ符号化部１１１は、所定のパラメータセット（例えば、ＶＰＳ）単位毎に、符号化パラメータ決定部１１０で決定された、参照レイヤ指定情報、及びレイヤ間予測タイプ情報に基づいて、対象レイヤiが参照レイヤｊからのレイヤ間画像予測の有無を示すレイヤ間画像予測有無フラグSamplePredEnableFlag[i][j]を導出する。
また、予測パラメータ符号化部１１１は、可変長符号化部１０４へ指示して、上記参照レイヤ指定情報、及びレイヤ間予測タイプ情報の符号を符号化する。また、予測パラメータ符号化部１１１は、所定のパラメータセット（例えば、ＳＰＳ）単位毎に、符号化パラメータ決定部１１０で決定された、参照レイヤ対応領域情報の符号を可変長符号化部１０４へ指示して符号化する。さらに、予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０において、参照レイヤ対応領域情報に基づいて決定された、レイヤ間画像予測制約フラグを可変長符号化部１０４へ指示して符号化する。
【０３９０】
（Ｓ７０２）予測パラメータ符号化部１１１は、所定パラメータセット（例えば、スライスヘッダ）単位毎に、符号化パラメータ決定部１１０で決定されたアクティブ参照レイヤ対応領域情報の符号を可変長符号化部１０４へ指示して符号化する。さらに、予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０で決定された参照レイヤ対応領域情報、及びアクティブ参照レイヤ対応領域情報に基づいて、対象ピクチャが参照する各リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLAの位置情報（OffsetL、OffsetT、OffsetR、OffsetB）とサイズ情報（SRLPW、SRLPH）を導出する。具体的な導出方法は説明済のため省略する。続いて、各ＣＴＢにおいて、以下の処理を行う。
【０３９１】
（Ｓ７０３）ＣＵのループを開始する。ＣＵのループはＣＴＢに含まれる全てのＣＵを順に処理することで行われる。
【０３９２】
（Ｓ７０４）予測パラメータ符号化部１１１は、レイヤ間画像予測適用可フラグInterLayerSamplePredEnableFlag、及びレイヤ間画像予測禁止フラグNoInterlayerSamplePredFlagを導出する。なお、レイヤ間画像予測適用可フラグ、およびレイヤ間画像予測禁止フラグの導出方法は、図２２のＳ６０４と同一であるため、説明を省略する。
【０３９３】
（Ｓ７０５）予測パラメータ符号化部１１１は、対象レイヤcurLayerId、レイヤ間画像予測適用可フラグInterLayerSamplePredEnableFlagとレイヤ間画像予測禁止フラグNoInterLayerSamplePredFlagが前述の式(J-1)を満たすかを判定する。式（J-1）において、値が真の場合（Ｓ７０５においてＹｅｓ）、ステップＳ７０６へ遷移し、予測パラメータ符号化部１１１は、符号化パラメータ決定部１１０で決定されたレイヤ間画像予測フラグtexture_rl_flag（図２１上のSYNCU01）を可変長符号化部１１０へ指示し符号化する（Ｓ７０６）。それ以外の場合（式(J-1)の値が偽の場合）、レイヤ間画像予測フラグtexture_rl_flagの符号化を省略し、ステップＳ７０８へ遷移する。
【０３９４】
（Ｓ７０８）レイヤ間画像予測フラグの値が１であるかを判定する。同フラグの値が真である場合、ステップＳ７１１へ遷移する。同フラグの値が偽の場合、ステップＳ７０９へ遷移する。
【０３９５】
（Ｓ７０９）対象ＣＵのＣＵタイプを示すＣＵタイプ情報、例えば図２１上のSYNCU02に示す予測モードフラグ(pred_mode_flag)を符号化する。なお、予測モードフラグが０の場合、予測モードフラグの符号化後に、図２１上のSYNCU03に示すＰＵ分割タイプ情報(part_mode)がさらに符号化されうる。
【０３９６】
（Ｓ７１０）対象ＣＵ内に含まれる各ＰＵ単位のＰＵ情報が符号化される。
【０３９７】
（Ｓ７１１）対象ＣＵ内に含まれる各ＴＵ単位のＴＵ情報が符号化される。
【０３９８】
（Ｓ７１２）ＣＵ単位のループの終端である。
【０３９９】
上記予測パラメータ符号化部１１１の変形１によれば、対象ＣＵのレイヤ間画像予測フラグ(texture_rl_flag)を、明示的に符号化するか否かをレイヤ間画像予測適用可フラグおよびレイヤ間画像予測禁止フラグに基づいて制御する。特に、参照レイヤ対応領域情報、またはアクティブ参照レイヤ対応領域情報で指定される参照レイヤ対応領域SRLA外の画素を含むレイヤ間画像予測を禁止することを示すレイヤ間画像予測制約フラグが１である場合、対象ＣＵに対応するリサンプル参照レイヤピクチャrsPic上の対応領域が参照レイヤ対応領域SRLAを跨ぐレイヤ間画像予測が利用されないことが画像復号装置と画像符号化装置間において保障されている。従って。対象ＣＵに対応するリサンプル参照レイヤピクチャrsPic上の対応領域が参照レイヤ対応領域SRLAを跨ぐ場合（前述の条件（Ａ１）〜（Ａ４）のいずれかを満たす場合）、レイヤ間画像予測フラグの符号化を省略することにより、レイヤ間画像予測フラグの符号化に係る処理量を低減することができる。また、レイヤ間画像予測フラグに係る符号量を削減することができるため、符号効率の向上の効果を奏する。また、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLA外の画素が、レイヤ間画像予測において参照されないことが補償されているため、参照レイヤ対応領域外の画素をレイヤ間画像マッピング（リサンプリング処理）によって生成する処理を省略することができる。また、参照ピクチャメモリにおいて、リサンプル参照レイヤピクチャrsPic上の参照レイヤ対応領域SRLA外の画素を保持するためのメモリを削減することができる。
【０４００】
＜予測パラメータ符号化部１１１の変形例２＞
なお、上記の例では、レイヤ間画像予測制約フラグが１の場合は、参照レイヤ対応領域情報、またはアクティブ参照レイヤ対応領域情報で指定される参照レイヤ対応領域SRLA外の画素を参照するレイヤ間画像予測の使用を禁止することを示すこと前提に説明したが、それに限定されない。レイヤ間画像予測制約フラグが１の場合は、参照レイヤ対応領域情報、またはアクティブ参照レイヤ対応領域情報で指定される参照レイヤ対応領域SRLA外の画素のみを参照するレイヤ間画像予測の使用を禁止することを示してもよい。
【０４０１】
この場合、上記ステップＳ７０４において、レイヤ間画像予測禁止フラグを導出する条件式を前述の条件（Ａ１）〜（Ａ４）の代わりに、前述の条件（Ｂ１）〜（Ｂ４）へ置き換えればよい。
【０４０２】
上記予測パラメータ符号化部１１１の変形例２によれば、対象ＣＵのレイヤ間画像予測フラグ(texture_rl_flag)を、明示的に符号化するか否かをレイヤ間画像予測適用可フラグおよびレイヤ間画像予測禁止フラグに基づいて制御する。特に、レイヤ間画像予測制約フラグが１である場合、対象ＣＵに対応するリサンプル参照レイヤピクチャrsPic上の対応領域が参照レイヤ対応領域SRLA外の画素のみを参照するレイヤ間画像予測が利用されないことが画像復号装置と画像符号化装置間において保障されている。従って。対象ＣＵに対応するリサンプル参照レイヤピクチャrsPic上の対応領域が参照レイヤ対応領域SRLA外の画素のみを参照する場合（前述の条件（Ｂ１）〜（Ｂ４）のいずれかを満たす場合）、レイヤ間画像予測フラグの符号化を省略することにより、レイヤ間画像予測フラグの符号化に係る処理量を低減することができる。また、レイヤ間画像予測フラグに係る符号量を削減することができるため、符号効率の向上の効果を奏する。
【０４０３】
（他の階層動画像符号化／復号システムへの適用例）
上述した階層動画像符号化装置２及び階層動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用できる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
【０４０４】
図２７に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の送信および受信に利用できることを説明する。図２７の（ａ）は、階層動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。
【０４０５】
図２７の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３とを備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
【０４０６】
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２７の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
【０４０７】
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
【０４０８】
図２７の（ｂ）は、階層動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２７の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３とを備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
【０４０９】
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２７の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
【０４１０】
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
【０４１１】
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
【０４１２】
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
【０４１３】
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
【０４１４】
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
【０４１５】
図２８に基づいて、上述した階層動画像符号化装置２および階層動画像復号装置１を、動画像の記録および再生に利用できることを説明する。図２８の（ａ）は、上述した階層動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。
【０４１６】
図２８の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
【０４１７】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリ等のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）等のように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０４１８】
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２８の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
【０４１９】
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
【０４２０】
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
【０４２１】
図２８の（ｂ）は、上述した階層動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２８の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
【０４２２】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０４２３】
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２８の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
【０４２４】
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
【０４２５】
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
【０４２６】
（ハードウェア的実現およびソフトウェア的実現について）
最後に、階層動画像復号装置１、階層動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０４２７】
後者の場合、上記各装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（Micro Processing Unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０４２８】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯ（Magneto-Optical）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０４２９】
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０４３０】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０４３１】
本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用できる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用できる。
【符号の説明】
【０４３２】
１          階層動画像復号装置（画像復号装置）
１１        ＮＡＬ逆多重化部
１２        対象レイヤピクチャ復号部（画像復号装置）
１３        参照レイヤピクチャ復号部（画像復号装置）
３０１      可変長復号部
３０２      予測パラメータ復号部
３０３      インター予測パラメータ復号部
３０４      イントラ予測パラメータ復号部
３２０      レイヤ間情報導出部
３０６      参照ピクチャメモリ
３０７      予測パラメータメモリ
３０８      予測画像生成部
３０９      インター予測画像生成部
３１０      イントラ予測画像生成部
３１１      逆量子化・逆DCT部
３１２      加算部
３１４      リサンプリング部
３１５      レイヤ間画像マッピング部
３１５１    参照画素導出部
３１５２    リサンプル画像生成部
３１６      レイヤ間動きマッピング部
３１６１    参照画像ブロック導出部
３１６２    動き情報生成部
３０２０    レイヤ間情報導出部
３０３１    インター予測パラメータ復号制御部
３０３２    ＡＭＶＰ予測パラメータ導出部
３０３５    加算部
３０３６    マージ予測パラメータ導出部
３０３６１    マージ候補導出部
３０３６２    マージ候補選択部
３０３６１１    マージ候補格納部
３０３６１３    基本マージ候補導出部
３０３６１３１    空間マージ候補導出部
３０３６１３２    時間マージ候補導出部
３０３６１３３    結合マージ候補導出部
３０３６１３４    ゼロマージ候補導出部
３０３３    ベクトル候補導出部
３０３４    予測ベクトル選択部
３０３３１    ベクトル候補格納部
３０３３２    基本ベクトル候補導出部
３０３３２１    空間ベクトル候補導出部
３０３３２２    時間ベクトル候補導出部
３０３３２３    ゼロベクトル候補導出部
２          階層動画像符号化装置（画像符号化装置）
２１        ＮＡＬ多重化部
２２        対象レイヤピクチャ符号化部
１０２    減算部
１０３    ＤＣＴ・量子化部
１０４    可変長符号化部
１０５    逆量子化・逆ＤＣＴ部
１０６    加算部
１０８    予測パラメータ符号部
１０９    参照ピクチャメモリ
１１０    符号化パラメータ決定部
１１１    予測パラメータ符号化部
１１２    インター予測パラメータ符号化部
１１３    イントラ予測パラメータ符号化部
１１４    参照レイヤ対応領域推定部
１１２１    マージ予測導出部
１１２２    ＡＭＶＰ予測パラメータ導出部
１１２３    減算部
１１２４    インター予測パラメータ符号化制御部
１１６０    レイヤ間情報導出部
【図１】
2015035641.tif 000003
【図２】
2015035641.tif 000004
【図３】
2015035641.tif 000005
【図４】
2015035641.tif 000006
【図５】
2015035641.tif 000007
【図６】
2015035641.tif 000008
【図７】
2015035641.tif 000009
【図８】
2015035641.tif 000010
【図９】
2015035641.tif 000011
【図１０】
2015035641.tif 000012
【図１１】
2015035641.tif 000013
【図１２】
2015035641.tif 000014
【図１３】
2015035641.tif 000015
【図１４】
2015035641.tif 000016
【図１５】
2015035641.tif 000017
【図１６】
2015035641.tif 000018
【図１７】
2015035641.tif 000019
【図１８】
2015035641.tif 000020
【図１９】
2015035641.tif 000021
【図２０】
2015035641.tif 000022
【図２１】
2015035641.tif 000023
【図２２】
2015035641.tif 000024
【図２３】
2015035641.tif 000025
【図２４】
2015035641.tif 000026
【図２５】
2015035641.tif 000027
【図２６】
2015035641.tif 000028
【図２７】
2015035641.tif 000029
【図２８】
2015035641.tif 000030
【図２９】
2015035641.tif 000031
【図３０】
2015035641.tif 000032
【図３１】
2015035641.tif 000033
【図３２】
2015035641.tif 000034
【図３３】
2015035641.tif 000035
【図３４】
2015035641.tif 000036
【図３５】
2015035641.tif 000037