(57)【要約】【課題】階層が増加してもフィルタパラメータの符号量を増加させることなく、符号化効率を向上させる。【解決手段】下位レイヤの復号画像を復元するときに用いたフィルタパラメータから、適用するフィルタのフィルタパラメータを導出するフィルタパラメータ復元部１６と、フィルタパラメータ復元部１６が導出したフィルタパラメータを用いて、フィルタを適用するテクスチャ復元部１５を備えている。【選択図】図１
2014013976.tif 000002
【特許請求の範囲】
【請求項１】
階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、下位レイヤの符号化情報または復号画像を参照して生成した上位レイヤの予測画像を用いて上位レイヤの復号画像を復元する画像復号装置であって、
上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータを導出するフィルタパラメータ導出手段と、
上記フィルタパラメータ導出手段が導出したフィルタパラメータを用いて、上記上位レイヤの予測画像または復号画像に対してフィルタを適用するフィルタ適用手段と、を備えていることを特徴とする画像復号装置。
【請求項２】
上記フィルタパラメータ導出手段は、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータを、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータとすることを特徴とする請求項１に記載の画像復号装置。
【請求項３】
上記上位レイヤの符号化データには、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータとの差分値が格納されており、
上記フィルタパラメータ導出手段は、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータと上記差分値との和を、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータとして導出することを特徴とする請求項１に記載の画像復号装置。
【請求項４】
上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する領域毎に、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから導出した値か、上記上位レイヤの符号化データに格納されている値の何れかを導出するフィルタパラメータとすることを特徴とする請求項１に記載の画像復号装置。
【請求項５】
上記フィルタパラメータ導出手段は、単位領域毎に、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから導出した値か、上記上位レイヤの符号化データに格納されている値の何れかを導出するフィルタパラメータとすることを特徴とする請求項１に記載の画像復号装置。
【請求項６】
上記フィルタパラメータ導出手段は、単位領域毎に、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから導出した値か、フィルタを適用する対象領域が含まれている単位領域の左隣接単位領域を復号したときに用いたフィルタパラメータの値を導出するフィルタパラメータとすることを特徴とする請求項１に記載の画像復号装置。
【請求項７】
上記上位レイヤと上記下位レイヤとの単位領域サイズ比、水平画素数比、および垂直画素数比が同じ場合、
上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する対象領域のピクチャ全体における位置と一致する、下位レイヤのピクチャ全体における位置の単位領域を復号するときに用いたフィルタパラメータを導出するフィルタパラメータとすることを特徴とする請求項１〜６のいずれか１項に記載の画像復号装置。
【請求項８】
上記上位レイヤと上記下位レイヤとの単位領域サイズ比、水平画素数比、および垂直画素数比の少なくとも何れかが異なる場合、
上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する対象領域の左上座標が一致する、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを導出するフィルタパラメータとすることを特徴とする請求項１〜６のいずれか１項に記載の画像復号装置。
【請求項９】
上記上位レイヤと上記下位レイヤとの単位領域サイズ比、水平画素数比、および垂直画素数比の少なくとも何れかが異なる場合、
上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する対象領域と重なる領域が最も広い、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを導出するフィルタパラメータとすることを特徴とする請求項１〜６のいずれか１項に記載の画像復号装置。
【請求項１０】
上記上位レイヤと上記下位レイヤとの単位領域サイズ比、水平画素数比、および垂直画素数比の少なくとも何れかが異なる場合、上記フィルタ適用手段がフィルタを適用する対象領域と対応する上記下位レイヤの単位領域が予め定められており、
上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する対象領域と対応する、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを導出するフィルタパラメータとすることを特徴とする請求項１〜６のいずれか１項に記載の画像復号装置。
【請求項１１】
下位レイヤの符号化情報または復号画像を参照して生成した上位レイヤの予測画像を原画像から減算して得られる残差を符号化して上位レイヤの符号化データを生成する画像符号化装置であって、
上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータを導出するフィルタパラメータ導出手段と、
上記フィルタパラメータ導出手段が導出したフィルタパラメータを用いて、上記上位レイヤの予測画像または復号画像に対してフィルタを適用するフィルタ適用手段と、を備えていることを特徴とする画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が階層的に符号化された階層符号化データを復号する画像復号装置、および画像を階層的に符号化することによって階層符号化データを生成する画像符号化装置に関する。
【背景技術】
【０００２】
通信システムで伝送される情報、あるいは蓄積装置に記録される情報の１つに画像あるいは動画像がある。従来、これらの画像（以降、動画像を含む）の伝送・蓄積のため、画像を符号化する技術が知られている。
【０００３】
動画像符号化方式としては、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣや、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）が知られている（非特許文献１）。これらの動画像符号化方式では、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。
【０００４】
イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。インター予測においては、フレーム間の動き補償により予測画像が生成される。動き補償に関する情報（動き補償パラメータ）は、たいていの場合、符号量の削減のため直接符号化されない。そこで、インター予測では、対象ブロック周辺の復号状況等に基づく動き補償パラメータの推定が行われる。
【０００５】
また、必要なデータレートに従って、画像を階層的に符号化する階層符号化技術も提案されている。階層符号化の方式としては、ＩＳＯ／ＩＥＣとＩＴＵ−Ｔの標準としてＨ．２６４／ＡＶＣ  Ａｎｎｅｘ  Ｇ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＳＶＣ）が挙げられる。
【０００６】
ＳＶＣでは空間スケーラビリティ、時間スケーラビリティ、ＳＮＲスケーラビリティをサポートする。例えば空間スケーラビリティの場合、原画像から所望の解像度にダウンサンプリングした画像を下位レイヤとしてＨ．２６４／ＡＶＣで符号化する。次に上位レイヤではレイヤ間の冗長性を除去するためにレイヤ間予測を行う。
【０００７】
レイヤ間予測としては、動き予測に関する情報を同時刻の下位レイヤの情報から予測する動き情報予測、あるいは同時刻の下位レイヤの復号画像をアップサンプリングした画像から予測するテクスチャ予測がある（非特許文献１）。上記動き情報予測では、参照レイヤの動き情報を推定値として動き情報が符号化される。
【０００８】
また、画像符号化あるいは復号処理のループの中でフィルタ処理を施すループフィルタ技術が提案されている。
【０００９】
ループフィルタは、原画と、予測画像に予測誤差画像を加算した復号画像との差分を最小にする（客観画質を向上させる）、あるいは主観画質を向上させることを目的として設けられる。ループフィルタを適用した復号画像を、予測画像を生成するときの動き補償で用いる参照画像とすることで、参照画像の客観・主観画質を向上させ、さらには動き補償を用いて符号化する以降の画像の画質を向上させることができる。このループフィルタの例としては、デブロッキングフィルタ、ＳＡＯ（サンプル適応オフセット、適応フィルタ）フィルタ、ＡＬＦ（適応ループフィルタ、適応フィルタ）が挙げられる（非特許文献２）。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】ITU-T H.264 「Advanced video coding for generic audiovisual services」（２００７年１１月公開）
【非特許文献２】「JCTVC-H1003_dk High efficiency video coding (HEVC) text specification draft6」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: San Jose, US, 1-10 February, 2012（２０１２年２月１７日公開）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
上述したように、フィルタ処理を行うことにより、参照画像の客観・主観画質を向上させることができる。しかしながら、上述した従来技術文献には、階層符号化において適応フィルタを用いることは記載されていない。
【００１２】
また、フィルタパラメータを各階層毎に独立して符号化すると、階層の増加とともにフィルタパラメータの符号量が多くなり符号化効率が低下してしまう。
【００１３】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、階層が増加してもフィルタパラメータの符号量を増加させることなく、符号化効率を向上させることができる画像復号装置等を実現することにある。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明に係る画像復号装置は、階層符号化された符号化データに含まれる上位レイヤの符号化データを復号し、下位レイヤの符号化情報または復号画像を参照して生成した上位レイヤの予測画像を用いて上位レイヤの復号画像を復元する画像復号装置であって、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータを導出するフィルタパラメータ導出手段と、上記フィルタパラメータ導出手段が導出したフィルタパラメータを用いて、上記上位レイヤの予測画像または復号画像に対してフィルタを適用するフィルタ適用手段と、を備えていることを特徴としている。
【００１５】
上記の構成によれば、上位レイヤの予測画像または復号画像に対し適用するフィルタのフィルタパラメータを、下位レイヤの復号画像を復元するときに用いたフィルタのフィルタパラメータから導出することができる。
【００１６】
これにより、上位レイヤで用いるフィルタのフィルタパラメータを上位レイヤで符号化する必要がなくなり、上位レイヤの符号量を減らすことができる。
【００１７】
また、下位レイヤで用いたフィルタパラメータから、上位レイヤのフィルタパラメータを推定するので、レイヤ数が増えても、上位レイヤの符号量が増えることを抑制することができる。
【００１８】
本発明に係る画像復号装置では、上記フィルタパラメータ導出手段は、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータを、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータとするものであってもよい。
上記の構成によれば、下位レイヤの復号画像を復元するときに用いたフィルタパラメータを、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータとするので、容易にフィルタパラメータを導出することができる。
【００１９】
本発明に係る画像復号装置では、上記上位レイヤの符号化データには、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータとの差分値が格納されており、
上記フィルタパラメータ導出手段は、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータと上記差分値との和を、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータとして導出するものであってもよい。
【００２０】
上記の構成によれば、上位レイヤに、下位レイヤで用いたフィルタパラメータとの差分値が格納され、該差分値を用いて上位レイヤで用いるフィルタパラメータを導出することができる。これにより、フィルタパラメータそのものを符号化するよりも少ない符号量でフィルタパラメータを導出することができる。
【００２１】
本発明に係る画像復号装置では、上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する領域毎に、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから導出した値か、上記上位レイヤの符号化データに格納されている値の何れかを導出するフィルタパラメータとするものであってもよい。
【００２２】
上記の構成によれば、フィルタを適用する領域毎に、下位レイヤのフィルタパラメータを用いるか、符号化されているフィルタパラメータを用いるかを決定することができ、それぞれの領域で適当なフィルタパラメータを適切に選択することができる。
【００２３】
本発明に係る画像復号装置では、上記フィルタパラメータ導出手段は、単位領域毎に、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから導出した値か、上記上位レイヤの符号化データに格納されている値の何れかを導出するフィルタパラメータとするものであってもよい。
【００２４】
上記の構成によれば、単位領域毎に、下位レイヤで用いたフィルタパラメータを用いるか、符号化されているフィルタパラメータを用いるか決定することができるので、フィルタを適用する領域毎に適用するフィルタパラメータを決定する場合よりも、フィルタパラメータの符号量を減らすことができる。
【００２５】
なお、例えば、単位領域としては、ＣＴＢ（coded tree block）を挙げることができる。
【００２６】
本発明に係る画像復号装置では、上記フィルタパラメータ導出手段は、単位領域毎に、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから導出した値か、フィルタを適用する対象領域が含まれている単位領域の左隣接単位領域を復号したときに用いたフィルタパラメータの値を導出するフィルタパラメータとするものであってもよい。
【００２７】
上記の構成によれば、単位領域毎に、下位レイヤで用いたフィルタパラメータを用いるか、フィルタを適用する対象領域が含まれている単位領域の左隣接単位領域を復号したときに用いたフィルタパラメータを決定することができるので、フィルタを適用する領域毎に適用するフィルタパラメータを決定する場合よりも、フィルタパラメータの符号量を減らすことができる。
【００２８】
本発明に係る画像復号装置では、上記上位レイヤと上記下位レイヤとの単位領域サイズ比、水平画素数比、および垂直画素数比が同じ場合、上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する対象領域のピクチャ全体における位置と一致する、下位レイヤのピクチャ全体における位置の単位領域を復号するときに用いたフィルタパラメータを導出するフィルタパラメータとするものであってもよい。
【００２９】
上記の構成によれば、フィルタを適用する対象領域と対応する下位レイヤの単位領域を復号するときに用いたフィルタパラメータを、上記対象領域に適用するフィルタのフィルタパラメータとすることができるので、適切なフィルタパラメータを用いることができる。
【００３０】
本発明に係る画像復号装置では、上記上位レイヤと上記下位レイヤとの単位領域サイズ比、水平画素数比、および垂直画素数比の少なくとも何れかが異なる場合、上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する対象領域の左上座標が一致する、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを導出するフィルタパラメータとするものであってもよい。
【００３１】
上記の構成によれば、フィルタを適用する対象領域の左上座標が一致する、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを、上記対象領域に適用するフィルタのフィルタパラメータとすることができるので、適切なフィルタパラメータを用いることができる。
【００３２】
本発明に係る画像復号装置では、上記上位レイヤと上記下位レイヤとの単位領域サイズ比、水平画素数比、および垂直画素数比の少なくとも何れかが異なる場合、上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する対象領域と重なる領域が最も広い、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを導出するフィルタパラメータとするものであってもよい。
【００３３】
上記の構成によれば、フィルタを適用する対象領域と重なる領域が最も広い、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを、上記対象領域に適用するフィルタのフィルタパラメータとすることができるので、適切なフィルタパラメータを用いることができる。
【００３４】
本発明に係る画像復号装置では、上記上位レイヤと上記下位レイヤとの単位領域サイズ比、水平画素数比、および垂直画素数比の少なくとも何れかが異なる場合、上記フィルタ適用手段がフィルタを適用する対象領域と対応する上記下位レイヤの単位領域が予め定められており、上記フィルタパラメータ導出手段は、上記フィルタ適用手段がフィルタを適用する対象領域と対応する、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを導出するフィルタパラメータとするものであってもよい。
【００３５】
上記の構成によれば、フィルタを適用する対象領域と対応する、下位レイヤの単位領域を復号するときに用いたフィルタパラメータを、上記対象領域に適用するフィルタのフィルタパラメータとすることができるので、適切なフィルタパラメータを用いることができる。
【００３６】
上記課題を解決するために、本発明に係る画像符号化装置は、下位レイヤの復号画像を参照して生成した上位レイヤの予測画像を原画像から減算して得られる残差を符号化して上位レイヤの符号化データを生成する画像符号化装置であって、上記下位レイヤの復号画像を復元するときに用いたフィルタパラメータから、上記上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータを導出するフィルタパラメータ導出手段と、上記フィルタパラメータ導出手段が導出したフィルタパラメータを用いて、上記上位レイヤの予測画像または復号画像に対してフィルタを適用するフィルタ適用手段と、を備えていることを特徴としている。
【００３７】
上記の構成によれば、上位レイヤの予測画像または復号画像に適用するフィルタのフィルタパラメータを、下位レイヤの復号画像を復元するときに用いたフィルタのフィルタパラメータから導出することができる。
【００３８】
これにより、上位レイヤで用いるフィルタのフィルタパラメータを上位レイヤで符号化する必要がなくなり、上位レイヤの符号量を減らすことができる。
【００３９】
また、下位レイヤで用いたフィルタパラメータから、上位レイヤのフィルタパラメータを導出するので、レイヤ数が増えても、上位レイヤの符号量が増えることを抑制することができる。
【発明の効果】
【００４０】
以上のように、本発明に係る画像復号装置は、下位レイヤの復号画像を復元するときに用いたフィルタパラメータから、上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータを導出するフィルタパラメータ導出手段と、上記フィルタパラメータ導出手段が導出したフィルタパラメータを用いて、上記上位レイヤの予測画像または復号画像に対してフィルタを適用するフィルタ適用手段と、を備えていることを特徴としている。
【００４１】
また、本発明に係る画像符号化装置は、下位レイヤの復号画像を復元するときに用いたフィルタパラメータから、上位レイヤの予測画像または復号画像に対して適用するフィルタのフィルタパラメータを導出するフィルタパラメータ導出手段と、上記フィルタパラメータ導出手段が導出したフィルタパラメータを用いて、上記上位レイヤの予測画像または復号画像に対してフィルタを適用するフィルタ適用手段と、を備えていることを特徴としている。
【００４２】
これにより、上位レイヤで用いるフィルタのフィルタパラメータを上位レイヤで符号化する必要がなくなり、上位レイヤの符号量を減らすことができるという効果を奏する。
【００４３】
また、下位レイヤで用いたフィルタパラメータから、上位レイヤのフィルタパラメータを推定するので、レイヤ数が増えても、上位レイヤの符号量が増えることを抑制することができるという効果を奏する。
【図面の簡単な説明】
【００４４】
【図１】本発明の実施の形態を示すものであり、階層動画像復号装置の概略的構成を示す機能ブロック図である。
【図２】上記実施の形態に係る階層符号化データのレイヤ構造を説明するための図であり、（ａ）は階層動画像符号化装置側について示す図であり、（ｂ）は階層動画像復号装置側について示す図である。
【図３】上記実施の形態に係る階層符号化データの構成を説明するための図であり、（ａ）はシーケンスＳＥＱを規定するシーケンスレイヤを示す図であり、（ｂ）はピクチャＰＩＣＴを規定するピクチャレイヤを示す図であり、（ｃ）はスライスＳを規定するスライスレイヤを示す図であり、（ｄ）はツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤを示す図であり、（ｅ）はツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
【図４】ＰＵ分割タイプのパターンを示す図であり、（ａ）〜（ｈ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤの場合のパーティション形状について示している。
【図５】上記階層動画像復号装置が備える予測パラメータ復元部の概略的構成を示す機能ブロック図である。
【図６】上記階層動画像復号装置において利用可能なイントラ予測の方向について示す図である。
【図７】イントラ予測モードと、当該イントラ予測モードに対応付けられている名前とを示す図である。
【図８】上記階層動画像復号装置が備えるテクスチャ復元部の概略的構成を示す機能ブロック図である。
【図９】上記階層動画像復号装置が備えるベース復号部の概略的構成を示す機能ブロック図である。
【図１０】上記実施の形態に係る符号化データの構成例を示す図であり、（ａ）は推定値をそのまま用いる場合を示す図であり、（ｂ）は推定値に加え差分値を符号化する場合を示す図であり、（ｃ）はパラメータ毎に、推定値をそのまま用いる場合と推定値に加え差分値を符号化する場合とを組み合わせる場合を示す図である。
【図１１】（ａ）、（ｂ）は、フラグを用いて参照レイヤから推定するか否かを切り換える構成におけるシンタクス例を示す図である。
【図１２】参照レイヤから推定するか否かを、複数のパラメータについて１つのフラグで切り換える構成におけるシンタクス例を示す図である。
【図１３】スライスヘッダで参照レイヤフラグを符号化する場合のシンタクス例を示す図である。
【図１４】ＣＴＢ単位で参照レイヤフラグを符号化する場合のシンタクス例を示す図である。
【図１５】（ａ）、（ｂ）は、参照レイヤからＳＡＯパラメータを推定する場合のシンタクス例を示す図である。
【図１６】参照レイヤからＡＬＦパラメータを推定する場合のシンタクス例を示す図である。
【図１７】参照レイヤから推定と隣接ブロックからの推定との併用を説明するための図であり、（ａ）はシンタクス例を示す図であり、（ｂ）は当該併用の概要を示す説明図である。
【図１８】参照レイヤからパラメータを推定する方法を説明するための図である。
【図１９】参照レイヤからパラメータを推定する方法を説明するための図である。
【図２０】（ａ）〜（ｃ）は、参照レイヤからパラメータを推定する方法を説明するための図である。
【図２１】（ａ）〜（ｄ）は、参照レイヤからパラメータを推定する方法を説明するための図である。
【図２２】本発明の一実施形態に係る階層動画像符号化装置の概略的構成を示す機能ブロック図である。
【図２３】上記階層動画像符号化装置が備える予測情報生成部の概略的構成を示す機能ブロック図である。
【図２４】上記階層動画像符号化装置が備えるテクスチャ情報生成部の概略的構成を示す機能ブロック図である。
【図２５】上記階層動画像符号化装置を搭載した送信装置、および、上記階層動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、階層動画像復号装置を搭載した受信装置を示している。
【図２６】上記階層動画像符号化装置を搭載した記録装置、および、上記階層動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、階層動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、階層動画像復号装置を搭載した再生装置を示している。
【発明を実施するための形態】
【００４５】
図１〜２６に基づいて、本発明の一実施の形態に係る階層動画像復号装置１および階層動画像符号化装置２について説明すれば以下の通りである。
【００４６】
〔概要〕
〔階層符号化の概要〕
本実施の形態に係る階層動画像復号装置（画像復号装置）１は、階層動画像符号化装置（画像符号化装置）２によってスケーラブル映像符号化（ＳＶＣ；Scalable Video Coding）された符号化データを復号する。スケーラブル映像符号化とは、動画像を低品質のものから高品質のものにかけて階層的に符号化する符号化方式のことである。スケーラブル映像符号化は、例えば、Ｈ．２６４／ＡＶＣ  Ａｎｎｅｘ Ｇ  ＳＶＣにおいて標準化されている。なお、ここでいう動画像の品質とは、主観的および客観的な動画像の見栄えに影響する要素のことを広く意味する。動画像の品質には、例えば、“解像度”、“フレームレート”、“画質”、および“画素の表現精度”が含まれる。よって、以下、動画像の品質が異なるといえば、例示的には、“解像度”等が異なることを指すが、これに限られない。例えば、異なる量子化ステップで量子化された動画像の場合（すなわち、異なる符号化雑音により符号化された動画像の場合）も互いに動画像の品質が異なるといえる。
【００４７】
また、ＳＶＣは、階層化される情報の種類の観点から、（１）空間スケーラビリティ、（２）時間スケーラビリティ、および（３）ＳＮＲ（Signal to Noise Ratio）スケーラビリティに分類されることもある。空間スケーラビリティとは、解像度や画像のサイズにおいて階層化する技術である。時間スケーラビリティとは、フレーム・レート（単位時間のフレーム数）において階層化する技術である。また、ＳＮＲスケーラビリティは、符号化雑音において階層化する技術である。
【００４８】
本実施形態に係る階層動画像符号化装置２及び階層動画像復号装置１の詳細な説明に先立って、まず（１）階層動画像符号化装置２によって生成され、階層動画像復号装置１によって復号される階層符号化データのレイヤ構造について説明し、次いで（２）各レイヤで採用できるデータ構造の具体例について説明を行う。
〔階層符号化データのレイヤ構造〕
ここで、図２を用いて、階層符号化データの符号化および復号について説明すると次のとおりである。図２は、動画像を、下位階層Ｌ３、中位階層Ｌ２、および上位階層Ｌ１の３階層により階層的に符号化／復号する場合について模式的に表す図である。つまり、図２（ａ）および（ｂ）に示す例では、３階層のうち、上位階層Ｌ１が最上位層となり、下位階層Ｌ３が最下位層となる。
【００４９】
以下において、階層符号化データから復号され得る特定の品質に対応する復号画像は、特定の階層の復号画像（または、特定の階層に対応する復号画像）と称される（例えば、上位階層Ｌ１の復号画像ＰＯＵＴ＃Ａ）。
【００５０】
図２（ａ）は、入力画像ＰＩＮ＃Ａ〜ＰＩＮ＃Ｃをそれぞれ階層的に符号化して符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃを生成する階層動画像符号化装置２＃Ａ〜２＃Ｃを示している。図２（ｂ）は、階層的に符号化された符号化データＤＡＴＡ＃Ａ〜ＤＡＴＡ＃Ｃをそれぞれ復号して復号画像ＰＯＵＴ＃Ａ〜ＰＯＵＴ＃Ｃを生成する階層動画像復号装置１＃Ａ〜１＃Ｃを示している。
【００５１】
まず、図２（ａ）を用いて、符号化装置側について説明する。符号化装置側の入力となる入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃは、原画は同じだが、画像の品質（解像度、フレームレート、および画質等）が異なる。画像の品質は、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃの順に低くなる。
【００５２】
下位階層Ｌ３の階層画像符号化装置２＃Ｃは、下位階層Ｌ３の入力画像ＰＩＮ＃Ｃを符号化して下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃを生成する。下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報が含まれる（図２において“Ｃ”にて示している）。下位階層Ｌ３は、最下層の階層であるため、下位階層Ｌ３の符号化データＤＡＴＡ＃Ｃは、基本符号化データとも称される。
【００５３】
また、中位階層Ｌ２の階層動画像符号化装置２＃Ｂは、中位階層Ｌ２の入力画像ＰＩＮ＃Ｂを、下位階層の符号化データＤＡＴＡ＃Ｃを参照しながら符号化して中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを生成する。中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂには、符号化データＤＡＴＡ＃Ｃに含まれる基本情報“Ｃ”に加えて、中位階層の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報（図２において“Ｂ”にて示している）が含まれる。
【００５４】
また、上位階層Ｌ１の階層動画像符号化装置２＃Ａは、上位階層Ｌ１の入力画像ＰＩＮ＃Ａを、中位階層Ｌ２の符号化データＤＡＴＡ＃Ｂを参照しながら符号化して上位階層Ｌ１の符号化データＤＡＴＡ＃Ａを生成する。上位階層Ｌ１の符号化データＤＡＴＡ＃Ａには、下位階層Ｌ３の復号画像ＰＯＵＴ＃Ｃを復号するのに必要な基本情報“Ｃ”および中位階層Ｌ２の復号画像ＰＯＵＴ＃Ｂを復号するのに必要な付加的情報“Ｂ”に加えて、上位階層の復号画像ＰＯＵＴ＃Ａを復号するのに必要な付加的情報（図２において“Ａ”にて示している）が含まれる。
【００５５】
このように上位階層Ｌ１の符号化データＤＡＴＡ＃Ａは、異なる複数の品質の復号画像に関する情報を含む。
【００５６】
次に、図２（ｂ）を参照しながら復号装置側について説明する。復号装置側では、上位階層Ｌ１、中位階層Ｌ２、および下位階層Ｌ３それぞれの階層に応じた復号装置１＃Ａ、１Ｂ、および１＃Ｃが、符号化データＤＡＴＡ＃Ａ、ＤＡＴＡ＃Ｂ、およびＤＡＴＡ＃Ｃを復号して復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを出力する。
【００５７】
なお、上位の階層符号化データの一部の情報を抽出して、より下位の特定の復号装置において、当該抽出した情報を復号することで特定の品質の動画像を再生することもできる。
【００５８】
例えば、中位階層Ｌ２の階層動画像復号装置１＃Ｂは、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａから、復号画像ＰＯＵＴ＃Ｂを復号するのに必要な情報（すなわち、階層符号化データＤＡＴＡ＃Ａに含まれる“Ｂ”および“Ｃ”）を抽出して、復号画像ＰＯＵＴ＃Ｂを復号してもよい。言い換えれば、復号装置側では、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる情報に基づいて、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃを復号することができる。
【００５９】
なお、以上の３階層の階層符号化データに限られず、階層符号化データは、２階層で階層符号化されていてもよいし、３階層よりも多い階層数にて階層符号化されていてもよい。
【００６０】
また、特定の階層の復号画像に関する符号化データの一部または全部を他の階層とは独立して符号化し、特定の階層の復号の際に、他の階層の情報を参照しなくても済むように階層符号化データを構成してもよい。例えば、図２（ａ）および（ｂ）を用いて上述した例では、復号画像ＰＯＵＴ＃Ｂの復号に“Ｃ”および“Ｂ”を参照すると説明したが、これに限られない。復号画像ＰＯＵＴ＃Ｂが“Ｂ”だけを用いて復号できるように階層符号化データを構成することも可能である。
【００６１】
なお、ＳＮＲスケーラビリティを実現する場合、入力画像ＰＩＮ＃Ａ、ＰＩＮ＃Ｂ、およびＰＩＮ＃Ｃとして同一の原画を用いた上で、復号画像ＰＯＵＴ＃Ａ、ＰＯＵＴ＃Ｂ、およびＰＯＵＴ＃Ｃが異なる画質となるよう階層符号化データを生成することもできる。その場合、下位階層の階層動画像符号化装置が、上位階層の階層動画像符号化装置に較べて、より大きい量子化幅を用いて予測残差を量子化することで階層符号化データを生成する。
【００６２】
本書では、説明の便宜上、次のとおり用語を定義する。以下の用語は、特に断りがなければ、下記の技術的事項のことを表わすのに用いる。
【００６３】
上位レイヤ  ：  ある階層よりも上位に位置する階層のことを、上位レイヤと称する。例えば、図２において、下位階層Ｌ３の上位レイヤは、中位階層Ｌ２および上位階層Ｌ１である。また、上位レイヤの復号画像とは、より品質の高い（例えば、解像度が高い、フレームレートが高い、画質が高い等）復号画像のことをいう。
【００６４】
下位レイヤ  ：  ある階層よりも下位に位置する階層のことを、下位レイヤと称する。例えば、図２において、上位階層Ｌ１の下位レイヤは、中位階層Ｌ２および下位階層Ｌ３である。また、下位レイヤの復号画像とは、より品質の低い復号画像のことをいう。
【００６５】
対象レイヤ  ：  復号または符号化の対象となっている階層のことをいう。
【００６６】
参照レイヤ（reference layer）  ：  対象レイヤに対応する復号画像を復号するのに参照される特定の下位レイヤのことを参照レイヤと称する。
【００６７】
図２（ａ）および（ｂ）に示した例では、上位階層Ｌ１の参照レイヤは、中位階層Ｌ２および下位階層Ｌ３である。しかしながら、これに限られず、特定の上記レイヤの復号において、下位レイヤのすべてを参照しなくてもよいように階層符号化データを構成することもできる。例えば、上位階層Ｌ１の参照レイヤが、中位階層Ｌ２および下位階層Ｌ３のいずれか一方となるように階層符号化データを構成することも可能である。
【００６８】
基本レイヤ（base layer）  ：  最下層に位置する階層のことを基本レイヤと称する。基本レイヤの復号画像は、符号化データから復号され得るもっとも低い品質の復号画像であり、基本（base）復号画像と呼称される。別の言い方をすれば、基本復号画像は、最下層の階層に対応する復号画像のことである。基本復号画像の復号に必要な階層符号化データの部分符号化データは基本符号化データと呼称される。例えば、上位階層Ｌ１の階層符号化データＤＡＴＡ＃Ａに含まれる基本情報“Ｃ”が基本符号化データである。
【００６９】
拡張レイヤ  ：  基本レイヤの上位レイヤは、拡張レイヤと称される。
【００７０】
レイヤ識別子  ：  レイヤ識別子は、階層を識別するためのものであり、階層と１対１に対応する。階層符号化データには特定の階層の復号画像の復号に必要な部分符号化データを選択するために用いられる階層識別子が含まれる。特定のレイヤに対応するレイヤ識別子に関連付けられた階層符号化データの部分集合は、レイヤ表現とも呼称される。
【００７１】
一般に、特定の階層の復号画像の復号には、当該階層のレイヤ表現、および／または、当該階層の下位レイヤに対応するレイヤ表現が用いられる。すなわち、対象レイヤの復号画像の復号においては、対象レイヤのレイヤ表現、および／または、対象レイヤの下位レイヤに含まれる１つ以上階層のレイヤ表現が用いられる。
【００７２】
レイヤ間予測  ：  レイヤ間予測とは、対象レイヤのレイヤ表現と異なる階層（参照レイヤ）のレイヤ表現に含まれるシンタックス要素値、シンタックス要素値より導出される値、および復号画像に基づいて、対象レイヤのシンタックス要素値や対象レイヤの復号に用いられる符号化パラメータ等を予測することである。動き予測に関する情報を（同時刻の）参照レイヤの情報から予測するレイヤ間予測のことを動き情報予測と称することもある。また、（同時刻の）下位レイヤの復号画像をアップサンプリングした画像から予測するレイヤ間予測のことをテクスチャ予測（あるいはレイヤ間イントラ予測）と称することもある。なお、レイヤ間予測に用いられる階層は、例示的には、対象レイヤの下位レイヤである。また、参照レイヤを用いず対象レイヤ内で予測を行うことをレイヤ内予測と称することもある。
【００７３】
なお、以上の用語は、飽くまで説明の便宜上のものであり、上記の技術的事項を別の用語にて表現してもかまわない。
〔階層符号化データのデータ構造について〕
以下、各階層の符号化データを生成する符号化方式として、ＨＥＶＣおよびその拡張方式を用いる場合について例示する。しかしながら、これに限られず、各階層の符号化データを、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣなどの符号化方式により生成してもよい。
【００７４】
また、下位レイヤと上位レイヤとが異なる符号化方式によって符号化されていてもよい。また、階層の符号化データは、互いに異なる伝送路を介して階層動画像復号装置１’に供給されるものであってもよいし、同一の伝送路を介して階層動画像復号装置１’に供給されるものであってもよい。
【００７５】
例えば、超高精細映像（動画像、４Ｋ映像データ）を基本レイヤおよび１つの拡張レイヤによりスケーラブル符号化して伝送する場合、基本レイヤは、４Ｋ映像データをダウンスケーリングし、インタレース化した映像データをＭＰＥＧ−２またはＨ．２６４／ＡＶＣにより符号化してテレビ放送網で伝送し、拡張レイヤは、４Ｋ映像（プログレッシブ）をＨＥＶＣにより符号化して、インターネットで伝送してもよい。
【００７６】
（基本レイヤ）
図３は、基本レイヤにおいて採用することができる符号化データ（図２の例でいえば、階層符号化データＤＡＴＡ＃Ｃ）のデータ構造について例示する図である。階層符号化データＤＡＴＡ＃Ｃは、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。
【００７７】
階層符号化データＤＡＴＡ＃Ｃにおけるデータの階層構造を図３に示す。図３の（ａ）〜（ｅ）は、それぞれ、シーケンスＳＥＱを規定するシーケンスレイヤ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定するＣＵレイヤを示す図である。
【００７８】
（シーケンスレイヤ）
シーケンスレイヤでは、処理対象のシーケンスＳＥＱ（以下、対象シーケンスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。シーケンスＳＥＱは、図３の（ａ）に示すように、シーケンスパラメータセットＳＰＳ（Sequence Parameter Set）、ピクチャパラメータセットＰＰＳ（Picture Parameter Set）、適応パラメータセットＡＰＳ（Adaptation Parameter Set）、ピクチャＰＩＣＴ１〜ＰＩＣＴNP（ＮＰはシーケンスＳＥＱに含まれるピクチャの総数）、及び、付加拡張情報ＳＥＩ（Supplemental Enhancement Information）を含んでいる。
【００７９】
シーケンスパラメータセットＳＰＳでは、対象シーケンスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。
【００８０】
ピクチャパラメータセットＰＰＳでは、対象シーケンス内の各ピクチャを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。なお、ＰＰＳは複数存在してもよい。その場合、対象シーケンス内の各ピクチャから複数のＰＰＳの何れかを選択する。
【００８１】
適応パラメータセットＡＰＳは、対象シーケンス内の各スライスを復号するために階層動画像復号装置１が参照する符号化パラメータの集合が規定されている。ＡＰＳは複数存在してもよい。その場合、対象シーケンス内の各スライスから複数のＡＰＳの何れかを選択する。
【００８２】
（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ｂ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ1〜ＳNSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。
【００８３】
なお、以下、スライスＳ1〜ＳNSのそれぞれを区別する必要が無い場合、符号の添え字を省略して記述することがある。また、以下に説明する階層符号化データＤＡＴＡ＃Ｃに含まれるデータであって、添え字を付している他のデータについても同様である。
【００８４】
ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれている。なお、符号化パラメータ群は、必ずしもピクチャヘッダＰＨ内に直接含んでいる必要はなく、例えばピクチャパラメータセットＰＰＳへの参照を含むことで、間接的に含めても良い。
【００８５】
（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｃ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ1〜ＴＢＬＫNC（ＮＣはスライスＳに含まれるツリーブロックの総数）のシーケンスを含んでいる。
【００８６】
スライスヘッダＳＨには、対象スライスの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。
【００８７】
スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単方向予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単方向予測、双方向予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。
【００８８】
なお、スライスヘッダＳＨには、上記シーケンスレイヤに含まれる、ピクチャパラメータセットＰＰＳへの参照（pic_parameter_set_id）、適応パラメータセットＡＰＳへの参照（aps_id）を含んでいても良い。
【００８９】
また、スライスヘッダＳＨには、階層動画像復号装置１の備える適応フィルタによって参照されるフィルタパラメータＦＰが含まれている。フィルタパラメータＦＰは、フィルタ係数群を含んでいる。フィルタ係数群には、（１）フィルタのタップ数を指定するタップ数指定情報、（２）フィルタ係数a0〜aNT-1（NTは、フィルタ係数群に含まれるフィルタ係数の総数）、および、（３）オフセットが含まれる。
【００９０】
（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために階層動画像復号装置１が参照するデータの集合が規定されている。なお、ツリーブロックのことを符号化ツリーブロック（CTB:Coding Tree block）、または、最大符号化単位（LCU:Largest Cording Unit）と呼ぶこともある。
【００９１】
ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ１〜ＣＵＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。
【００９２】
ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのパーティションに分割される。
【００９３】
ツリーブロックＴＢＬＫの上記パーティションは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。
【００９４】
以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するパーティションを、符号化ノード（coding node）として参照する。また、符号化ノードは、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。なお、符号化ノードは、符号化ブロック（CB: Coding Block）と呼ぶこともある。
【００９５】
つまり、符号化単位情報（以下、ＣＵ情報と称する）ＣＵ１〜ＣＵＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。
【００９６】
また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。
【００９７】
なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのパーティション）のサイズの縦横とも半分である。
【００９８】
また、ツリーブロックＴＢＬＫのサイズ、および、各符号化ノードのとり得るサイズは、階層符号化データＤＡＴＡ＃ＣのシーケンスパラメータセットＳＰＳに含まれる、最小符号化ノードのサイズ指定情報、および最大符号化ノードと最小符号化ノードの階層深度の差分に依存する。例えば、最小符号化ノードのサイズが８×８画素であって、最大符号化ノードと最小符号化ノードの階層深度の差分が３である場合、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、符号化ノードのサイズは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および、８×８画素の何れかをとり得る。
【００９９】
（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために階層動画像復号装置１が参照する符号化パラメータが含まれる。具体的には、図３の（ｄ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。
【０１００】
ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。
【０１０１】
なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグの集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。
【０１０２】
また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。
【０１０３】
（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために階層動画像復号装置１’が参照するデータの集合が規定されている。
【０１０４】
ここで、ＣＵ情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予測ツリーおよび変換ツリーについて説明すると次のとおりである。
【０１０５】
予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。
【０１０６】
予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。
【０１０７】
予測ツリーにおける分割（以下、ＰＵ分割と略称する）の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。
【０１０８】
イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。
【０１０９】
また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎ、および、Ｎ×Ｎなどがある。ＰＵ分割の種類については、後に図面を用いて説明する。
【０１１０】
また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。
【０１１１】
変換ツリーにおける分割には、符号化ノードと同一のサイズの領域を変換ブロックとして割り付けるものと、上述したツリーブロックの分割と同様、再帰的な４分木分割によるものがある。
【０１１２】
変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。
【０１１３】
（ＣＵ情報のデータ構造）
続いて、図３（ｅ）を参照しながらＣＵ情報ＣＵに含まれるデータの具体的な内容について説明する。図３（ｅ）に示すように、ＣＵ情報ＣＵは、具体的には、スキップフラグＳＫＩＰ、予測ツリー情報（以下、ＰＴ情報と略称する）ＰＴＩ、および、変換ツリー情報（以下、ＴＴ情報と略称する）ＴＴＩを含む。
【０１１４】
スキップフラグＳＫＩＰは、対象のＰＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、そのＣＵ情報ＣＵにおけるＰＴ情報ＰＴＩの一部、および、ＴＴ情報ＴＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。
【０１１５】
［ＰＴ情報］
ＰＴ情報ＰＴＩは、ＣＵに含まれる予測ツリー（以下、ＰＴと略称する）に関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合であり、階層動画像復号装置１’により予測画像を生成する際に参照される。ＰＴ情報ＰＴＩは、図３（ｅ）に示すように、予測タイプ情報ＰＴｙｐｅ、および、予測情報ＰＩｎｆｏを含んでいる。
【０１１６】
予測タイプ情報ＰＴｙｐｅは、対象ＰＵについての予測画像生成方法として、イントラ予測を用いるのか、または、インター予測を用いるのかを指定する情報である。
【０１１７】
予測情報ＰＩｎｆｏは、予測タイプ情報ＰＴｙｐｅが何れの予測方法を指定するのかに応じて、イントラ予測情報ＰＰ＿Ｉｎｔｒａ、または、インター予測情報ＰＰ＿Ｉｎｔｅｒを含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。
【０１１８】
インター予測情報ＰＰ＿Ｉｎｔｅｒは、階層動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、インター予測情報ＰＰ＿Ｉｎｔｅｒは、対象ＣＵの各インターＰＵへの分割パターンを指定するインターＰＵ分割情報、および、各インターＰＵについてのインター予測パラメータを含む。
【０１１９】
イントラ予測情報ＰＰ＿Ｉｎｔｒａは、階層動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。より具体的には、イントラ予測情報ＰＰ＿Ｉｎｔｒａには、対象ＣＵの各イントラＰＵへの分割パターンを指定するイントラＰＵ分割情報、および、各イントラＰＵについてのイントラ予測パラメータが含まれる。イントラ予測パラメータは、各イントラＰＵについてのイントラ予測方法（予測モード）を指定するためのパラメータである。
【０１２０】
また、ＰＵ分割情報には、対象ＰＵの形状、サイズ、および、位置を指定する情報が含まれていてもよい。ＰＵ分割情報の詳細については後述する。
【０１２１】
［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれる変換ツリー（以下、ＴＴと略称する）に関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、階層動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。
【０１２２】
ＴＴ情報ＴＴＩは、図３（ｅ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＴ、および、量子化予測残差ＱＤ1〜ＱＤNT（ＮＴは、対象ＣＵに含まれるブロックの総数）を含んでいる。
【０１２３】
ＴＴ分割情報ＳＰ＿ＴＴは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＴは、対象となるノードの分割を行うのか否かを示す情報（split_transform_unit_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。
【０１２４】
また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる各ＴＵは、３２×３２画素から４×４画素までのサイズをとり得る。
【０１２５】
各量子化予測残差ＱＤは、階層動画像符号化装置２’が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。
【０１２６】
処理１：符号化対象画像から予測画像を減算した予測残差を周波数変換（例えば、ＤＣＴ変換（Discrete Cosine Transform）およびＤＳＴ変換（Discrete Sine Transform）等）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、階層動画像符号化装置２’が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２qp/6）。
【０１２７】
（予測パラメータ）
インター予測およびイントラ予測における予測パラメータの詳細について説明する。上述のとおり、予測情報ＰＩｎｆｏには、インター予測パラメータまたはイントラ予測パラメータが含まれる。
【０１２８】
インター予測パラメータとしては、例えば、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、および動きベクトル残差（ｍｖｄ）が挙げられる。
【０１２９】
一方、イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。
【０１３０】
（ＰＵ分割情報）
ＰＵ分割情報によって指定されるＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２ｍ（ｍは１以上の任意の整数）を意味している。以下、対象ＣＵを分割して得られる領域のことをパーティションとも称する。
【０１３１】
図４（ａ）〜（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。
【０１３２】
図４（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。また、図４（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。また、図４（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。また、図４（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。
【０１３３】
図４（ａ）および（ｈ）のＰＵ分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図４（ｂ）〜（ｇ）のＰＵ分割タイプのことは、非正方形分割とも称する。
【０１３４】
また、図４（ａ）〜（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。
【０１３５】
［インター予測の場合の分割タイプ］
インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４（ｈ））以外の７種類が定義されている。なお、上記６つの非対称的分割は、ＡＭＰ（Asymmetric Motion Partition）と呼ばれることもある。
【０１３６】
また、Ｎの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＣＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインターＰＵへ分割することが可能である。
【０１３７】
［イントラ予測の場合の分割タイプ］
イントラＰＵでは、次の２種類の分割パターンが定義されている。対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。
【０１３８】
したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。
【０１３９】
例えば、１２８×１２８画素のイントラＣＵは、１２８×１２８画素、および、６４×６４画素のイントラＰＵへ分割することが可能である。
【０１４０】
（拡張レイヤ）
拡張レイヤの符号化データについても、例えば、図３に示すデータ構造とほぼ同様のデータ構造を採用することができる。ただし、拡張レイヤの符号化データでは、以下のとおり、付加的な情報を追加したり、パラメータを省略したりすることができる。
【０１４１】
ＳＰＳには階層符号化を示す情報が符号化されていてもよい。
【０１４２】
また、スライスレイヤでは、空間スケーラビリティ、時間スケーラビリティ、および、ＳＮＲスケーラビリティの階層の識別情報（それぞれ、dependency_id、temporal_id、および、quality_id）が符号化されていてもよい。フィルタ情報やフィルタのオン／オフ情報（後述）はＰＰＳ、スライスヘッダ、マクロブロックヘッダ等で符号化することが可能である。
【０１４３】
また、ＣＵ情報ＣＵでは、スキップフラグ（skip_flag）、ベースモードフラグ（base_mode_flag）および予測モードフラグ（pred_mode_flag）が符号化されていてもよい。
【０１４４】
また、これらのフラグにより対象ＣＵのＣＵタイプが、イントラＣＵ、インターＣＵ、スキップＣＵおよびベーススキップＣＵのいずれであるかが指定されていてもよい。
【０１４５】
イントラＣＵおよびスキップＣＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。例えば、スキップＣＵでは、スキップフラグに“１”が設定される。スキップＣＵでない場合、スキップフラグに“０”が設定される。また、イントラＣＵでは、予測モードフラグに“０”が設定される。
【０１４６】
また、インターＣＵは、非スキップかつ動き補償（ＭＣ；Motion Compensation）を適用するＣＵと定義されていてもよい。インターＣＵでは、例えば、スキップフラグに“０”が設定され、予測モードフラグに“１”が設定される。
【０１４７】
ベーススキップＣＵは、ＣＵまたはＰＵの情報を参照レイヤから推定するＣＵタイプである。また、ベーススキップＣＵでは、例えば、スキップフラグに“１”が設定され、ベースモードフラグに“１”が設定される。
【０１４８】
また、ＰＴ情報ＰＴＩでは、対象ＰＵのＰＵタイプが、イントラＰＵ、インターＰＵ、マージＰＵ、およびベースマージＰＵのいずれであるかが指定されていてもよい。
【０１４９】
イントラＰＵ、インターＰＵ、マージＰＵは、上述のＨＥＶＣ方式の場合と同様に定義できる。
【０１５０】
ベースマージＰＵは、ＰＵの情報を参照レイヤから推定するＰＵタイプである。また、例えば、ＰＴ情報ＰＴＩにおいて、マージフラグおよびベースモードフラグを符号化しておき、これらのフラグを用いて、対象ＰＵがベースマージを行うＰＵであるか否かを判定してもよい。すなわち、ベースマージＰＵでは、マージフラグに“１”が設定され、ベースモードフラグに“１”が設定される。
【０１５１】
なお、拡張レイヤに含まれる動きベクトル情報のうち、下位レイヤに含まれる動きベクトル情報から導出可能な動きベクトル情報については、拡張レイヤから省略する構成とすることができる。このような構成とすることによって、拡張レイヤの符号量を削減することができるので、符号化効率が向上する。
【０１５２】
また、上述のとおり拡張レイヤの符号化データを、下位レイヤの符号化方式と異なる符号化方式により生成しても構わない。すなわち、拡張レイヤの符号化・復号処理は、下位レイヤのコーデックの種類に依存しない。
【０１５３】
下位レイヤが、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式によって符号化されていてもよい。
【０１５４】
対象レイヤと参照レイヤとが異なる符号化方式によって符号化されている場合、参照レイヤのパラメータを、対象レイヤの対応するパラメータ、または、類似のパラメータに変換することでレイヤ間における相応の互換性を保つことができる。例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＡＶＣ方式におけるマクロブロックは、ＨＥＶＣにおけるＣＴＢに読み替えて解釈することが可能である。
【０１５５】
なお、以上に説明したパラメータは、単独で符号化されていてもよいし、複数のパラメータが複合的に符号化されていてもよい。複数のパラメータが複合的に符号化される場合は、そのパラメータの値の組み合わせに対してインデックスが割り当てられ、割り当てられた当該インデックスが符号化される。また、パラメータが、別のパラメータや、復号済みの情報から導出可能であれば、当該パラメータの符号化を省略することができる。
【０１５６】
〔階層動画像復号装置〕
以下では、本実施形態に係る階層動画像復号装置１の構成について、図１、５〜９を参照して説明する。
【０１５７】
（階層動画像復号装置の構成）
図１を用いて、階層動画像復号装置１の概略的構成について説明すると次のとおりである。図１は、階層動画像復号装置１の概略的構成について示した機能ブロック図である。階層動画像復号装置１は、階層動画像符号化装置２から供給される階層符号化データＤＡＴＡを、ＨＥＶＣ方式により復号して、対象レイヤの復号画像ＰＯＵＴ＃Ｔを生成する。
【０１５８】
図１に示すように階層動画像復号装置１は、ＮＡＬ逆多重化部１１、可変長復号部１２、予測パラメータ復元部１４、テクスチャ復元部１５、ベース復号部１３、およびフィルタパラメータ復元部１６を備える。
【０１５９】
ＮＡＬ逆多重化部１１は、ＮＡＬ（Network Abstraction Layer）におけるＮＡＬユニット単位で伝送される階層符号化データＤＡＴＡを逆多重化する。
【０１６０】
ＮＡＬは、ＶＣＬ（Video Coding Layer）と、符号化データを伝送・蓄積する下位システムとの間における通信を抽象化するために設けられる層である。
【０１６１】
ＶＣＬは、動画像符号化処理を行う層のことであり、ＶＣＬにおいて符号化が行われる。一方、ここでいう、下位システムは、Ｈ．２６４／ＡＶＣおよびＨＥＶＣのファイルフォーマットや、ＭＰＥＧ−２システムに対応する。以下に示す例では、下位システムは、対象レイヤおよび参照レイヤにおける復号処理に対応する。
【０１６２】
なお、ＮＡＬでは、ＶＣＬで生成されたビットストリームが、ＮＡＬユニットという単位で区切られて、宛先となる下位システムへ伝送される。ＮＡＬユニットには、ＶＣＬで符号化された符号化データ、および、当該符号化データが宛先の下位システムに適切に届けられるためのヘッダが含まれる。また、各階層における符号化データは、ＮＡＬユニットに格納されることでＮＡＬ多重化されて階層動画像復号装置１’に伝送される。
【０１６３】
ＮＡＬ逆多重化部１１は、階層符号化データＤＡＴＡを逆多重化して、対象レイヤ符号化データＤＡＴＡ＃Ｔおよび参照レイヤ符号化データＤＡＴＡ＃Ｒを取り出す。また、ＮＡＬ逆多重化部１１は、対象レイヤ符号化データＤＡＴＡ＃Ｔを可変長復号部１２に供給するとともに、参照レイヤ符号化データＤＡＴＡ＃Ｒをベース復号部１３に供給する。
【０１６４】
可変長復号部１２は、対象レイヤ符号化データＤＡＴＡ＃Ｔに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。
【０１６５】
具体的には、可変長復号部１２は、以下のように、予測情報、符号化情報、変換係数情報、およびフィルタパラメータ情報を符号化データＤＡＴＡ＃Ｔから復号する。
【０１６６】
すなわち、可変長復号部１２は、各ＣＵまたはＰＵに関する予測情報を、符号化データＤＡＴＡ＃Ｔから復号する。予測情報には、例えば、ＣＵタイプまたはＰＵタイプの指定が含まれる。
【０１６７】
ＣＵがインターＣＵである場合、可変長復号部１２はＰＵ分割情報を符号化ＤＡＴＡ＃Ｔから復号する。加えて、各ＰＵにおいて、可変長復号部５２は、さらに、予測情報として、参照画像インデックスＲＩ、推定動きベクトルインデックスＰＭＶＩ、及び、動きベクトル残差ＭＶＤ等の動き情報、モード情報を符号化データＤＡＴＡ＃Ｔから復号する。
【０１６８】
一方、ＣＵがイントラＣＵである場合、可変長復号部１２は、さらに、予測情報として、（１）予測単位のサイズを指定するサイズ指定情報、および、（２）予測インデックスを指定する予測インデックス指定情報を含むイントラ予測情報を符号化データＤＡＴＡ＃Ｔから復号する。
【０１６９】
また、可変長復号部１２は、符号化情報を符号化データＤＡＴＡ＃Ｔから復号する。符号化情報には、ＣＵの形状、サイズ、位置を特定するための情報が含まれる。より具体的には、符号化情報には、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報、すなわち、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報が含まれる。
【０１７０】
可変長復号部１２は、復号した予測情報および符号化情報を予測パラメータ復元部１４に供給する。
【０１７１】
また、可変長復号部１２は、各ブロックに関する量子化予測残差ＱＤ、及び、そのブロックを含むツリーブロックに関する量子化パラメータ差分Δｑｐを符号化データＤＡＴＡ＃Ｔから復号する。可変長復号部５２は、復号した量子化予測残差ＱＤおよび量子化パラメータ差分Δｑｐを変換係数情報としてテクスチャ復元部１５に供給する。
【０１７２】
また、可変長復号部１２は、フィルタパラメータを導出するためのフィルタパラメータ情報を符号化データ＃Ｔから復号してフィルタパラメータ復元部１６に供給する。
【０１７３】
ベース復号部１３は、参照レイヤ符号化データＤＡＴＡ＃Ｒから、対象レイヤに対応する復号画像を復号する際に参照される参照レイヤに関する情報であるベース復号情報を復号する。ベース復号情報には、ベース予測パラメータ、ベース変換係数、ベース復号画像、フィルタパラメータが含まれる。ベース復号部１３は、復号したベース復号情報を予測パラメータ復元部１４、テクスチャ復元部１５、およびフィルタパラメータ復元部１６に供給する。
【０１７４】
予測パラメータ復元部１４は、予測情報およびベース復号情報を用いて、予測パラメータを復元する。予測パラメータ復元部１４は、復元した予測パラメータを、テクスチャ復元部１５に供給する。なお、予測パラメータ復元部１４は、予測パラメータを復元する際に、テクスチャ復元部１５が備えるフレームメモリ１５５（後述）に格納された動き情報を参照することができる。
【０１７５】
フィルタパラメータ復元部１６は、フィルタパラメータ情報、ベース復号情報を用いて、フィルタパラメータを導出し、テクスチャ復元部１５に供給する。
【０１７６】
テクスチャ復元部１５は、変換係数情報、ベース復号情報、予測パラメータ、およびフィルタパラメータを用いて、復号画像ＰＯＵＴ＃Ｔを生成し、外部に出力する。なお、テクスチャ復元部１５では、復元された復号画像に関する情報が、内部に備えるフレームメモリ１５５（後述）に格納される。
【０１７７】
以下において、ベース復号部１３、予測パラメータ復元部１４、およびテクスチャ復元部１５それぞれの詳細について説明する。
【０１７８】
（予測パラメータ復元部）
図５を用いて、予測パラメータ復元部１４の詳細構成について説明する。図５は、予測パラメータ復元部１４の構成について例示した機能ブロック図である。
【０１７９】
図５に示すように、予測パラメータ復元部１４は、予測タイプ選択部１４１、スイッチ１４２、イントラ予測モード復元部１４３、動きベクトル候補導出部１４４、動き情報復元部１４５、マージ候補導出部１４６、およびマージ情報復元部１４７を備える。
【０１８０】
予測タイプ選択部１４１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ１４２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。
【０１８１】
イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部１４１はイントラ予測モード復元部１４３を用いて予測パラメータを導出できるようスイッチ１４２を制御する。
【０１８２】
インターＣＵ（マージなし）およびインターＰＵ（マージなし）のいずれかが指定されている場合、予測タイプ選択部１４１は動き情報復元部１４５を用いて予測パラメータを導出できるようスイッチ１４２を制御する。
【０１８３】
ベーススキップＣＵ、ベースマージＣＵ、スキップＣＵ、およびマージＰＵのいずれかが指定されている場合、予測タイプ選択部１４１はマージ情報復元部１４７を用いて予測パラメータを導出できるようスイッチ１４２を制御する。
【０１８４】
スイッチ１４２は、予測タイプ選択部１４１の指示に応じて、予測情報を、イントラ予測モード復元部１４３、動き情報復元部１４５、およびマージ情報復元部１４７のいずれかに供給する。予測情報の供給先において予測パラメータが導出される。
【０１８５】
イントラ予測モード復元部１４３は、予測情報から予測モードを導出する。すなわち、イントラ予測モード復元部１４３が予測パラメータとして復元するのは予測モードである。
【０１８６】
ここで、図６を用いて、予測モードの定義について説明する。図６は、予測モードの定義を示している。同図に示すように、３６種類の予測モードが定義されており、それぞれの予測モードは、「０」〜「３５」の番号（イントラ予測モードインデックス）によって特定される。また、図７に示すように、各予測モードには次のような名称が割り当てられている。すなわち、「０」は、“Intra_Planar（プラナー予測モード、平面予測モード）”であり、「１」は、“Intra DC(イントラＤＣ予測モード)”であり、「２」〜「３４」は、“Intra Angular（方向予測）”であり、「３５」は、“Intra From Luma”である。「３５」は、色差予測モード固有のものであり、輝度の予測に基づいて色差の予測を行うモードである。言い換えれば、色差予測モード「３５」は、輝度画素値と色差画素値との相関を利用した予測モードである。色差予測モード「３５」はＬＭモードとも称する。予測モード数（intraPredModeNum）は、対象ブロックのサイズによらず「３５」である。
【０１８７】
動きベクトル候補導出部１４４は、ベース復号情報を用いて、レイヤ内動き推定処理、またはレイヤ間動き推定処理により推定動きベクトルの候補を導出する。動きベクトル候補導出部１４４は、導出した動きベクトルの候補を動き情報復元部１４５に供給する。
【０１８８】
動き情報復元部１４５は、マージを行わない各インターＰＵに関する動き情報を復元する。すなわち、動き情報復元部１４５が予測パラメータとして復元するのは動き情報である。
【０１８９】
動き情報復元部１４５は、対象ＰＵがインターＣＵおよびインターＰＵである場合、予測情報から、動き情報を復元する。より具体的には、動き情報復元部１４５は、動きベクトル残差（mvd）、推定動きベクトルインデックス（mvp_idx）、インター予測フラグ（inter_pred_flag）および、参照画像インデックス（refIdx）を取得する。そして、インター予測フラグの値に基づいて、参照画像リストＬ０と参照画像リストＬ１各々について参照画像リスト利用フラグを決定する。続いて、対応する参照画像リスト利用フラグが、当該参照画像を利用することを示している場合、動き情報復元部１４５は、推定動きベクトルインデックスの値に基づいて、推定動きベクトルを導出するとともに、動きベクトル残差と推定動きベクトルとに基づいて動きベクトルを導出する。動き情報復元部１４５は、導出した動きベクトルと、参照画像リスト利用フラグ、および、参照画像インデックスと合わせて動き情報（動き補償パラメータ）として出力する。
【０１９０】
マージ候補導出部１４６は、後述するフレームメモリ１５５から供給される復号済みの動き情報および／またはベース復号部１６から供給されるベース復号情報等を用いて、各種のマージ候補を導出する。マージ候補導出部１４６は、導出したマージ候補をマージ情報復元部１４７に供給する。
【０１９１】
マージ情報復元部１４７は、レイヤ内またはレイヤ間でマージを行う各ＰＵに関する動き情報を復元する。すなわち、動き情報復元部１４５が予測パラメータとして復元するのは動き情報である。
【０１９２】
具体的には、マージ情報復元部１４７は、対象ＣＵ（ＰＵ）がレイヤ内でマージを行うスキップＣＵ（マージＰＵ）である場合、マージ候補導出部１４６がレイヤ内マージにより導出したマージ候補リストから、予測情報に含まれるマージインデックス（merge_idx）に対応する動き補償パラメータを導出することにより、動き情報を復元する。
【０１９３】
また、マージ情報復元部１４７は、レイヤ間でマージを行うベーススキップＣＵである場合、マージ候補導出部１４６がレイヤ間マージにより導出したマージ候補リストから、予測情報に含まれるマージインデックス（merge_idx）に対応する動き補償パラメータを導出することにより、動き情報を復元する。
【０１９４】
なお、マージ候補導出部１４６の詳細については後述する。
【０１９５】
（テクスチャ復元部）
図８を用いて、テクスチャ復元部１５の詳細構成について説明する。図８は、テクスチャ復元部１５の構成について例示した機能ブロック図である。
【０１９６】
図８に示すように、テクスチャ復元部１５は、逆直交変換・逆量子化部１５１、テクスチャ予測部１５２、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５を備える。
【０１９７】
逆直交変換・逆量子化部１５１は、（１）可変長復号部５２から供給される変換係数情報に含まれる量子化予測残差ＱＤを逆量子化し、（２）逆量子化によって得られたＤＣＴ係数を逆直交変換（例えば、ＤＣＴ（Discrete Cosine Transform）変換）し、（３）逆直交変換によって得られた予測残差Ｄを加算器１５３に供給する。なお、量子化予測残差ＱＤを逆量子化する際に、逆直交変換・逆量子化部１５１は、変換係数情報に含まれる量子化パラメータ差分Δｑｐから量子化ステップＱＰを導出する。量子化パラメータｑｐは、直前に逆量子化／逆直交変換したツリーブロックに関する量子化パラメータｑｐ’に量子化パラメータ差分Δｑｐを加算することによって導出でき、量子化ステップＱＰは、量子化パラメータｑｐからＱＰ＝２ｑｐ／６によって導出できる。また、逆直交変換・逆量子化部１５１による予測残差Ｄの生成は、ブロック（変換単位）を単位として行われる。
【０１９８】
テクスチャ予測部１５２は、予測パラメータに応じて、ベース復号情報に含まれるベース復号画像またはフレームメモリに格納されている復号済みの復号画像を参照し、予測画像を生成する。
【０１９９】
テクスチャ予測部１５２は、より詳細には、インター予測部１５２Ａ、レイヤ内イントラ予測部１５２Ｂ、およびレイヤ間イントラ予測部１５２Ｃを備える。
【０２００】
インター予測部１５２Ａは、各インター予測パーティションに関する予測画像をインター予測により生成する。具体的には、インター予測部１５２Ａは、動き情報復元部１４５またはマージ情報復元部１４７から予測パラメータとして供給される動き情報を用いて、参照画像から予測画像を生成する。
【０２０１】
レイヤ内イントラ予測部１５２Ｂは、各イントラ予測パーティションに関する予測画像をレイヤ内イントラ予測により生成する。具体的には、レイヤ内イントラ予測部１５２Ｂは、イントラ予測モード復元部１４３から予測パラメータとして供給される予測モードを用いて、対象パーティションにおいて復号済みの復号画像から予測画像を生成する。
【０２０２】
レイヤ間イントラ予測部１５２Ｃは、各イントラ予測パーティションに関する予測画像をレイヤ間イントラ予測により生成する。具体的には、レイヤ間イントラ予測部１５２Ｃは、イントラ予測モード復元部１４３から予測パラメータとして供給される予測モードを用いて、ベース復号情報に含まれるベース復号画像に基づいて予測画像を生成する。ベース復号画像は、対象レイヤの解像度に合わせて適宜アップサンプリングされてもよい。
【０２０３】
テクスチャ予測部１５２は、インター予測部１５２Ａ、レイヤ内イントラ予測部１５２Ｂまたはレイヤ間イントラ予測部１５２Ｃが生成した予測画像を加算器１５３に供給する。
【０２０４】
加算器１５３は、テクスチャ予測部１５２が生成した予測画像と、逆直交変換・逆量子化部１５１から供給された予測残差Ｄとを加算することによって復号画像を生成する。
【０２０５】
ループフィルタ部１５４は、加算器１５３から供給される復号画像に対し、フィルタパラメータを用いて、デブロッキング処理や、適応フィルタパラメータによるフィルタ処理を施すものである。
【０２０６】
フレームメモリ１５５は、ループフィルタ部１５４によるフィルタ済み復号画像を格納する。
【０２０７】
（ベース復号部）
図９を用いて、ベース復号部１３の詳細構成について説明する。図９は、ベース復号部１３の構成について例示した機能ブロック図である。
【０２０８】
図９に示すように、ベース復号部１３は、可変長復号部１３１、ベース予測パラメータ復元部１３２、ベース変換係数復元部１３３、ベーステクスチャ復元部１３４、およびベースフィルタパラメータ復元部１３５を備える。
【０２０９】
可変長復号部１３１は、参照レイヤ符号化データＤＡＴＡ＃Ｒに含まれるバイナリから各種のシンタックス値を復号するための情報の復号処理を行う。
【０２１０】
具体的には、可変長復号部１３１は、予測情報および変換係数情報を符号化データＤＡＴＡ＃Ｒから復号する。可変長復号部１３１が復号する予測情報および変換係数のシンタックスは、可変長復号部１２と同様であるのでここではその詳細な説明を省略する。
【０２１１】
可変長復号部１３１は、復号した予測情報を予測パラメータ復元部１３２に供給し、復号した変換係数情報をベース変換係数復元部１３３に供給し、復号したフィルタパラメータ情報をベースフィルタパラメータ復元部１３５に供給する。
【０２１２】
ベース予測パラメータ復元部１３２は、可変長復号部１３１から供給される予測情報に基づいて、ベース予測パラメータを復元する。ベース予測パラメータ復元部１３２が、ベース予測パラメータを復元する方法については、予測パラメータ復元部１４と同様であるので、ここではその詳細な説明を省略する。ベース予測パラメータ復元部１３２は、復元したベース予測パラメータを、ベーステクスチャ復元部１３４に供給するとともに、外部に出力する。
【０２１３】
ベース変換係数復元部１３３は、可変長復号部１３１から供給される変換係数情報に基づいて、変換係数を復元する。ベース変換係数復元部１３３が変換係数を復元する方法については、逆直交変換・逆量子化部１５１と同様であるので、ここではその詳細な説明を省略する。ベース変換係数復元部１３３は、復元したベース変換係数を、ベーステクスチャ復元部１３４に供給するとともに、外部に出力する。
【０２１４】
ベーステクスチャ復元部１３４は、ベース予測パラメータ復元部１３２から供給されるベース予測パラメータと、ベース変換係数復元部１３３から供給されるベース変換係数とを用いて、復号画像を生成する。具体的には、ベーステクスチャ復元部１３４は、ベース予測パラメータに基づき、テクスチャ予測部１５２と同様のテクスチャ予測を行って、予測画像を生成する。また、ベーステクスチャ復元部１３４は、ベース変換係数に基づいて予測残差を生成し、生成した予測残差と、テクスチャ予測により生成した予測画像とを加算することでベース復号画像を生成する。
【０２１５】
なお、ベーステクスチャ復元部１３４は、ベース復号画像に対して、ループフィルタ部１５４と同様のフィルタ処理を施してもよい。また、ベーステクスチャ復元部１３４は、復号済みのベース復号画像を格納するためのフレームメモリを備えていてもよく、テクスチャ予測においてフレームメモリに格納されている復号済みのベース復号画像を参照してもよい。
【０２１６】
ベースフィルタパラメータ復元部１３５は、可変長復号部１３１から供給されたフィルタパラメータ情報からベースフィルタパラメータを導出する。
【０２１７】
〔フィルタパラメータ復元部１６の詳細〕
次に、フィルタパラメータ復元部１６において行われる処理について図１０〜２１を参照して説明する。
【０２１８】
本実施の形態では、フィルタパラメータ復元部１６は、拡張レイヤにおける復号画像に適用するフィルタのパラメータを基本レイヤにおける復号画像に適用するフィルタのパラメータから推定して、フィルタパラメータを導出している。
【０２１９】
これにより、拡張レイヤの符号化データの符号量を削減することができ、符号化効率を向上させることができる。
【０２２０】
〔フィルタパラメータの推定方法１〕
拡張レイヤで用いるフィルタパラメータを基本レイヤで用いたフィルタパラメータから推定する方法として、以下の３つの場合が考えられる。
（１）基本レイヤのフィルタパラメータをそのまま、拡張レイヤのフィルタパラメータとする（推定）。
（２）基本レイヤのフィルタパラメータとの差分を拡張レイヤで符号化する。
（３）パラメータ毎に、基本レイヤのフィルタパラメータをそのまま拡張レイヤのフィルタパラメータとするもの、基本レイヤのフィルタパラメータとの差分を拡張レイヤで符号化するもの、というように異ならせる。
【０２２１】
符号化データを具体的に示すと、図１０に示すようになる。図１０（ａ）は、基本レイヤのフィルタパラメータをそのまま拡張レイヤのフィルタパラメータとした場合を示している。図１０（ａ）に示すように、拡張レイヤではフィルタパラメータは符号化されておらず、基本レイヤのフィルタパラメータをそのまま拡張レイヤのフィルタパラメータとしている。
【０２２２】
図１０（ｂ）は、基本レイヤのフィルタパラメータとの差分を拡張レイヤで符号化する場合を示している。図１０（ｂ）に示すように、基本レイヤとの差分（図１０（ｂ）では、ΔＣ、ΔＤ）を拡張レイヤで符号化し、基本レイヤのフィルタパラメータに差分を加えたものを拡張レイヤ用いるフィルタパラメータとしている。また、図１０（ｂ）では、基本レイヤのフィルタパラメータから推定しないパラメータについては、拡張レイヤで符号化している。
【０２２３】
図１０（ｃ）は、基本レイヤから推定するフィルタパラメータ、推定しないパラメータ、差分を符号化するフィルタパラメータを示している。図１０（ｃ）に示すように、基本レイヤから推定するフィルタパラメータについては、基本レイヤのパラメータを拡張レイヤのフィルタパラメータとし、推定しないフィルタパラメータについては、符号化されているフィルタパラメータを用い、差分が符号化されているフィルタパラメータについては基本レイヤのフィルタパラメータに差分を加えたものを拡張レイヤのフィルタパラメータとしている。
【０２２４】
〔フィルタパラメータの推定方法２〕
また、基本レイヤのフィルタパラメータから推定するか否かを切り換える構成も考えられる。フラグを用いて基本レイヤから推定するか否かを切り換える場合、拡張レイヤで、基本レイヤから推定するか否かを示すフラグbase_layer_flagを符号化すればよい。
フラグbase_layer_flagの値が１の場合、ベース復号情報に含まれるフィルタパラメータの値を用い（すなわち、推定する）、値が０であれば、拡張レイヤの符号化データから復号したフィルタパラメータを用いる。
【０２２５】
フラグbase_layer_flagの格納位置としては、ＳＰＳ（sequence parameter set）、ＰＰＳ（picture parameter set）、ＡＰＳ（adaptation parameter set）、スライスヘッダのいずれでもよい。
【０２２６】
図１１に、シンタクス例を示す。図１１（ａ）は、個々のパラメータについて、基本レイヤから推定するか否か（拡張レイヤにて符号化されているか否か）を逐一指定する場合のシンタクス例を示す。ここでは、paramA_skip_flagが１であれば、基本レイヤから推定し、０であれば、復号することが示されている。
【０２２７】
また、図１１（ｂ）は、同じパラメータの推定方法をまとめて指定する場合のシンタクス例を示す。ここでは、上位のパラメータセットでparamA_skip_flagを符号化し、スライスデータなどの下位の位置でフラグを判定して、推定、あるいは復号することが示されている。たとえば、ＣＴＢ単位でＳＡＯのオン／オフを切り換えてもよいし、ＳＰＳなど、より上位のパラメータセットで符号化してもよい。また、符号化せずにプロファイル等に応じて変わる既定値を用いてもよい。
【０２２８】
〔フィルタパラメータの推定方法３〕
また、複数のフィルタパラメータについて、１つのフラグで、基本レイヤのフィルタパラメータから推定するか否かを切り換える構成も考えられる。
【０２２９】
例えば、ＣＴＢ単位でフラグを符号化すれば、ＳＡＯ等において、フィルタパラメータを左隣接ブロックまたは上隣接ブロックから推定する場合と同様の推定を行うことができる。本明細書では、ＣＴＢ単位でパラメータを下位レイヤから推定することをベースマージ（base merge）と呼ぶ。
【０２３０】
図１２に、ＣＴＢ単位でフラグを符号化する場合のシンタクス例を示す。図１２に示すシンタクス例では、base_layer_merge_flagが０の場合、パラメータＡ、Ｂ、Ｃを復号し、１の場合は、基本レイヤから推定することが示されている。また、パラメータＤは、フラグbase_layer_merge_flagの値に関わらず、符号化されているパラメータである。
【０２３１】
〔推定有無フラグの符号化位置１〕
基本レイヤのフィルタパラメータから推定するか否かを示す推定有無フラグを格納する位置としては、例えば、スライスヘッダとすることが考えられる。スライスヘッダに推定有無フラグsao_base_layer_flagを格納する場合のシンタクス例を図１３に示す。
【０２３２】
スライスヘッダに推定有無フラグを格納することにより、スライス全体で、１つのフラグを符号化する構成となるため、フラグの符号量を最低限に抑えることができる。また、スライスを構成する全てのＣＴＢで基本レイヤから推定を行うことになるため、ＣＴＢ単位で推定有無フラグを符号化する場合よりも処理が単純になる。
【０２３３】
〔推定有無フラグの符号化位置２〕
推定有無フラグをＣＴＢ単位で、各色コンポーネントで共用するように格納することも考えられる。推定有無フラグをＣＴＢ単位で各色コンポーネントで共用するように格納する場合のシンタクス例を図１４に示す。ＣＴＢ単位で色コンポーネント共通のフラグsao_base_layer_flagを符号化することにより、ＣＴＢ毎に、コンポーネント単位でフラグを符号化する場合に比べフラグの符号量を抑えることができる。
【０２３４】
〔フィルタパラメータの推定方法４〕
ＳＡＯにおける、基本レイヤのフィルタパラメータから拡張レイヤのフィルタパラメータを推定する場合のシンタクス例を図１５に示す。図１５に示す例では、推定有無フラグが１の場合、マージフラグを符号化せずに、ＳＡＯタイプとバンドポジションとを、基本レイヤから抽出して用いる。
【０２３５】
推定有無フラグとマージフラグとは機能が重複するため、両者のフラグを符号化するのは冗長性がある。基本レイヤと拡張レイヤとで相関の高いパラメータであるＳＡＯタイプとバンドポジションとを基本レイヤから抽出し、相関が低いオフセットは、拡張レイヤの符号化パラメータから復号する。また、拡張レイヤで用いる基本レイヤの情報にオフセットを用いていない。
【０２３６】
これにより、マージフラグの符号量を削減できる。また、基本レイヤのオフセットをメモリに格納する必要が無いためベース復号情報を格納するメモリを小さくできる。
【０２３７】
次に、ＡＬＦにおける、基本レイヤのフィルタパラメータから拡張レイヤのフィルタパラメータを推定する場合のシンタクス例を図１６に示す。図１６に示す例では、推定有無フラグが１の場合、単位領域および色コンポーネント単位のオンオフフラグを符号化しない。
【０２３８】
これにより、色コンポーネント単位で符号化されるオンオフフラグについて、基本レイヤから推定することが可能となり、符号化が不要となるので、符号量を削減することができる。
【０２３９】
〔フィルタパラメータの推定方法５〕
ＣＴＢ単位で、推定有無フラグを格納する場合、基本レイヤのみではなく、左隣接ブロックのフィルタパラメータからも推定する構成であってもよい。具体的には、図１７（ｂ）に示すように、対象領域について、基本レイヤと左隣接ブロックとのいずれかから推定する。
【０２４０】
図１７（ａ）に、基本レイヤのみではなく、左隣接ブロックのフィルタパラメータからも推定する構成のシンタクス例を示す。図１７（ａ）に示すシンタクス例では、基本レイヤからの推定を行わない場合にのみ、左マージフラグleft_merge_flagを復号・判定している。
【０２４１】
なお、これとは逆に、左マージフラグleft_merge_flagを先に符号化・判定して、左マージを行わない場合のみ、ベースマージ（基本レイヤからの推定）を行うようにしてもよい。
【０２４２】
また、左マージを利用できない場合（例えば、対象ＣＴＢがフレーム内の最左端に位置する場合）、左マージフラグを規定値（left_merge_flag=0）として設定してもよいし、あるいは、上マージを実施するか否かを表す値を復号してもよい。
【０２４３】
また、左隣接ブロックではなく、上隣接ブロックから推定する構成であってもよい。さらに、上隣接ブロックから推定する構成（上マージ）を利用できない場合（例えば、対象ＣＴＢがフレーム内の最上端に位置する場合）は、左マージを用いる構成であってもよい。
【０２４４】
〔基本レイヤからのフィルタパラメータの取得方法１〕
フィルタパラメータを推定する場合、拡張レイヤにおける、フィルタパラメータ推定対象の対象ブロックと対応する基本レイヤのブロックに与えられたフィルタパラメータを用いる。
【０２４５】
対応する基本レイヤのブロックは、拡張レイヤと基本レイヤとの画像サイズ比とＣＴＢサイズ比によって以下のように選択する。
【０２４６】
ここで、
拡張レイヤの座標系における拡張レイヤのＣＴＢサイズ = SE,
基本レイヤの座標系における基本レイヤのＣＴＢサイズ = SB, 
拡張レイヤと基本レイヤのＣＴＢサイズ比 = Rc = SE/SB,
拡張レイヤと基本レイヤの水平画素数比 = Rw,
拡張レイヤと基本レイヤの垂直画素数比 = Rh,  とする。
【０２４７】
Rw = Rh = Rc の場合、
例えば、
拡張レイヤ=1920×1080画素,LCUサイズ64
基本レイヤ=960×540画素,LCUサイズ32
の場合であれば、拡張レイヤと基本レイヤとでＣＴＢの境界が一致するため、対応するブロックはそれぞれのレイヤの画素単位の座標により選択できる。よって、フィルタパラメータは以下の式により推定できる。
param_Enh[XE/SE][YE/SE]       = param_Base[XB/SB][YB/SB]
ここで、param_Enh：パラメータparamの拡張レイヤでの値、param_Base：パラメータparamのベースレイヤでの値である。また、param_Enhとparam_Baseの添字はいずれも小数部分を切りすてて整数化して用いるものとする。また、XE,YE,XB,YBは各レイヤの画素単位の座標である。
【０２４８】
具体的に、図１８を参照して説明すると、拡張レイヤの対象ブロック（ＸＥ,ＹＥ）＝（２，０）に対応する基本レイヤのブロックは座標（ＸＢ，ＹＢ）＝（２，０）により選択できる。
【０２４９】
〔基本レイヤからのフィルタパラメータの取得方法２〕
Rw = Rh = Rc が成り立たない場合、拡張レイヤと基本レイヤとでＣＴＢの境界は一致しない。
【０２５０】
例えば、
拡張レイヤ=1920×1080画素,LCUサイズ64
基本レイヤ=1280×720画素,LCUサイズ64
の場合は、Rw=Rh=1.5, Rc=1となる。
【０２５１】
この場合、ブロックの左上座標に基いて選択する。具体的には、ブロックの左上座標の属するＣＴＢを選択するブロックとする。
【０２５２】
具体的に、図１９を参照して説明する。図１９は、拡張レイヤと基本レイヤとで見かけのサイズを揃えた図である。図１９に示すように、拡張レイヤの対象ブロックと基本レイヤのブロックとの境界が一致しないため、拡張レイヤの対象ブロックの左上座標を含む位置にある基本レイヤのブロックが選択される。
【０２５３】
また、フィルタパラメータを推定する式は以下の通りとなる。
param_Enh[XE/SE][YE/SE] = param_Base[XB/SB][YB/SB]
ここで、XB = XE/Rw,  YB = YE/Rh  である。
【０２５４】
〔基本レイヤからのフィルタパラメータの取得方法３〕
また、Rw = Rh = Rc が成り立たない場合、次のように基本レイヤのブロックを選択することもできる。
【０２５５】
ここでは、ブロック左上座標に基いて、拡張レイヤの対象ブロックと共通する領域が最も広い基本レイヤのブロックを選択する。
【０２５６】
具体的には、拡張レイヤの座標系を基本レイヤの座標系に換算して、
拡張レイヤのLCUサイズ：SBEw = SE/Rw, SBEh = SE/Rh 
対象ブロックの左上座標P(PX,PY) = (XBE, YBE)
XBE = XE/Rw, YBE = YE/Rh
対象ブロック左上座標が含まれる基本レイヤのＣＴＢの左上座標Q
Q(QX,QY) = (XBE', YBE')
XBE' = floor(XE/Rw), YBE' = floor(YE/Rh)   
※floor:小数部切り捨て
ＣＴＢの選択の基準座標R
R(RX,RY) = (XBE'+SB-SBEw/2,YBE'+SB-SBEh/2)
としたとき、
PX ＜ RX && PY ＜ RY のとき、dx=0, dy=0  (Pが図２０（ｃ）の[1]の範囲にある)
PX ≧ RX && PY ＜ RY のとき、dx=1, dy=0  (Pが図２０（ｃ）の[2]の範囲にある)
PX ≧ RX && PY ≧ RY のとき、dx=0, dy=1  (Pが図２０（ｃ）の[3]の範囲にある)
PX ＜ RX && PY ≧ RY のとき、dx=1, dy=1  (Pが図２０（ｃ）の[4]の範囲にある)
なお、PXおよびPYの判定に用いる不等式の中で等号を含める位置は任意である。dx,dyは水平方向、垂直方向における、Pが含まれる基本レイヤのCTB位置を基準とした、CTB位置のオフセットを表す。
【０２５７】
また、フィルタパラメータを推定する式は、以下の通りとなる。
param_Enh[XE/SE][YE/SE] = param_Base[XBE'/SB+dx][YBE'/SB+dy]
図２０の（ａ）、（ｂ）は、拡張レイヤと基本レイヤとで見かけのサイズを揃えた図である。図２０（ａ）、（ｂ）に示すように、拡張レイヤの対象ブロックと基本レイヤのブロックとの境界が一致しないため、拡張レイヤの対象ブロックの左上座標含む位置にある基本レイヤのブロックを基準とし、拡張レイヤの対象ブロックと重なる領域が最も広いブロックが選択される。
【０２５８】
〔基本レイヤからのフィルタパラメータの取得方法４〕
また、Rw = Rh = Rc が成り立たない場合、次のように基本レイヤのブロックを選択することもできる。
【０２５９】
ここでは、拡張レイヤのＣＴＢ毎に規定の基本レイヤのＣＴＢを選択する。
【０２６０】
例えば、サイズ比がRw=Rh=1.5, Rc=1の場合、拡張レイヤの３×３個のＣＴＢが周期的に基本レイヤの２×２個のＣＴＢに対応することになるため（図２１の（ａ）、（ｂ））、予め対応するＣＴＢを定めておく。
【０２６１】
そして、拡張レイヤの対象ＣＴＢの左上の座標位置を含む、基本レイヤのＣＴＢの位置（ＣＴＢ単位）に対するオフセット値dx,dyをテーブルとして記憶しておき、このテーブルを用いて、基本レイヤのフィルタパラメータを取得する。オフセット値のテーブル例を図２１（ｃ）、（ｄ）に示す。図２１（ｃ）、（ｄ）は、拡張レイヤのＣＴＢの位相毎に、基本レイヤで選択するＣＴＢを定めたｘｙ_ｏｆｆｓｅｔ_ｔｂｌの例である。
(dx, dy) = xy_offset_tbl[XE/SE mod 3][YE/SE mod 3]
この場合、図２１（ｃ）に示すテーブルによれば、
[1] dx=0, dy=0
[2] dx=1, dy=0
[3] dx=0, dy=1
[4] dx=1, dy=1
となる。
【０２６２】
また、フィルタパラメータを推定する式は、以下の通りとなる。
param_Enh[XE/SE][YE/SE]  = param_Base[XBE'/SB + dx][YBE'/SB + dy] 
〔階層動画像符号化装置〕
次に、本実施形態に係る階層動画像符号化装置２の構成について、図２２〜２４を参照して説明する。
【０２６３】
（階層動画像符号化装置の構成）
図２２を用いて、階層動画像符号化装置２の概略的構成について説明すると次のとおりである。図２２は、階層動画像符号化装置２の概略的構成について示した機能ブロック図である。階層動画像符号化装置２は、対象レイヤの入力画像ＰＩＮ＃Ｔを、参照レイヤ符号化データＤＡＴＡ＃Ｒを参照しながら符号化して、対象レイヤの階層符号化データＤＡＴＡを生成する。なお、参照レイヤ符号化データＤＡＴＡ＃Ｒは、参照レイヤに対応する階層動画像符号化装置において符号化済みであるとする。
【０２６４】
図２２に示すように階層動画像符号化装置２は、予測パラメータ決定部２１、予測情報生成部２２、ベース復号部２３、テクスチャ情報生成部２４、可変長符号化部２５、ＮＡＬ多重化部２６、およびフィルタパラメータ情報生成部２７を備える。
【０２６５】
予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔに基づいて、予測画像の予測に用いられる予測パラメータおよびその他の符号化の設定を決定する。
【０２６６】
予測パラメータ決定部２１は、予測パラメータをはじめとする符号化の設定を、以下のとおり行う。
【０２６７】
まず、予測パラメータ決定部２１は、入力画像ＰＩＮ＃Ｔを、スライス単位、ツリーブロック単位、ＣＵ単位に順次分割することにより、対象ＣＵについてのＣＵ画像を生成する。
【０２６８】
また、予測パラメータ決定部２１は、分割処理の結果に基づいて、符号化情報（ヘッダ情報とも称されることがある）を生成する。符号化情報は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報であるツリーブロック情報と、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についての情報であるＣＵ情報とを含んでいる。
【０２６９】
さらに、予測パラメータ決定部２１は、ＣＵ画像、ツリーブロック情報、およびＣＵ情報を参照して、対象ＣＵの予測タイプ、対象ＣＵのＰＵへの分割情報、および、予測パラメータ（対象ＣＵが、イントラＣＵであればイントラ予測モード、インターＣＵである場合には各ＰＵにおける動き補償パラメータ）を導出する。
【０２７０】
予測パラメータ決定部２１は、（１）対象ＣＵの予測タイプ、（２）対象ＣＵの各ＰＵへの可能な分割パターン、および、（３）各ＰＵに割り付ける可能な予測モード（イントラＣＵであればイントラ予測モード、インターＣＵであれば動き補償パラメータ）、の全ての組み合わせについて、コストを算出し、最低コストの予測タイプ、分割パターン、および、予測モードを決定する。
【０２７１】
予測パラメータ決定部２１は、符号化情報および予測パラメータを予測情報生成部２２およびテクスチャ情報生成部２４に供給する。なお、説明の簡便のため図示しないが、予測パラメータ決定部２１において決定された上記の符号化の設定は、階層動画像符号化装置２の各部において参照可能とする。
【０２７２】
予測情報生成部２２は、予測パラメータ決定部２１から供給される予測パラメータと、参照レイヤ符号化データＤＡＴＡ＃Ｒとに基づいて予測パラメータに関するシンタックス値を含む予測情報を生成する。予測情報生成部２２は、生成した予測情報を可変長符号化部２５に供給する。なお、予測情報生成部２２は、予測パラメータを復元する際に、テクスチャ情報生成部２４が備えるフレームメモリ２４４（後述）に格納された動き情報を参照することができる。
【０２７３】
ベース復号部２３は、階層動画像復号装置１のベース復号部１３と同様であるので、ここではその説明を省略する。
【０２７４】
テクスチャ情報生成部２４は、入力画像ＰＩＮ＃Ｔから予測画像を減算して得られる予測残差を、直交変換・量子化した変換係数を含む変換係数情報を生成する。テクスチャ情報生成部２４は、生成した変換係数情報を可変長符号化部２５に供給する。なお、テクスチャ情報生成部２４では、復元された復号画像に関する情報が、内部に備えるフレームメモリ２４４（後述）に格納される。
【０２７５】
また、テクスチャ情報生成部２４は、フィルタパラメータを設定し、フィルタパラメータ情報生成部２７に供給する。
【０２７６】
フィルタパラメータ情報生成部２７は、テクスチャ情報生成部２４から供給されたフィルタパラメータに関するシンタクス値を含むフィルタパラメータ情報を生成する。フィルタパラメータ情報生成部２７は、生成したフィルタパラメータ情報を可変長符号化部２５に供給する。
【０２７７】
可変長符号化部２５は、予測情報生成部２２から供給される予測情報、テクスチャ情報生成部２４から供給される変換係数情報、およびフィルタパラメータ情報生成部２７から供給されるフィルタパラメータ情報を可変長符号化して対象レイヤ符号化データＤＡＴＡ＃Ｔを生成する。可変長符号化部２５は、生成した対象レイヤ符号化データＤＡＴＡ＃ＴをＮＡＬ多重化部２６に供給する。
【０２７８】
ＮＡＬ多重化部２６は、可変長符号化部２５から供給される対象レイヤ符号化データＤＡＴＡ＃Ｔと、参照レイヤ符号化データＤＡＴＡ＃ＲとをＮＡＬユニットに格納することでＮＡＬ多重化した階層動画像符号化データＤＡＴＡを生成し、外部に出力する。
【０２７９】
以下において、予測情報生成部２２、およびテクスチャ情報生成部２４それぞれの詳細について説明する。
【０２８０】
（予測情報生成部）
図２３を用いて、予測情報生成部６２の詳細構成について説明する。図２３は、予測情報生成部２２の構成について例示した機能ブロック図である。
【０２８１】
図２３に示すように、予測情報生成部２２は、予測タイプ選択部２２１、スイッチ２２２、イントラ予測モード導出部２２３、動きベクトル候補導出部２２４、動き情報生成部２２５、マージ候補導出部２２６、およびマージ情報生成部２２７を備える。
【０２８２】
予測タイプ選択部２２１は、ＣＵタイプまたはＰＵタイプに応じてスイッチ２２２に切り替え指示を送り予測パラメータの導出処理を制御する。具体的には以下のとおりである。
【０２８３】
イントラＣＵまたはイントラＰＵが指定されている場合、予測タイプ選択部２２１はイントラ予測モード導出部２２３を用いて予測情報を導出できるようスイッチ２２２を制御する。
【０２８４】
インターＣＵ（マージなし）およびインターＰＵ（マージなし）のいずれかが指定されている場合、予測タイプ選択部２２１は動き情報生成部２２５を用いて予測パラメータを導出できるようスイッチ２２２を制御する。
【０２８５】
ベーススキップＣＵ、ベースマージＣＵ、スキップＣＵ、およびマージＰＵのいずれかが指定されている場合、予測タイプ選択部２２１はマージ情報生成部２２７を用いて予測パラメータを導出できるようスイッチ２２２を制御する。
【０２８６】
スイッチ２２２は、予測タイプ選択部２２１の指示に応じて、予測パラメータを、イントラ予測モード導出部２２３、動き情報生成部２２５、およびマージ情報生成部２２７のいずれかに供給する。予測情報の供給先において予測パラメータが導出される。
【０２８７】
イントラ予測モード導出部２２３は、予測モードに関するシンタックス値を導出する。すなわち、イントラ予測モード導出部２２３が予測情報として生成するのは、予測モードに関するシンタックス値である。
【０２８８】
動きベクトル候補導出部２２４は、ベース復号情報を用いて、レイヤ内動き推定処理、またはレイヤ間動き推定処理により推定動きベクトルの候補を導出する。動きベクトル候補導出部２２４は、導出した動きベクトルの候補を動き情報生成部２２５に供給する。
【０２８９】
動き情報生成部２２５は、マージを行わない各インター予測パーティションにおける動き情報に関するシンタックス値を生成する。すなわち、動き情報生成部２２５が予測情報として生成するのは動き情報に関するシンタックス値である。具体的には、動き情報生成部２２５は、各ＰＵにおける動き補償パラメータから、対応するシンタックス要素値であるinter_pred_flag、mvd、mvp_idx、および、refIdxを導出する。
【０２９０】
具体的には、動き情報生成部２２５は、対象ＰＵがベースマージＰＵである場合、動きベクトル候補導出部２２４から供給される動きベクトルの候補に基づいて、上記シンタックス値を導出する。
【０２９１】
一方、動き情報生成部２２５は、対象ＣＵ（ＰＵ）がマージを行わないインターＣＵ（インターＰＵ）である場合、予測パラメータに含まれる動き情報に基づいて、上記シンタックス値を導出する。
【０２９２】
マージ候補導出部２２６は、後述するフレームメモリ１５５から供給される復号済みの動き情報および／またはベース復号部２３から供給されるベース復号情報等を用いて、各ＰＵにおける動き補償パラメータと類似の動き補償パラメータを有するマージ候補を導出する。マージ候補導出部２２６は、導出したマージ候補をマージ情報生成部２２７に供給する。マージ候補導出部２２６の構成は、階層動画像復号装置１に含まれるマージ候補導出部１４６の構成と同様であるので、その説明を省略する。
【０２９３】
マージ情報生成部２２７は、マージを行う各インター予測パーティションに関する動き情報に関するシンタックス値を生成する。すなわち、マージ情報生成部２２７が予測情報として生成するのは動き情報に関するシンタックス値である。具体的には、マージ情報生成部２２７は、各ＰＵにおける動き補償パラメータと類似の動き補償パラメータを有するマージ候補を指定するシンタックス要素値merge_idxを出力する。
【０２９４】
（テクスチャ情報生成部）
図２４を用いて、テクスチャ情報生成部３４の詳細構成について説明する。図２４は、テクスチャ情報生成部２４の構成について例示した機能ブロック図である。
【０２９５】
図２４に示すように、テクスチャ情報生成部２４は、テクスチャ予測部２４１、減算器２４２、直交変換・量子化部２４３、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、フレームメモリ２４７、およびフィルタパラメータ導出部２４８を備える。
【０２９６】
減算器２４２は、入力画像ＰＩＮ＃Ｔからテクスチャ予測部２４１から供給される予測画像を減算することによって、予測残差Ｄを生成する。減算器２４２は、生成した予測残差Ｄを、直交変換・量子化部２４３に供給する。
【０２９７】
直交変換・量子化部２４３は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。また、具体的な量子化過程については、すでに説明した通りであるので、ここではその説明を省略する。直交変換・量子化部２４３は、生成した量子化予測残差を含む変換係数情報を逆直交変換・逆量子化部２４４および可変長符号化部６５に供給する。
【０２９８】
フィルタパラメータ導出部２４８は、入力画像ＰＩＮ＃Ｔおよび加算器２４５から供給された復号画像からフィルタパラメータを導出し、ループフィルタ部２４６、およびフィルタパラメータ情報生成部２７に供給する。
【０２９９】
テクスチャ予測部２４１、逆直交変換・逆量子化部２４４、加算器２４５、ループフィルタ部２４６、およびフレームメモリ２４７は、それぞれ、階層動画像復号装置１に含まれるテクスチャ予測部１５２、逆直交変換・逆量子化部１５１、加算器１５３、ループフィルタ部１５４、およびフレームメモリ１５５と同様であるので、ここではその説明は省略する。ただし、テクスチャ予測部２４１は、加算器２４５だけでなく減算器２４２にも予測画像を供給する。
【０３００】
（応用例）
図２５および図２６を用いて、上述した階層画像符号化装置２、および階層画像復号装置１の応用例について説明する。上述した階層画像符号化装置２および階層画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。
【０３０１】
まず、上述した階層画像符号化装置２及び階層画像復号装置１を、動画像の送信及び受信に利用できることを、図２５を参照して説明する。
【０３０２】
図２５の（ａ）は、階層画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２５の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した階層画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。
【０３０３】
送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２５の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。
【０３０４】
なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。
【０３０５】
図２５の（ｂ）は、階層画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２５の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した階層画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。
【０３０６】
受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２５の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。
【０３０７】
なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。
【０３０８】
なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。
【０３０９】
例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。
【０３１０】
また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービスなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。
【０３１１】
なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。
【０３１２】
次に、上述した階層画像符号化装置２及び階層画像復号装置１を、動画像の記録及び再生に利用できることを、図２６を参照して説明する。
【０３１３】
図２６の（ａ）は、上述した階層画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図２６の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した階層画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。
【０３１４】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（Universal Serial Bus）フラッシュメモリなどのように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０３１５】
また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２６の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。
【０３１６】
なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。
【０３１７】
このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。
【０３１８】
図２６の（ｂ）は、上述した階層画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２６の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した階層画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。
【０３１９】
なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。
【０３２０】
また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２６の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。
【０３２１】
なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。
【０３２２】
このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
【０３２３】
（ハードウェア的実現およびソフトウェア的実現）
また、上述した階層画像復号装置１、および階層画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。
【０３２４】
後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０３２５】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ−Ｒ（CD Recordable）／ブルーレイディスク（Blu-ray Disc:登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmable Read-Only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。
【０３２６】
また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０３２７】
本発明は、画像データが階層的に符号化された符号化データを復号する階層画像復号装置、および、画像データが階層的に符号化された符号化データを生成する階層画像符号化装置に好適に適用することができる。また、階層画像符号化装置によって生成され、階層画像復号装置によって参照される階層符号化データのデータ構造に好適に適用することができる。
【符号の説明】
【０３２８】
１          階層動画像復号装置（画像復号装置）
１１        ＮＡＬ逆多重化部
１２        可変長復号部
１３        ベース復号部
１４        予測パラメータ復元部
１５        テクスチャ復元部（フィルタ適用手段）
１６        フィルタパラメータ復元部（フィルタパラメータ導出手段）
２          階層動画像符号化装置（画像符号化装置）
２１        予測パラメータ決定部
２２        予測情報生成部
２３        ベース復号部
２４        テクスチャ情報生成部（フィルタ適用手段）
２５        可変長符号化部
２６        ＮＡＬ逆多重化部
２７        フィルタパラメータ情報生成部（フィルタパラメータ導出手段）
【図１】
2014013976.tif 000003
【図２】
2014013976.tif 000004
【図３】
2014013976.tif 000005
【図４】
2014013976.tif 000006
【図５】
2014013976.tif 000007
【図６】
2014013976.tif 000008
【図７】
2014013976.tif 000009
【図８】
2014013976.tif 000010
【図９】
2014013976.tif 000011
【図１０】
2014013976.tif 000012
【図１１】
2014013976.tif 000013
【図１２】
2014013976.tif 000014
【図１３】
2014013976.tif 000015
【図１４】
2014013976.tif 000016
【図１５】
2014013976.tif 000017
【図１６】
2014013976.tif 000018
【図１７】
2014013976.tif 000019
【図１８】
2014013976.tif 000020
【図１９】
2014013976.tif 000021
【図２０】
2014013976.tif 000022
【図２１】
2014013976.tif 000023
【図２２】
2014013976.tif 000024
【図２３】
2014013976.tif 000025
【図２４】
2014013976.tif 000026
【図２５】
2014013976.tif 000027
【図２６】
2014013976.tif 000028