(57)【要約】【課題】色域スケーラビリティにおいてインターレイヤ予測の精度のばらつきを抑制すること。【解決手段】第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を復号する復号部と、を備える画像処理装置を提供する。【選択図】図１７
2015005025.tif 000002
【特許請求の範囲】
【請求項１】
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、
前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、
前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を復号する復号部と、
を備える画像処理装置。
【請求項２】
前記予測パラメータは、前記第１レイヤの画素値に乗算されるゲイン、及びオフセットを含む、請求項１に記載の画像処理装置。
【請求項３】
前記ブロックは、ＬＣＵ（Largest  Coding  Unit）である、請求項１に記載の画像処理装置。
【請求項４】
前記設定部は、第１のブロックに隣接する隣接ブロックであり又は前記第１のブロックのコロケーテッドブロックである１つ以上の参照ブロックの設定に基づく予測値を用いて、前記第１のブロックに前記予測パラメータを設定する、請求項１に記載の画像処理装置。
【請求項５】
前記復号部は、いずれのブロックが前記１つ以上の参照ブロックであるかを示す参照ブロック情報を復号し、
前記設定部は、前記参照ブロック情報により示される前記１つ以上の参照ブロックの設定に基づいて、前記予測値を取得する、
請求項４に記載の画像処理装置。
【請求項６】
前記参照ブロック情報がいずれのブロックも参照されないことを示す場合に、前記設定部は、前記復号部により復号されるパラメータ情報により指定される前記予測パラメータを、前記第１のブロックに設定する、請求項５に記載の画像処理装置。
【請求項７】
前記設定部は、前記予測値と前記復号部により復号される差分値との和に相当する前記予測パラメータを、前記第１のブロックに設定する、請求項４に記載の画像処理装置。
【請求項８】
前記設定部は、第１のブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応する前記第１レイヤの１つ以上の対応ブロックの画素値を用いて算出される前記予測パラメータを、前記第１のブロックに設定する、請求項１に記載の画像処理装置。
【請求項９】
前記設定部は、前記１つ以上の隣接ブロック及び前記１つ以上の対応ブロックの画素の一部を間引き、残る画素の画素値を用いて前記予測パラメータを算出する、請求項８に記載の画像処理装置。
【請求項１０】
前記設定部は、利用可能な隣接ブロックを有しない第２のブロックに、前記予測パラメータとして既定値を設定する、請求項８に記載の画像処理装置。
【請求項１１】
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定することと、
ブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成することと、
生成される前記予測画像を用いて、前記第２レイヤの画像を復号することと、
を含む画像処理方法。
【請求項１２】
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、
前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、
前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を符号化する符号化部と、
を備える画像処理装置。
【請求項１３】
前記予測パラメータは、前記第１レイヤの画素値に乗算されるゲイン、及びオフセットを含む、請求項１２に記載の画像処理装置。
【請求項１４】
前記ブロックは、ＬＣＵ（Largest  Coding  Unit）である、請求項１２に記載の画像処理装置。
【請求項１５】
前記符号化部は、第１のブロックに設定すべき前記予測パラメータを、当該第１のブロックに隣接する隣接ブロックであり又は当該第１のブロックのコロケーテッドブロックである１つ以上の参照ブロックの設定に基づく予測値を用いて符号化する、請求項１２に記載の画像処理装置。
【請求項１６】
前記符号化部は、いずれのブロックが前記１つ以上の参照ブロックであるかを示す参照ブロック情報をさらに符号化する、請求項１５に記載の画像処理装置。
【請求項１７】
前記設定部は、第１のブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応する前記第１レイヤの１つ以上の対応ブロックの画素値を用いて算出される前記予測パラメータを、前記第１のブロックに設定する、請求項１２に記載の画像処理装置。
【請求項１８】
前記設定部は、前記１つ以上の隣接ブロック及び前記１つ以上の対応ブロックの画素の一部を間引き、残る画素の画素値を用いて前記予測パラメータを算出する、請求項１７に記載の画像処理装置。
【請求項１９】
前記設定部は、利用可能な隣接ブロックを有しない第２のブロックに、前記予測パラメータとして既定値を設定する、請求項１７に記載の画像処理装置。
【請求項２０】
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定することと、
ブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成することと、
生成される前記予測画像を用いて、前記第２レイヤの画像を符号化することと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint  Collaboration  Team-Video  Coding）により、ＨＥＶＣ（High  Efficiency  Video  Coding）と呼ばれる画像符号化方式の標準化が進められている（例えば、非特許文献１参照）。【０００３】
ＨＥＶＣは、ＭＰＥＧ２及びＡＶＣ（Advanced  Video  Coding）などの既存の画像符号化方式と同様、シングルレイヤの符号化のみならず、スケーラブル符号化をも提供する。ＨＥＶＣのスケーラブル符号化技術を、ＳＨＶＣ（Scalable  HEVC）ともいう（例えば、非特許文献２参照）。【０００４】
スケーラブル符号化とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal  to  Noise  Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。【０００５】
さらに、非特許文献３において、色域（Color  Gamut）を階層化する色域スケーラビリティが議論されている。例えば、高精細（ＨＤ）テレビジョンでは、通常、１９２０×１０８０画素の画像サイズ、ＩＴＵ−Ｒ  ＢＴ．７０９の色域、８ビットのビット深度が使用される。これに対し、超高精細（ＵＨＤ）テレビジョンでは、４０００×２０００画素又は８０００×４０００画素の画像サイズ、ＩＴＵ−Ｒ  ＢＴ．２０２０の色域、１０ビット又は１２ビットのビット深度が使用されることが検討されている。一般には、色域の変換は３次元の画素ベクトルに対する行列演算を要する。しかし、非特許文献３は、ＢＴ．７０９とＢＴ．２０２０との間の関係を色成分ごとに独立した線型的な関係に近似できることに着目し、ベースレイヤにおいてＢＴ．７０９、エンハンスメントレイヤにおいてＢＴ．２０２０がそれぞれ使用される場合に、簡略的な手法でベースレイヤの画素値からエンハンスメントレイヤの画素値を予測することを提案している。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Benjamin  Bross,  Woo-Jin  Han,  Gary  J.  Sullivan,  Jens-Rainer  Ohm,  Gary  J.  Sullivan,  Ye-Kui  Wang,  Thomas  Wiegand,  “High  Efficiency  Video  Coding  (HEVC)  text  specification  draft  10  (for  FDIS  &  Consent)”（JCTVC-L1003_v4,  2013年1月14-23日）
【非特許文献２】Jianle  Chen,  el.  al,  “Description  of  scalable  video  coding  technology  proposal  by  Qualcomm  (configuration  2)”（JCTVC-K0036，  2012年10月10-19日）
【非特許文献３】Louis  Kerofsky,  el.  al,  “Color  Gamut  Scalable  Video  Coding:  New  Results”（JCTVC-L0334，  2013年1月14-23日）
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献３において提案されている手法では、適応パラメータモードにおいて各色成分についての予測パラメータが、ピクチャごとに符号化される。そのため、必ずしも画像内のあらゆる領域で予測パラメータの値が最適であるとは言えず、一部の領域ではインターレイヤ予測の精度が下がってしまうケースがあった。【０００８】
従って、色域スケーラビリティにおいてインターレイヤ予測の精度のばらつきを抑制することのできる仕組みが提供されることが望ましい。
【課題を解決するための手段】
【０００９】
本開示によれば、第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を復号する復号部と、を備える画像処理装置が提供される。【００１０】
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。【００１１】
また、本開示によれば、第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定することと、ブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成することと、生成される前記予測画像を用いて、前記第２レイヤの画像を復号することと、を含む画像処理方法が提供される。【００１２】
また、本開示によれば、第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を符号化する符号化部と、を備える画像処理装置が提供される。【００１３】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。【００１４】
また、本開示によれば、第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定することと、ブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成することと、生成される前記予測画像を用いて、前記第２レイヤの画像を符号化することと、を含む画像処理方法が提供される。
【発明の効果】
【００１５】
本開示に係る技術によれば、色域スケーラビリティにおいてインターレイヤ予測の精度のばらつきを抑制することができる。
【図面の簡単な説明】
【００１６】
【図１】スケーラブル符号化について説明するための説明図である。
【図２】ＢＴ．７０９及びＢＴ．２０２０により表現される色域について説明するための説明図である。
【図３Ａ】ＪＣＴＶＣ−Ｌ０３３４により提案されている色域予測のための予測モードを示す表である。
【図３Ｂ】ＪＣＴＶＣ−Ｌ０３３４により提案されている予測パラメータのシンタックスについて説明するための第１の説明図である。
【図３Ｃ】ＪＣＴＶＣ−Ｌ０３３４により提案されている予測パラメータのシンタックスについて説明するための第２の説明図である。
【図４】一実施形態に係る画像符号化装置の概略的な構成を示すブロック図である。
【図５】一実施形態に係る画像復号装置の概略的な構成を示すブロック図である。
【図６】図４に示したＥＬ符号化部の構成の一例を示すブロック図である。
【図７】第１の実施例に係る色域変換部の構成の一例を示すブロック図である。
【図８Ａ】第１の実施例において符号化され得るパラメータ情報の第１の例について説明するための説明図である。
【図８Ｂ】第１の実施例において符号化され得るパラメータ情報の第２の例について説明するための説明図である。
【図８Ｃ】第１の実施例において符号化され得るパラメータ情報の第３の例について説明するための説明図である。
【図８Ｄ】第１の実施例において符号化され得るパラメータ情報の第４の例について説明するための説明図である。
【図９】第２の実施例に係る色域変換部の構成の一例を示すブロック図である。
【図１０Ａ】第２の実施例における予測パラメータの算出について説明するための第１の説明図である。
【図１０Ｂ】第２の実施例における予測パラメータの算出について説明するための第２の説明図である。
【図１１】第２の実施例における予測パラメータの算出のための参照画素について説明するための説明図である。
【図１２】一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。
【図１３】第１の実施例における符号化時の色域変換処理の流れの一例を示すフローチャートである。
【図１４】図１３に示したパラメータ情報生成処理の流れの一例を示すフローチャートである。
【図１５】第２の実施例における符号化時の色域変換処理の流れの一例を示すフローチャートである。
【図１６】図５に示したＥＬ復号部の構成の一例を示すブロック図である。
【図１７】第１の実施例に係る色域変換部の構成の一例を示すブロック図である。
【図１８】第２の実施例に係る色域変換部の構成の一例を示すブロック図である。
【図１９】一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。
【図２０】第１の実施例における復号時の色域変換処理の流れの一例を示すフローチャートである。
【図２１】図２０に示した予測パラメータ生成処理の流れの一例を示すフローチャートである。
【図２２】第２の実施例における復号時の色域変換処理の流れの一例を示すフローチャートである。
【図２３】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２４】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２５】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２６】撮像装置の概略的な構成の一例を示すブロック図である。
【図２７】スケーラブル符号化の用途の第１の例について説明するための説明図である。
【図２８】スケーラブル符号化の用途の第２の例について説明するための説明図である。
【図２９】スケーラブル符号化の用途の第３の例について説明するための説明図である。
【図３０】マルチビューコーデックについて説明するための説明図である。
【図３１】マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。
【図３２】マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。
【図３３】ビデオセットの概略的な構成の一例を示すブロック図である。
【図３４】ビデオプロセッサの概略的な構成の一例を示すブロック図である。
【図３５】ビデオプロセッサの概略的な構成の他の例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
また、以下の順序で説明を行う。
１．概要
１−１．スケーラブル符号化
１−２．色域スケーラビリティ
１−３．エンコーダの基本的な構成例
１−４．デコーダの基本的な構成例
２．一実施形態に係るＥＬ符号化部の構成例
２−１．全体的な構成
２−２．色域変換部の第１の実施例
２−３．色域変換部の第２の実施例
２−４．色域変換部の変形例
３．一実施形態に係る符号化時の処理の流れ
３−１．概略的な流れ
３−２．色域変換処理（第１の実施例）
３−３．色域変換処理（第２の実施例）
４．一実施形態に係るＥＬ復号部の構成例
４−１．全体的な構成
４−２．色域変換部の第１の実施例
４−３．色域変換部の第２の実施例
４−４．色域変換部の変形例
５．一実施形態に係る復号時の処理の流れ
５−１．概略的な流れ
５−２．色域変換処理（第１の実施例）
５−３．色域変換処理（第２の実施例）
６．応用例
６−１．様々な製品への応用
６−２．スケーラブル符号化の様々な用途
６−３．他のコーデックへの応用
６−４．様々な実装レベル
７．まとめ
【００１９】
＜１．概要＞
［１−１．スケーラブル符号化］
スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base  layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement  layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。
【００２０】
図１は、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。なお、ここでの解像度比は一例に過ぎず、例えば１．５：１などの非整数の解像度比が使用されてもよい。レイヤＬ１のブロックＢ１は、ベースレイヤのピクチャ内の符号化処理の処理単位である。レイヤＬ２のブロックＢ２は、ブロックＢ１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ２は、レイヤＬ１のブロックＢ１に対応する。レイヤＬ３のブロックＢ３は、ブロックＢ１及びＢ２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の符号化処理の処理単位である。ブロックＢ３は、レイヤＬ１のブロックＢ１及びレイヤＬ２のブロックＢ２に対応する。
【００２１】
［１−２．色域スケーラビリティ］
図１に例示したレイヤ構造において、画像のテクスチャは、共通するシーンを映したレイヤ間で類似する。即ち、レイヤＬ１内のブロックＢ１、レイヤＬ２内のブロックＢ２、及びレイヤＬ３内のブロックＢ３のテクスチャは類似する。従って、例えばブロックＢ１を参照ブロックとして用いてブロックＢ２又はブロックＢ３の画素を予測し、又はブロックＢ２を参照ブロックとして用いてブロックＢ３の画素を予測すれば、高い予測精度が得られる可能性がある。このようなレイヤ間の予測を、インターレイヤ予測という。非特許文献２では、インターレイヤ予測のためのいくつかの手法が提案されている。それら手法のうち、イントラＢＬ予測では、ベースレイヤの復号画像（リコンストラクト画像）が、エンハンスメントレイヤの復号画像を予測するための参照画像として使用される。イントラ残差予測及びインター残差予測では、ベースレイヤの予測誤差（残差）画像が、エンハンスメントレイヤの予測誤差画像を予測するための参照画像として使用される。
【００２２】
ここで、例えばレイヤＬ１の画像がＨＤテレビジョン画像であり、レイヤＬ２の画像がＵＨＤテレビジョン画像であるものとする。図２は、ＢＴ．７０９及びＢＴ．２０２０により表現される色域について説明するための説明図である。図２を参照すると、所定の拘束条件を用いて３次元の色空間を２次元平面へマッピングした色域グラフが示されている。グラフ中の十字マークは、白色がマッピングされる位置を示す。グラフ中の破線は、ＢＴ．７０９が表現することのできる色の範囲を示す。グラフ中の実線は、ＢＴ．２０２０が表現することのできる色の範囲を示す。グラフ中の点線は、人間の視覚が識別することのできる色の範囲を示す。図２から理解されるように、ＢＴ．２０２０は、ＢＴ．７０９よりも多彩な色を表現することができる。レイヤＬ１の各画素がＢＴ．７０９で表現され、レイヤＬ２の各画素がＢＴ．２０２０で表現される場合、インターレイヤ予測に際して、参照画像（レイヤＬ１の画像）についての解像度の変換（即ち、アップサンプリング）及び色域の変換が行われる。通常は、色域の変換は、３次元の画素ベクトルに３行３列の変換行列を乗算することにより行われる。しかし、非特許文献３において説明されているように、ＢＴ．７０９とＢＴ．２０２０との間の関係を、色成分ごとに独立した線型的な関係に近似することができる。そこで、非特許文献３は、色域の変換に要する計算の複雑性及び時間を低減するための簡略化された手法を提案している。
【００２３】
図３Ａは、非特許文献３により提案されている色域予測のための予測モードを示す表である。図３Ａを参照すると、予測モードの番号は「０」、「１」及び「２」のいずれかであり、即ち３種類の予測モードの候補が存在する。予測モード番号＝「０」の場合、次の式（１）〜式（３）ように、ビットシフト（ビットインクリメント）によって各色成分のＢＴ．７０９の画素値（Ｙ７０９，Ｕ７０９，Ｖ７０９）からＢＴ．２０２０の画素値（Ｙ２０２０，Ｕ２０２０，Ｖ２０２０）が予測される。このような予測モードを、本明細書ではビットシフトモードという。
【００２４】
【数１】
2015005025.tif 000003
【００２５】
予測モード番号＝「１」ｏｒ「２」の場合、次の式（４）〜式（６）のように、ゲインｇｉ及びオフセットｏｉ（ｉ＝１，２，３）を用いた線形的な変換によって、各色成分について、ＢＴ．７０９の画素値からＢＴ．２０２０の画素値が予測される。
【００２６】
【数２】
2015005025.tif 000004
【００２７】
予測モード番号＝「１」の場合、ゲイン及びオフセットの値として予め仕様化される固定値が使用される。予測モード番号＝「１」の予測モードを、本明細書では固定パラメータモードという。予測モード番号＝「２」の場合、ゲイン及びオフセットの値として適応的に指定される可変値が使用される。予測モード番号＝「２」の予測モードを、本明細書では適応パラメータモードという。適応パラメータモードが選択される場合、６種類の予測パラメータ（３つのゲイン及び３つのオフセット）が予測パラメータとして追加的に符号化される。
【００２８】
図３Ｂ及び図３Ｃは、非特許文献３より提案されている予測パラメータのシンタックスについて説明するための説明図である。図３Ｂの第２行の“pps_extension_flag”は、ＰＰＳ（Picture  Parameter  Set）が色域予測のための拡張されたシンタックスを含むか否かを示すフラグである。図３Ｂの第５行の“color_pred_data()”は、色域スケーラビリティ用のシンタックスの関数であり、その内容は図３Ｃに示されている。図３Ｃの第１行の“color_prediction_model”は選択される予測モードを示すパラメータであり、図３Ａに例示した「０」、「１」及び「２」のいずれかの値をとる。適応パラメータモード（“color_prediction_model=2”）の場合、第３行においてゲインの分母に対応するビット数（“numFractionBits”）が、第５行においてＩ番目の色成分についてのゲインの分子（“color_prediction_gain[I]”）が、第６行においてＩ番目の色成分についてのオフセット（“color_prediction_offset[I]”）がそれぞれ指定される。
【００２９】
適応パラメータモードは、３通りの予測モードの中で、最も高い予測精度を期待することのできるモードである。しかしながら、適応パラメータモードでは、各色成分についてのゲイン及びオフセットが、ピクチャごとに符号化される。そのため、画像内のある領域では精度の高いインターレイヤ予測が可能である一方で、他の領域ではインターレイヤ予測の精度が下がってしまうケースがあった。そこで、以下に説明する実施形態において、インターレイヤ予測の精度のばらつきを抑制するために、画像に含まれるブロックごとに適切な予測パラメータを設定することを提案する。
【００３０】
［１−３．エンコーダの基本的な構成例］
図４は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図４を参照すると、画像符号化装置１０は、ベースレイヤ（ＢＬ）符号化部１ａ、エンハンスメントレイヤ（ＥＬ）符号化部１ｂ、共通メモリ２及び多重化部３を備える。
【００３１】
ＢＬ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
【００３２】
［１−４．デコーダの基本的な構成例］
図５は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図５を参照すると、画像復号装置６０は、逆多重化部５、ベースレイヤ（ＢＬ）復号部６ａ、エンハンスメントレイヤ（ＥＬ）復号部６ｂ及び共通メモリ７を備える。
【００３３】
逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。ＢＬ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。ＥＬ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
【００３４】
図４に例示した画像符号化装置１０において、ベースレイヤの符号化のためのＢＬ符号化部１ａの構成と、エンハンスメントレイヤの符号化のためのＥＬ符号化部１ｂの構成とは、互いに類似する。ＢＬ符号化部１ａにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ２を用いてバッファリングされ、ＥＬ符号化部１ｂにより再利用され得る。次節では、そのようなＥＬ符号化部１ｂの構成について詳細に説明する。
【００３５】
同様に、図５に例示した画像復号装置６０において、ベースレイヤの復号のためのＢＬ復号部６ａの構成と、エンハンスメントレイヤの復号のためのＥＬ復号部６ｂの構成とは、互いに類似する。ＢＬ復号部６ａにより生成され又は取得されるいくつかのパラメータ及び画像は、共通メモリ７を用いてバッファリングされ、ＥＬ復号部６ｂにより再利用され得る。さらに次の節では、そのようなＥＬ復号部６ｂの構成について詳細に説明する。
【００３６】
＜２．一実施形態に係るＥＬ符号化部の構成例＞
［２−１．全体的な構成］
図６は、図４に示したＥＬ符号化部１ｂの構成の一例を示すブロック図である。図６を参照すると、ＥＬ符号化部１ｂは、並び替えバッファ１１、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５並びに色域変換部４０を備える。
【００３７】
並び替えバッファ１１は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０、インター予測部３５及び色域変換部４０へ出力する。
【００３８】
減算部１３には、並び替えバッファ１１から入力される画像データ、及び後に説明するイントラ予測部３０又はインター予測部３５から入力される予測画像データが供給される。減算部１３は、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを計算し、計算した予測誤差データを直交変換部１４へ出力する。
【００３９】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。ＨＥＶＣにおいて、直交変換は、ＴＵ（変換単位：Transform  Unit）と呼ばれるブロックごとに実行される。ＴＵは、ＣＵ（符号化単位：Coding  Unit）を分割することにより形成されるブロックである。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００４０】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、レート制御信号に従って決定される量子化ステップで変換係数データを量子化する。量子化部１５は、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。
【００４１】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、エンハンスメントレイヤの符号化ストリームを生成する。また、可逆符号化部１６は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。可逆符号化部１６により符号化されるパラメータは、後に説明するイントラ予測に関する情報及びインター予測に関する情報を含み得る。色域の変換に関する情報もまた符号化され得る。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００４２】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００４３】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００４４】
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップで、エンハンスメントレイヤの量子化データを逆量子化し、変換係数データを復元する。そして、逆量子化部２１は、復元した変換係数データを逆直交変換部２２へ出力する。
【００４５】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。直交変換と同様、逆直交変換は、ＴＵごとに実行される。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００４６】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとイントラ予測部３０又はインター予測部３５から入力される予測画像データとを加算することにより、復号画像データ（エンハンスメントレイヤのリコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをループフィルタ２４及びフレームメモリ２５へ出力する。
【００４７】
ループフィルタ２４は、画質の向上を目的とするフィルタ群を含む。デブロックフィルタ（ＤＦ）は、画像の符号化時に生じるブロック歪みを軽減するフィルタである。サンプル適応オフセット（ＳＡＯ）フィルタは、各画素値に適応的に決定されるオフセット値を加えるフィルタである。適応ループフィルタ（ＡＬＦ）は、ＳＡＯ後の画像と原画像との誤差を最小化するフィルタである。ループフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００４８】
フレームメモリ２５は、加算部２３から入力されるエンハンスメントレイヤの復号画像データ、ループフィルタ２４から入力されるエンハンスメントレイヤのフィルタリング後の復号画像データ、及び色域変換部４０から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。
【００４９】
セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部３５に供給する。さらに、イントラ予測部３０又はインター予測部３５においてインターレイヤ予測が実行される場合、セレクタ２６は、ベースレイヤの参照画像データをイントラ予測部３０又はインター予測部３５へ供給する。
【００５０】
セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部３５から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。
【００５１】
イントラ予測部３０は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵ（予測単位：Prediction  Unit）ごとにイントラ予測処理を行う。例えば、イントラ予測部３０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。イントラ予測部３０は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測の一種であるイントラＢＬ予測を含めてもよい。イントラＢＬ予測では、エンハンスメントレイヤ内の予測対象ブロックに対応するベースレイヤ内の対応ブロックが参照ブロックとして使用され、当該参照ブロックの復号画像に基づいて予測画像が生成される。また、イントラ予測部３０は、インターレイヤ予測の一種であるイントラ残差予測を含めてもよい。イントラ残差予測では、ベースレイヤ内の対応ブロックである参照ブロックの予測誤差画像に基づいてイントラ予測の予測誤差が予測され、予測された予測誤差の加算された予測画像が生成される。イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
【００５２】
インター予測部３５は、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、ＨＥＶＣのＰＵごとにインター予測処理を行う。例えば、インター予測部３５は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部３５は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部３５は、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。インター予測部３５は、エンハンスメントレイヤにおける予測モードセットに、インターレイヤ予測の一種であるインター残差予測を含めてもよい。インター残差予測では、ベースレイヤ内の対応ブロックである参照ブロックの予測誤差画像に基づいてインター予測の予測誤差が予測され、予測された予測誤差の加算された予測画像が生成される。インター予測部３５は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
【００５３】
色域変換部４０は、共通メモリ２によりバッファリングされるベースレイヤの画像（復号画像又は予測誤差画像）を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、色域変換部４０は、ベースレイヤの画像とは異なる色域をエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。本実施形態において、色域変換部４０は、ベースレイヤ及びエンハンスメントレイヤの色域の間の色成分ごとに独立した線型的な関係を前提とし、ベースレイヤの画像からエンハンスメントレイヤの画像を近似的に予測することにより、色域を変換する。色域変換部４０により色域の変換された予測画像は、フレームメモリ２５に格納され、イントラ予測部３０又はインター予測部３５により、インターレイヤ予測において参照画像として使用され得る。即ち、エンハンスメントレイヤの画像は、色域変換部４０において生成される予測画像を用いて符号化される。また、色域変換部４０は、色域の変換に関するいくつかの情報を生成する。色域変換部４０により生成される情報は、例えば、色域予測の予測モードを示す予測モード情報を含む。また、予測モードとして適応パラメータモードが選択される場合には、色域変換部４０により生成される情報は、色成分ごとの予測パラメータ（即ち、ゲイン及びオフセット）を直接的に指定し又は予測符号化によって間接的に指定するパラメータ情報を含む。本実施形態において、色域変換部４０は、画像に含まれるブロックの各々に予測パラメータを設定し、予測モード情報及びパラメータ情報を含む色域の変換に関する情報を可逆符号化部１６へ出力する。可逆符号化部１６は、色域の変換に関する情報を符号化する。
【００５４】
［２−２．色域変換部の第１の実施例］
図７は、第１の実施例に係る色域変換部４０の構成の一例を示すブロック図である。図７を参照すると、色域変換部４０は、アップサンプリング部４１、予測部４２、パラメータ設定部４３、パラメータバッファ４４、情報生成部４５及び変換制御部４６を有する。
【００５５】
（１）アップサンプリング部
アップサンプリング部４１は、共通メモリ２から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。より具体的には、アップサンプリング部４１は、解像度比に応じて順に走査される補間画素の各々について、予め定義されるフィルタ係数でベースレイヤの画像をフィルタリングすることにより補間画素値を計算する。それにより、ベースレイヤの画像の空間解像度が、エンハンスメントレイヤと同等の解像度まで高められる。アップサンプリング部４１は、アップサンプリング後の画像を予測部４２及びパラメータ設定部４３へ出力する。
【００５６】
（２）予測部
予測部４２は、予測モードの候補の各々に従って、アップサンプリング部４１から入力されるアップサンプリング後のベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。例えば、予測部４２は、ビットシフトモードにおいて、式（１）〜式（３）に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量ｎｓｈｉｆｔだけ左方へシフトさせることにより、予測画素値を計算する。ビットシフト量ｎｓｈｉｆｔは、例えばＨＤテレビジョン画像からＵＨＤテレビジョン画像への変換の場合には、２又は４であってよい。また、予測部４２は、固定パラメータモードにおいて、式（４）〜式（６）に従って、アップサンプリング後のベースレイヤの画素値に固定的なゲインを乗算し、さらに固定的なオフセットを加算することにより、予測画素値を計算する。また、予測部４２は、適応パラメータモードにおいて、固定的なゲイン及びオフセットの代わりに、パラメータ設定部４３によりブロックごとに適応的に設定される予測パラメータ、即ちゲイン及びオフセットを用いて、予測画素値を計算する。そして、予測部４２は、予測モードの候補の各々について生成される予測画像を、変換制御部４６へ出力する。
【００５７】
（３）パラメータ設定部
パラメータ設定部４３は、ベースレイヤとは異なる色域を有するエンハンスメントレイヤの画像をベースレイヤの画像から適応パラメータモードで予測する際に使用される予測パラメータを、エンハンスメントレイヤの画像に含まれるブロックごとに設定する。予測パラメータは、式（４）〜式（６）に示したゲインｇｉ及びオフセットｏｉ（ｉ＝１，２，３）を含む。ここで、下付き文字のｉは、３種類の色成分の各々を意味する。ゲインｇｉは、ベースレイヤの画素値に乗算される係数である。オフセットｏｉは、ベースレイヤの画素値とゲインｇｉとの積に加算される数値である。パラメータ設定部４３は、例えば、注目ブロックの色成分ごとに、共通メモリ２から取得されるベースレイヤの画像を並び替えバッファ１１から入力されるエンハンスメントレイヤの原画像に最も近付けることのできるようなゲイン及びオフセットを、最小二乗法の考え方に従って算出する。最小二乗法のアルゴリズムは、実際には、ルックアップテーブルを用いる手法によって簡易的に実装されてもよい。そして、パラメータ設定部４３は、算出したゲイン及びオフセットを注目ブロックに設定する。ここでの注目ブロックは、ピクチャ、スライス又はタイル内でラスタ状にスキャンされる一連のＬＣＵ（Largest  Coding  Unit）の各々であってよい。その代わりに、スライス、ＣＵ又はＰＵなどの他の種類のブロックごとに予測パラメータが設定されてもよい。また、パラメータ設定部４３は、注目ブロックに設定した予測パラメータを、パラメータバッファ４４によりバッファリングさせる。
【００５８】
（４）パラメータバッファ
パラメータバッファ４４は、パラメータ設定部４３によりブロックごとに算出される適応パラメータモードのための予測パラメータを、半導体メモリなどの記憶媒体を用いて一時的にバッファリングする。パラメータバッファ４４によりバッファリングされるあるブロックの予測パラメータは、隣接ブロック又はコロケーテッドブロックの予測パラメータを予測符号化する際に参照される。
【００５９】
（５）情報生成部
情報生成部４５は、各注目ブロックの予測パラメータを設定するためにデコーダにおいて使用されるパラメータ情報を生成する。例えば、情報生成部４５は、各注目ブロックについて１つ以上の参照ブロックを選択し、選択した参照ブロックに設定された予測パラメータから当該注目ブロックの予測パラメータの予測値を決定する。また、情報生成部４５は、注目ブロックに設定された予測パラメータの値から予測値を減算することにより、予測パラメータの差分値を算出する。そして、情報生成部４５は、注目ブロックについてのパラメータ情報として、いずれの参照ブロックを予測パラメータの予測に用いるかを示す参照ブロック情報、及び予測パラメータの差分値を示す差分情報を生成する。情報生成部４５により生成されるこれらパラメータ情報は、変換制御部４６へ出力される。
【００６０】
予測パラメータの予測符号化のための参照ブロックの候補は、注目ブロックに隣接する上の隣接ブロック及び左の隣接ブロックを含み得る。参照ブロックの候補は、インター予測の参照画像内の（注目ブロックの）コロケーテッドブロックを含んでもよい。参照ブロックの予測パラメータから決定される注目ブロックの予測値は、いずれか１つの参照ブロックの予測パラメータの値に等しくてもよい。その代わりに、当該予測値は、２つ以上の参照ブロックの予測パラメータの平均値であってもよい。なお、注目ブロックがピクチャ、スライス又はタイルの端部に位置する場合のように、いずれかの隣接ブロックが利用可能でなければ、利用可能でない隣接ブロックは参照ブロックの候補から除外される。利用可能な参照ブロックが存在しない場合には、情報生成部４５は、注目ブロックについて予測パラメータの値を図３Ｃを用いて説明したシンタックスで直接的に指定するパラメータ情報を生成し得る。情報生成部４５は、利用可能な参照ブロックが存在する場合にも、いずれの参照ブロックも予測パラメータの予測に用いないことを示す参照ブロック情報を生成し、及び注目ブロックについて予測パラメータの値を直接的に指定するパラメータ情報を生成してもよい。各ブロックの予測パラメータの値は、予め定義され又はシーケンス若しくはピクチャなどの単位で設定され得る既定値からの差分として指定されてもよい。
【００６１】
図８Ａは、第１の実施例において符号化され得るパラメータ情報の第１の例について説明するための説明図である。図８Ａにおいて、画像Ｉｍ１は、エンハンスメントレイヤの画像である。ブロックＢ１０は、画像Ｉｍ１内の注目ブロックである。ブロックＢ１１は、ブロックＢ１０の左の隣接ブロックである。ブロックＢ１２は、ブロックＢ１０の上の隣接ブロックである。一例として、参照ブロック情報は、フラグmerge_left_flagを含む。フラグmerge_left_flagが真（＝１）である場合、注目ブロックＢ１０のゲインＧ１０及びオフセットＯ１０の予測値は、左の隣接ブロックＢ１１のゲインＧ１１及びオフセットＯ１１の値に等しい。注目ブロックＢ１０のゲインＧ１０は、予測値Ｇ１１と差分値ｄＧ１０との和である。注目ブロックＢ１０のオフセットＯ１０は、予測値Ｏ１１と差分値ｄＯ１０との和である。この場合、後述するフラグmerge_top_flagは、符号化されてもされなくてもよい。
【００６２】
図８Ｂは、第１の実施例において符号化され得るパラメータ情報の第２の例について説明するための説明図である。図８Ｂにおいても、エンハンスメントレイヤの画像Ｉｍ１は、注目ブロックＢ１０、並びに隣接ブロックＢ１１及びＢ１２を含む。一例として、参照ブロック情報は、フラグmerge_top_flagを含む。フラグmerge_top_flagが真（＝１）である場合、注目ブロックＢ１０のゲインＧ１０及びオフセットＯ１０の予測値は、上の隣接ブロックＢ１２のゲインＧ１２及びオフセットＯ１２の値に等しい。注目ブロックＢ１０のゲインＧ１０は、予測値Ｇ１２と差分値ｄＧ１０との和である。注目ブロックＢ１０のオフセットＯ１０は、予測値Ｏ１２と差分値ｄＯ１０との和である。この場合、上述したフラグmerge_left_flagは、符号化されてもされなくてもよい。
【００６３】
図８Ｃは、第１の実施例において符号化され得るパラメータ情報の第３の例について説明するための説明図である。図８Ｃにおいても、エンハンスメントレイヤの画像Ｉｍ１は、注目ブロックＢ１０、並びに隣接ブロックＢ１１及びＢ１２を含む。一例として、参照ブロック情報は、フラグmerge_left_flag及びmerge_top_flagを含む。これらフラグが共に偽（＝０）である場合、注目ブロックＢ１０のゲインＧ１０及びオフセットＯ１０の値は、参照ブロックの設定から予測されない。その代わりに、注目ブロックＢ１０のゲインＧ１０及びオフセットＯ１０の値を（例えば、図３Ｃを用いて説明したシンタックスで）直接的に指定するパラメータ情報が生成され及び符号化され得る。
【００６４】
図８Ｄは、第１の実施例において符号化され得るパラメータ情報の第４の例について説明するための説明図である。図８Ｄにおいても、エンハンスメントレイヤの画像Ｉｍ１は、注目ブロックＢ１０、並びに隣接ブロックＢ１１及びＢ１２を含む。さらに、画像Ｉｍ１ｒｅｆは、注目画像Ｉｍ１のインター予測における参照画像である。ブロックＢｃｏｌは、注目ブロックＢ１０のコロケーテッドブロックである。一例として、参照ブロック情報は、フラグmerge_left_flag、merge_top_flag及びmerge_col_flagを含む。フラグmerge_col_flagが真（＝１）である場合、注目ブロックＢ１０のゲインＧ１０及びオフセットＯ１０の予測値は、コロケーテッドブロックＢｃｏｌのゲインＧｃｏｌ及びオフセットＯｃｏｌの値に等しい。注目ブロックＢ１０のゲインＧ１０は、予測値Ｇｃｏｌと差分値ｄＧ１０との和である。注目ブロックＢ１０のオフセットＯ１０は、予測値Ｏｃｏｌと差分値ｄＯ１０との和である。
【００６５】
（６）変換制御部
変換制御部４６は、予測部４２から入力される予測モードの複数の候補の予測画像と関連情報とに基づいて、符号化効率の観点で最適な予測モードを選択する。変換制御部４６は、ビットシフトモード又は固定パラメータモードを選択した場合には、選択したモードを示す予測モード情報を可逆符号化部１６へ出力し、対応する予測画像をフレームメモリ２５に格納する。予測モードは、ブロックごとに選択されてもよく、又はピクチャ、スライス又はタイルなどのより大きい単位で選択されてもよい。また、変換制御部４６は、適応パラメータモードを選択した場合には、予測モード情報と各ブロックに設定すべき予測パラメータを指定するパラメータ情報とを可逆符号化部１６へ出力し、対応する予測画像をフレームメモリ２５に格納する。上述したように、パラメータ情報は、予測パラメータの予測符号化が行われるブロックについては、参照ブロック情報及び差分情報を含み得る。
【００６６】
［２−３．色域変換部の第２の実施例］
第１の実施例では、適応パラメータモードの予測パラメータは、エンコーダ側で、エンハンスメントレイヤの注目ブロックの原画像とベースレイヤの対応ブロックの復号画像とを用いて算出される。そして、算出された予測パラメータを復号するためのパラメータ情報が、エンコーダ側からデコーダ側へ伝送される。一方、第２の実施例では、適応パラメータモードの予測パラメータは、エンコーダ側及びデコーダ側の双方で、エンハンスメントレイヤの注目ブロックに隣接する１つ以上の隣接ブロックの復号画像と、当該隣接ブロックに対応するベースレイヤの１つ以上の対応ブロック（即ち、注目ブロックに対応する対応ブロックに隣接する１つ以上のブロック）の復号画像とを用いて算出される。予測パラメータを復号するためのパラメータ情報は伝送されない。
【００６７】
図９は、第２の実施例に係る色域変換部４０の構成の一例を示すブロック図である。図９を参照すると、色域変換部４０は、アップサンプリング部４１、予測部４２、ＢＬ参照バッファ４７ａ、ＥＬ参照バッファ４７ｂ、パラメータ設定部４８、及び変換制御部４９を有する。
【００６８】
（１）ＢＬ参照バッファ
ＢＬ参照バッファ４７ａは、適応パラメータモードの予測パラメータを算出する際に参照されるベースレイヤの画像を共通メモリ２から取得し、取得した参照画像を、半導体メモリなどの記憶媒体を用いて一時的にバッファリングする。注目ブロックの予測パラメータを算出する際に参照されるベースレイヤの画素は、例えば、注目ブロックの上及び左の隣接ブロックに対応する対応ブロックの画素であってよい。
【００６９】
（２）ＥＬ参照バッファ
ＥＬ参照バッファ４７ｂは、適応パラメータモードの予測パラメータを算出する際に参照されるエンハンスメントレイヤの復号画像（リコンストラクト画像）をフレームメモリ２５から取得し、取得した参照画像を、半導体メモリなどの記憶媒体を用いて一時的にバッファリングする。注目ブロックの予測パラメータを算出する際に参照されるエンハンスメントレイヤの画素は、例えば、注目ブロックに隣接する上及び左の隣接ブロックの画素であってよい。
【００７０】
（３）パラメータ設定部
パラメータ設定部４８は、適応パラメータモードのための注目ブロックの予測パラメータの最適な値を、注目ブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応するベースレイヤの１つ以上の対応ブロックの画素値を用いて算出する。第１の実施例と同様、予測パラメータは、式（４）〜式（６）に示したゲインｇｉ及びオフセットｏｉ（ｉ＝１，２，３）を含む。パラメータ設定部４８は、例えば、最小二乗法の考え方に従って、注目ブロックの予測パラメータの最適な値、即ち最適なゲイン及びオフセットを算出し得る。そして、パラメータ設定部４８は、算出したゲイン及びオフセットを注目ブロックに設定する。上述したように、注目ブロックは、ピクチャ、スライス又はタイル内でラスタ状にスキャンされる一連のＬＣＵの各々であってよい。その代わりに、スライス、ＣＵ又はＰＵなどの他の種類のブロックごとに予測パラメータが設定されてもよい。
【００７１】
一例として、パラメータ設定部４８は、エンハンスメントレイヤの１つ以上の隣接ブロック及びベースレイヤの１つ以上の対応ブロックの画素の一部を間引き、残る画素の画素値を用いて予測パラメータの最適な値を算出してもよい。それにより、予測パラメータの算出のための処理リソース（プロセッサ及びメモリなど）の消費を抑制すると共に、処理遅延を低減することができる。パラメータ設定部４８は、注目ブロックのサイズに依存して、間引かれる参照画素の割合を変化させてもよい（例えば、ブロックサイズが大きい程多くの参照画素を間引く、など）。
【００７２】
予測パラメータの算出のための参照画素は、エンハンスメントレイヤにおいては、上の隣接ブロックの下端のライン及び左の隣接ブロックの右端のライン上の複数の画素を含み得る（ベースレイヤにおいても同様）。いずれかの隣接ブロックが利用可能でなければ、利用可能でない隣接ブロックは参照されない。利用可能な隣接ブロックが存在しない場合には、予め定義され又はシーケンス若しくはピクチャなどの単位で設定され得る予測パラメータの既定値が、注目ブロックに設定され得る。その代わりに、追加的に生成されるパラメータ情報により直接的に指定される値が、予測パラメータとして注目ブロックに設定されてもよい。
【００７３】
図１０Ａは、第２の実施例における予測パラメータの算出について説明するための第１の説明図である。図１０Ａにおいて、エンハンスメントレイヤの画像Ｉｍ２ｅは、ブロックＢ２０ｅ、Ｂ２１ｅ及びＢ２２ｅを含む。ブロックＢ２０ｅは、注目ブロックである。ブロックＢ２１ｅは、注目ブロックＢ２０ｅの左の隣接ブロックである。ブロックＢ２２ｅは、注目ブロックＢ２０ｅの上の隣接ブロックである。ベースレイヤの画像Ｉｍ２ｂは、ブロックＢ２０ｂ、Ｂ２１ｂ及びＢ２２ｂを含む。ブロックＢ２０ｂは、注目ブロックに対応する対応ブロックである。ブロックＢ２１ｂは、隣接ブロックＢ２１ｅに対応する対応ブロックである。ブロックＢ２２ｂは、隣接ブロックＢ２２ｅに対応する対応ブロックである。図中で斜線で網掛けされた画素は、参照画素である。注目ブロックＢ２０ｅのゲインＧ２０ｅ及びオフセットＯ２０ｅは、ブロックＢ２１ｂ及びＢ２２ｂの参照画素値を色域変換によってブロックＢ２１ｅ及びＢ２２ｅの参照画素値に最も近付けることができるように算出される。
【００７４】
図１０Ｂは、第２の実施例における予測パラメータの算出について説明するための第２の説明図である。図１０Ｂを参照すると、エンハンスメントレイヤの画像Ｉｍ３ｅは、ブロックＢ３０ｅ、Ｂ３１ｅ及びＢ３２ｅを含む。ブロックＢ３０ｅは、注目ブロックである。ブロックＢ３１ｅは、注目ブロックＢ３０ｅの左の隣接ブロックである。ブロックＢ３２ｅは、注目ブロックＢ３０ｅの上の隣接ブロックである。ベースレイヤの画像Ｉｍ３ｂは、ブロックＢ３０ｂ、Ｂ３１ｂ及びＢ３２ｂを含む。ブロックＢ３０ｂは、注目ブロックに対応する対応ブロックである。ブロックＢ３１ｂは、隣接ブロックＢ３１ｅに対応する対応ブロックである。ブロックＢ３２ｂは、隣接ブロックＢ３２ｅに対応する対応ブロックである。図中で斜線で網掛けされた画素は、参照画素である。ここでは、２つの参照画素ごとに１つが間引かれている。注目ブロックＢ３０ｅのゲインＧ３０ｅ及びオフセットＯ３０ｅは、ブロックＢ３１ｂ及びＢ３２ｂの間引き後の参照画素の画素値を色域変換によってブロックＢ３１ｅ及びＢ３２ｅの間引き後の参照画素値に最も近付けることができるように算出される。
【００７５】
図１１は、第２の実施例における予測パラメータの算出のための参照画素について説明するための説明図である。図１１を参照すると、エンハンスメントレイヤの画像Ｉｍ４ｅは、ブロックＢ４０ｅ、Ｂ４１ｅ、Ｂ４２ｅ、Ｂ４３ｅ、Ｂ４５ｅ、Ｂ４６ｅ、Ｂ４７ｅ及びＢ４８ｅを含む。ブロックＢ４０ｅはピクチャの左上端に位置するため、ブロックＢ４０ｅが注目ブロックである場合、左及び上の隣接ブロックの双方が利用可能でない。従って、ブロックＢ４０ｅについては、予測パラメータの既定値が使用され得る。ブロックＢ４２ｅはピクチャの上端に位置するため、ブロックＢ４２ｅが注目ブロックである場合、上の隣接ブロックが利用可能でない。従って、ブロックＢ４２ｅについては、左の隣接ブロックＢ４１ｅを用いて、予測パラメータの値が算出され得る。ブロックＢ４６ｅはピクチャの左端に位置するため、ブロックＢ４６ｅが注目ブロックである場合、左の隣接ブロックが利用可能でない。従って、ブロックＢ４６ｅについては、上の隣接ブロックＢ４３ｅを用いて、予測パラメータの値が算出され得る。ブロックＢ４８ｅはピクチャの端部に位置しないため、ブロックＢ４８ｅが注目ブロックである場合、左及び上の隣接ブロックの双方が利用可能である。従って、ブロックＢ４８ｅについては、左の隣接ブロックＢ４７ｅ及び上の隣接ブロックＢ４５ｅを用いて、予測パラメータの値が算出され得る。
【００７６】
（４）変換制御部
変換制御部４９は、予測部４２から入力される予測モードの複数の候補の予測画像と関連情報とに基づいて、符号化効率の観点で最適な予測モードを選択する。そして、変換制御部４９は、選択した最適な予測モードを示す予測モード情報を可逆符号化部１６へ出力し、対応する予測画像をフレームメモリ２５に格納する。予測モードは、ブロックごとに選択されてもよく、又はピクチャ、スライス又はタイルなどのより大きい単位で選択されてもよい。変換制御部４９は、適応パラメータモードにおいて利用可能な隣接ブロックを有しないブロックのための予測パラメータの既定値を指定するパラメータ情報を、可逆符号化部１６へ出力してもよい。
【００７７】
［２−４．色域変換部の変形例］
上述したように、適応パラメータモードにおける予測パラメータは、ゲイン及びオフセットを含む。しかし、画像の特性又は色域の種類に依存し、主にオフセットの適応的な選択のみが色域変換の精度の向上に寄与するケースも存在する。そうしたケースにおいて、ゲインをブロックごとに冗長的に符号化することは、符号化効率をむしろ低下させ得る。また、ゲイン及びオフセットという２つの変数の最適値を探索することは、複雑な実装を要し、処理リソースの無駄を生じさせる。そこで、一変形例として、色域変換部４０は、ゲインを複数のブロック（例えば、ピクチャ、スライス又はタイル内の全てのＬＣＵ）にわたって固定的な値に設定し、一方でオフセットをブロックごとに可変的に設定してもよい。ゲインは、複数のピクチャ又は複数のシーケンスにわたって固定的であってもよい。ゲインの固定的な値は、符号化されてもよく、又は予め仕様として定義されてもよい。なお、特定の値のゲイン（典型的には、２のべき乗）と画素値との乗算は、画素値のビットシフトと等価である。従って、本変形例に係る色域の変換（予測）は、ビットシフトとオフセットとの組合せとして、次の式（７）〜式（９）のように表現されてもよい（この場合の固定的なゲインは２２＝４に等しい）。オフセットｏｉ（ｉ＝１，２，３）は、ブロックごとに設定されてもよく、又はピクチャなどのより大きい単位で設定されてもよい。
【００７８】
【数３】
2015005025.tif 000005
【００７９】
＜３．一実施形態に係る符号化時の処理の流れ＞
［３−１．概略的な流れ］
図１２は、一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
【００８０】
図１２を参照すると、まず、ＢＬ符号化部１ａは、ベースレイヤの符号化処理を実行し、ベースレイヤの符号化ストリームを生成する（ステップＳ１１）。
【００８１】
共通メモリ２は、ベースレイヤの符号化処理において生成されるベースレイヤの画像（復号画像及び予測誤差画像の一方又は双方）をバッファリングする（ステップＳ１２）。
【００８２】
次に、ＥＬ符号化部１ｂは、エンハンスメントレイヤの符号化処理を実行し、エンハンスメントレイヤの符号化ストリームを生成する（ステップＳ１３）。ここで実行されるエンハンスメントレイヤの符号化処理において、共通メモリ２によりバッファリングされているベースレイヤの画像は、色域変換部４０によりアップサンプリングされ、その色域は変換される。そして、色域変換後のベースレイヤの画像は、インターレイヤ予測において参照画像として使用され得る。
【００８３】
次に、多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成されるエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する（ステップＳ１４）。
【００８４】
［３−２．色域変換処理（第１の実施例）］
（１）色域変換処理
図１３は、第１の実施例における符号化時の色域変換処理の流れの一例を示すフローチャートである。ここで説明する色域変換処理は、ピクチャ、スライス又はタイルに含まれるブロックの各々について繰り返され得る。
【００８５】
図１３を参照すると、まず、アップサンプリング部４１は、共通メモリ２から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする（ステップＳ２０）。
【００８６】
予測部４２は、エンハンスメントレイヤの注目ブロックに対応するベースレイヤの対応ブロックを識別する（ステップＳ２１）。そして、予測部４２は、ビットシフトモードで色域予測を実行することにより、注目ブロックのビットシフトモードの予測画像を生成する（ステップＳ２２）。また、予測部４２は、固定パラメータモードで色域予測を実行することにより、注目ブロックの固定パラメータモードの予測画像を生成する（ステップＳ２３）。
【００８７】
また、パラメータ設定部４３は、注目ブロック及びベースレイヤの対応ブロックの画像を用いて当該注目ブロックの最適な予測パラメータを算出し、算出した予測パラメータを注目ブロックに設定する（ステップＳ２４）。そして、予測部４２は、パラメータ設定部４３により設定された予測パラメータを用いて、適応パラメータモードで色域予測を実行することにより、注目ブロックの適応パラメータモードの予測画像を生成する（ステップＳ２９）。
【００８８】
次に、情報生成部４５は、パラメータ情報生成処理を実行することにより、注目ブロックに設定された予測パラメータのためのパラメータ情報を生成する（ステップＳ３０）。
【００８９】
次に、変換制御部４６は、予測部４２から入力される予測モードの複数の候補の予測画像と関連情報とに基づいて、例えばコストを比較することにより、最適な予測モードを判定する（ステップＳ４１）。そして、変換制御部４６は、判定した最適な予測モードに対応する色域変換後の予測画像を、フレームメモリ２５に格納する（ステップＳ４３）。また、可逆符号化部１６は、色域の変換に関する情報を符号化する（ステップＳ４５）。ここで符号化される情報は、予測モード情報と、適応パラメータモードが選択されたブロックの予測パラメータのためのパラメータ情報とを含み得る。
【００９０】
その後、未処理の次の注目ブロックが存在する場合には、処理はステップＳ２０へ戻り、次の注目ブロックについて上述した処理が繰り返される（ステップＳ４７）。未処理の次の注目ブロックが存在しない場合には、図１３に示した色域変換処理は終了する。
【００９１】
（２）パラメータ情報生成処理
図１４は、図１３に示したパラメータ情報生成処理の流れの一例を示すフローチャートである。
【００９２】
図１４を参照すると、まず、情報生成部４５は、予測パラメータの予測のための１つ以上の参照ブロックを選択する（ステップＳ３１）。ここで選択される参照ブロックは、左及び上の隣接ブロック（又はそれらに加えてコロケーテッドブロック）のうちのいずれか１つ（例えば、注目ブロックの予測パラメータに最も近い値の予測パラメータが設定されたブロック）であってもよく、又は複数のブロックであってもよい。
【００９３】
その後の処理は、１つ以上の参照ブロックが選択されたか否かに依存して分岐する（ステップＳ３２）。１つ以上の参照ブロックが選択された場合、情報生成部４５は、選択した参照ブロックに設定された予測パラメータに基づいて、注目ブロックのための予測値を取得する（ステップＳ３３）。ここで取得される予測値は、いずれかの参照ブロックに設定された予測パラメータの値に等しくてもよく、又は複数の参照ブロックに設定された予測パラメータの平均値であってもよい。次に、情報生成部４５は、注目ブロックの予測パラメータの値と、取得した予測値との間の差分値を算出する（ステップＳ３４）。次に、情報生成部４５は、選択した参照ブロックを識別する参照ブロック情報を生成する（ステップＳ３５）。また、情報生成部４５は、算出した差分値を特定する差分情報を生成する（ステップＳ３６）。
【００９４】
一方、１つの参照ブロックも選択されなかった場合、情報生成部４５は、いずれの参照ブロックも参照されないことを示す参照ブロック情報を生成し得る（ステップＳ３７）。また、情報生成部４５は、注目ブロックの予測パラメータを直接的に指定する情報を生成する（ステップＳ３８）。
【００９５】
第１の実施例では、このような処理の結果として生成されたパラメータ情報が、情報生成部４５から変換制御部４６へ出力される。そして、適応パラメータモードが選択されたブロックについて、パラメータ情報が符号化される。
【００９６】
［３−３．色域変換処理（第２の実施例）］
図１５は、第２の実施例における符号化時の色域変換処理の流れの一例を示すフローチャートである。ここで説明する色域変換処理は、ピクチャ、スライス又はタイルに含まれるブロックの各々について繰り返され得る。
【００９７】
図１５を参照すると、まず、アップサンプリング部４１は、共通メモリ２から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする（ステップＳ２０）。
【００９８】
予測部４２は、エンハンスメントレイヤの注目ブロックに対応するベースレイヤの対応ブロックを識別する（ステップＳ２１）。そして、予測部４２は、ビットシフトモードで色域予測を実行することにより、注目ブロックのビットシフトモードの予測画像を生成する（ステップＳ２２）。また、予測部４２は、固定パラメータモードで色域予測を実行することにより、注目ブロックの固定パラメータモードの予測画像を生成する（ステップＳ２３）。
【００９９】
次に、パラメータ設定部４８は、注目ブロックについて利用可能な隣接ブロックが存在するかを判定する（ステップＳ２５）。利用可能な隣接ブロックが存在する場合、パラメータ設定部４８は、エンハンスメントレイヤの１つ以上の隣接ブロック及び当該隣接ブロックに対応するベースレイヤの対応ブロックの参照画素を選択する（ステップＳ２６）。ここで、パラメータ設定部４８は、これら参照ブロックの参照画素を間引いてもよい。そして、パラメータ設定部４８は、選択した参照画素の画素値を用いて注目ブロックの最適な予測パラメータを算出し、算出した予測パラメータを注目ブロックに設定する（ステップＳ２７）。一方、利用可能な隣接ブロックが存在しない場合、パラメータ設定部４８は、注目ブロックに既定の予測パラメータを設定する（ステップＳ２８）。そして、予測部４２は、パラメータ設定部４８により設定された予測パラメータを用いて、適応パラメータモードで色域予測を実行することにより、注目ブロックの適応パラメータモードの予測画像を生成する（ステップＳ２９）。
【０１００】
次に、変換制御部４９は、予測部４２から入力される予測モードの複数の候補の予測画像と関連情報とに基づいて、例えばコストを比較することにより、最適な予測モードを判定する（ステップＳ４１）。そして、変換制御部４９は、判定した最適な予測モードに対応する色域変換後の予測画像を、フレームメモリ２５に格納する（ステップＳ４３）。また、可逆符号化部１６は、色域の変換に関する情報を符号化する（ステップＳ４５）。ここで符号化される情報は、予測モード情報を含み得る。
【０１０１】
その後、未処理の次の注目ブロックが存在する場合には、処理はステップＳ２０へ戻り、次の注目ブロックについて上述した処理が繰り返される（ステップＳ４７）。未処理の次の注目ブロックが存在しない場合には、図１５に示した色域変換処理は終了する。
【０１０２】
＜４．一実施形態に係るＥＬ復号部の構成例＞
［４−１．全体的な構成］
図１６は、図５に示したＥＬ復号部６ｂの構成の一例を示すブロック図である。図１６を参照すると、ＥＬ復号部６ｂは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、インター予測部８５並びに色域変換部９０を備える。
【０１０３】
蓄積バッファ６１は、逆多重化部５から入力されるエンハンスメントレイヤの符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１０４】
可逆復号部６２は、蓄積バッファ６１から入力されるエンハンスメントレイヤの符号化ストリームから、符号化の際に使用された符号化方式に従ってエンハンスメントレイヤの量子化データを復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。可逆復号部６２により復号される情報は、例えば、イントラ予測に関する情報及びインター予測に関する情報を含み得る。色域の変換に関する情報もまた、エンハンスメントレイヤにおいて復号され得る。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報をインター予測部８５へ出力する。また、可逆復号部６２は、色域の変換に関する情報を色域変換部９０へ出力する。
【０１０５】
逆量子化部６３は、可逆復号部６２から入力される量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、エンハンスメントレイヤの変換係数データを復元する。逆量子化部６３は、復元した変換係数データを逆直交変換部６４へ出力する。
【０１０６】
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１０７】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをループフィルタ６６及びフレームメモリ６９へ出力する。
【０１０８】
ループフィルタ６６は、ＥＬ符号化部１ｂのループフィルタ２４と同様、ブロック歪みを軽減するデブロックフィルタ、各画素値にオフセット値を加えるサンプル適応オフセットフィルタ、及び原画像との誤差を最小化する適応ループフィルタを含む。ループフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【０１０９】
並び替えバッファ６７は、ループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１１０】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、エンハンスメントレイヤの画像を表示させる。
【０１１１】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、ループフィルタ６６から入力されるフィルタリング後の復号画像データ、及び色域変換部９０から入力されるベースレイヤの参照画像データを記憶媒体を用いて記憶する。
【０１１２】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部８５へ出力する。さらに、イントラ予測部８０又はインター予測部８５においてインターレイヤ予測が実行される場合、セレクタ７０は、ベースレイヤの参照画像データをイントラ予測部８０又はインター予測部８５へ供給する。
【０１１３】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部８５から出力される予測画像データを加算部６５へ供給する。
【０１１４】
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。イントラ予測処理は、ＰＵごとに実行される。イントラ予測部８０は、イントラ予測モードとしてイントラＢＬ予測又はイントラ残差予測が指定された場合には、予測対象ブロックに対応するベースレイヤ内の対応ブロックを参照ブロックとして使用する。イントラＢＬ予測の場合、イントラ予測部８０は、参照ブロックの復号画像に基づいて予測画像を生成する。イントラ残差予測の場合、イントラ予測部８０は、参照ブロックの予測誤差画像に基づいてイントラ予測の予測誤差を予測し、予測した予測誤差の加算された予測画像を生成する。イントラ予測部８０は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。
【０１１５】
インター予測部８５は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのインター予測処理（動き補償処理）を行い、予測画像データを生成する。インター予測処理は、ＰＵごとに実行される。インター予測部８５は、インター予測モードとしてインター残差予測が指定された場合には、予測対象ブロックに対応するベースレイヤ内の対応ブロックを参照ブロックとして使用する。インター残差予測の場合、インター予測部８５は、参照ブロックの予測誤差画像に基づいてインター予測の予測誤差を予測し、予測した予測誤差の加算された予測画像を生成する。インター予測部８５は、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。
【０１１６】
色域変換部９０は、共通メモリ７によりバッファリングされるベースレイヤの画像（復号画像又は予測誤差画像）を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。また、色域変換部９０は、ベースレイヤの画像とは異なる色域をエンハンスメントレイヤの画像が有する場合に、アップサンプリングしたベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。本実施形態において、色域変換部９０は、ベースレイヤ及びエンハンスメントレイヤの色域の間の色成分ごとに独立した線型的な関係を前提とし、ベースレイヤの画像からエンハンスメントレイヤの画像を近似的に予測することにより、色域を変換する。色域変換部９０により色域の変換されたベースレイヤの画像は、フレームメモリ６９に格納され、イントラ予測部８０又はインター予測部８５により、インターレイヤ予測において参照画像として使用され得る。即ち、エンハンスメントレイヤの画像は、色域変換部９０において生成される予測画像を用いて復号される。色域変換部９０は、色域の変換に関する情報を、可逆復号部６２から取得する。色域変換部９０により取得される情報は、例えば、予測モードを示す予測モード情報を含む。また、予測モードとして適応パラメータモードが指定される場合には、色成分ごとの予測パラメータ（即ち、ゲイン及びオフセット）を直接的に指定し又は予測符号化によって間接的に指定するパラメータ情報もまた取得される。そして、色域変換部９０は、可逆復号部６２から取得されるこれらパラメータを用いて、アップサンプリング後のベースレイヤの画像からエンハンスメントレイヤの画像を予測する。
【０１１７】
［４−２．色域変換部の第１の実施例］
図１７は、第１の実施例に係る色域変換部９０の構成の一例を示すブロック図である。図１７を参照すると、色域変換部９０は、アップサンプリング部９１、予測部９２、パラメータ設定部９３及びパラメータバッファ９４を有する。
【０１１８】
（１）アップサンプリング部
アップサンプリング部９１は、共通メモリ７から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする。より具体的には、アップサンプリング部９１は、解像度比に応じて順に走査される補間画素の各々について、予め定義されるフィルタ係数でベースレイヤの画像をフィルタリングすることにより補間画素値を計算する。それにより、ベースレイヤの画像の空間解像度が、エンハンスメントレイヤと同等の解像度まで高められる。アップサンプリング部９１は、アップサンプリング後の画像を予測部９２へ出力する。
【０１１９】
（２）予測部
予測部９２は、可逆復号部６２から取得される予測モード情報により示される予測モードに従って、アップサンプリング部９１から入力されるアップサンプリング後のベースレイヤの画像の色域を、エンハンスメントレイヤの画像と同等の色域に変換する。例えば、予測部９２は、予測モード情報がビットシフトモードを示す場合に、式（１）〜式（３）に従って、アップサンプリング後のベースレイヤの画素値を所定のビットシフト量ｎｓｈｉｆｔだけ左方へシフトさせることにより、予測画素値を計算する。また、予測部９２は、予測モード情報が固定パラメータモードを示す場合に、式（４）〜式（６）に従って、アップサンプリング後のベースレイヤの画素値に固定的なゲインを乗算し、さらに固定的なオフセットを加算することにより、予測画素値を計算する。また、予測部９２は、予測モード情報が適応パラメータモードを示す場合に、パラメータ設定部９３によりブロックごとに適応的に設定される予測パラメータ、即ちゲイン及びオフセットを用いて、予測画素値を計算する。その結果、色域変換後の予測画像が、ブロックごとに生成される。そして、予測部９２は、生成した各ブロックの予測画像を、フレームメモリ６９に格納する。
【０１２０】
（３）パラメータ設定部
パラメータ設定部９３は、ベースレイヤとは異なる色域を有するエンハンスメントレイヤの画像をベースレイヤの画像から適応パラメータモードで予測する際に使用される予測パラメータを、エンハンスメントレイヤの画像に含まれるブロックごとに設定する。予測パラメータは、式（４）〜式（６）に示したゲインｇｉ及びオフセットｏｉ（ｉ＝１，２，３）を含む。より具体的には、パラメータ設定部９３は、可逆復号部６２により復号される参照ブロック情報を取得する。参照ブロック情報は、注目ブロックについていずれの参照ブロックを予測パラメータの予測に用いるかを示す。参照ブロックの候補は、注目ブロックに隣接する上の隣接ブロック及び左の隣接ブロックを含み得る。参照ブロックの候補は、さらに、インター予測の参照画像内の（注目ブロックの）コロケーテッドブロックを含んでもよい。パラメータ設定部９３は、取得した参照ブロック情報により示される参照ブロックに設定した予測パラメータの値をパラメータバッファ９４から取得し、取得した予測パラメータの値に基づいて、注目ブロックの予測パラメータの値を予測する。ここでの予測値は、いずれか１つの参照ブロックの予測パラメータの値に等しくてもよい。その代わりに、当該予測値は、２つ以上の参照ブロックの予測パラメータの平均値であってもよい。そして、パラメータ設定部９３は、注目ブロックの予測パラメータの予測値を用いて、注目ブロックに予測パラメータを設定する。注目ブロックに設定される予測パラメータは、参照ブロックの設定に基づく予測値と、可逆復号部６２により追加的に復号され得る差分情報により示される差分値との和であってもよい。パラメータ設定部９３は、注目ブロックに設定した予測パラメータを、パラメータバッファ９４によりバッファリングさせる。
【０１２１】
なお、注目ブロックがピクチャ、スライス又はタイルの端部に位置する場合のように、いずれかの隣接ブロックが利用可能でなければ、利用可能でない隣接ブロックは参照ブロックの候補から除外される。利用可能な参照ブロックが存在しない場合には、パラメータ設定部９３は、可逆復号部６２により復号されるパラメータ情報により直接的に指定され得る予測パラメータの値を、注目ブロックに設定する。利用可能な参照ブロックが存在する場合であっても、図８Ｃの例のように参照ブロック情報がいずれの参照ブロックも予測パラメータの予測に用いないことを示すときは、パラメータ設定部９３は、パラメータ情報により直接的に指定され得る予測パラメータの値を注目ブロックに設定してよい。ここでのパラメータ情報は、設定すべき予測パラメータの値と、予め定義され又はシーケンス若しくはピクチャなどの単位で設定され得る既定値との間の差分を指定してもよい。
【０１２２】
（４）パラメータバッファ
パラメータバッファ９４は、パラメータ設定部９３によりブロックごとに設定される適応パラメータモードのための予測パラメータを、半導体メモリなどの記憶媒体を用いて一時的にバッファリングする。パラメータバッファ９４によりバッファリングされるあるブロックの予測パラメータは、隣接ブロック又はコロケーテッドブロックの予測パラメータを予測復号する際に参照される。
【０１２３】
［４−３．色域変換部の第２の実施例］
図１８は、第２の実施例に係る色域変換部９０の構成の一例を示すブロック図である。図１８を参照すると、色域変換部９０は、アップサンプリング部９１、予測部９２、ＢＬ参照バッファ９７ａ、ＥＬ参照バッファ９７ｂ及びパラメータ設定部９８を有する。
【０１２４】
（１）ＢＬ参照バッファ
ＢＬ参照バッファ９７ａは、適応パラメータモードの予測パラメータを算出する際に参照されるベースレイヤの画像を共通メモリ７から取得し、取得した参照画像を、半導体メモリなどの記憶媒体を用いて一時的にバッファリングする。注目ブロックの予測パラメータを算出する際に参照されるベースレイヤの画素は、例えば、注目ブロックの上及び左の隣接ブロックに対応する対応ブロックの画素であってよい。
【０１２５】
（２）ＥＬ参照バッファ
ＥＬ参照バッファ９７ｂは、適応パラメータモードの予測パラメータを算出する際に参照されるエンハンスメントレイヤの復号画像をフレームメモリ６９から取得し、取得した参照画像を、半導体メモリなどの記憶媒体を用いて一時的にバッファリングする。注目ブロックの予測パラメータを算出する際に参照されるエンハンスメントレイヤの画素は、例えば、注目ブロックに隣接する上及び左の隣接ブロックの画素であってよい。
【０１２６】
（３）パラメータ設定部
パラメータ設定部９８は、適応パラメータモードのための注目ブロックの予測パラメータの最適な値を、注目ブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応するベースレイヤの１つ以上の対応ブロックの画素値を用いて算出する。予測パラメータの最適な値を算出するためのアルゴリズムは、エンコーダ側と同様である。そして、パラメータ設定部９８は、算出したゲイン及びオフセットを注目ブロックに設定する。
【０１２７】
一例として、パラメータ設定部９８は、エンハンスメントレイヤの１つ以上の隣接ブロック及びベースレイヤの１つ以上の対応ブロックの画素の一部を間引き、残る画素の画素値を用いて予測パラメータの最適な値を算出してもよい。それにより、予測パラメータの算出のための処理リソースの消費を抑制すると共に、処理遅延を低減することができる。パラメータ設定部９８は、注目ブロックのサイズに依存して、間引かれる参照画素の割合を変化させてもよい。
【０１２８】
予測パラメータの算出のための参照画素は、エンハンスメントレイヤにおいては、上の隣接ブロックの下端のライン及び左の隣接ブロックの右端のライン上の複数の画素を含み得る（ベースレイヤにおいても同様）。いずれかの隣接ブロックが利用可能でなければ、利用可能でない隣接ブロックは参照されない。利用可能な隣接ブロックが存在しない場合には、パラメータ設定部９８は、予測パラメータの既定値を注目ブロックに設定してもよい。その代わりに、パラメータ設定部９８は、可逆復号部６２により復号されるパラメータ情報により直接的に指定される値を、予測パラメータとして注目ブロックに設定してもよい。
【０１２９】
［４−４．色域変換部の変形例］
上述したように、画像の特性又は色域の種類に依存し、主にオフセットの適応的な選択のみが色域変換の精度の向上に寄与するケースも存在する。そうしたケースにおいては、一変形例として、色域変換部９０は、ゲインを複数のブロック（例えば、ピクチャ、スライス又はタイル内の全てのＬＣＵ）にわたって固定的な値に設定し、一方で、復号される情報に従って、オフセットをブロックごとに可変的に設定してもよい。ゲインは、複数のピクチャ又は複数のシーケンスにわたって固定的であってもよい。ゲインの固定的な値は、符号化ストリームから復号されてもよく、又は予め仕様として定義されてもよい。オフセットは、ブロックごとに設定されてもよく、又はピクチャなどのより大きい単位で設定されてもよい。
【０１３０】
＜５．一実施形態に係る復号時の処理の流れ＞
［５−１．概略的な流れ］
図１９は、一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
【０１３１】
図１９を参照すると、まず、逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームに逆多重化する（ステップＳ６０）。
【０１３２】
次に、ＢＬ復号部６ａは、ベースレイヤの復号処理を実行し、ベースレイヤの符号化ストリームからベースレイヤ画像を再構築する（ステップＳ６１）。
【０１３３】
共通メモリ７は、ベースレイヤの復号処理において生成されるベースレイヤの画像（復号画像及び予測誤差画像の一方又は双方）をバッファリングする（ステップＳ６２）。
【０１３４】
次に、ＥＬ復号部６ｂは、エンハンスメントレイヤの復号処理を実行し、エンハンスメントレイヤ画像を再構築する（ステップＳ６３）。ここで実行されるエンハンスメントレイヤの復号処理において、共通メモリ７によりバッファリングされているベースレイヤの画像は、色域変換部９０によりアップサンプリングされ、その色域は変換される。そして、色域変換後のベースレイヤの画像は、インターレイヤ予測において参照画像として使用され得る。
【０１３５】
［５−２．色域変換処理（第１の実施例）］
（１）色域変換処理
図２０は、第１の実施例における復号時の色域変換処理の流れの一例を示すフローチャートである。ここで説明する色域変換処理は、ピクチャ、スライス又はタイルに含まれるブロックの各々について繰り返され得る。
【０１３６】
図２０を参照すると、まず、アップサンプリング部９１は、共通メモリ７から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする（ステップＳ７０）。
【０１３７】
予測部９２は、エンハンスメントレイヤの注目ブロックに対応するベースレイヤの対応ブロックを識別する（ステップＳ７１）。また、予測部９２は、注目ブロックについて可逆復号部６２により復号される色域の変換に関する情報を取得する（ステップＳ７２）。
【０１３８】
その後の処理は、取得される予測モード情報により示される予測モードに依存して分岐する。予測モード情報がビットシフトモードを示す場合（ステップＳ７３）、予測部９２は、ビットシフトモードで色域予測を実行することにより、注目ブロックの予測画像を生成する（ステップＳ７４）。
【０１３９】
予測モード情報が固定パラメータモードを示す場合（ステップＳ７５）、予測部９２は、固定の予測パラメータを注目ブロックに設定する（ステップＳ７６）。予測モード情報が適応パラメータモードを示す場合、パラメータ設定部９３は、予測パラメータ生成処理を実行することにより、注目ブロックに設定すべき予測パラメータを生成する（ステップＳ８０）。そして、パラメータ設定部９３は、生成した予測パラメータを注目ブロックに設定する（ステップＳ９０）。予測部９２は、注目ブロックに設定された予測パラメータを用いて色域予測を実行することにより、注目ブロックの予測画像を生成する（ステップＳ９３）。
【０１４０】
そして、予測部９２は、色域変換後の予測画像を、フレームメモリ６９に格納する（ステップＳ９４）。その後、未処理の次の注目ブロックが存在する場合には、処理はステップＳ７０へ戻り、次の注目ブロックについて上述した処理が繰り返される（ステップＳ９５）。未処理の次の注目ブロックが存在しない場合には、図２０に示した色域変換処理は終了する。
【０１４１】
（２）予測パラメータ生成処理
図２１は、図２０に示した予測パラメータ生成処理の流れの一例を示すフローチャートである。
【０１４２】
図２１を参照すると、まず、パラメータ設定部９３は、注目ブロックについて復号される参照ブロック情報が１つ以上の参照ブロックを参照すべきことを指定しているかを判定する（ステップＳ８１）。
【０１４３】
参照ブロック情報により１つ以上の参照ブロックが指定された場合、パラメータ設定部９３は、指定された参照ブロックに設定された予測パラメータに基づいて、注目ブロックのための予測値を決定する（ステップＳ８３）。ここで決定される予測値は、いずれかの参照ブロックに設定された予測パラメータの値に等しくてもよく、又は複数の参照ブロックに設定された予測パラメータの平均値であってもよい。次に、パラメータ設定部９３は、注目ブロックについて復号される差分情報を取得する（ステップＳ８４）。次に、パラメータ設定部９３は、注目ブロックのための予測値と差分情報により示される差分値とを加算することにより、注目ブロックに設定すべき予測パラメータを算出する（ステップＳ８５）。
【０１４４】
一方、参照ブロック情報によりいずれの参照ブロックも指定されなかった場合、パラメータ設定部９３は、注目ブロックに設定すべき予測パラメータの値を、予測符号化を用いることなく生成されたパラメータ情報から決定する（ステップＳ８７）。
【０１４５】
第１の実施例では、適応パラメータモードが指定されるブロックの各々に、このような処理の結果として生成される予測パラメータが設定される。
【０１４６】
［５−３．色域変換処理（第２の実施例）］
図２２は、第２の実施例における復号時の色域変換処理の流れの一例を示すフローチャートである。ここで説明する色域変換処理は、ピクチャ、スライス又はタイルに含まれるブロックの各々について繰り返され得る。
【０１４７】
図２２を参照すると、まず、アップサンプリング部９１は、共通メモリ７から取得されるベースレイヤの画像を、ベースレイヤとエンハンスメントレイヤとの間の解像度比に従ってアップサンプリングする（ステップＳ７０）。
【０１４８】
予測部９２は、エンハンスメントレイヤの注目ブロックに対応するベースレイヤの対応ブロックを識別する（ステップＳ７１）。また、予測部９２は、注目ブロックについて可逆復号部６２により復号される色域の変換に関する情報を取得する（ステップＳ７２）。
【０１４９】
その後の処理は、取得される予測モード情報により示される予測モードに依存して分岐する。予測モード情報がビットシフトモードを示す場合（ステップＳ７３）、予測部９２は、ビットシフトモードで色域予測を実行することにより、注目ブロックの予測画像を生成する（ステップＳ７４）。
【０１５０】
予測モード情報が固定パラメータモードを示す場合（ステップＳ７５）、予測部９２は、固定の予測パラメータを注目ブロックに設定する（ステップＳ７６）。予測モード情報が適応パラメータモードを示す場合、パラメータ設定部９８は、注目ブロックについて利用可能な隣接ブロックが存在するかを判定する（ステップＳ７７）。利用可能な隣接ブロックが存在する場合、パラメータ設定部９８は、エンハンスメントレイヤの１つ以上の隣接ブロック及び当該隣接ブロックに対応するベースレイヤの対応ブロックの参照画素を選択する（ステップＳ７８）。ここで、パラメータ設定部９８は、これら参照ブロックの参照画素を間引いてもよい。そして、パラメータ設定部９８は、選択した参照画素の画素値を用いて注目ブロックの最適な予測パラメータを算出し、算出した予測パラメータを注目ブロックに設定する（ステップＳ７９）。一方、利用可能な隣接ブロックが存在しない場合、パラメータ設定部９８は、注目ブロックに既定の予測パラメータを設定する（ステップＳ９１）。そして、予測部９２は、注目ブロックに設定された予測パラメータを用いて色域予測を実行することにより、注目ブロックの予測画像を生成する（ステップＳ９３）。
【０１５１】
そして、予測部９２は、色域変換後の予測画像を、フレームメモリ６９に格納する（ステップＳ９４）。その後、未処理の次の注目ブロックが存在する場合には、処理はステップＳ７０へ戻り、次の注目ブロックについて上述した処理が繰り返される（ステップＳ９５）。未処理の次の注目ブロックが存在しない場合には、図２２に示した色域変換処理は終了する。
【０１５２】
＜６．応用例＞
［６−１．様々な製品への応用］
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１５３】
（１）第１の応用例
図２３は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１５４】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１５５】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１５６】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１５７】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１５８】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１５９】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１６０】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１６１】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１６２】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１６３】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１６４】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００が色域の互いに異なるレイヤについて色域予測を実行する際に、画像の領域によって色域の予測の精度が低下することを防止することができる。
【０１６５】
（２）第２の応用例
図２４は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１６６】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１６７】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１６８】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１６９】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０１７０】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１７１】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０１７２】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１７３】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０が色域の互いに異なるレイヤについて色域予測を実行する際に、画像の領域によって色域の予測の精度が低下することを防止することができる。
【０１７４】
（３）第３の応用例
図２５は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０１７５】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０１７６】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０１７７】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０１７８】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０１７９】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０１８０】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０１８１】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０１８２】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０１８３】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０１８４】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０１８５】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０１８６】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０が色域の互いに異なるレイヤについて色域予測を実行する際に、画像の領域によって色域の予測の精度が低下することを防止することができる。
【０１８７】
（４）第４の応用例
図２６は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１８８】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０１８９】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０１９０】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０１９１】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０１９２】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０１９３】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０１９４】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０１９５】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０１９６】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０１９７】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０１９８】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０が色域の互いに異なるレイヤについて色域予測を実行する際に、画像の領域によって色域の予測の精度が低下することを防止することができる。
【０１９９】
［６−２．スケーラブル符号化の様々な用途］
上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。
【０２００】
（１）第１の例
第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図２７を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図２７には、端末装置の例として、ＰＣ（Personal  Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。
【０２０１】
ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。
【０２０２】
端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。
【０２０３】
図２７の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。
【０２０４】
このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。
【０２０５】
端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。
【０２０６】
なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０２０７】
図２７に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。
【０２０８】
（２）第２の例
第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図２８を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。
【０２０９】
端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。
【０２１０】
端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０２１１】
また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０２１２】
上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。
【０２１３】
また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。
【０２１４】
なお、図２８に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。
【０２１５】
（３）第３の例
第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図２９を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。
【０２１６】
ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。
【０２１７】
例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。
【０２１８】
図２９の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。
【０２１９】
なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザがらの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。
【０２２０】
図２９に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。
【０２２１】
［６−３．他のコーデックへの応用］
（１）マルチビューコーデックへの応用
マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図３０は、マルチビューコーデックについて説明するための説明図である。図３０を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base  view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図３０の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。
【０２２２】
図３１は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図３１を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。
【０２２３】
第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図４を用いて説明したＢＬ符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図４を用いて説明したＥＬ符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
【０２２４】
図３２は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図３２を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。
【０２２５】
逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図５を用いて説明したＢＬ復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図５を用いて説明したＥＬ復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
【０２２６】
マルチビューの画像データを符号化し又は復号する際、ビュー間で色域が異なる場合には、本開示に係る技術に従って、ビュー間の色域の変換が制御されてもよい。それにより、スケーラブル符号化のケースと同様に、マルチビューコーデックにおいても、色域予測の際に画像の領域によって予測精度が低下することを防止することができる。
【０２２７】
（２）ストリーミング技術への応用
本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ−ＤＡＳＨ（Dynamic  Adaptive  Streaming  over  HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術に従って、符号化ストリーム間の色域の予測が制御されてもよい。
【０２２８】
［６−４．様々な実装レベル］
本開示に係る技術は、例えば、システムＬＳＩ（Large  Scale  Integration）などのプロセッサ、複数のプロセッサを用いるモジュール、複数のモジュールを用いるユニット、ユニットにさらにその他の機能を付加したセットなどの様々な実装レベルにおいて実現されてよい。
【０２２９】
（１）ビデオセット
本開示に係る技術をセットとして実現する場合の例について、図３３を参照して説明する。図３３は、ビデオセットの概略的な構成の一例を示すブロック図である。
【０２３０】
近年、電子機器は多機能化している。電子機器の開発又は製造は、個々の機能ごとに行われた後、複数の機能を統合する段階へと進む。従って、電子機器の一部のみを製造し又は販売する事業者が存在する。当該事業者は、単一の機能若しくは互いに関連する複数の機能を有する構成要素を提供し、又は統合的な機能群を有するセットを提供する。図３３に示したビデオセット１３００は、画像の符号化及び復号（いずれか一方でもよい）のための構成要素と、それら機能に関連する他の機能を有する構成要素とを統合的に含むセットである。
【０２３１】
図３３を参照すると、ビデオセット１３００は、ビデオモジュール１３１１、外部メモリ１３１２、パワーマネージメントモジュール１３１３、及びフロントエンドモジュール１３１４を含むモジュール群と、コネクティビティモジュール１３２１、カメラ１３２２、及びセンサ１３２３を含む関連機能のためのデバイス群と、を有する。
【０２３２】
モジュールは、互いに関連するいくつかの機能のための部品を集約することにより形成される構成要素である。モジュールは、どのような物理的構成を有していてもよい。一例として、モジュールは、同一の又は異なる機能を有する複数のプロセッサと、抵抗及びコンデンサなどの電子回路素子と、その他のデバイスとを回路基板に一体的に配置することにより形成され得る。モジュールに他のモジュール又はプロセッサなどを組合せることにより、別のモジュールが形成されてもよい。
【０２３３】
図３３の例では、ビデオモジュール１３１１において、画像処理に関する機能のための部品が集約されている。ビデオモジュール１３１１は、アプリケーションプロセッサ１３３１、ビデオプロセッサ１３３２、ブロードバンドモデム１３３３、及びベースバンドモジュール１３３４を有する。
【０２３４】
プロセッサは、例えばＳＯＣ（System  On  a  Chip）又はシステムＬＳＩ（Large  Scale  Integration）であってよい。ＳｏＣ又はシステムＬＳＩは、所定のロジックを実装するハードウェアを含んでもよい。また、ＳｏＣ又はシステムＬＳＩは、ＣＰＵと、当該ＣＰＵに所定の機能を実行させるためのプログラムを記憶する非一時的な有形の媒体（non-transitory  tangible  media）とを含んでもよい。プログラムは、例えば、ＲＯＭにより記憶され、実行時にＲＡＭ（Random  Access  Memory）に読み込まれた上でＣＰＵにより実行され得る。
【０２３５】
アプリケーションプロセッサ１３３１は、画像処理に関するアプリケーションを実行するプロセッサである。アプリケーションプロセッサ１３３１において実行されるアプリケーションは、画像処理のための何らかの演算に加えて、例えばビデオプロセッサ１３３２及びその他の構成要素の制御を行ってもよい。ビデオプロセッサ１３３２は、画像の符号化及び復号に関する機能を有するプロセッサである。なお、アプリケーションプロセッサ１３３１及びビデオプロセッサ１３３２は、１つのプロセッサに一体化されてもよい（図中の点線１３４１参照）。
【０２３６】
ブロードバンドモデム１３３３は、インターネット又は公衆交換電話網などのネットワークを介する通信に関する処理を行うモジュールである。例えば、ブロードバンドモデム１３３３は、送信データを含むデジタル信号をアナログ信号に変換するためのデジタル変調、及び受信データを含むアナログ信号をデジタル信号に変換するためのデジタル復調を実行する。ブロードバンドモデム１３３３により処理される送信データ及び受信データは、例えば、画像データ、画像データの符号化ストリーム、アプリケーションデータ、アプリケーションプログラム及び設定データなどの任意の情報を含み得る。
【０２３７】
ベースバンドモジュール１３３４は、フロントエンドモジュール１３１４を介して送受信されるＲＦ（Radio  Frequency）信号のためのベースバンド処理を行うモジュールである。例えば、ベースバンドモジュール１３３４は、送信データを含む送信ベースバンド信号を変調し及びＲＦ信号へと周波数変換して、ＲＦ信号をフロントエンドモジュール１３１４へ出力する。また、ベースバンドモジュール１３３４は、フロントエンドモジュール１３１４から入力されるＲＦ信号を周波数変換し及び復調して、受信データを含む受信ベースバンド信号を生成する。
【０２３８】
外部メモリ１３１２は、ビデオモジュール１３１１の外部に設けられる、ビデオモジュール１３１１からアクセス可能なメモリデバイスである。多数のフレームを含む映像データのような大規模データが外部メモリ１３１２に格納される場合、外部メモリ１３１２は、例えばＤＲＡＭ（Dynamic  Random  Access  Memory）のような比較的安価で大容量の半導体メモリを含み得る。
【０２３９】
パワーマネージメントモジュール１３１３は、ビデオモジュール１３１１及びフロントエンドモジュール１３１４への電力供給を制御するモジュールである。
【０２４０】
フロントエンドモジュール１３１４は、ベースバンドモジュール１３３４に接続され、フロントエンド機能を提供するモジュールである。図３３の例において、フロントエンドモジュール１３１４は、アンテナ部１３５１、フィルタ１３５２及び増幅部１３５３を有する。アンテナ部１３５１は、無線信号を送信し又は受信する１つ以上のアンテナ素子と、アンテナスイッチなどの関連する構成要素とを有する。アンテナ部１３５１は、増幅部１３５３により増幅されるＲＦ信号を無線信号として送信する。また、アンテナ部１３５１は、無線信号として受信されるＲＦ信号をフィルタ１３５２へ出力し、当該ＲＦ信号をフィルタ１３５２にフィルタリングさせる。
【０２４１】
コネクティビティモジュール１３２１は、ビデオセット１３００の外部接続に関する機能を有するモジュールである。コネクティビティモジュール１３２１は、任意の外部接続プロトコルをサポートしてよい。例えば、コネクティビティモジュール１３２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１（例えばＷｉ−Ｆｉ（登録商標））、ＮＦＣ（Near  Field  Communication）又はＩｒＤＡ（InfraRed  Data  Association）などの無線接続プロトコルをサポートするサブモジュールと、対応するアンテナとを有していてもよい。また、コネクティビティモジュール１３２１は、ＵＳＢ（Universal  Serial  Bus）又はＨＤＭＩ（High-Definition  Multimedia  Interface）などの有線接続プロトコルをサポートするサブモジュールと、対応する接続端子とを有していてもよい。
【０２４２】
また、コネクティビティモジュール１３２１は、磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリなどの記憶媒体、又はＳＳＤ（Solid  State  Drive）若しくはＮＡＳ（Network  Attached  Storage）などのストレージデバイスへのデータの書込み及び当該記憶媒体からのデータの読出しを行うドライブを含んでもよい。コネクティビティモジュール１３２１は、これら記憶媒体又はストレージデバイスを含んでもよい。また、コネクティビティモジュール１３２１は、画像を出力するディスプレイ又は音声を出力するスピーカへの接続性を提供してもよい。
【０２４３】
カメラ１３２２は、被写体を撮像することにより撮像画像を取得するモジュールである。カメラ１３２２により取得される一連の撮像画像は、映像データを構成する。カメラ１３２２により生成される映像データは、例えば、必要に応じてビデオプロセッサ１３３２により符号化され、外部メモリ１３１２により又はコネクティビティモジュール１３２１に接続される記憶媒体により記憶され得る。
【０２４４】
センサ１３２３は、例えば、ＧＰＳセンサ、音声センサ、超音波センサ、光センサ、照度センサ、赤外線センサ、角速度センサ、角加速度センサ、速度センサ、加速度センサ、ジャイロセンサ、地磁気センサ、衝撃センサ及び温度センサのうちの１つ以上を含み得るモジュールである。センサ１３２３により生成されるセンサデータは、例えば、アプリケーションプロセッサ１３３１によりアプリケーションの実行のために利用され得る。
【０２４５】
このように構成されたビデオセット１３００において、本開示に係る技術は、例えば、ビデオプロセッサ１３３２において利用され得る。この場合、ビデオセット１３００は、本開示に係る技術を適用したセットとなる。
【０２４６】
なお、ビデオセット１３００は、画像データを処理する様々な種類の装置として実現されてよい。例えば、ビデオセット１３００は、図２３〜図２６を用いて説明したテレビジョン装置９００、携帯電話機９２０、記録再生装置９４０又は撮像装置９６０に相当してもよい。また、ビデオセット１３００は、図２７を用いて説明したデータ伝送システム１０００におけるＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６若しくは携帯電話機１００７などの端末装置、図２８を用いて説明したデータ伝送システム１１００における放送局１１０１若しくは端末装置１１０２、又は、図２９を用いて説明したデータ伝送システム１２００における撮像装置１２０１若しくはストリーム記憶装置１２０２に相当してもよい。
【０２４７】
（２）ビデオプロセッサ
図３４は、ビデオプロセッサ１３３２の概略的な構成の一例を示すブロック図である。ビデオプロセッサ１３３２は、入力映像信号及び入力音声信号をそれぞれ符号化して映像データ及び音声データを生成する機能と、符号化された映像データ及び音声データを復号して出力映像信号及び出力音声信号を生成する機能と、を有する。
【０２４８】
図３４を参照すると、ビデオプロセッサ１３３２は、ビデオ入力処理部１４０１、第１スケーリング部１４０２、第２スケーリング部１４０３、ビデオ出力処理部１４０４、フレームメモリ１４０５、メモリ制御部１４０６、エンコード・デコードエンジン１４０７、ビデオＥＳ（Elementary  Stream）バッファ１４０８Ａ及び１４０８Ｂ、オーディオＥＳバッファ１４０９Ａ及び１４０９Ｂ、オーディオエンコーダ１４１０、オーディオデコーダ１４１１、多重化部（ＭＵＸ）１４１２、逆多重化部（ＤＥＭＵＸ）１４１３、並びに、ストリームバッファ１４１４を有する。
【０２４９】
ビデオ入力処理部１４０１は、例えばコネクティビティモジュール１３２１から入力された映像信号をデジタル画像データに変換する。第１スケーリング部１４０２は、ビデオ入力処理部１４０１から入力される画像データについてフォーマット変換及びスケーリング（拡大／縮小）を行う。第２スケーリング部１４０３は、ビデオ出力処理部１４０４へ出力される画像データについてのフォーマット変換及びスケーリング（拡大／縮小）を行う。第１スケーリング部１４０２及び第２スケーリング部１４０３におけるフォーマット変換は、例えば、４：２：２／Ｙ−Ｃｂ−Ｃｒ方式と４：２：０／Ｙ−Ｃｂ−Ｃｒ方式との間の変換などであってよい。ビデオ出力処理部１４０４は、デジタル画像データを出力映像信号に変換し、出力映像信号を例えばコネクティビティモジュール１３２１へ出力する。
【０２５０】
フレームメモリ１４０５は、ビデオ入力処理部１４０１、第１スケーリング部１４０２、第２スケーリング部１４０３、ビデオ出力処理部１４０４、及びエンコード・デコードエンジン１４０７によって共用される、画像データを記憶するメモリデバイスである。フレームメモリ１４０５は、例えばＤＲＡＭなどの半導体メモリを用いて実現されてよい。
【０２５１】
メモリ制御部１４０６は、エンコード・デコードエンジン１４０７から入力される同期信号に基づき、アクセス管理テーブル１４０６Ａに記憶されるフレームメモリ１４０５についてのアクセススケジュールに従って、フレームメモリ１４０５へのアクセスを制御する。アクセス管理テーブル１４０６Ａは、エンコード・デコードエンジン１４０７、第１スケーリング部１４０２及び第２スケーリング部１４０３などにおいて実行される処理に依存し、メモリ制御部１４０６により更新される。
【０２５２】
エンコード・デコードエンジン１４０７は、画像データを符号化して符号化映像ストリームを生成するためのエンコード処理、並びに、符号化映像ストリームから画像データを復号するためのデコード処理を行う。例えば、エンコード・デコードエンジン１４０７は、フレームメモリ１４０５から読み出した画像データを符号化し、符号化映像ストリームをビデオＥＳバッファ１４０８Ａに順次書き込む。また、例えば、ビデオＥＳバッファ１４０８Ｂから符号化映像ストリームを順次読み出し、復号した画像データをフレームメモリ１４０５に書き込む。エンコード・デコードエンジン１４０７は、これら処理において、フレームメモリ１４０５を作業領域として使用し得る。エンコード・デコードエンジン１４０７は、例えば、各ＬＣＵ（Largest  Coding  Unit）の処理を開始するタイミングで、メモリ制御部１４０６へ同期信号を出力する。
【０２５３】
ビデオＥＳバッファ１４０８Ａは、エンコード・デコードエンジン１４０７によって生成された符号化映像ストリームをバッファリングする。ビデオＥＳバッファ１４０８Ａによりバッファリングされる符号化映像ストリームは、多重化部１４１２へ出力される。ビデオＥＳバッファ１４０８Ｂは、逆多重化部１４１３から入力される符号化映像ストリームをバッファリングする。ビデオＥＳバッファ１４０８Ｂによりバッファリングされる符号化映像ストリームは、エンコード・デコードエンジン１４０７へ出力される。
【０２５４】
オーディオＥＳバッファ１４０９Ａは、オーディオエンコーダ１４１０によって生成された符号化音声ストリームをバッファリングする。オーディオＥＳバッファ１４０９Ａによりバッファリングされる符号化音声ストリームは、多重化部１４１２へ出力される。オーディオＥＳバッファ１４０９Ｂは、逆多重化部１４１３から入力される符号化音声ストリームをバッファリングする。オーディオＥＳバッファ１４０９Ｂによりバッファリングされる符号化音声ストリームは、オーディオデコーダ１４１１へ出力される。
【０２５５】
オーディオエンコーダ１４１０は、例えばコネクティビティモジュール１３２１から入力される入力音声信号をデジタル変換し、例えばＭＰＥＧオーディオ方式又はＡＣ３（Audio  Code  number  3）方式などの音声符号化方式に従って入力音声信号を符号化する。オーディオエンコーダ１４１０は、符号化音声ストリームをオーディオＥＳバッファ１４０９Ａに順次書き込む。オーディオデコーダ１４１１は、オーディオＥＳバッファ１４０９Ｂから入力される符号化音声ストリームから音声データを復号し、アナログ信号へ変換する。オーディオデコーダ１４１１は、再生されたアナログ音声信号として、例えばコネクティビティモジュール１３２１へ音声信号を出力する。
【０２５６】
多重化部１４１２は、符号化映像ストリームと符号化音声ストリームとを多重化して、多重化ビットストリームを生成する。多重化ビットストリームのフォーマットは、いかなるフォーマットであってもよい。多重化部１４１２は、所定のヘッダ情報をビットストリームに付加してもよい。また、多重化部１４１２は、ストリームのフォーマットを変換してもよい。例えば、多重化部１４１２は、符号化映像ストリームと符号化音声ストリームとが多重化されたトランスポートストリーム（転送用フォーマットのビットストリーム）を生成し得る。また、多重化部１４１２は、符号化映像ストリームと符号化音声ストリームとが多重化されたファイルデータ（記録用フォーマットのデータ）を生成し得る。
【０２５７】
逆多重化部１４１３は、多重化部１４１２による多重化とは逆の手法で、多重化ビットストリームから符号化映像ストリーム及び符号化音声ストリームを逆多重化する。即ち、逆多重化部１４１３は、ストリームバッファ１４１４から読み出されるビットストリームから映像ストリームと音声ストリームとを抽出（又は分離）する。逆多重化部１４１３は、ストリームのフォーマットを変換（逆変換）してもよい。例えば、逆多重化部１４１３は、コネクティビティモジュール１３２１又はブロードバンドモデム１３３３から入力され得るトランスポートストリームをストリームバッファ１４１４を介して取得し、当該トランスポートストリームを映像ストリームと音声ストリームとに変換してもよい。また、逆多重化部１４１３は、コネクティビティモジュール１３２１により記憶媒体から読み出されるファイルデータをストリームバッファ１４１４を介して取得し、当該ファイルデータを映像ストリームと音声ストリームとに変換してもよい。
【０２５８】
ストリームバッファ１４１４は、ビットストリームをバッファリングする。例えば、ストリームバッファ１４１４は、多重化部１４１２から入力されるトランスポートストリームをバッファリングし、所定のタイミングで又は外部からの要求に応じて、例えばコネクティビティモジュール１３２１又はブロードバンドモデム１３３３へトランスポートストリームを出力する。また、例えば、ストリームバッファ１４１４は、多重化部１４１２から入力されるファイルデータをバッファリングし、所定のタイミングで又は外部からの要求に応じて、例えばコネクティビティモジュール１３２１へ、当該ファイルデータを記録のために出力する。さらに、ストリームバッファ１４１４は、例えばコネクティビティモジュール１３２１又はブロードバンドモデム１３３３を介して取得されるトランスポートストリームをバッファリングし、所定のタイミングで又は外部からの要求に応じて、当該トランスポートストリームを逆多重化部１４１３へ出力する。また、ストリームバッファ１４１４は、例えばコネクティビティモジュール１３２１により記憶媒体から読み出されたファイルデータをバッファリングし、所定のタイミングで又は外部からの要求に応じて、当該ファイルデータを逆多重化部１４１３へ出力する。
【０２５９】
このように構成されたビデオプロセッサ１３３２において、本開示に係る技術は、例えば、エンコード・デコードエンジン１４０７において利用され得る。この場合、ビデオプロセッサ１３３２は、本開示に係る技術を適用したチップ又はモジュールとなる。
【０２６０】
図３５は、ビデオプロセッサ１３３２の概略的な構成の他の例を示すブロック図である。図３５の例において、ビデオプロセッサ１３３２は、映像データを所定の方式で符号化し及び復号する機能を有する。
【０２６１】
図３５を参照すると、ビデオプロセッサ１３３２は、制御部１５１１、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、内部メモリ１５１５、コーデックエンジン１５１６、メモリインタフェース１５１７、多重化／逆多重化部１５１８、ネットワークインタフェース１５１９、及びビデオインタフェース１５２０を有する。
【０２６２】
制御部１５１１は、ディスプレイインタフェース１５１２、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６などの、ビデオプロセッサ１３３２内の様々な処理部の動作を制御する。制御部１５１１は、例えば、メインＣＰＵ１５３１、サブＣＰＵ１５３２及びシステムコントローラ１５３３を有する。メインＣＰＵ１５３１は、ビデオプロセッサ１３３２内の各処理部の動作を制御するためのプログラムを実行する。メインＣＰＵ１５３１は、プログラムの実行を通じて生成される制御信号を各処理部に供給する。サブＣＰＵ１５３２は、メインＣＰＵ１５３１の補助的な役割を果たす。例えば、サブＣＰＵ１５３２は、メインＣＰＵ１５３１が実行するプログラムの子プロセス及びサブルーチンを実行する。システムコントローラ１５３３は、メインＣＰＵ１５３１及びサブＣＰＵ１５３２によるプログラムの実行を管理する。
【０２６３】
ディスプレイインタフェース１５１２は、制御部１５１１による制御の下、画像データを例えばコネクティビティモジュール１３２１へ出力する。例えば、ディスプレイインタフェース１５１２は、デジタル画像データから変換されるアナログ画像信号又はデジタル画像データそのものを、コネクティビティモジュール１３２１に接続されるディスプレイへ出力する。ディスプレイエンジン１５１３は、制御部１５１１による制御の下、画像データの属性が出力先のディスプレイの仕様に適合するように、画像データについてのフォーマット変換、サイズ変換及び色域変換などを実行する。画像処理エンジン１５１４は、制御部１５１１による制御の下、画像データについて、画質改善などの目的を有するフィルタリング処理を含み得る画像処理を実行する。
【０２６４】
内部メモリ１５１５は、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６により共用される、ビデオプロセッサ１３３２の内部に設けられるメモリデバイスである。内部メモリ１５１５は、例えば、ディスプレイエンジン１５１３、画像処理エンジン１５１４、及びコーデックエンジン１５１６の間で画像データを入出力する際に利用される。内部メモリ１５１５は、いかなる種類のメモリデバイスであってもよい。例えば、内部メモリ１５１５は、ブロック単位の画像データ及び関連するパラメータを記憶するための、比較的小さいメモリサイズを有していてもよい。内部メモリ１５１５は、例えばＳＲＡＭ（Static  Random  Access  Memory）のような（例えば、外部メモリ１３１２に対して相対的に）小容量だが応答速度の速いメモリであってもよい。
【０２６５】
コーデックエンジン１５１６は、画像データを符号化して符号化映像ストリームを生成するためのエンコード処理、並びに、符号化映像ストリームから画像データを復号するためのデコード処理を行う。コーデックエンジン１５１６によりサポートされる画像符号化方式は、任意の１つ又は複数の方式であってよい。図３５の例において、コーデックエンジン１５１６は、ＭＰＥＧ−２  Ｖｉｄｅｏ用ブロック１５４１、ＡＶＣ／Ｈ．２６４用ブロック１５４２、ＨＥＶＣ／Ｈ．２６５用ブロック１５４３、ＨＥＶＣ／Ｈ．２６５（スケーラブル）用ブロック１５４４、ＨＥＶＣ／Ｈ．２６５（マルチビュー）用ブロック１５４５、及びＭＰＥＧ−ＤＡＳＨ用ブロック１５５１を有する。これら機能ブロックは、それぞれ、対応する画像符号化方式に従って画像データを符号化し及び復号する。
【０２６６】
ＭＰＥＧ−ＤＡＳＨ用ブロック１５５１は、画像データをＭＰＥＧ−ＤＡＳＨ方式に従って伝送することを可能とするための機能ブロックである。ＭＰＥＧ−ＤＡＳＨ用ブロック１５５１は、標準仕様に準拠するストリームの生成、及び生成したストリームの伝送の制御を実行する。伝送される画像データの符号化及び復号は、コーデックエンジン１５１６に含まれる他の機能ブロックにより実行されてよい。
【０２６７】
メモリインタフェース１５１７は、ビデオプロセッサ１３３２を外部メモリ１３１２と接続するためのインタフェースである。画像処理エンジン１５１４又はコーデックエンジン１５１６により生成されるデータは、メモリインタフェース１５１７を介して外部メモリ１３１２へ出力される。また、外部メモリ１３１２から入力されるデータは、メモリインタフェース１５１７を介して画像処理エンジン１５１４又はコーデックエンジン１５１６へ供給される。
【０２６８】
多重化／逆多重化部１５１８は、符号化映像ストリーム及び関連するビットストリームの多重化及び逆多重化を行う。多重化の際に、多重化／逆多重化部１５１８は、多重化ストリームに所定のヘッダ情報を付加してもよい。また、逆多重化の際に、多重化／逆多重化部１５１８は、分離された個々のストリームに所定のヘッダ情報を付加してもよい。即ち、多重化／逆多重化部１５１８は、多重化又は逆多重化と共にフォーマット変換を実行し得る。例えば、多重化／逆多重化部１５１８は、複数のビットストリームと転送用フォーマットを有する多重化ストリームであるトランスポートストリームとの間の変換及び逆変換、並びに、複数のビットストリームと記録用フォーマットを有するファイルデータとの間の変換及び逆変換をサポートしてもよい。
【０２６９】
ネットワークインタフェース１５１９は、例えば、ビデオプロセッサ１３３２をブロードバンドモデム１３３３又はコネクティビティモジュール１３２１へ接続するためのインタフェースである。ビデオインタフェース１５２０は、例えば、ビデオプロセッサ１３３２をコネクティビティモジュール１３２１又はカメラ１３２２へ接続するためのインタフェースである。
【０２７０】
このように構成されたビデオプロセッサ１３３２において、本開示に係る技術は、例えば、コーデックエンジン１５１６において利用され得る。この場合、ビデオプロセッサ１３３２は、本開示に係る技術を適用したチップ又はモジュールとなる。
【０２７１】
なお、ビデオプロセッサ１３３２の構成は、上述した２つの例に限定されない。例えば、ビデオプロセッサ１３３２は、１つの半導体チップとして実現されてもよく、又は複数の半導体チップとして実現されてもよい。また、ビデオプロセッサ１３３２は、複数の半導体を積層することにより形成される３次元積層ＬＳＩ、又は複数のＬＳＩの組合せとして実現されてもよい。
【０２７２】
＜７．まとめ＞
ここまで、図１〜図３５を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、第１レイヤ（例えば、ベースレイヤ）とは異なる色域を有する第２レイヤ（例えば、エンハンスメントレイヤ）の画像を第１レイヤの画像から予測する際に使用される予測パラメータが、第２レイヤの画像に含まれるブロックごとに設定される。そして、設定された予測パラメータを用いて、第１レイヤの画像から第２レイヤの画像が予測される。従って、画像内の異なる領域で異なる予測パラメータの値を使用することが可能となる。それにより、一部の領域でインターレイヤ予測の精度が低下してしまうことを防止し、符号化効率を向上させることができる。
【０２７３】
また、上述した実施形態によれば、色域の予測のために使用される上記予測パラメータは、第１レイヤの色成分ごとの画素値に乗算されるゲイン、及び当該画素値とゲインとの積に加算されるオフセットを含む。これらゲイン及びオフセットの最適値は、画像内で領域が違えば異なり得る。よって、ブロックごとにこれらゲイン及びオフセットを可変的に制御することが、インターレイヤ予測の高い精度を達成する上で有益である。なお、かかる例に限定されず、例えばオフセットのみがブロックごとに可変的に制御されてもよい。画像の特性又は色域の種類に依存し、ゲインの制御はインターレイヤ予測の精度の向上にあまり寄与しないケースがある。そうしたケースでは、オフセットのみをブロックごとに可変的に制御することで、情報の冗長的な符号化を回避し、処理リソースの無駄を抑制することができる。
【０２７４】
また、上述した実施形態によれば、ブロックとは、ＬＣＵであってよい。通常、符号化処理及び復号処理はＬＣＵごとに順に実行されるように実装されるため、色域予測の予測パラメータのＬＣＵごとの制御は、そうした実装に適合し易い。
【０２７５】
ある実施例によれば、注目ブロックに隣接する隣接ブロック、又は参照ピクチャ内のコロケーテッドブロックの設定に基づいて、注目ブロックの予測パラメータが予測符号化される。従って、全てのブロックについて予測パラメータをそのまま符号化する手法と比較して、予測パラメータのために要する符号量を削減することができる。いずれの参照ブロックを予測符号化に用いるかを示すパラメータ情報（参照ブロック情報）が符号化される場合には、複数の参照ブロックの候補から参照ブロックを柔軟に選択して使用することで、予測符号化の誤差を低減し、符号量を一層効果的に削減することができる。予測符号化の誤差を示す差分情報が符号化される場合には、符号量を削減しつつも、各ブロックについて最適な予測パラメータを使用することができる。
【０２７６】
別の実施例によれば、注目ブロックの予測パラメータは、注目ブロック自体ではなく、隣接ブロック及び当該隣接ブロックに対応する第１レイヤの対応ブロックの画素値を用いて算出される。この場合、デコーダ側でも、復号済みの隣接ブロックを参照して予測パラメータを算出することができる。そのため、追加的な情報を符号化することなく、エンコーダ及びデコーダの双方でブロックごとに最適な予測パラメータを使用することができる。予測パラメータを算出するために使用される参照画素が間引かれる場合には、比較的多くのリソースを要する予測パラメータの算出処理の負荷を低減することができる。
【０２７７】
なお、本明細書に記述したＣＵ、ＰＵ及びＴＵとの用語は、ＨＥＶＣにおいて、個々のブロックに関連付られるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、ＣＢ（Coding  Block）、ＰＢ（Prediction  Block）及びＴＢ（Transform  Block）との用語にそれぞれ置き換えられてもよい。ＣＢは、ＣＴＢ（Coding  Tree  Block）を四分木（Quad-Tree）状に階層的に分割することにより形成される。１つの四分木の全体がＣＴＢに相当し、ＣＴＢに対応する論理的な単位はＣＴＵ（Coding  Tree  Unit）と呼ばれる。ＨＥＶＣにおけるＣＴＢ及びＣＢは、符号化処理の処理単位である点でＨ．２６４／ＡＶＣにおけるマクロブロックに類似する役割を有する。但し、ＣＴＢ及びＣＢは、そのサイズが固定的でない点でマクロブロックと異なる（マクロブロックのサイズは常に１６×１６画素である）。ＣＴＢのサイズは１６×１６画素、３２×３２画素及び６４×６４画素から選択され、符号化ストリーム内でパラメータにより指定される。ＣＢのサイズは、ＣＴＢの分割の深さによって変化し得る。
【０２７８】
また、本明細書では、色域の変換に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２７９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２８０】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、
前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、
前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を復号する復号部と、
を備える画像処理装置。
（２）
前記予測パラメータは、前記第１レイヤの画素値に乗算されるゲイン、及びオフセットを含む、前記（１）に記載の画像処理装置。
（３）
前記ブロックは、ＬＣＵ（Largest  Coding  Unit）である、前記（１）又は前記（２）に記載の画像処理装置。
（４）
前記設定部は、第１のブロックに隣接する隣接ブロックであり又は前記第１のブロックのコロケーテッドブロックである１つ以上の参照ブロックの設定に基づく予測値を用いて、前記第１のブロックに前記予測パラメータを設定する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（５）
前記復号部は、いずれのブロックが前記１つ以上の参照ブロックであるかを示す参照ブロック情報を復号し、
前記設定部は、前記参照ブロック情報により示される前記１つ以上の参照ブロックの設定に基づいて、前記予測値を取得する、
前記（４）に記載の画像処理装置。
（６）
前記参照ブロック情報がいずれのブロックも参照されないことを示す場合に、前記設定部は、前記復号部により復号されるパラメータ情報により指定される前記予測パラメータを、前記第１のブロックに設定する、前記（５）に記載の画像処理装置。
（７）
前記設定部は、前記予測値と前記復号部により復号される差分値との和に相当する前記予測パラメータを、前記第１のブロックに設定する、前記（４）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記設定部は、第１のブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応する前記第１レイヤの１つ以上の対応ブロックの画素値を用いて算出される前記予測パラメータを、前記第１のブロックに設定する、前記（１）〜（３）のいずれか１項に記載の画像処理装置。
（９）
前記設定部は、前記１つ以上の隣接ブロック及び前記１つ以上の対応ブロックの画素の一部を間引き、残る画素の画素値を用いて前記予測パラメータを算出する、前記（８）に記載の画像処理装置。
（１０）
前記設定部は、利用可能な隣接ブロックを有しない第２のブロックに、前記予測パラメータとして既定値を設定する、前記（８）又は前記（９）に記載の画像処理装置。
（１１）
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定することと、
ブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成することと、
生成される前記予測画像を用いて、前記第２レイヤの画像を復号することと、
を含む画像処理方法。
（１２）
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、
前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、
前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を符号化する符号化部と、
を備える画像処理装置。
（１３）
前記予測パラメータは、前記第１レイヤの画素値に乗算されるゲイン、及びオフセットを含む、前記（１２）に記載の画像処理装置。
（１４）
前記ブロックは、ＬＣＵ（Largest  Coding  Unit）である、前記（１２）又は前記（１３）に記載の画像処理装置。
（１５）
前記符号化部は、第１のブロックに設定すべき前記予測パラメータを、当該第１のブロックに隣接する隣接ブロックであり又は当該第１のブロックのコロケーテッドブロックである１つ以上の参照ブロックの設定に基づく予測値を用いて符号化する、前記（１２）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
前記符号化部は、いずれのブロックが前記１つ以上の参照ブロックであるかを示す参照ブロック情報をさらに符号化する、前記（１５）に記載の画像処理装置。
（１７）
前記設定部は、第１のブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応する前記第１レイヤの１つ以上の対応ブロックの画素値を用いて算出される前記予測パラメータを、前記第１のブロックに設定する、前記（１２）〜（１４）のいずれか１項に記載の画像処理装置。
（１８）
前記設定部は、前記１つ以上の隣接ブロック及び前記１つ以上の対応ブロックの画素の一部を間引き、残る画素の画素値を用いて前記予測パラメータを算出する、前記（１７）に記載の画像処理装置。
（１９）
前記設定部は、利用可能な隣接ブロックを有しない第２のブロックに、前記予測パラメータとして既定値を設定する、前記（１７）又は前記（１８）に記載の画像処理装置。
（２０）
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定することと、
ブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成することと、
生成される前記予測画像を用いて、前記第２レイヤの画像を符号化することと、
を含む画像処理方法。
【０２８１】
また、以下のような構成も本開示の技術的範囲に属する。
（１）
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、
前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、
前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を復号する復号部と、
を備え、
前記予測パラメータは、前記第１レイヤの画素値とゲインとの積に加算されるオフセットを含み、
前記設定部は、前記ゲインを複数のブロックにわたって固定的に設定し、前記オフセットをブロックごとに可変的に設定する、
画像処理装置。
（２）
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、
前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、
前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を符号化する符号化部と、
を備え、
前記予測パラメータは、前記第１レイヤの画素値とゲインとの積に加算されるオフセットを含み、
前記設定部は、前記ゲインを複数のブロックにわたって固定的に設定し、前記オフセットをブロックごとに可変的に設定する、
画像処理装置。
【符号の説明】
【０２８２】
１０，１０ｖ  画像符号化装置（画像処理装置）
１６          可逆符号化部
４２          予測部
４３，４８    パラメータ設定部
６０，６０ｖ  画像復号装置（画像処理装置）
６２          可逆復号部
９２          予測部
９３，９８    パラメータ設定部
【図１】
2015005025.tif 000006
【図２】
2015005025.tif 000007
【図３Ａ】
2015005025.tif 000008
【図３Ｂ】
2015005025.tif 000009
【図３Ｃ】
2015005025.tif 000010
【図４】
2015005025.tif 000011
【図５】
2015005025.tif 000012
【図６】
2015005025.tif 000013
【図７】
2015005025.tif 000014
【図８Ａ】
2015005025.tif 000015
【図８Ｂ】
2015005025.tif 000016
【図８Ｃ】
2015005025.tif 000017
【図８Ｄ】
2015005025.tif 000018
【図９】
2015005025.tif 000019
【図１０Ａ】
2015005025.tif 000020
【図１０Ｂ】
2015005025.tif 000021
【図１１】
2015005025.tif 000022
【図１２】
2015005025.tif 000023
【図１３】
2015005025.tif 000024
【図１４】
2015005025.tif 000025
【図１５】
2015005025.tif 000026
【図１６】
2015005025.tif 000027
【図１７】
2015005025.tif 000028
【図１８】
2015005025.tif 000029
【図１９】
2015005025.tif 000030
【図２０】
2015005025.tif 000031
【図２１】
2015005025.tif 000032
【図２２】
2015005025.tif 000033
【図２３】
2015005025.tif 000034
【図２４】
2015005025.tif 000035
【図２５】
2015005025.tif 000036
【図２６】
2015005025.tif 000037
【図２７】
2015005025.tif 000038
【図２８】
2015005025.tif 000039
【図２９】
2015005025.tif 000040
【図３０】
2015005025.tif 000041
【図３１】
2015005025.tif 000042
【図３２】
2015005025.tif 000043
【図３３】
2015005025.tif 000044
【図３４】
2015005025.tif 000045
【図３５】
2015005025.tif 000046
【手続補正書】
【提出日】平成26年11月10日(2014.11.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、
前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、
前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を復号する復号部と、
を備え、
前記設定部は、第１のブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応する前記第１レイヤの１つ以上の対応ブロックの画素値を用いて算出される前記予測パラメータを、前記第１のブロックに設定する、
画像処理装置。
【請求項２】
前記予測パラメータは、前記第１レイヤの画素値に乗算されるゲイン、及びオフセットを含む、請求項１に記載の画像処理装置。
【請求項３】
前記ブロックは、ＬＣＵ（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）である、請求項１に記載の画像処理装置。
【請求項４】
（削除）
【請求項５】
（削除）
【請求項６】
（削除）
【請求項７】
（削除）
【請求項８】
（削除）
【請求項９】
前記設定部は、前記１つ以上の隣接ブロック及び前記１つ以上の対応ブロックの画素の一部を間引き、残る画素の画素値を用いて前記予測パラメータを算出する、請求項１に記載の画像処理装置。
【請求項１０】
前記設定部は、利用可能な隣接ブロックを有しない第２のブロックに、前記予測パラメータとして既定値を設定する、請求項１に記載の画像処理装置。
【請求項１１】
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定することと、
ブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成することと、
生成される前記予測画像を用いて、前記第２レイヤの画像を復号することと、
を含み、
第１のブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応する前記第１レイヤの１つ以上の対応ブロックの画素値を用いて算出される前記予測パラメータが、前記第１のブロックに設定される、
画像処理方法。
【請求項１２】
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定する設定部と、
前記設定部によりブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成する予測部と、
前記予測部により生成される前記予測画像を用いて、前記第２レイヤの画像を符号化する符号化部と、
を備え、
前記設定部は、第１のブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応する前記第１レイヤの１つ以上の対応ブロックの画素値を用いて算出される前記予測パラメータを、前記第１のブロックに設定する、
画像処理装置。
【請求項１３】
前記予測パラメータは、前記第１レイヤの画素値に乗算されるゲイン、及びオフセットを含む、請求項１２に記載の画像処理装置。
【請求項１４】
前記ブロックは、ＬＣＵ（Ｌａｒｇｅｓｔ  Ｃｏｄｉｎｇ  Ｕｎｉｔ）である、請求項１２に記載の画像処理装置。
【請求項１５】
（削除）
【請求項１６】
（削除）
【請求項１７】
（削除）
【請求項１８】
前記設定部は、前記１つ以上の隣接ブロック及び前記１つ以上の対応ブロックの画素の一部を間引き、残る画素の画素値を用いて前記予測パラメータを算出する、請求項１２に記載の画像処理装置。
【請求項１９】
前記設定部は、利用可能な隣接ブロックを有しない第２のブロックに、前記予測パラメータとして既定値を設定する、請求項１２に記載の画像処理装置。
【請求項２０】
第１レイヤとは異なる色域を有する第２レイヤの画像を前記第１レイヤの画像から予測する際に使用される予測パラメータを、前記第２レイヤの画像に含まれるブロックごとに設定することと、
ブロックごとに設定される前記予測パラメータを用いて、前記第１レイヤの画像から前記第２レイヤの予測画像を生成することと、
生成される前記予測画像を用いて、前記第２レイヤの画像を符号化することと、
を含み、
第１のブロックに隣接する１つ以上の隣接ブロック及び当該１つ以上の隣接ブロックに対応する前記第１レイヤの１つ以上の対応ブロックの画素値を用いて算出される前記予測パラメータが、前記第１のブロックに設定される、
画像処理方法。
【国際調査報告】
2015005025.tif 000047
2015005025.tif 000048
2015005025.tif 000049
2015005025.tif 000050