(57)【要約】【課題】スケーラブル符号化においてＬＭモードを採用する際の処理コストを低減することのできる仕組みを提供すること。【解決手段】スケーラブル復号される画像のベースレイヤ内の色差成分の第１の予測単位についてのイントラ予測のための予測モード情報を取得するベースレイヤ予測部と、前記ベースレイヤ予測部により取得される前記予測モード情報が輝度ベース色差予測モードを示す場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成するエンハンスメントレイヤ予測部と、を備える画像処理装置を提供する。【選択図】図１２
2013150838.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブル復号される画像のベースレイヤ内の色差成分の第１の予測単位についてのイントラ予測のための予測モード情報を取得するベースレイヤ予測部と、
前記ベースレイヤ予測部により取得される前記予測モード情報が輝度ベース色差予測モードを示す場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成するエンハンスメントレイヤ予測部と、
を備える画像処理装置。
【請求項２】
前記エンハンスメントレイヤ予測部は、前記予測モード情報が前記輝度ベース色差予測モードを示す場合に、前記第２の予測単位について、新たな予測モード情報を取得することなく、前記係数を用いて前記輝度ベース色差予測モードで前記予測画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合に、前記第２の予測単位を複数のサブブロックに分割し、前記複数のサブブロックの各々に前記係数を用いて前記輝度ベース色差予測モードを適用することにより、前記予測画像を生成する、
請求項２に記載の画像処理装置。
【請求項４】
前記エンハンスメントレイヤ予測部は、前記予測モード情報が前記輝度ベース色差予測モードを示す場合において、前記第２の予測単位について新たに取得される予測モード情報が前記輝度ベース色差予測モードを示すときに、前記係数を用いて前記輝度ベース色差予測モードで前記予測画像を生成する、請求項１に記載の画像処理装置。
【請求項５】
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合に、前記第２の予測単位を複数のサブブロックに分割し、前記複数のサブブロックの各々に前記係数を用いて前記輝度ベース色差予測モードを適用することにより、前記予測画像を生成する、
請求項４に記載の画像処理装置。
【請求項６】
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記予測モード情報が輝度ベース色差予測モードを示す場合において、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超えるときは、前記第２の予測単位について、新たに取得される予測モード情報に従って予測画像を生成する、
請求項２に記載の画像処理装置。
【請求項７】
前記画像処理装置は、前記第１の予測単位のために計算される前記係数が前記第２の予測単位のために再利用されるかを示すパラメータを復号する復号部、をさらに備え、
前記エンハンスメントレイヤ予測部は、前記係数が再利用されることを前記パラメータが示す場合に、前記係数を用いて前記輝度ベース色差予測モードで前記予測画像を生成する、
請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、前記第２の予測単位について新たな予測モード情報が符号化されるかを示すパラメータを復号する復号部、をさらに備え、
前記エンハンスメントレイヤ予測部は、前記新たな予測モード情報が符号化されることを前記パラメータが示す場合に、前記第２の予測単位について前記新たな予測モード情報を参照する、
請求項４に記載の画像処理装置。
【請求項９】
前記画像処理装置は、前記第２の予測単位のサイズが前記最大サイズを超える場合に前記第２の予測単位が複数のサブブロックに分割されるかを示すパラメータを復号する復号部、をさらに備え、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位が複数のサブブロックに分割されることを前記パラメータが示す場合に、前記第２の予測単位を複数のサブブロックに分割する、
請求項３に記載の画像処理装置。
【請求項１０】
スケーラブル復号される画像のベースレイヤ内の色差成分の第１の予測単位についてのイントラ予測のための予測モード情報を取得することと、
取得された前記予測モード情報が輝度ベース色差予測モードを示す場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成することと、
を含む画像処理方法。
【請求項１１】
スケーラブル符号化される画像のベースレイヤ内の色差成分の第１の予測単位について最適なイントラ予測モードを選択するベースレイヤ予測部と、
前記ベースレイヤ予測部により前記第１の予測単位について輝度ベース色差予測モードが選択された場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成するエンハンスメントレイヤ予測部と、
を備える画像処理装置。
【請求項１２】
前記エンハンスメントレイヤ予測部は、前記第１の予測単位について前記輝度ベース色差予測モードが選択された場合に、前記第２の予測単位について、予測モードの探索を行うことなく、前記係数を用いて前記輝度ベース色差予測モードで前記予測画像を生成する、請求項１１に記載の画像処理装置。
【請求項１３】
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合に、前記第２の予測単位を複数のサブブロックに分割し、前記複数のサブブロックの各々に前記係数を用いて前記輝度ベース色差予測モードを適用することにより、前記予測画像を生成する、
請求項１２に記載の画像処理装置。
【請求項１４】
前記エンハンスメントレイヤ予測部は、前記第１の予測単位について前記輝度ベース色差予測モードが選択された場合に、前記第２の予測単位について、前記係数を用いる前記輝度ベース色差予測モード及び他の予測モードから、最適な予測モードを探索する、請求項１１に記載の画像処理装置。
【請求項１５】
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合には、前記最適な予測モードの探索のために、前記第２の予測単位を複数のサブブロックに分割し、前記複数のサブブロックの各々に前記係数を用いて前記輝度ベース色差予測モードを適用することにより、前記予測画像を生成する、
請求項１４に記載の画像処理装置。
【請求項１６】
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合において、前記第１の予測単位について前記輝度ベース色差予測モードが選択されたときは、前記第２の予測単位について、前記輝度ベース色差予測モード以外の複数の予測モードから、最適な予測モードを探索する、
請求項１２に記載の画像処理装置。
【請求項１７】
前記画像処理装置は、前記第１の予測単位のために計算される前記係数が前記第２の予測単位のために再利用されるか、を示すパラメータを符号化する符号化部、をさらに備える、請求項１１に記載の画像処理装置。
【請求項１８】
前記画像処理装置は、前記第１の予測単位について前記輝度ベース色差予測モードが選択された場合に、前記第２の予測単位について新たな予測モード情報が符号化されるか、を示すパラメータを符号化する符号化部、をさらに備える、請求項１１に記載の画像処理装置。
【請求項１９】
前記画像処理装置は、前記第２の予測単位のサイズが前記最大サイズを超える場合に前記第２の予測単位が複数のサブブロックに分割されるかを示すパラメータを符号化する符号化部、をさらに備える、
請求項１３に記載の画像処理装置。
【請求項２０】
スケーラブル符号化される画像のベースレイヤ内の色差成分の第１の予測単位について最適なイントラ予測モードを選択することと、
前記第１の予測単位について輝度ベース色差予測モードが選択された場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成することと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint  Collaboration  Team-Video  Coding）により、ＨＥＶＣ（High  Efficiency  Video  Coding）と呼ばれる画像符号化方式の標準化が進められている。ＨＥＶＣ規格については、２０１２年２月に最初のドラフト版の仕様であるＣｏｍｍｉｔｔｅｅ  ｄｒａｆｔが発行されている（例えば、下記非特許文献１参照）。【０００３】
ＨＥＶＣに代表される画像符号化方式において重要な技術の１つは、画面内予測、即ちイントラ予測である。イントラ予測は、画像内の隣り合うブロック間の相関を利用し、あるブロック内の画素値を隣り合う他のブロックの画素値から予測することで、符号化される情報量を削減する技術である。イントラ予測に際しては、通常、予測対象のブロックの画素値を予測するために最適な予測モードが、複数の予測モードから選択される。例えば、ＨＥＶＣでは、平均値予測（DC  Prediction）、角度予測（Angular  Prediction）及び平面予測（Planar  Prediction）などの様々な予測モードの候補が選択可能である。また、色差成分のイントラ予測に関しては、動的に構築される輝度成分の線型関数を予測関数として用いて色差成分の画素値を予測する、線型モデル（ＬＭ：Linear  Model）モードと呼ばれる追加的な予測モードもまた提案されている（下記非特許文献２参照）。【０００４】
ところで、スケーラブル符号化（ＳＶＣ（Scalable  Video  Coding）ともいう）は、将来の画像符号化方式において重要な技術の１つである。スケーラブル符号化とは、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。スケーラブル符号化において階層化される典型的な属性は、主に次の３種類である。
−空間スケーラビリティ：空間解像度あるいは画像サイズが階層化される。
−時間スケーラビリティ：フレームレートが階層化される。
−ＳＮＲ（Signal  to  Noise  Ratio）スケーラビリティ：ＳＮ比が階層化される。
さらに、標準規格で未だ採用されていないものの、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティもまた議論されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Benjamin  Bross,  Woo-Jin  Han,  Jens-Rainer  Ohm,  Gary  J.  Sullivan,  Thomas  Wiegand,  “High  efficiency  video  coding  (HEVC)  text  specification  draft  6”（JCTVC-H1003  ver21,  2012年2月17日）
【非特許文献２】Jianle  Chen，  et  al.  “CE6.a.4:  Chroma  intra  prediction  by  reconstructed  luma  samples”（JCTVC-E266，2011年3月）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記非特許文献２により提案されているＬＭモードにおいて輝度成分の値に基づいて予測関数の係数を算出するための処理は、他の予測モードの演算と比較して多くの処理コストを要する。特に、予測単位（Prediction  Unit）のサイズがより大きいほど、係数算出処理に算入される画素数はより多くなることから、係数算出処理のコストは無視できないものとなる。そのため、スケーラブル符号化において上位レイヤでＬＭモードを採用することは、符号化効率の向上に寄与し得る一方で、性能の悪化というリスク要因をもたらす。【０００７】
従って、スケーラブル符号化においてＬＭモードを採用する際の処理コストを低減することのできる仕組みが提供されることが望ましい。
【課題を解決するための手段】
【０００８】
本開示によれば、スケーラブル復号される画像のベースレイヤ内の色差成分の第１の予測単位についてのイントラ予測のための予測モード情報を取得するベースレイヤ予測部と、前記ベースレイヤ予測部により取得される前記予測モード情報が輝度ベース色差予測モードを示す場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成するエンハンスメントレイヤ予測部と、を備える画像処理装置が提供される。【０００９】
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。【００１０】
また、本開示によれば、スケーラブル復号される画像のベースレイヤ内の色差成分の第１の予測単位についてのイントラ予測のための予測モード情報を取得することと、取得された前記予測モード情報が輝度ベース色差予測モードを示す場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成することと、を含む画像処理方法が提供される。【００１１】
また、本開示によれば、スケーラブル符号化される画像のベースレイヤ内の色差成分の第１の予測単位について最適なイントラ予測モードを選択するベースレイヤ予測部と、前記ベースレイヤ予測部により前記第１の予測単位について輝度ベース色差予測モードが選択された場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成するエンハンスメントレイヤ予測部と、を備える画像処理装置が提供される。【００１２】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。【００１３】
また、本開示によれば、スケーラブル符号化される画像のベースレイヤ内の色差成分の第１の予測単位について最適なイントラ予測モードを選択することと、前記第１の予測単位について輝度ベース色差予測モードが選択された場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成することと、を含む画像処理方法が提供される。
【発明の効果】
【００１４】
本開示によれば、スケーラブル符号化においてＬＭモードを採用する際の処理コストを低減することができる。
【図面の簡単な説明】
【００１５】
【図１】スケーラブル符号化について説明するための説明図である。
【図２】ＬＭモードについて説明するための説明図である。
【図３】一実施形態に係る画像符号化装置の概略的な構成を示すブロック図である。
【図４】一実施形態に係る画像復号装置の概略的な構成を示すブロック図である。
【図５】図３に示した第１符号化部及び第２符号化部の構成の一例を示すブロック図である。
【図６Ａ】下位レイヤにおいてＬＭモードが選択された場合の上位レイヤにおけるイントラ予測の第１の手法について説明するための説明図である。
【図６Ｂ】下位レイヤにおいてＬＭモードが選択された場合の上位レイヤにおけるイントラ予測の第２の手法について説明するための説明図である。
【図６Ｃ】下位レイヤにおいてＬＭモードが選択された場合の上位レイヤにおけるイントラ予測の第３の手法について説明するための説明図である。
【図６Ｄ】下位レイヤにおいてＬＭモードが選択された場合の上位レイヤにおけるイントラ予測の第４の手法について説明するための説明図である。
【図７】図５に示したイントラ予測部の詳細な構成の一例を示すブロック図である。
【図８】一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。
【図９】上位レイヤにおけるイントラ予測処理の分岐の一例を示すフローチャートである。
【図１０Ａ】下位レイヤにおいてＬＭモードが選択された場合に上位レイヤにおいて第１の手法に従って実行される符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１０Ｂ】下位レイヤにおいてＬＭモードが選択された場合に上位レイヤにおいて第２の手法に従って実行される符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１０Ｃ】下位レイヤにおいてＬＭモードが選択された場合に上位レイヤにおいて第３の手法に従って実行される符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１０Ｄ】下位レイヤにおいてＬＭモードが選択された場合に上位レイヤにおいて第４の手法に従って実行される符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１１】図４に示した第１復号部及び第２復号部の構成の一例を示すブロック図である。
【図１２】図１１に示したイントラ予測部の詳細な構成の一例を示すブロック図である。
【図１３】一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。
【図１４】上位レイヤにおけるイントラ予測処理の分岐の一例を示すフローチャートである。
【図１５Ａ】下位レイヤにおいてＬＭモードが指定された場合に上位レイヤにおいて第１の手法に従って実行される復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１５Ｂ】下位レイヤにおいてＬＭモードが指定された場合に上位レイヤにおいて第２の手法に従って実行される復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１５Ｃ】下位レイヤにおいてＬＭモードが指定された場合に上位レイヤにおいて第３の手法に従って実行される復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１５Ｄ】下位レイヤにおいてＬＭモードが指定された場合に上位レイヤにおいて第４の手法に従って実行される復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【図１６】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図１７】携帯電話機の概略的な構成の一例を示すブロック図である。
【図１８】記録再生装置の概略的な構成の一例を示すブロック図である。
【図１９】撮像装置の概略的な構成の一例を示すブロック図である。
【図２０】スケーラブル符号化の用途の第１の例について説明するための説明図である。
【図２１】スケーラブル符号化の用途の第２の例について説明するための説明図である。
【図２２】スケーラブル符号化の用途の第３の例について説明するための説明図である。
【図２３】マルチビューコーデックについて説明するための説明図である。
【図２４】マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。
【図２５】マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
また、以下の順序で説明を行う。
１．概要
１−１．スケーラブル符号化
１−２．輝度ベース色差予測モード（ＬＭモード）
１−３．エンコーダの基本的な構成例
１−４．デコーダの基本的な構成例
２．一実施形態に係る符号化部の構成例
２−１．全体的な構成
２−２．イントラ予測の様々な手法
２−３．イントラ予測部の詳細な構成
３．一実施形態に係る符号化時の処理の流れ
４．一実施形態に係る復号部の構成例
４−１．全体的な構成
４−２．イントラ予測部の詳細な構成
５．一実施形態に係る復号時の処理の流れ
６．応用例
６−１．様々な製品への応用
６−２．スケーラブル符号化の様々な用途
６−３．その他
７．まとめ
【００１８】
＜１．概要＞
［１−１．スケーラブル符号化］
スケーラブル符号化においては、一連の画像をそれぞれ含む複数のレイヤが符号化される。ベースレイヤ（base  layer）は、最初に符号化される、最も粗い画像を表現するレイヤである。ベースレイヤの符号化ストリームは、他のレイヤの符号化ストリームを復号することなく、独立して復号され得る。ベースレイヤ以外のレイヤは、エンハンスメントレイヤ（enhancement  layer）と呼ばれる、より精細な画像を表現するレイヤである。エンハンスメントレイヤの符号化ストリームは、ベースレイヤの符号化ストリームに含まれる情報を用いて符号化される。従って、エンハンスメントレイヤの画像を再現するためには、ベースレイヤ及びエンハンスメントレイヤの双方の符号化ストリームが復号されることになる。スケーラブル符号化において扱われるレイヤの数は、２つ以上のいかなる数であってもよい。３つ以上のレイヤが符号化される場合には、最下位のレイヤがベースレイヤ、残りの複数のレイヤがエンハンスメントレイヤである。より上位のエンハンスメントレイヤの符号化ストリームは、より下位のエンハンスメントレイヤ又はベースレイヤの符号化ストリームに含まれる情報を用いて符号化され及び復号され得る。本明細書では、依存関係を有する少なくとも２つのレイヤのうち、依存される側のレイヤを下位レイヤ（lower  layer）、依存する側のレイヤを上位レイヤ（upper  layer）という。
【００１９】
図１は、スケーラブル符号化される３つのレイヤＬ１、Ｌ２及びＬ３を示している。レイヤＬ１はベースレイヤであり、レイヤＬ２及びＬ３はエンハンスメントレイヤである。なお、ここでは、様々な種類のスケーラビリティのうち、空間スケーラビリティを例にとっている。レイヤＬ２のレイヤＬ１に対する空間解像度の比は、２：１である。レイヤＬ３のレイヤＬ１に対する空間解像度の比は、４：１である。レイヤＬ１のブロックＢ１は、ベースレイヤのピクチャ内の予測単位である。レイヤＬ２のブロックＢ２は、ブロックＢ１と共通するシーンを映したエンハンスメントレイヤのピクチャ内の予測単位である。ブロックＢ２は、レイヤＬ１のブロックＢ１に対応する。レイヤＬ３のブロックＢ３は、ブロックＢ１及びＢ２と共通するシーンを映したより上位のエンハンスメントレイヤのピクチャ内の予測単位である。ブロックＢ３は、レイヤＬ１のブロックＢ１及びレイヤＬ２のブロックＢ２に対応する。
【００２０】
このようなレイヤ構造において、あるレイヤの画像の空間的相関は、通常、共通するシーンに対応する他のレイヤの画像の空間的相関と類似する。例えば、レイヤＬ１においてブロックＢ１がある方向の隣接ブロックとの間の強い相関を有する場合、レイヤＬ２においてブロックＢ２が同じ方向の隣接ブロックとの間で強い相関を有し、レイヤＬ３においてブロックＢ３がやはり同じ方向の隣接ブロックとの間で強い相関を有する可能性が高い。
【００２１】
レイヤ間で画像の空間的相関が類似するという点は、図１に例示した空間スケーラビリティのみならず、ＳＮＲスケーラビリティ、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティにおいても同様である。これらの中で、とりわけ空間スケーラビリティ及びクロマフォーマットスケーラビリティに関しては、異なるレイヤの対応するブロックの間で、色差成分の解像度又は成分密度が互いに異なるという特徴がある。この特徴は、次に説明するＬＭモードの適用に際して、ある例外ケースの考慮を必要とし得る。その例外ケースについては後に説明する。本開示に係る技術は、限定ではないものの、空間スケーラビリティ、ＳＮＲスケーラビリティ、ビット深度スケーラビリティ及びクロマフォーマットスケーラビリティに適用可能である。
【００２２】
［１−２．輝度ベース色差予測モード（ＬＭモード）］
上述したように、ＨＥＶＣ（High  Efficiency  Video  Coding）の標準化作業において、色差成分のイントラ予測のための予測モードとして、同じブロックの輝度成分に基づいて色差成分の予測画像を生成するための、輝度ベース色差予測モードが提案されている。輝度ベース色差予測モードでは、動的に計算される係数を有する線型関数が予測関数として用いられることから、当該予測モードを線型モデル（ＬＭ：Linear  Model）モードともいう。予測関数の引数は（必要に応じてダウンサンプリングされる）輝度成分の値であり、戻り値は色差成分の予測画素値である。より具体的には、ＬＭモードにおける予測関数は、次のような線型一次関数であってよい：
【００２３】
【数１】
2013150838.tif 000003
【００２４】
式（１）において、ＲｅＬ´（ｘ，ｙ）は、復号画像（いわゆるリコンストラクト画像）の輝度成分のダウンサンプリングされた値を表す。輝度成分のダウンサンプリング（あるいは位相シフト）は、クロマフォーマットに依存して色差成分の密度が輝度成分の密度と異なる場合に行われ得る。α及びβは、所定の計算式を用いて隣接ブロックの画素値から計算される係数である。
【００２５】
例えば、図２を参照すると、クロマフォーマットが４：２：０である場合の、１６×１６画素のサイズを有する輝度成分（Ｌｕｍａ）の予測単位（ＰＵ）及び対応する色差成分（Ｃｈｒｏｍａ）のＰＵが概念的に示されている。輝度成分の密度は、水平方向及び垂直方向の各々について色差成分の密度の２倍である。各ＰＵの周囲に位置し、図中で塗りつぶされている丸印は、上記予測関数の係数α、βを算出する際に参照される参照画素である。図中右において斜線で網掛けされている丸印は、ダウンサンプリングされた輝度成分である。このようにダウンサンプリングされた輝度成分の値を上記予測関数の右辺のＲｅＬ´（ｘ，ｙ）に代入することにより、共通する画素位置の色差成分の予測値が算出される。クロマフォーマットが４：２：０である場合、図２の例のように、２×２個の輝度成分ごとに１つの輝度成分の入力値（予測関数へ代入される値）がダウンサンプリングにより生成される。参照画素も同様にダウンサンプリングされ得る。
【００２６】
予測関数の係数α及びβは、それぞれ次の式（２）及び式（３）に従って算出される。なお、Ｉは参照画素数を表す。
【００２７】
【数２】
2013150838.tif 000004
【００２８】
式（２）及び式（３）から理解されるように、ＬＭモードの予測関数の係数α及びβの計算は、少なくない回数の算術演算を含む。結果として、ＬＭモードにおいて予測関数の係数を算出するための処理は、他の予測モードの演算と比較して多くの処理コストを要する。特に、予測単位のサイズがより大きいほど、参照画素数Ｉはより大きくなることから、係数算出処理のコストは無視できないものとなる。従って、スケーラブル符号化においてレイヤごとに繰り返し係数算出処理を実行することは、性能の観点で得策ではない。
【００２９】
ここで注目すべきは、レイヤ間で画像の空間的相関が類似するようなスケーラビリティが実現される場合に、輝度成分と色差成分との間の相関もまたレイヤ間で類似し得るという点である。下位レイヤ内のある予測単位についてＬＭモードの予測関数の係数が計算された場合、上位レイヤ内の対応する予測単位について、予測関数の係数を再計算する代わりに、下位レイヤにおいて計算された係数を再利用することができる。それにより、処理コストが低減される。特に、下位レイヤ内の予測単位について最適なイントラ予測モードとしてＬＭモードが選択された場合、そこで計算された係数α、βを有する予測関数は、当該予測単位における輝度成分と色差成分との間の相関を良好に表現していると言える。そのような予測関数を上位レイヤ内の対応する予測単位について再利用すれば、処理コストを低減することができるだけでなく、上位レイヤにおける予測精度を高く維持することもできる。
【００３０】
なお、上述したＬＭモードが利用可能な色差成分の予測単位のサイズには、上限が課され得る。ＨＥＶＣにおいて、その上限は、１６×１６画素である。一方で、空間スケーラビリティ又はクロマフォーマットスケーラビリティが実現される場合、上位レイヤ内の色差成分のある予測単位のサイズは、下位レイヤ内の対応する予測単位のサイズよりも大きい。従って、例えば下位レイヤ内の１６×１６画素の予測単位についてＬＭモードが選択された場合に、対応する上位レイヤ内の予測単位についてＬＭモードが利用可能でないという状況が生じ得る。本開示に係る技術は、後に説明するように、このような状況において下位レイヤのＬＭモードの予測関数の係数を再利用する可能性をも提供する。
【００３１】
［１−３．エンコーダの基本的な構成例］
図３は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図３を参照すると、画像符号化装置１０は、第１符号化部１ａ、第２符号化部１ｂ、共通メモリ２及び多重化部３を備える。
【００３２】
第１符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。第２符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１符号化部１ａにより生成されるベースレイヤの符号化ストリームと、第２符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
【００３３】
［１−４．デコーダの基本的な構成例］
図４は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図４を参照すると、画像復号装置６０は、逆多重化部５、第１復号部６ａ、第２復号部６ｂ及び共通メモリ７を備える。
【００３４】
逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。第１復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。第２復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
【００３５】
図３に例示した画像符号化装置１０において、ベースレイヤの符号化のための第１符号化部１ａの構成と、エンハンスメントレイヤの符号化のための第２符号化部１ｂの構成とは、互いに類似する。第１符号化部１ａにより生成され又は取得されるいくつかのパラメータは、共通メモリ２を用いてバッファリングされ、第２符号化部１ｂにより再利用される。次節では、そのような第１符号化部１ａ及び第２符号化部１ｂの構成について詳細に説明する。
【００３６】
同様に、図４に例示した画像復号装置６０において、ベースレイヤの復号のための第１復号部６ａの構成と、エンハンスメントレイヤの復号のための第２復号部６ｂの構成とは、互いに類似する。第１復号部６ａにより生成され又は取得されるいくつかのパラメータは、共通メモリ７を用いてバッファリングされ、第２復号部６ｂにより再利用される。さらに次の節では、そのような第１復号部６ａ及び第２復号部６ｂの構成について詳細に説明する。
【００３７】
＜２．一実施形態に係る符号化部の構成例＞
［２−１．全体的な構成］
図５は、図３に示した第１符号化部１ａ及び第２符号化部１ｂの構成の一例を示すブロック図である。図５を参照すると、第１符号化部１ａは、並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、動き探索部３０、並びにイントラ予測部４０ａを備える。第２符号化部１ｂは、イントラ予測部４０ａの代わりに、イントラ予測部４０ｂを備える。
【００３８】
並び替えバッファ１２は、一連の画像データに含まれる画像を並び替える。並び替えバッファ１２は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、動き探索部３０及びイントラ予測部４０ａ又は４０ｂへ出力する。
【００３９】
減算部１３には、並び替えバッファ１２から入力される画像データ、及び後に説明する動き探索部３０又はイントラ予測部４０ａ若しくは４０ｂから入力される予測画像データが供給される。減算部１３は、並び替えバッファ１２から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
【００４０】
直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
【００４１】
量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切り替えることにより、量子化データのビットレートを変化させる。
【００４２】
可逆符号化部１６は、量子化部１５から入力される各レイヤの量子化データについて可逆符号化処理を行うことにより、各レイヤの符号化ストリームを生成する。また、可逆符号化部１６は、セレクタ２７から入力されるイントラ予測に関する情報又はインター予測に関する情報を符号化して、符号化パラメータを符号化ストリームのヘッダ領域内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００４３】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００４４】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００４５】
逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００４６】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００４７】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データと動き探索部３０又はイントラ予測部４０ａ若しくは４０ｂから入力される予測画像データとを加算することにより、復号画像データ（いわゆるリコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【００４８】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００４９】
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００５０】
セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部３０に供給する。また、セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部４０ａ又は４０ｂに供給する。
【００５１】
セレクタ２７は、インター予測モードにおいて、動き探索部３０から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、イントラ予測モードにおいて、イントラ予測部４０ａ又は４０ｂから出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、インター予測モードとイントラ予測モードとを、動き探索部３０及びイントラ予測部４０ａ又は４０ｂから出力されるコスト関数値の大きさに応じて切り替える。
【００５２】
動き探索部３０は、並び替えバッファ１２から入力される符号化対象の画像データ（原画像データ）、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部３０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部３０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部３０は、選択した最適な予測モードを表す予測モード情報及び参照画像情報を含むインター予測に関する情報、コスト関数値、並びに予測画像データを、セレクタ２７へ出力する。
【００５３】
イントラ予測部４０ａは、ベースレイヤの原画像データ及び復号画像データに基づいて、予測単位ごとにイントラ予測処理を行う。例えば、イントラ予測部４０ａは、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部４０ａは、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部４０ａは、当該最適な予測モードに従ってベースレイヤの予測画像データを生成する。そして、イントラ予測部４０ａは、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。また、イントラ予測部４０ａは、イントラ予測に関する少なくとも一部のパラメータを、共通メモリ２によりバッファリングさせる。
【００５４】
イントラ予測部４０ｂは、エンハンスメントレイヤの原画像データ及び復号画像データに基づいて、予測単位ごとにイントラ予測処理を行う。例えば、イントラ予測部４０ｂは、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部４０ｂは、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部４０ｂは、当該最適な予測モードに従ってエンハンスメントレイヤの予測画像データを生成する。そして、イントラ予測部４０ｂは、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。また、イントラ予測部４０ｂは、共通メモリ２によりバッファリングされるパラメータを再利用することにより、エンハンスメントレイヤのイントラ予測処理の少なくとも一部を省略する。
【００５５】
第１符号化部１ａは、ここで説明した一連の符号化処理を、ベースレイヤの一連の画像データについて実行する。第２符号化部１ｂは、ここで説明した一連の符号化処理を、エンハンスメントレイヤの一連の画像データについて実行する。エンハンスメントレイヤが複数存在する場合には、エンハンスメントレイヤの符号化処理は、エンハンスメントレイヤの数だけ繰り返され得る。ベースレイヤの符号化処理と、エンハンスメントレイヤの符号化処理とは、例えば、符号化単位又は予測単位などの処理単位ごとに同期して実行されてもよい。
【００５６】
［２−２．イントラ予測の様々な手法］
下位レイヤにおいて計算されたＬＭモードの予測関数の係数を上位レイヤにおいて再利用するために有益な２つの方式が存在する。その１つは、下位レイヤにおいてＬＭモードが選択された場合に、上位レイヤにおいて予測モードの再探索を行うことなく、上位レイヤについてＬＭモードを固定的に選択する方式である。上位レイヤについてＬＭモードで色差成分の予測画素値を計算する際には、下位レイヤにおいて計算された係数を有する予測関数が再利用される。本明細書では、この方式をＬＭモード固定方式という。他の１つは、下位レイヤにおいてＬＭモードが選択された場合に、上位レイヤにおいて予測モードを再探索を行う際のＬＭモードの予測関数の係数として、下位レイヤにおいて計算された係数を再利用する方式である。本明細書では、この方式を再探索方式という。
【００５７】
また、空間スケーラビリティ又はクロマフォーマットスケーラビリティを前提とし、下位レイヤ内の色差成分の予測単位のサイズがＬＭモードが利用可能な最大サイズに等しい状況において、上位レイヤでＬＭモードをどのように扱うかに関する２つの方式が存在する。その１つは、上位レイヤ内の対応する予測単位を、ＬＭモードが利用可能なサイズを有する複数のサブブロックに分割する方式である。本明細書では、この方式を分割方式という。他の１つは、上位レイヤ内の対応する予測単位についてＬＭモードの利用を禁止する方式である。本明細書では、この方式をＬＭモード禁止方式という。
【００５８】
従って、ＬＭモード固定方式／再探索方式と、分割方式／ＬＭモード禁止方式との組合せとして、４つの手法が導かれる。以下、それら４つの手法について順に説明する。なお、以下の説明では、限定ではなく一例として、レイヤ間の解像度比は１：２であり、ＬＭモードが利用可能な予測単位の最大サイズは１６×１６画素であるものとする。
【００５９】
（１）第１の手法
図６Ａは、下位レイヤにおいてＬＭモードが選択された場合の上位レイヤにおけるイントラ予測の第１の手法について説明するための説明図である。第１の手法は、ＬＭモード固定方式と分割方式との組合せである。
【００６０】
第１の手法において、下位レイヤ内の４×４画素の予測単位についてＬＭモードが選択された場合、対応する上位レイヤ内の８×８画素の予測単位についても、ＬＭモードが固定的に選択される。下位レイヤ内の８×８画素の予測単位についてＬＭモードが選択された場合、対応する上位レイヤ内の１６×１６画素の予測単位についても、ＬＭモードが固定的に選択される。いずれの場合にも、上位レイヤの予測画像は、下位レイヤにおいて計算された係数α、βを有するＬＭモードの予測関数を用いて生成される。下位レイヤ内の１６×１６画素の予測単位についてＬＭモードが選択された場合には、対応する上位レイヤ内の３２×３２画素の予測単位は、それぞれ１６×１６画素の４つのサブブロックに分割される。そして、各サブブロックの予測画像が、下位レイヤにおいて計算された係数α、βを有する予測関数を用いて生成される。
【００６１】
第１の手法では、下位レイヤにおいてＬＭモードが選択された場合には、ＬＭモード固定方式が採用されるため、上位レイヤにおいて予測モード情報を符号化することが不要となる。よって、上位レイヤの符号化ストリームの符号化効率は向上する。また、上位レイヤにおいて、予測関数の係数の算出のみならず予測モードの再探索も省略されるため、上位レイヤのイントラ予測の処理コストを大幅に低減することができる。また、分割方式が採用されるため、より大きいブロックサイズがサポートされるようにＬＭモードの処理モジュールを拡張することなく、下位レイヤの予測単位のサイズがいかなるサイズであっても、上位レイヤにおいてＬＭモードで予測画像を生成することができる。よって、上位レイヤにおける予測精度を高く維持することができる。
【００６２】
（２）第２の手法
図６Ｂは、下位レイヤにおいてＬＭモードが選択された場合の上位レイヤにおけるイントラ予測の第２の手法について説明するための説明図である。第２の手法は、再探索方式と分割方式との組合せである。
【００６３】
第２の手法では、上位レイヤ内の予測単位について、ＬＭモードを含む複数の予測モードを対象として、最適な予測モードが再探索される。そして、上位レイヤの符号化ストリーム内で、最適な予測モードを示す予測モード情報が符号化される。下位レイヤ内の４×４画素又は８×８画素の予測単位についてＬＭモードが選択された場合には、上位レイヤでの再探索におけるＬＭモードでの予測画素値の生成の際に、下位レイヤにおいて計算された係数α、βを有する予測関数が使用される。下位レイヤ内の１６×１６画素の予測単位についてＬＭモードが選択された場合には、上位レイヤでの再探索におけるＬＭモードでの予測画素値の生成の際に、対応する上位レイヤ内の３２×３２画素の予測単位が、それぞれ１６×１６画素の４つのサブブロックに分割される。そして、各サブブロックの予測画像が、下位レイヤにおいて計算された係数α、βを有する予測関数を用いて生成される。
【００６４】
第２の手法では、上位レイヤにおいて予測モードが再探索されるため、下位レイヤにおいて選択された予測モードに関わらず、最適な予測モードを上位レイヤにおいても選択することができる。また、分割方式が採用されるため、より大きいブロックサイズがサポートされるようにＬＭモードの処理モジュールを拡張することなく、下位レイヤの予測単位のサイズがいかなるサイズであっても、上位レイヤにおいてＬＭモードを探索の対象に含めることができる。よって、上位レイヤにおける予測精度を高く維持することができる。
【００６５】
（３）第３の手法
図６Ｃは、下位レイヤにおいてＬＭモードが選択された場合の上位レイヤにおけるイントラ予測の第３の手法について説明するための説明図である。第３の手法は、ＬＭモード固定方式とＬＭモード禁止方式との組合せである。
【００６６】
第３の手法において、下位レイヤ内の４×４画素の予測単位についてＬＭモードが選択された場合、対応する上位レイヤ内の８×８画素の予測単位についても、ＬＭモードが固定的に選択される。下位レイヤ内の８×８画素の予測単位についてＬＭモードが選択された場合、対応する上位レイヤ内の１６×１６画素の予測単位についても、ＬＭモードが固定的に選択される。いずれの場合にも、上位レイヤの予測画像は、下位レイヤにおいて計算された係数α、βを有するＬＭモードの予測関数を用いて生成される。下位レイヤ内の１６×１６画素の予測単位についてＬＭモードが選択された場合には、例外的に、対応する上位レイヤ内の３２×３２画素の予測単位について、ＬＭモード以外の複数の予測モードを対象として、最適な予測モードが再探索される。そして、上位レイヤの符号化ストリーム内で、最適な予測モードを示す予測モード情報が符号化される。
【００６７】
第３の手法では、下位レイヤにおいてＬＭモードが選択された場合には、ＬＭモード固定方式が採用されるため、上述した例外的なケースを除き、上位レイヤにおいて予測モード情報を符号化することが不要となる。よって、上位レイヤの符号化ストリームの符号化効率は向上する。また予測モードの再探索の省略によって、上位レイヤのイントラ予測の処理コストを低減することができる。また、ＬＭモードが利用可能な最大サイズを超えるサイズを有する予測単位について、ＬＭモードが禁止されるため、ＬＭモードの処理モジュールを拡張することは必要とされない。
【００６８】
（４）第４の手法
図６Ｄは、下位レイヤにおいてＬＭモードが選択された場合の上位レイヤにおけるイントラ予測の第４の手法について説明するための説明図である。第４の手法は、再探索方式とＬＭモード禁止方式との組合せである。
【００６９】
第４の手法では、下位レイヤ内の４×４画素又は８×８画素の予測単位についてＬＭモードが選択された場合、対応する上位レイヤ内の予測単位について、ＬＭモードを含む複数の予測モードを対象として、最適な予測モードが再探索される。上位レイヤでの再探索におけるＬＭモードでの予測画素値の生成の際に、下位レイヤにおいて計算された係数α、βを有する予測関数が使用される。そして、上位レイヤの符号化ストリーム内で、最適な予測モードを示す予測モード情報が符号化される。下位レイヤ内の１６×１６画素の予測単位についてＬＭモードが選択された場合には、例外的に、対応する上位レイヤ内の３２×３２画素の予測単位について、ＬＭモード以外の複数の予測モードを対象として、最適な予測モードが再探索される。そして、上位レイヤの符号化ストリーム内で、最適な予測モードを示す予測モード情報が符号化される。
【００７０】
第４の手法では、上位レイヤにおいて予測モードが再探索されるため、下位レイヤにおいて選択された予測モードに関わらず、最適な予測モードを上位レイヤにおいても選択することができる。また、ＬＭモードが利用可能な最大サイズを超えるサイズを有する予測単位について、ＬＭモードが禁止されるため、ＬＭモードの処理モジュールを拡張することは必要とされない。
【００７１】
［２−３．イントラ予測部の詳細な構成］
図７は、図５に示したイントラ予測部４０ａ及び４０ｂの詳細な構成の一例を示すブロック図である。図７を参照すると、イントラ予測部４０ａは、予測制御部４１ａ、係数算出部４２ａ、フィルタ４４ａ、予測部４５ａ及びモード判定部４６ａを有する。イントラ予測部４０ｂは、予測制御部４１ｂ、係数取得部４２ｂ、フィルタ４４ｂ、予測部４５ｂ及びモード判定部４６ｂを有する。
【００７２】
（１）ベースレイヤのイントラ予測処理
イントラ予測部４０ａの予測制御部４１ａは、ベースレイヤのイントラ予測処理を制御する。例えば、予測制御部４１ａは、予測単位（ＰＵ）ごとに、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部４１ａは、複数の予測モードで予測部４５ａに各予測単位の予測画像を生成させ、モード判定部４６ａに輝度成分の最適な予測モードを判定させる。色差成分についてのイントラ予測処理では、予測制御部４１ａは、ＬＭモードを含む複数の予測モードで予測部４５ａに各予測単位の予測画像を生成させ、モード判定部４６ａに色差成分の最適な予測モードを判定させる。なお、予測単位の最大サイズが所定の最大サイズを超える場合には、当該予測単位についてＬＭモードは探索の候補から除外され得る。
【００７３】
係数算出部４２ａは、ＬＭモードにおいて予測部４５ａにより使用される予測関数の係数を、上述した式（２）及び式（３）に従って、予測対象の予測単位に隣接する隣接ブロック内の参照画素を参照して算出する。
【００７４】
フィルタ４４ａは、予測制御部４１ａによる制御の下、フレームメモリ２５から入力される予測対象の予測単位の輝度成分の画素値をクロマフォーマットに応じてダウンサンプリング（位相シフト）することにより、ＬＭモードの予測関数への入力値を生成する。そして、フィルタ４４ａは、生成した入力値を予測部４５ａへ出力する。
【００７５】
予測部４５ａは、予測制御部４１ａによる制御の下、各色成分（即ち、輝度成分及び色差成分の各々）について、様々な予測モードの候補に従って、各予測単位の予測画像を生成する。色差成分の予測モードの候補は、上述したＬＭモードを含む。ＬＭモードにおいて、予測部４５ａは、フィルタ４４ａにより生成される輝度成分の入力値を、係数算出部４２ａにより算出される係数を有する予測関数に代入することにより、各色差成分の値を予測する。他の予測モードにおける予測部４５ａによるイントラ予測は、既存の手法と同様に行われてよい。予測部４５ａは、予測モードごとに、予測の結果として生成される予測画像データをモード判定部４６ａへ出力する。
【００７６】
モード判定部４６ａは、並び替えバッファ１２から入力される原画像データと予測部４５ａから入力される予測画像データとに基づいて、各予測モードのコスト関数値を算出する。そして、モード判定部４６ａは、算出したコスト関数値に基づき、各色成分についての最適な予測モードを選択する。そして、モード判定部４６ａは、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、並びに各色成分の予測画像データを、セレクタ２７へ出力する。
【００７７】
また、モード判定部４６ａは、ベースレイヤ内の予測単位ごとの最適な予測モードを表す予測モード情報を、共通メモリ２内に設けられるモード情報バッファに格納する。係数算出部４２ａは、少なくともＬＭモードが選択された予測単位の各々について、算出した予測関数の係数の値を、共通メモリ２内に設けられる係数バッファに格納する。
【００７８】
（２）エンハンスメントレイヤのイントラ予測処理
イントラ予測部４０ｂの予測制御部４１ｂは、エンハンスメントレイヤのイントラ予測処理を制御する。例えば、予測制御部４１ｂは、予測単位（ＰＵ）ごとに、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。輝度成分についてのイントラ予測処理において、予測制御部４１ｂは、複数の予測モードを対象として予測部４５ｂ及びモード判定部４６ｂに最適な予測モードを再探索させてもよい。その代わりに、予測制御部４１ｂは、再探索を省略し、下位レイヤ内のある予測単位について選択された予測モードを、上位レイヤ内の対応する予測単位に適用してもよい。
【００７９】
色差成分についてのイントラ予測処理は、上述した第１〜第４の手法のいずれかに従って、予測制御部４１ｂにより制御される。
【００８０】
例えば、第１の手法において、予測制御部４１ｂは、下位レイヤ内の第１の予測単位についてＬＭモードが選択された場合に、上位レイヤ内の対応する第２の予測単位について、予測モードの探索を行うことなく、当該第２の予測単位にもＬＭモードを適用する。より具体的には、予測制御部４１ｂによる制御の下、係数取得部４２ｂは、第１の予測単位のために計算された係数を共通メモリ２から取得する。フィルタ４４ｂは、輝度成分の画素値をクロマフォーマットに応じてダウンサンプリングすることにより、ＬＭモードの予測関数への入力値を生成する。予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、第２の予測単位の予測画像をＬＭモードで生成する。モード判定部４６ｂは、コスト関数値を評価することなく、ＬＭモードで生成された予測画像データをセレクタ２７へ出力する。
【００８１】
上位レイヤの色差成分の空間解像度又は色差成分の密度が下位レイヤよりも高い場合（即ち、空間スケーラビリティ又はクロマフォーマットスケーラビリティが実現される場合）には、第２の予測単位のサイズに応じて例外的な処理が行われる。より具体的には、第２の予測単位のサイズがＬＭモードが利用可能な最大サイズ（例えば、１６×１６画素）を超えるときは、予測制御部４１ｂは、第２の予測単位を複数のサブブロックに分割する。そして、予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、複数のサブブロックの各々の予測画像をＬＭモードで生成する。
【００８２】
第２の手法において、予測制御部４１ｂは、下位レイヤ内の第１の予測単位についてＬＭモードが選択された場合に、上位レイヤ内の対応する第２の予測単位について、ＬＭモード及び他の予測モードを対象として、最適な予測モードを再探索する。その再探索の中で、予測部４５ｂは、係数取得部４２ｂにより共通メモリ２から取得される、第１の予測単位のために計算された係数を有する予測関数を用いて、第２の予測単位の予測画像をＬＭモードで生成する。モード判定部４６ｂは、ＬＭモードを含む複数の予測モードのコスト関数値に基づき、第２の予測単位について最適な予測モードを選択する。そして、モード判定部４６ｂは、イントラ予測に関する情報及び予測画像データを、セレクタ２７へ出力する。
【００８３】
上位レイヤの色差成分の空間解像度又は色差成分の密度が下位レイヤよりも高い場合において、第２の予測単位のサイズが上記最大サイズを超えるときは、予測制御部４１ｂは、最適な予測モードの探索のために、第２の予測単位を複数のサブブロックに分割する。そして、予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、複数のサブブロックの各々の予測画像をＬＭモードで生成する。
【００８４】
第３の手法において、予測制御部４１ｂは、下位レイヤ内の第１の予測単位についてＬＭモードが選択された場合に、上位レイヤ内の対応する第２の予測単位について、予測モードの探索を行うことなく、当該第２の予測単位にもＬＭモードを適用する。より具体的には、予測部４５ｂは、係数取得部４２ｂにより共通メモリ２から取得される、第１の予測単位のために計算された係数を有する予測関数を用いて、第２の予測単位の予測画像をＬＭモードで生成する。モード判定部４６ｂは、コスト関数値を評価することなく、ＬＭモードで生成された予測画像データをセレクタ２７へ出力する。
【００８５】
上位レイヤの色差成分の空間解像度又は色差成分の密度が下位レイヤよりも高い場合において、第２の予測単位のサイズが上記最大サイズを超えるときは、予測制御部４１ｂは、ＬＭモード以外の複数の予測モードを対象として、最適な予測モードを再探索する。この場合、モード判定部４６ｂは、例外的にコスト関数値を評価し、第２の予測単位について最適な予測モードを選択する。
【００８６】
第４の手法において、予測制御部４１ｂは、下位レイヤ内の第１の予測単位についてＬＭモードが選択された場合に、上位レイヤ内の対応する第２の予測単位について、ＬＭモード及び他の予測モードを対象として、最適な予測モードを再探索する。その再探索の中で、予測部４５ｂは、係数取得部４２ｂにより共通メモリ２から取得される、第１の予測単位のために計算された係数を有する予測関数を用いて、第２の予測単位の予測画像をＬＭモードで生成する。モード判定部４６ｂは、複数の予測モードのコスト関数値に基づき、第２の予測単位について最適な予測モードを選択する。そして、モード判定部４６ｂは、イントラ予測に関する情報及び予測画像データを、セレクタ２７へ出力する。
【００８７】
上位レイヤの色差成分の空間解像度又は色差成分の密度が下位レイヤよりも高い場合において、第２の予測単位のサイズが上記最大サイズを超えるときは、予測制御部４１ｂは、最適な予測モードの探索の対象から、ＬＭモードを除外する。
【００８８】
採用される手法に関わらず、より上位のエンハンスメントレイヤが残されている場合には、モード判定部４６ａは、予測単位ごとに選択される予測モードを表す予測モード情報を、共通メモリ２内に設けられるモード情報バッファに格納する。共通メモリ２内の係数バッファに格納されている係数は、全てのレイヤについてイントラ予測が終了するまで保持され得る。
【００８９】
（３）符号化されるパラメータ
本開示に係る技術を導入するにあたり、いくつかの追加的なパラメータが、可逆符号化部１６によって符号化ストリーム内に符号化されてよい。ここでは、係数再利用フラグ、モード固定フラグ及び分割フラグという３種類のパラメータについて説明する。
【００９０】
係数再利用フラグは、下位レイヤ内の第１の予測単位のために計算される係数が、第１の予測単位に対応する上位レイヤ内の第２の予測単位のために再利用されるか、を示すパラメータである。係数が再利用されることを符号化ストリーム内の係数再利用フラグが示す場合に、デコーダは、下位レイヤにおいて計算されたＬＭモードの予測関数の係数を、上位レイヤにおいて再利用する。係数が再利用されないことを符号化ストリーム内の係数再利用フラグが示す場合には、デコーダは、上位レイヤにおいて係数を再計算し得る。
【００９１】
モード固定フラグは、下位レイヤ内の第１の予測単位についてＬＭモードが選択された場合に、第１の予測単位に対応する上位レイヤ内の第２の予測単位について新たな予測モード情報が符号化されるか、を示すパラメータである。モード固定フラグは、上述したＬＭモード固定方式と再探索方式とを切り替えるためのパラメータであるとも理解されてよい。第１の予測単位についてＬＭモードが選択された場合において、第２の予測単位について新たな予測モード情報が符号化されないことをモード固定フラグが示す場合には、デコーダは、予測モード情報を取得することなく第２の予測単位にＬＭモードを適用する。第２の予測単位について新たな予測モード情報が符号化されることをモード固定フラグが示す場合には、デコーダは、第２の予測単位について選択された予測モードを示す予測モード情報を符号化ストリームから取得し、取得した予測モード情報に従ってイントラ予測を行う。
【００９２】
分割フラグは、下位レイヤ内の第１の予測単位についてＬＭモードが選択された場合において、第１の予測単位に対応する上位レイヤ内の第２の予測単位のサイズが所定の最大サイズを超えるときに、第２の予測単位が複数のサブブロックに分割されるか、を示すパラメータである。分割フラグは、上述した分割方式とＬＭモード禁止方式とを切り替えるためのパラメータであるとも理解されてよい。第２の予測単位が複数のサブブロックに分割されることを分割フラグが示す場合には、デコーダは、第２の予測単位を分割することにより生成されるサブブロックの各々について、ＬＭモードでイントラ予測を行う。第２の予測単位が分割されないことを分割フラグが示す場合には、デコーダは、第２の予測単位について選択された予測モード（非ＬＭモード）を示す予測モード情報を符号化ストリームから取得し、取得した予測モード情報に従ってイントラ予測を行う。
【００９３】
これらパラメータは、上述した個々の目的のための専用のパラメータとして導入されてもよく、又は他の目的を有するパラメータと統合されてもよい。例えば、符号化ストリームのプロファイル、又はデバイスのレベルを示すパラメータが、上述した係数再利用フラグ、モード固定フラグ又は分割フラグの機能をも有するように定義されてもよい。また、これらパラメータは、例えばシーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダなど、符号化ストリーム内のいかなる位置で符号化されてもよい。
【００９４】
＜３．一実施形態に係る符号化時の処理の流れ＞
本節では、図８〜図１０Ｄを用いて、符号化時の処理の流れについて説明する。
【００９５】
（１）概略的な流れ
図８は、一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。
【００９６】
図８を参照すると、まず、ベースレイヤのためのイントラ予測部４０ａは、ベースレイヤのイントラ予測処理を実行する（ステップＳ１１）。ここでのイントラ予測処理は、例えば、上記非特許文献１において定義されているような仕様に従った処理であってよい。レイヤ間で再利用されるパラメータは、共通メモリ２を用いてバッファリングされ得る。
【００９７】
次に、エンハンスメントレイヤのためのイントラ予測部４０ｂは、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ１２）。レイヤ間で再利用されるパラメータは、共通メモリ２から読み込まれ、イントラ予測部４０ｂにより再利用され得る。
【００９８】
次に、複数のエンハンスメントレイヤが存在する場合には、未処理のより上位のエンハンスメントレイヤが残されているかが判定される（ステップＳ１３）。ここで、未処理のより上位のエンハンスメントレイヤが残されている場合には、より上位のエンハンスメントレイヤを対象として、ステップＳ１２におけるイントラ予測処理が繰り返される。
【００９９】
そして、可逆符号化部１６により、符号化ストリーム内に制御パラメータが符号化される（ステップＳ１４）。ここで符号化される制御パラメータは、上述した係数再利用フラグ、モード固定フラグ及び分割フラグ、並びに予測モード情報などのいかなるパラメータを含んでもよい。また、パラメータの符号化は、レイヤごとのイントラ予測処理の一部として行われてもよい。
【０１００】
（２）イントラ予測処理の分岐
画像符号化装置１０は、上述した第１〜第４の手法のうちの１つのみをサポートしてもよく、又はこれら手法のうちの複数をサポートしてもよい。複数の手法がサポートされる場合には、イントラ予測部４０ｂの予測制御部４１ｂは、いずれの手法に従ってエンハンスメントレイヤのイントラ予測処理を実行するかを、処理ごとに判定し得る。図９は、そのような判定の分岐を例示している。
【０１０１】
図９を参照すると、まず、予測制御部４１ｂは、ＬＭモードの予測関数の係数を再利用するかを判定する（ステップＳ１００）。ここでの判定は、例えば、ユーザからの指定、デバイスの設定、事前の画像解析又は期待される性能などの様々な条件に従って行われてよい。
【０１０２】
ＬＭモードの予測関数の係数を再利用しない場合には、予測制御部４１ｂは、上述した第１〜第４の手法ではなく、既存の手法に従ってエンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ１０５）。
【０１０３】
ＬＭモードの予測関数の係数を再利用する場合には、予測制御部４１ｂは、上位レイヤでの予測単位の分割を許容するかを判定する（ステップＳ１１０）。さらに、予測制御部４１ｂは、上位レイヤにおいて再探索を実行するかを判定する（ステップＳ１２０、Ｓ１６０）。
【０１０４】
予測単位の分割を許容し、かつ再探索を実行しない場合には、予測制御部４１ｂは、上述した第１の手法（即ち、ＬＭモード固定方式と分割方式との組合せ）に従って、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ１３０）。
【０１０５】
予測単位の分割を許容し、かつ再探索を実行する場合には、予測制御部４１ｂは、上述した第２の手法（即ち、再探索方式と分割方式との組合せ）に従って、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ１４０）。
【０１０６】
予測単位の分割を許容せず、かつ再探索を実行しない場合には、予測制御部４１ｂは、上述した第３の手法（即ち、ＬＭモード固定方式とＬＭモード禁止方式との組合せ）に従って、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ１７０）。
【０１０７】
予測単位の分割を許容せず、かつ再探索を実行する場合には、予測制御部４１ｂは、上述した第４の手法（即ち、再探索方式とＬＭモード禁止方式との組合せ）に従って、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ１８０）。
【０１０８】
（３）第１の手法
図１０Ａは、下位レイヤにおいてＬＭモードが選択された場合に上位レイヤにおいて第１の手法に従って実行される符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１０９】
図１０Ａを参照すると、まず、係数取得部４２ｂは、予測対象の予測単位（以下、注目ＰＵという）に対応する下位レイヤ内の予測単位のために計算されたＬＭモードの予測関数の係数を、共通メモリ２内の係数バッファから取得する（ステップＳ１３１）。
【０１１０】
次に、予測制御部４１ｂは、注目ＰＵのサイズがＬＭモードが利用可能な最大サイズ（例えば、１６×１６画素）を超えるか否かを判定する（ステップＳ１３２）。ここで、注目ＰＵのサイズが最大サイズを超えない場合には、処理はステップＳ１３３へ進む。一方、注目ＰＵのサイズが最大サイズを超える場合には、処理はステップＳ１３４へ進む。
【０１１１】
ステップＳ１３３において、予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、注目ＰＵの予測画像をＬＭモードで生成する（ステップＳ１３３）。
【０１１２】
ステップＳ１３４において、予測制御部４１ｂは、注目ＰＵを複数のサブブロックに分割する（ステップＳ１３４）。サブブロックの個数Ｎは、注目ＰＵのサイズと上記最大サイズとに基づいて決定され得る。次に、予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、Ｎ個のサブブロックの各々の予測画像を、ＬＭモードで生成する（ステップＳ１３５）。
【０１１３】
（４）第２の手法
図１０Ｂは、下位レイヤにおいてＬＭモードが選択された場合に上位レイヤにおいて第２の手法に従って実行される符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１１４】
図１０Ｂを参照すると、まず、係数取得部４２ｂは、注目ＰＵに対応する下位レイヤ内のＰＵのために計算されたＬＭモードの予測関数の係数を、共通メモリ２内の係数バッファから取得する（ステップＳ１４１）。
【０１１５】
次に、予測制御部４１ｂは、注目ＰＵのサイズがＬＭモードが利用可能な最大サイズを超えるか否かを判定する（ステップＳ１４２）。ここで、注目ＰＵのサイズが最大サイズを超えない場合には、処理はステップＳ１４３へ進む。一方、注目ＰＵのサイズが最大サイズを超える場合には、処理はステップＳ１４５へ進む。
【０１１６】
ステップＳ１４３において、予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、注目ＰＵの予測画像を再探索のためにＬＭモードで生成する（ステップＳ１４３）。また、予測部４５ｂは、１つ以上の非ＬＭモードの各々に従って、注目ＰＵの予測画像を生成する（ステップＳ１４４）。
【０１１７】
ステップＳ１４５において、予測制御部４１ｂは、注目ＰＵを複数のサブブロックに分割する（ステップＳ１４５）。次に、予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、Ｎ個のサブブロックの各々の予測画像を、ＬＭモードで生成する（ステップＳ１４６）。また、予測部４５ｂは、１つ以上の非ＬＭモードの各々に従って、注目ＰＵの予測画像を生成する（ステップＳ１４７）。
【０１１８】
次に、モード判定部４６ｂは、ＬＭモードを含む複数の予測モードのコスト関数値を評価することにより、注目ＰＵについて最適な予測モードを選択する（ステップＳ１４８）。
【０１１９】
（５）第３の手法
図１０Ｃは、下位レイヤにおいてＬＭモードが選択された場合に上位レイヤにおいて第３の手法に従って実行される符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１２０】
図１０Ｃを参照すると、まず、係数取得部４２ｂは、注目ＰＵに対応する下位レイヤ内のＰＵのために計算されたＬＭモードの予測関数の係数を、共通メモリ２内の係数バッファから取得する（ステップＳ１７１）。
【０１２１】
次に、予測制御部４１ｂは、注目ＰＵのサイズがＬＭモードが利用可能な最大サイズを超えるか否かを判定する（ステップＳ１７２）。ここで、注目ＰＵのサイズが最大サイズを超えない場合には、処理はステップＳ１７３へ進む。一方、注目ＰＵのサイズが最大サイズを超える場合には、処理はステップＳ１７４へ進む。
【０１２２】
ステップＳ１７３において、予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、注目ＰＵの予測画像をＬＭモードで生成する（ステップＳ１７３）。
【０１２３】
ステップＳ１７４において、予測部４５ｂは、１つ以上の非ＬＭモードの各々に従って、注目ＰＵの予測画像を生成する（ステップＳ１７４）。次に、モード判定部４６ｂは、コスト関数値を評価することにより、注目ＰＵについて最適な予測モードを選択する（ステップＳ１７５）。
【０１２４】
（６）第４の手法
図１０Ｄは、下位レイヤにおいてＬＭモードが選択された場合に上位レイヤにおいて第４の手法に従って実行される符号化時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１２５】
図１０Ｄを参照すると、まず、係数取得部４２ｂは、注目ＰＵに対応する下位レイヤ内のＰＵのために計算されたＬＭモードの予測関数の係数を、共通メモリ２内の係数バッファから取得する（ステップＳ１８１）。
【０１２６】
次に、予測制御部４１ｂは、注目ＰＵのサイズがＬＭモードが利用可能な最大サイズを超えるか否かを判定する（ステップＳ１８２）。ここで、注目ＰＵのサイズが最大サイズを超えない場合には、処理はステップＳ１８３へ進む。一方、注目ＰＵのサイズが最大サイズを超える場合には、処理はステップＳ１８５へ進む。
【０１２７】
ステップＳ１８３において、予測部４５ｂは、係数取得部４２ｂにより取得された係数を有する予測関数を用いて、注目ＰＵの予測画像を再探索のためにＬＭモードで生成する（ステップＳ１８３）。また、予測部４５ｂは、１つ以上の非ＬＭモードの各々に従って、注目ＰＵの予測画像を生成する（ステップＳ１８４）。
【０１２８】
ステップＳ１８５において、予測部４５ｂは、１つ以上の非ＬＭモードの各々に従って、注目ＰＵの予測画像を生成する（ステップＳ１８５）。
【０１２９】
次に、モード判定部４６ｂは、コスト関数値を評価することにより、注目ＰＵについて最適な予測モードを選択する（ステップＳ１８６）。
【０１３０】
＜４．一実施形態に係る復号部の構成例＞
［４−１．全体的な構成］
図１１は、図４に示した第１復号部６ａ及び第２復号部６ｂの構成の一例を示すブロック図である。図１１を参照すると、第１復号部６ａは、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、動き補償部８０、並びにイントラ予測部９０ａを備える。第２復号部６ｂは、イントラ予測部９０ａの代わりに、イントラ予測部９０ｂを備える。
【０１３１】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【０１３２】
可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。可逆復号部６２により復号される情報は、例えば、上述したインター予測に関する情報及びイントラ予測に関する情報を含み得る。可逆復号部６２は、インター予測に関する情報を動き補償部８０へ出力する。また、可逆復号部６２は、イントラ予測に関する情報をイントラ予測部９０ａ又は９０ｂへ出力する。
【０１３３】
逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１３４】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１３５】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【０１３６】
並び替えバッファ６７は、デブロックフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１３７】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１３８】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【０１３９】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先を動き補償部８０とイントラ予測部９０ａ又は９０ｂとの間で切り替える。例えば、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部８０へ出力する。また、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部９０ａ又は９０ｂへ出力する。
【０１４０】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元を動き補償部８０とイントラ予測部９０ａ又は９０ｂとの間で切り替える。例えば、セレクタ７１は、インター予測モードが指定された場合には、動き補償部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部９０ａ又は９０ｂから出力される予測画像データを加算部６５へ供給する。
【０１４１】
動き補償部８０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１４２】
イントラ予測部９０ａは、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてベースレイヤのイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０ａは、生成したベースレイヤの予測画像データをセレクタ７１へ出力する。また、イントラ予測部４０ａは、イントラ予測に関する少なくとも一部のパラメータを、共通メモリ７によりバッファリングさせる。
【０１４３】
イントラ予測部９０ｂは、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてエンハンスメントレイヤのイントラ予測処理を行い、予測画像データを生成する。そして、イントラ予測部９０ｂは、生成したエンハンスメントレイヤの予測画像データをセレクタ７１へ出力する。また、イントラ予測部４０ｂは、共通メモリ７によりバッファリングされるパラメータを再利用することにより、エンハンスメントレイヤのイントラ予測処理の少なくとも一部を省略する。
【０１４４】
第１復号部６ａは、ここで説明した一連の復号処理を、ベースレイヤの一連の画像データについて実行する。第２復号部６ｂは、ここで説明した一連の復号処理を、エンハンスメントレイヤの一連の画像データについて実行する。エンハンスメントレイヤが複数存在する場合には、エンハンスメントレイヤの復号処理は、エンハンスメントレイヤの数だけ繰り返され得る。ベースレイヤの復号処理と、エンハンスメントレイヤの復号処理とは、例えば、符号化単位又は予測単位などの処理単位ごとに同期して実行されてもよい。
【０１４５】
［４−２．イントラ予測部の詳細な構成］
図１２は、図１１に示したイントラ予測部９０ａ及び９０ｂの詳細な構成の一例を示すブロック図である。図１２を参照すると、イントラ予測部９０ａは、予測制御部９１ａ、係数算出部９２ａ、フィルタ９４ａ及び予測部９５ａを有する。イントラ予測部９０ｂは、予測制御部９１ｂ、係数取得部９２ｂ、フィルタ９４ｂ及び予測部９５ｂを有する。
【０１４６】
（１）ベースレイヤのイントラ予測処理
イントラ予測部９０ａの予測制御部９１ａは、ベースレイヤのイントラ予測処理を制御する。例えば、予測制御部９１ａは、予測単位（ＰＵ）ごとに、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。より具体的には、予測制御部９１ａは、可逆復号部６２により復号される予測モード情報により示される予測モードに従って、予測部９５ａに各予測単位の予測画像を生成させる。
【０１４７】
ＬＭモードを示す予測モード情報が復号されると、係数算出部９２ａは、ＬＭモードの予測関数の係数を、上述した式（２）及び式（３）に従って、予測対象の予測単位に隣接する隣接ブロック内の参照画素を参照して算出する。フィルタ９４ａは、フレームメモリ６９から入力される予測対象の予測単位の輝度成分の画素値をクロマフォーマットに応じてダウンサンプリング（位相シフト）することにより、ＬＭモードの予測関数への入力値を生成する。
【０１４８】
予測部９５ａは、予測制御部９１ａによる制御の下、各色成分（即ち、輝度成分及び色差成分の各々）について、予測モード情報により示される予測モードに従って、各予測単位の予測画像を生成する。ＬＭモードを示す予測モード情報が復号されると、予測部９５ａは、フィルタ９４ａにより生成される輝度成分の入力値を、係数算出部９２ａにより算出される係数を有する予測関数に代入することにより、各色差成分の値を予測する。他の予測モードにおける予測部９５ａによるイントラ予測は、既存の手法と同様に行われてよい。予測部９５ａは、予測の結果として生成される予測画像データを加算部６５へ出力する。
【０１４９】
予測制御部９１ａは、ベースレイヤ内の予測単位ごとの予測モードを表す予測モード情報を、共通メモリ７内に設けられるモード情報バッファに格納する。係数算出部９２ａは、少なくともＬＭモードが指定された予測単位の各々について、算出した予測関数の係数の値を、共通メモリ７内に設けられる係数バッファに格納する。
【０１５０】
（２）エンハンスメントレイヤのイントラ予測処理
イントラ予測部９０ｂの予測制御部９１ｂは、エンハンスメントレイヤのイントラ予測処理を制御する。例えば、予測制御部９１ｂは、予測単位（ＰＵ）ごとに、輝度成分（Ｙ）についてのイントラ予測処理及び色差成分（Ｃｂ、Ｃｒ）についてのイントラ予測処理を実行する。より具体的には、予測制御部９１ｂは、可逆復号部６２により復号される予測モード情報により示される予測モード、又は下位レイヤの対応する予測単位と同じ予測モードに従って、予測部９５ｂに各予測単位の予測画像を生成させる。
【０１５１】
色差成分についてのイントラ予測処理は、上述した第１〜第４の手法のいずれかに従って、予測制御部９１ｂにより制御される。
【０１５２】
例えば、第１の手法において、予測制御部９１ｂは、下位レイヤ内の第１の予測単位について予測モード情報がＬＭモードを示す場合に、上位レイヤ内の対応する第２の予測単位について、新たな予測モード情報を取得することなく、ＬＭモードで予測部９５ｂに予測画像を生成させる。より具体的には、予測制御部９１ｂによる制御の下、係数取得部９２ｂは、第１の予測単位のために計算された係数を共通メモリ７から取得する。フィルタ９４ｂは、輝度成分の画素値をクロマフォーマットに応じてダウンサンプリングすることにより、ＬＭモードの予測関数への入力値を生成する。予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、第２の予測単位の予測画像をＬＭモードで生成する。
【０１５３】
上位レイヤの色差成分の空間解像度又は色差成分の密度が下位レイヤよりも高い場合（即ち、空間スケーラビリティ又はクロマフォーマットスケーラビリティが実現される場合）には、第２の予測単位のサイズに応じて例外的な処理が行われる。より具体的には、第２の予測単位のサイズがＬＭモードが利用可能な最大サイズを超えるときは、予測制御部９１ｂは、第２の予測単位を複数のサブブロックに分割する。そして、予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、複数のサブブロックの各々の予測画像をＬＭモードで生成する。
【０１５４】
第２の手法において、予測制御部９１ｂは、下位レイヤ内の第１の予測単位について予測モード情報がＬＭモードを示す場合に、上位レイヤ内の対応する第２の予測単位について、復号された新たな予測モード情報を取得する。そして、予測制御部９１ｂは、新たな予測モード情報もまたＬＭモードを示すときに、ＬＭモードで予測部９５ｂに予測画像を生成させる。この場合、予測部９５ｂは、係数取得部９２ｂにより共通メモリ２から取得される、第１の予測単位のために計算された係数を有する予測関数を用いて、第２の予測単位の予測画像をＬＭモードで生成する。
【０１５５】
上位レイヤの色差成分の空間解像度又は色差成分の密度が下位レイヤよりも高い場合において、第２の予測単位のサイズが上記最大サイズを超え、かつ新たな予測モード情報もまたＬＭモードを示すときに、予測制御部９１ｂは、第２の予測単位を複数のサブブロックに分割する。そして、予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、複数のサブブロックの各々の予測画像をＬＭモードで生成する。
【０１５６】
第３の手法において、予測制御部９１ｂは、下位レイヤ内の第１の予測単位について予測モード情報がＬＭモードを示す場合に、上位レイヤ内の対応する第２の予測単位についても、ＬＭモードで予測部９５ｂに予測画像を生成させる。予測部９５ｂは、係数取得部９２ｂにより共通メモリ２から取得される、第１の予測単位のために計算された係数を有する予測関数を用いて、第２の予測単位の予測画像をＬＭモードで生成する。
【０１５７】
上位レイヤの色差成分の空間解像度又は色差成分の密度が下位レイヤよりも高い場合において、第２の予測単位のサイズが上記最大サイズを超えるときは、予測制御部９１ｂは、復号された新たな予測モード情報を取得する。ここで取得される新たな予測モード情報は、ＬＭモード以外のいずれかの予測モードを示す。この場合、予測部９５ｂは、新たな予測モード情報により示される予測モードに従って、第２の予測単位の予測画像を生成する。
【０１５８】
第４の手法において、予測制御部９１ｂは、下位レイヤ内の第１の予測単位に対応する上位レイヤ内の第２の予測単位について、復号された新たな予測モード情報を取得する。そして、予測制御部９１ｂは、新たな予測モード情報もまたＬＭモードを示す場合に、ＬＭモードで予測部９５ｂに予測画像を生成させる。この場合、予測部９５ｂは、係数取得部９２ｂにより共通メモリ２から取得される、第１の予測単位のために計算された係数を有する予測関数を用いて、第２の予測単位の予測画像をＬＭモードで生成する。第２の予測単位のサイズが上記最大サイズを超えるときは、新たな予測モード情報は、ＬＭモード以外のいずれかの予測モードを示す。
【０１５９】
採用される手法に関わらず、より上位のエンハンスメントレイヤが残されている場合には、予測制御部９１ｂは、予測単位ごとの予測モードを表す予測モード情報を、共通メモリ７内に設けられるモード情報バッファに格納する。共通メモリ７内の係数バッファに格納されている係数は、全てのレイヤについてイントラ予測が終了するまで保持され得る。
【０１６０】
＜５．一実施形態に係る復号時の処理の流れ＞
本節では、図１３〜図１５Ｄを用いて、復号時の処理の流れについて説明する。
【０１６１】
（１）概略的な流れ
図１３は、一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。
【０１６２】
図１３を参照すると、まず、可逆復号部６２により、符号化ストリーム内に符号化されている制御パラメータが復号される（ステップＳ２１）。ここで復号される制御パラメータは、上述した係数再利用フラグ、モード固定フラグ及び分割フラグ、並びに予測モード情報などのいかなるパラメータを含んでもよい。また、パラメータの復号は、レイヤごとのイントラ予測処理の一部として行われてもよい。
【０１６３】
次に、ベースレイヤのためのイントラ予測部９０ａは、ベースレイヤのイントラ予測処理を実行する（ステップＳ２２）。ここでのイントラ予測処理は、例えば、上記非特許文献１において定義されているような仕様に従った処理であってよい。レイヤ間で再利用されるパラメータは、共通メモリ７を用いてバッファリングされ得る。
【０１６４】
次に、エンハンスメントレイヤのためのイントラ予測部９０ｂは、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ２３）。レイヤ間で再利用されるパラメータは、共通メモリ７から読み込まれ、イントラ予測部９０ｂにより再利用され得る。
【０１６５】
次に、複数のエンハンスメントレイヤが存在する場合には、未処理のより上位のエンハンスメントレイヤが残されているかが判定される（ステップＳ２４）。ここで、未処理のより上位のエンハンスメントレイヤが残されている場合には、より上位のエンハンスメントレイヤを対象として、ステップＳ２３におけるイントラ予測処理が繰り返される。
【０１６６】
（２）イントラ予測処理の分岐
画像復号装置６０は、上述した第１〜第４の手法のうちの１つのみをサポートしてもよく、又はこれら手法のうちの複数をサポートしてもよい。複数の手法がサポートされる場合には、イントラ予測部９０ｂの予測制御部９１ｂは、いずれの手法に従ってエンハンスメントレイヤのイントラ予測処理を実行するかを、処理ごとに判定し得る。図１４は、そのような判定の分岐を例示している。
【０１６７】
図１４を参照すると、まず、予測制御部９１ｂは、ＬＭモードの予測関数の係数を再利用するかを判定する（ステップＳ２００）。ここでの判定は、例えば、デバイスの設定などの条件に従って行われてもよく、又は符号化ストリームから復号され得る上述した係数再利用フラグに従って行われてもよい。
【０１６８】
ＬＭモードの予測関数の係数を再利用しない場合には、予測制御部９１ｂは、上述した第１〜第４の手法ではなく、既存の手法に従ってエンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ２０５）。
【０１６９】
ＬＭモードの予測関数の係数を再利用する場合には、予測制御部９１ｂは、上位レイヤでの予測単位の分割を許容するかを判定する（ステップＳ２１０）。ここでの判定は、例えば、符号化ストリームから復号され得る上述した分割フラグに従って行われてもよい。さらに、予測制御部９１ｂは、下位レイヤにおいてＬＭモードが指定されている場合に上位レイヤにおいて新たな予測モード情報を復号するかを判定する（ステップＳ２２０、Ｓ２６０）。ここでの判定は、例えば、符号化ストリームから復号され得る上述したモード固定フラグに従って行われてもよい。
【０１７０】
予測単位の分割を許容し、かつ新たな予測モード情報が復号されない場合には、予測制御部９１ｂは、上述した第１の手法に従って、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ２３０）。
【０１７１】
予測単位の分割を許容し、かつ新たな予測モード情報が復号される場合には、予測制御部９１ｂは、上述した第２の手法に従って、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ２４０）。
【０１７２】
予測単位の分割を許容せず、かつ新たな予測モード情報が復号されない場合には、予測制御部９１ｂは、上述した第３の手法に従って、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ２７０）。
【０１７３】
予測単位の分割を許容せず、かつ新たな予測モード情報が復号される場合には、予測制御部９１ｂは、上述した第４の手法に従って、エンハンスメントレイヤのイントラ予測処理を実行する（ステップＳ２８０）。
【０１７４】
（３）第１の手法
図１５Ａは、下位レイヤにおいてＬＭモードが指定された場合に上位レイヤにおいて第１の手法に従って実行される復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１７５】
図１５Ａを参照すると、まず、係数取得部９２ｂは、予測対象の予測単位（以下、注目ＰＵという）に対応する下位レイヤ内の予測単位のために計算されたＬＭモードの予測関数の係数を、共通メモリ７内の係数バッファから取得する（ステップＳ２３１）。
【０１７６】
次に、予測制御部９１ｂは、注目ＰＵのサイズがＬＭモードが利用可能な最大サイズ（例えば、１６×１６画素）を超えるか否かを判定する（ステップＳ２３２）。ここで、注目ＰＵのサイズが最大サイズを超えない場合には、処理はステップＳ２３３へ進む。一方、注目ＰＵのサイズが最大サイズを超える場合には、処理はステップＳ２３４へ進む。
【０１７７】
ステップＳ２３３において、予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、注目ＰＵの予測画像をＬＭモードで生成する（ステップＳ２３３）。
【０１７８】
ステップＳ２３４において、予測制御部９１ｂは、注目ＰＵを複数のサブブロックに分割する（ステップＳ２３４）。サブブロックの個数Ｎは、注目ＰＵのサイズと上記最大サイズとに基づいて決定され得る。次に、予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、Ｎ個のサブブロックの各々の予測画像を、ＬＭモードで生成する（ステップＳ２３５）。
【０１７９】
（４）第２の手法
図１５Ｂは、下位レイヤにおいてＬＭモードが指定された場合に上位レイヤにおいて第２の手法に従って実行される復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１８０】
図１５Ｂを参照すると、まず、係数取得部９２ｂは、注目ＰＵに対応する下位レイヤ内のＰＵのために計算されたＬＭモードの予測関数の係数を、共通メモリ７内の係数バッファから取得する（ステップＳ２４１）。
【０１８１】
次に、予測制御部９１ｂは、注目ＰＵのサイズがＬＭモードが利用可能な最大サイズを超えるか否かを判定する（ステップＳ２４２）。ここで、注目ＰＵのサイズが最大サイズを超えない場合には、処理はステップＳ２４３へ進む。一方、注目ＰＵのサイズが最大サイズを超える場合には、処理はステップＳ２４７へ進む。
【０１８２】
ステップＳ２４３において、予測制御部９１ｂは、注目ＰＵについて、復号された新たな予測モード情報を取得する（ステップＳ２４３）。ここで取得された新たな予測モード情報もまたＬＭモードを示す場合には（ステップＳ２４４）、予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、注目ＰＵの予測画像をＬＭモードで生成する（ステップＳ２４５）。一方、新たな予測モード情報が非ＬＭモードを示す場合には、予測部９５ｂは、指定された当該非ＬＭモードで、注目ＰＵの予測画像を生成する（ステップＳ２４６）。
【０１８３】
ステップＳ２４７において、予測制御部９１ｂは、注目ＰＵについて、復号された新たな予測モード情報を取得する（ステップＳ２４７）。ここで取得された新たな予測モード情報もまたＬＭモードを示す場合には（ステップＳ２４８）、予測制御部９１ｂは、注目ＰＵを複数のサブブロックに分割する（ステップＳ２４９）。次に、予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、Ｎ個のサブブロックの各々の予測画像を、ＬＭモードで生成する（ステップＳ２５０）。一方、新たな予測モード情報が非ＬＭモードを示す場合には、予測部９５ｂは、指定された当該非ＬＭモードで、注目ＰＵの予測画像を生成する（ステップＳ２５１）。
【０１８４】
（５）第３の手法
図１５Ｃは、下位レイヤにおいてＬＭモードが指定された場合に上位レイヤにおいて第３の手法に従って実行される復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１８５】
図１５Ｃを参照すると、まず、係数取得部９２ｂは、注目ＰＵに対応する下位レイヤ内のＰＵのために計算されたＬＭモードの予測関数の係数を、共通メモリ７内の係数バッファから取得する（ステップＳ２７１）。
【０１８６】
次に、予測制御部９１ｂは、注目ＰＵのサイズがＬＭモードが利用可能な最大サイズを超えるか否かを判定する（ステップＳ２７２）。ここで、注目ＰＵのサイズが最大サイズを超えない場合には、処理はステップＳ２７３へ進む。一方、注目ＰＵのサイズが最大サイズを超える場合には、処理はステップＳ２７４へ進む。
【０１８７】
ステップＳ２７３において、予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、注目ＰＵの予測画像をＬＭモードで生成する（ステップＳ２７３）。
【０１８８】
ステップＳ２７４において、予測制御部９１ｂは、注目ＰＵについて、復号された新たな予測モード情報を取得する（ステップＳ２７４）。ここで取得される新たな予測モード情報は、いずれかの非ＬＭモードを示す。予測部９５ｂは、指定された当該非ＬＭモードで、注目ＰＵの予測画像を生成する（ステップＳ２７５）。
【０１８９】
（６）第４の手法
図１５Ｄは、下位レイヤにおいてＬＭモードが指定された場合に上位レイヤにおいて第４の手法に従って実行される復号時のイントラ予測処理の流れの一例を示すフローチャートである。
【０１９０】
図１５Ｄを参照すると、まず、予測制御部９１ｂは、注目ＰＵについて、復号された新たな予測モード情報を取得する（ステップＳ２８１）。
【０１９１】
ここで取得された新たな予測モード情報もまたＬＭモードを示す場合には（ステップＳ２８２）、係数取得部９２ｂは、注目ＰＵに対応する下位レイヤ内のＰＵのために計算されたＬＭモードの予測関数の係数を、共通メモリ７内の係数バッファから取得する（ステップＳ２８３）。そして、予測部９５ｂは、係数取得部９２ｂにより取得された係数を有する予測関数を用いて、注目ＰＵの予測画像をＬＭモードで生成する（ステップＳ２８４）。
【０１９２】
一方、新たな予測モード情報が非ＬＭモードを示す場合には、予測部９５ｂは、指定された当該非ＬＭモードで、注目ＰＵの予測画像を生成する（ステップＳ２８５）。
【０１９３】
＜６．応用例＞
［６−１．様々な製品への応用］
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１９４】
（１）第１の応用例
図１６は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１９５】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１９６】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１９７】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１９８】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１９９】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０２００】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０２０１】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０２０２】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０２０３】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０２０４】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０２０５】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像のスケーラブル復号に際して、ＬＭモードの予測関数の係数を再利用することにより処理コストを低減することができる。
【０２０６】
（２）第２の応用例
図１７は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０２０７】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０２０８】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０２０９】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２１０】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０２１１】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０２１２】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０２１３】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０２１４】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像のスケーラブル符号化及び復号に際して、ＬＭモードの予測関数の係数を再利用することにより処理コストを低減することができる。
【０２１５】
（３）第３の応用例
図１８は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０２１６】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０２１７】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０２１８】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０２１９】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０２２０】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０２２１】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０２２２】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０２２３】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０２２４】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０２２５】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０２２６】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０２２７】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像のスケーラブル符号化及び復号に際して、ＬＭモードの予測関数の係数を再利用することにより処理コストを低減することができる。
【０２２８】
（４）第４の応用例
図１９は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０２２９】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０２３０】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０２３１】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２３２】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２３３】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２３４】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２３５】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０２３６】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０２３７】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２３８】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２３９】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像のスケーラブル符号化及び復号に際して、ＬＭモードの予測関数の係数を再利用することにより処理コストを低減することができる。
【０２４０】
［６−２．スケーラブル符号化の様々な用途］
上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。
【０２４１】
（１）第１の例
第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図２０を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図２０には、端末装置の例として、ＰＣ（Personal  Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。
【０２４２】
ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。
【０２４３】
端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。
【０２４４】
図２０の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。
【０２４５】
このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。
【０２４６】
端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。
【０２４７】
なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０２４８】
図２０に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。
【０２４９】
（２）第２の例
第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図２１を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。
【０２５０】
端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。
【０２５１】
端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０２５２】
また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０２５３】
上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。
【０２５４】
また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。
【０２５５】
なお、図２１に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。
【０２５６】
（３）第３の例
第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図２２を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。
【０２５７】
ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。
【０２５８】
例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。
【０２５９】
図２２の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。
【０２６０】
なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザがらの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。
【０２６１】
図２２に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。
【０２６２】
［６−３．その他］
（１）マルチビューコーデックへの応用
マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図２３は、マルチビューコーデックについて説明するための説明図である。図２３を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base  view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図２３の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。
【０２６３】
図２４は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図２４を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。
【０２６４】
第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図３を用いて説明した第１符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図３を用いて説明した第２符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
【０２６５】
図２５は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図２５を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。
【０２６６】
逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図４を用いて説明した第１復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図４を用いて説明した第２復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
【０２６７】
マルチビューの画像データを符号化し又は復号する際、本開示に係る技術に従って、ＬＭモードの処理に要する処理コストが低減されてもよい。
【０２６８】
（２）ストリーミング技術への応用
本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ−ＤＡＳＨ（Dynamic  Adaptive  Streaming  over  HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術に従って、ＬＭモードの処理に要する処理コストが低減されてもよい。
【０２６９】
＜７．まとめ＞
ここまで、図１〜図２５を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。上述した実施形態によれば、スケーラブル符号化における画像の符号化及び復号の際に、ベースレイヤにおいて計算されたＬＭモードの予測関数の係数を、エンハンスメントレイヤにおいて再利用することができる。それにより、他の予測モードの演算と比較して多くの処理コストを要する係数算出処理がエンハンスメントレイヤにおいて省略されるため、スケーラブル符号化においてＬＭモードを採用する際の性能の悪化を回避することができる。ここで、ベースレイヤ内の予測単位について最適なイントラ予測モードとしてＬＭモードが選択された場合、そこで計算された係数を有する予測関数は、当該予測単位における輝度成分と色差成分との間の相関を良好に表現していると言える。そのような予測関数がエンハンスメントレイヤ内の対応する予測単位について再利用されるため、処理コストを低減することができるだけでなく、エンハンスメントレイヤにおけるイントラ予測の予測精度を高く維持することもできる。
【０２７０】
また、上述した第１の手法又は第３の手法によれば、ベースレイヤ内の第１の予測単位についてＬＭモードが選択された場合に、エンハンスメントレイヤ内の対応する第２の予測単位についても、予測モードの再探索が行われることなくＬＭモードが適用される。この場合、エンハンスメントレイヤにおいて予測モード情報が符号化されないため、エンハンスメントレイヤの符号化ストリームの符号化効率を向上することができる。また、エンコーダ側で予測モードの再探索が省略されるため、エンコーダ側のイントラ予測の処理コストを大幅に低減することができる。
【０２７１】
また、上述した第１の手法又は第２の手法によれば、エンハンスメントレイヤ内の予測単位のサイズがＬＭモードが利用可能な最大サイズを超える場合には、当該予測単位が複数のサブブロックに分割され、各サブブロックにＬＭモードが適用される。従って、より大きいブロックサイズがサポートされるようにＬＭモードの処理モジュールを拡張することなく、ベースレイヤの予測単位のサイズがいかなるサイズであっても、エンハンスメントレイヤにおいてＬＭモードで予測画像を生成することができる。よって、ＬＭモードの高い予測精度を維持しながら、係数の再利用による処理コストの低減の恩恵をより広く享受することができる。
【０２７２】
また、上述した第２の手法又は第４の手法によれば、ベースレイヤにおいてＬＭモードが選択された場合であっても、エンハンスメントレイヤ内の予測単位について予測モードの再探索が実行され、新たな予測モード情報が符号化される。従って、エンハンスメントレイヤにおいてＬＭモード以外のより良好な予測モードが存在する場合に、その良好な予測モードを採用して、予測精度を一層高めることができる。
【０２７３】
なお、本明細書では、イントラ予測に関する情報及びインター予測に関する情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２７４】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２７５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
スケーラブル復号される画像のベースレイヤ内の色差成分の第１の予測単位についてのイントラ予測のための予測モード情報を取得するベースレイヤ予測部と、
前記ベースレイヤ予測部により取得される前記予測モード情報が輝度ベース色差予測モードを示す場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成するエンハンスメントレイヤ予測部と、
を備える画像処理装置。
（２）
前記エンハンスメントレイヤ予測部は、前記予測モード情報が前記輝度ベース色差予測モードを示す場合に、前記第２の予測単位について、新たな予測モード情報を取得することなく、前記係数を用いて前記輝度ベース色差予測モードで前記予測画像を生成する、前記（１）に記載の画像処理装置。
（３）
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合に、前記第２の予測単位を複数のサブブロックに分割し、前記複数のサブブロックの各々に前記係数を用いて前記輝度ベース色差予測モードを適用することにより、前記予測画像を生成する、
前記（２）に記載の画像処理装置。
（４）
前記エンハンスメントレイヤ予測部は、前記予測モード情報が前記輝度ベース色差予測モードを示す場合において、前記第２の予測単位について新たに取得される予測モード情報が前記輝度ベース色差予測モードを示すときに、前記係数を用いて前記輝度ベース色差予測モードで前記予測画像を生成する、前記（１）に記載の画像処理装置。
（５）
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合に、前記第２の予測単位を複数のサブブロックに分割し、前記複数のサブブロックの各々に前記係数を用いて前記輝度ベース色差予測モードを適用することにより、前記予測画像を生成する、
前記（４）に記載の画像処理装置。
（６）
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記予測モード情報が輝度ベース色差予測モードを示す場合において、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超えるときは、前記第２の予測単位について、新たに取得される予測モード情報に従って予測画像を生成する、
前記（２）に記載の画像処理装置。
（７）
前記画像処理装置は、前記第１の予測単位のために計算される前記係数が前記第２の予測単位のために再利用されるかを示すパラメータを復号する復号部、をさらに備え、
前記エンハンスメントレイヤ予測部は、前記係数が再利用されることを前記パラメータが示す場合に、前記係数を用いて前記輝度ベース色差予測モードで前記予測画像を生成する、
前記（１）〜（６）のいずれか１項に記載の画像処理装置。
（８）
前記画像処理装置は、前記第２の予測単位について新たな予測モード情報が符号化されるかを示すパラメータを復号する復号部、をさらに備え、
前記エンハンスメントレイヤ予測部は、前記新たな予測モード情報が符号化されることを前記パラメータが示す場合に、前記第２の予測単位について前記新たな予測モード情報を参照する、
前記（４）又は前記（５）に記載の画像処理装置。
（９）
前記画像処理装置は、前記第２の予測単位のサイズが前記最大サイズを超える場合に前記第２の予測単位が複数のサブブロックに分割されるかを示すパラメータを復号する復号部、をさらに備え、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位が複数のサブブロックに分割されることを前記パラメータが示す場合に、前記第２の予測単位を複数のサブブロックに分割する、
前記（３）又は前記（５）に記載の画像処理装置。
（１０）
スケーラブル復号される画像のベースレイヤ内の色差成分の第１の予測単位についてのイントラ予測のための予測モード情報を取得することと、
取得された前記予測モード情報が輝度ベース色差予測モードを示す場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成することと、
を含む画像処理方法。
（１１）
スケーラブル符号化される画像のベースレイヤ内の色差成分の第１の予測単位について最適なイントラ予測モードを選択するベースレイヤ予測部と、
前記ベースレイヤ予測部により前記第１の予測単位について輝度ベース色差予測モードが選択された場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成するエンハンスメントレイヤ予測部と、
を備える画像処理装置。
（１２）
前記エンハンスメントレイヤ予測部は、前記第１の予測単位について前記輝度ベース色差予測モードが選択された場合に、前記第２の予測単位について、予測モードの探索を行うことなく、前記係数を用いて前記輝度ベース色差予測モードで前記予測画像を生成する、前記（１１）に記載の画像処理装置。
（１３）
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合に、前記第２の予測単位を複数のサブブロックに分割し、前記複数のサブブロックの各々に前記係数を用いて前記輝度ベース色差予測モードを適用することにより、前記予測画像を生成する、
前記（１２）に記載の画像処理装置。
（１４）
前記エンハンスメントレイヤ予測部は、前記第１の予測単位について前記輝度ベース色差予測モードが選択された場合に、前記第２の予測単位について、前記係数を用いる前記輝度ベース色差予測モード及び他の予測モードから、最適な予測モードを探索する、前記（１１）に記載の画像処理装置。
（１５）
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合には、前記最適な予測モードの探索のために、前記第２の予測単位を複数のサブブロックに分割し、前記複数のサブブロックの各々に前記係数を用いて前記輝度ベース色差予測モードを適用することにより、前記予測画像を生成する、
前記（１４）に記載の画像処理装置。
（１６）
前記エンハンスメントレイヤの空間解像度又は色差成分の密度は、前記ベースレイヤよりも高く、
前記エンハンスメントレイヤ予測部は、前記第２の予測単位のサイズが前記輝度ベース色差予測モードを利用する際の最大サイズを超える場合において、前記第１の予測単位について前記輝度ベース色差予測モードが選択されたときは、前記第２の予測単位について、前記輝度ベース色差予測モード以外の複数の予測モードから、最適な予測モードを探索する、
前記（１２）又は前記（１４）に記載の画像処理装置。
（１７）
前記画像処理装置は、前記第１の予測単位のために計算される前記係数が前記第２の予測単位のために再利用されるか、を示すパラメータを符号化する符号化部、をさらに備える、前記（１１）〜（１６）のいずれか１項に記載の画像処理装置。
（１８）
前記画像処理装置は、前記第１の予測単位について前記輝度ベース色差予測モードが選択された場合に、前記第２の予測単位について新たな予測モード情報が符号化されるか、を示すパラメータを符号化する符号化部、をさらに備える、前記（１１）〜（１７）のいずれか１項に記載の画像処理装置。
（１９）
前記画像処理装置は、前記第２の予測単位のサイズが前記最大サイズを超える場合に前記第２の予測単位が複数のサブブロックに分割されるかを示すパラメータを符号化する符号化部、をさらに備える、
前記（１３）又は前記（１５）に記載の画像処理装置。
（２０）
スケーラブル符号化される画像のベースレイヤ内の色差成分の第１の予測単位について最適なイントラ予測モードを選択することと、
前記第１の予測単位について輝度ベース色差予測モードが選択された場合に、前記第１の予測単位のために計算された係数を用いて、エンハンスメントレイヤ内の前記第１の予測単位に対応する色差成分の第２の予測単位について前記輝度ベース色差予測モードで予測画像を生成することと、
を含む画像処理方法。
【符号の説明】
【０２７６】
１０        画像符号化装置（画像処理装置）
４０ａ      イントラ予測部（ベースレイヤ予測部）
４０ｂ      イントラ予測部（エンハンスメントレイヤ予測部）
６０        画像復号装置（画像処理装置）
９０ａ      イントラ予測部（ベースレイヤ予測部）
９０ｂ      イントラ予測部（エンハンスメントレイヤ予測部）
【図１】
2013150838.tif 000005
【図２】
2013150838.tif 000006
【図３】
2013150838.tif 000007
【図４】
2013150838.tif 000008
【図５】
2013150838.tif 000009
【図６Ａ】
2013150838.tif 000010
【図６Ｂ】
2013150838.tif 000011
【図６Ｃ】
2013150838.tif 000012
【図６Ｄ】
2013150838.tif 000013
【図７】
2013150838.tif 000014
【図８】
2013150838.tif 000015
【図９】
2013150838.tif 000016
【図１０Ａ】
2013150838.tif 000017
【図１０Ｂ】
2013150838.tif 000018
【図１０Ｃ】
2013150838.tif 000019
【図１０Ｄ】
2013150838.tif 000020
【図１１】
2013150838.tif 000021
【図１２】
2013150838.tif 000022
【図１３】
2013150838.tif 000023
【図１４】
2013150838.tif 000024
【図１５Ａ】
2013150838.tif 000025
【図１５Ｂ】
2013150838.tif 000026
【図１５Ｃ】
2013150838.tif 000027
【図１５Ｄ】
2013150838.tif 000028
【図１６】
2013150838.tif 000029
【図１７】
2013150838.tif 000030
【図１８】
2013150838.tif 000031
【図１９】
2013150838.tif 000032
【図２０】
2013150838.tif 000033
【図２１】
2013150838.tif 000034
【図２２】
2013150838.tif 000035
【図２３】
2013150838.tif 000036
【図２４】
2013150838.tif 000037
【図２５】
2013150838.tif 000038
【国際調査報告】
2013150838.tif 000039
2013150838.tif 000040
2013150838.tif 000041
2013150838.tif 000042