(57)【要約】【課題】ビット深度関連情報の冗長的な符号化を回避すること。【解決手段】符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得する取得部と、前記第１のビット深度情報に従って前記輝度成分を復号し、前記第２のビット深度情報に従って前記色差成分を復号する復号部と、を備え、前記復号部は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で、前記色差成分を復号する、画像処理装置を提供する。【選択図】図１１
2015192381.tif 000002
【特許請求の範囲】
【請求項１】
符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得する取得部と、
前記第１のビット深度情報に従って前記輝度成分を復号し、前記第２のビット深度情報に従って前記色差成分を復号する復号部と、
を備え、
前記復号部は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で、前記色差成分を復号する、
画像処理装置。
【請求項２】
前記画像処理装置は、前記輝度成分及び前記色差成分について別々の重みを用いて重み付け予測を実行する予測部、をさらに備え、
前記予測部は、前記色差成分の重みの分母を、前記ビット深度差分を算入することにより計算する、
請求項１に記載の画像処理装置。
【請求項３】
前記取得部は、前記輝度成分の重みの分母を示す第１の重み分母情報、及び前記色差成分の重みの分母に関連する残余差分を示す第２の重み分母情報、をさらに取得し、
前記予測部は、前記第１の重み分母情報により示される前記輝度成分の前記重みの分母と、前記ビット深度差分と、前記第２の重み分母情報により示される前記残余差分とに基づいて、前記色差成分の前記重みの分母を計算する、
請求項２に記載の画像処理装置。
【請求項４】
前記画像は、スケーラブル復号されるエンハンスメントレイヤ画像であり、
前記予測部は、レイヤ間の色域変換又はダイナミックレンジ変換のために前記重み付け予測を実行する、
請求項２に記載の画像処理装置。
【請求項５】
前記画像は、スケーラブル復号されるエンハンスメントレイヤ画像であり、
前記第１のビット深度情報は、前記エンハンスメントレイヤ画像の輝度成分のための前記第１のビット深度と、ベースレイヤ画像の輝度成分のためのビット深度との間の差分を示す、
請求項１に記載の画像処理装置。
【請求項６】
符号化された画像の非ＰＣＭサンプルを復号するための非ＰＣＭ用ビット深度情報、及び符号化された前記画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を取得する取得部と、
前記非ＰＣＭ用ビット深度情報に従って前記非ＰＣＭサンプルを復号し、前記ＰＣＭ用ビット深度情報に従って前記ＰＣＭサンプルを復号する復号部と、
を備え、
前記復号部は、前記非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度情報により示される第１のビット深度差分とに基づいて計算されるＰＣＭ用ビット深度で、前記ＰＣＭサンプルを復号する、
画像処理装置。
【請求項７】
前記非ＰＣＭ用ビット深度情報は、前記非ＰＣＭサンプルの輝度成分のための第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記非ＰＣＭサンプルの色差成分のための第２のビット深度との間の第２のビット深度差分を示す第２のビット深度情報、を含み、
前記第１のビット深度差分に基づく前記ＰＣＭサンプルの輝度成分のための第３のビット深度と前記第２のビット深度差分とを算入することにより、前記ＰＣＭサンプルの色差成分のための第４のビット深度が計算される、
請求項６に記載の画像処理装置。
【請求項８】
前記ＰＣＭ用ビット深度情報は、前記第１のビット深度差分を示す第３のビット深度情報と、前記第４のビット深度に関連する残余差分を示す第４のビット深度情報と、を含み、
前記第３のビット深度と、前記第２のビット深度差分と、前記第４のビット深度情報により示される前記残余差分とに基づいて、前記第４のビット深度が計算される、
請求項７に記載の画像処理装置。
【請求項９】
前記ＰＣＭ用ビット深度情報は、別々のＣＵ（Coding  Unit）サイズについて別々のビット深度差分を示す、請求項６に記載の画像処理装置。
【請求項１０】
前記ＰＣＭ用ビット深度情報は、第１のＣＵサイズについてのビット深度差分に基づいて差分符号化された第２のＣＵサイズについてのビット深度差分を示す、請求項９に記載の画像処理装置。
【請求項１１】
画像の輝度成分を第１のビット深度で、前記画像の色差成分を第２のビット深度で符号化する符号化部と、
前記第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記第２のビット深度との間のビット深度差分を示す第２のビット深度情報を生成する生成部と、
を備え、
前記符号化部は、前記第１のビット深度情報及び前記第２のビット深度情報をさらに符号化する、
画像処理装置。
【請求項１２】
前記画像処理装置は、前記輝度成分及び前記色差成分について別々の重みを用いて重み付け予測を実行する予測部、をさらに備え、
前記色差成分の重みの分母は、前記ビット深度差分を用いて差分符号化される、
請求項１１に記載の画像処理装置。
【請求項１３】
前記色差成分の前記重みの分母は、前記輝度成分の重みの分母と、前記ビット深度差分と、残余差分とに基づいて計算され、
前記符号化部は、前記輝度成分の前記重みの分母を示す第１の重み分母情報、及び前記残余差分を示す第２の重み分母情報をさらに符号化する、
請求項１２に記載の画像処理装置。
【請求項１４】
前記画像は、スケーラブル符号化されるエンハンスメントレイヤ画像であり、
前記予測部は、レイヤ間の色域変換又はダイナミックレンジ変換のために前記重み付け予測を実行する、
請求項１２に記載の画像処理装置。
【請求項１５】
前記画像は、スケーラブル符号化されるエンハンスメントレイヤ画像であり、
前記第１のビット深度情報は、前記エンハンスメントレイヤ画像の輝度成分のための前記第１のビット深度と、ベースレイヤ画像の輝度成分のためのビット深度との間の差分を示す、
請求項１１に記載の画像処理装置。
【請求項１６】
画像の非ＰＣＭサンプル及び前記画像のＰＣＭサンプルを別々に定義されるビット深度で符号化する符号化部と、
非ＰＣＭ用ビット深度を示す非ＰＣＭ用ビット深度情報、及び前記非ＰＣＭ用ビット深度とＰＣＭ用ビット深度との間の第１のビット深度差分を示すＰＣＭ用ビット深度情報を生成する生成部と、
を備え、
前記符号化部は、前記非ＰＣＭ用ビット深度情報及び前記ＰＣＭ用ビット深度情報をさらに符号化する、
画像処理装置。
【請求項１７】
前記非ＰＣＭ用ビット深度情報は、前記非ＰＣＭサンプルの輝度成分のための第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記非ＰＣＭサンプルの色差成分のための第２のビット深度との間の第２のビット深度差分を示す第２のビット深度情報、を含み、
前記ＰＣＭサンプルの輝度成分のための第３のビット深度と前記第２のビット深度差分とを用いて、前記ＰＣＭサンプルの色差成分のための第４のビット深度が差分符号化される、
請求項１６に記載の画像処理装置。
【請求項１８】
前記第４のビット深度は、前記第３のビット深度と、前記第２のビット深度差分と、残余差分とに基づいて計算され、
前記ＰＣＭ用ビット深度情報は、前記第１のビット深度差分を示す第３のビット深度情報と、前記残余差分を示す第４のビット深度情報とを含む、
請求項１７に記載の画像処理装置。
【請求項１９】
前記ＰＣＭ用ビット深度情報は、別々のＣＵ（Coding  Unit）サイズについて別々のビット深度差分を示す、請求項１６に記載の画像処理装置。
【請求項２０】
前記ＰＣＭ用ビット深度情報は、第１のＣＵサイズについてのビット深度差分に基づいて差分符号化される第２のＣＵサイズについてのビット深度差分を示す、請求項１９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、Ｈ．２６４／ＡＶＣよりも符号化効率をさらに向上することを目的として、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの共同の標準化団体であるＪＣＴＶＣ（Joint  Collaboration  Team-Video  Coding）により、ＨＥＶＣ（High  Efficiency  Video  Coding）と呼ばれる画像符号化方式の標準化が進められている（例えば、非特許文献１参照）。
【０００３】
ＨＥＶＣは、ＭＰＥＧ２及びＡＶＣ（Advanced  Video  Coding）などの既存の画像符号化方式と同様、シングルレイヤの符号化のみならず、スケーラブル符号化をも提供する。ＨＥＶＣのスケーラブル符号化技術を、ＳＨＶＣ（Scalable  HEVC）ともいう（例えば、非特許文献２参照）。スケーラブル符号化とは、一般には、粗い画像信号を伝送するレイヤと精細な画像信号を伝送するレイヤとを階層的に符号化する技術をいう。
【０００４】
ＨＥＶＣの標準仕様の初版は２０１３年の年初に公表されたが、上述したＳＨＶＣ以外にも、符号化ツールの充実化などの様々な観点での仕様の拡張が継続的に行われている（例えば、非特許文献３参照）。例えば、ＨＥＶＣにおいて利用可能な画素のビット深度は、通常は８ビット又は１０ビットである。しかし、非特許文献３において説明されている拡張をサポートすることで、より大きいビット深度が利用可能となる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Benjamin  Bross,  el.  al,  “High  Efficiency  Video  Coding  (HEVC)  text  specification  draft  10  (for  FDIS  &  Consent)”（JCTVC-L1003_v4,  2013年1月14-23日）
【非特許文献２】Jianle  Chen,  el.  al,  “High  efficiency  video  coding  (HEVC)  scalable  extensions  Draft  5”（JCTVC-P1008_v4，  2014年1月9-17日）
【非特許文献３】David  Flynn,  el.  al,  “High  Efficiency  Video  Coding  (HEVC)  Range  Extensions  text  specification:  Draft  5”（JCTVC-O1005_v2，  2013年10月23-11月1日）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、既存の仕様では、多様な符号化ツールが提供される一方で、それらに伴うビット深度関連情報の情報量が増加している。ビデオコーデックの通常の用途において、幾通りもの異なるビット深度を同時に扱うことは稀であると想定されるため、ビット深度関連情報の冗長的な符号化は、回避されることが望ましい。
【課題を解決するための手段】
【０００７】
本開示によれば、符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得する取得部と、前記第１のビット深度情報に従って前記輝度成分を復号し、前記第２のビット深度情報に従って前記色差成分を復号する復号部と、を備え、前記復号部は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で、前記色差成分を復号する、画像処理装置が提供される。
【０００８】
また、本開示によれば、符号化された画像の非ＰＣＭサンプルを復号するための非ＰＣＭ用ビット深度情報、及び符号化された前記画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を取得する取得部と、前記非ＰＣＭ用ビット深度情報に従って前記非ＰＣＭサンプルを復号し、前記ＰＣＭ用ビット深度情報に従って前記ＰＣＭサンプルを復号する復号部と、を備え、前記復号部は、前記非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度情報により示される第１のビット深度差分とに基づいて計算されるＰＣＭ用ビット深度で、前記ＰＣＭサンプルを復号する、画像処理装置が提供される。
【０００９】
また、本開示によれば、画像の輝度成分を第１のビット深度で、前記画像の色差成分を第２のビット深度で符号化する符号化部と、前記第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記第２のビット深度との間のビット深度差分を示す第２のビット深度情報を生成する生成部と、を備え、前記符号化部は、前記第１のビット深度情報及び前記第２のビット深度情報をさらに符号化する、画像処理装置が提供される。
【００１０】
また、本開示によれば、画像の非ＰＣＭサンプル及び前記画像のＰＣＭサンプルを別々に定義されるビット深度で符号化する符号化部と、非ＰＣＭ用ビット深度を示す非ＰＣＭ用ビット深度情報、及び前記非ＰＣＭ用ビット深度とＰＣＭ用ビット深度との間の第１のビット深度差分を示すＰＣＭ用ビット深度情報を生成する生成部と、を備え、前記符号化部は、前記非ＰＣＭ用ビット深度情報及び前記ＰＣＭ用ビット深度情報をさらに符号化する、画像処理装置が提供される。
【発明の効果】
【００１１】
本開示に係る技術によれば、ビット深度関連情報の冗長的な符号化を回避し、符号化効率を高めることができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】図１に示したビット深度制御部の詳細な構成の一例を示すブロック図である。
【図３】図１に示した重み付け予測部の詳細な構成の一例を示すブロック図である。
【図４】一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。
【図５】一実施形態に係るビット深度情報生成処理の流れの一例を示すフローチャートである。
【図６】一実施形態に係るＷＰ情報生成処理の流れの一例を示すフローチャートである。
【図７】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図８】図７に示したビット深度制御部の詳細な構成の一例を示すブロック図である。
【図９】図７に示した重み付け予測部の詳細な構成の一例を示すブロック図である。
【図１０】一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。
【図１１】一実施形態に係るビット深度計算処理の流れの一例を示すフローチャートである。
【図１２】一実施形態に係るＷＰパラメータ計算処理の流れの一例を示すフローチャートである。
【図１３】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図１４】携帯電話機の概略的な構成の一例を示すブロック図である。
【図１５】記録再生装置の概略的な構成の一例を示すブロック図である。
【図１６】撮像装置の概略的な構成の一例を示すブロック図である。
【図１７】スケーラブル符号化をサポートする画像符号化装置の概略的な構成を示すブロック図である。
【図１８】スケーラブル符号化をサポートする画像復号装置の概略的な構成を示すブロック図である。
【図１９】スケーラブル符号化の用途の第１の例について説明するための説明図である。
【図２０】スケーラブル符号化の用途の第２の例について説明するための説明図である。
【図２１】スケーラブル符号化の用途の第３の例について説明するための説明図である。
【図２２】マルチビューコーデックについて説明するための説明図である。
【図２３】マルチビューコーデックのための画像符号化装置の概略的な構成を示すブロック図である。
【図２４】マルチビューコーデックのための画像復号装置の概略的な構成を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、以下の順序で説明を行う。
１．ビット深度関連情報の概略
２．一実施形態に係る画像符号化装置の構成例
３．一実施形態に係る符号化時の処理の流れ
４．一実施形態に係る画像復号装置の構成例
５．一実施形態に係る復号時の処理の流れ
６．応用例
７．スケーラブル符号化
８．まとめ
【００１５】
＜１．ビット深度関連情報の概略＞
［１−１．ビット深度情報］
非特許文献１によれば、シーケンスパラメータセット（ＳＰＳ）は、次の４種類のビット深度情報を含む。
−輝度ビット深度情報
−色差ビット深度情報
−ＰＣＭ用輝度ビット深度情報
−ＰＣＭ用色差ビット深度情報
輝度ビット深度情報は、画像の輝度成分を符号化し又は復号する際に利用されるビット深度を表す情報である。色差ビット深度情報は、画像の色差成分を符号化し又は復号する際に利用されるビット深度を表す情報である。通常のサンプルは、非ＰＣＭ方式（典型的には、ＤＰＣＭ（Differential  Pulse  Code  Modulation）方式）で符号化され及び復号されるため、本明細書では、これら輝度ビット深度情報及び色差ビット深度情報を、非ＰＣＭ用ビット深度情報と総称する。ＰＣＭ用輝度ビット深度情報は、画像のＰＣＭ（Pulse  Code  Modulation）サンプルの輝度成分を符号化し又は復号する際に利用されるビット深度を表す情報である。ＰＣＭ用色差ビット深度情報は、画像のＰＣＭサンプルの色差成分を符号化し又は復号する際に利用されるビット深度を表す情報である。本明細書では、これらＰＣＭ用輝度ビット深度情報及びＰＣＭ用色差ビット深度情報を、ＰＣＭ用ビット深度情報と総称する。次の表１は、非特許文献１におけるＳＰＳのシンタックスのうちの、これらビット深度情報に関連する部分を示している。
【００１６】
【表１】
2015192381.tif 000003
【００１７】
表１におけるパラメータbit_depth_luma_minus8は、上述した輝度ビット深度情報に相当し、非ＰＣＭサンプルの輝度成分のビット深度から８を減算した値を示す。パラメータbit_depth_chroma_minus8は、上述した色差ビット深度情報に相当し、非ＰＣＭサンプルの色差成分のビット深度から８を減算した値を示す。例えば、輝度成分及び色差成分の双方が１０ビットで符号化される場合、パラメータbit_depth_luma_minus8及びbit_depth_chroma_minus8は、共に“２”を示す。
【００１８】
表１におけるパラメータpcm_sample_bit_depth_luma_minus1は、上述したＰＣＭ用輝度ビット深度情報に相当し、ＰＣＭサンプルの輝度成分のビット深度から１を減算した値を示す。パラメータpcm_sample_bit_depth_chroma_minus1は、上述したＰＣＭ用色差ビット深度情報に相当し、ＰＣＭサンプルの色差成分のビット深度から１を減算した値を示す。パラメータpcm_sample_bit_depth_luma_minus1及びpcm_sample_bit_depth_chroma_minus1は、フラグpcm_enabled_flagが真（True）に設定される場合、即ちＰＣＭ符号化が有効化される場合に符号化される。
【００１９】
非特許文献２によれば、ＳＨＶＣにおいて、ベースレイヤのＳＰＳは、上述した非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を含む。エンハンスメントレイヤのＳＰＳは、表現フォーマット（representation  format）の更新がある場合に表現フォーマットのインデックスを含み、当該インデックスにより指定される表現フォーマットがそのエンハンスメントレイヤに適用すべき非ＰＣＭ用ビット深度情報を含む。次の表２は、非特許文献２における表現フォーマットのシンタックスのうちの、ビット深度情報に関連する部分を示している。
【００２０】
【表２】
2015192381.tif 000004
【００２１】
表１におけるパラメータbit_depth_vps_luma_minus8は上述した輝度ビット深度情報に相当し、パラメータbit_depth_vps_chroma_minus8は上述した色差ビット深度情報に相当し得る。
【００２２】
このように、既存の仕様では、多くの種類のビット深度情報が符号化される。こうしたビット深度情報が符号化パラメータとして定義された結果として、画質、圧縮率又は処理コストといった任意の観点でエンコーダ及びデコーダの動作を最適化するために、多様な符号化ツールを活用することが可能となった。しかしながら、通常の用途において、幾通りもの異なるビット深度を同時に扱うことは稀であると想定される。例えば、輝度成分と色差成分との間で、ビット深度は等しいかもしれない。また、非ＰＣＭ用ビット深度とＰＣＭ用ビット深度とは等しいかもしれない。こうした異なる種類のビット深度の間の相関を利用すれば、ビット深度関連情報の冗長性を排除し、符号化効率を一層向上させることができるであろう。
【００２３】
［１−２．重み付け予測情報］
非特許文献３によれば、スライスヘッダは、重み付け予測（Weighted  Prediction）において使用されるパラメータ（典型的には、重み及びオフセット）を指定する重み付け予測情報のためのシンタックスを含む。重み付け予測は、フェードイン及びフェードアウトなどのエフェクトが適用される映像についてインター予測の予測精度を改善するために導入される符号化ツールである。次の表３は、非特許文献３における重み付け予測情報のためのシンタックスを部分的に示している。
【００２４】
【表３】
2015192381.tif 000005
【００２５】
重み付け予測情報は、実際にはＬ０参照フレームに対応するパラメータを定義する部分とＬ１参照フレームに対応するパラメータを定義する部分とを含むが、説明の簡明さのために、Ｌ１参照フレームに対応するパラメータを定義する部分は表３において省略されている。表３から理解されるように、輝度成分に適用される重みは、分母をパラメータluma_log2_weight_denomで指定し、分子をパラメータdelta_luma_weight_l0[i]で指定することにより、分数形式で与えられる。色差成分に適用される重みは、分母を（輝度成分の重みの分母との間の差分を示す）パラメータdelta_chroma_log2_weight_denomで指定し、分子をパラメータdelta_chroma_weight_l0[i][j]で指定することにより、分数形式で与えられる。
【００２６】
上述した重み付け予測情報は、直接的にビット深度を表すものではない。しかし、ビット深度が大きいほど、重みを精細に調整すること望ましい。そのため、後に説明する実施形態では、特に重みの分母とビット深度との間の相関を仮定し、分母情報の生成もまた、ビット深度情報に関連付けて制御される。本明細書では、ビット深度情報と、ビット深度情報に関連付けて制御される重み付け予測情報のような情報とを、ビット深度関連情報と総称する。
【００２７】
＜２．一実施形態に係る画像符号化装置の構成例＞
［２−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１は、並び替えバッファ１１、ビット深度制御部１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ２４、フレームメモリ２５、セレクタ２６及び２７、イントラ予測部３０、インター予測部３５、並びに重み付け予測部４５を備える。
【００２８】
並び替えバッファ１１は、符号化すべき映像の一連の画像データに含まれる画像を並び替える。並び替えバッファ１１は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並び替えた後、並び替え後の画像データを減算部１３、イントラ予測部３０及びインター予測部３５へ出力する。
【００２９】
ビット深度制御部１２は、画像符号化装置１における符号化処理に関連する様々な種類のビット深度に関連する設定を保持し、符号化される画像データのビット深度を当該設定に従って制御する。また、ビット深度制御部１２は、画像データを復号するために必要とされるビット深度情報を生成する。ビット深度制御部１２により生成されるビット深度情報は、少なくとも、輝度ビット深度情報及び色差ビット深度情報を含む。ＰＣＭ符号化が有効化される場合には、ビット深度制御部１２により生成されるビット深度情報は、ＰＣＭ用輝度ビット深度情報及びＰＣＭ用色差ビット深度情報をさらに含み得る。これらビット深度情報は、後にさらに説明するように、既存の仕様に基づく情報と比較してより低減された符号量を伴う。ビット深度制御部１２は、生成したビット深度情報を可逆符号化部１６へ出力する。
【００３０】
減算部１３には、並び替えバッファ１１から入力される画像データ（原画像データ）、及び後に説明するイントラ予測部３０又はインター予測部３５から入力される予測画像データが供給される。減算部１３は、非ＰＣＭサンプルについて、並び替えバッファ１１から入力される画像データと予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。ビット深度制御部１２は、ＰＣＭサンプルについては、減算部１３による予測誤差データの算出をスキップさせる。この場合、減算部１３は、原画像データのＰＣＭサンプルをそのまま出力する。
【００３１】
直交変換部１４は、減算部１３から入力される非ＰＣＭサンプルの予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete  Cosine  Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。ビット深度制御部１２は、ＰＣＭサンプルについては、直交変換部１４による直交変換処理の実行をスキップさせる。この場合、直交変換部１４は、原画像データのＰＣＭサンプルをそのまま量子化部１５へ出力する。
【００３２】
量子化部１５には、直交変換部１４から入力される非ＰＣＭサンプルの変換係数データ又はＰＣＭサンプルの画像データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、非ＰＣＭサンプルの変換係数データが供給された場合には、レート制御信号に従って決定される量子化ステップで変換係数データを量子化する。また、量子化部１５は、ＰＣＭサンプルの画像データが供給された場合には、レート制御信号に従って決定されるシフト量でのビットシフトを行うことにより、画像データを量子化する。そして、量子化部１５は、量子化データを可逆符号化部１６及び逆量子化部２１へ出力する。
【００３３】
可逆符号化部１６は、量子化部１５から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。画像の輝度成分及び色差成分は、互いに同じビット深度で符号化されてもよく、又は異なるビット深度で符号化されてもよい。また、ＰＣＭサンプルの輝度成分及び色差成分は、非ＰＣＭサンプルの輝度成分及び色差成分と同じビット深度で符号化されてもよく、又は異なるビット深度で符号化されてもよい。また、可逆符号化部１６は、符号化ストリームを復号する際に参照される様々なパラメータを符号化して、符号化されたパラメータを符号化ストリームのヘッダ領域に挿入する。例えば、可逆符号化部１６は、ビット深度制御部１２から入力されるビット深度情報を符号化し、符号化したビット深度情報をＳＰＳへ挿入する。可逆符号化部１６により符号化されるパラメータは、後に説明するイントラ予測に関する情報及びインター予測に関する情報をも含む。インター予測に関する情報は、重み付け予測情報を含み得る。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
【００３４】
蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００３５】
レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００３６】
逆量子化部２１、逆直交変換部２２及び加算部２３は、ローカルデコーダを構成する。逆量子化部２１は、量子化部１５により使用されたものと同じ量子化ステップ又はビットシフト量で量子化データを逆量子化し、非ＰＣＭサンプルの変換係数データ又はＰＣＭサンプルの画像データを復元する。そして、逆量子化部２１は、復元したデータを逆直交変換部２２へ出力する。
【００３７】
逆直交変換部２２は、逆量子化部２１から入力される非ＰＣＭサンプルの変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。ＰＣＭサンプルについては逆直交変換処理は実行されず、ＰＣＭサンプルの復号画像データがそのまま出力される。
【００３８】
加算部２３は、逆直交変換部２２から入力される非ＰＣＭサンプルの予測誤差データとイントラ予測部３０又はインター予測部３５から入力される予測画像データとを加算することにより、復号画像データ（リコンストラクト画像）を生成する。そして、加算部２３は、生成した復号画像データをループフィルタ２４及びフレームメモリ２５へ出力する。ＰＣＭサンプルについては予測誤差データの加算は実行されず、ＰＣＭサンプルの復号画像データがそのまま出力される。
【００３９】
ループフィルタ２４は、画質の向上を目的とするフィルタ群を含む。デブロックフィルタ（ＤＦ）は、画像の符号化時に生じるブロック歪みを軽減するフィルタである。サンプル適応オフセット（ＳＡＯ）フィルタは、各画素値に適応的に決定されるオフセット値を加えるフィルタである。ループフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００４０】
フレームメモリ２５は、加算部２３から入力される復号画像データ及びループフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００４１】
セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてインター予測部３５に供給する。
【００４２】
セレクタ２７は、イントラ予測モードにおいて、イントラ予測部３０から出力されるイントラ予測の結果としての予測画像データを減算部１３へ出力すると共に、イントラ予測に関する情報を可逆符号化部１６へ出力する。また、セレクタ２７は、インター予測モードにおいて、インター予測部３５から出力されるインター予測の結果としての予測画像データを減算部１３へ出力すると共に、インター予測に関する情報を可逆符号化部１６へ出力する。セレクタ２７は、イントラ予測モードとインター予測モードとを、コスト関数値の大きさに応じて切り替える。
【００４３】
イントラ予測部３０は、並び替えバッファ１１から入力される原画像データ及びフレームメモリ２５から読み出される復号画像データに基づいて、イントラ予測処理を行う。例えば、イントラ予測部３０は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、イントラ予測部３０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、イントラ予測部３０は、当該最適な予測モードに従って予測画像データを生成する。イントラ予測部３０は、選択した最適な予測モードを表す予測モード情報を含むイントラ予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。
【００４４】
インター予測部３５は、並び替えバッファ１１から入力される原画像データ及びフレームメモリ２５から読み出される復号画像データに基づいて、インター予測処理を行う。例えば、インター予測部３５は、予測モードセット内の各候補モードによる予測結果を所定のコスト関数を用いて評価する。次に、インター予測部３５は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、インター予測部３５は、当該最適な予測モードに従って予測画像データを生成する。インター予測の候補モードのセットは、重み付け予測（Weighted  Prediction）を含み得る。重み付け予測は、後述する重み付け予測部４５により実行される。インター予測部３５は、選択した最適な予測モードを表す予測モード情報と動き情報とを含むインター予測に関する情報、コスト関数値、及び予測画像データを、セレクタ２７へ出力する。重み付け予測が最適な予測モードとして選択された場合には、インター予測に関する情報は、重み付け予測情報を含み得る。
【００４５】
重み付け予測部４５は、インター予測部３５から原画像データ及び復号画像データを取得し、最適な重み付け予測パラメータを決定する。重み付け予測パラメータは、典型的には、参照フレームごとの重み及びオフセットを含む。重み及びオフセットは、輝度成分及び色差成分について別々の値を有し得る。そして、重み付け予測部４５は、決定した最適なパラメータで重み付け予測を実行し、予測画像を生成する。また、重み付け予測部４５は、当該最適なパラメータを表す重み付け予測情報を生成する。重み付け予測部４５により生成される重み付け予測情報は、輝度成分及び色差成分のための重みの分母を表す重み分母情報を含み得る。当該重み分母情報は、後にさらに説明するように、既存の仕様に基づく情報と比較してより低減された符号量を伴う。そして、重み付け予測部４５は、生成した予測画像と重み付け予測情報とを、インター予測部３５へ出力する。
【００４６】
［２−２．ビット深度制御部の構成例］
図２は、図１に示したビット深度制御部１２の詳細な構成の一例を示すブロック図である。図２を参照すると、ビット深度制御部１２は、ビット深度設定部４１、非ＰＣＭ情報生成部４２、ＰＣＭモード設定部４３及びＰＣＭ情報生成部４４を含む。
【００４７】
ビット深度設定部４１は、非ＰＣＭサンプルの輝度成分及び色差成分、並びにＰＣＭサンプルの輝度成分及び色差成分をそれぞれ符号化するためのビット深度を設定する。ビット深度設定部４１は、例えば、事前に定義され又はユーザにより入力される設定値に従って、各ビット深度を設定し得る。ビット深度設定部４１は、例えばシーケンスごとにビット深度の設定値を変化させてもよい。そして、ビット深度設定部４１は、設定したそれぞれのビット深度を、非ＰＣＭ情報生成部４２及びＰＣＭ情報生成部４４へ出力する。
【００４８】
非ＰＣＭ情報生成部４２は、ビット深度設定部４１から入力される、非ＰＣＭサンプルの輝度成分及び色差成分を符号化するためのビット深度を表す非ＰＣＭ用ビット深度情報を生成する。非ＰＣＭ用ビット深度情報は、（非ＰＣＭ用）輝度ビット深度情報、及び（非ＰＣＭ用）色差ビット深度情報を含む。本実施形態において、輝度ビット深度情報は、輝度成分を符号化するための第１のビット深度を示す。色差ビット深度情報は、色差成分を符号化するための第２のビット深度を、第１のビット深度と第２のビット深度との間のビット深度差分を用いて示す。例えば、輝度成分及び色差成分の双方が８ビットで符号化される場合、色差ビット深度情報により示されるビット深度差分は、“０”に等しい。同様に、輝度成分及び色差成分の双方が１０ビットで符号化される場合にも、色差ビット深度情報により示されるビット深度差分は、“０”に等しい。当該ビット深度差分は、符号付き整数（signed  integer）というタイプの単一のパラメータで示されてもよく、又は符号及び絶対値にそれぞれ対応する複数のパラメータで示されてもよい。それにより、輝度成分のビット深度及び色差成分のビット深度のいずれが大きい場合にも、色差成分のビット深度を適切に表現することができる。
【００４９】
ＰＣＭモード設定部４３は、一連の画像データにおいて（又は各シーケンスにおいて）ＰＣＭモードでの符号化を有効化するか否かを設定する。ＰＣＭモード設定部４３は、例えば、事前に定義され若しくはユーザにより入力される設定値に従って、又は事前の映像の解析に基づいて、ＰＣＭモードを有効化すべきかを設定し得る。ＰＣＭモード設定部４３は、例えばシーケンスごとに設定を変化させてもよい。そして、ＰＣＭモード設定部４３は、設定の結果をＰＣＭ情報生成部４４へ出力する。
【００５０】
ＰＣＭ情報生成部４４は、ＰＣＭモード設定部４３から入力されるＰＣＭモードに関する設定の結果を示すフラグを生成する。当該フラグは、例えば、ＰＣＭモードでの符号化が有効化された場合には真（True）を、ＰＣＭモードでの符号化が無効化された場合には偽（False）を示し得る。
【００５１】
ＰＣＭ情報生成部４４は、ＰＣＭモードでの符号化が有効化された場合には、さらに、ビット深度設定部４１から入力される、ＰＣＭサンプルの輝度成分及び色差成分を符号化するためのビット深度を表すＰＣＭ用ビット深度情報を生成する。ＰＣＭ用ビット深度情報は、ＰＣＭ用輝度ビット深度情報、及びＰＣＭ用色差ビット深度情報を含む。本実施形態において、ＰＣＭ用輝度ビット深度情報は、非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度との間のビット深度差分を示す。ＰＣＭ用色差ビット深度は、ＰＣＭ用輝度ビット深度と非ＰＣＭ用色差ビット深度情報により示されるビット深度差分とを用いて、差分符号化される。即ち、ＰＣＭ用色差ビット深度がＰＣＭ用輝度ビット深度と、非ＰＣＭ用色差ビット深度情報により示されるビット深度差分と、残余差分との和であるものとすると、ＰＣＭ用色差ビット深度情報は、当該残余差分を示す。一般に、非ＰＣＭ用ビット深度は、ＰＣＭ用ビット深度よりも高精細である。従って、ＰＣＭ用輝度ビット深度情報は、符号なし整数（unsigned  integer）というタイプの単一のパラメータで示されてもよい。一方、ＰＣＭ用色差ビット深度情報は、符号付き整数というタイプの単一のパラメータで示されてもよく、又は符号及び絶対値にそれぞれ対応する複数のパラメータで示されてもよい。
【００５２】
次の表４は、本実施形態に従って生成され得るビット深度情報のシンタックスの一例を示している。このシンタックスは、例えば、ＳＰＳの一部分に配置され得る。
【００５３】
【表４】
2015192381.tif 000006
【００５４】
表４におけるパラメータbit_depth_luma_minus8は、（非ＰＣＭ用）輝度ビット深度情報に相当し、非ＰＣＭ用輝度ビット深度から８を減算した値を示す（表１に示したものと同じパラメータである）。パラメータdelta_bit_depth_chromaは、（非ＰＣＭ用）色差ビット深度情報に相当し、非ＰＣＭ用輝度ビット深度と非ＰＣＭ用色差ビット深度との間のビット深度差分を示す。
【００５５】
フラグpcm_enabled_flagは、ＰＣＭモードでの符号化が有効化されたか否かを示す（表１に示したものと同じフラグである）。表４におけるパラメータdelta_pcm_sample_bit_depth_lumaは、ＰＣＭ用輝度ビット深度情報に相当し、非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度との間のビット深度差分を示す。パラメータdelta_pcm_sample_bit_depth_chromaは、ＰＣＭ用色差ビット深度情報に相当し、ＰＣＭ用色差ビット深度から、ＰＣＭ用輝度ビット深度及び（非ＰＣＭ用輝度ビット深度と非ＰＣＭ用色差ビット深度との間の）ビット深度差分を減算することにより得られる、残余差分を示す。
【００５６】
表４に例示したシンタックスによれば、非ＰＣＭ用輝度ビット深度bit_depth_luma及び非ＰＣＭ用色差ビット深度bit_depth_chromaは、非ＰＣＭ用ビット深度情報との間で、次の式（１）及び式（２）により表現される関係を有する。
【００５７】
【数１】
2015192381.tif 000007
【００５８】
また、表４に例示したシンタックスによれば、ＰＣＭ用輝度ビット深度pcm_bit_depth_luma及びＰＣＭ用色差ビット深度pcm_bit_depth_chromaは、非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報との間で、次の式（３）及び式（４）により表現される関係を有する。
【００５９】
【数２】
2015192381.tif 000008
【００６０】
なお、上述した例に限定されず、ＰＣＭ用色差ビット深度情報は、ＰＣＭ用色差ビット深度から、ＰＣＭ用輝度ビット深度のみを減算することにより得られるビット深度差分を示してもよい。その場合には、式（４）の右辺の第２項は省略される。
【００６１】
非ＰＣＭ情報生成部４２は、上述した手法に従って生成され得る非ＰＣＭ用ビット深度情報（Non-PCM  BD  Information）を、可逆符号化部１６及び重み付け予測部４５へ出力する。ＰＣＭ情報生成部４４は、上述した手法に従って生成され得るＰＣＭ用ビット深度情報（PCM  BD  Information）を、可逆符号化部１６へ出力する。可逆符号化部１６は、これら非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を含むビット深度情報を符号化する。
【００６２】
一変形例において、ビット深度設定部４１は、別々のＣＵ（Coding  Unit）サイズについて別々のビット深度を設定してもよい。ＣＵサイズは、画像領域が高周波成分をより多く含む場合に、より小さく設定される。そして、高周波成分をあまり含まいことから大きいＣＵサイズが設定される画像領域については、ＰＣＭ用ビット深度が相対的に低くても、即ち表現可能な階調がより粗くても、画質の劣化はそれほど感知されないと考えられる。従って、別々のＣＵサイズについて別々のビット深度を利用可能とすれば、ビット深度を画像領域ごとに可変的に制御してＰＣＭサンプルのレートを抑制することが可能となる。この変形例において、ＰＣＭ情報生成部４４は、別々のＣＵサイズについて別々のビット深度差分を示すＰＣＭ用ビット深度情報を生成する（例えば、表４に例示したパラメータのペアdelta_pcm_sample_bit_depth_luma，delta_pcm_sample_bit_depth_chromaが、ＣＵサイズ候補の数だけ提供され得る）。ＰＣＭ用ビット深度情報に含まれるあるＣＵサイズについてのビット深度差分は、別のＣＵサイズについてのビット深度差分に基づいて差分符号化されてもよい。それにより、本変形例におけるＰＣＭ用ビット深度情報の符号量を削減することができる。
【００６３】
［２−３．重み付け予測部の構成例］
図３は、図１に示した重み付け予測部４５の詳細な構成の一例を示すブロック図である。図３を参照すると、重み付け予測部４５は、探索部４６、予測画像生成部４７及び重み付け予測（ＷＰ）情報生成部４８を含む。
【００６４】
探索部４６は、予測対象ブロック（典型的には、ＰＵ（Prediction  Unit））の原画像データと、復号画像データとに基づいて、予測対象ブロックの画像を予測するために最適な重み付け予測パラメータ（WP  Parameters）、即ち参照フレームごとの重み及びオフセットを決定する。そして、探索部４６は、決定した重み付け予測パラメータを、予測画像生成部４７及びＷＰ情報生成部４８へ出力する。
【００６５】
予測画像生成部４７は、探索部４６から入力される重み付け予測パラメータをそれぞれの参照フレームに適用することにより重み付け予測を実行し、予測対象ブロックの予測画像を生成する。そして、予測画像生成部４７は、生成した予測画像をインター予測部３５へ出力する。
【００６６】
ＷＰ情報生成部４８は、探索部４６により決定された最適な重み付け予測パラメータを表す重み付け予測情報（WP  Information）を生成する。重み付け予測情報は、例えば、各参照フレームの輝度成分に適用される重みの分母、重みの分子、及びオフセットと、各参照フレームの色差成分に適用される重みの分母、重みの分子、及びオフセットと、をそれぞれ示し得る。輝度成分の重みの分母を示す第１の重み分母情報は、例えば、表３に示したような対数パラメータluma_log2_weight_denomであってよい。これに対し、本実施形態において、色差成分の重みの分母は、ビット深度制御部１２から入力される、輝度成分と色差成分との間のビット深度差分を用いて差分符号化される。即ち、色差成分の重みの分母の（２を底とする）対数が輝度成分の重みの分母の対数と、輝度成分と色差成分との間のビット深度差分と、残余差分との和であるものとすると、第２の重み分母情報は、当該残余差分を示す。重みの分子及びオフセットは、表３に示したような既存のパラメータと同様の情報により示されてよい。
【００６７】
本実施形態に従って生成され得る重み付け予測情報のシンタックスは、表３に示したシンタックスと基本的に同様であってよい。但し、当該シンタックスに含まれる対数パラメータdelta_chroma_log2_weight_denomの意味は、再定義される。輝度成分の重みの分母luma_weight_denom及び色差成分の重みの分母chroma_weight_denomは、第１の重み分母情報luma_log2_weight_denom及び第２の重み分母情報delta_chroma_log2_weight_denomとの間で、次の式（５）及び式（６）により表現される関係を有する。
【００６８】
【数３】
2015192381.tif 000009
【００６９】
ＷＰ情報生成部４８は、上述した関係式に基づいて生成され得る重み付け予測情報を、インター予測部３５へ出力する。重み付け予測が予測モードとして選択された場合、可逆符号化部１６は、インター予測部３５から入力される（第１の重み分母情報及び第２の重み分母情報を含む）当該重み付け予測情報を符号化する。
【００７０】
ここまでに説明したように、本実施形態では、差分符号化の手法を用いて、様々な種類のビット深度関連情報の符号量が削減される。例えば、輝度ビット深度と色差ビット深度とが等しい場合には、色差ビット深度情報のパラメータ値はゼロになる。非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度とが等しい場合には、ＰＣＭ用輝度ビット深度情報のパラメータ値はゼロになる。また、重み付け予測の重みの分母とビット深度との間の相関を利用して、重み分母情報のパラメータ値も、ゼロ又はよりゼロに近い値へと引き下げられる。そして、一般に、可変長符号化を通じてゼロ又はよりゼロに近い値に割り当てられる符号語の長さは、より短い。従って、本実施形態においてビット深度関連情報の冗長的な符号化が回避される結果として、符号化効率を高めることができる。なお、本実施形態を具現化する際に、ここで説明した特徴のうちの一部が実装されなくてもよい。例えば、色成分間のビット深度の差分符号化と、非ＰＣＭサンプル／ＰＣＭサンプルのビット深度の差分符号化とのうちの一方のみが実装される場合にも、符号化効率の向上の効果は享受され得る。
【００７１】
＜３．一実施形態に係る符号化時の処理の流れ＞
［３−１．概略的な流れ］
図４は、一実施形態に係る符号化時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
【００７２】
図４を参照すると、まず、ビット深度制御部１２は、非ＰＣＭ用の輝度成分及び色差成分のビット深度、並びにＰＣＭ用の輝度成分及び色差成分のビット深度の設定に基づいて、ビット深度情報を生成する（ステップＳ１１）。ここで生成されるビット深度情報は、例えば、表４に例示したような、非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を含むシンタックスを有し得る。そして、ビット深度制御部１２は、非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を可逆符号化部１６へ出力する。
【００７３】
次に、可逆符号化部１６は、ビット深度制御部１２により生成されたビット深度情報を符号化し、符号化されたビット深度情報を例えば符号化ストリームのＳＰＳへ挿入する（ステップＳ１２）。その後の処理は、シーケンス内の１つ以上のピクチャに含まれるサンプルごとに繰り返される。
【００７４】
まず、ビット深度制御部１２は、ＰＣＭモードでサンプルを符号化するかを判定する（ステップＳ１３）。ＰＣＭモードでサンプルが符号化されない場合（即ち、非ＰＣＭモードでサンプルが符号化される場合）、当該サンプルについて、イントラ予測部３０によるイントラ予測、及びインター予測部３５によるインター予測が実行され、最適な予測モードの予測画像が生成される（ステップＳ１４）。ここで実行されるインター予測は、重み付け予測部４５による重み付け予測を含む。なお、Ｉスライスについては、インター予測の実行はスキップされる。次に、減算部１３は、原画像から予測画像を減算することにより、非ＰＣＭサンプルの予測誤差を計算する（ステップＳ１５）。次に、直交変換部１４は、非ＰＣＭサンプルの予測誤差を直交変換することにより、変換係数データを生成する（ステップＳ１６）。次に、量子化部１５は、変換係数データを量子化することにより、非ＰＣＭサンプルの量子化データを生成する（ステップＳ１７）。
【００７５】
一方、ステップＳ１３においてＰＣＭモードでサンプルが符号化されると判定された場合、量子化部１５は、ＰＣＭサンプルの原画像についてビットシフトを実行することにより、ＰＣＭサンプルの量子化データを生成する（ステップＳ１８）。
【００７６】
次に、可逆符号化部１６は、量子化部１５により生成された非ＰＣＭサンプル又はＰＣＭサンプルの量子化データを符号化し、符号化ストリームを生成する（ステップＳ１９）。また、可逆符号化部１６は、符号化したサンプルに関連する情報を符号化し、符号化した情報を符号化ストリームのヘッダ領域に挿入する（ステップＳ２０）。例えば、重み付け予測部４５により生成される重み付け予測情報は、スライスヘッダへ挿入され得る。
【００７７】
その後、処理すべき次のサンプルが存在する場合には、処理はステップＳ１３へ戻る（ステップＳ２１）。処理すべき次のサンプルが存在しない場合には、図４に示したフローチャートは終了する。
【００７８】
［３−２．ビット深度情報生成処理］
図５は、一実施形態に係るビット深度情報生成処理の流れの一例を示すフローチャートである。図５に示したビット深度情報生成処理は、例えば図４のステップＳ１１において、ビット深度制御部１２により実行され得る。
【００７９】
図５を参照すると、まず、ビット深度制御部１２の非ＰＣＭ情報生成部４２は、非ＰＣＭ用の輝度成分のビット深度を示す輝度ビット深度情報（例えば、パラメータbit_depth_luma_minus8）を生成する（ステップＳ３１）。
【００８０】
次に、非ＰＣＭ情報生成部４２は、非ＰＣＭ用の輝度成分のビット深度と色差成分のビット深度との間のビット深度差分を示す色差ビット深度情報（例えば、パラメータdelta_bit_depth_chroma）を生成する（ステップＳ３２）。
【００８１】
次に、ＰＣＭ情報生成部４４は、ＰＣＭモード設定部４３による設定に従って、ＰＣＭモードでの符号化が有効化されたか否かを示すＰＣＭ有効化フラグ（例えば、フラグpcm_enabled_flag）を生成する（ステップＳ３３）。その後の処理は、ＰＣＭモードでの符号化が有効化された場合にのみ実行される（ステップＳ３４）。
【００８２】
ＰＣＭモードでの符号化が有効化された場合、ＰＣＭ情報生成部４４は、非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度との間のビット深度差分を示すＰＣＭ用輝度ビット深度情報（例えば、パラメータdelta_pcm_sample_bit_depth_luma）を生成する（ステップＳ３５）。
【００８３】
次に、ＰＣＭ情報生成部４４は、ＰＣＭ用色差ビット深度のための残余差分（即ち、ＰＣＭ用色差ビット深度から、ＰＣＭ用輝度ビット深度と、ステップＳ３２において計算したビット深度差分とを減算することにより計算される残余差分）を示すＰＣＭ用色差ビット深度情報（例えば、パラメータdelta_pcm_sample_bit_depth_chroma）を生成する（ステップＳ３６）。
【００８４】
［３−３．ＷＰ情報生成処理］
図６は、一実施形態に係るＷＰ情報生成処理の流れの一例を示すフローチャートである。図６に示したＷＰ情報生成処理は、例えば図４のステップＳ１４において、重み付け予測部４５により実行され得る。
【００８５】
図６を参照すると、まず、重み付け予測部４５のＷＰ情報生成部４８は、ビット深度制御部１２から、輝度成分と色差成分との間のビット深度差分を取得する（ステップＳ４１）。
【００８６】
次に、ＷＰ情報生成部４８は、探索部４６により決定された輝度成分の重みの分母を示す第１の重み分母情報（例えば、対数パラメータluma_log2_weight_denom）を生成する（ステップＳ４２）。
【００８７】
次に、ＷＰ情報生成部４８は、輝度成分の重みの分母の（２を底とする）対数と、探索部４６により決定された色差成分の重みの分母の対数との間の差分を計算する（ステップＳ４３）。
【００８８】
次に、ＷＰ情報生成部４８は、計算した対数の差分からステップＳ４１において取得したビット深度差分を減算した残余を示す第２の重み分母情報（例えば、残余対数パラメータdelta_chroma_log2_weight_denom）を生成する（ステップＳ４４）。
【００８９】
次に、ＷＰ情報生成部４８は、輝度成分の重みの分子及びオフセット、並びに色差成分の重みの分子及びオフセットをそれぞれ示す残りの重み付け予測パラメータを生成する（ステップＳ４５）。
【００９０】
＜４．一実施形態に係る画像復号装置の構成例＞
［４−１．全体的な構成例］
図７は、一実施形態に係る画像復号装置６の構成の一例を示すブロック図である。図７を参照すると、画像復号装置６は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、ループフィルタ６６、並び替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、インター予測部８５、ビット深度制御部９０並びに重み付け予測部９５を備える。
【００９１】
蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
【００９２】
可逆復号部６２は、蓄積バッファ６１により蓄積される符号化ストリームから、符号化の際に使用された符号化方式に従って量子化データを復号する。非ＰＣＭサンプルの輝度成分及び色差成分、並びにＰＣＭサンプルの輝度成分及び色差成分は、ビット深度情報によりそれぞれ示されるビット深度で復号される。可逆復号部６２は、量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に挿入されている情報を復号する。ビット深度情報は、例えばＳＰＳから復号され、ビット深度制御部９０へ出力される。イントラ予測に関する情報はイントラ予測部８０へ出力される。インター予測に関する情報は、インター予測部８５へ出力される。インター予測に関する情報は、重み付け予測情報を含み得る。
【００９３】
ビット深度制御部９０は、可逆復号部６２により復号されるビット深度情報に従って、画像復号装置６における復号処理に関連する様々な種類のビット深度を設定する。また、ビット深度制御部９０は、復号される画像データのビット深度を当該設定に従って制御する。ビット深度情報は、少なくとも、輝度ビット深度情報及び色差ビット深度情報を含む。ＰＣＭ符号化が有効化される場合には、ビット深度情報は、ＰＣＭ用輝度ビット深度情報及びＰＣＭ用色差ビット深度情報をさらに含み得る。これらビット深度情報は、ここまでに説明した手法に基づいて、より低減された符号量を伴う。ビット深度制御部９０は、色差ビット深度情報を、重み付け予測部９５へ出力し得る。
【００９４】
逆量子化部６３は、非ＰＣＭサンプルの量子化データを、符号化の際に使用されたものと同じ量子化ステップで逆量子化し、非ＰＣＭサンプルの変換係数データを復元する。また、逆量子化部６３は、ＰＣＭサンプルの量子化データを、符号化の際に使用されたものと同じシフト量でビットシフトすることにより逆量子化し、ＰＣＭサンプルの画像データを復元する。逆量子化部６３は、復元した変換係数データ又は画像データを逆直交変換部６４へ出力する。
【００９５】
逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される非ＰＣＭサンプルの変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、非ＰＣＭサンプルの予測誤差データを加算部６５へ出力する。ＰＣＭサンプルについては、ビット深度制御部９０は、逆直交変換部６４による逆直交変換処理の実行をスキップさせる。この場合、逆直交変換部６４は、ＰＣＭサンプルの画像データをそのまま出力する。
【００９６】
加算部６５は、逆直交変換部６４から入力される非ＰＣＭサンプルの予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、非ＰＣＭサンプルの復号画像データを再構築する。そして、加算部６５は、非ＰＣＭサンプルの復号画像データをループフィルタ６６及びフレームメモリ６９へ出力する。ビット深度制御部９０は、ＰＣＭサンプルについては、加算部６５による予測誤差データの加算をスキップさせる。この場合、加算部６５は、ＰＣＭサンプルの画像データ（復号画像データ）をそのまま出力する。
【００９７】
ループフィルタ６６は、画像符号化装置１のループフィルタ２４と同様、ブロック歪みを軽減するデブロックフィルタ及び各画素値にオフセット値を加えるサンプル適応オフセットフィルタを含む。ループフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングし、フィルタリング後の復号画像データを並び替えバッファ６７及びフレームメモリ６９へ出力する。
【００９８】
並び替えバッファ６７は、ループフィルタ６６から入力される画像を並び替えることにより、時系列の一連の画像データを生成する。そして、並び替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【００９９】
Ｄ／Ａ変換部６８は、並び替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１００】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ及びループフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【０１０１】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フィルタリング後の復号画像データを参照画像データとしてインター予測部８５へ出力する。
【０１０２】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０とインター予測部８５との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。また、セレクタ７１は、インター予測モードが指定された場合には、インター予測部８５から出力される予測画像データを加算部６５へ供給する。
【０１０３】
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてイントラ予測を実行し、予測画像データを生成する。イントラ予測部８０は、生成される予測画像データをセレクタ７１へ出力する。
【０１０４】
インター予測部８５は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいてインター予測を実行し、予測画像データを生成する。インター予測の予測モードが重み付け予測を示している場合、インター予測部８５は、重み付け予測部９５に重み付け予測を実行させる。この場合、インター予測部８５は、参照画像データと重み付け予測情報とを重み付け予測部９５へ出力する。そして、インター予測部８５は、生成される予測画像データをセレクタ７１へ出力する。
【０１０５】
重み付け予測部９５は、インター予測部８５から復号画像データ及び重み付け予測情報を取得し、重み付け予測情報から再構築される重み付け予測パラメータに従って重み付け予測を実行し、予測画像を生成する。重み付け予測パラメータは、上述したように、参照フレームごとの重み及びオフセットを含む。重み及びオフセットは、輝度成分及び色差成分について別々の値を有し得る。そして、重み付け予測部９５は、生成される予測画像をインター予測部８５へ出力する。
【０１０６】
［４−２．ビット深度制御部の構成例］
図８は、図７に示したビット深度制御部９０の詳細な構成の一例を示すブロック図である。図８を参照すると、ビット深度制御部９０は、非ＰＣＭ情報取得部９１、ＰＣＭ情報取得部９２、ＰＣＭモード設定部９３及びビット深度設定部９４を含む。
【０１０７】
非ＰＣＭ情報取得部９１は、可逆復号部６２により復号される非ＰＣＭ用ビット深度情報を取得する。ここで取得されるビット深度情報は、符号化された画像の輝度成分を復号するための輝度ビット深度情報、及び当該画像の色差成分を復号するための色差ビット深度情報を含む。色差ビット深度情報は、輝度ビット深度と色差ビット深度との間のビット深度差分を示す。輝度ビット深度情報は、例えば、表４におけるパラメータbit_depth_luma_minus8に相当し得る。色差ビット深度情報は、表４におけるパラメータdelta_bit_depth_chromaに相当し得る。非ＰＣＭ情報取得部９１は、例えば式（２）に従い、輝度ビット深度情報により示される輝度ビット深度に色差ビット深度情報により示されるビット深度差分を加算する（又は減算する）ことにより、色差ビット深度を計算する。そして、非ＰＣＭ情報取得部９１は、非ＰＣＭ用の輝度ビット深度及び色差ビット深度を、ビット深度設定部９４へ出力する。
【０１０８】
ＰＣＭ情報取得部９２は、可逆復号部６２により復号されるＰＣＭ用ビット深度情報を取得する。ＰＣＭ用ビット深度情報は、少なくとも、ＰＣＭモードでの符号化が有効化されるか否かを示すＰＣＭ有効化フラグ（例えば、表４におけるフラグpcm_enabled_flag）を含む。ＰＣＭ情報取得部９２は、ＰＣＭ有効化フラグをＰＣＭモード設定部９３へ出力する。
【０１０９】
ＰＣＭモードでの符号化が有効化されることをＰＣＭ有効化フラグが示している場合には、ＰＣＭ情報取得部９２により取得されるＰＣＭ用ビット深度情報は、さらに、符号化された画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を含む。ＰＣＭ用ビット深度情報は、ＰＣＭ用輝度ビット深度情報及びＰＣＭ用色差ビット深度情報を含む。ＰＣＭ用輝度ビット深度情報は、非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用輝度ビット深度とＰＣＭ用輝度ビット深度との間のビット深度差分を示す。ＰＣＭ用色差ビット深度情報は、ＰＣＭ用色差ビット深度に関連する残余差分を示す。ＰＣＭ用輝度ビット深度情報は、例えば、表４におけるパラメータdelta_pcm_sample_bit_depth_lumaに相当し得る。ＰＣＭ用色差ビット深度情報は、表４におけるパラメータdelta_pcm_sample_bit_depth_chromaに相当し得る。ＰＣＭ情報取得部９２は、例えば式（３）に従い、非ＰＣＭ用輝度ビット深度にＰＣＭ用輝度ビット深度情報により示されるビット深度差分を加算する（又は減算する）ことにより、ＰＣＭ用輝度ビット深度を計算する。また、ＰＣＭ情報取得部９２は、例えば式（４）に従い、ＰＣＭ用輝度ビット深度に非ＰＣＭ用色差ビット深度情報により示されるビット深度差分とＰＣＭ用色差ビット深度情報により示される残余差分とを加算する（又は減算する）ことにより、ＰＣＭ用色差ビット深度を計算する。そして、ＰＣＭ情報取得部９２は、ＰＣＭ用の輝度ビット深度及び色差ビット深度を、ビット深度設定部９４へ出力する。
【０１１０】
ＰＣＭモード設定部９３は、ＰＣＭ情報取得部９２から入力されるＰＣＭ有効化フラグに従って、画像復号装置６におけるＰＣＭモードでの復号を有効化し又は無効化する。例えば、ＰＣＭモードでの復号が有効化され、ＰＣＭサンプルが復号される場合には、ＰＣＭモード設定部９３は、逆量子化部６３に量子化データをビットシフトさせることにより画像データを復元させ、逆直交変換部６４における逆直交変換処理及び加算部６５における予測誤差の加算をスキップさせる。ＰＣＭモードでの復号が無効化される場合には、シーケンスはＰＣＭサンプルを含まない。
【０１１１】
ビット深度設定部９４は、非ＰＣＭ情報取得部９１から入力される非ＰＣＭ用の輝度ビット深度及び色差ビット深度、並びにＰＣＭ情報取得部９２から入力されるＰＣＭ用の輝度ビット深度及び色差ビット深度を、画像の復号のために設定する。それに応じて、画像復号装置６は、非ＰＣＭ用輝度ビット深度に従って非ＰＣＭサンプルの輝度成分を復号し、非ＰＣＭ用色差ビット深度に従って非ＰＣＭサンプルの色差成分を復号する。また、画像復号装置６は、ＰＣＭ用輝度ビット深度に従ってＰＣＭサンプルの輝度成分を復号し、ＰＣＭ用色差ビット深度に従ってＰＣＭサンプルの色差成分を復号する。
【０１１２】
一変形例において、ＰＣＭ用ビット深度情報は、別々のＣＵサイズについて別々のビット深度差分を示すパラメータを含み、ビット深度設定部９４は、別々のＣＵサイズについて別々のビット深度を設定してもよい。それにより、ビット深度を画像領域ごとに可変的に制御してＰＣＭサンプルのレートを抑制することが可能となる。例えば、ＰＣＭ用ビット深度情報は、ＣＵサイズ候補の数だけ、表４に例示したパラメータのペアdelta_pcm_sample_bit_depth_luma，delta_pcm_sample_bit_depth_chromaを含み得る。ＰＣＭ用ビット深度情報において、あるＣＵサイズについてのビット深度差分は、別のＣＵサイズについてのビット深度差分に基づいて差分符号化されていてもよい。それにより、本変形例におけるＰＣＭ用ビット深度情報の符号量は削減される。
【０１１３】
［４−３．重み付け予測部の構成例］
図９は、図７に示した重み付け予測部９５の詳細な構成の一例を示すブロック図である。図９を参照すると、重み付け予測部９５は、パラメータ設定部９７及び予測画像生成部９８を含む。
【０１１４】
パラメータ設定部９７は、インター予測の予測モードとして重み付け予測が指定された場合に、可逆復号部６２により復号される重み付け予測情報を取得する。ここで取得される重み付け予測情報は、例えば、各参照フレームの輝度成分に適用される重みの分母、重みの分子、及びオフセットと、各参照フレームの色差成分に適用される重みの分母、重みの分子、及びオフセットと、をそれぞれ示し得る。輝度成分の重みの分母を示す第１の重み分母情報は、例えば、２を底とする対数によって輝度成分の重みの分母を示す。色差成分の重みの分母を示す第２の重み分母情報は、例えば、色差成分の重みの分母に関連する（分母の対数の）残余差分を示す。そして、パラメータ設定部９７は、第１の重み分母情報により示される輝度成分の重みの分母の対数と、ビット深度制御部９０から入力される輝度成分と色差成分との間のビット深度差分と、第２の重み分母情報により示される残余差分とに基づいて、色差成分の重みの分母を計算する。重み付け予測情報は、例えば表３に例示したようなシンタックスを有してよい。例えば、第１の重み分母情報は対数パラメータluma_log2_weight_denomに、第２の重み分母情報は対数パラメータdelta_chroma_log2_weight_denomに相当し得る。但し、対数パラメータdelta_chroma_log2_weight_denomの意味は、式（６）を用いて説明した通り、残余対数を示すように再定義される。そして、パラメータ設定部９７は、重み付け予測情報から再構築される重み付け予測パラメータ（各参照フレームの色成分ごとの重み及びオフセット）を、予測対象ブロックに設定する。
【０１１５】
予測画像生成部９８は、パラメータ設定部９７により設定される重み付け予測パラメータをそれぞれの参照フレームに適用することにより重み付け予測を実行し、予測対象ブロックの予測画像を生成する。そして、予測画像生成部９８は、生成した予測画像をインター予測部８５へ出力する。
【０１１６】
＜５．一実施形態に係る復号時の処理の流れ＞
［５−１．概略的な流れ］
図１０は、一実施形態に係る復号時の概略的な処理の流れの一例を示すフローチャートである。なお、説明の簡明さのために、本開示に係る技術に直接的に関連しない処理ステップは、図から省略されている。
【０１１７】
図１０を参照すると、まず、可逆復号部６２は、例えば符号化ストリームのＳＰＳから、ビット深度情報を復号する（ステップＳ６１）。ここで復号されるビット深度情報は、非ＰＣＭ用ビット深度情報及びＰＣＭ用ビット深度情報を含む。そして、可逆復号部６２は、復号したビット深度情報をビット深度制御部９０へ出力する。
【０１１８】
次に、ビット深度制御部９０は、可逆復号部６２により復号されたビット深度情報に基づいて、非ＰＣＭ用の輝度成分及び色差成分のビット深度、並びにＰＣＭ用の輝度成分及び色差成分のビット深度をそれぞれ設定する（ステップＳ６２）。その後の処理は、シーケンス内の１つ以上のピクチャに含まれるサンプルごとに繰り返される。
【０１１９】
まず、可逆復号部６２は、復号すべきサンプルに関連する情報を、例えばスライスヘッダから復号する（ステップＳ６３）。ここで復号される情報は、予測モード情報、及び予測モード情報により重み付け予測が指定される場合の重み付け予測情報を含み得る。また、可逆復号部６２は、非ＰＣＭサンプル又はＰＣＭサンプルの量子化データを復号する（ステップＳ６４）。
【０１２０】
次に、ビット深度制御部９０は、ＰＣＭモードでサンプルを復号するかを判定する（ステップＳ６５）。ＰＣＭモードでサンプルが復号されない場合（即ち、非ＰＣＭモードでサンプルが復号される場合）、逆量子化部６３は、非ＰＣＭサンプルの量子化データを逆量子化し、変換係数データを復元する（ステップＳ６６）。逆直交変換部６４は、非ＰＣＭサンプルの変換係数データについて逆直交変換を実行し、予測誤差データを生成する（ステップＳ６７）。また、イントラ予測モードが指定された場合にはイントラ予測部８０によりイントラ予測が実行され、インター予測モードが指定された場合にはインター予測部８５によるインター予測が実行される（ステップＳ６８）。その結果、予測画像が生成される。ここで実行されるインター予測は、重み付け予測部９５による重み付け予測を含み得る。そして、加算部６５は、非ＰＣＭサンプルの予測誤差と予測画像とを加算することにより、非ＰＣＭサンプルの復号画像データを再構築する（ステップＳ６９）。
【０１２１】
一方、ステップＳ６５においてＰＣＭモードでサンプルが復号されると判定された場合、逆量子化部６３は、ＰＣＭサンプルの量子化データをビットシフトすることにより逆量子化し、ＰＣＭサンプルの画像データを再構築する（ステップＳ７０）。
【０１２２】
その後、処理すべき次のサンプルが存在する場合には、処理はステップＳ６３へ戻る（ステップＳ７１）。処理すべき次のサンプルが存在しない場合には、図１０に示したフローチャートは終了する。
【０１２３】
［５−２．ビット深度計算処理］
図１１は、一実施形態に係るビット深度計算処理の流れの一例を示すフローチャートである。図１１に示したビット深度計算処理は、例えば図１０のステップＳ６２において、ビット深度制御部９０により実行され得る。
【０１２４】
図１１を参照すると、まず、ビット深度制御部９０の非ＰＣＭ情報取得部９１は、輝度ビット深度情報に基づいて、例えば式（１）に従い、非ＰＣＭ用輝度ビット深度を計算する（ステップＳ８１）。
【０１２５】
次に、非ＰＣＭ情報取得部９１は、ステップＳ８１において計算した非ＰＣＭ用輝度ビット深度と、色差ビット深度情報により示されるビット深度差分とに基づいて、例えば式（２）に従い、非ＰＣＭ用色差ビット深度を計算する（ステップＳ８２）。
【０１２６】
次に、ＰＣＭ情報取得部９２は、ＰＣＭ用ビット深度情報に含まれるＰＣＭ有効化フラグがＰＣＭモードでの復号が有効化されることを示しているか否かを判定する（ステップＳ８３）。ＰＣＭモードでの復号が有効化されることをＰＣＭ有効化フラグが示している場合には、その後の処理が実行される。
【０１２７】
ＰＣＭモードでの復号が有効化される場合、ＰＣＭ情報取得部９２は、非ＰＣＭ用輝度ビット深度と、ＰＣＭ用輝度ビット深度情報により示されるビット深度差分とに基づいて、例えば式（３）に従い、ＰＣＭ用輝度ビット深度を計算する（ステップＳ８４）。
【０１２８】
次に、ＰＣＭ情報取得部９２は、ＰＣＭ用輝度ビット深度と、非ＰＣＭ用色差ビット深度情報により示されるビット深度差分と、ＰＣＭ用色差ビット深度情報により示される残余差分とに基づいて、例えば式（４）に従い、ＰＣＭ用色差ビット深度を計算する（ステップＳ８５）。
【０１２９】
［５−３．ＷＰパラメータ計算処理］
図１２は、一実施形態に係るＷＰパラメータ計算処理の流れの一例を示すフローチャートである。図１２に示したＷＰパラメータ計算処理は、例えば図１０のステップＳ６８において、重み付け予測部９５により実行され得る。
【０１３０】
図１２を参照すると、まず、重み付け予測部９５のパラメータ設定部９７は、ビット深度制御部９０から、輝度成分と色差成分との間のビット深度差分を取得する（ステップＳ９１）。
【０１３１】
次に、パラメータ設定部９７は、重み付け予測情報に含まれる第１の重み分母情報から、例えば式（５）に従い、輝度成分の重みの分母を計算する（ステップＳ９２）。
【０１３２】
次に、パラメータ設定部９７は、輝度成分の重みの分母の対数と、ステップＳ９１において取得したビット深度差分と、第２の重み分母情報により示される残余差分とに基づいて、例えば式（６）に従い、色差成分の重みの分母を計算する（ステップＳ９３）。
【０１３３】
次に、パラメータ設定部９７は、重み付け予測情報に含まれる残りのパラメータを用いて、輝度成分の重み及びオフセット、並びに色差成分の重み及びオフセットを計算する（ステップＳ９４）。
【０１３４】
なお、図１２に示したステップＳ９２〜ステップＳ９３の計算は、各参照フレームについて繰り返されてよい。
【０１３５】
＜６．応用例＞
上述した実施形態に係る画像符号化装置１及び画像復号装置６は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１３６】
（１）第１の応用例
図１３は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１３７】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１３８】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１３９】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１４０】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１４１】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１４２】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１４３】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１４４】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１４５】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１４６】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１４７】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６の機能を有する。それにより、冗長さの回避されたビット深度関連情報を有する符号化ストリームをテレビジョン装置９００において適切に復号することが可能となる。
【０１４８】
（２）第２の応用例
図１４は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１４９】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１５０】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１５１】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１５２】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０１５３】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１５４】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０１５５】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１５６】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１及び画像復号装置６の機能を有する。それにより、冗長さの回避されたビット深度関連情報を有する符号化ストリームを携帯電話機９２０において適切に符号化し又は復号することが可能となる。
【０１５７】
（３）第３の応用例
図１５は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０１５８】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０１５９】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０１６０】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０１６１】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０１６２】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０１６３】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０１６４】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０１６５】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０１６６】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０１６７】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０１６８】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０１６９】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６の機能を有する。それにより、冗長さの回避されたビット深度関連情報を有する符号化ストリームを記録再生装置９４０において適切に符号化し又は復号することが可能となる。
【０１７０】
（４）第４の応用例
図１６は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１７１】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０１７２】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０１７３】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０１７４】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０１７５】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０１７６】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０１７７】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０１７８】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０１７９】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０１８０】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０１８１】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１及び画像復号装置６の機能を有する。それにより、冗長さの回避されたビット深度関連情報を有する符号化ストリームを撮像装置９６０において適切に符号化し又は復号することが可能となる。
【０１８２】
＜７．スケーラブル符号化＞
［７−１．ビット深度関連情報のさらなる差分符号化］
差分符号化に基づくビット深度関連情報の符号量の削減というアイディアは、スケーラブル符号化技術に応用されてもよい。上で詳しく説明したアイディアは、例えば、マルチレイヤの符号化ストリームに含まれる個々のレイヤに適用可能である。それに加えて、スケーラブル符号化されるエンハンスメントレイヤ画像の輝度成分のためのビット深度が、ベースレイヤ画像の輝度成分のためのビット深度に基づいて差分符号化されてもよい。この場合、エンハンスメントレイヤの（非ＰＣＭ用の）輝度ビット深度情報は、エンハンスメントレイヤ画像の輝度ビット深度と、ベースレイヤ画像の輝度ビット深度との間のビット深度差分を示し得る。それにより、エンハンスメントレイヤのビット深度情報の符号量を一層削減することができる。なお、エンハンスメントレイヤのビット深度情報は、ＳＰＳではなく、例えばビデオパラメータセット（ＶＰＳ）内の表現フォーマット（representation  format）において符号化されてもよい。
【０１８３】
また、重み付け予測における重みとオフセットとを用いた色成分ごとの線形変換は、レイヤ間で色域が異なる場合の色域変換のためにも利用され得る。そこで、レイヤ間の色域変換のための重みとオフセットとを定義するシンタックスにおいて、色差成分の重みの分母を特定する重み分母情報の符号量が、式（６）を用いて説明した差分符号化の手法によって削減されてもよい。また、レイヤ間のダイナミックレンジ変換のために重み付け予測が実行される場合にも、ダイナミックレンジ変換のための重みとオフセットとを定義するシンタックスにおいて、色差成分の重みの分母を特定する重み分母情報の符号量が同様に削減されてもよい。
【０１８４】
［７−２．エンコーダの基本的な構成例］
図１７は、スケーラブル符号化をサポートする、一実施形態に係る画像符号化装置１０の概略的な構成を示すブロック図である。図１７を参照すると、画像符号化装置１０は、ベースレイヤ（ＢＬ）符号化部１ａ、エンハンスメントレイヤ（ＥＬ）符号化部１ｂ、共通メモリ２及び多重化部３を備える。
【０１８５】
ＢＬ符号化部１ａは、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。ＥＬ符号化部１ｂは、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、ＢＬ符号化部１ａにより生成されるベースレイヤの符号化ストリームと、ＥＬ符号化部１ｂにより生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
【０１８６】
共通メモリ２は、例えば、ベースレイヤの輝度ビット深度情報を記憶する。ＥＬ符号化部１ｂは、共通メモリ２により記憶されるベースレイヤの輝度ビット深度情報を用いて、エンハンスメントレイヤの輝度ビット深度情報を差分符号化し得る。また、ＥＬ符号化部１ｂは、重み付け（ＷＰ）予測部４５ｂを含む。ＷＰ予測部４５ｂは、レイヤ間の色域変換又はダイナミックレンジ変換のために重み付け予測を実行する。そして、ＷＰ予測部４５ｂは、色差成分の重みの分母を特定する重み分母情報を、輝度成分と色差成分との間のビット深度差分を用いて差分符号化し得る。
【０１８７】
［７−３．デコーダの基本的な構成例］
図１８は、スケーラブル符号化をサポートする、一実施形態に係る画像復号装置６０の概略的な構成を示すブロック図である。図１８を参照すると、画像復号装置６０は、逆多重化部５、ベースレイヤ（ＢＬ）復号部６ａ、エンハンスメントレイヤ（ＥＬ）復号部６ｂ及び共通メモリ７を備える。
【０１８８】
逆多重化部５は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。ＢＬ復号部６ａは、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。ＥＬ復号部６ｂは、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
【０１８９】
共通メモリ７は、例えば、ベースレイヤの輝度ビット深度情報を記憶する。ＥＬ復号部６ｂは、共通メモリ７により記憶されるベースレイヤの輝度ビット深度情報を用いて、エンハンスメントレイヤの輝度ビット深度情報を差分復号し得る。また、ＥＬ復号部６ｂは、重み付け（ＷＰ）予測部９５ｂを含む。ＷＰ予測部９５ｂは、レイヤ間の色域変換又はダイナミックレンジ変換のために重み付け予測を実行する。そして、ＷＰ予測部９５ｂは、色差成分の重みの分母を特定する重み分母情報を、輝度成分と色差成分との間のビット深度差分を用いて差分復号し得る。
【０１９０】
［７−４．スケーラブル符号化の様々な用途］
上述したスケーラブル符号化の利点は、様々な用途において享受され得る。以下、３つの用途の例について説明する。
【０１９１】
（１）第１の例
第１の例において、スケーラブル符号化は、データの選択的な伝送のために利用される。図１９を参照すると、データ伝送システム１０００は、ストリーム記憶装置１００１及び配信サーバ１００２を含む。配信サーバ１００２は、ネットワーク１００３を介して、いくつかの端末装置と接続される。ネットワーク１００３は、有線ネットワークであっても無線ネットワークであってもよく、又はそれらの組合せであってもよい。図１９には、端末装置の例として、ＰＣ（Personal  Computer）１００４、ＡＶ機器１００５、タブレット装置１００６及び携帯電話機１００７が示されている。
【０１９２】
ストリーム記憶装置１００１は、例えば、画像符号化装置１０により生成される多重化ストリームを含むストリームデータ１０１１を記憶する。多重化ストリームは、ベースレイヤ（ＢＬ）の符号化ストリーム及びエンハンスメントレイヤ（ＥＬ）の符号化ストリームを含む。配信サーバ１００２は、ストリーム記憶装置１００１に記憶されているストリームデータ１０１１を読み出し、読み出したストリームデータ１０１１の少なくとも一部分を、ネットワーク１００３を介して、ＰＣ１００４、ＡＶ機器１００５、タブレット装置１００６、及び携帯電話機１００７へ配信する。
【０１９３】
端末装置へのストリームの配信の際、配信サーバ１００２は、端末装置の能力又は通信環境などの何らかの条件に基づいて、配信すべきストリームを選択する。例えば、配信サーバ１００２は、端末装置が扱うことのできる画質を上回るほど高い画質を有する符号化ストリームを配信しないことにより、端末装置における遅延、オーバフロー又はプロセッサの過負荷の発生を回避してもよい。また、配信サーバ１００２は、高い画質を有する符号化ストリームを配信しないことにより、ネットワーク１００３の通信帯域が占有されることを回避してもよい。一方、配信サーバ１００２は、これら回避すべきリスクが存在しない場合、又はユーザとの契約若しくは何らかの条件に基づいて適切だと判断される場合に、多重化ストリームの全てを端末装置へ配信してもよい。
【０１９４】
図１９の例では、配信サーバ１００２は、ストリーム記憶装置１００１からストリームデータ１０１１を読み出す。そして、配信サーバ１００２は、高い処理能力を有するＰＣ１００４へ、ストリームデータ１０１１をそのまま配信する。また、ＡＶ機器１００５は低い処理能力を有するため、配信サーバ１００２は、ストリームデータ１０１１から抽出されるベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を生成し、ストリームデータ１０１２をＡＶ機器１００５へ配信する。また、配信サーバ１００２は、高い通信レートで通信可能であるタブレット装置１００６へストリームデータ１０１１をそのまま配信する。また、携帯電話機１００７は低い通信レートでしか通信できないため、配信サーバ１００２は、ベースレイヤの符号化ストリームのみを含むストリームデータ１０１２を携帯電話機１００７へ配信する。
【０１９５】
このように多重化ストリームを用いることにより、伝送されるトラフィックの量を適応的に調整することができる。また、個々のレイヤがそれぞれ単独に符号化されるケースと比較して、ストリームデータ１０１１の符号量は削減されるため、ストリームデータ１０１１の全体が配信されるとしても、ネットワーク１００３に掛かる負荷は抑制される。さらに、ストリーム記憶装置１００１のメモリリソースも節約される。
【０１９６】
端末装置のハードウエア性能は、装置ごとに異なる。また、端末装置において実行されるアプリケーションのケイパビリティも様々である。さらに、ネットワーク１００３の通信容量もまた様々である。データ伝送のために利用可能な容量は、他のトラフィックの存在に起因して、時々刻々と変化し得る。そこで、配信サーバ１００２は、ストリームデータの配信を開始する前に、配信先の端末装置との間のシグナリングを通じて、端末装置のハードウエア性能及びアプリケーションケイパビリティなどに関する端末情報と、ネットワーク１００３の通信容量などに関するネットワーク情報とを取得してもよい。そして、配信サーバ１００２は、取得した情報に基づいて、配信すべきストリームを選択し得る。
【０１９７】
なお、復号すべきレイヤの抽出は、端末装置において行われてもよい。例えば、ＰＣ１００４は、受信した多重化ストリームから抽出され復号されるベースレイヤ画像をその画面に表示してもよい。また、ＰＣ１００４は、受信した多重化ストリームからベースレイヤの符号化ストリームを抽出してストリームデータ１０１２を生成し、生成したストリームデータ１０１２を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０１９８】
図１９に示したデータ伝送システム１０００の構成は一例に過ぎない。データ伝送システム１０００は、いかなる数のストリーム記憶装置１００１、配信サーバ１００２、ネットワーク１００３、及び端末装置を含んでもよい。
【０１９９】
（２）第２の例
第２の例において、スケーラブル符号化は、複数の通信チャネルを介するデータの伝送のために利用される。図２０を参照すると、データ伝送システム１１００は、放送局１１０１及び端末装置１１０２を含む。放送局１１０１は、地上波チャネル１１１１上で、ベースレイヤの符号化ストリーム１１２１を放送する。また、放送局１１０１は、ネットワーク１１１２を介して、エンハンスメントレイヤの符号化ストリーム１１２２を端末装置１１０２へ送信する。
【０２００】
端末装置１１０２は、放送局１１０１により放送される地上波放送を受信するための受信機能を有し、地上波チャネル１１１１を介してベースレイヤの符号化ストリーム１１２１を受信する。また、端末装置１１０２は、放送局１１０１と通信するための通信機能を有し、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信する。
【０２０１】
端末装置１１０２は、例えば、ユーザからの指示に応じて、ベースレイヤの符号化ストリーム１１２１を受信し、受信した符号化ストリーム１１２１からベースレイヤ画像を復号してベースレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したベースレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０２０２】
また、端末装置１１０２は、例えば、ユーザからの指示に応じて、ネットワーク１１１２を介してエンハンスメントレイヤの符号化ストリーム１１２２を受信し、ベースレイヤの符号化ストリーム１１２１とエンハンスメントレイヤの符号化ストリーム１１２２とを多重化することにより多重化ストリームを生成してもよい。また、端末装置１１０２は、エンハンスメントレイヤの符号化ストリーム１１２２からエンハンスメントレイヤ画像を復号してエンハンスメントレイヤ画像を画面に表示してもよい。また、端末装置１１０２は、復号したエンハンスメントレイヤ画像を記憶媒体に記憶させ、又は他の装置へ転送してもよい。
【０２０３】
上述したように、多重化ストリームに含まれる各レイヤの符号化ストリームは、レイヤごとに異なる通信チャネルを介して伝送され得る。それにより、個々のチャネルに掛かる負荷を分散させて、通信の遅延若しくはオーバフローの発生を抑制することができる。
【０２０４】
また、何らかの条件に応じて、伝送のために使用される通信チャネルが動的に選択されてもよい。例えば、データ量が比較的多いベースレイヤの符号化ストリーム１１２１は帯域幅の広い通信チャネルを介して伝送され、データ量が比較的少ないエンハンスメントレイヤの符号化ストリーム１１２２は帯域幅の狭い通信チャネルを介して伝送され得る。また、特定のレイヤの符号化ストリーム１１２２が伝送される通信チャネルが、通信チャネルの帯域幅に応じて切り替えられてもよい。それにより、個々のチャネルに掛かる負荷をより効果的に抑制することができる。
【０２０５】
なお、図２０に示したデータ伝送システム１１００の構成は一例に過ぎない。データ伝送システム１１００は、いかなる数の通信チャネル及び端末装置を含んでもよい。また、放送以外の用途において、ここで説明したシステムの構成が利用されてもよい。
【０２０６】
（３）第３の例
第３の例において、スケーラブル符号化は、映像の記憶のために利用される。図２１を参照すると、データ伝送システム１２００は、撮像装置１２０１及びストリーム記憶装置１２０２を含む。撮像装置１２０１は、被写体１２１１を撮像することにより生成される画像データをスケーラブル符号化し、多重化ストリーム１２２１を生成する。多重化ストリーム１２２１は、ベースレイヤの符号化ストリーム及びエンハンスメントレイヤの符号化ストリームを含む。そして、撮像装置１２０１は、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給する。
【０２０７】
ストリーム記憶装置１２０２は、撮像装置１２０１から供給される多重化ストリーム１２２１を、モードごとに異なる画質で記憶する。例えば、ストリーム記憶装置１２０２は、通常モードにおいて、多重化ストリーム１２２１からベースレイヤの符号化ストリーム１２２２を抽出し、抽出したベースレイヤの符号化ストリーム１２２２を記憶する。これに対し、ストリーム記憶装置１２０２は、高画質モードにおいて、多重化ストリーム１２２１をそのまま記憶する。それにより、ストリーム記憶装置１２０２は、高画質での映像の記録が望まれる場合にのみ、データ量の多い高画質のストリームを記録することができる。そのため、画質の劣化のユーザへの影響を抑制しながら、メモリリソースを節約することができる。
【０２０８】
例えば、撮像装置１２０１は、監視カメラであるものとする。撮像画像に監視対象（例えば侵入者）が映っていない場合には、通常モードが選択される。この場合、撮像画像は重要でない可能性が高いため、データ量の削減が優先され、映像は低画質で記録される（即ち、ベースレイヤの符号化ストリーム１２２２のみが記憶される）。これに対し、撮像画像に監視対象（例えば、侵入者である被写体１２１１）が映っている場合には、高画質モードが選択される。この場合、撮像画像は重要である可能性が高いため、画質の高さが優先され、映像は高画質で記録される（即ち、多重化ストリーム１２２１が記憶される）。
【０２０９】
図２１の例では、モードは、例えば画像解析結果に基づいて、ストリーム記憶装置１２０２により選択される。しかしながら、かかる例に限定されず、撮像装置１２０１がモードを選択してもよい。後者の場合、撮像装置１２０１は、通常モードにおいて、ベースレイヤの符号化ストリーム１２２２をストリーム記憶装置１２０２へ供給し、高画質モードにおいて、多重化ストリーム１２２１をストリーム記憶装置１２０２へ供給してもよい。
【０２１０】
なお、モードを選択するための選択基準は、いかなる基準であってもよい。例えば、マイクロフォンを通じて取得される音声の大きさ又は音声の波形などに応じて、モードが切り替えられてもよい。また、周期的にモードが切り替えられてもよい。また、ユーザからの指示に応じてモードが切り替えられてもよい。さらに、選択可能なモードの数は、階層化されるレイヤの数を超えない限り、いかなる数であってもよい。
【０２１１】
図２１に示したデータ伝送システム１２００の構成は一例に過ぎない。データ伝送システム１２００は、いかなる数の撮像装置１２０１を含んでもよい。また、監視カメラ以外の用途において、ここで説明したシステムの構成が利用されてもよい。
【０２１２】
［７−５．その他］
（１）マルチビューコーデックへの応用
マルチビューコーデックは、マルチレイヤコーデックの一種であり、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図２２は、マルチビューコーデックについて説明するための説明図である。図２２を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base  view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図２２の例では、ビューＩＤが“０”であるビューがベースビューであり、ビューＩＤが“１”又は“２”である２つのビューがノンベースビューである。これらビューが階層的に符号化される場合、各ビューがレイヤに相当し得る。図中に矢印で示したように、ノンベースビューの画像は、ベースビューの画像を参照して符号化され及び復号される（他のノンベースビューの画像も参照されてよい）。
【０２１３】
図２３は、マルチビューコーデックをサポートする画像符号化装置１０ｖの概略的な構成を示すブロック図である。図２３を参照すると、画像符号化装置１０ｖは、第１レイヤ符号化部１ｃ、第２レイヤ符号化部１ｄ、共通メモリ２及び多重化部３を備える。
【０２１４】
第１レイヤ符号化部１ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像を受け取ることを除き、図１７を用いて説明したＢＬ符号化部１ａの機能と同等である。第１レイヤ符号化部１ｃは、ベースビュー画像を符号化し、第１レイヤの符号化ストリームを生成する。第２レイヤ符号化部１ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像を受け取ることを除き、図１７を用いて説明したＥＬ符号化部１ｂの機能と同等である。第２レイヤ符号化部１ｄは、ノンベースビュー画像を符号化し、第２レイヤの符号化ストリームを生成する。共通メモリ２は、レイヤ間で共通的に利用される情報を記憶する。多重化部３は、第１レイヤ符号化部１ｃにより生成される第１レイヤの符号化ストリームと、第２レイヤ符号化部１ｄにより生成される第２レイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
【０２１５】
図２４は、マルチビューコーデックをサポートする画像復号装置６０ｖの概略的な構成を示すブロック図である。図２４を参照すると、画像復号装置６０ｖは、逆多重化部５、第１レイヤ復号部６ｃ、第２レイヤ復号部６ｄ及び共通メモリ７を備える。
【０２１６】
逆多重化部５は、マルチレイヤの多重化ストリームを第１レイヤの符号化ストリーム及び第２レイヤの符号化ストリームに逆多重化する。第１レイヤ復号部６ｃの機能は、入力としてベースレイヤ画像の代わりにベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図１８を用いて説明したＢＬ復号部６ａの機能と同等である。第１レイヤ復号部６ｃは、第１レイヤの符号化ストリームからベースビュー画像を復号する。第２レイヤ復号部６ｄの機能は、入力としてエンハンスメントレイヤ画像の代わりにノンベースビュー画像が符号化された符号化ストリームを受け取ることを除き、図１８を用いて説明したＥＬ復号部６ｂの機能と同等である。第２レイヤ復号部６ｄは、第２レイヤの符号化ストリームからノンベースビュー画像を復号する。共通メモリ７は、レイヤ間で共通的に利用される情報を記憶する。
【０２１７】
（２）ストリーミング技術への応用
本開示に係る技術は、ストリーミングプロトコルに適用されてもよい。例えば、ＭＰＥＧ−ＤＡＳＨ（Dynamic  Adaptive  Streaming  over  HTTP）では、解像度などのパラメータが互いに異なる複数の符号化ストリームがストリーミングサーバにおいて予め用意される。そして、ストリーミングサーバは、複数の符号化ストリームからストリーミングすべき適切なデータをセグメント単位で動的に選択し、選択したデータを配信する。このようなストリーミングプロトコルにおいて、本開示に係る技術に従って、符号化ストリーム間でビット深度関連情報が差分符号化されてもよい。
【０２１８】
＜８．まとめ＞
ここまで、図１〜図２４を用いて、本開示に係る技術の実施形態について詳細に説明した。上述した実施形態によれば、符号化され又は復号される画像の色差成分のための色差ビット深度が、輝度ビット深度情報により示される輝度ビット深度と色差ビット深度情報により示されるビット深度差分とに基づいて計算される。従って、輝度ビット深度と色差ビット深度との間の差分がゼロ又はゼロに近い値となる多くの用途において、色差ビット深度情報の符号量を削減することができる。また、色差ビット深度情報により示されるビット深度差分を用いて、重み付け予測の重みの分母などの、ビット深度との相関を有し得るパラメータをさらに差分符号化することにより、ビット深度関連情報の符号量を一層削減することも可能である。
【０２１９】
また、上述した実施形態によれば、符号化され又は復号される画像のＰＣＭサンプルのためのＰＣＭ用ビット深度が、非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度とＰＣＭ用ビット深度情報により示されるビット深度差分とに基づいて計算される。従って、非ＰＣＭサンプルとＰＣＭサンプルとの間で差分が大きくない多くの用途において、非ＰＣＭ用ビット深度情報の符号量を削減することができる。ＰＣＭ用色差ビット深度情報の符号量を、非ＰＣＭ用の輝度成分と色差成分との間のビット深度差分を用いてさらに削減することも可能である。
【０２２０】
なお、本明細書に記述したＣＵ、ＰＵ及びＴＵとの用語は、ＨＥＶＣにおいて、個々のブロックに関連付けられるシンタックスをも含む論理的な単位を意味する。画像の一部分としての個々のブロックのみに着目する場合、これらは、ＣＢ（Coding  Block）、ＰＢ（Prediction  Block）及びＴＢ（Transform  Block）との用語にそれぞれ置き換えられてもよい。ＣＢは、ＣＴＢ（Coding  Tree  Block）を四分木（Quad-Tree）状に階層的に分割することにより形成される。１つの四分木の全体がＣＴＢに相当し、ＣＴＢに対応する論理的な単位はＣＴＵ（Coding  Tree  Unit）と呼ばれる。ＨＥＶＣにおけるＣＴＢ及びＣＢは、符号化処理の処理単位である点でＨ．２６４／ＡＶＣにおけるマクロブロックに類似する役割を有する。但し、ＣＴＢ及びＣＢは、そのサイズが固定的でない点でマクロブロックと異なる（マクロブロックのサイズは常に１６×１６画素である）。ＣＴＢのサイズは１６×１６画素、３２×３２画素及び６４×６４画素から選択され、符号化ストリーム内でパラメータにより指定される。ＣＢのサイズは、ＣＴＢの分割の深さによって変化し得る。
【０２２１】
また、本明細書では、ビット深度関連情報が、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について主に説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２２２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２２３】
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
【０２２４】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得する取得部と、
前記第１のビット深度情報に従って前記輝度成分を復号し、前記第２のビット深度情報に従って前記色差成分を復号する復号部と、
を備え、
前記復号部は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で、前記色差成分を復号する、
画像処理装置。
（２）
前記画像処理装置は、前記輝度成分及び前記色差成分について別々の重みを用いて重み付け予測を実行する予測部、をさらに備え、
前記予測部は、前記色差成分の重みの分母を、前記ビット深度差分を算入することにより計算する、
前記（１）に記載の画像処理装置。
（３）
前記取得部は、前記輝度成分の重みの分母を示す第１の重み分母情報、及び前記色差成分の重みの分母に関連する残余差分を示す第２の重み分母情報、をさらに取得し、
前記予測部は、前記第１の重み分母情報により示される前記輝度成分の前記重みの分母と、前記ビット深度差分と、前記第２の重み分母情報により示される前記残余差分とに基づいて、前記色差成分の前記重みの分母を計算する、
前記（２）に記載の画像処理装置。
（４）
前記画像は、スケーラブル復号されるエンハンスメントレイヤ画像であり、
前記予測部は、レイヤ間の色域変換又はダイナミックレンジ変換のために前記重み付け予測を実行する、
前記（２）又は前記（３）に記載の画像処理装置。
（５）
前記画像は、スケーラブル復号されるエンハンスメントレイヤ画像であり、
前記第１のビット深度情報は、前記エンハンスメントレイヤ画像の輝度成分のための前記第１のビット深度と、ベースレイヤ画像の輝度成分のためのビット深度との間の差分を示す、
前記（１）〜（４）のいずれか１項に記載の画像処理装置。
（６）
符号化された画像の非ＰＣＭサンプルを復号するための非ＰＣＭ用ビット深度情報、及び符号化された前記画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を取得する取得部と、
前記非ＰＣＭ用ビット深度情報に従って前記非ＰＣＭサンプルを復号し、前記ＰＣＭ用ビット深度情報に従って前記ＰＣＭサンプルを復号する復号部と、
を備え、
前記復号部は、前記非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度情報により示される第１のビット深度差分とに基づいて計算されるＰＣＭ用ビット深度で、前記ＰＣＭサンプルを復号する、
画像処理装置。
（７）
前記非ＰＣＭ用ビット深度情報は、前記非ＰＣＭサンプルの輝度成分のための第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記非ＰＣＭサンプルの色差成分のための第２のビット深度との間の第２のビット深度差分を示す第２のビット深度情報、を含み、
前記第１のビット深度差分に基づく前記ＰＣＭサンプルの輝度成分のための第３のビット深度と前記第２のビット深度差分とを算入することにより、前記ＰＣＭサンプルの色差成分のための第４のビット深度が計算される、
前記（６）に記載の画像処理装置。
（８）
前記ＰＣＭ用ビット深度情報は、前記第１のビット深度差分を示す第３のビット深度情報と、前記第４のビット深度に関連する残余差分を示す第４のビット深度情報と、を含み、
前記第３のビット深度と、前記第２のビット深度差分と、前記第４のビット深度情報により示される前記残余差分とに基づいて、前記第４のビット深度が計算される、
前記（７）に記載の画像処理装置。
（９）
前記ＰＣＭ用ビット深度情報は、別々のＣＵ（Coding  Unit）サイズについて別々のビット深度差分を示す、前記（６）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記ＰＣＭ用ビット深度情報は、第１のＣＵサイズについてのビット深度差分に基づいて差分符号化された第２のＣＵサイズについてのビット深度差分を示す、前記（９）に記載の画像処理装置。
（１１）
画像の輝度成分を第１のビット深度で、前記画像の色差成分を第２のビット深度で符号化する符号化部と、
前記第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記第２のビット深度との間のビット深度差分を示す第２のビット深度情報を生成する生成部と、
を備え、
前記符号化部は、前記第１のビット深度情報及び前記第２のビット深度情報をさらに符号化する、
画像処理装置。
（１２）
前記画像処理装置は、前記輝度成分及び前記色差成分について別々の重みを用いて重み付け予測を実行する予測部、をさらに備え、
前記色差成分の重みの分母は、前記ビット深度差分を用いて差分符号化される、
前記（１１）に記載の画像処理装置。
（１３）
前記色差成分の前記重みの分母は、前記輝度成分の重みの分母と、前記ビット深度差分と、残余差分とに基づいて計算され、
前記符号化部は、前記輝度成分の前記重みの分母を示す第１の重み分母情報、及び前記残余差分を示す第２の重み分母情報をさらに符号化する、
前記（１２）に記載の画像処理装置。
（１４）
前記画像は、スケーラブル符号化されるエンハンスメントレイヤ画像であり、
前記予測部は、レイヤ間の色域変換又はダイナミックレンジ変換のために前記重み付け予測を実行する、
前記（１２）又は前記（１３）に記載の画像処理装置。
（１５）
前記画像は、スケーラブル符号化されるエンハンスメントレイヤ画像であり、
前記第１のビット深度情報は、前記エンハンスメントレイヤ画像の輝度成分のための前記第１のビット深度と、ベースレイヤ画像の輝度成分のためのビット深度との間の差分を示す、
前記（１１）〜（１４）のいずれか１項に記載の画像処理装置。
（１６）
画像の非ＰＣＭサンプル及び前記画像のＰＣＭサンプルを別々に定義されるビット深度で符号化する符号化部と、
非ＰＣＭ用ビット深度を示す非ＰＣＭ用ビット深度情報、及び前記非ＰＣＭ用ビット深度とＰＣＭ用ビット深度との間の第１のビット深度差分を示すＰＣＭ用ビット深度情報を生成する生成部と、
を備え、
前記符号化部は、前記非ＰＣＭ用ビット深度情報及び前記ＰＣＭ用ビット深度情報をさらに符号化する、
画像処理装置。
（１７）
前記非ＰＣＭ用ビット深度情報は、前記非ＰＣＭサンプルの輝度成分のための第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記非ＰＣＭサンプルの色差成分のための第２のビット深度との間の第２のビット深度差分を示す第２のビット深度情報、を含み、
前記ＰＣＭサンプルの輝度成分のための第３のビット深度と前記第２のビット深度差分とを用いて、前記ＰＣＭサンプルの色差成分のための第４のビット深度が差分符号化される、
前記（１６）に記載の画像処理装置。
（１８）
前記第４のビット深度は、前記第３のビット深度と、前記第２のビット深度差分と、残余差分とに基づいて計算され、
前記ＰＣＭ用ビット深度情報は、前記第１のビット深度差分を示す第３のビット深度情報と、前記残余差分を示す第４のビット深度情報とを含む、
前記（１７）に記載の画像処理装置。
（１９）
前記ＰＣＭ用ビット深度情報は、別々のＣＵ（Coding  Unit）サイズについて別々のビット深度差分を示す、前記（１６）〜（１８）のいずれか１項に記載の画像処理装置。
（２０）
前記ＰＣＭ用ビット深度情報は、第１のＣＵサイズについてのビット深度差分に基づいて差分符号化される第２のＣＵサイズについてのビット深度差分を示す、前記（１９）に記載の画像処理装置。
（２１）
符号化された画像の輝度成分を復号するための第１のビット深度情報、及び符号化された前記画像の色差成分を復号するための第２のビット深度情報を取得することと、
前記第１のビット深度情報に従って前記輝度成分を復号することと、
前記第２のビット深度情報に従って前記色差成分を復号することと、
を含み、
前記色差成分は、前記第１のビット深度情報により示される第１のビット深度と前記第２のビット深度情報により示されるビット深度差分とに基づいて計算される第２のビット深度で復号される、
画像処理方法。
（２２）
符号化された画像の非ＰＣＭサンプルを復号するための非ＰＣＭ用ビット深度情報、及び符号化された前記画像のＰＣＭサンプルを復号するためのＰＣＭ用ビット深度情報を取得することと、
前記非ＰＣＭ用ビット深度情報に従って前記非ＰＣＭサンプルを復号することと、
前記ＰＣＭ用ビット深度情報に従って前記ＰＣＭサンプルを復号することと、
を含み、
前記ＰＣＭサンプルは、前記非ＰＣＭ用ビット深度情報により示される非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度情報により示される第１のビット深度差分とに基づいて計算されるＰＣＭ用ビット深度で復号される、
画像処理方法。
（２３）
画像の輝度成分を第１のビット深度で符号化することと、
前記画像の色差成分を第２のビット深度で符号化することと、
前記第１のビット深度を示す第１のビット深度情報、及び前記第１のビット深度と前記第２のビット深度との間のビット深度差分を示す第２のビット深度情報を生成することと、
前記第１のビット深度情報及び前記第２のビット深度情報を符号化することと、
を含む画像処理方法。
（２４）
画像の非ＰＣＭサンプルを非ＰＣＭ用ビット深度で符号化することと、
前記画像のＰＣＭサンプルを前記非ＰＣＭ用ビット深度とは別々に定義されるＰＣＭ用ビット深度で符号化することと、
前記非ＰＣＭ用ビット深度を示す非ＰＣＭ用ビット深度情報、及び前記非ＰＣＭ用ビット深度と前記ＰＣＭ用ビット深度との間の第１のビット深度差分を示すＰＣＭ用ビット深度情報を生成することと、
前記非ＰＣＭ用ビット深度情報及び前記ＰＣＭ用ビット深度情報を符号化することと、
を含む画像処理方法。
【符号の説明】
【０２２５】
１０，１０ｖ  画像符号化装置（画像処理装置）
１２          ビット深度制御部
１６          符号化部
４２，４４    情報生成部
４５          重み付け予測部
６０，６０ｖ  画像復号装置（画像処理装置）
６２          復号部
９１，９２    情報取得部
９５          重み付け予測部
【図１】
2015192381.tif 000010
【図２】
2015192381.tif 000011
【図３】
2015192381.tif 000012
【図４】
2015192381.tif 000013
【図５】
2015192381.tif 000014
【図６】
2015192381.tif 000015
【図７】
2015192381.tif 000016
【図８】
2015192381.tif 000017
【図９】
2015192381.tif 000018
【図１０】
2015192381.tif 000019
【図１１】
2015192381.tif 000020
【図１２】
2015192381.tif 000021
【図１３】
2015192381.tif 000022
【図１４】
2015192381.tif 000023
【図１５】
2015192381.tif 000024
【図１６】
2015192381.tif 000025
【図１７】
2015192381.tif 000026
【図１８】
2015192381.tif 000027
【図１９】
2015192381.tif 000028
【図２０】
2015192381.tif 000029
【図２１】
2015192381.tif 000030
【図２２】
2015192381.tif 000031
【図２３】
2015192381.tif 000032
【図２４】
2015192381.tif 000033