(57)【要約】  本開示は、符号化効率の低減を抑制することができるようにする画像処理装置および方法に関する。画像の予測残差の有効桁数を、その画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、その有効桁数が伸長された予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、そのローカルレベルのビット深度に基づいて正規化し、その有効桁数が正規化された量子化係数を符号化し、ビットストリームを生成する。本開示は、例えば、画像処理装置、画像符号化装置、または画像復号装置等に適用することができる。
2019159697.tif 000002
【特許請求の範囲】
【請求項１】
画像の予測残差の有効桁数を、前記画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、
前記伸長部により前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と、
前記正規化部により前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する符号化部と
を備える画像処理装置。
【請求項２】
前記伸長部は、前記予測残差を、前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトし、
前記正規化部は、前記量子化係数を、前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトする
請求項１に記載の画像処理装置。
【請求項３】
前記予測残差の有効桁数の伸長および前記量子化係数の有効桁数の正規化の制御量を示す拡張ビット精度を、前記ローカルレベルの前記ビット深度に基づいて導出する拡張ビット精度導出部をさらに備え、
前記伸長部は、前記予測残差の有効桁数を、前記拡張ビット精度導出部により導出される前記拡張ビット精度で伸長し、
前記正規化部は、前記量子化係数の有効桁数を、前記拡張ビット精度導出部により導出される前記拡張ビット精度で正規化する
請求項１に記載の画像処理装置。
【請求項４】
前記拡張ビット精度導出部は、前記シーケンスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分を、前記拡張ビット精度として導出する
請求項３に記載の画像処理装置。
【請求項５】
前記符号化部は、前記拡張ビット精度導出部により導出される前記拡張ビット精度に関する情報を符号化し、前記拡張ビット精度に関する情報を含む前記ビットストリームを生成する
請求項３に記載の画像処理装置。
【請求項６】
前記拡張ビット精度導出部により導出される前記拡張ビット精度を用いて差分パラメータを導出する差分パラメータ導出部をさらに備え、
前記符号化部は、前記差分パラメータ導出部により導出された前記差分パラメータを、前記拡張ビット精度に関する情報として符号化し、前記差分パラメータを含む前記ビットストリームを生成する
請求項５に記載の画像処理装置。
【請求項７】
前記差分パラメータは、前記画像のスライスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分である
請求項６に記載の画像処理装置。
【請求項８】
画像の予測残差の有効桁数を、前記画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、
前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化し、
前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する
画像処理方法。
【請求項９】
画像の予測残差の有効桁数を、前記画像に対応する予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、
前記伸長部により前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と、
前記正規化部により前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する符号化部と
を備える画像処理装置。
【請求項１０】
画像の予測残差の有効桁数を、前記画像に対応する予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、
前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化し、
前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する
画像処理方法。
【請求項１１】
ビットストリームを復号する復号部と、
前記復号部により前記ビットストリームが復号されて得られる量子化係数の有効桁数を、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、
前記伸長部により前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と
を備える画像処理装置。
【請求項１２】
前記伸長部は、前記量子化係数を、前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトし、
前記正規化部は、前記残差データを、前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトする
請求項１１に記載の画像処理装置。
【請求項１３】
前記ビットストリームは、前記量子化係数の有効桁数の伸長および前記残差データの有効桁数の正規化の制御量を示す拡張ビット精度に関する情報を含み、
前記復号部は、
前記ビットストリームを復号して前記ビットストリームに含まれる前記拡張ビット精度に関する情報を抽出し、
抽出した前記拡張ビット精度に関する情報に基づいて、前記拡張ビット精度を導出し、
前記伸長部は、前記量子化係数の有効桁数を、前記復号部により導出された前記拡張ビット精度で伸長し、
前記正規化部は、前記残差データの有効桁数を、前記復号部により導出された前記拡張ビット精度で正規化する
請求項１１に記載の画像処理装置。
【請求項１４】
前記拡張ビット精度は、前記シーケンスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分である
請求項１３に記載の画像処理装置。
【請求項１５】
前記復号部は、CTBのサイズと前記CTBのサイズに対する分割深度の差分値とに基づいて定まるサイズの領域毎に、前記拡張ビット精度を導出する
請求項１３に記載の画像処理装置。
【請求項１６】
前記復号部は、前記ビットストリームを復号して、前記CTBのサイズに対する分割深度の差分値を抽出する
請求項１５に記載の画像処理装置。
【請求項１７】
前記復号部は、前記ビットストリームを復号して、前記ローカルレベルの前記ビット深度に基づく有効桁数の制御が可能であるかを示す制御情報を抽出し、抽出した前記制御情報に従って、前記ローカルレベルの前記ビット深度に基づく有効桁数の制御の適用を制御する
請求項１１に記載の画像処理装置。
【請求項１８】
ビットストリームを復号し、
前記ビットストリームが復号されて得られる量子化係数の有効桁数を、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、
前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する
画像処理方法。
【請求項１９】
ビットストリームを復号する復号部と、
前記復号部により前記ビットストリームが復号されて得られる量子化係数の有効桁数を、予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、
前記伸長部により前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と
を備える画像処理装置。
【請求項２０】
ビットストリームを復号し、
前記ビットストリームが復号されて得られる量子化係数の有効桁数を、予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、
前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした画像処理装置および方法に関する。
【背景技術】
【０００２】
従来、画像の符号化や復号において、シーケンスパラメータセット（SPS（Sequence Parameter Set））で規定される入力画像のビット深度’BitDepth’に基づいて、直交変換や量子化（逆量子化や逆直交変換）の演算精度を制御する方法があった（例えば、非特許文献１参照）。【０００３】
例えば、非特許文献１に記載の画像符号化・復号においては、直交変換や量子化（逆量子化や逆直交変換）の演算精度を制御するスケーリングパラメータ’bdShift’は、上述のようにシーケンス毎に設定される（SPSにおいて規定される）ビット深度’BitDepth’に基づいて設定されていた。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】J TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "High efficiency video coding", H.265, 12/2016
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、入力画像のビット深度は、例えばピクチャ毎やピクチャ内の局所領域毎等、シーケンス内において時間方向や空間方向に変化するが、従来の方法では、直交変換や量子化（逆量子化や逆直交変換）の演算精度を、入力画像のビット深度のそのような変化に応じて、シーケンス内において時間方向や空間方向に制御することが困難であった。そのため、符号化効率が低減するおそれがあった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の画像処理装置は、画像の予測残差の有効桁数を、前記画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、前記伸長部により前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と、前記正規化部により前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する符号化部とを備える画像処理装置である。【０００８】
本技術の一側面の画像処理方法は、画像の予測残差の有効桁数を、前記画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化し、前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する画像処理方法である。【０００９】
本技術の他の側面の画像処理装置は、画像の予測残差の有効桁数を、前記画像に対応する予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、前記伸長部により前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と、前記正規化部により前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する符号化部とを備える画像処理装置である。【００１０】
本技術の他の側面の画像処理方法は、画像の予測残差の有効桁数を、前記画像に対応する予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化し、前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する画像処理方法である。【００１１】
本技術のさらに他の側面の画像処理装置は、ビットストリームを復号する復号部と、前記復号部により前記ビットストリームが復号されて得られる量子化係数の有効桁数を、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、前記伸長部により前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部とを備える画像処理装置である。【００１２】
本技術のさらに他の側面の画像処理方法は、ビットストリームを復号し、前記ビットストリームが復号されて得られる量子化係数の有効桁数を、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する画像処理方法である。【００１３】
本技術のさらに他の側面の画像処理装置は、ビットストリームを復号する復号部と、前記復号部により前記ビットストリームが復号されて得られる量子化係数の有効桁数を、予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、前記伸長部により前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部とを備える画像処理装置である。【００１４】
本技術のさらに他の側面の画像処理方法は、ビットストリームを復号し、前記ビットストリームが復号されて得られる量子化係数の有効桁数を、予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する画像処理方法である。【００１５】
本技術の一側面の画像処理装置および方法においては、画像の予測残差の有効桁数が、その画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長され、その有効桁数が伸長された予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数が、そのローカルレベルのビット深度に基づいて正規化され、その有効桁数が正規化された量子化係数が符号化され、ビットストリームが生成される。【００１６】
本技術の他の側面の画像処理装置および方法においては、画像の予測残差の有効桁数が、その画像に対応する予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長され、その有効桁数が伸長された予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数が、その予測画像または前記復号画像のローカルレベルのビット深度に基づいて正規化され、その有効桁数が正規化された量子化係数が符号化され、ビットストリームが生成される。【００１７】
本技術のさらに他の側面の画像処理装置および方法においては、ビットストリームが復号され、そのビットストリームが復号されて得られる量子化係数の有効桁数が、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長され、その有効桁数が伸長された量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数が、そのローカルレベルのビット深度に基づいて正規化される。【００１８】
本技術のさらに他の側面の画像処理装置および方法においては、ビットストリームが復号され、そのビットストリームが復号されて得られる量子化係数の有効桁数が、予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長され、その有効桁数が伸長された量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数が、その予測画像または前記復号画像のローカルレベルのビット深度に基づいて正規化される。
【発明の効果】
【００１９】
本開示によれば、画像を処理することができる。特に、符号化効率の低減を抑制することができる。
【図面の簡単な説明】
【００２０】
【図１】演算精度の制御の様子の例を示す図である。
【図２】使用ビットレンジの例を示す図である。
【図３】演算精度の変化の様子の例を示す図である。
【図４】ピクチャ間のビット深度の変化の様子の例を示す図である。
【図５】局所領域間の輝度信号のビット深度の変化の例を示す図である。
【図６】局所領域間の輝度信号のビット深度の変化の例を示す図である。
【図７】局所領域間の色差信号のビット深度の変化の例を示す図である。
【図８】局所領域間の色差信号のビット深度の変化の例を示す図である。
【図９】演算精度の主な制御方法の一覧を示す図である。
【図１０】方法＃１による直交変換や量子化の演算精度の制御の様子の例を示す図である。
【図１１】方法＃１による逆量子化や逆直交変換の演算精度の制御の様子の例を示す図である。
【図１２】演算精度の変化の様子の例を示す図である。
【図１３】方法＃２による直交変換や量子化の演算精度の制御の様子の例を示す図である。
【図１４】方法＃２による逆量子化や逆直交変換の演算精度の制御の様子の例を示す図である。
【図１５】画像符号化装置の主な構成例を示すブロック図である。
【図１６】制御部の主な構成例を示すブロック図である。
【図１７】画像符号化処理の流れの例を説明するフローチャートである。
【図１８】dBD,deltaX導出処理の流れの例を説明するフローチャートである。
【図１９】入力画像の例を示す図である。
【図２０】拡張ビット精度制御グループの例を示す図である。
【図２１】拡張ビット精度の予測値の導出方法の例を示す図である。
【図２２】拡張ビット精度情報符号化処理の流れの例を説明するフローチャートである。
【図２３】シンタックスの例を示す図である。
【図２４】画像復号装置の主な構成例を示すブロック図である。
【図２５】復号部の主な構成例を示すブロック図である。
【図２６】画像復号処理の流れの例を説明するフローチャートである。
【図２７】dBD導出処理の流れの例を説明するフローチャートである。
【図２８】画像符号化装置の主な構成例を示すブロック図である。
【図２９】制御部の主な構成例を示すブロック図である。
【図３０】画像符号化処理の流れの例を説明するフローチャートである。
【図３１】シーケンスビット深度設定処理の流れの例を説明するフローチャートである。
【図３２】dBD導出処理の流れの例を説明するフローチャートである。
【図３３】拡張ビット精度情報符号化処理の流れの例を説明するフローチャートである。
【図３４】画像復号装置の主な構成例を示すブロック図である。
【図３５】復号部の主な構成例を示すブロック図である。
【図３６】画像復号処理の流れの例を説明するフローチャートである。
【図３７】シーケンスビット深度導出処理の流れの例を説明するフローチャートである。
【図３８】コンピュータの主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．演算精度の制御
２．共通コンセプト（各手法概要）
３．第１の実施の形態（方法＃１詳細）
４．第２の実施の形態（方法＃２詳細）
５．付記
【００２２】
＜１．演算精度の制御＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施例に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
【００２３】
非特許文献１：（上述）
非特許文献２：TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU（International Telecommunication Union）, "Advanced video coding for generic audiovisual services", H.264, 04/2017
非特許文献３：Jianle Chen, Elena Alshina, Gary J. Sullivan, Jens-Rainer, Jill Boyce, "Algorithm Description of Joint Exploration Test Model 4", JVET-G1001_v1, Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 7th Meeting: Torino, IT, 13-21 July 2017
【００２４】
つまり、上述の非特許文献に記載されている内容もサポート要件を判断する際の根拠となる。例えば、非特許文献１に記載されているQuad-Tree Block Structure、非特許文献３に記載されているQTBT（Quad Tree Plus Binary Tree） Block Structureが実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。また、例えば、パース（Parsing）、シンタックス（Syntax）、セマンティクス（Semantics）等の技術用語についても同様に、実施例において直接的な記載がない場合でも、本技術の開示範囲内であり、請求の範囲のサポート要件を満たすものとする。
【００２５】
また、本明細書において、画像（ピクチャ）の部分領域や処理単位として説明に用いる「ブロック」（処理部を示すブロックではない）は、特に言及しない限り、ピクチャ内の任意の部分領域を示し、その大きさ、形状、および特性等は限定されない。例えば、「ブロック」には、上述の非特許文献１乃至非特許文献３に記載のTB（Transform Block）、TU（Transform Unit）、PB（Prediction Block）、PU（Prediction Unit）、SCU（Smallest Coding Unit）、CU（Coding Unit）、LCU（Largest Coding Unit）、CTB（Coding Tree Block）、CTU（Coding Tree Unit）、変換ブロック、サブブロック、マクロブロック、タイル、またはスライス等、任意の部分領域（処理単位）が含まれるものとする。
【００２６】
また、このようなブロックのサイズを指定するに当たって、直接的にブロックサイズを指定するだけでなく、間接的にブロックサイズを指定するようにしてもよい。例えばサイズを識別する識別情報を用いてブロックサイズを指定するようにしてもよい。また、例えば、基準となるブロック（例えばLCUやSCU等）のサイズとの比または差分によってブロックサイズを指定するようにしてもよい。例えば、シンタックス要素等としてブロックサイズを指定する情報を伝送する場合に、その情報として、上述のような間接的にサイズを指定する情報を用いるようにしてもよい。このようにすることにより、その情報の情報量を低減させることができ、符号化効率を向上させることができる場合もある。また、このブロックサイズの指定には、ブロックサイズの範囲の指定（例えば、許容されるブロックサイズの範囲の指定等）も含む。
【００２７】
＜演算精度の制御＞
従来、例えば非特許文献１に記載の方法のように、画像の符号化や復号において、シーケンスパラメータセット（SPS（Sequence Parameter Set））で規定される入力画像のビット深度'BitDepth'に基づいて、直交変換や量子化（逆量子化や逆直交変換）の演算精度を制御する方法があった。
【００２８】
例えば、図１のＡに示されるように、符号化において、入力画像とその予測画像との差分（予測残差）を求め（図示せず）、その予測残差resに対してプライマリ水平変換１１、プライマリ垂直変換１２、セカンダリ変換（図示せず）、量子化１３、および符号化１４を行う方法がある。
【００２９】
このような符号化のプライマリ水平変換１１において、所定のスケーリングパラメータであるプライマリ水平変換シフト量fwdShift1を用いて変換後の係数データtmpをビットシフトし、プライマリ垂直変換１２において、所定のスケーリングパラメータであるプライマリ垂直変換シフト量fwdShift2を用いて変換後の係数データ（変換係数とも称する）coefをビットシフトし、量子化１３において、所定のスケーリングパラメータである量子化シフト量fwdQShiftを用いて量子化後の係数データ（量子化係数とも称する）qcoefをビットシフトすることにより、それぞれの有効桁数を制御する方法がある。なお、これらのスケーリングパラメータの内、プライマリ水平変換シフト量fwdShift1と量子化シフト量fwdQShiftとが、ビット深度'bitDepth'に依存する。
【００３０】
このような符号化に対応する復号の場合、図１のＢに示されるように、ビットストリームbitstreamに対して、復号２１、逆量子化２２、逆セカンダリ変換（図示せず）、逆プライマリ垂直変換２３、および逆プライマリ水平変換２４が順次行われ、得られた予測残差resrecに対して予測画像が加算されて（図示せず）復号画像が得られる。
【００３１】
このような復号の逆量子化２２において、所定のスケーリングパラメータである逆量子化シフト量invQShiftを用いて逆量子化後の係数データ（つまり変換係数）coefをビットシフトし、逆プライマリ垂直変換２３において、所定のスケーリングパラメータである逆プライマリ垂直変換シフト量invShift1を用いて変換後の係数データtmpをビットシフトし、逆プライマリ水平変換２４として、所定のスケーリングパラメータである逆プライマリ水平変換シフト量invShift2を用いて変換後の残差データ（つまり予測残差）resrecをビットシフトすることにより、それぞれの有効桁数を制御する方法がある。なお、これらのスケーリングパラメータの内、逆プライマリ水平変換シフト量invShift2と逆量子化シフト量invQShiftとが、ビット深度'bitDepth'に依存する。
【００３２】
つまり、狭いレンジの信号を想定した場合、データのとり得る最小値coefMin乃至最大値coefMaxのフルレンジを使って演算されることはない。すなわち、図２に示されるように、データのLSB（Least Significant Bit）乃至MSB（Most Significant Bit）のビット幅（log2TransformRange+1）bitには、係数の数値表現に使用されているビットフィールド（図中斜線部分）と、使用されていないビットフィールド（図中白地部分）とが存在する。つまり、最小値coefMin乃至最大値coefMaxの範囲内で、使用されていないビットフィールドの一部を係数の有効桁数を上げるビットとして用いる余地がある。
【００３３】
図１の例では、この余地（使われないレンジ）を利用して係数データをビットシフトすることにより、直交変換や量子化（逆量子化や逆直交変換）における係数データの有効桁数（すなわち演算精度）を制御している。例えば復号の場合、逆量子化、逆垂直変換、逆水平変換の各処理において、係数データや残差データの有効桁数は、図３のように拡張される。データの有効桁数が拡張することにより、演算精度が向上する。
【００３４】
しかしながら、入力画像のビット深度は、例えばピクチャ毎やピクチャ内の局所領域毎等、シーケンス内においても時間方向や空間方向に変化しうる。例えば、図４のＡに示されるフレーム４１においては、照明が少なく全体が暗い画像となっている。このフレーム４１内の画素値の分布はヒストグラム４２のようになり、信号のレンジ（画素値の最小値乃至最大値の幅）（以下、ビット深度とも称する）は、９ビットである。
【００３５】
図４のＢに示されるフレーム４３は、フレーム４１の次のフレームである。フレーム４３は、照明が多く全体が明るい画像となっている。このフレーム４３の画素値の分布はヒストグラム４４のようになり、ビット深度は１０ビットである。
【００３６】
このように例えば照明変動等が起きると、ピクチャ間で信号のレンジ（ビット深度）が変化する。つまり、シーケンス内においても時間方向のビット深度の変化が起こり得る。
【００３７】
また、ピクチャ内においても、局所領域毎にビット深度が変化することもあり得る。つまり、空間方向のビット深度の変化も起こり得る。例えば、図５に示される輝度信号のピクチャ４５を４×４に１６分割し、それぞれを局所領域（局所領域００乃至局所領域３３）とすると、この輝度信号のピクチャ４５の各局所領域の画素値のヒストグラムは、図６のようになる。つまり、ピクチャ４５の局所領域３０および３３のビット深度は９ビットであり、ピクチャ全体（all）やその他の局所領域のビット深度は１０ビットである。このように、輝度信号のビット深度は、ピクチャ内の輝度分布に応じて、空間方向に変化しうる。
【００３８】
また、例えば、図７に示される色差信号（Ｃｂ）のピクチャ４６を４×４に１６分割し、それぞれを局所領域（局所領域００乃至局所領域３３）とすると、この色差信号のピクチャ４６の各局所領域の画素値のヒストグラムは、図８のようになる。つまり、この場合、ピクチャ４６には、ビット深度が７ビットの局所領域、ビット深度が８ビットの局所領域、９ビットの局所領域が存在する。このように、色差信号のビット深度は、ピクチャ内の色差分布に応じて空間方向に変化しうる。
【００３９】
これに対して、直交変換や量子化（逆量子化や逆直交変換）に用いられるスケーリングパラメータは、上述したようにシーケンスパラメータセットにセットされる。つまり、直交変換や量子化（逆量子化や逆直交変換）における有効桁数の制御は、シーケンス毎に行われる。
【００４０】
そのため、直交変換や量子化（逆量子化や逆直交変換）の演算精度を、入力画像のビット深度の変化に応じて、シーケンス内において時間方向や空間方向に制御することが困難であった。そのため、符号化効率が低減するおそれがあった。
【００４１】
＜２．共通コンセプト＞
＜シーケンス内における演算精度の制御＞
そこで、画像の予測残差の有効桁数を、その画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、その有効桁数が伸長された予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、そのローカルレベルのビット深度に基づいて正規化し、その有効桁数が正規化された量子化係数を符号化し、ビットストリームを生成するようにする。
【００４２】
例えば、画像処理装置において、画像の予測残差の有効桁数を、その画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、その伸長部により有効桁数が伸長された予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、そのローカルレベルのビット深度に基づいて正規化する正規化部と、その正規化部により有効桁数が正規化された量子化係数を符号化し、ビットストリームを生成する符号化部とを備えるようにする。
【００４３】
このようにすることにより、係数の有効桁数を、シーケンス内においても時間方向または空間方向に対して制御した状態で直交変換や量子化を行うことができる。つまり、直交変換および量子化の演算精度を、シーケンス内においても時間方向または空間方向に対して制御することができる。したがって、符号化効率の低減を抑制することができる。
【００４４】
また、ビットストリームを復号し、そのビットストリームが復号されて得られる量子化係数の有効桁数を、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、その有効桁数が伸長された量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、そのローカルレベルのビット深度に基づいて正規化するようにする。
【００４５】
例えば、画像処理装置において、ビットストリームを復号する復号部と、その復号部によりビットストリームが復号されて得られる量子化係数の有効桁数を、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、その伸長部により有効桁数が伸長された量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、そのローカルレベルのビット深度に基づいて正規化する正規化部とを備えるようにする。
【００４６】
このようにすることにより、係数の有効桁数を、シーケンス内においても時間方向または空間方向に対して制御した状態で逆量子化や逆直交変換を行うことができる。つまり、逆量子化および逆直交変換の演算精度を、シーケンス内においても時間方向または空間方向に対して制御することができる。したがって、符号化効率の低減を抑制することができる。
【００４７】
また、画像の予測残差の有効桁数を、その画像に対応する予測画像（またはその予測画像を生成する際に参照する復号画像）のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、その有効桁数が伸長された予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、その予測画像（またはその予測画像を生成する際に参照する復号画像）のローカルレベルのビット深度に基づいて正規化し、その有効桁数が正規化された量子化係数を符号化し、ビットストリームを生成するようにする。
【００４８】
例えば、画像処理装置において、画像の予測残差の有効桁数を、その画像に対応する予測画像（またはその予測画像を生成する際に参照する復号画像）のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、その伸長部により有効桁数が伸長された予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、その予測画像（またはその予測画像を生成する際に参照する復号画像）のローカルレベルのビット深度に基づいて正規化する正規化部と、その正規化部により有効桁数が正規化された量子化係数を符号化し、ビットストリームを生成する符号化部とを備えるようにする。
【００４９】
このようにすることにより、係数の有効桁数を、シーケンス内においても時間方向または空間方向に対して制御した状態で直交変換や量子化を行うことができる。つまり、直交変換および量子化の演算精度を、シーケンス内においても時間方向または空間方向に対して制御することができる。したがって、符号化効率の低減を抑制することができる。
【００５０】
また、ビットストリームを復号し、そのビットストリームが復号されて得られる量子化係数の有効桁数を、予測画像（またはその予測画像を生成する際に参照する復号画像）のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、その有効桁数が伸長された量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、その予測画像（またはその予測画像を生成する際に参照する復号画像）のローカルレベルのビット深度に基づいて正規化するようにする。
【００５１】
例えば、画像処理装置において、ビットストリームを復号する復号部と、その復号部によりビットストリームが復号されて得られる量子化係数の有効桁数を、予測画像（またはその予測画像を生成する際に参照する復号画像）のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、その伸長部により有効桁数が伸長された量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、その予測画像（またはその予測画像を生成する際に参照する復号画像）のローカルレベルのビット深度に基づいて正規化する正規化部とを備えるようにする。
【００５２】
このようにすることにより、逆量子化および逆直交変換におけるデータの有効桁数を、シーケンス内においても時間方向または空間方向に対して制御することができる。つまり、逆量子化および逆直交変換の演算精度を、シーケンス内においても時間方向または空間方向に対して制御することができる。したがって、符号化効率の低減を抑制することができる。
【００５３】
＜制御例＞
以上のような演算精度の制御例の一覧を図９に示す。図９に示される表において、最上段の項目名の行を除き、上から１段目の例（方法＃１）の場合、符号化側においては、有効桁数の制御の補正量を示すパラメータである拡張ビット精度dBDは、入力画像から導出される。そして、その拡張ビット精度dBDを用いた有効桁数の制御（伸長や正規化）は、直交変換処理および量子化処理、並びに、逆量子化処理および逆直交変換処理とは別に（分離して）行われる。より具体的には、これらの処理の前に予測残差や量子化係数の有効桁数が、この拡張ビット精度dBDを用いて伸長される。また、これらの処理の後に係数データや残差データが、この拡張ビット精度dBDを用いて正規化される。
【００５４】
そして、その拡張ビット精度dBDを用いた差分パラメータdeltaXが、符号化側から復号側に伝送される。復号側においては、拡張ビット精度dBDは、その伝送されてきた差分パラメータdeltaXを用いて導出される。そして、その拡張ビット精度dBDを用いた有効桁数の制御（伸長や正規化）は、逆量子化処理および逆直交変換処理とは別に（分離して）行われる。より具体的には、これらの処理の前に、量子化係数の有効桁数が、この拡張ビット精度dBDを用いて伸長される。また、これらの処理の後に残差データが、この拡張ビット精度dBDを用いて正規化される。
【００５５】
したがって、方法＃１の場合、直交変換処理および量子化処理、並びに、逆量子化処理および逆直交変換処理の演算精度を向上させることができる（つまり、演算精度の低減を抑制することができる）。したがって、符号化効率を向上させることができる（つまり、符号化効率の低減を抑制することができる）。
【００５６】
また、この拡張ビット精度dBDを用いて有効桁数の制御（伸長や正規化）を、直交変換処理および量子化処理、並びに、逆量子化処理および逆直交変換処理とは別の処理として（これらの処理とは分離して）行うことができる。したがって、従来の処理部（直交変換部、量子化部、逆量子化部、逆直交変換部等）を用いてこのような符号化を実現することができ、符号化や復号に関する処理の負荷（例えば回路規模等の実装コスト、設計や開発の難易度など）の増大を抑制することができる。
【００５７】
さらに、差分パラメータdeltaXを符号化側から復号側に伝送するため、符号化側が、復号側において用いられる拡張ビット精度dBDを制御することができる。つまり、例えば、符号化側が復号側における演算精度（データの有効桁数）を制御することができる等、符号化側の処理の自由度を向上させることができる。
【００５８】
また、図９の表の上から２段目の例（方法＃２）の場合、符号化側も復号側も、拡張ビット精度dBDは、予測画像（またはその予測画像生成で参照する復号画像）から導出される。つまりこの場合、差分パラメータdeltaXの伝送は省略される。そして、その拡張ビット精度dBDを用いた有効桁数の制御（伸長や正規化）は、方法＃１の場合と同様に、直交変換処理および量子化処理、並びに、逆量子化処理および逆直交変換処理とは別に（分離して）行われる。より具体的には、これらの処理の前に予測残差や量子化係数の有効桁数が、この拡張ビット精度dBDを用いて伸長される。また、これらの処理の後に係数データや残差データが、この拡張ビット精度dBDを用いて正規化される。
【００５９】
したがって、方法＃２の場合、直交変換処理および量子化処理、並びに、逆量子化処理および逆直交変換処理の演算精度を向上させることができる（つまり、演算精度の低減を抑制することができる）。したがって、符号化効率を向上させることができる（つまり、符号化効率の低減を抑制することができる）。
【００６０】
また、この拡張ビット精度dBDを用いて有効桁数の制御（伸長や正規化）を、直交変換処理および量子化処理、並びに、逆量子化処理および逆直交変換処理とは別の処理として（これらの処理とは分離して）行うことができる。したがって、従来の処理部（直交変換部、量子化部、逆量子化部、逆直交変換部等）を用いてこのような符号化を実現することができ、設計や開発の難易度の増大を抑制することができる。
【００６１】
さらに、上述のように差分パラメータdeltaXの伝送が省略されるため、その分、符号化効率を向上させることができる（拡張ビット精度dBDに係るオーバーヘッドを削減することができる）。
【００６２】
＜方法＃１概要＞
例えば、方法＃１の場合、符号化において、プライマリ水平変換１１乃至符号化１４の各処理が、図１０のように行われる。
【００６３】
プライマリ水平変換１１においては、プライマリ水平変換処理が行われるとともに、シーケンスレベルのプライマリ水平変換シフト量fwdShift1が用いられて、係数データtmpの有効桁数が制御される。より具体的には、係数データtmpが、fwdShift1ビットだけビットシフトされる（>>fwdShift1）。
【００６４】
プライマリ垂直変換１２においては、プライマリ垂直変換処理が行われるとともに、シーケンスレベルのプライマリ垂直変換シフト量fwdShift2が用いられて、変換係数coefの有効桁数が制御される。より具体的には、変換係数coefが、fwdShift2ビットだけビットシフトされる（>>fwdShift2）。
【００６５】
量子化１３においては、量子化処理が行われるとともに、シーケンスレベルの量子化シフト量fwdQShiftが用いられて、量子化係数qcoefの有効桁数が制御される。より具体的には、量子化係数qcoefが、fwdQShiftビットだけビットシフトされる（>>fwdQShift）。
【００６６】
符号化１４においては、量子化係数qcoefが符号化されてビットストリームbitstreamが得られる。
【００６７】
また、入力画像（Input sequence）に対して、シーケンスレベルよりも小さいデータ単位であるローカルレベル（block）毎の画素値の最小値（minPixelVal）および最大値（maxPixelVal）を探索する処理である領域毎画素最小値最大値探索５１を行う。
【００６８】
そして、この探索により検出されたローカルレベル毎の画素値の最小値（minPixelVal）および最大値（maxPixelVal）を用いて、そのローカルレベル毎に拡張ビット精度dBDを導出するdBD導出５２を行う。このdBD導出５２においては、例えば、各ローカルレベルのビット深度LocalBitDepthを、ローカルレベル毎の画素値の最小値（minPixelVal）および最大値（maxPixelVal）を用いて、以下の式（１）のように導出する。
【００６９】
なお、式（１）で導出されたローカルのビット深度LocalBitDepthを、所定の閾値minLocalBitDepth（例えば、8）を参照して、さらに式（１Ａ）に示すように、LocalBitDepth = max(minLocalBitDepth,LocalBitDepth)として補正してもよい。こうすることで、後続の式（２）で導出される拡張ビット精度dBDの値が大きくなり過ぎる（すなわち、有効桁数をあげ過ぎて中間係数データが最小値coefMin乃至最大値coefMaxの範囲を超えてしまう）ケースの発生を抑制することができる。なお、式（１Ａ）において、演算子max(x, y)は、数値x, yのうち大きい値を返す演算子である。
【００７０】
LocalBitDepth = ceil(log2(maxPixelVal - minPixelVal))  ・・・（１）
LocalBitDepth = max(minLocalBitDepth, LocalBitDepth)  ・・・（１Ａ）
【００７１】
なお、log2(x)は、２を底とする実数xの対数値を返す関数であり、ceil(x)は、実数xに対して、x以上の最小の整数を返す天井関数である。そして、拡張ビット精度dBDを、そのローカルレベルのビット深度LocalBitDepthとシーケンスレベルのビット深度channelBitDepthとを用いて、以下の式（２）のように導出する。
【００７２】
dBD = channelBitDepth - LocalBitDepth  ・・・（２）
【００７３】
なお、便宜上、シーケンスレベルのビット深度channelBitDepthをーパラメータとして参照して決まる有効桁数の制御量（シフト量、スケーリングパラメータ）を、シーケンスレベルの有効桁数の制御量（シフト量、スケーリングパラメータ）と称し、上述の拡張ビット精度dBDにより補正されたシーケンスレベルの有効桁数の制御量（シフト量、スケーリングパラメータ）を、補正制御量（補正シフト量、補正スケーリングパラメータ）と称する。
【００７４】
また、このdBD導出５２において導出された拡張ビット精度dBDを用いて、差分パラメータdeltaXを導出するdeltaX導出５３を行う。このdeltaX導出５３においては、例えば、スライスレベルのビット深度sliceBitDepthを、スライスレベル毎の画素値の最小値（slice_min_val）および最大値（slice_max_val）を用いて、以下の式（３）のように導出する。
【００７５】
sliceBitDepth = ceil(log2(slice_max_val - slice_min_val))  ・・・（３）
【００７６】
そして、差分パラメータdeltaXを、拡張ビット精度dBD、スライスレベルのビット深度sliceBitDepth、およびシーケンスレベルのビット深度channelBitDepthを用いて、以下の式（４）のように導出する。
【００７７】
deltaX = dBD + sliceBitDepth - channelBitDepth  ・・・（４）
【００７８】
また、dBD導出５２において導出された拡張ビット精度dBDを用いて、予測残差resiの有効桁数を制御する処理である伸長５４を行う。この伸長５４においては、例えば、予測残差resiを、拡張ビット精度dBDビットだけ左ビットシフトし（<<dBD）、予測残差resiSを導出する。つまり、この伸長５４により、直交変換や量子化が行われる前に係数データの有効桁数が伸長される。プライマリ水平変換１１においては、この予測残差resiSに対するプライマリ水平変換が行われる。
【００７９】
また、dBD導出５２において導出された拡張ビット精度dBDを用いて、量子化係数qcoefの有効桁数を制御する処理である正規化５５を行う。この正規化５５においては、例えば、量子化係数qcoefを、拡張ビット精度dBDビットだけ右ビットシフトする（>>dBD）。つまり、この正規化５５により、直交変換や量子化が行われた後の係数データの有効桁数が正規化される。符号化１４においては、このように正規化された量子化係数qcoefに対する符号化が行われる。
【００８０】
符号化１４においては、また、deltaX導出５３において導出された差分パラメータdeltaXを符号化し、ビットストリームに含める（差分パラメータdeltaXを含むビットストリームを生成する）。つまり、差分パラメータdeltaXを符号化側から復号側に伝送する。これにより、復号側においても、この差分パラメータdeltaXを用いて拡張ビット精度dBDを導出することができる。
【００８１】
また、例えば、方法＃１の場合、復号において、復号２１乃至逆プライマリ水平変換２４の各処理は、図１１のように行われる。
【００８２】
復号２１においては、ビットストリームbitstreamが復号されて、量子化係数qcoefが得られる。
【００８３】
逆量子化２２においては、逆量子化処理が行われるとともに、シーケンスレベルの逆量子化シフト量invQShiftが用いられて、変換係数coefS'の有効桁数が制御される。より具体的には、変換係数coefが、invQShiftビットだけビットシフトされる（>>invQShift）。
【００８４】
逆プライマリ垂直変換２３においては、逆プライマリ垂直変換処理が行われるとともに、シーケンスレベルの逆プライマリ垂直変換シフト量invShift1が用いられて、係数データtmpの有効桁数が制御される。より具体的には、係数データtmpが、invShift1ビットだけビットシフトされる（>>invShift1）。
【００８５】
逆プライマリ水平変換２４においては、逆プライマリ水平変換処理が行われるとともに、シーケンスレベルの逆プライマリ水平変換シフト量invShift2が用いられて、予測残差resiS'の有効桁数が制御される。より具体的には、予測残差resiS'が、invShift2ビットだけビットシフトされる（>>invShift2）。
【００８６】
また、復号２１において、シーケンスレベルのビット深度channelBitDepthおよびスライスレベルのビット深度sliceBitDepthが導出され、さらに、差分パラメータdeltaXを得る。
【００８７】
このシーケンスレベルのビット深度channelBitDepth、スライスレベルのビット深度sliceBitDepth、差分パラメータdeltaXを用いて、拡張ビット精度dBDを導出するdBD導出６１を行う。このdBD導出６１においては、拡張ビット精度dBDを、それらのパラメータを用いて、以下の式（５）のように導出する。
【００８８】
dBD = channelBitDepth - sliceBitDepth + deltaX  ・・・（５）
【００８９】
また、dBD導出６１において導出された拡張ビット精度dBDを用いて、量子化係数qcoefの有効桁数を制御する処理である伸長６２を行う。この伸長６２においては、例えば、量子化係数qcoefを、拡張ビット精度dBDビットだけ左ビットシフトし（<<dBD）、量子化係数qcoefS'を導出する。つまり、この伸長６２により、逆量子化や逆直交変換が行われる前に係数データの有効桁数が伸長される。逆量子化２２においては、この有効桁数が伸長された量子化係数qcoefS'に対する逆量子化が行われる。
【００９０】
また、dBD導出６１において導出された拡張ビット精度dBDを用いて、予測残差resiS'の有効桁数を制御する処理である正規化６３を行う。この正規化６３においては、例えば、予測残差resiS'を、拡張ビット精度dBDビットだけ右ビットシフトする（>>dBD）。つまり、この正規化６３により、逆量子化や逆直交変換が行われた後の係数データの有効桁数が正規化される。
【００９１】
上述のように伸長６２および正規化６３が、ローカルレベルの拡張ビット精度dBDを用いて有効桁数を制御するので、このような有効桁数の拡張（制御）を、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて行うことができる。したがって、例えば復号の場合、図１２に示されるように、係数の有効桁数をシーケンスレベルの拡張（図３）よりもさらに拡張した状態で、逆量子化、逆垂直変換、逆水平変換の各処理を行うことができる。有効桁数が拡張することにより、演算精度が向上する。したがって、符号化効率の低減を抑制することができる。
【００９２】
上述した符号化の場合も同様であり、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて有効桁数を制御することができるので、水平変換、垂直変換、量子化の各処理において、係数の有効桁数を、シーケンスレベルの拡張からさらに拡張することができる。したがって演算精度が向上し、符号化効率の低減を抑制することができる。
【００９３】
なお、符号化の場合、逆量子化、逆垂直変換、逆水平変換の各処理においても、復号の場合と同様に、有効桁数が制御される。つまり、復号の場合と同様に有効桁数を拡張することができる。つまり、これらの処理の演算精度を向上させることができ、符号化効率の低減を抑制することができる。
【００９４】
＜方法＃２概要＞
例えば、図９の方法＃２の符号化の場合、方法＃１の場合と同様に、プライマリ水平変換１１乃至符号化１４の各処理は、図１３のように行われる。
【００９５】
また、予測７１においては、入力画像に対応する予測画像が生成される。また、演算７２においては、入力画像と予測７１により生成された予測画像との差分（予測残差resi）が求められる。
【００９６】
この方法＃２の場合、領域毎画素最小値最大値探索５１は、予測７１により得られた予測画像に対して行う。つまり、領域毎画素最小値最大値探索５１により、予測画像のローカルレベル（block）毎の画素値の最小値（minPredPixelVal）および最大値（maxPredPixelVal）が探索される。
【００９７】
そして、dBD導出５２において、この探索により検出された予測画像のローカルレベル毎の画素値の最小値（minPredPixelVal）および最大値（maxPredPixelVal）を用いて、拡張ビット精度dBDを導出する。例えば、予測画像の各ローカルレベルのビット深度PredBitDepthを、予測画像のローカルレベル毎の画素値の最小値（minPredPixelVal）および最大値（maxPredPixelVal）を用いて、以下の式（６）のように導出する。
【００９８】
なお、式（６）で導出されたローカルレベルのビット深度PredBitDepthを、所定の閾値minLocalBitDepth（例えば、8）を参照して、さらに式（６Ａ）に示すように、PredBitDepth = max(minLocalBitDepth,PredBitDepth)として補正してもよい。こうすることで、後続の式（７）で導出される拡張ビット精度dBDが大きくなり過ぎる（すなわち、有効桁数をあげ過ぎて中間係数データが最小値coefMin乃至最大値coefMaxの範囲を超えてしまう）ケースの発生を抑制することができる。なお、式（６Ａ）において、演算子max(x, y)は、数値x, yのうち大きい値を返す演算子である。
【００９９】
PredBitDepth = ceil(log2(maxPredPixelVal - minPredPixelVal))  ・・・（６）
PredBitDepth = max(minLocalBitDepth, PredBitDepth)  ・・・（６Ａ）
【０１００】
そして、拡張ビット精度dBDを、その予測画像のローカルレベルのビット深度PredBitDepthとシーケンスレベルのビット深度channelBitDepthとを用いて、以下の式（７）のように導出する。
【０１０１】
dBD = channelBitDepth - PredBitDepth  ・・・（７）
【０１０２】
このようにdBD導出５２において導出された拡張ビット精度dBDを用いて、予測残差resiの有効桁数を制御する処理である伸長５４を行う。この伸長５４においては、例えば、予測残差resiを、拡張ビット精度dBDビットだけ左ビットシフトし（<<dBD）、予測残差resiSを導出する。つまり、この伸長５４により、直交変換や量子化が行われる前に係数データの有効桁数が伸長される。プライマリ水平変換１１においては、この予測残差resiSに対するプライマリ水平変換が行われる。
【０１０３】
また、dBD導出５２において導出された拡張ビット精度dBDを用いて、量子化係数qcoefSの有効桁数を制御する処理である正規化５５を行う。この正規化５５においては、例えば、量子化係数qcoefSを、拡張ビット精度dBDビットだけ右ビットシフトする（>>dBD）。つまり、この正規化５５により、直交変換や量子化が行われた後の係数データの有効桁数が正規化される。符号化１４においては、このように量子化係数qcoefSが正規化されて得られた量子化係数qcoefに対する符号化が行われる。
【０１０４】
ただし、この方法＃２の場合、deltaX導出５３の処理が省略され、符号化１４において差分パラメータdeltaXの符号化に関する処理が省略される。つまり、方法＃２の場合、差分パラメータdeltaXの符号化側から復号側への伝送が省略される。
【０１０５】
また、例えば、方法＃２の復号の場合、方法＃１の場合と同様に、復号２１乃至逆プライマリ水平変換２４の各処理は、図１４のように行われる。また、予測８１においては、入力画像に対応する予測画像が生成される。
【０１０６】
この方法＃２の場合、その予測８１により得られた予測画像に対して、シーケンスレベルよりも小さいデータ単位であるローカルレベル（block）毎の画素値の最小値（minPredPixelVal）および最大値（maxPredPixelVal）を探索する処理である領域毎画素最小値最大値探索８３を行う。
【０１０７】
そして、dBD導出６１において、この探索により検出された予測画像のローカルレベル毎の画素値の最小値（minPredPixelVal）および最大値（maxPredPixelVal）を用いて、拡張ビット精度dBDを導出する。例えば、予測画像の各ローカルレベルのビット深度PredBitDepthを、予測画像のローカルレベル毎の画素値の最小値（minPredPixelVal）および最大値（maxPredPixelVal）を用いて、上述の式（６）のように導出する。
【０１０８】
そして、拡張ビット精度dBDを、その予測画像のローカルレベルのビット深度PredBitDepthとシーケンスレベルのビット深度channelBitDepthとを用いて、上述の式（７）のように導出する。
【０１０９】
伸長６２において、このようにdBD導出６１において導出された拡張ビット精度dBDを用いて、量子化係数qcoefの有効桁数を制御する。この伸長６２においては、例えば、量子化係数qcoefを、拡張ビット精度dBDビットだけ左ビットシフトし（<<dBD）、量子化係数qcoefS'を導出する。つまり、この伸長６２により、逆量子化や逆直交変換が行われる前に係数データの有効桁数が伸長される。逆量子化２２においては、この量子化係数qcoefS'に対する逆量子化が行われる。
【０１１０】
正規化６３において、dBD導出６１において導出された拡張ビット精度dBDを用いて、量子化係数qcoefSの有効桁数を制御する。この正規化６３においては、例えば、予測残差resiS'を、拡張ビット精度dBDビットだけ右ビットシフトする（>>dBD）。つまり、この正規化６３により、逆量子化や逆直交変換が行われた後の係数データの有効桁数が正規化される。演算８２においては、このように予測残差resiS'が正規化されて得られた予測残差resi'と、予測８１において生成された予測画像との加算が行われ、復元画像rec'が得られる。
【０１１１】
上述のように伸長６２および正規化６３が、ローカルレベルの拡張ビット精度dBDを用いて有効桁数を制御するので、このような有効桁数の拡張（制御）を、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて行うことができる。したがって、例えば復号の場合、図１２に示されるように、係数の有効桁数をシーケンスレベルの拡張（図３）よりもさらに拡張した状態で、逆量子化、逆垂直変換、逆水平変換の各処理を行うことができる。有効桁数が拡張することにより、演算精度が向上する。したがって、符号化効率の低減を抑制することができる。
【０１１２】
上述した符号化の場合も同様であり、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて有効桁数を制御することができるので、水平変換、垂直変換、量子化の各処理において、係数の有効桁数を、シーケンスレベルの拡張からさらに拡張することができる。したがって演算精度が向上し、符号化効率の低減を抑制することができる。
【０１１３】
なお、符号化の場合、逆量子化、逆垂直変換、逆水平変換の各処理においても、復号の場合と同様に、有効桁数が制御される。つまり、復号の場合と同様に有効桁数を拡張することができる。つまり、これらの処理の演算精度を向上させることができ、符号化効率の低減を抑制することができる。
【０１１４】
なお、方法＃２では、図１３（図１４）に示すように、処理対象ブロックのローカルレベルのビット深度を、予測７１（８１）で得られる処理対象ブロックに対応する予測画像を参照して、式（６）および式（６Ａ）によって導出しているが、予測画像の代わりに、該予測画像生成で参照する復号画像を用いて、処理対象ブロックのローカルビット深度を導出してもよい（方法＃２'）。
【０１１５】
すなわち、図１３（図１４）において、予測７１（８１）において予測画像生成で参照する復号画像Recrefに対して、領域毎画素最小値最大値探索５１（８３）が行われ、ローカルレベル（block）毎の画素値の最小値（minRecPixelVal）および最大値（maxRecPixelVal）が探索される。続いて、この探索により検出された復号画像のローカルレベル毎の画素値の最小値（minRecPixelVal）および最大値（maxRecPixelVal）を用いて、dBD導出５２（６１）が行われる。このdBD導出５２（６１）においては、復号画像の各ローカルレベルのビット深度RecBitDepthが、以下の式（６'）および（６Ａ'）のように導出される。そして、拡張ビット精度dBDが、式（７'）のように導出される。
【０１１６】
RecBitDepth = ceil(log2(maxRecPixelVal - minRecPixelVal))  ・・・（６'）
RecBitDepth = max(minLocalBitDepth, recBitDepth)  ・・・（６Ａ'）
dBD = channelBitDepth - RecBitDepth  ・・・（７'）
【０１１７】
このようにすることで、方法＃２'は、予測画像を参照して拡張ビット精度dBDを導出する方法（方法#２）と同様の効果を奏する。なお、方法＃２'の方法＃２に対するメリットは、予測画像を生成しなくても、復号画像のみから拡張ビット精度dBDを導出可能な点である。
【０１１８】
なお、上記において、復号画像Recrefとは、イントラ予測であれば、対象ブロックのイントラ予測画像を生成するために参照する局所復号画素領域を指し、インター予測であれば、対象ブロックのインター予測画像を生成するために参照する局所復号画素領域である。
【０１１９】
＜３．第１の実施の形態＞
＜画像符号化装置＞
第１の実施の形態においては、上述の方法＃１の詳細について説明する。まず、符号化の際にそのような演算精度の制御を行う構成について説明する。図１５は、本技術を適用した画像処理装置の一態様である画像符号化装置の構成の一例を示すブロック図である。図１５に示される画像符号化装置１００は、動画像の画像データを符号化する装置である。例えば、画像符号化装置１００は、非特許文献１乃至非特許文献３に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データを符号化する。
【０１２０】
なお、図１５においては、処理部やデータの流れ等の主なものを示しており、図１５に示されるものが全てとは限らない。つまり、画像符号化装置１００において、図１５においてブロックとして示されていない処理部が存在したり、図１５において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像符号化装置１００内の処理部等を説明する他の図においても同様である。
【０１２１】
図１５に示されるように画像符号化装置１００は、制御部１０１、並べ替えバッファ１１１、演算部１１２、直交変換部１１３、量子化部１１４、符号化部１１５、蓄積バッファ１１６、逆量子化部１１７、逆直交変換部１１８、演算部１１９、インループフィルタ部１２０、フレームメモリ１２１、予測部１２２、およびレート制御部１２３を有する。
【０１２２】
また、画像符号化装置１００は、伸長部１３１、正規化部１３２、伸長部１３３、および正規化部１３４を有する。
【０１２３】
＜制御部＞
制御部１０１は、外部、または予め指定された処理単位のブロックサイズに基づいて、並べ替えバッファ１１１により保持されている動画像データを処理単位のブロック（CU, PU, 変換ブロックなど）へ分割する。また、制御部１０１は、各ブロックへ供給する符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を、例えば、RDO(Rate-Distortion Optimization)に基づいて、決定する。
【０１２４】
これらの符号化パラメータの詳細については後述する。制御部１０１は、以上のような符号化パラメータを決定すると、それを各ブロックへ供給する。具体的には、以下の通りである。
【０１２５】
ヘッダ情報Hinfoは、各ブロックに供給される。
予測モード情報Pinfoは、符号化部１１５と予測部１２２とに供給される。
変換情報Tinfoは、符号化部１１５、直交変換部１１３、量子化部１１４、逆量子化部１１７、逆直交変換部１１８、伸長部１３１、正規化部１３２、伸長部１３３、および正規化部１３４に供給される。
フィルタ情報Finfoは、インループフィルタ部１２０に供給される。
【０１２６】
＜並べ替えバッファ＞
画像符号化装置１００には、動画像データの各フィールド（入力画像）がその再生順（表示順）に入力される。並べ替えバッファ１１１は、各入力画像をその再生順（表示順）に取得し、保持（記憶）する。並べ替えバッファ１１１は、制御部１０１の制御に基づいて、その入力画像を符号化順（復号順）に並べ替えたり、処理単位のブロックに分割したりする。並べ替えバッファ１１１は、処理後の各入力画像を演算部１１２に供給する。また、並べ替えバッファ１１１は、その各入力画像（元画像）を、予測部１２２やインループフィルタ部１２０にも供給する。
【０１２７】
＜演算部＞
演算部１１２は、処理単位のブロックに対応する画像I、および予測部１２２より供給される予測画像Pを入力とし、画像recから予測画像Pを以下の式（８）に示されるように減算して、予測残差resiを導出し、それを伸長部１３１に供給する。
【０１２８】
resi = rec - P  ・・・（８）
【０１２９】
＜直交変換部＞
直交変換部１１３は、伸長部１３１から供給される予測残差resiと、制御部１０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、予測残差resiに対して直交変換を行い、変換係数coefを導出する。直交変換部１１３は、その得られた変換係数coefを量子化部１１４に供給する。
【０１３０】
＜量子化部＞
量子化部１１４は、直交変換部１１３から供給される変換係数coefと、制御部１０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数coefをスケーリング（量子化）する。なお、この量子化のレートは、レート制御部１２３により制御される。量子化部１１４は、このような量子化により得られた量子化後の変換係数、すなわち量子化変換係数qcoefSを、正規化部１３２に供給する。
【０１３１】
＜符号化部＞
符号化部１１５は、正規化部１３２から供給された量子化係数qcoefと、制御部１０１から供給される各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）と、インループフィルタ部１２０から供給されるフィルタ係数等のフィルタに関する情報と、予測部１２２から供給される最適な予測モードに関する情報とを入力とする。符号化部１１５は、量子化係数qcoefを可変長符号化（例えば、算術符号化）し、ビット列（符号化データ）を生成する。
【０１３２】
また、符号化部１１５は、その量子化係数qcoefから残差情報Rinfoを導出し、残差情報Rinfoを符号化し、ビット列を生成する。
【０１３３】
さらに、符号化部１１５は、インループフィルタ部１２０から供給されるフィルタに関する情報をフィルタ情報Finfoに含め、予測部１２２から供給される最適な予測モードに関する情報を予測モード情報Pinfoに含める。そして、符号化部１１５は、上述した各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなど）を符号化し、ビット列を生成する。
【０１３４】
また、符号化部１１５は、以上のように生成された各種情報のビット列を多重化し、符号化データを生成する。符号化部１１５は、その符号化データを蓄積バッファ１１６に供給する。
【０１３５】
＜蓄積バッファ＞
蓄積バッファ１１６は、符号化部１１５において得られた符号化データを、一時的に保持する。蓄積バッファ１１６は、所定のタイミングにおいて、保持している符号化データを、例えばビットストリーム等として画像符号化装置１００の外部に出力する。例えば、この符号化データは、任意の記録媒体、任意の伝送媒体、任意の情報処理装置等を介して復号側に伝送される。すなわち、蓄積バッファ１１６は、符号化データ（ビットストリーム）を伝送する伝送部でもある。
【０１３６】
＜逆量子化部＞
逆量子化部１１７は、逆量子化に関する処理を行う。例えば、逆量子化部１１７は、伸長部１３３から供給される量子化係数qcoefS'と、制御部１０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、量子化係数qcoefの値をスケーリング（逆量子化）する。なお、この逆量子化は、量子化部１１４において行われる量子化の逆処理である。逆量子化部１１７は、このような逆量子化により得られた変換係数coefS'を、逆直交変換部１１８に供給する。
【０１３７】
＜逆直交変換部＞
逆直交変換部１１８は、逆直交変換に関する処理を行う。例えば、逆直交変換部１１８は、逆量子化部１１７から供給される変換係数coefS'と、制御部１０１から供給される変換情報Tinfoとを入力とし、その変換情報Tinfoに基づいて、変換係数coefS'に対して逆直交変換を行い、予測残差resiS'を導出する。なお、この逆直交変換は、直交変換部１１３において行われる直交変換の逆処理である。逆直交変換部１１８は、このような逆直交変換により得られた予測残差resiS'を正規化部１３４に供給する。なお、逆直交変換部１１８は、復号側の逆直交変換部（後述する）と同様であるので、逆直交変換部１１８については、復号側について行う説明（後述する）を適用することができる。
【０１３８】
＜演算部＞
演算部１１９は、正規化部１３４から供給される予測残差resi'と、予測部１２２から供給される予測画像Pとを入力とする。演算部１１９は、その予測残差resi'と、その予測残差resi'に対応する予測画像Pとを加算し、局所復号画像Rlocalを導出する。演算部１１９は、導出した局所復号画像Rlocalをインループフィルタ部１２０およびフレームメモリ１２１に供給する。
【０１３９】
＜インループフィルタ部＞
インループフィルタ部１２０は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部１２０は、演算部１１９から供給される局所復号画像Rlocalと、制御部１０１から供給されるフィルタ情報Finfoと、並べ替えバッファ１１１から供給される入力画像（元画像）とを入力とする。なお、インループフィルタ部１２０に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。例えば、必要に応じて、予測モード、動き情報、符号量目標値、量子化パラメータQP、ピクチャタイプ、ブロック（CU、CTU等）の情報等がインループフィルタ部１２０に入力されるようにしてもよい。
【０１４０】
インループフィルタ部１２０は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。インループフィルタ部１２０は、必要に応じて入力画像（元画像）や、その他の入力情報もそのフィルタ処理に用いる。
【０１４１】
例えば、インループフィルタ部１２０は、非特許文献３に記載のように、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
【０１４２】
もちろん、インループフィルタ部１２０が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部１２０がウィーナーフィルタ等を適用するようにしてもよい。
【０１４３】
インループフィルタ部１２０は、フィルタ処理された局所復号画像Rlocalをフレームメモリ１２１に供給する。なお、例えばフィルタ係数等のフィルタに関する情報を復号側に伝送する場合、インループフィルタ部１２０は、そのフィルタに関する情報を符号化部１１５に供給する。
【０１４４】
＜フレームメモリ＞
フレームメモリ１２１は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ１２１は、演算部１１９から供給される局所復号画像Rlocalや、インループフィルタ部１２０から供給されるフィルタ処理された局所復号画像Rlocalを入力とし、それを保持（記憶）する。また、フレームメモリ１２１は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（フレームメモリ１２１内のバッファへ格納する）。フレームメモリ１２１は、予測部１２２の要求に応じて、その復号画像R（またはその一部）を予測部１２２に供給する。
【０１４５】
＜予測部＞
予測部１２２は、予測画像の生成に関する処理を行う。例えば、予測部１２２は、制御部１０１から供給される予測モード情報Pinfoと、並べ替えバッファ１１１から供給される入力画像（元画像）と、フレームメモリ１２１から読み出す復号画像R（またはその一部）を入力とする。予測部１２２は、予測モード情報Pinfoや入力画像（元画像）を用い、インター予測やイントラ予測等の予測処理を行い、復号画像Rを参照画像として参照して予測を行い、その予測結果に基づいて動き補償処理を行い、予測画像Pを生成する。予測部１２２は、生成した予測画像Pを演算部１１２および演算部１１９に供給する。また、予測部１２２は、以上の処理により選択した予測モード、すなわち最適な予測モードに関する情報を、必要に応じて符号化部１１５に供給する。
【０１４６】
＜レート制御部＞
レート制御部１２３は、レート制御に関する処理を行う。例えば、レート制御部１２３は、蓄積バッファ１１６に蓄積された符号化データの符号量に基づいて、オーバフローあるいはアンダーフローが発生しないように、量子化部１１４の量子化動作のレートを制御する。
【０１４７】
＜伸長部＞
伸長部１３１は、演算部１１２から供給される予測残差resiと制御部１０１から供給される変換情報Tinfoを入力とし、予測残差resiの有効桁数の制御（伸長）に関する処理を行う。例えば、伸長部１３１は、予測残差resiを拡張ビット精度dBDビットだけ左ビットシフトし（<<dBD）、予測残差resiの有効桁数を拡張する。つまり、伸長部１３１は、直交変換や量子化が行われる前の予測残差resiの有効桁数を、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて拡張する。また、伸長部１３１は、そのビットシフトにより得られた、有効桁数が拡張された予測残差resiSを直交変換部１１３に供給する。
【０１４８】
＜正規化部＞
正規化部１３２は、量子化部１１４から供給される量子化係数qcoefSと制御部１０１から供給される変換情報Tinfoを入力とし、量子化係数qcoefSの有効桁数の制御（正規化）に関する処理を行う。例えば、正規化部１３２は、量子化係数qcoefSを拡張ビット精度dBDビットだけ右ビットシフトし（>>dBD）、量子化係数qcoefSの有効桁数を正規化する。つまり、正規化部１３２は、直交変換や量子化が行われた後の量子化係数qcoefSの有効桁数を、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて正規化する。また、正規化部１３２は、そのビットシフトにより得られた、有効桁数が正規化された量子化係数qcoefを符号化部１１５および伸長部１３３に供給する。
【０１４９】
＜伸長部＞
伸長部１３３は、正規化部１３２から供給される量子化係数qcoefと制御部１０１から供給される変換情報Tinfoを入力とし、量子化係数qcoefの有効桁数の制御（伸長）に関する処理を行う。例えば、伸長部１３３は、量子化係数qcoefを拡張ビット精度dBDビットだけ左ビットシフトし（<<dBD）、量子化係数qcoefの有効桁数を拡張する。つまり、伸長部１３３は、逆量子化や逆直交変換が行われる前の量子化係数qcoefの有効桁数を、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて拡張する。また、伸長部１３３は、そのビットシフトにより得られた、有効桁数が拡張された量子化係数qcoefS'を逆量子化部１１７に供給する。
【０１５０】
＜正規化部＞
正規化部１３４は、逆直交変換部１１８から供給される予測残差resiS'と制御部１０１から供給される変換情報Tinfoを入力とし、予測残差resiS'の有効桁数の制御（正規化）に関する処理を行う。例えば、正規化部１３４は、予測残差resiS'を拡張ビット精度dBDビットだけ右ビットシフトし（>>dBD）、予測残差resiS'の有効桁数を正規化する。つまり、正規化部１３４は、逆量子化や逆直交変換が行われた後の予測残差resiS'の有効桁数を、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて正規化する。また、正規化部１３４は、そのビットシフトにより得られた、有効桁数が正規化された予測残差resi'を演算部１１９に供給する。
【０１５１】
以上のような構成とすることにより、画像符号化装置１００は、係数の有効桁数をシーケンスレベルの拡張からさらに拡張した状態で、直交変換、量子化、逆量子化、および逆直交変換の各処理を行うことができ、それらの処理の演算精度を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【０１５２】
＜制御部の詳細＞
図１６は、制御部１０１の、有効桁数の制御に関する情報の生成に関する主な構成例を示すブロック図である。図１６に示されるように、制御部１０１は、シーケンスビット深度設定部１５１、スライスビット深度設定部１５２、画素最小値最大値探索部１５３、dBD導出部１５４、およびdeltaX導出部１５５を有する。なお、制御部１０１は、上述のように、他の情報の生成等、有効桁数の制御に関する情報の生成以外の処理も行うが、それらの処理についての構成の説明は省略する。
【０１５３】
シーケンスビット深度設定部１５１は、並べ替えバッファ１１１の入力画像を入力とし、外部パラメータに基づいてシーケンスビット深度channelBitDepthを設定する。シーケンスビット深度設定部１５１は、設定したシーケンスビット深度channelBitDepthをdBD導出部１５４およびdeltaX導出部１５５に供給する。また、シーケンスビット深度設定部１５１は、そのシーケンスビット深度channelBitDepthを、変換情報Tinfoとして直交変換部１１３、量子化部１１４、逆量子化部１１７、および逆直交変換部１１８に供給する。さらに、シーケンスビット深度設定部１５１は、そのシーケンスビット深度に関する情報を生成し、符号化部１１５に供給する。
【０１５４】
スライスビット深度設定部１５２は、並べ替えバッファ１１１の入力画像を入力とし、スライスビット深度sliceBitDepthを設定する。スライスビット深度設定部１５２は、設定したスライスビット深度sliceBitDepthをdeltaX導出部１５５に供給する。また、スライスビット深度設定部１５２は、そのスライスビット深度に関する情報を生成し、符号化部１１５に供給する。
【０１５５】
画素最小値最大値探索部１５３は、並べ替えバッファ１１１の入力画像を入力とし、シーケンスレベルよりも小さいデータ単位であるローカルレベル毎に、その入力画像の画素値の最小値（minPixelVal）と最大値（maxPixelVal）とを探索する。画素最小値最大値探索部１５３は、その探索により検出した各ローカルレベルの最小値（minPixelVal）と最大値（maxPixelVal）とを、dBD導出部１５４に供給する。
【０１５６】
dBD導出部１５４は、シーケンスビット深度設定部１５１から供給されるシーケンスビット深度channelBitDepthと、画素最小値最大値探索部１５３から供給される最小値（minPixelVal）および最大値（maxPixelVal）とを入力とし、それらのパラメータに基づいて拡張ビット精度dBDをローカルレベル毎に導出する。
【０１５７】
dBD導出部１５４は、その導出した拡張ビット精度dBDをdeltaX導出部１５５に供給する。また、dBD導出部１５４は、その導出した拡張ビット精度dBDを、変換情報Tinfoとして直交変換部１１３、量子化部１１４、逆量子化部１１７、逆直交変換部１１８、伸長部１３１、正規化部１３２、伸長部１３３、および正規化部１３４に供給する。
【０１５８】
deltaX導出部１５５は、dBD導出部１５４から供給される拡張ビット精度dBDを入力とし、差分パラメータdeltaXを導出する。deltaX導出部１５５は、導出した差分パラメータdeltaXを、拡張ビット精度に関する情報として、符号化部１１５に供給する。
【０１５９】
＜画像符号化処理の流れ＞
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図１７のフローチャートを参照して、画像符号化処理の流れの例を説明する。
【０１６０】
画像符号化処理が開始されると、ステップＳ１０１において、並べ替えバッファ１１１は、制御部１０１に制御されて、入力された動画像データのフレームの順を表示順から符号化順に並べ替える。
【０１６１】
ステップＳ１０２において、制御部１０１は、並べ替えバッファ１１１が保持する入力画像に対して、処理単位を設定する（ブロック分割を行う）。
【０１６２】
ステップＳ１０３において、制御部１０１は、並べ替えバッファ１１１が保持する入力画像についての符号化パラメータを決定（設定）する。
【０１６３】
ステップＳ１０４において、予測部１２２は、予測処理を行い、最適な予測モードの予測画像等を生成する。例えば、この予測処理において、予測部１２２は、イントラ予測を行って最適なイントラ予測モードの予測画像等を生成し、インター予測を行って最適なインター予測モードの予測画像等を生成し、それらの中から、コスト関数値等に基づいて最適な予測モードを選択する。
【０１６４】
ステップＳ１０５において、演算部１１２は、入力画像と、ステップＳ１０４の予測処理により選択された最適なモードの予測画像との差分を演算する。つまり、演算部１１２は、入力画像と予測画像との予測残差resiを生成する。このようにして求められた予測残差resiは、元の画像データに比べてデータ量が低減される。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
【０１６５】
ステップＳ１０６において、伸長部１３１は、ステップＳ１０５の処理により生成されたコンポーネントXの予測残差resiを、拡張ビット精度制御グループSG単位の拡張ビット精度dBDを用いて以下の式（９）により伸長し、伸長された予測残差resiSを得る。
【０１６６】
dBD>0のとき  resiS = resi << dBD
dBD=0のとき  resiS = resi
・・・（９）
【０１６７】
ステップＳ１０７において、直交変換部１１３は、ステップＳ１０６の処理により生成された予測残差resiSに対して直交変換処理を行い、変換係数coefSを導出する。
【０１６８】
ステップＳ１０８において、量子化部１１４は、制御部１０１により算出された量子化パラメータを用いる等して、ステップＳ１０６の処理により得られた変換係数coefSを量子化し、量子化係数qcoefSを導出する。
【０１６９】
ステップＳ１０９において、正規化部１３２は、ステップＳ１０８の処理により得られたコンポーネントXの量子化係数qcoefSを、拡張ビット精度制御グループSG単位の拡張ビット精度dBDを用いて以下の式（１０）のように正規化し、正規化された量子化係数qcoefを得る。
【０１７０】
dBD>0のとき  qcoef = (qcoefS + offsetBD) >> dBD
ただし、offsetBD = 1<<(dBD-1)
dBD=0のとき  qcoef = qcoefS
・・・（１０）
【０１７１】
この式（１０）の代わりに、以下の（１１）により正規化を行ってもよい。
【０１７２】
dBD>0のとき  qcoef = sign(qcoefS) * ( abs(qcoefS)  + offsetBD) >> dBD
dBD=0のとき  qcoef = qcoefS
・・・（１１）
【０１７３】
ここで、sign(x)は、実数xの正負号を返す演算子であり、abs(x)は、実数xの絶対値を返す演算子である。
【０１７４】
ステップＳ１１０において、伸長部１３３は、ステップＳ１０９の処理により得られたコンポーネントXの正規化された量子化係数qcoefを、拡張ビット精度制御グループSG単位の拡張ビット精度dBDを用いて、以下の式（１２）のように伸長し、伸長された量子化係数qcoefS’を得る。
【０１７５】
dBD>0のとき  qcoefS’ = qcoef << dBD
dBD=0のとき  qcoefS’ = qcoef
・・・（１２）
【０１７６】
ステップＳ１１１において、逆量子化部１１７は、ステップＳ１１０の処理により得られた量子化変換係数qcoefS'を、ステップＳ１０８の量子化の特性に対応する特性で逆量子化し、変換係数coefS'を導出する。なお、この逆量子化処理は、復号側において行われる逆量子化処理（後述する）と同様であるので、このステップＳ１１１の逆量子化処理については、復号側について行う説明（後述する）を適用することができる。
【０１７７】
ステップＳ１１２において、逆直交変換部１１８は、ステップＳ１１１の処理により得られた変換係数coefS'を、ステップＳ１０７の直交変換処理に対応する方法で逆直交変換し、予測残差resiS'を導出する。なお、この逆直交変換処理は、復号側において行われる逆直交変換処理（後述する）と同様であるので、このステップＳ１１２の逆直交変換処理については、復号側について行う説明（後述する）を適用することができる。
【０１７８】
ステップＳ１１３において、正規化部１３４は、ステップＳ１１２の処理により得られたコンポーネントXの予測残差resiS'を、拡張ビット精度制御グループSG単位の拡張ビット精度dBDを用いて、以下の式（１３）のように正規化し、正規化された予測残差resi'を得る。
【０１７９】
dBD>0のとき  resi’ = (resiS’ + offsetBD) >> dBD
ただし、offsetBD = 1<<(dBD - 1)
dBD=0のとき  resi’ = resiS’
・・・（１３）
【０１８０】
なお、この式（１３）の代わりに、以下の式（１４）によって正規化を行うようにしてもよい。
【０１８１】
dBD>0のとき  resi’ = sign(resiS’) * ( abs(resiS’)  + offsetBD) >> dBD
dBD=0のとき  resi’ = resiS’
・・・（１４）
【０１８２】
ここで、sign(x)は、実数xの正負号を返す演算子であり、abs(x)は、実数xの絶対値を返す演算子である。なお、本明細書において、” 変数’ ”の添え字’は、符号化処理側の’変数’と対応する復号処理側で逆処理により得られた’変数’を識別するためのものである。また、”変数S”の添え字Sは、伸長された’変数’であることを示す。
【０１８３】
ステップＳ１１４において、演算部１１９は、ステップＳ１１３の処理により導出された予測残差resi'に、ステップＳ１０４の予測処理により得られた予測画像を加算することにより、局所的に復号された復号画像を生成する。
【０１８４】
ステップＳ１１５において、インループフィルタ部１２０は、ステップＳ１１４の処理により導出された、局所的に復号された復号画像に対して、インループフィルタ処理を行う。
【０１８５】
ステップＳ１１６において、フレームメモリ１２１は、ステップＳ１１４の処理により導出された、局所的に復号された復号画像や、ステップＳ１１５においてフィルタ処理された、局所的に復号された復号画像を記憶する。
【０１８６】
ステップＳ１１７において、符号化部１１５は、ステップＳ１０９の処理により得られた、正規化された量子化係数qcoefを符号化する。例えば、符号化部１１５は、画像に関する情報である量子化係数qcoefを、算術符号化等により符号化し、符号化データを生成する。また、このとき、符号化部１１５は、各種符号化パラメータ（ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo等）を符号化する。さらに、符号化部１１５は、量子化係数qcoefから残差情報RInfoを導出し、その残差情報RInfoを符号化する。
【０１８７】
ステップＳ１１８において、蓄積バッファ１１６は、このようにして得られた符号化データを蓄積し、例えばビットストリームとして、それを画像符号化装置１００の外部に出力する。このビットストリームは、例えば、伝送路や記録媒体を介して復号側に伝送される。また、レート制御部１２３は、必要に応じてレート制御を行う。
【０１８８】
ステップＳ１１８の処理が終了すると、画像符号化処理が終了する。
【０１８９】
以上のような流れの画像符号化処理において、ステップＳ１０６において、直交変換前の予測残差resiの有効桁数を拡張ビット精度dBDにより伸長し、ステップＳ１０９において、量子化後の量子化係数qcoefSを拡張ビット精度dBDにより正規化することで、演算精度をあげて直交変換および量子化の処理に実行することができる。すなわち、演算精度の向上により、符号化効率が改善する。
【０１９０】
同様に、ステップＳ１１０において、逆量子化前の量子化係数qcoefの有効桁数を拡張ビット精度dBDにより伸長し、ステップＳ１１３において、逆直交変換後の予測残差resiS’を拡張ビット精度dBDにより正規化することで、演算精度をあげて逆量子化および逆直交変換の処理に実行することができる。すなわち、演算精度の向上により、符号化効率が改善する。
【０１９１】
＜dBD,deltaX導出処理の流れ＞
図１７のステップＳ１０３においては、各種符号化パラメータが導出される。例えば、拡張ビット精度dBDや差分パラメータdeltaX等が導出される。図１８のフローチャートを参照して、この拡張ビット精度dBDや差分パラメータdeltaX等のパラメータを導出するdBD,deltaX導出処理の流れの例を説明する。
【０１９２】
dBD,deltaX導出処理が開始されると、制御部１０１のシーケンスビット深度設定部１５１は、ステップＳ１３１において、コンポーネントＸのシーケンスビット深度channelBitDepthを外部パラメータに基づいて設定する。つまり、シーケンスビット深度設定部１５１は、外部より入力される入力画像の各コンポーネントのビット深度を求め、その値を、各コンポーネントのシーケンスビット深度channelBitDepthに設定する。
【０１９３】
ステップＳ１３２において、スライスビット深度設定部１５２は、コンポーネントＸのスライスビット深度sliceBitDepthを導出する。
【０１９４】
例えば、スライスビット深度設定部１５２は、まず、スライス単位に、各コンポーネントのスライスビット深度に関わる以下のシンタックスを該スライスに含まれる各コンポーネントの画素群に基づいて導出する。
【０１９５】
slice_min_val：コンポーネントX(X=Y/Cb/Cr)のスライス内における最小画素値
slice_max_val：コンポーネントX(X=Y/Cb/Cr)のスライス内における最大画素値
【０１９６】
そして、スライスビット深度設定部１５２は、それらのシンタックスを用いて、スライスビット深度sliceBitDepthを以下の式（１５）のように導出する。
【０１９７】
sliceBitDepth = ceil(log2(slice_max_val - slice_min_val))
・・・（１５）
【０１９８】
ステップＳ１３３において、画素最小値最大値探索部１５３は、拡張ビット精度制御グループSG毎に、コンポーネントXの最小画素値minPixelValueと最大画素値maxPixelValueとを導出する。
【０１９９】
ここで、拡張ビット精度制御グループSGとは、コンポーネントXの係数の有効桁数を拡張する拡張ビット精度dBDを制御するグループ単位を指す。例えば、図１９に示される入力画像１９１の場合、ピクチャ全体が４×４に１６分割され、それぞれが局所領域（局所領域００乃至局所領域３３）として設定されている。例えば、このような局所領域を拡張ビット精度制御グループSGとすることができる。つまりこの場合、局所領域毎に拡張ビット精度dBDが導出される。つまり、係数の有効桁数（演算精度）が局所領域毎に制御される。このような拡張ビット精度制御グループSGとする領域の大きさや形状は任意である。例えば、Slice、Tile、CTU（Coding Tree Unit）、CTB（Coded Tree Block）、CU（Coding Unit）、CB（Coding Block）、TU（Transform Unit）、TB（Transform Block）等を単位として拡張ビット精度制御グループSGを設定するようにしてもよい。
【０２００】
ステップＳ１３４において、dBD導出部１５４は、拡張ビット精度制御グループSG毎に、ステップＳ１３３において導出されたコンポーネントXの最小画素値minPixelValueおよび最大画素値maxPixelValueを用いて、以下の式（１６）のように、ローカルレベルのビット深度LocalBitDepth（拡張ビット精度制御グループSG毎のビット深度）を導出し、さらにそのローカルレベルのビット深度LocalBitDepthと、ステップＳ１３１において導出されたシーケンスビット深度channelBitDepthとを用いて、係数の有効桁数を何ビット拡張するかを示す拡張ビット精度dBDを、例えば以下の式（１７）のように導出する。
【０２０１】
なお、式（１６）で導出されたローカルレベルのビット深度LocalBitDepthを、所定の閾値minLocalBitDepth（例えば、8）を参照して、さらに式（１６Ａ）に示すように、LocalBitDepth = max(minLocalBitDepth,LocalBitDepth)として補正してもよい。こうすることで、後続の式（１７）で導出される拡張ビット精度dBDの値が大きくなり過ぎる（すなわち、有効桁数をあげ過ぎて中間係数データが最小値coefMin乃至最大値coefMaxの範囲を超えてしまう）ケースの発生を抑制することができる。なお、式（１６Ａ）において、演算子max(x, y)は、数値x, yのうち大きい値を返す演算子である。
【０２０２】
LocalBitDepth = ceil(log2(maxPixelValue - minPixelValue))
・・・（１６）
LocalBitDepth = max(minLocalBitDepth, LocalBitDepth)
・・・（１６Ａ）
dBD = channelBitDepth - LocalBitDepth
・・・（１７）
【０２０３】
ステップＳ１３５において、deltaX導出部１５５は、拡張ビット精度制御グループSG毎に、コンポーネントXの拡張ビット精度dBDの差分パラメータdeltaXを導出する。例えば、deltaX導出部１５５は、シーケンスビット深度channelBitDepth、スライスビット深度sliceBitDepth、および、拡張ビット精度制御グループSG毎の拡張ビット精度dBDを用いて、以下の式（１８）のように導出する。つまり、この場合、差分パラメータdeltaXは、画像のスライスビット深度sliceBitDepthとローカルレベルのビット深度LocalBitDepthとの差分である。
【０２０４】
deltaX = dBD + sliceBitDepth - channelBitDepth
= sliceBitDepth - LocalBitDepth
・・・（１８）
【０２０５】
なお、channelBitDepth≧sliceBitDepth ≧ deltaXの関係にある。このように、差分パラメータdeltaXを、拡張ビット精度dBD、シーケンスビット深度、スライスビット深度を介して表すことで、差分パラメータdeltaXの値をより小さくする（値の増大を抑制する）ことができる。すなわち、deltaXの符号量を小さくすることができ、符号化効率の低減を抑制することができる。
【０２０６】
ステップＳ１３５の処理が終了すると、dBD,deltaX導出処理が終了し、処理は図１７に戻る。
【０２０７】
＜拡張ビット精度制御グループSGの制御＞
なお、拡張ビット精度制御グループSGは、CTBのサイズCtbLog2Sizeに対する分割深度の差分値diff_cu_delta_depthによって制御するようにしてもよい。この場合、SGのサイズLog2SGSizeは、例えば、以下の式（１９）のように求まる。
【０２０８】
Log2SGSize = CtbLog2Size - diff_cu_delta_depth
・・・（１９）
【０２０９】
例えば、図２０において点線枠で示されるCTBが128x128のサイズの場合（CtbLog2Size = 7）であって、図２０において太線枠で示されるSGのサイズを32x32とする場合（Log2SGSize = 5）、差分値diff_cu_delta_depthの値は、以下の式（２０）のように２となる。
【０２１０】
diff_cu_delta_depth = CtbLog2Size - Log2SGSize = 7 - 5 = 2
・・・（２０）
【０２１１】
なお、差分値diff_cu_delta_depthは、所定のパラメータセット（ヘッダ情報）単位（例えば、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS（Picture Parameter Set））、またはスライスヘッダ（SH（Slice Header））等）で通知されるものとする。こうすることで、差分値diff_cu_delta_depthで拡張ビット精度制御グループSGの粒度を制御することができるようになる。
【０２１２】
例えば、信号のレンジがある程度大きい領域において一定である場合は、この差分値diff_cu_delta_depthの値を小さくすることで、差分パラメータdeltaXを通知する単位を大きくすることができ、オーバーヘッドを削減することができる。
【０２１３】
逆に、信号のレンジが小さい領域で変化する場合は、この差分値diff_cu_delta_depthの値を大きくすることで、差分パラメータdeltaXを通知する単位を小さくすることができ、より細かい粒度で、逆量子化・逆直交変換時の変換係数の有効桁数を拡張することができる。
【０２１４】
＜差分パラメータdeltaXの定義の他の例１＞
なお、以上においては、コンポーネントXの拡張ビット精度dBDの差分パラメータdeltaXを、シーケンスビット深度channelBitDepth、スライスビット深度sliceBitDepth、および拡張ビット精度dBDから求めるように説明したが、差分パラメータdeltaXの定義は、任意であり、この例に限定されない。
【０２１５】
例えば、拡張ビット精度dBDを、シーケンスビット深度channelBitDepthと、差分パラメータdeltaXの和で導出するようにしてもよい。つまり、差分パラメータdeltaXを、以下の式（２１）に示されるように、シーケンスビット深度channelBitDepthと拡張ビット精度dBDの差分値としてもよい。
【０２１６】
deltaX = channelBitDepth - dBD
・・・（２１）
【０２１７】
このようにすることにより、差分パラメータdeltaXを、上述した例よりも容易に導出することができる。
【０２１８】
＜差分パラメータdeltaXの定義の他の例２＞
また、以下の式（２２）のように、差分パラメータdeltaXを、拡張ビット精度dBDと等価としてもよい。
【０２１９】
deltaX = dBD
・・・（２２）
【０２２０】
この場合、差分パラメータdeltaXを、拡張ビット精度dBD以外の他のパラメータに依存しないで導出することができる。
【０２２１】
＜差分パラメータdeltaXの定義の他の例３＞
また、例えば、以下の式（２３）のように、差分パラメータdeltaXを、処理対象の拡張ビット精度制御グループSG（カレント拡張ビット精度制御グループSGcurと称する）の拡張ビット精度dBDと、その拡張ビット精度dBDの予測値dBDpredとの差分としてもよい。
【０２２２】
deltaX = dBD - dBDpred
・・・（２３）
【０２２３】
例えば、この予測値dBDpredは、カレント拡張ビット精度制御グループSGcurに隣接する符号化済みの拡張ビット精度制御グループneighborSGsのdBDを参照して導出される。例えば、図２１のＡのようなCTBにおいて、図２１のＢに示されるように、右下４分の１の領域がカレント拡張ビット精度制御グループSGcurあるとする。また、そのカレント拡張ビット精度制御グループSGcurの上辺に隣接する拡張ビット精度制御グループSGを隣接拡張ビット精度制御グループSGAとし、カレント拡張ビット精度制御グループSGcurの左辺に隣接する拡張ビット精度制御グループSGを隣接拡張ビット精度制御グループSGBとする。隣接拡張ビット精度制御グループSGAおよび隣接拡張ビット精度制御グループSGBは、符号化済みの隣接拡張ビット精度制御グループである。
【０２２４】
この場合、拡張ビット精度dBDの予測値dBDpredが、隣接拡張ビット精度制御グループSGAの拡張ビット精度dBDAおよび隣接拡張ビット精度制御グループSGBの拡張ビット精度dBDBに基づいて設定されるようにしてもよい。さらに、例えば、拡張ビット精度dBDの予測値dBDpredが、これらの隣接拡張ビット精度制御グループが参照可能であるか否かに応じた方法で導出されるようにしてもよい。例えば、以下のような方法で予測値dBDpredが求められるようにしてもよい。
【０２２５】
例えば、隣接拡張ビット精度制御グループSGAと隣接拡張ビット精度制御グループSGBともに参照可能な場合、予測値dBDpredは、以下の式（２４）のように導出する。
【０２２６】
dBDpred = ave(dBDA, dBDB)
・・・（２４）
【０２２７】
ここで、ave(x, y)は、ｘとｙの平均値を返す演算子である。
例えば、ave(x, y) = (x + y + 1)>>1である。
【０２２８】
また、例えば、隣接拡張ビット精度制御グループSGAのみ参照可能な場合、予測値dBDpredは、以下の式（２５）のように導出する。
【０２２９】
dBDpred = dBDA
・・・（２５）
【０２３０】
また、例えば、隣接拡張ビット精度制御グループSGBのみ参照可能な場合、予測値dBDpredは、以下の式（２６）のように導出する。
【０２３１】
dBDpred = dBDB
・・・（２６）
【０２３２】
また、例えば、隣接拡張ビット精度制御グループSGAおよび隣接拡張ビット精度制御グループSGBの両方が参照不可な場合、予測値dBDpredは、以下の式（２７）のように導出する。
【０２３３】
dBDpred = const  (=0)
・・・（２７）
【０２３４】
このように、隣接する符号化済ビット精度制御グループneigborSGsの拡張ビット精度dBDを使って、カレント拡張ビット精度制御グループSGcurのdBDを予測することで、差分パラメータdeltaXの値を低減することができる。すなわち、deltaXの復号や符号化に要する符号量の増大を抑制することができる。
【０２３５】
＜拡張ビット精度情報符号化処理の流れ＞
図１７のステップＳ１１７の符号化処理においては、拡張ビット精度dBDの差分パラメータdeltaX等の、制御部１０１より供給される、有効桁数の制御（演算精度の制御）に関する情報も符号化され、ビットストリームに含められる。
【０２３６】
そのような有効桁数の制御（演算精度の制御）に関する情報を符号化する拡張ビット精度情報符号化処理の流れの例を、図２２のフローチャートを参照して説明する。
【０２３７】
拡張ビット精度情報符号化処理が開始されると、符号化部１１５は、ステップＳ１５１において、シーケンスパラメータセットSPSの１パラメータとして、各コンポーネントのシーケンスビット深度channelBitDepthに関する情報（シンタックスの値）を符号化する。例えば、channelBitDepthに関わるシンタックスとして、以下のようなものがある。
【０２３８】
bit_depth_luma_minus8：輝度のシーケンスビット深度を示すシンタックス
bit_depth_chroma_minus8：色差のシーケンスビット深度を示すシンタックス
【０２３９】
これらのシンタックスの値は、例えば、以下の式（２８）および式（２９）のように導出される。例えば、制御部１０１のシーケンスビット深度設定部１５１が、図１８のステップＳ１３１において、これらのシンタックスの値を導出する。
【０２４０】
bit_depth_luma_minus8 = channelBitDepth - 8
・・・（２８）
bit_depth_chroma_minus8 = channelBitDepth - 8
・・・（２９）
【０２４１】
符号化部１１５は、制御部１０１から供給されるこれらのシンタックスの値を、シーケンスビット深度channelBitDepthに関する情報として符号化し、ビットストリームに含める（シーケンスビット深度に関する情報を含むビットストリームを生成する）。
【０２４２】
ステップＳ１５２において、符号化部１１５は、スライスヘッダSHの１パラメータとして、各コンポーネントのスライスビット深度sliceBitDepthに関する情報（シンタックスの値）を符号化する。例えば、スライスビット深度sliceBitDepthに関わるシンタックスとして、以下のようなものがある。
【０２４３】
slice_min_val：コンポーネントX(X=Y/Cb/Cr)のスライス内における最小画素値
slice_max_val：コンポーネントX(X=Y/Cb/Cr)のスライス内における最大画素値
【０２４４】
例えば、制御部１０１のスライスビット深度設定部１５２が、図１８のステップＳ１３２において、これらのシンタックスの値を導出する。符号化部１１５は、制御部１０１から供給されるこれらのシンタックスの値を、スライスビット深度sliceBitDepthに関する情報として符号化し、ビットストリームに含める（スライスビット深度に関する情報を含むビットストリームを生成する）。
【０２４５】
ステップＳ１５３において、符号化部１１５は、拡張ビット精度制御グループSG毎に、コンポーネントXの拡張ビット精度dBDの差分パラメータdeltaXを符号化する。例えば、制御部１０１のdeltaX導出部１５５が、図１８のステップＳ１３５において、この差分パラメータdeltaXを導出する。符号化部１１５は、制御部１０１から供給される差分パラメータdeltaXを、拡張ビット精度dBDに関する情報として符号化し、ビットストリームに含める（差分パラメータdeltaXを含むビットストリームを生成する）。
【０２４６】
ステップＳ１５３の処理が終了すると、拡散ビット精度情報符号化処理が終了し、処理は図１７に戻る。
【０２４７】
以上のように差分パラメータdeltaX等の有効桁数の制御（演算精度の制御）に関する情報を符号化し、ビットストリームに含め、符号化側から復号側に伝送することにより、復号側においても、本技術を適用した方法で復号を行うことができる。したがって、符号化効率の低減を抑制することができる。
【０２４８】
図２３は、差分パラメータdeltaXのシンタックスの例を示す図である。図２３のＡのシンタックスは、例えばCTU、CTB、CU、またはCB等、差分パラメータdeltaXを変換ブロックより大きい単位でシグナルする場合の例を示す。このようにすることにより、オーバーヘッドを低減させることができる。
【０２４９】
なお、adaptive_scaling_enabled_flagは、適応スケーリングの適用可か否かを示すフラグであり、ヘッダ情報（例えば、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、またはスライスヘッダ（SH））において通知される。
【０２５０】
該フラグが真（１）のとき、適応スケーリングを適用するため、適応スケーリングに関するシンタックス群を復号・符号化する。これに対して、該フラグが偽（０）のとき、適応スケーリングを適用しないため、deltaX(X=Y/Cb/Cr) = 0と解釈する。
【０２５１】
図２３のＢのシンタックスは、変換ブロック単位でシグナルする場合の例を示す。この場合、各コンポーネントのcbf（coded block flag）を参照して、有意係数のある変換ブロックに対して、差分パラメータを符号化・復号する。このようにすることにより、オーバーヘッドを低減させることができる。
【０２５２】
＜画像復号装置＞
次に、復号の際に図９の表の方法＃１のような演算精度の制御を行う構成について説明する。図２４は、本技術を適用した画像処理装置の一態様である画像復号装置の構成の一例を示すブロック図である。図２４に示される画像復号装置２００は、AVCやHEVCのように、画像とその予測画像との予測残差が符号化された符号化データを復号する装置である。例えば、画像復号装置２００は、非特許文献１乃至非特許文献３に記載されている技術を実装し、それらの文献のいずれかに記載された規格に準拠した方法で動画像の画像データが符号化された符号化データを復号する。例えば、画像復号装置２００は、上述の画像符号化装置１００により生成された符号化データ（ビットストリーム）を復号する。
【０２５３】
なお、図２４においては、処理部やデータの流れ等の主なものを示しており、図２４に示されるものが全てとは限らない。つまり、画像復号装置２００において、図２４においてブロックとして示されていない処理部が存在したり、図２４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。これは、画像復号装置２００内の処理部等を説明する他の図においても同様である。
【０２５４】
図２４において、画像復号装置２００は、蓄積バッファ２１１、復号部２１２、逆量子化部２１３、逆直交変換部２１４、演算部２１５、インループフィルタ部２１６、並べ替えバッファ２１７、フレームメモリ２１８、および予測部２１９を有する。なお、予測部２１９は、不図示のイントラ予測部、およびインター予測部を有する。画像復号装置２００は、符号化データ（ビットストリーム）を復号することによって、動画像データを生成するための装置である。
【０２５５】
なお、画像復号装置２００は、さらに、伸長部２３１および正規化部２３２も有する。
【０２５６】
＜蓄積バッファ＞
蓄積バッファ２１１は、画像復号装置２００に入力されたビットストリームを取得し、保持（記憶）する。蓄積バッファ２１１は、所定のタイミングにおいて、または、所定の条件が整う等した場合、蓄積しているビットストリームを復号部２１２に供給する。
【０２５７】
＜復号部＞
復号部２１２は、画像の復号に関する処理を行う。例えば、復号部２１２は、蓄積バッファ２１１から供給されるビットストリームを入力とし、シンタックステーブルの定義に沿って、そのビット列から、各シンタックス要素のシンタックス値を可変長復号し、パラメータを導出する。
【０２５８】
シンタックス要素およびシンタックス要素のシンタックス値から導出されるパラメータには、例えば、ヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、残差情報Rinfo、フィルタ情報Finfoなどの情報が含まれる。つまり、復号部２１２は、ビットストリームから、これらの情報をパースする（解析して取得する）。これらの情報について以下に説明する。
【０２５９】
＜ヘッダ情報Hinfo＞
ヘッダ情報Hinfoは、例えば、VPS（Video Parameter Set）／SPS（Sequence Parameter Set）／PPS（Picture Parameter Set）／SH（スライスヘッダ）などのヘッダ情報を含む。ヘッダ情報Hinfoには、例えば、画像サイズ（横幅PicWidth、縦幅PicHeight）、ビット深度（輝度bitDepthY, 色差bitDepthC）、色差アレイタイプChromaArrayType、CUサイズの最大値MaxCUSize／最小値MinCUSize、４分木分割（Quad-tree分割ともいう）の最大深度MaxQTDepth/最小深度MinQTDepth、２分木分割（Binary-tree分割）の最大深度MaxBTDepth/最小深度MinBTDepth、変換スキップブロックの最大値MaxTSSize（最大変換スキップブロックサイズともいう）、各符号化ツールのオンオフフラグ（有効フラグともいう）などを規定する情報が含まれる。
【０２６０】
例えば、ヘッダ情報Hinfoに含まれる符号化ツールのオンオフフラグとしては、以下に示す変換、量子化処理に関わるオンオフフラグがある。なお、符号化ツールのオンオフフラグは、該符号化ツールに関わるシンタックスが符号化データ中に存在するか否かを示すフラグとも解釈することができる。また、オンオフフラグの値が１（真）の場合、該符号化ツールが使用可能であることを示し、オンオフフラグの値が０（偽）の場合、該符号化ツールが使用不可であることを示す。なお、フラグ値の解釈は逆であってもよい。
【０２６１】
コンポーネント間予測有効フラグ（ccp_enabled_flag）:コンポーネント間予測（CCP（Cross-Component Prediction），CC予測とも称する）が使用可能であるか否かを示すフラグ情報である。例えば、このフラグ情報が「１」（真）の場合、使用可能であることが示され、「０」（偽）の場合、使用不可であることが示される。
【０２６２】
なお、このCCPは、コンポーネント間線形予測（CCLMまたはCCLMP）とも称する。
【０２６３】
＜予測モード情報Pinfo＞
予測モード情報Pinfoには、例えば、処理対象PB（予測ブロック）のサイズ情報PBSize（予測ブロックサイズ）、イントラ予測モード情報IPinfo、動き予測情報MVinfo等の情報が含まれる。
【０２６４】
イントラ予測モード情報IPinfoには、例えば、JCTVC-W1005, 7.3.8.5 Coding Unit syntax中のprev_intra_luma_pred_flag, mpm_idx, rem_intra_pred_mode、およびそのシンタックスから導出される輝度イントラ予測モードIntraPredModeY等が含まれる。
【０２６５】
また、イントラ予測モード情報IPinfoには、例えば、コンポーネント間予測フラグ（ccp_flag（cclmp_flag））、多クラス線形予測モードフラグ（mclm_flag）、色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）、色差MPM識別子（chroma_mpm_idx）、および、これらのシンタックスから導出される輝度イントラ予測モード（IntraPredModeC）等が含まれる。
【０２６６】
コンポーネント間予測フラグ（ccp_flag（cclmp_flag））は、コンポーネント間線形予測を適用するか否かを示すフラグ情報である。例えば、ccp_flag==1のとき、コンポーネント間予測を適用することを示し、ccp_flag==0のとき、コンポーネント間予測を適用しないことを示す。
【０２６７】
多クラス線形予測モードフラグ（mclm_flag）は、線形予測のモードに関する情報（線形予測モード情報）である。より具体的には、多クラス線形予測モードフラグ（mclm_flag）は、多クラス線形予測モードにするか否かを示すフラグ情報である。例えば、「０」の場合、１クラスモード（単一クラスモード）（例えばCCLMP）であることを示し、「１」の場合、２クラスモード（多クラスモード）（例えばMCLMP）であることを示す。
【０２６８】
色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置のタイプ（色差サンプル位置タイプとも称する）を識別する識別子である。例えば色フォーマットに関する情報である色差アレイタイプ（ChromaArrayType）が420形式を示す場合、色差サンプル位置タイプ識別子は、以下の式（３０）のような割り当て方となる。
【０２６９】
chroma_sample_loc_type_idx == 0：Type2
chroma_sample_loc_type_idx == 1：Type3
chroma_sample_loc_type_idx == 2：Type1
chroma_sample_loc_type_idx == 3：Type0
・・・（３０）
【０２７０】
なお、この色差サンプル位置タイプ識別子（chroma_sample_loc_type_idx）は、色差コンポーネントの画素位置に関する情報（chroma_sample_loc_info()）として（に格納されて）伝送される。
【０２７１】
色差MPM識別子（chroma_mpm_idx）は、色差イントラ予測モード候補リスト（intraPredModeCandListC）の中のどの予測モード候補を色差イントラ予測モードとして指定するかを表す識別子である。
【０２７２】
動き予測情報MVinfoには、例えば、merge_idx, merge_flag, inter_pred_idc, ref_idx_LX, mvp_lX_flag, X={0,1}, mvd等の情報が含まれる（例えば、JCTVC-W1005, 7.3.8.6 Prediction Unit Syntaxを参照）。
【０２７３】
もちろん、予測モード情報Pinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
【０２７４】
＜変換情報Tinfo＞
変換情報Tinfoには、例えば、以下の情報が含まれる。もちろん、変換情報Tinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
【０２７５】
処理対象変換ブロックの横幅サイズTBWSizeおよび縦幅TBHSize（または、２を底とする各TBWSize（または、TrWidth）、TBHSize（または、TrHeight）の対数値log2TBWSize（または、log2TrWidth）、log2TBHSize（または、log2TrHeight）であってもよい）。
変換スキップフラグ（ts_flag）:（逆）プライマリ変換および（逆）セカンダリ変換をスキップか否かを示すフラグである。
スキャン識別子（scanIdx）
量子化パラメータ（qp）
量子化マトリックス（scaling_matrix（例えば、JCTVC-W1005, 7.3.4 Scaling list data syntax））
【０２７６】
＜残差情報Rinfo＞
残差情報Rinfo（例えば、JCTVC-W1005の7.3.8.11 Residual Coding syntaxを参照）には、例えば以下のシンタックスが含まれる。
【０２７７】
cbf（coded_block_flag）：残差データ有無フラグ
last_sig_coeff_x_pos：ラスト非ゼロ係数X座標
last_sig_coeff_y_pos：ラスト非ゼロ係数Y座標
coded_sub_block_flag：サブブロック非ゼロ係数有無フラグ
sig_coeff_flag：非ゼロ係数有無フラグ
gr1_flag：非ゼロ係数のレベルが１より大きいかを示すフラグ（GR1フラグとも呼ぶ）
gr2_flag：非ゼロ係数のレベルが２より大きいかを示すフラグ(GR2フラグとも呼ぶ)
sign_flag：非ゼロ係数の正負を示す符号（サイン符号とも呼ぶ）
coeff_abs_level_remaining:非ゼロ係数の残余レベル（非ゼロ係数残余レベルとも呼ぶ）
など。
【０２７８】
もちろん、残差情報Rinfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
【０２７９】
＜フィルタ情報Finfo＞
フィルタ情報Finfoには、例えば、以下に示す各フィルタ処理に関する制御情報が含まれる。
【０２８０】
デブロッキングフィルタ(DBF)に関する制御情報
画素適応オフセット(SAO)に関する制御情報
適応ループフィルタ(ALF)に関する制御情報
その他の線形・非線形フィルタに関する制御情報
【０２８１】
より具体的には、例えば、各フィルタを適用するピクチャや、ピクチャ内の領域を指定する情報や、CU単位のフィルタOn/Off制御情報、スライス、タイルの境界に関するフィルタOn/Off制御情報などが含まれる。もちろん、フィルタ情報Finfoに含まれる情報は任意であり、これらの情報以外の情報が含まれるようにしてもよい。
【０２８２】
復号部２１２の説明に戻り、復号部２１２は、残差情報Rinfoを参照して、各変換ブロック内の各係数位置の量子化係数qcoefを導出する。復号部２１２は、その量子化係数qcoefを、伸長部２３１に供給する。
【０２８３】
また、復号部２１２は、パースしたヘッダ情報Hinfo、予測モード情報Pinfo、量子化係数qcoef、変換情報Tinfo、フィルタ情報Finfoを各ブロックへ供給する。具体的には以下の通りである。
【０２８４】
ヘッダ情報Hinfoは、逆量子化部２１３、逆直交変換部２１４、予測部２１９、インループフィルタ部２１６に供給される。
予測モード情報Pinfoは、逆量子化部２１３および予測部２１９に供給される。
変換情報Tinfoは、逆量子化部２１３、逆直交変換部２１４、伸長部２３１、および正規化部２３２に供給される。
フィルタ情報Finfoは、インループフィルタ部２１６に供給される。
【０２８５】
もちろん、上述の例は一例であり、この例に限定されない。例えば、各符号化パラメータが任意の処理部に供給されるようにしてもよい。また、その他の情報が、任意の処理部に供給されるようにしてもよい。
【０２８６】
例えば、画像符号化装置１００の説明において上述した、例えば、シーケンスビット深度channelBitDepthに関する情報、スライスビット深度sliceBitDepthに関する情報、差分パラメータdeltaX等の、有効係数の制御（演算精度の制御）に関する情報は、変換情報Tinfoに含められていてもよい。
【０２８７】
＜逆量子化部＞
逆量子化部２１３は、逆量子化に関する処理を行う。例えば、逆量子化部２１３は、復号部２１２から供給される変換情報Tinfo、および、伸長部２３１から供給される量子化係数qcoefS'を入力とし、その変換情報Tinfoに基づいて、量子化係数qcoefS'の値をスケーリング（逆量子化）し、逆量子化後の変換係数coefS'を導出する。
【０２８８】
なお、この逆量子化は、量子化部１１４による量子化の逆処理として行われる。また、この逆量子化は、逆量子化部１１７による逆量子化と同様の処理である。つまり、逆量子化部１１７は、逆量子化部２１３と同様の処理（逆量子化）を行う。
【０２８９】
逆量子化部２１３は、導出した変換係数coefS'を逆直交変換部２１４に供給する。
【０２９０】
＜逆直交変換部＞
逆直交変換部２１４は、逆直交変換に関する処理を行う。例えば、逆直交変換部２１４は、逆量子化部２１３から供給される変換係数coefS'、および、復号部２１２から供給される変換情報Tinfoを入力とし、その変換情報Tinfoに基づいて、変換係数coefS'に対して逆直交変換処理を行い、予測残差resiS'を導出する。
【０２９１】
なお、この逆直交変換は、直交変換部１１３による直交変換の逆処理として行われる。また、この逆直交変換は、逆直交変換部１１８による逆直交変換と同様の処理である。つまり、逆直交変換部１１８は、逆直交変換部２１４と同様の処理（逆直交変換）を行う。
【０２９２】
逆直交変換部２１４は、導出した予測残差resiS'を正規化部２３２に供給する。
【０２９３】
＜演算部＞
演算部２１５は、画像に関する情報の加算に関する処理を行う。例えば、演算部２１５は、正規化部２３２から供給される予測残差resi'と、予測部２１９から供給される予測画像Pとを入力とする。演算部２１５は、以下の式（３１）に示されるように、予測残差resi'とその予測残差resi'に対応する予測画像P（予測信号）とを加算し、局所復号画像Rlocalを導出する。
【０２９４】
Rlocal = resi' + P
・・・（３１）
【０２９５】
演算部２１５は、導出した局所復号画像Rlocalを、インループフィルタ部２１６およびフレームメモリ２１８に供給する。
【０２９６】
＜インループフィルタ部＞
インループフィルタ部２１６は、インループフィルタ処理に関する処理を行う。例えば、インループフィルタ部２１６は、演算部２１５から供給される局所復号画像Rlocalと、復号部２１２から供給されるフィルタ情報Finfoとを入力とする。なお、インループフィルタ部２１６に入力される情報は任意であり、これらの情報以外の情報が入力されてもよい。
【０２９７】
インループフィルタ部２１６は、そのフィルタ情報Finfoに基づいて、局所復号画像Rlocalに対して適宜フィルタ処理を行う。
【０２９８】
例えば、インループフィルタ部２１６は、非特許文献３に記載のように、バイラテラルフィルタ、デブロッキングフィルタ（DBF（DeBlocking Filter））、適応オフセットフィルタ（SAO（Sample Adaptive Offset））、および適応ループフィルタ（ALF(Adaptive Loop Filter)）の４つのインループフィルタをこの順に適用する。なお、どのフィルタを適用するか、どの順で適用するかは任意であり、適宜選択可能である。
【０２９９】
インループフィルタ部２１６は、符号化側（例えば画像符号化装置１００のインループフィルタ部１２０）により行われたフィルタ処理に対応するフィルタ処理を行う。もちろん、インループフィルタ部２１６が行うフィルタ処理は任意であり、上述の例に限定されない。例えば、インループフィルタ部２１６がウィーナーフィルタ等を適用するようにしてもよい。
【０３００】
インループフィルタ部２１６は、フィルタ処理された局所復号画像Rlocalを並べ替えバッファ２１７およびフレームメモリ２１８に供給する。
【０３０１】
＜並べ替えバッファ＞
並べ替えバッファ２１７は、インループフィルタ部２１６から供給された局所復号画像Rlocalを入力とし、それを保持（記憶）する。並べ替えバッファ２１７は、その局所復号画像Rlocalを用いてピクチャ単位毎の復号画像Rを再構築し、保持する（バッファ内に格納する）。並べ替えバッファ２１７は、得られた復号画像Rを、復号順から再生順に並べ替える。並べ替えバッファ２１７は、並べ替えた復号画像R群を動画像データとして画像復号装置２００の外部に出力する。
【０３０２】
＜フレームメモリ＞
フレームメモリ２１８は、画像に関するデータの記憶に関する処理を行う。例えば、フレームメモリ２１８は、演算部２１５より供給される局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ２１８内のバッファへ格納する。
【０３０３】
また、フレームメモリ２１８は、インループフィルタ部２１６から供給される、インループフィルタ処理された局所復号画像Rlocalを入力とし、ピクチャ単位毎の復号画像Rを再構築して、フレームメモリ２１８内のバッファへ格納する。フレームメモリ２１８は、適宜、その記憶している復号画像R（またはその一部）を参照画像として予測部２１９に供給する。
【０３０４】
なお、フレームメモリ２１８が、復号画像の生成に係るヘッダ情報Hinfo、予測モード情報Pinfo、変換情報Tinfo、フィルタ情報Finfoなどを記憶するようにしても良い。
【０３０５】
＜予測部＞
予測部２１９は、予測画像の生成に関する処理を行う。例えば、予測部２１９は、復号部２１２から供給される予測モード情報Pinfoを入力とし、その予測モード情報Pinfoによって指定される予測方法により予測を行い、予測画像Pを導出する。その導出の際、予測部２１９は、その予測モード情報Pinfoによって指定される、フレームメモリ２１８に格納されたフィルタ前またはフィルタ後の復号画像R（またはその一部）を、参照画像として利用する。予測部２１９は、導出した予測画像Pを、演算部２１５に供給する。
【０３０６】
＜伸長部＞
伸長部２３１は、復号部２１２から供給される量子化係数qcoefと制御部１０１から供給される変換情報Tinfoを入力とし、量子化係数qcoefの有効桁数の制御（伸長）に関する処理を行う。例えば、伸長部２３１は、量子化係数qcoefを拡張ビット精度dBDビットだけ左ビットシフトし（<<dBD）、量子化係数qcoefの有効桁数を拡張する。つまり、伸長部２３１は、直交変換や量子化が行われる前の量子化係数qcoefの有効桁数を、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて拡張する。また、伸長部２３１は、そのビットシフトにより得られた、有効桁数が拡張された量子化係数qcoefS'を逆量子化部２１３に供給する。
【０３０７】
＜正規化部＞
正規化部２３２は、逆直交変換部２１４から供給される予測残差resiS'と制御部１０１から供給される変換情報Tinfoを入力とし、予測残差resiS'の有効桁数の制御（正規化）に関する処理を行う。例えば、正規化部２３２は、予測残差resiS'を拡張ビット精度dBDビットだけ右ビットシフトし（>>dBD）、予測残差resiS'の有効桁数を正規化する。つまり、正規化部２３２は、逆量子化や逆直交変換が行われた後の予測残差resiS'の有効桁数を、ビット深度のシーケンス内における時間方向または空間方向の変化に応じて正規化する。また、正規化部２３２は、そのビットシフトにより得られた、有効桁数が正規化された予測残差resiS'を演算部２１５に供給する。
【０３０８】
以上のような構成とすることにより、画像復号装置２００は、係数の有効桁数をシーケンスレベルの拡張からさらに拡張した状態で、逆量子化および逆直交変換の各処理を行うことができ、それらの処理の演算精度を向上させることができる。つまり、符号化効率の低減を抑制することができる。
【０３０９】
＜復号部の詳細＞
図２５は、復号部２１２の、有効桁数の制御に関する情報の抽出等に関する主な構成例を示すブロック図である。図２５に示されるように、復号部２１２は、シーケンスビット深度導出部２５１、スライスビット深度導出部２５２、deltaX復号部２５３、およびdBD導出部２５４を有する。なお、復号部２１２は、上述のように、他の情報の復号等、有効桁数の制御に関する情報の抽出等以外の処理も行うが、それらの処理についての構成の説明は省略する。
【０３１０】
シーケンスビット深度導出部２５１は、蓄積バッファ２１１のビットストリームbitstreamを入力とし、シーケンスビット深度channelBitDepthの導出に関する処理を行う。例えば、シーケンスビット深度導出部２５１は、ビットストリームに含まれるシーケンスビット深度に関する情報を復号して抽出する。また、例えば、シーケンスビット深度導出部２５１は、その抽出したシーケンスビット深度に関する情報を用いてシーケンスビット深度channelBitDepthを導出する。また、例えば、シーケンスビット深度導出部２５１は、その導出したシーケンスビット深度channelBitDepthをdBD導出部２５４に供給する。さらに、例えば、シーケンスビット深度導出部２５１は、その導出したシーケンスビット深度channelBitDepthを、変換情報Tinfoとして逆量子化部２１３および逆直交変換部２１４に供給する。
【０３１１】
スライスビット深度導出部２５２は、蓄積バッファ２１１のビットストリームbitstreamを入力とし、スライスビット深度sliceBitDepthの導出に関する処理を行う。例えば、スライスビット深度導出部２５２は、ビットストリームに含まれるスライスビット深度に関する情報を復号して抽出する。また、例えば、スライスビット深度導出部２５２は、その抽出したスライスビット深度に関する情報を用いてスライスビット深度sliceBitDepthを導出する。また、例えば、スライスビット深度導出部２５２は、その導出したスライスビット深度sliceBitDepthをdBD導出部２５４に供給する。
【０３１２】
deltaX復号部２５３は、蓄積バッファ２１１のビットストリームbitstreamを入力とし、差分パラメータdeltaXの復号に関する処理を行う。例えば、deltaX復号部２５３は、ビットストリームに含まれる差分パラメータdeltaX（拡張ビット精度に関する情報）を復号して抽出する。deltaX復号部２５３は、得られた差分パラメータdeltaXを、dBD導出部２５４に供給する。
【０３１３】
dBD導出部２５４は、シーケンスビット深度導出部２５１から供給されるシーケンスビット深度channelBitDepth、スライスビット深度導出部２５２から供給されるスライスビット深度sliceBitDepth、および、deltaX復号部２５３から供給される差分パラメータdeltaXを入力とし、拡張ビット精度dBDの導出に関する処理を行う。例えば、dBD導出部２５４は、それらのパラメータに基づいて拡張ビット精度dBDをローカルレベル毎に導出する。また、dBD導出部２５４は、その導出した拡張ビット精度dBDを、変換情報Tinfoとして逆量子化部２１３、逆直交変換部２１４、伸長部２３１、および正規化部２３２に供給する。
【０３１４】
＜画像復号処理の流れ＞
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図２６のフローチャートを参照して、画像復号処理の流れの例を説明する。
【０３１５】
画像復号処理が開始されると、蓄積バッファ２１１は、ステップＳ２０１において、画像復号装置２００の外部から供給される符号化データ（ビットストリーム）を取得して保持する（蓄積する）。
【０３１６】
ステップＳ２０２において、復号部２１２は、その符号化データ（ビットストリーム）を復号し、量子化係数qcoefを得る。また、復号部２１２は、この復号により、符号化データ（ビットストリーム）から各種符号化パラメータをパースする（解析して取得する）。
【０３１７】
ステップＳ２０３において、伸長部２３１は、ステップＳ２０２の処理により得られたコンポーネントXの量子化係数qcoefを、拡張ビット精度制御グループSG単位の拡張ビット精度dBDを用いて、以下の式（３２）のように伸長し、伸長された量子化係数qcoefS’を得る。
【０３１８】
dBD>0のとき  qcoefS’ = qcoef << dBD
dBD=0のとき  qcoefS’  = qcoef
・・・（３２）
【０３１９】
ステップＳ２０４において、逆量子化部２１３は、ステップＳ２０３の処理により伸長された量子化係数qcoefS’に対して、符号化側で行われた量子化の逆処理である逆量子化を行い、変換係数coefS’を得る。
【０３２０】
ステップＳ２０５において、逆直交変換部２１４は、ステップＳ２０４の処理により得られた変換係数coefS’に対して、符号化側で行われた直交変換処理の逆処理である逆直交変換処理を行い、予測残差resiS’を得る。
【０３２１】
ステップＳ２０６において、正規化部２３２は、ステップＳ２０５の処理により得られたコンポーネントXの予測残差resiS’を、拡張ビット精度制御グループSG単位の拡張ビット精度dBDを用いて、以下の式（３３）のように正規化し、正規化された予測残差resiを得る。
【０３２２】
dBD>0のとき  resi' = (resiS’ + offsetBD) >> dBD
ただし、offsetBD = 1<<(dBD-1)
dBD=0のとき  resi’ = resiS’
・・・（３３）
【０３２３】
この式（３３）の代わりに、以下の式（３４）によって正規化を行うようにしてもよい。
【０３２４】
dBD>0のとき  resi’ = sign(resiS’) * ( abs(resiS’)  + offsetBD) >> dBD
dBD=0のとき  resi’ = resiS’
・・・（３４）
【０３２５】
ここで、sign(x)は、実数xの正負号を返す演算子であり、abs(x)は、実数xの絶対値を返す演算子である。
【０３２６】
ステップＳ２０７において、予測部２１９は、ステップＳ２０２においてパースされた情報に基づいて、符号化側より指定される予測方法で予測処理を実行し、フレームメモリ２１８に記憶されている参照画像を参照する等して、予測画像Pを生成する。
【０３２７】
ステップＳ２０８において、演算部２１５は、ステップＳ２０６の処理により得られた予測残差resi'と、ステップＳ２０７の処理により得られた予測画像Pとを加算し、局所復号画像Rlocalを導出する。
【０３２８】
ステップＳ２０９において、インループフィルタ部２１６は、ステップＳ２０８の処理により得られた局所復号画像Rlocalに対して、インループフィルタ処理を行う。
【０３２９】
ステップＳ２１０において、並べ替えバッファ２１７は、ステップＳ３０７の処理により得られたフィルタ処理された局所復号画像Rlocalを用いて復号画像Rを導出し、その復号画像R群の順序を復号順から再生順に並べ替える。再生順に並べ替えられた復号画像R群は、動画像として画像復号装置２００の外部に出力される。
【０３３０】
また、ステップＳ２１１において、フレームメモリ２１８は、ステップＳ２０８の処理により得られた局所復号画像Rlocal、および、ステップＳ２０９の処理により得られたフィルタ処理後の局所復号画像Rlocalの内、少なくとも一方を記憶する。
【０３３１】
ステップＳ２１１の処理が終了すると、画像復号処理が終了する。
【０３３２】
以上のような流れの画像復号処理において、ステップＳ２０３において、逆量子化前の量子化係数qcoefの有効桁数を拡張ビット精度dBDにより伸長し、ステップＳ２０６において、逆直交変換後の予測残差resiS'を拡張ビット精度dBDにより正規化することで、演算精度をあげて逆量子化および逆直交変換の処理に実行することができる。すなわち、演算精度の向上により、符号化効率が改善する。
【０３３３】
＜dBD導出処理の流れ＞
図２６のステップＳ２０２においては、各種符号化パラメータが導出される。例えば、拡張ビット精度dBD等が導出される。図２７のフローチャートを参照して、この拡張ビット精度dBD等のパラメータを導出するdBD導出処理の流れの例を説明する。
【０３３４】
dBD導出処理が開始されると、復号部２１２のシーケンスビット深度導出部２５１は、ステップＳ２３１において、コンポーネントXのシーケンスビット深度channelBitDepthを導出する。
【０３３５】
例えば、シーケンスビット深度導出部２５１は、ビットストリームのシーケンスパラメータセットSPSに含まれる各コンポーネントのシーケンスビット深度channelBitDepthに関わるシンタックスの値（シーケンスビット深度に関する情報）を復号して抽出する。また、シーケンスビット深度導出部２５１は、その抽出したシンタックスの値から、シーケンスビット深度channelBtiDepthを導出する。例えば、channelBitDepthに関わるシンタックスとして、以下のようなものがある。
【０３３６】
bit_depth_luma_minus8：輝度のシーケンスビット深度を示すシンタックス
bit_depth_chroma_minus8：色差のシーケンスビット深度を示すシンタックス
【０３３７】
例えば、輝度の場合、シーケンスビット深度導出部２５１は、以下の式（３５）のようにシーケンスビット深度channelBtiDepthを導出する。
【０３３８】
channelBitDepth = 8 + bit_depth_luma_minus8
・・・（３５）
【０３３９】
また、例えば色差の場合、シーケンスビット深度導出部２５１は、以下の式（３６）のようにシーケンスビット深度channelBitDepthを導出する。
【０３４０】
channelBitDepth = 8 + bit_depth_chroma_minus8
・・・（３６）
【０３４１】
ステップＳ２３２において、スライスビット深度導出部２５２は、コンポーネントXのスライスビット深度sliceBitDepthを導出する。
【０３４２】
例えば、スライスビット深度導出部２５２は、ビットストリームのスライスヘッダSHに含まれる各コンポーネントのスライスビット深度に関わるシンタックスの値（スライスビット深度に関する情報）を復号し、抽出する。また、スライスビット深度導出部２５２は、その抽出したシンタックスの値から、スライスビット深度sliceBitDepthを導出する。例えば、スライスビット深度sliceBitDepthに関わるシンタックスとして、以下のようなものがある。
【０３４３】
slice_min_val：コンポーネントX(X=Y/Cb/Cr)のスライス内における最小画素値
slice_max_val：コンポーネントX(X=Y/Cb/Cr)のスライス内における最大画素値
【０３４４】
スライスビット深度導出部２５２は、例えば、以下の式（３７）のように、これらの値から、スライスビット深度sliceBitDepthを導出する。
【０３４５】
sliceBitDepth = ceil( log2 (slice_max_val - slice_min_val) )
・・・（３７）
【０３４６】
なお、スライス内の最小画素値slice_min_valおよび最大画素値 slice_max_valの代わりに、直接スライスビット深度sliceBitDepthをスライスヘッダより復号してもよいし、シーケンスビット深度channelBitDepthとスライスビット深度sliceBitDepthの差分値slice_bit_depth_diffXを復号するようにしてもよい。
【０３４７】
slice_bit_depth_diffX：コンポーネントXのシーケンスビット深度channelBitDepthに対するスライスビット深度の差分値
【０３４８】
slice_bit_depth_diffXからスライスビット深度sliceBitDepthを導出する場合、スライスビット深度sliceBitDepthは、例えば以下の式（３８）のように導出される。
【０３４９】
sliceBitDepth = channelBitDepth - slice_bit_depth_diffX
・・・（３８）
【０３５０】
ステップＳ２３３において、deltaX復号部２５３は、拡張ビット精度制御グループSG毎にコンポーネントXの拡張ビット精度dBDの差分パラメータdeltaXを復号する。
【０３５１】
例えば、deltaX復号部２５３は、拡張ビット精度制御グループSG（Scaling Group）毎にコンポーネントXの係数の有効桁数を何ビット拡張するかを示す拡張ビット精度dBDの差分パラメータdeltaXを符号化データから復号する。
【０３５２】
ステップＳ２３４において、dBD導出部２５４は、拡張ビット精度制御グループSG毎に、コンポーネントXの拡張ビット精度dBDを導出する。
【０３５３】
例えば、dBD導出部２５４は、拡張ビット精度制御グループSG毎に、以下の式（３９）のように、コンポーネントXの拡張ビット精度dBDの差分パラメータdeltaX、シーケンスビット深度channelBitDepth、およびスライスビット深度sliceBitDepthから拡張ビット精度dBDを導出する。
【０３５４】
dBD = channelBitDepth - sliceBitDepth + deltaX
・・・（３９）
【０３５５】
なお、channelBitDepth≧sliceBitDepth ≧ deltaXの関係にある。拡張ビット精度dBDをシーケンスビット深度、スライスビット深度を介して表すことで、差分パラメータdeltaXの値を小さくすることができる。すなわち、差分パラメータdeltaXの復号・符号化に要する符号量を小さくすることができる。
【０３５６】
ステップＳ２３４の処理が終了すると、dBD導出処理が終了し、処理は図２６に戻る。
【０３５７】
＜拡張ビット精度制御グループSGの制御＞
なお、拡張ビット精度制御グループSGは、CTBのサイズCtbLog2Sizeに対する分割深度の差分値diff_cu_delta_depthによって制御するようにしてもよい。この場合、SGのサイズLog2SGSizeは、以下の式（４０）のように求まる。
【０３５８】
Log2SGSize = CtbLog2Size - diff_cu_delta_depth
・・・（４０）
【０３５９】
例えば、図２０に示される点線枠のようにCTBが128x128のサイズの場合(CtbLog2Size = 7)であって、図２０に示される太線枠のようにSGのサイズを32x32とする場合(Log2SGSize = 5)、差分値diff_cu_delta_depthの値は、以下の式（４１）のように２となる。
【０３６０】
diff_cu_delta_depth = CtbLog2Size - Log2SGSize = 7 - 5 = 2
・・・（４１）
【０３６１】
なお、差分値diff_cu_delta_depthは、所定のパラメータセット（ヘッダ情報）単位（例えば、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS（Picture Parameter Set））、またはスライスヘッダ（SH（Slice Header））等）で通知されるものとする。こうすることで、差分値diff_cu_delta_depthで拡張ビット精度制御グループSGの粒度を制御することができるようになる。
【０３６２】
例えば、信号のレンジがある程度大きい領域において一定である場合は、この差分値diff_cu_delta_depthの値を小さくすることで、差分パラメータdeltaXを通知する単位を大きくすることができ、オーバーヘッドを削減することができる。
【０３６３】
逆に、信号のレンジが小さい領域で変化する場合は、この差分値diff_cu_delta_depthの値を大きくすることで、差分パラメータdeltaXを通知する単位を小さくすることができ、より細かい粒度で、逆量子化・逆直交変換時の変換係数の有効桁数を拡張することができる。
【０３６４】
＜拡張ビット精度dBDの定義の他の例１＞
なお、以上においては、コンポーネントXの拡張ビット精度dBDを、シーケンスビット深度channelBitDepth、スライスビット深度sliceBitDepth、および拡張ビット精度dBDの差分パラメータdeltaXから求めるように説明したが、拡張ビット精度dBDの定義は、任意であり、この例に限定されない。
【０３６５】
例えば、差分パラメータdeltaXを、シーケンスビット深度channelBitDepthと拡張ビット精度dBDとの差分値としてもよい。つまり、拡張ビット精度dBDを、以下の式（４２）に示されるように、シーケンスビット深度channelBitDepthと差分パラメータdeltaXの差分値としてもよい。
【０３６６】
dBD = channelBitDepth - deltaX
・・・（４２）
（すなわち、deltaX = channelBitDepth - dBD）
【０３６７】
このようにすることにより、拡張ビット精度dBDを、上述した例よりも容易に導出することができる。
【０３６８】
＜拡張ビット精度dBDの定義の他の例２＞
また、以下の式（４３）のように、拡張ビット精度dBDを、差分パラメータdeltaXと等価としてもよい。
【０３６９】
dBD = deltaX
・・・（４３）
【０３７０】
この場合、拡張ビット精度dBDを、差分パラメータdeltaX以外の他のパラメータに依存しないで導出することができる。
【０３７１】
＜拡張ビット精度dBDの定義の他の例３＞
また、例えば、以下の式（４４）のように、拡張ビット精度dBDを、処理対象の拡張ビット精度制御グループSG（カレント拡張ビット精度制御グループSGcurと称する）の拡張ビット精度dBDの予測値dBDpredと、差分パラメータdeltaXとの和としてもよい。
【０３７２】
dBD = dBDpred + deltaX
・・・（４４）
（つまり、deltaX = dBD - dBDpred）
【０３７３】
例えば、この予測値dBDpredは、図２１を参照して上述したようにカレント拡張ビット精度制御グループSGcurに隣接する符号化済みの拡張ビット精度制御グループneighborSGsのdBDを参照して導出される。また、この場合、拡張ビット精度dBDの予測値dBDpredが、隣接拡張ビット精度制御グループSGAの拡張ビット精度dBDAおよび隣接拡張ビット精度制御グループSGBの拡張ビット精度dBDBに基づいて設定されるようにしてもよい。さらに、例えば、拡張ビット精度dBDの予測値dBDpredが、これらの隣接拡張ビット精度制御グループが参照可能であるか否かに応じた方法（例えば、上述の式（２４）乃至（２７））で導出されるようにしてもよい。
【０３７４】
このように、隣接する符号化済ビット精度制御グループneigborSGsの拡張ビット精度dBDを使って、カレント拡張ビット精度制御グループSGcurのdBDを予測することで、差分パラメータdeltaXの値を低減することができる。すなわち、deltaXの復号や符号化に要する符号量の増大を抑制することができる。
【０３７５】
＜４．第２の実施の形態＞
＜画像符号化装置＞
第２の実施の形態においては、図９の表の方法＃２の詳細について説明する。まず、符号化の際にそのような演算精度の制御を行う構成について説明する。図２８は、この場合の画像符号化装置１００の主な構成例を示すブロック図である。図２８の場合も画像符号化装置１００は、方法＃１の場合（図１５）と基本的に同様の構成を有するが、予測部１２２により得られた予測画像Pが制御部１０１にも供給される。
【０３７６】
例えば、制御部１０１は、ローカルレベル毎の拡張ビット精度dBDを、この予測画像に基づいて導出する。また、この場合、拡張ビット精度dBDは予測画像から導出されるので、復号側においても同様に、予測画像から拡張ビット精度dBDを導出することができる。つまり、差分パラメータdeltaXの伝送が不要である。したがって、制御部１０１は、この差分パラメータdeltaXの導出を省略する。当然、符号化部１１５も差分パラメータdeltaX（拡張ビット精度に関する情報）の符号化を省略する。
【０３７７】
＜制御部の詳細＞
図２９は、この場合の制御部１０１の、有効桁数の制御に関する情報の生成に関する主な構成例を示すブロック図である。図２９に示されるように、この場合の制御部１０１は、シーケンスビット深度設定部１５１、画素最小値最大値探索部１５３、およびdBD導出部１５４を有する。差分パラメータdeltaXの符号化側から復号側への伝送が省略されるため、deltaX導出部１５５は省略される。そのため、スライスビット深度設定部１５２も省略される。
【０３７８】
また、画素最小値最大値探索部１５３は、予測画像を入力とし、シーケンスレベルよりも小さいデータ単位であるローカルレベル毎に、その予測画像の画素値の最小値（minPredPixelVal）と最大値（maxPredPixelVal）とを探索する。画素最小値最大値探索部１５３は、その探索により検出した各ローカルレベルの最小値（minPredPixelVal）と最大値（maxPredPixelVal）とを、dBD導出部１５４に供給する。
【０３７９】
dBD導出部１５４は、シーケンスビット深度設定部１５１から供給されるシーケンスビット深度channelBitDepthと、画素最小値最大値探索部１５３から供給される予測画像の画素値の最小値（minPredPixelVal）および最大値（maxPredPixelVal）とを入力とし、それらのパラメータに基づいて拡張ビット精度dBDをローカルレベル毎に導出する。
【０３８０】
dBD導出部１５４は、その導出した拡張ビット精度dBDを変換情報Tinfoとして直交変換部１１３、量子化部１１４、逆量子化部１１７、逆直交変換部１１８、伸長部１３１、正規化部１３２、伸長部１３３、および正規化部１３４に供給する。
【０３８１】
つまり、方法＃２の場合、拡張ビット精度dBDの導出方法と、差分パラメータdeltaXの伝送が省略されることが異なるだけで、それ以外の処理、例えば、伸長部１３１、正規化部１３２、伸長部１３３、および正規化部１３４における有効桁数の制御（伸長または正規化）等は、基本的に方法＃１と同様である。
【０３８２】
したがって、この場合も、方法＃１の場合と同様に、符号化効率の低減を抑制することができる。
【０３８３】
＜画像符号化処理の流れ＞
次に、図３０のフローチャートを参照して、この場合の画像符号化処理の流れの例を説明する。
【０３８４】
画像符号化処理が開始されると、ステップＳ３０１およびステップＳ３０２の各処理が、図１７のステップＳ１０１およびステップＳ１０２の各処理と同様に実行される。
【０３８５】
ステップＳ３０３において、制御部１０１は、並べ替えバッファ１１１が保持する入力画像についての符号化パラメータを決定（設定）する。ただし、この場合、制御部１０１は、有効桁数の制御に関する情報については、入力画像に基づいてシーケンスビット深度channelBitDepthの設定のみを行い、拡張ビット精度dBDの導出は行わない。
【０３８６】
ステップＳ３０４において、予測部１２２は、ステップＳ１０４の場合と同様に予測処理を行い、最適な予測モードの予測画像等を生成する。
【０３８７】
ステップＳ３０５において、制御部１０１は、ステップＳ３０４において生成された予測画像から拡張ビット精度dBDを導出する。
【０３８８】
ステップＳ３０６乃至ステップＳ３１９の各処理は、図１７のステップＳ１０５乃至ステップＳ１１８の各処理と同様に行われる。
【０３８９】
ステップＳ３１９の処理が終了すると、画像符号化処理が終了する。
【０３９０】
以上のような流れの画像符号化処理において、ステップＳ３０７において、直交変換前の予測残差resiの有効桁数を拡張ビット精度dBDにより伸長し、ステップＳ３１０において、量子化後の量子化係数qcoefSを拡張ビット精度dBDにより正規化することで、演算精度をあげて直交変換および量子化の処理に実行することができる。すなわち、演算精度の向上により、符号化効率が改善する。
【０３９１】
同様に、ステップＳ３１１において、逆量子化前の量子化係数qcoefの有効桁数を拡張ビット精度dBDにより伸長し、ステップＳ３１４において、逆直交変換後の予測残差resiS'を拡張ビット精度dBDにより正規化することで、演算精度をあげて逆量子化および逆直交変換の処理に実行することができる。すなわち、演算精度の向上により、符号化効率が改善する。
【０３９２】
＜シーケンスビット深度設定処理の流れ＞
図３０のステップＳ３０３においては、各種符号化パラメータが設定される。例えば、シーケンスビット深度channelBitDepthが設定される。図３１のフローチャートを参照して、このシーケンスビット深度channelBitDepthを設定するシーケンスビット深度設定処理の流れの例を説明する。
【０３９３】
シーケンスビット深度設定処理が開始されると、シーケンスビット深度設定部１５１は、ステップＳ３３１において、外部より入力される入力画像の各コンポーネントのビット深度を求め、その値を、各コンポーネントのシーケンスビット深度channelBitDepthに設定する。
【０３９４】
ステップＳ３３１の処理が終了すると、シーケンスビット深度設定処理が終了し、処理は図３０に戻る。
【０３９５】
＜dBD導出処理の流れ＞
図３０のステップＳ３０５の処理において実行されるdBD導出処理の流れの例を、図３２のフローチャートを参照して説明する。
【０３９６】
dBD導出処理が開始されると、画素最小値最大値探索部１５３は、ステップＳ３５１において、拡張ビット精度制御グループSG毎に、予測画像のコンポーネントXの最小画素値minPredPixelVal、および最大画素値maxPredPixelValを導出する。
【０３９７】
ステップＳ３５２において、dBD導出部１５４は、ステップＳ３５１において導出された予測画像の最小画素値minPredPixelVal、および最大画素値maxPredPixelValに基づいて、拡張ビット精度制御グループSG毎に、コンポーネントXの拡張ビット精度dBDを導出する。
【０３９８】
ステップＳ３５２の処理が終了すると、dBD導出処理が終了し、処理は図３０に戻る。
【０３９９】
以上のように、拡張ビット精度制御グループSG毎に拡張ビット精度dBDが導出されるので、伸長部１３１、正規化部１３２、伸長部１３３、および正規化部１３４は、それぞれ、方法＃１の場合と同様に、その拡張ビット精度dBDを用いて、拡張ビット精度制御グループSG毎に係数の有効桁数（演算精度）を制御することができる。したがって、この場合も、方法＃１の場合と同様に、符号化効率の低減を抑制することができる。
【０４００】
＜拡張ビット精度情報符号化処理の流れ＞
図３０のステップＳ３１８の処理においては、有効桁数の制御（演算精度の制御）に関する情報として、シーケンスビット深度に関する情報が符号化され、ビットストリームに含められる。
【０４０１】
このシーケンスビット深度に関する情報を符号化する拡張ビット精度情報符号化処理の流れの例を、図３３のフローチャートを参照して説明する。
【０４０２】
拡張ビット精度情報符号化処理が開始されると、符号化部１１５は、ステップＳ３７１において、コンポーネントXのシーケンスビット深度channelBitDepthに関する情報を符号化し、ビットストリーム（例えばシーケンスパラメータセットSPS）に含める。
【０４０３】
ステップＳ３７１の処理が終了すると、拡張ビット精度情報符号化処理が終了し、処理は図３０に戻る。
【０４０４】
このように、この場合、符号化部１１５は、シーケンスビット深度に関する情報を符号化してビットストリームに含める（シーケンスビット深度に関する情報を含むビットストリームを生成する）が、差分パラメータdeltaXの符号化は省略される。したがって、符号化効率の低減を抑制することができる。
【０４０５】
＜変形例＞
なお、第２の実施例の形態（図９の表の方法＃２）における画像符号化装置では、処理対象ブロックに対応する予測画像を参照して、ローカルレベル毎の拡張ビット精度dBDを導出しているが、予測画像の代わりに、該予測画像生成で参照する復号画像を用いて、処理対象ブロックのローカルビット深度を導出し、該ローカルビット深度を参照して、拡張ビット精度dBDを導出する構成としてもよい（方法＃２'）。
【０４０６】
すなわち、図２９において、画素最小値最大値探索部１５３は、処理対象ブロックの予測画像生成で参照する復号画像Recrefを入力とし、シーケンスレベルよりも小さいデータ単位であるローカルレベル毎に、その復号画像Recrefの画素値の最小値（minRecPixelVal）と最大値（maxRecPixelVal）とを探索する。画素最小値最大値探索部１５３は、その探索により検出した各ローカルレベルの最小値（minRecPixelVal）と最大値（maxRecPixelVal）とを、dBD導出部１５４に供給する。
【０４０７】
また、dBD導出部１５４は、シーケンスビット深度設定部１５１から供給されるシーケンスビット深度channelBitDepthと、画素最小値最大値探索部１５３から供給される復号画像Recrefの画素値の最小値（minRecPixelVal）および最大値（maxRecPixelVal）とを入力とし、それらのパラメータに基づいて拡張ビット精度dBDをローカルレベル毎に導出する。
【０４０８】
同様に、図３０のステップＳ３０５は、'復号画像から拡張ビット精度dBDを導出する'と解釈する。
【０４０９】
従って、この場合も方法＃２の場合と同様に、符号化効率の低減を抑制する効果を奏する。また、方法＃２'の方法＃２に対するメリットは、予測画像を生成しなくても、復号画像のみから拡張ビット精度dBDを導出可能な点である。
【０４１０】
なお、上記において、復号画像Recrefとは、イントラ予測であれば、対象ブロックのイントラ予測画像を生成するために参照する局所復号画素領域を指し、インター予測であれば、対象ブロックのインター予測画像を生成するために参照する局所復号画素領域である。
【０４１１】
＜画像復号装置＞
次に、復号の際に図９の表の方法＃２のような演算精度の制御を行う構成について説明する。図３４は、この場合の画像復号装置２００の主な構成例を示すブロック図である。図３４の場合も画像復号装置２００は、方法＃１の場合（図２４）と基本的に同様の構成を有するが、予測部２１９により得られた予測画像Pが復号部２１２にも供給される。
【０４１２】
例えば、復号部２１２は、ローカルレベル毎の拡張ビット精度dBDを、この予測画像に基づいて導出する。つまり、差分パラメータdeltaXの伝送が不要である。したがって、符号化効率の低減を抑制することができる。また、当然、復号部２１２は、この差分パラメータdeltaXの復号を省略する。
【０４１３】
＜復号部の詳細＞
図３５は、この場合の復号部２１２の、有効桁数の制御に関する情報の抽出等に関する主な構成例を示すブロック図である。図３５に示されるように、この場合の復号部２１２は、シーケンスビット深度導出部２５１、dBD導出部２５４、および画素最小値最大値探索部４５１を有する。差分パラメータdeltaXの符号化側から復号側への伝送が省略されるため、スライスビット深度導出部２５２およびdeltaX復号部２５３は省略される。
【０４１４】
画素最小値最大値探索部４５１は、予測画像を入力とし、シーケンスレベルよりも小さいデータ単位であるローカルレベル毎に、その予測画像の画素値の最小値（minPredPixelVal）と最大値（maxPredPixelVal）とを探索する。画素最小値最大値探索部４５１は、その探索により検出した各ローカルレベルの最小値（minPredPixelVal）と最大値（maxPredPixelVal）とを、dBD導出部２５４に供給する。
【０４１５】
dBD導出部２５４は、シーケンスビット深度導出部２５１から供給されるシーケンスビット深度channelBitDepthと、画素最小値最大値探索部４５１から供給される予測画像の画素値の最小値（minPredPixelVal）および最大値（maxPredPixelVal）とを入力とし、それらのパラメータに基づいて拡張ビット精度dBDをローカルレベル毎に導出する。
【０４１６】
dBD導出部２５４は、その導出した拡張ビット精度dBDを変換情報Tinfoとして逆量子化部２１３、逆直交変換部２１４、伸長部２３１、および正規化部２３２に供給する。
【０４１７】
つまり、方法＃２の場合、復号側においても、拡張ビット精度dBDの導出方法と、差分パラメータdeltaXの伝送が省略されることが異なるだけで、それ以外の処理、例えば、伸長部２３１や正規化部２３２における有効桁数の制御等は、基本的に方法＃１と同様である。
【０４１８】
したがって、この場合も、方法＃１の場合と同様に、符号化効率の低減を抑制することができる。
【０４１９】
＜画像復号処理の流れ＞
次に、図３６のフローチャートを参照して、この場合の画像復号処理の流れの例を説明する。
【０４２０】
画像復号処理が開始されると、ステップＳ４０１の処理が、図２６のステップＳ２０１の処理と同様に実行される。
【０４２１】
ステップＳ４０２において、復号部２１２は、復号処理を行う。この方法＃２の場合、この復号処理において、差分パラメータdeltaXの復号やスライスビット深度sliceBitDepthの導出等の処理が省略される（行われない）。
【０４２２】
ステップＳ４０３において、予測部２１９は、ステップＳ２０７の場合と同様に予測処理を行い、予測画像Pを生成する。
【０４２３】
ステップＳ４０４において、復号部２１２は、ステップＳ４０３において生成された予測画像Pから拡張ビット精度dBDを導出する。なお、この拡張ビット精度dBDの導出は、符号化側（図３２）と同様に行われる。
【０４２４】
ステップＳ４０５乃至ステップＳ４１２の各処理は、ステップＳ２０３乃至ステップＳ２０６、並びに、ステップＳ２０８乃至ステップＳ２１１の各処理と同様に行われる。つまり、伸長部２３１および正規化部２３２は、方法＃１の場合と同様に、ローカルレベルの拡張ビット精度dBDを用いた有効桁数の制御（演算精度の制御）を行う。したがって、この場合も、符号化効率の低減を抑制することができる。
【０４２５】
＜シーケンスビット深度導出処理の流れ＞
図３６のステップＳ４０２の復号処理においては、各種符号化パラメータが設定される。例えば、ビットストリームからシーケンスビット深度に関する情報が読み出され、そのシーケンスビット深度に関する情報から、シーケンスビット深度channelBitDepthが導出される。図３６のフローチャートを参照して、このシーケンスビット深度channelBitDepthを導出するシーケンスビット深度導出処理の流れの例を説明する。
【０４２６】
シーケンスビット深度導出処理が開始されると、シーケンスビット深度導出部２５１は、ステップＳ４３１において、ビットストリームを復号して、シーケンスビット深度に関する情報を抽出し、その抽出したシーケンスビット深度に関する情報に基づいて、各コンポーネントのシーケンスビット深度channelBitDepthを導出する。
【０４２７】
ステップＳ４３１の処理が終了すると、シーケンスビット深度導出処理が終了し、処理は図３６に戻る。
【０４２８】
このように各処理が実行されることにより、シーケンスレベルよりも小さいデータ単位であるローカルレベル毎に、変換係数の有効桁数を制御することができる。したがって、方法＃２の場合も、符号化効率の低減を抑制することができる。
【０４２９】
＜変形例＞
なお、第２の実施例の形態（図９の表の方法＃２）における画像復号装置では、処理対象ブロックに対応する予測画像を参照して、ローカルレベル毎の拡張ビット精度dBDを導出しているが、予測画像の代わりに、該予測画像生成で参照する復号画像を用いて、処理対象ブロックのローカルビット深度を導出し、該ローカルビット深度を参照して、拡張ビット精度dBDを導出する構成としてもよい（方法＃２'）。
【０４３０】
すなわち、図３５において、画素最小値最大値探索部４５１は、処理対象ブロックの予測画像生成で参照する復号画像Recrefを入力とし、シーケンスレベルよりも小さいデータ単位であるローカルレベル毎に、その復号画像Recrefの画素値の最小値（minRecPixelVal）と最大値（maxRecPixelVal）とを探索する。画素最小値最大値探索部４５１は、その探索により検出した各ローカルレベルの最小値（minRecPixelVal）と最大値（maxRecPixelVal）とを、dBD導出部２５４に供給する。
【０４３１】
また、dBD導出部２５４は、シーケンスビット深度導出部２５１から供給されるシーケンスビット深度channelBitDepthと、画素最小値最大値探索部４５１から供給される復号画像Recrefの画素値の最小値（minRecPixelVal）および最大値（maxRecPixelVal）とを入力とし、それらのパラメータに基づいて拡張ビット精度dBDをローカルレベル毎に導出する。
【０４３２】
同様に、図３６のステップＳ４０４は、'復号画像から拡張ビット精度dBDを導出する'と解釈する。
【０４３３】
従って、この場合も方法＃２の場合と同様に、符号化効率の低減を抑制する効果を奏する。また、方法＃２'の方法＃２に対するメリットは、予測画像を生成しなくても、復号画像のみから拡張ビット精度dBDを導出可能な点である。
【０４３４】
なお、上記において、復号画像Recrefとは、イントラ予測であれば、対象ブロックのイントラ予測画像を生成するために参照する局所復号画素領域を指し、インター予測であれば、対象ブロックのインター予測画像を生成するために参照する局所復号画素領域である。
【０４３５】
＜５．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
【０４３６】
図３８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０４３７】
図３８に示されるコンピュータ８００において、CPU（Central Processing Unit）８０１、ROM（Read Only Memory）８０２、RAM（Random Access Memory）８０３は、バス８０４を介して相互に接続されている。
【０４３８】
バス８０４にはまた、入出力インタフェース８１０も接続されている。入出力インタフェース８１０には、入力部８１１、出力部８１２、記憶部８１３、通信部８１４、およびドライブ８１５が接続されている。
【０４３９】
入力部８１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部８１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部８１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部８１４は、例えば、ネットワークインタフェースよりなる。ドライブ８１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８２１を駆動する。
【０４４０】
以上のように構成されるコンピュータでは、CPU８０１が、例えば、記憶部８１３に記憶されているプログラムを、入出力インタフェース８１０およびバス８０４を介して、RAM８０３にロードして実行することにより、上述した一連の処理が行われる。RAM８０３にはまた、CPU８０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４４１】
コンピュータ（CPU８０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア８２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア８２１をドライブ８１５に装着することにより、入出力インタフェース８１０を介して、記憶部８１３にインストールすることができる。
【０４４２】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部８１４で受信し、記憶部８１３にインストールすることができる。
【０４４３】
その他、このプログラムは、ROM８０２や記憶部８１３に、あらかじめインストールしておくこともできる。
【０４４４】
＜情報・処理の単位＞
以上において説明した各種情報が設定されるデータ単位や、各種処理が対象とするデータ単位は、それぞれ任意であり上述した例に限定されない。例えば、これらの情報や処理が、それぞれ、TU（Transform Unit）、TB(Transform Block)、PU（Prediction Unit）、PB(Prediction Block)、CU（Coding Unit）、LCU（Largest Coding Unit）、サブブロック、ブロック、タイル、スライス、ピクチャ、シーケンス、またはコンポーネント毎に設定されるようにしてもよいし、それらのデータ単位のデータを対象とするようにしてもよい。もちろん、このデータ単位は、情報や処理毎に設定され得るものであり、全ての情報や処理のデータ単位が統一されている必要はない。なお、これらの情報の格納場所は任意であり、上述したデータ単位のヘッダやパラメータセット等に格納されるようにしてもよい。また、複数個所に格納されるようにしてもよい。
【０４４５】
＜制御情報＞
以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。また、例えば、上述した本技術を適用する対象（または適用しない対象）を示す制御情報を伝送するようにしてもよい。例えば、本技術を適用する（または、適用を許可若しくは禁止する）ブロックサイズ（上限若しくは下限、またはその両方）、フレーム、コンポーネント、またはレイヤ等を指定する制御情報を伝送するようにしてもよい。
【０４４６】
＜本技術の適用対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、変換（逆変換）、量子化（逆量子化）、符号化（復号）、予測等、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。また、上述した本技術と矛盾しない限り、これらの処理の内の一部を省略してもよい。
【０４４７】
また本技術は、複数の視点（ビュー（view））の画像を含む多視点画像の符号化・復号を行う多視点画像符号化・復号システムに適用することができる。その場合、各視点（ビュー（view））の符号化・復号において、本技術を適用するようにすればよい。
【０４４８】
さらに本技術は、所定のパラメータについてスケーラビリティ（scalability）機能を有するように複数レイヤ化（階層化）された階層画像の符号化・復号を行う階層画像符号化（スケーラブル符号化）・復号システムに適用することができる。その場合、各階層（レイヤ）の符号化・復号において、本技術を適用するようにすればよい。
【０４４９】
上述した実施形態に係る画像符号化装置１００や画像復号装置２００は、例えば、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に応用され得る。
【０４５０】
また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。
【０４５１】
さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。
【０４５２】
なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
【０４５３】
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
【０４５４】
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める（識別情報を含むビットストリームを生成する）形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める（識別情報の差分情報を含むビットストリームを生成する）形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
【０４５５】
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０４５６】
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
【０４５７】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４５８】
また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０４５９】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０４６０】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０４６１】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０４６２】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０４６３】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０４６４】
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０４６５】
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０４６６】
なお、本技術は以下のような構成も取ることができる。
（１）  画像の予測残差の有効桁数を、前記画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、
前記伸長部により前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と、
前記正規化部により前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する符号化部と
を備える画像処理装置。
（２）  前記伸長部は、前記予測残差を、前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトし、
前記正規化部は、前記量子化係数を、前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトする
（１）に記載の画像処理装置。
（３）  前記予測残差の有効桁数の伸長および前記量子化係数の有効桁数の正規化の制御量を示す拡張ビット精度を、前記ローカルレベルの前記ビット深度に基づいて導出する拡張ビット精度導出部をさらに備え、
前記伸長部は、前記予測残差の有効桁数を、前記拡張ビット精度導出部により導出される前記拡張ビット精度で伸長し、
前記正規化部は、前記量子化係数の有効桁数を、前記拡張ビット精度導出部により導出される前記拡張ビット精度で正規化する
（１）または（２）に記載の画像処理装置。
（４）  前記拡張ビット精度導出部は、前記シーケンスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分を、前記拡張ビット精度として導出する
（３）に記載の画像処理装置。
（５）  外部パラメータに基づいて、前記シーケンスレベルの前記ビット深度を設定するシーケンスビット深度設定部をさらに備え、
前記拡張ビット精度導出部は、前記シーケンスビット深度設定部により設定された前記シーケンスレベルの前記ビット深度を用いて前記差分を導出する
（４）に記載の画像処理装置。
（６）  前記画像の画素値の前記ローカルレベルの最小値および最大値を探索する画素最小値最大値探索部をさらに備え、
前記拡張ビット精度導出部は、
前記画素最小値最大値探索部の探索により検出された前記最大値および前記最小値の差分を用いて前記ローカルレベルの前記ビット深度を導出し、
導出した前記ローカルレベルの前記ビット深度を用いて前記差分を導出する
（４）または（５）に記載の画像処理装置。
（７）  前記拡張ビット精度導出部は、CTBのサイズと前記CTBのサイズに対する分割深度の差分値とに基づいて定まるサイズの領域毎に、前記拡張ビット精度を導出する
（３）乃至（６）のいずれかに記載の画像処理装置。
（８）  前記符号化部は、前記CTBのサイズに対する分割深度の差分値を符号化し、前記CTBのサイズに対する分割深度の差分値を含む前記ビットストリームを生成する
（７）に記載の画像処理装置。
（９）  前記符号化部は、前記拡張ビット精度導出部により導出される前記拡張ビット精度に関する情報を符号化し、前記拡張ビット精度に関する情報を含む前記ビットストリームを生成する
（３）乃至（８）のいずれかに記載の画像処理装置。
（１０）  前記拡張ビット精度導出部により導出される前記拡張ビット精度を用いて差分パラメータを導出する差分パラメータ導出部をさらに備え、
前記符号化部は、前記差分パラメータ導出部により導出された前記差分パラメータを、前記拡張ビット精度に関する情報として符号化し、前記差分パラメータdeltaXを含む前記ビットストリームを生成する
（９）に記載の画像処理装置。
（１１）  前記差分パラメータは、前記画像のスライスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分である
（１０）に記載の画像処理装置。
（１２）  前記符号化部は、前記シーケンスレベルの前記ビット深度に関する情報を符号化し、前記シーケンスレベルの前記ビット深度に関する情報を含む前記ビットストリームを生成する
（１１）に記載の画像処理装置。
（１３）  前記符号化部は、前記スライスレベルの前記ビット深度に関する情報を符号化し、前記スライスレベルの前記ビット深度に関する情報を含む前記ビットストリームを生成する
（１１）または（１２）に記載の画像処理装置。
（１４）  前記画像の画素値の前記スライスレベルの最小値および最大値に基づいて、前記スライスレベルの前記ビット深度を設定するスライスビット深度設定部をさらに備え、
前記符号化部は、前記スライスビット深度設定部により設定された前記スライスレベルの前記ビット深度に関する情報を符号化し、前記スライスレベルの前記ビット深度に関する情報を含む前記ビットストリームを生成する
（１３）に記載の画像処理装置。
（１５）  前記差分パラメータは、前記画像のシーケンスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分である
（１０）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  前記差分パラメータは、前記拡張ビット精度と、前記拡張ビット精度の予測値との差分である
（１０）乃至（１５）のいずれかに記載の画像処理装置。
（１７）  前記ローカルレベルに対応するカレント領域の前記予測値は、前記ローカルレベルに対応する前記カレント領域の周辺の領域の前記拡張ビット精度に基づいて導出される
（１６）に記載の画像処理装置。
（１８）  前記符号化部は、前記ローカルレベルの前記ビット深度に基づく有効桁数の制御が可能であるかを示す制御情報を符号化し、前記制御情報を含む前記ビットストリームを生成する
（１）乃至（１７）のいずれかに記載の画像処理装置。
（１９）  前記伸長部により有効桁数が伸長された予測残差を直交変換する直交変換部と、
前記直交変換部により前記予測残差が直交変換されて得られた係数データを量子化する量子化部と
をさらに備え、
前記正規化部は、前記量子化部により前記係数データが量子化されて得られた量子化係数の有効桁数を正規化する
（１）乃至（１８）のいずれかに記載の画像処理装置。
（２０）  画像の予測残差の有効桁数を、前記画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、
前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化し、
前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する
画像処理方法。
【０４６７】
（２１）  ビットストリームを復号する復号部と、
前記復号部により前記ビットストリームが復号されて得られる量子化係数の有効桁数を、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、
前記伸長部により前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と
を備える画像処理装置。
（２２）  前記伸長部は、前記量子化係数を、前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトし、
前記正規化部は、前記残差データを、前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトする
（２１）に記載の画像処理装置。
（２３）  前記ビットストリームは、前記量子化係数の有効桁数の伸長および前記残差データの有効桁数の正規化の制御量を示す拡張ビット精度に関する情報を含み、
前記復号部は、
前記ビットストリームを復号して前記ビットストリームに含まれる前記拡張ビット精度に関する情報を抽出し、
抽出した前記拡張ビット精度に関する情報に基づいて、前記拡張ビット精度を導出し、
前記伸長部は、前記量子化係数の有効桁数を、前記復号部により導出された前記拡張ビット精度で伸長し、
前記正規化部は、前記残差データの有効桁数を、前記復号部により導出された前記拡張ビット精度で正規化する
（２１）または（２２）に記載の画像処理装置。
（２４）  前記拡張ビット精度は、前記シーケンスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分である
（２３）に記載の画像処理装置。
（２５）  前記拡張ビット精度に関する情報は、前記画像のスライスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分である差分パラメータを含み、
前記復号部は、前記シーケンスレベルの前記ビット深度から前記スライスレベルの前記ビット深度を減算し、前記差分パラメータを加算することにより、前記拡張ビット精度を導出する
（２４）に記載の画像処理装置。
（２６）  前記ビットストリームは、前記シーケンスレベルの前記ビット深度に関する情報をさらに含み、
前記復号部は、
前記ビットストリームを復号して前記ビットストリームに含まれる前記シーケンスレベルの前記ビット深度に関する情報を抽出し、
抽出した前記シーケンスレベルの前記ビット深度に関する情報に基づいて、前記シーケンスレベルの前記ビット深度を導出し、
導出した前記シーケンスレベルの前記ビット深度を用いて前記拡張ビット精度を導出する
（２５）に記載の画像処理装置。
（２７）  前記シーケンスレベルの前記ビット深度に関する情報は、前記シーケンスレベルの前記ビット深度から所定の値を減算した値であり、
前記復号部は、前記シーケンスレベルの前記ビット深度に関する情報に前記所定の値を加算して前記シーケンスレベルの前記ビット深度を導出する
（２６）に記載の画像処理装置。
（２８）  前記ビットストリームは、前記スライスレベルの前記ビット深度に関する情報をさらに含み、
前記復号部は、
前記ビットストリームを復号して前記ビットストリームに含まれる前記スライスレベルの前記ビット深度に関する情報を抽出し、
抽出した前記スライスレベルの前記ビット深度に関する情報に基づいて、前記スライスレベルの前記ビット深度を導出し、
導出した前記スライスレベルの前記ビット深度を用いて前記拡張ビット精度を導出する
（２５）乃至（２７）のいずれかに記載の画像処理装置。
（２９）  前記スライスレベルの前記ビット深度に関する情報は、前記画像の画素値の前記スライスレベルの最小値および最大値であり、
前記復号部は、前記最大値と前記最小値の差分を用いて前記スライスレベルの前記ビット深度を導出する
（２８）に記載の画像処理装置。
（３０）  前記拡張ビット精度に関する情報は、前記画像のシーケンスレベルの前記ビット深度と前記ローカルレベルの前記ビット深度との差分である差分パラメータを含み、
前記復号部は、前記シーケンスレベルの前記ビット深度から前記差分パラメータを減算することにより、前記拡張ビット精度を導出する
（２４）乃至（２９）のいずれかに記載の画像処理装置。
（３１）  前記ビットストリームは、前記シーケンスレベルの前記ビット深度に関する情報をさらに含み、
前記復号部は、
前記ビットストリームを復号して前記ビットストリームに含まれる前記シーケンスレベルの前記ビット深度に関する情報を抽出し、
抽出した前記シーケンスレベルの前記ビット深度に関する情報に基づいて、前記シーケンスレベルの前記ビット深度を導出し、
導出した前記シーケンスレベルの前記ビット深度を用いて前記拡張ビット精度を導出する
（３０）に記載の画像処理装置。
（３２）  前記シーケンスレベルの前記ビット深度に関する情報は、前記シーケンスレベルの前記ビット深度から所定の値を減算した値であり、
前記復号部は、前記シーケンスレベルの前記ビット深度に関する情報に前記所定の値を加算して前記シーケンスレベルの前記ビット深度を導出する
（３１）に記載の画像処理装置。
（３３）  前記拡張ビット精度に関する情報は、前記拡張ビット精度と、前記拡張ビット精度の予測値との差分である差分パラメータを含み、
前記復号部は、前記差分パラメータに前記予測値を加算することにより、前記拡張ビット精度を導出する
（２４）乃至（３２）のいずれかに記載の画像処理装置。
（３４）  前記ローカルレベルに対応するカレント領域の前記予測値は、前記ローカルレベルに対応する前記カレント領域の周辺の領域の前記拡張ビット精度に基づいて導出される
（３３）に記載の画像処理装置。
（３５）  前記カレント領域の前記予測値は、前記カレント領域の上辺に隣接する領域と、前記カレント領域の左辺に隣接する領域とがそれぞれ参照可能であるか否かに応じた方法で導出される
（３４）に記載の画像処理装置。
（３６）  前記復号部は、CTBのサイズと前記CTBのサイズに対する分割深度の差分値とに基づいて定まるサイズの領域毎に、前記拡張ビット精度を導出する
（２３）乃至（３５）のいずれかに記載の画像処理装置。
（３７）  前記復号部は、前記ビットストリームを復号して、前記CTBのサイズに対する分割深度の差分値を抽出する
（３６）に記載の画像処理装置。
（３８）  前記復号部は、前記ビットストリームを復号して、前記ローカルレベルの前記ビット深度に基づく有効桁数の制御が可能であるかを示す制御情報を抽出し、抽出した前記制御情報に従って、前記ローカルレベルの前記ビット深度に基づく有効桁数の制御の適用を制御する
（２１）乃至（３７）のいずれかに記載の画像処理装置。
（３９）  前記伸長部により有効桁数が伸長された量子化係数を逆量子化する逆量子化部と、
前記逆量子化部により前記量子化係数が逆量子化されて得られた係数データを逆直交変換する逆直交変換部と
をさらに備え、
前記正規化部は、前記逆直交変換部により前記係数データが逆直交変換されて得られた残差データの有効桁数を正規化する
（２１）乃至（３８）のいずれかに記載の画像処理装置。
（４０）  ビットストリームを復号し、
前記ビットストリームが復号されて得られる量子化係数の有効桁数を、シーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、
前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記ローカルレベルの前記ビット深度に基づいて正規化する
画像処理方法。
【０４６８】
（４１）  画像の予測残差の有効桁数を、前記画像に対応する予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、
前記伸長部により前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と、
前記正規化部により前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する符号化部と
を備える画像処理装置。
（４２）  前記伸長部は、前記予測残差を、前記予測画像の前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトし、
前記正規化部は、前記量子化係数を、前記予測画像の前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトする
（４１）に記載の画像処理装置。
（４３）  前記予測残差の有効桁数の伸長および前記量子化係数の有効桁数の正規化の制御量を示す拡張ビット精度を、前記予測画像の前記ローカルレベルの前記ビット深度に基づいて導出する拡張ビット精度導出部をさらに備え、
前記伸長部は、前記予測残差の有効桁数を、前記拡張ビット精度導出部により導出される前記拡張ビット精度で伸長し、
前記正規化部は、前記量子化係数の有効桁数を、前記拡張ビット精度導出部により導出される前記拡張ビット精度で正規化する
（４１）または（４２）に記載の画像処理装置。
（４４）  前記拡張ビット精度導出部は、前記シーケンスレベルの前記ビット深度と、前記予測画像の前記ローカルレベルの前記ビット深度との差分を、前記拡張ビット精度として導出する
（４３）に記載の画像処理装置。
（４５）  外部パラメータに基づいて、前記シーケンスレベルの前記ビット深度を設定するシーケンスビット深度設定部をさらに備え、
前記拡張ビット精度導出部は、前記シーケンスビット深度設定部により設定された前記シーケンスレベルの前記ビット深度を用いて前記差分を導出する
（４４）に記載の画像処理装置。
（４６）  前記画像の予測を行い前記予測画像を生成する予測部をさらに備え、
前記拡張ビット精度導出部は、前記予測部により生成された前記予測画像の前記ローカルレベルの前記ビット深度を用いて前記差分を導出する
（４４）または（４５）に記載の画像処理装置。
（４７）  前記予測部により生成された前記予測画像の画素値の前記ローカルレベルの最小値および最大値を探索する画素最小値最大値探索部をさらに備え、
前記拡張ビット精度導出部は、
前記画素最小値最大値探索部の探索により検出された前記最大値および前記最小値の差分を用いて前記予測画像の前記ローカルレベルの前記ビット深度を導出し、
導出した前記予測画像の前記ローカルレベルの前記ビット深度を用いて前記差分を導出する
（４６）に記載の画像処理装置。
（４８）  前記拡張ビット精度導出部は、CTBのサイズと前記CTBのサイズに対する分割深度の差分値とに基づいて定まるサイズの領域毎に、前記拡張ビット精度を導出する
（４３）乃至（４７）のいずれかに記載の画像処理装置。
（４９）  前記符号化部は、前記CTBのサイズに対する分割深度の差分値を符号化し、前記CTBのサイズに対する分割深度の差分値を含む前記ビットストリームを生成する
（４８）に記載の画像処理装置。
（５０）  前記符号化部は、前記予測画像の前記ローカルレベルの前記ビット深度に基づく有効桁数の制御が可能であるかを示す制御情報を符号化し、前記制御情報を含む前記ビットストリームを生成する
（４１）乃至（４９）のいずれかに記載の画像処理装置。
（５１）  前記伸長部により有効桁数が伸長された前記予測残差を直交変換する直交変換部と、
前記直交変換部により前記予測残差が直交変換されて得られた係数データを量子化する量子化部と
をさらに備え、
前記正規化部は、前記量子化部により前記係数データが量子化されて得られた前記量子化係数の有効桁数を正規化する
（４１）乃至（５０）のいずれかに記載の画像処理装置。
（５２）  画像の予測残差の有効桁数を、前記画像に対応する予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、
前記有効桁数が伸長された前記予測残差に対して直交変換および量子化が行われて得られた量子化係数の有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化し、
前記有効桁数が正規化された前記量子化係数を符号化し、ビットストリームを生成する
画像処理方法。
【０４６９】
（６１）  ビットストリームを復号する復号部と、
前記復号部により前記ビットストリームが復号されて得られる量子化係数の有効桁数を、予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長する伸長部と、
前記伸長部により前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する正規化部と
を備える画像処理装置。
（６２）  前記伸長部は、前記量子化係数を、前記予測画像の前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトし、
前記正規化部は、前記残差データを、前記予測画像の前記ローカルレベルの前記ビット深度に応じたシフト量でビットシフトする
（６１）に記載の画像処理装置。
（６３）  前記画像のシーケンス毎に設定される前記量子化係数の有効桁数の制御量および前記残差データの有効桁数の制御量の補正値である拡張ビット精度を、前記予測画像の前記ローカルレベルの前記ビット深度に基づいて導出する拡張ビット精度導出部をさらに備え、
前記伸長部は、前記量子化係数の有効桁数を、前記拡張ビット精度導出部により導出された前記拡張ビット精度で伸長し、
前記正規化部は、前記残差データの有効桁数を、前記拡張ビット精度導出部により導出された前記拡張ビット精度で正規化する
（６１）または（６２）に記載の画像処理装置。
（６４）  前記拡張ビット精度導出部は、前記シーケンスレベルの前記ビット深度と、前記予測画像の前記ローカルレベルの前記ビット深度との差分を、前記拡張ビット精度として導出する
（６３）に記載の画像処理装置。
（６５）  外部パラメータに基づいて、前記シーケンスレベルの前記ビット深度を設定するシーケンスビット深度設定部をさらに備え、
前記拡張ビット精度導出部は、前記シーケンスビット深度設定部により設定された前記シーケンスレベルの前記ビット深度を用いて前記差分を導出する
（６４）に記載の画像処理装置。
（６６）  前記画像の予測を行い前記予測画像を生成する予測部をさらに備え、
前記拡張ビット精度導出部は、
前記予測部により生成された前記予測画像の前記ローカルレベルの前記ビット深度を用いて前記差分を導出する
（６４）または（６５）に記載の画像処理装置。
（６７）  前記予測部により生成された前記予測画像の画素値の前記ローカルレベルの最小値および最大値を探索する画素最小値最大値探索部をさらに備え、
前記拡張ビット精度導出部は、
前記画素最小値最大値探索部の探索により検出された前記最大値および前記最小値の差分を用いて前記予測画像の前記ローカルレベルの前記ビット深度を導出し、
導出した前記予測画像の前記ローカルレベルの前記ビット深度を用いて前記差分を導出する
（６６）に記載の画像処理装置。
（６８）  前記拡張ビット精度導出部は、CTBのサイズと前記CTBのサイズに対する分割深度の差分値とに基づいて定まるサイズの領域毎に、前記拡張ビット精度を導出する
（６３）乃至（６７）のいずれかに記載の画像処理装置。
（６９）  前記復号部は、前記ビットストリームを復号して、前記CTBのサイズに対する分割深度の差分値を抽出し、
前記拡張ビット精度導出部は、前記CTBのサイズと前記復号部により抽出された前記CTBのサイズに対する分割深度の差分値とに基づいて定まるサイズの領域毎に、前記拡張ビット精度を導出する
（６８）に記載の画像処理装置。
（７０）  前記復号部は、前記ビットストリームを復号して、前記予測画像の前記ローカルレベルの前記ビット深度に基づく有効桁数の拡張の適用が可能であるかを示す制御情報を抽出し、抽出した前記制御情報に従って、前記予測画像の前記ローカルレベルの前記ビット深度に基づく有効桁数の拡張の適用を制御する
（６１）乃至（６９）のいずれかに記載の画像処理装置。
（７１）  前記伸長部により有効桁数が伸長された前記量子化係数を逆量子化する逆量子化部と、
前記直交変換部により前記量子化係数が逆量子化されて得られた係数データを逆直交変換する逆直交変換部と
をさらに備え、
前記正規化部は、前記逆直交変換部により前記係数データが逆直交変換されて得られた前記残差データの有効桁数を正規化する
（６１）乃至（７０）のいずれかに記載の画像処理装置。
（７２）  ビットストリームを復号し、
前記ビットストリームが復号されて得られる量子化係数の有効桁数を、予測画像または前記予測画像を生成する際に参照する復号画像のシーケンスレベルよりも小さいデータ単位であるローカルレベルの画素値の幅を示すビット深度に基づいて伸長し、
前記有効桁数が伸長された前記量子化係数に対して逆量子化および逆直交変換が行われて得られた残差データの有効桁数を、前記予測画像または前記復号画像の前記ローカルレベルの前記ビット深度に基づいて正規化する
画像処理方法。
【符号の説明】
【０４７０】
１００  画像符号化装置，  １０１  制御部，  １１２  演算部，  １１３  直交変換部，  １１４  量子化部，  １１５  符号化部，  １１７  逆量子化部，  １１８  逆直交変換部,  １２２  予測部，  １３１  伸長部，  １３２  正規化部，  １３３  伸長部，  １３４  正規化部，  １５１  シーケンスビット深度設定部，  １５２  スライスビット深度設定部，  １５３  画素最小値最大値探索部，  １５４  dBD導出部，  １５５  deltaX導出部，  ２００  画像復号装置，  ２１２  復号部，  ２１３  逆量子化部，  ２１４  逆直交変換部，  ２１５  演算部，  ２１９  予測部，  ２３１  伸長部，  ２３２  正規化部，  ２５１  シーケンスビット深度導出部，  ２５２  スライスビット深度導出部，  ２５３  deltaX復号部，  ２５４  dBD導出部，  ４５１  画素最小値最大値探索部
【図１】
2019159697.tif 000003
【図２】
2019159697.tif 000004
【図３】
2019159697.tif 000005
【図４】
2019159697.tif 000006
【図５】
2019159697.tif 000007
【図６】
2019159697.tif 000008
【図７】
2019159697.tif 000009
【図８】
2019159697.tif 000010
【図９】
2019159697.tif 000011
【図１０】
2019159697.tif 000012
【図１１】
2019159697.tif 000013
【図１２】
2019159697.tif 000014
【図１３】
2019159697.tif 000015
【図１４】
2019159697.tif 000016
【図１５】
2019159697.tif 000017
【図１６】
2019159697.tif 000018
【図１７】
2019159697.tif 000019
【図１８】
2019159697.tif 000020
【図１９】
2019159697.tif 000021
【図２０】
2019159697.tif 000022
【図２１】
2019159697.tif 000023
【図２２】
2019159697.tif 000024
【図２３】
2019159697.tif 000025
【図２４】
2019159697.tif 000026
【図２５】
2019159697.tif 000027
【図２６】
2019159697.tif 000028
【図２７】
2019159697.tif 000029
【図２８】
2019159697.tif 000030
【図２９】
2019159697.tif 000031
【図３０】
2019159697.tif 000032
【図３１】
2019159697.tif 000033
【図３２】
2019159697.tif 000034
【図３３】
2019159697.tif 000035
【図３４】
2019159697.tif 000036
【図３５】
2019159697.tif 000037
【図３６】
2019159697.tif 000038
【図３７】
2019159697.tif 000039
【図３８】
2019159697.tif 000040
【国際調査報告】
2019159697.tif 000041
2019159697.tif 000042
2019159697.tif 000043
2019159697.tif 000044