(57)【要約】【課題】画像の内容により適した量子化処理または逆量子化処理を行うことができるようにする。【解決手段】可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを復号する。サブマクロブロック逆量子化部２２１は、逆量子化部２０３から供給された量子化パラメータを用いてサブマクロブロック毎の量子化値を求め、それを逆量子化部２０３に返す。逆量子化部２０３は、サブマクロブロック逆量子化部２２１から供給されるサブマクロブロック毎の量子化値を用いて、可逆復号部２０２により復号されて得られた量子化係数を逆量子化する。本技術は、例えば、画像処理装置に適用することができる。【選択図】図８
2014195319.tif 000002
【特許請求の範囲】
【請求項１】
符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、
画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、
前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部と
を備える画像処理装置。
【請求項２】
前記設定部は、差分量子化パラメータを用いて、カレントコーディングユニットの量子化パラメータを設定する
請求項１に記載の画像処理装置。
【請求項３】
前記設定部は、前記差分量子化パラメータを設定するコーディングユニットの最小サイズを示す値を用いて、前記カレントコーディングユニットの量子化パラメータを設定する
請求項２に記載の画像処理装置。
【請求項４】
前記設定部は、前記カレントコーディングユニットがスライスにおいて復号処理順で最初である場合に、前記カレントコーディングユニットに設定された量子化パラメータと前記カレントコーディングユニットが属するスライスに設定された量子化パラメータとの差分値を前記差分量子化パラメータとして用いて、前記カレントコーディングユニットの量子化パラメータを設定する
請求項２に記載の画像処理装置。
【請求項５】
前記設定部は、前記カレントコーディングユニットが前記最大コーディングユニットの階層において復号処理順で最初である場合に、前記カレントコーディングユニットに設定された量子化パラメータと前記カレントコーディングユニットが属するスライスに設定された量子化パラメータとの差分値を前記差分量子化パラメータとして用いて、前記カレントコーディングユニットの量子化パラメータを設定する
請求項４に記載の画像処理装置。
【請求項６】
前記設定部は、前記差分量子化パラメータを設定するコーディングユニットの最小サイズを示す値を用いて、前記カレントコーディングユニットの量子化パラメータを設定する
請求項５に記載の画像処理装置。
【請求項７】
前記設定部は、前記最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記差分量子化パラメータの値が０である場合に、スライスに設定された量子化パラメータを、前記最大コーディングユニットよりも下位層にあるコーディングユニットに設定された量子化パラメータとして設定する
請求項２に記載の画像処理装置。
【請求項８】
前記設定部は、前記最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記差分量子化パラメータの値が０であるかを識別する差分識別データを用いて、スライスに設定された量子化パラメータを、前記最大コーディングユニットよりも下位層にあるコーディングユニットに設定された量子化パラメータとして設定する
請求項２に記載の画像処理装置。
【請求項９】
符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成し、
画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定し、
設定された前記量子化パラメータを用いて、生成された前記量子化データを逆量子化する
画像処理方法。
【請求項１０】
コンピュータを、
符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、
画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、
前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部と
して機能させるプログラム。
【請求項１１】
コンピュータを、
符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、
画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、
前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部と
して機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理装置および方法、プログラム、並びに記録媒体に関し、量子化処理又は逆量子化処理を行う画像処理装置および方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group）などの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及している。
【０００３】
昨今、ハイビジョン画像の４倍の、４０９６×２０４８画素程度の画像を圧縮したい、或いは、インターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続され行なわれている。
【０００４】
これまでの画像符号化方式である、MPEG1、MPEG2、およびITU-T H.264、MPEG4-AVCにおける画像符号化の際の画像の分割単位（符号化処理単位）となる、画像の部分領域であるマクロブロックの画素サイズは、すべて１６×１６画素であった。一方、非特許文献１文献によると、次世代の画像符号化規格の要素技術として、マクロブロックの水平および垂直方向の画素数を拡張する提案がなされている。この提案によるとMPEG1、MPEG2、およびITU-T H.264、MPEG4-AVC等で規定されている１６×１６画素のマクロブロックの画素サイズのほかに、３２×３２画素、６４×６４画素からなるマクロブロックを使用することも提案されている。これは、例えば、UHD（Ultra High Definition；４０００画素×２０００画素）のように、将来的に符号化する画像の水平・垂直方向の画素サイズが増大することが予想されるが、その場合に、動きの似通った領域において、より大きな領域を単位として動き補償および直交変換を行うことで符号化効率を向上させることを目的としている。
【０００５】
非特許文献１においては、階層構造を採用することにより、１６×１６画素ブロック以下に関しては、現在のAVCにおけるマクロブロックと互換性を保ちながら、そのスーパーセットとして、より大きなブロックが定義されている。
【０００６】
非特許文献１は、インタースライスに対して拡張されたマクロブロックを適用する提案であるが、非特許文献２においては、拡張されたマクロブロックを、イントラスライスに適用することが提案されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Peisong Chenn,Yan Ye,Marta Karczewicz,”Video Coding Using Extended Block Sizes”, COM16-C123-E, Qualcomm Inc
【非特許文献２】Sung-Chang Lim, Hahyun Lee, Jinho Lee, Jongho Kim, Haechul Choi, Seyoon Jeong, Jin Soo Choi, “Intra coding using extended block size”, VCEG-AL28, 2009年7月,
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、非特許文献１若しくは非特許文献２において提案されているような、拡張された大きさのマクロブロックが適用されると、単一のマクロブロック内に、平坦な領域と、テクスチャを含む領域が混在する可能性が高くなる。
【０００９】
しかしながら、非特許文献１若しくは非特許文献２においては、１つのマクロブロックに対して、単一の量子化パラメータを指定することしか出来ないため、面内のそれぞれの領域の特性に応じた、適応量子化を行うことが困難になる。
【００１０】
本技術は、このような状況に鑑みてなされたものであり、より適切な量子化処理を行い、復号画像の主観画質の低減を抑制することを目的とする。
【課題を解決するための手段】
【００１１】
本技術の一側面は、符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部とを備える画像処理装置である。
【００１２】
前記設定部は、差分量子化パラメータを用いて、カレントコーディングユニットの量子化パラメータを設定することができる。
【００１３】
前記設定部は、前記差分量子化パラメータを設定するコーディングユニットの最小サイズを示す値を用いて、前記カレントコーディングユニットの量子化パラメータを設定することができる。
【００１４】
前記設定部は、前記カレントコーディングユニットがスライスにおいて復号処理順で最初である場合に、前記カレントコーディングユニットに設定された量子化パラメータと前記カレントコーディングユニットが属するスライスに設定された量子化パラメータとの差分値を前記差分量子化パラメータとして用いて、前記カレントコーディングユニットの量子化パラメータを設定することができる。
【００１５】
前記設定部は、前記カレントコーディングユニットが前記最大コーディングユニットの階層において復号処理順で最初である場合に、前記カレントコーディングユニットに設定された量子化パラメータと前記カレントコーディングユニットが属するスライスに設定された量子化パラメータとの差分値を前記差分量子化パラメータとして用いて、前記カレントコーディングユニットの量子化パラメータを設定することができる。
【００１６】
前記設定部は、前記差分量子化パラメータを設定するコーディングユニットの最小サイズを示す値を用いて、前記カレントコーディングユニットの量子化パラメータを設定することができる。
【００１７】
前記設定部は、前記最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記差分量子化パラメータの値が０である場合に、スライスに設定された量子化パラメータを、前記最大コーディングユニットよりも下位層にあるコーディングユニットに設定された量子化パラメータとして設定することができる。
【００１８】
前記設定部は、前記最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記差分量子化パラメータの値が０であるかを識別する差分識別データを用いて、スライスに設定された量子化パラメータを、前記最大コーディングユニットよりも下位層にあるコーディングユニットに設定された量子化パラメータとして設定することができる。
【００１９】
本技術の一側面は、また、符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成し、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定し、設定された前記量子化パラメータを用いて、生成された前記量子化データを逆量子化する画像処理方法である。
【００２０】
本技術の一側面は、さらに、コンピュータを、符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部として機能させるプログラムである。
【００２１】
本技術の一側面は、また、コンピュータを、符号化ストリームを、階層構造を有する単位で復号して、量子化データを生成する復号部と、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、前記復号部により生成された前記量子化データを逆量子化する際に用いる量子化パラメータを設定する設定部と、前記設定部により設定された前記量子化パラメータを用いて、前記復号部により生成された前記量子化データを逆量子化する逆量子化部として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体である。
【００２２】
本技術の一側面においては、符号化ストリームが、階層構造を有する単位で復号されて、量子化データが生成され、画像データを符号化する際の符号化処理単位であるコーディングユニットの最上位層である最大コーディングユニットよりも下位層にあるコーディングユニットを対象として、生成された量子化データを逆量子化する際に用いる量子化パラメータが設定され、設定された量子化パラメータが用いられて、生成された量子化データが逆量子化される。
【発明の効果】
【００２３】
本技術によれば、より適切に量子化処理または逆量子化処理を行うことができる。
【図面の簡単な説明】
【００２４】
【図１】本技術を適用した画像符号化装置の主な構成例を示すブロック図である。
【図２】輝度信号の量子化パラメータと色差信号の量子化パラメータの対応関係の例を示す図である。
【図３】マクロブロックの例を示す図である。
【図４】マクロブロックの他の例を示す図である。
【図５】量子化部の詳細な構成例を示すブロック図である。
【図６】マクロブロック単位の画像の例を説明する図である。
【図７】符号化処理の流れの例を説明するフローチャートである。
【図８】量子化パラメータ算出処理の流れの例を説明するフローチャートである。
【図９】本技術を適用した画像復号装置の主な構成例を示すブロック図である。
【図１０】逆量子化部の詳細な構成例を示すブロック図である。
【図１１】復号処理の流れの例を説明するフローチャートである。
【図１２】逆量子化処理の流れの例を説明するフローチャートである。
【図１３】量子化パラメータ算出処理の流れの他の例を説明するフローチャートである。
【図１４】逆量子化処理の流れの他の例を説明するフローチャートである。
【図１５】コーディングユニットの構成例を説明する図である。
【図１６】コーディングユニット毎に割り当てられた量子化パラメータの例を示す図である。
【図１７】シンタックスの例を示す図である。
【図１８】本技術を適用した画像符号化装置の他の構成例を示すブロック図である。
【図１９】コーディングユニット量子化部およびレート制御部の詳細な構成例を示すブロック図である。
【図２０】量子化パラメータ算出処理の流れの、さらに他の例を説明するフローチャートである。
【図２１】本技術を適用した画像復号装置の他の構成例を示すブロック図である。
【図２２】コーディングユニット逆量子化部の詳細な構成例を示すブロック図である。
【図２３】逆量子化処理の流れの、さらに他の例を示すフローチャートである。
【図２４】量子化パラメータdQPの各算出方法の特徴を比較する図である。
【図２５】コーディングユニット毎に割り当てられた量子化パラメータの例を示す図である。
【図２６】スライスヘッダのシンタックスの例を示す図である。
【図２７】アクティビティの算出方法の例を説明する図である。
【図２８】量子化パラメータと量子化スケールとの関係を説明する図である。
【図２９】本技術を適用した画像符号化装置の、さらに他の構成例を示すブロック図である。
【図３０】コーディングユニット量子化部、量子化部、およびレート制御部の詳細な構成例を示すブロック図である。
【図３１】符号化処理の流れの他の例を説明するフローチャートである。
【図３２】量子化処理の流れの例を説明するフローチャートである。
【図３３】多視点画像符号化方式の例を示す図である。
【図３４】本技術を適用した多視点画像符号化装置の主な構成例を示す図である。
【図３５】本技術を適用した多視点画像復号装置の主な構成例を示す図である。
【図３６】階層画像符号化方式の例を示す図である。
【図３７】本技術を適用した階層画像符号化装置の主な構成例を示す図である。
【図３８】本技術を適用した階層画像復号装置の主な構成例を示す図である。
【図３９】本技術を適用したコンピュータの主な構成例を示すブロック図である。
【図４０】本技術を適用したテレビジョン装置の主な構成例を示すブロック図である。
【図４１】本技術を適用したモバイル端末器の主な構成例を示すブロック図である。
【図４２】本技術を適用した記録再生機の主な構成例を示すブロック図である。
【図４３】本技術を適用した撮像装置の主な構成例を示すブロック図である。
【発明を実施するための形態】
【００２５】
以下、本技術を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像符号化装置）
２．第２の実施の形態（画像復号装置）
３．第３の実施の形態（画像符号化装置・画像復号装置）
４．第４の実施の形態（画像符号化装置・画像復号装置）
５．第５の実施の形態（画像符号化装置）
６．第６の実施の形態（多視点画像符号化・多視点画像復号装置）
７．第７の実施の形態（階層画像符号化・階層画像復号装置）
８．第８の実施の形態（応用例）
【００２６】
＜１．第１の実施の形態＞
［画像符号化装置］
図１は、本技術を適用した画像処理装置としての画像符号化装置の一実施の形態の構成を表している。
【００２７】
図１に示される画像符号化装置１００は、例えば、H．264及びMPEG（Moving Picture Experts Group）４ Part１０（AVC（Advanced Video Coding））（以下H．264/AVCと称する）方式と同様に画像を符号化する符号化装置である。ただし、画像符号化装置１００は、サブマクロブロック毎に量子化パラメータを指定する。
【００２８】
マクロブロックとは、画像を符号化する際の処理単位となる前記画像の部分領域である。サブマクロブロックとは、そのマクロブロックを複数に分割する小領域である。
【００２９】
図１の例において、画像符号化装置１００は、A/D（Analog / Digital）変換部１０１、画面並べ替えバッファ１０２、演算部１０３、直交変換部１０４、量子化部１０５、可逆符号化部１０６、および蓄積バッファ１０７を有する。また、画像符号化装置１００は、逆量子化部１０８、逆直交変換部１０９、演算部１１０、デブロックフィルタ１１１、フレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、選択部１１６、およびレート制御部１１７を有する。
【００３０】
画像符号化装置１００は、さらに、サブマクロブロック量子化部１２１とサブマクロブロック逆量子化部１２２を有する。
【００３１】
A/D変換部１０１は、入力された画像データをA/D変換し、画面並べ替えバッファ１０２に出力し、記憶させる。
【００３２】
画面並べ替えバッファ１０２は、記憶した表示の順番のフレームの画像を、GOP（Group of Picture）構造に応じて、符号化のためのフレームの順番に並べ替える。画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、演算部１０３に供給する。また、画面並べ替えバッファ１０２は、フレームの順番を並び替えた画像を、イントラ予測部１１４および動き予測・補償部１１５にも供給する。
【００３３】
演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を減算し、その差分情報を直交変換部１０４に出力する。
【００３４】
例えば、イントラ符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、イントラ予測部１１４から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部１０３は、画面並べ替えバッファ１０２から読み出された画像から、動き予測・補償部１１５から供給される予測画像を減算する。
【００３５】
直交変換部１０４は、演算部１０３から供給される差分情報に対して、離散コサイン変換、カルーネン・レーベ変換等の直交変換を施し、その変換係数を量子化部１０５に供給する。
【００３６】
量子化部１０５は、直交変換部１０４が出力する変換係数を量子化する。量子化部１０５は、レート制御部１１７から供給される情報に基づいて、サブマクロブロック量子化部１２１と連携しながら、マクロブロックよりも小さな領域であるサブマクロブロック毎に量子化パラメータを設定し、量子化を行う。量子化部１０５は、量子化された変換係数を可逆符号化部１０６に供給する。
【００３７】
可逆符号化部１０６は、その量子化された変換係数に対して、可変長符号化、算術符号化等の可逆符号化を施す。
【００３８】
可逆符号化部１０６は、イントラ予測を示す情報などをイントラ予測部１１４から取得し、インター予測モードを示す情報や動きベクトル情報などを動き予測・補償部１１５から取得する。なお、イントラ予測（画面内予測）を示す情報は、以下、イントラ予測モード情報とも称する。また、インター予測（画面間予測）を示す情報モードを示す情報は、以下、インター予測モード情報とも称する。
【００３９】
可逆符号化部１０６は、量子化された変換係数を符号化するとともに、フィルタ係数、イントラ予測モード情報、インター予測モード情報、および量子化パラメータなどの各種情報を、符号化データのヘッダ情報の一部とする（多重化する）。可逆符号化部１０６は、符号化して得られた符号化データを蓄積バッファ１０７に供給して蓄積させる。
【００４０】
例えば、可逆符号化部１０６においては、可変長符号化または算術符号化等の可逆符号化処理が行われる。可変長符号化としては、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などがあげられる。算術符号化としては、CABAC（Context-Adaptive Binary Arithmetic Coding）などがあげられる。
【００４１】
蓄積バッファ１０７は、可逆符号化部１０６から供給された符号化データを、一時的に保持し、所定のタイミングにおいて、H．264/AVC方式で符号化された符号化画像として、例えば、後段の図示せぬ記録装置や伝送路などに出力する。
【００４２】
また、量子化部１０５において量子化された変換係数は、逆量子化部１０８にも供給される。逆量子化部１０８は、その量子化された変換係数を、量子化部１０５による量子化に対応する方法で逆量子化する。逆量子化部１０８は、サブマクロブロック逆量子化部１２２と連携しながら、量子化部１０５において設定されたサブマクロブロック毎の量子化パラメータを用いて逆量子化を行う。逆量子化部１０８は、得られた変換係数を、逆直交変換部１０９に供給する。
【００４３】
逆直交変換部１０９は、供給された変換係数を、直交変換部１０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部１１０に供給される。
【００４４】
演算部１１０は、逆直交変換部１０９より供給された逆直交変換結果、すなわち、復元された差分情報に、選択部１１６を介してイントラ予測部１１４若しくは動き予測・補償部１１５から供給される予測画像を加算し、局部的に復号された画像（復号画像）を得る。
【００４５】
例えば、差分情報が、イントラ符号化が行われる画像に対応する場合、演算部１１０は、その差分情報にイントラ予測部１１４から供給される予測画像を加算する。また、例えば、差分情報が、インター符号化が行われる画像に対応する場合、演算部１１０は、その差分情報に動き予測・補償部１１５から供給される予測画像を加算する。
【００４６】
その加算結果は、デブロックフィルタ１１１またはフレームメモリ１１２に供給される。
【００４７】
デブロックフィルタ１１１は、適宜デブロックフィルタ処理を行うことにより復号画像のブロック歪を除去するとともに、例えばウィナーフィルタ（Wiener Filter）を用いて適宜ループフィルタ処理を行うことにより画質改善を行う。デブロックフィルタ１１１は、各画素をクラス分類し、クラスごとに適切なフィルタ処理を施す。デブロックフィルタ１１１は、そのフィルタ処理結果をフレームメモリ１１２に供給する。
【００４８】
フレームメモリ１１２は、所定のタイミングにおいて、蓄積されている参照画像を、選択部１１３を介してイントラ予測部１１４または動き予測・補償部１１５に出力する。
【００４９】
例えば、イントラ符号化が行われる画像の場合、フレームメモリ１１２は、参照画像を、選択部１１３を介してイントラ予測部１１４に供給する。また、例えば、インター符号化が行われる場合、フレームメモリ１１２は、参照画像を、選択部１１３を介して動き予測・補償部１１５に供給する。
【００５０】
選択部１１３は、フレームメモリ１１２から供給される参照画像がイントラ符号化を行う画像である場合、その参照画像をイントラ予測部１１４に供給する。また、選択部１１３は、フレームメモリ１１２から供給される参照画像がインター符号化を行う画像である場合、その参照画像を動き予測・補償部１１５に供給する。
【００５１】
イントラ予測部１１４は、画面内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部１１４は、複数のモード（イントラ予測モード）によりイントラ予測を行う。
【００５２】
イントラ予測部１１４は、全てのイントラ予測モードで予測画像を生成し、各予測画像を評価し、最適なモードを選択する。イントラ予測部１１４は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
【００５３】
また、上述したように、イントラ予測部１１４は、採用したイントラ予測モードを示すイントラ予測モード情報等の情報を、適宜可逆符号化部１０６に供給する。
【００５４】
動き予測・補償部１１５は、インター符号化が行われる画像について、画面並べ替えバッファ１０２から供給される入力画像と、選択部１１３を介してフレームメモリ１１２から供給される参照画像とを用いて、動き予測を行い、検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。
【００５５】
動き予測・補償部１１５は、候補となる全てのインター予測モードのインター予測処理を行い、予測画像を生成する。動き予測・補償部１１５は、生成された予測画像を、選択部１１６を介して演算部１０３や演算部１１０に供給する。
【００５６】
また、動き予測・補償部１１５は、採用されたインター予測モードを示すインター予測モード情報や、算出した動きベクトルを示す動きベクトル情報を可逆符号化部１０６に供給する。
【００５７】
選択部１１６は、イントラ符号化を行う画像の場合、イントラ予測部１１４の出力を演算部１０３や演算部１１０に供給し、インター符号化を行う画像の場合、動き予測・補償部１１５の出力を演算部１０３や演算部１１０に供給する。
【００５８】
レート制御部１１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。レート制御部１１７は、マクロブロックが複数に分割された少領域であるサブマクロブロック毎に、画像の複雑さを示す情報を量子化部１０５に供給する。
【００５９】
例えば、レート制御部１１７は、この画像の複雑さを示す情報として、画素値の分散を示す情報であるアクティビティを量子化部１０５に提供する。もちろん、この画像の複雑さを示す情報がどのような情報であっても良い。
【００６０】
サブマクロブロック量子化部１２１は、量子化部１０５から、サブマクロブロック毎の画像の複雑さを示す情報を取得し、その情報に基づいてサブマクロブロック毎の量子化値（量子化ステップ）を設定し、その値を量子化部１０５に返す。
【００６１】
サブマクロブロック逆量子化部１２２は、逆量子化部１０８から量子化パラメータを取得し、それらの値を用いてサブマクロブロック毎の量子化値を求め、それを逆量子化部１０８に返す。
【００６２】
［AVCの量子化］
ここで、従来の量子化処理として、AVC（Advanced Video Coding）において定められている量子化を例に説明する。
【００６３】
AVCにおいて定められている整数変換行列[H]は、以下の式（１）に示される直交変換行列の条件を満たさないが、整数変換後、各成分に対して異なる量子化処理を行い、整数変換と、量子化を組み合わせることにより、直交変換処理が行われることになる。
【００６４】
[H][H]Ｔ＝[I］
・・・（１）
【００６５】
AVCにおいては、量子化を行うため、「０」乃至「５１」の値を取り得る、量子化パラメータQP（Quantization Parameter）を、各マクロブロックに対して定義することが可能である。
【００６６】
例えば、A(QP)とB(QP)が、QPの値によらず、以下の式（２）を満たす値であるとする。
【００６７】
A(QP)*B(QP)＝2m+n  ・・・（２）
【００６８】
AVCにおける直交変換及び逆直交変換は、以下の式（３）および式（４）のような演算により実現することができる。
【００６９】
d ＝c * A(QP) / 2m  ・・・（３）
c'＝d * B(QP) / 2n  ・・・（４）
【００７０】
なお、cは量子化前の直交変換係数、dは量子化後の直交変換係数、c'は逆量子化後の直交変換係数である。
【００７１】
このような処理を行うことで、AVCにおいては、除算でなくシフト演算のみにより、量子化及び逆量子化処理を実現することが可能である。
【００７２】
なお、AおよびBの値は、成分毎に異なる値を持つことになる。
【００７３】
量子化パラメータQPは、例えば６から１２へといったように、その値が６増えた時、２倍粗い量子化処理が行われるように設計されている。
【００７４】
また、特に、より低いビットレート、すなわち、より高いQPにおいては、色差信号における劣化が目立ちやすい。そこで、輝度信号に対する量子化パラメータQPYに対して、色差信号に対するデフォルトの量子化パラメータQPCが、図２に示される表のように定義されている。
【００７５】
ユーザは、画像圧縮情報中に含まれるChromaQPOffsetに関する情報を設定することで、この関係を制御することができる。
【００７６】
また、High Profile以上においては、ChromaQPOffsetおよび2ndChromaQPOffsetを用いて、Cb/Cr成分に対する量子化パラメータを独立に設定することが可能である。
【００７７】
［量子化パラメータ算出］
AVC符号化方式、並びに、非特許文献１や非特許文献２に記載の符号化方式においては、それぞれのマクロブロックに対する量子化パラメータMB_QPは、以下のように算出される。
【００７８】
すなわち、まず、シーケンスパラメータセットに存在するbit_depth_luma_minus8から、QpBdOffsetYが、以下の式（５）のように算出される。
【００７９】
QpBdOffsetY = 6 * bit_depth_luma_minus8  ・・・（５）
【００８０】
次に、ピクチャパラメータセットにおけるpic_init_qp_minus26によって、各ピクチャにおける量子化パラメータの初期値が指定される。
【００８１】
次に、スライスレイヤにおいて規定されるslice_qp_deltaにより、当該スライスにおける量子化パラメータSliceQPYが、以下の式（６）のように算出される。
【００８２】
SliceQPY = 26 + pic_init_qp_minus26 + slice_qp_delta  ・・・（６）
【００８３】
最後に、マクロブロックレイヤにおけるmb_qp_deltaを用いて、それぞれのマクロブロックに対する量子化パラメータMB_QPが、以下の式（７）のように算出される。
【００８４】
MB_QP = ( (MB_QPPrev + mb_qp_delta + 52 + 2 * QpBdOffsetY) % (52 + QpBdOffsetY) )
- QpBdOffsetY  ・・・（７）
【００８５】
ここで、MB_QPPrevは、直前のマクロブロックにおける量子化パラメータである。
【００８６】
本技術においては、これに加え、更に、画像圧縮中における、サブマクロブロックレイヤに、submb_qp_deltaに関する情報が含まれている。
【００８７】
この情報を用いて、各サブマクロブロックに対する量子化パラメータSubMB_QPが、以下の式（８）のように算出される。
【００８８】
SubMB_QP = Clip(0,51,MB_QP + submb_qp_delta)  ・・・（８）
【００８９】
ここで、Clip(min,max,value)は、以下の式（９）のような返値を持つ関数である。
【００９０】
【数１】
2014195319.tif 000003
・・・（９）
【００９１】
つまり、各サブマクロブロックに対する量子化パラメータSubMB_QPは、以下の式（１０）のように算出される。ただし、予め定義されている最小の量子化パラメータをminQPとし、予め定義されている最大の量子化パラメータをmaxQPとする。
【００９２】
【数２】
2014195319.tif 000004
・・・（１０）
【００９３】
なお、画像圧縮情報内において、submb_qp_deltaが存在しない場合、その値は「０」であるとして、当該マクロブロックにおける量子化パラメータが、当該サブマクロブロックにも適用されることになる。
【００９４】
［量子化部］
図５は、図１の量子化部１０５の詳細な構成例を説明するブロック図である。図５に示されるように、量子化部１０５は、サブマクロブロックアクティビティバッファ１５１、量子化パラメータ算出部１５２、および量子化処理部１５３を有する。
【００９５】
サブマクロブロックアクティビティバッファ１５１は、レート制御部１１７から供給されるアクティビティを保持する。AVC符号化方式においては、MPEG-2 Test Modelにおいて規定されているような、アクティビティに基づく適応量子化が行われるが、レート制御部１１７は、サブマクロブロック毎にアクティビティ（サブマクロブロックアクティビティとも称する）の算出を行う。サブマクロブロックアクティビティの算出方法は、マクロブロック毎にアクティビティを算出する従来の場合と同様である。
【００９６】
サブマクロブロックアクティビティバッファ１５１は、レート制御部１１７から供給されるサブマクロブロックアクティビティを保持し、所定量（例えば１画面分）毎に、その保持しているサブマクロブロックアクティビティをサブマクロブロック量子化部１２１に供給する。
【００９７】
サブマクロブロック量子化部１２１は、サブマクロブロックアクティビティバッファ１５１から供給されるサブマクロブロックアクティビティを用いて、各サブマクロブロックについて、量子化値を算出する。このサブマクロブロック毎の量子化値は、マクロブロック毎のアクティビティからマクロブロック毎の量子化値を算出する場合と同様の方法により算出することができる。
【００９８】
各サブマクロブロックについて量子化値を求めると、サブマクロブロック量子化部１２１は、そのサブマクロブロック毎の量子化値を、量子化パラメータ算出部１５２に供給する。
【００９９】
量子化パラメータ算出部１５２は、サブマクロブロック量子化部１２１から供給されるサブマクロブロック毎の量子化値を用いて、各種量子化パラメータを算出する。
【０１００】
例えば、量子化パラメータ算出部１５２は、pic_init_qp_minus26、slice_qp_delta、およびmb_qp_delta等の量子化パラメータを算出する。量子化パラメータ算出部１５２は、サブマクロブロック毎の量子化値から、マクロブロック毎の量子化値を求める事ができるので、従来のAVC符号化方式等の場合と同様に、これらの各種量子化パラメータを算出し、設定する。
【０１０１】
量子化パラメータ算出部１５２は、さらに、マクロブロック毎の量子化パラメータMB_QPと、サブマクロブロック毎の量子化パラメータSubMB_QPとの差分を示す量子化パラメータsubmb_qp_deltaを求める。このサブマクロブロック毎の量子化パラメータは復号側に伝送させる必要がある。そこで、このように差分値とすることで、このサブマクロブロック毎の量子化パラメータの符号量を低減させることができる。言わば、この量子化パラメータsubmb_qp_deltaは、量子化パラメータSubMB_QPの伝送用フォーマットである。サブマクロブロック毎の量子化パラメータSubMB_QPは、サブマクロブロック毎の量子化値を変換することにより得られる。同様に、マクロブロック毎の量子化パラメータMB_QPは、マクロブロック毎の量子化値を変換することにより得られる。量子化パラメータ算出部１５２は、例えば、上述した式（１０）を用いて、各サブマクロブロックについてsubmb_qp_deltaを算出する。
【０１０２】
量子化パラメータ算出部１５２は、サブマクロブロック毎の量子化値を量子化処理部１５３に供給する。また、量子化パラメータ算出部１５２は、算出した各種量子化パラメータ（具体的には、pic_init_qp_minus26、slice_qp_delta、およびmb_qp_delta等）を可逆符号化部１０６に供給し、画像を符号化した符号化ストリームとともに伝送させる。なお、上述したように、submb_qp_deltaの値が「０」の場合、submb_qp_deltaの伝送は省略される。つまり、その場合、submb_qp_delta以外の量子化パラメータが可逆符号化部１０６に供給される。
【０１０３】
さらに、量子化パラメータ算出部１５２は、サブマクロブロック毎の量子化値を逆量子化部１０８にも供給する。
【０１０４】
量子化処理部１５３は、直交変換部１０４から供給される直交変換係数を、サブマクロブロック毎の量子化値を用いて量子化する。
【０１０５】
量子化処理部１５３は、量子化された直交変換係数を、可逆符号化部１０６と逆量子化部１０８に供給する。
【０１０６】
なお、逆量子化部１０８は、サブマクロブロック逆量子化部１２２を用いて、上述した量子化部１０５により量子化された直交変換係数を逆量子化する。画像符号化装置１００に対応する画像復号装置においても、この逆量子化処理と同様の処理が行われるので、逆量子化の詳細についての説明は、画像復号装置の説明の際に行う。
【０１０７】
AVC符号化方式等の従来の場合、１マクロブロックに対して１つの量子化パラメータしか設定することができなかった。したがって、１つのマクロブロック内に、平坦な領域と、テクスチャを含む領域が混在する場合、その両方の領域に適切な量子化パラメータを設定することが困難になる。
【０１０８】
特に、非特許文献２等において提案されている拡張されたマクロブロック（拡張部分領域）のように、マクロブロックのサイズが大きくなるほど、その領域内に互いに異なる特徴を有する画像が混在する可能性が高くなり、その各領域の特性に応じた、適応量子化を行うことがより困難になる。
【０１０９】
これに対して、画像符号化装置１００は、レート制御部１１７においてサブマクロブロック毎に画像の複雑さを示す指標を算出し、サブマクロブロック量子化部１２１においてサブマクロブロック毎に量子化値を算出することができる。つまり、量子化処理部１５３は、サブマクロブロック毎に適切な量子化値を用いて量子化処理を行うことができる。
【０１１０】
これにより、画像符号化装置１００は、画像の内容により適した量子化処理を行うことができる。特に、マクロブロックサイズが拡張され、単一のマクロブロック内に、フラットなエリアとテクスチャを含むエリアの両方を含んでいる場合でも、画像符号化装置１００は、それぞれのエリアに適した適応量子化処理を行い、復号画像の主観画質の劣化を抑制させることができる。
【０１１１】
例えば、図６に示される画像１６０において、マクロブロック１６１にはフラット領域しか含まれない。したがって、仮に、画像符号化装置１００が、このようなマクロブロック１６１に対して単一の量子化パラメータを用いた量子化処理を行っても、特に画質上問題となることがない。
【０１１２】
これに対して、マクロブロック１６２には、フラット領域と、テクスチャ領域の両方を含んでいる。単一の量子化パラメータを用いた量子化処理では、フラット領域とテクスチャ領域の両方に対して適切な適応量子化を行うことが出来ない。したがって、仮に、画像符号化装置１００が、このようなマクロブロック１６１に対して単一の量子化パラメータを用いた量子化処理を行う場合、復号画像の主観画質が低減する恐れがある。
【０１１３】
このような場合でも、画像符号化装置１００は、上述したようにサブマクロブロック単位で量子化値を算出することができるので、より適切な量子化処理を行い、復号画像の主観画質の低減を抑制させることができる。
【０１１４】
また、蓄積バッファ１０７において、それぞれのピクチャに対する総符号量がオーバーフローを起こしそうな時も、量子化パラメータによる制御が行われる。したがって、このときに上述したように、量子化部１０５がサブマクロブロック単位で量子化値を算出し、量子化を行うようにすることにより、画像符号化装置１００は、より細かい単位でオーバーフロー対策の制御を行うことができる。
【０１１５】
さらに、submb_qp_deltaの値が「０」の場合、そのsubmb_qp_deltaの伝送を省略するようにしたので、不要な符号化効率の低減を抑制することができる。submb_qp_deltaの値が「０」の場合、サブマクロブロック毎の量子化パラメータSubMB_QPとマクロブロック毎の量子化パラメータMB_QPとが互いに等しいので、復号側において、マクロブロック毎の量子化パラメータMB_QPをサブマクロブロック毎の量子化パラメータSubMB_QPとすることができるので、submb_qp_deltaの値（「０」）は不要である。したがって、上述したようにsubmb_qp_deltaの伝送を省略することができる。もちろん、値が「０」のsubmb_qp_deltaを伝送するようにすることもできるが、submb_qp_deltaの伝送を省略することにより、その分符号化効率を向上させることができる。
【０１１６】
［符号化処理の流れ］
次に、以上のような画像符号化装置１００により実行される各処理の流れについて説明する。最初に、図７のフローチャートを参照して、符号化処理の流れの例を説明する。
【０１１７】
ステップＳ１０１において、A/D変換部１０１は入力された画像をA/D変換する。ステップＳ１０２において、画面並べ替えバッファ１０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【０１１８】
ステップＳ１０３において、演算部１０３は、ステップＳ１０２の処理により並び替えられた画像と、予測画像との差分を演算する。予測画像は、インター予測する場合は動き予測・補償部１１５から、イントラ予測する場合はイントラ予測部１１４から、選択部１１６を介して演算部１０３に供給される。
【０１１９】
差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。
【０１２０】
ステップＳ１０４において、直交変換部１０４は、ステップＳ１０３の処理により生成された差分情報を直交変換する。具体的には、離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数が出力される。
【０１２１】
ステップＳ１０５において、量子化部１０５およびサブマクロブロック量子化部１２１は、量子化パラメータを求める。量子化パラメータ算出処理の流れの詳細については後述する。
【０１２２】
ステップＳ１０６において、量子化部１０５の量子化処理部１５３は、ステップＳ１０５の処理により算出されたサブマクロブロック毎の量子化値を用いて、ステップＳ１０４の処理により得られた直交変換係数を量子化する。
【０１２３】
ステップＳ１０６の処理により量子化された差分情報は、次のようにして局部的に復号される。すなわち、ステップＳ１０７において、逆量子化部１０８はステップＳ１０６の処理により生成された量子化された直交変換係数（量子化係数とも称する）を量子化部１０５の特性に対応する特性で逆量子化する。ステップＳ１０８において、逆直交変換部１０９は、ステップＳ１０７の処理により得られた直交変換係数を、直交変換部１０４の特性に対応する特性で逆直交変換する。
【０１２４】
ステップＳ１０９において、演算部１１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部１０３への入力に対応する画像）を生成する。ステップＳ１１０においてデブロックフィルタ１１１は、ステップＳ１０９の処理により生成された画像をフィルタリングする。これによりブロック歪みが除去される。
【０１２５】
ステップＳ１１１において、フレームメモリ１１２は、ステップＳ１１０の処理によりブロック歪みが除去された画像を記憶する。なお、フレームメモリ１１２にはデブロックフィルタ１１１によりフィルタ処理されていない画像も演算部１１０から供給され、記憶される。
【０１２６】
ステップＳ１１２において、イントラ予測部１１４は、イントラ予測モードのイントラ予測処理を行う。ステップＳ１１３において、動き予測・補償部１１５は、インター予測モードでの動き予測や動き補償を行うインター動き予測処理を行う。
【０１２７】
ステップＳ１１４において、選択部１１６は、イントラ予測部１１４および動き予測・補償部１１５から出力された各コスト関数値に基づいて、最適予測モードを決定する。つまり、選択部１１６は、イントラ予測部１１４により生成された予測画像と、動き予測・補償部１１５により生成された予測画像のいずれか一方を選択する。
【０１２８】
また、このいずれの予測画像が選択されたかを示す選択情報は、イントラ予測部１１４および動き予測・補償部１１５のうち、予測画像が選択された方に供給される。最適イントラ予測モードの予測画像が選択された場合、イントラ予測部１１４は、最適イントラ予測モードを示す情報（すなわち、イントラ予測モード情報）を、可逆符号化部１０６に供給する。
【０１２９】
最適インター予測モードの予測画像が選択された場合、動き予測・補償部１１５は、最適インター予測モードを示す情報と、必要に応じて、最適インター予測モードに応じた情報を可逆符号化部１０６に出力する。最適インター予測モードに応じた情報としては、動きベクトル情報やフラグ情報、参照フレーム情報などがあげられる。
【０１３０】
ステップＳ１１５において、可逆符号化部１０６は、ステップＳ１０６の処理により量子化された変換係数を符号化する。すなわち、差分画像（インターの場合、２次差分画像）に対して、可変長符号化や算術符号化等の可逆符号化が行われる。
【０１３１】
なお、可逆符号化部１０６は、ステップＳ１０５において算出された量子化パラメータを符号化し、符号化データに付加する。
【０１３２】
また、可逆符号化部１０６は、ステップＳ１１４の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部１０６は、イントラ予測部１１４から供給されるイントラ予測モード情報、または、動き予測・補償部１１５から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。
【０１３３】
ステップＳ１１６において蓄積バッファ１０７は、可逆符号化部１０６から出力される符号化データを蓄積する。蓄積バッファ１０７に蓄積された符号化データは、適宜読み出され、伝送路を介して復号側に伝送される。
【０１３４】
ステップＳ１１７においてレート制御部１１７は、ステップＳ１１６の処理により蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１０５の量子化動作のレートを制御する。
【０１３５】
ステップＳ１１７の処理が終了すると、符号化処理が終了される。
【０１３６】
［量子化パラメータ算出処理の流れ］
次に、図８のフローチャートを参照して、図７のステップＳ１０５において実行される量子化パラメータ算出処理の流れの例を説明する。
【０１３７】
量子化パラメータ算出処理が開始されると、ステップＳ１３１において、サブマクロブロックアクティビティバッファ１５１は、レート制御部１１７から供給されるサブマクロブロックアクティビティを取得する。サブマクロブロックアクティビティバッファ１５１は、その取得したサブマクロブロックアクティビティを、例えば１画面分保持する。
【０１３８】
ステップＳ１３２において、サブマクロブロック量子化部１２１は、サブマクロブロックアクティビティバッファ１５１から、サブマクロブロックアクティビティを、例えば１画面分取得する。そして、サブマクロブロック量子化部１２１は、取得したサブマクロブロックアクティビティを用いて、サブマクロブロック毎の量子化値を算出する。
【０１３９】
ステップＳ１３３において、量子化パラメータ算出部１５２は、ステップＳ１３２において算出されたサブマクロブロック毎の量子化値を用いて、量子化パラメータpic_init_qp_minus26を求める。
【０１４０】
ステップＳ１３４において、量子化パラメータ算出部１５２は、ステップＳ１３２において算出されたサブマクロブロック毎の量子化値を用いて、量子化パラメータslice_qp_deltaを求める。
【０１４１】
ステップＳ１３５において、量子化パラメータ算出部１５２は、ステップＳ１３２において算出されたサブマクロブロック毎の量子化値を用いて、量子化パラメータmb_qp_deltaを求める。
【０１４２】
ステップＳ１３６において、量子化パラメータ算出部１５２は、ステップＳ１３２において算出されたサブマクロブロック毎の量子化値を用いて、量子化パラメータsubmb_qp_deltaを求める。
【０１４３】
以上のように各種量子化パラメータを求めると、量子化部１０５は、量子化パラメータ算出処理を終了し、処理を図７のステップＳ１０５に戻し、ステップＳ１０６以降の処理を実行させる。
【０１４４】
以上のように符号化処理や量子化パラメータ算出処理を行うので、画像符号化装置１００は、サブマクロブロック毎に量子化値を設定することができ、より適切な量子化処理を行うことができる。
【０１４５】
また、このように算出された量子化パラメータを画像復号装置に伝送するので、画像符号化装置１００は、その画像復号装置がサブマクロブロック毎に量子化値を求め、それを用いて逆量子化を行うようにすることができる。
【０１４６】
＜２．第２の実施の形態＞
［画像復号装置］
図９は、本技術を適用した画像復号装置の主な構成例を示すブロック図である。図９に示される画像復号装置２００は、画像符号化装置１００に対応する復号装置である。
【０１４７】
画像符号化装置１００より符号化された符号化データは、所定の伝送路を介して、この画像符号化装置１００に対応する画像復号装置２００に伝送され、復号されるものとする。
【０１４８】
図９に示されるように、画像復号装置２００は、蓄積バッファ２０１、可逆復号部２０２、逆量子化部２０３、逆直交変換部２０４、演算部２０５、デブロックフィルタ２０６、画面並べ替えバッファ２０７、およびD/A変換部２０８を有する。また、画像復号装置２００は、フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３を有する。
【０１４９】
さらに、画像復号装置２００は、サブマクロブロック逆量子化部２２１を有する。
【０１５０】
蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。この符号化データは、画像符号化装置１００により符号化されたものである。可逆復号部２０２は、蓄積バッファ２０１から所定のタイミングで読み出された符号化データを、図１の可逆符号化部１０６の符号化方式に対応する方式で復号する。
【０１５１】
逆量子化部２０３は、サブマクロブロック逆量子化部２２１と連携して動作し、可逆復号部２０２により復号されて得られた係数データ（量子化係数）を、図１の量子化部１０５の量子化方式に対応する方式で逆量子化する。つまり、逆量子化部２０３は、画像符号化装置１００から供給された、サブマクロブロック毎に算出された量子化パラメータを用いて、図１の逆量子化部１０８と同様の方法で量子化係数の逆量子化を行う。
【０１５２】
逆量子化部２０３は、逆量子化された係数データ、つまり、直交変換係数を、逆直交変換部２０４に供給する。逆直交変換部２０４は、図１の直交変換部１０４の直交変換方式に対応する方式で、その直交変換係数を逆直交変換し、画像符号化装置１００において直交変換される前の残差データに対応する復号残差データを得る。
【０１５３】
逆直交変換されて得られた復号残差データは、演算部２０５に供給される。また、演算部２０５には、選択部２１３を介して、イントラ予測部２１１若しくは動き予測・補償部２１２から予測画像が供給される。
【０１５４】
演算部２０５は、その復号残差データと予測画像とを加算し、画像符号化装置１００の演算部１０３により予測画像が減算される前の画像データに対応する復号画像データを得る。演算部２０５は、その復号画像データをデブロックフィルタ２０６に供給する。
【０１５５】
デブロックフィルタ２０６は、供給された復号画像のブロック歪を除去した後、画面並べ替えバッファ２０７に供給する。
【０１５６】
画面並べ替えバッファ２０７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部２０８は、画面並べ替えバッファ２０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。
【０１５７】
デブロックフィルタ２０６の出力は、さらに、フレームメモリ２０９に供給される。
【０１５８】
フレームメモリ２０９、選択部２１０、イントラ予測部２１１、動き予測・補償部２１２、および選択部２１３は、画像符号化装置１００のフレームメモリ１１２、選択部１１３、イントラ予測部１１４、動き予測・補償部１１５、および選択部１１６にそれぞれ対応する。
【０１５９】
選択部２１０は、インター処理される画像と参照される画像をフレームメモリ２０９から読み出し、動き予測・補償部２１２に供給する。また、選択部２１０は、イントラ予測に用いられる画像をフレームメモリ２０９から読み出し、イントラ予測部２１１に供給する。
【０１６０】
イントラ予測部２１１には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部２０２から適宜供給される。イントラ予測部２１１は、この情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
【０１６１】
動き予測・補償部２１２は、ヘッダ情報を復号して得られた情報（予測モード情報、動きベクトル情報、参照フレーム情報、フラグ、および各種パラメータ等）を可逆復号部２０２から取得する。
【０１６２】
動き予測・補償部２１２は、可逆復号部２０２から供給されるそれらの情報に基づいて、フレームメモリ２０９から取得した参照画像から予測画像を生成し、生成した予測画像を選択部２１３に供給する。
【０１６３】
選択部２１３は、動き予測・補償部２１２またはイントラ予測部２１１により生成された予測画像を選択し、演算部２０５に供給する。
【０１６４】
サブマクロブロック逆量子化部２２１は、逆量子化部２０３から、量子化パラメータを取得し、式（１０）を用いて、サブマクロブロック毎の量子化値を求め、それを逆量子化部２０３に返す。
【０１６５】
［逆量子化部］
図１０は、逆量子化部２０３の詳細な構成例を説明するブロック図である。
【０１６６】
図１０に示されるように、逆量子化部２０３は、量子化パラメータバッファ２５１、直交変換係数バッファ２５２、および逆量子化処理部２５３を有する。
【０１６７】
画像符号化装置１００から供給された符号化データのピクチャパラメータセットや、スライスヘッダといった、それぞれのレイヤにおける、量子化に関するパラメータは、可逆復号部２０２において復号され、量子化パラメータバッファ２５１に供給される。量子化パラメータバッファ２５１は、その量子化パラメータを適宜保持し、所定のタイミングでサブマクロブロック逆量子化部２２１に供給する。
【０１６８】
サブマクロブロック逆量子化部２２１は、量子化パラメータバッファ２５１から供給される量子化パラメータを用いて、例えば、式（５）乃至式（１０）のようにして、各サブマクロブロックについて量子化パラメータSubMB_QPを算出し、それをサブマクロブロック毎の量子化値に変換し、それを逆量子化処理部２５３に供給する。
【０１６９】
なお、第１の実施の形態において上述したように、submb_qp_deltaの値が「０」の場合、submb_qp_deltaは伝送されない。サブマクロブロック逆量子化部２２１は、量子化パラメータバッファ２５１から供給される量子化パラメータにsubmb_qp_deltaが存在しない場合、マクロブロック毎の量子化パラメータMB_QPの値を、サブマクロブロック毎の量子化パラメータSubMB_QPに適用する。
【０１７０】
また、可逆復号部２０２において、画像符号化装置１００から供給された符号化データが復号されて得られた、量子化された直交変換係数は、直交変換係数バッファ２５２に供給される。直交変換係数バッファ２５２は、その量子化された直交変換係数を適宜保持し、所定のタイミングで逆量子化処理部２５３に供給する。
【０１７１】
逆量子化処理部２５３は、サブマクロブロック逆量子化部２２１から供給されるサブマクロブロック毎の量子化値を用いて、直交変換係数バッファ２５２から供給される、量子化された直交変換係数を逆量子化する。逆量子化処理部２５３は、逆量子化により得られた直交変換係数を逆直交変換部２０４に供給する。
【０１７２】
以上のように、逆量子化部２０３は、サブマクロブロック毎に算出された量子化値を用いて逆量子化処理を行うことができる。これにより、画像復号装置２００は、画像の内容により適した逆量子化処理を行うことができる。特に、マクロブロックサイズが拡張され、単一のマクロブロック内に、フラットなエリアとテクスチャを含むエリアの両方を含んでいる場合でも、画像復号装置２００は、それぞれのエリアに適した適応逆量子化処理を行い、復号画像の主観画質の劣化を抑制させることができる。
【０１７３】
なお、図１に示される画像符号化装置１００の逆量子化部１０８も、この逆量子化部２０３と同様の構成を有し、同様の処理を行う。ただし、逆量子化部１０８は、量子化部１０５から供給される量子化パラメータと、量子化された直交変換係数を取得し、逆量子化を行う。
【０１７４】
また、逆量子化部１０８は、サブマクロブロック逆量子化部２２１と同様の処理を行うサブマクロブロック逆量子化部１２２に、量子化パラメータを提供し、サブマクロブロック毎の量子化値を生成させる。
【０１７５】
［復号処理の流れ］
次に、以上のような画像復号装置２００により実行される各処理の流れについて説明する。最初に、図１１のフローチャートを参照して、復号処理の流れの例を説明する。
【０１７６】
復号処理が開始されると、ステップＳ２０１において、蓄積バッファ２０１は、伝送されてきた符号化データを蓄積する。ステップＳ２０２において、可逆復号部２０２は、蓄積バッファ２０１から供給される符号化データを復号する。すなわち、図１の可逆符号化部１０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。
【０１７７】
このとき、動きベクトル情報、参照フレーム情報、予測モード情報（イントラ予測モード、またはインター予測モード）、並びに、フラグや量子化パラメータ等の情報も復号される。
【０１７８】
予測モード情報がイントラ予測モード情報である場合、予測モード情報は、イントラ予測部２１１に供給される。予測モード情報がインター予測モード情報である場合、予測モード情報と対応する動きベクトル情報は、動き予測・補償部２１２に供給される。
【０１７９】
ステップＳ２０３において、逆量子化部２０３は、可逆復号部２０２により復号されて得られた、量子化された直交変換係数を逆量子化する。ステップＳ２０４において逆直交変換部２０４は逆量子化部２０３により逆量子化されて得られた直交変換係数を、図１の直交変換部１０４に対応する方法で逆直交変換する。これにより図１の直交変換部１０４の入力（演算部１０３の出力）に対応する差分情報が復号されたことになる。
【０１８０】
ステップＳ２０５において、演算部２０５は、ステップＳ２０４の処理により得られた差分情報に、予測画像を加算する。これにより元の画像データが復号される。
【０１８１】
ステップＳ２０６において、デブロックフィルタ２０６は、ステップＳ２０５の処理により得られた復号画像を適宜フィルタリングする。これにより適宜復号画像からブロック歪みが除去される。
【０１８２】
ステップＳ２０７において、フレームメモリ２０９は、フィルタリングされた復号画像を記憶する。
【０１８３】
ステップＳ２０８において、イントラ予測部２１１、または動き予測・補償部２１２は、可逆復号部２０２から供給される予測モード情報に対応して、それぞれ画像の予測処理を行う。
【０１８４】
すなわち、可逆復号部２０２からイントラ予測モード情報が供給された場合、イントラ予測部２１１は、イントラ予測モードのイントラ予測処理を行う。また、可逆復号部２０２からインター予測モード情報が供給された場合、動き予測・補償部２１２は、インター予測モードの動き予測処理を行う。
【０１８５】
ステップＳ２０９において、選択部２１３は予測画像を選択する。すなわち、選択部２１３には、イントラ予測部２１１により生成された予測画像、若しくは、動き予測・補償部２１２により生成された予測画像が供給される。選択部２１３は、その予測画像が供給された側を選択し、その予測画像を演算部２０５に供給する。この予測画像は、ステップＳ２０５の処理により差分情報に加算される。
【０１８６】
ステップＳ２１０において、画面並べ替えバッファ２０７は、復号画像データのフレームの並べ替えを行う。すなわち、復号画像データの、画像符号化装置１００の画面並べ替えバッファ１０２（図１）により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１８７】
ステップＳ２１１において、D/A変換部２０８は、画面並べ替えバッファ２０７においてフレームが並べ替えられた復号画像データをD/A変換する。この復号画像データが図示せぬディスプレイに出力され、その画像が表示される。
【０１８８】
［逆量子化処理］
次に、図１２のフローチャートを参照して、逆量子化処理の流れの例を説明する。
【０１８９】
逆量子化処理が開始されると、量子化パラメータバッファ２５１は、ステップＳ２３１において、可逆復号部２０２から供給される量子化パラメータpic_init_qp_minus26を取得する。
【０１９０】
ステップＳ２３２において、量子化パラメータバッファ２５１は、可逆復号部２０２から供給される量子化パラメータslice_qp_deltaを取得する。
【０１９１】
ステップＳ２３３において、量子化パラメータバッファ２５１は、可逆復号部２０２から供給される量子化パラメータmb_qp_deltaを取得する。
【０１９２】
ステップＳ２３４において、量子化パラメータバッファ２５１は、可逆復号部２０２から供給される量子化パラメータsubmb_qp_deltaを取得する。ただし、submb_qp_deltaが存在しない場合、ステップＳ２３４の処理は省略される。
【０１９３】
ステップＳ２３５において、サブマクロブロック逆量子化部２２１は、ステップＳ２３１乃至ステップＳ２３４の処理により取得された各種量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出する。ただし、画像符号化装置１００からsubmb_qp_deltaが供給されず、ステップＳ２３４の処理が省略された場合、サブマクロブロック逆量子化部２２１は、マクロブロック毎の量子化値を、サブマクロブロック毎の量子化値に適用する。
【０１９４】
ステップＳ２３６において、逆量子化処理部２５３は、直交変換係数バッファ２５２に保持される、量子化された直交変換係数を、ステップＳ２３５の処理により算出されたサブマクロブロック毎の量子化値を用いて逆量子化する。
【０１９５】
ステップＳ２３６の処理が終了すると、逆量子化部２０３は、処理をステップＳ２０３に戻し、ステップＳ２０４以降の処理を実行させる。
【０１９６】
以上のように、復号処理および逆量子化処理を行うことにより、画像復号装置２００は、サブマクロブロック毎に算出された量子化値を用いて逆量子化処理を行うことができ、画像の内容により適した逆量子化処理を行うことができる。
【０１９７】
＜３．第３の実施の形態＞
［submb_qp_present_flag］
以上においては、量子化パラメータとしてsubmb_qp_deltaを適宜伝送するように説明したが、さらに、submb_qp_deltaの存在の有無をマクロブロック毎に通知するフラグを伝送するようにしてもよい。
【０１９８】
その場合、画像符号化装置１００の構成は、図１に示される構成例と同様である。また、量子化部１０５の構成も図５に示される構成例と同様である。ただし、量子化パラメータ算出部１５２は、さらに、マクロブロック毎に、値が「０」でないsubmb_qp_deltaが存在するか否かを示すフラグ情報であるsubmb_qp_present_flagを算出する。当該マクロブロックに属するサブマクロブロックのsubmb_qp_deltaが１つでも「０」でない値を有する場合、submb_qp_present_flagが例えば「１」にセットされる。また、当該マクロブロックに属する全てのサブマクロブロックのsubmb_qp_deltaが「０」の場合、submb_qp_present_flagが例えば「０」にセットされる。
【０１９９】
もちろん、submb_qp_present_flagの値は任意であり、submb_qp_deltaが１つでも「０」でない値を有する場合と、全てのサブマクロブロックのsubmb_qp_deltaが「０」の場合とを識別することができれば、どのような値であってもよい。
【０２００】
量子化パラメータ算出部１５２は、このように値を設定すると、submb_qp_present_flagを量子化パラメータの１つとして、可逆符号化部１０６に供給する。可逆符号化部１０６は、このsubmb_qp_present_flagを、例えばマクロブロックヘッダに付加し、符号化する。つまり、submb_qp_present_flagは、他の量子化パラメータと同様に、符号化データとともに伝送される。
【０２０１】
したがって、この場合の符号化処理は、図７のフローチャートを参照して上述したのと同様に行われる。また、この場合の、量子化パラメータ算出処理の流れの例を図１３のフローチャートを参照して説明する。量子化パラメータ算出処理は、この場合も、図８のフローチャートを参照して説明した場合と基本的に同様に行われる。
【０２０２】
つまり、ステップＳ３３１乃至ステップＳ３３６の各処理は、図８のステップＳ１３１乃至ステップＳ１３６の各処理と同様に行われる。ただし、この場合、量子化パラメータ算出部１５２は、ステップＳ３３７において、量子化パラメータsubmb_qp_present_flagをさらに算出する。
【０２０３】
以上のようにして、量子化パラメータsubmb_qp_present_flagが算出され、伝送される。
【０２０４】
つまり、データの各マクロブロックヘッダには、submb_qp_present_flagが存在する。そして、そのsubmb_qp_present_flagの値が「１」のマクロブロックのサブマクロブロックヘッダには、submb_qp_deltaが存在し、submb_qp_present_flagの値が「０」のマクロブロックのサブマクロブロックヘッダには、submb_qp_deltaが存在しない。
【０２０５】
このような符号化データが、画像符号化装置１００から画像復号装置２００に伝送される。
【０２０６】
この場合の画像復号装置２００の構成は、図９に示される構成例と同様である。また、逆量子化部２０３の構成も図１０に示される構成例と同様である。ただし、サブマクロブロック逆量子化部２２１は、submb_qp_present_flagが「０」にセットされたマクロブロックについては、submb_qp_deltaの供給を待たずに、マクロブロック毎の量子化値を算出し、それをサブマクロブロック毎の量子化値に適用する。
【０２０７】
換言すれば、サブマクロブロック逆量子化部２２１は、submb_qp_present_flagが「１」の場合のみ、submb_qp_deltaを取得し、サブマクロブロック毎の量子化値の算出を行う。
【０２０８】
この場合の復号処理は、図１１のフローチャートを参照して上述したのと同様に行われる。また、この場合の、逆量子化処理の流れの例を図１４のフローチャートを参照して説明する。逆量子化処理は、この場合も、図１２のフローチャートを参照して説明した場合と基本的に同様に行われる。
【０２０９】
つまり、ステップＳ４３１乃至ステップＳ４３３の各処理は、図１２のステップＳ２３１乃至ステップＳ２３３の各処理と同様に行われる。ただし、この場合、量子化パラメータバッファ２５１は、ステップＳ４３４において、マクロブロックヘッダに格納される量子化パラメータsubmb_qp_present_flagを取得する。
【０２１０】
ステップＳ４３５において、サブマクロブロック逆量子化部２２１は、量子化パラメータsubmb_qp_present_flagの値が「１」であるか否かを判定する。量子化パラメータsubmb_qp_present_flagの値が「１」である場合、量子化パラメータバッファ２５１は、ステップＳ４３６において、量子化パラメータsubmb_qp_deltaを取得する。ステップＳ４３７において、サブマクロブロック逆量子化部２２１は、サブマクロブロック毎の量子化値を算出する。つまり、図１２のステップＳ２３４およびステップＳ２３５と同様の処理が行われる。
【０２１１】
また、ステップＳ４３５において、量子化パラメータsubmb_qp_present_flagの値が「０」であると判定された場合、サブマクロブロック逆量子化部２２１は、ステップＳ４３８において、マクロブロック毎の量子化値を算出し、それをサブマクロブロック毎の量子化値として適用する。
【０２１２】
以上のように量子化値が算出されると、逆量子化処理部２５３は、ステップＳ４３９において、その量子化値を用いて逆量子化を行う。
【０２１３】
以上のように、量子化パラメータsubmb_qp_deltaの存在の有無をマクロブロック毎に示すsubmb_qp_present_flagを伝送し、逆量子化時に利用するようにすることにより、画像復号装置２００は、量子化パラメータsubmb_qp_deltaの存在の有無をより容易に把握することができ、存在しないsubmb_qp_deltaを検索する等の不要な処理を必要とせずに、より容易に量子化値を算出することができる。
【０２１４】
以上、第１の実施の形態乃至第３の実施の形態において、AVCに準ずる方式による符号化を行う画像符号化装置、並びに、AVCに準ずる方式による復号を行う画像復号装置を例にして説明してきたが、本技術の適用範囲はこれに限らず、図４に示されるような、階層構造によるブロックに基づく符号化処理を行うあらゆる画像符号化装置並びに画像復号装置に適用することが可能である。
【０２１５】
また、以上に説明した各種量子化パラメータは、例えば、符号化データの任意の位置に付加されるようにしてもよいし、符号化データとは別に復号側に伝送されるようにしてもよい。例えば、可逆符号化部１０６が、これらの情報を、ビットストリームにシンタックスとして記述するようにしてもよい。また、可逆符号化部１０６が、これらの情報を、補助情報として所定の領域に格納して伝送するようにしてもよい。例えば、これらの情報が、SEI（Suplemental Enhancement Information）等のパラメータセット（例えばシーケンスやピクチャのヘッダ等）に格納されるようにしてもよい。
【０２１６】
また、可逆符号化部１０６が、これらの情報を、符号化データとは別に（別のファイルとして）、画像符号化装置から画像復号装置に伝送させるようにしてもよい。その場合、これらの情報と符号化データとの対応関係を明確にする（復号側で把握することができるようにする）必要があるが、その方法は任意である。例えば、別途、対応関係を示すテーブル情報を作成してもよいし、対応先のデータを示すリンク情報を互いのデータに埋め込むなどしてもよい。
【０２１７】
なお、上述したサブマクロブロック毎の量子化値を用いた量子化（サブマクロブロック毎の量子化パラメータの算出）は、３２×３２以上の拡張マクロブロックに対してのみ行うようにしてもよい。
【０２１８】
例えば、レート制御部１１７は、処理対象マクロブロックが拡張マクロブロックの場合のみ、サブマクロブロック毎にアクティビティを算出し、処理対象マクロブロックがAVC等の既存の符号化規格に規定される従来の１６×１６以下のマクロブロックの場合、マクロブロック毎にアクティビティを算出する。
【０２１９】
サブマクロブロック量子化部１２１は、例えば、拡張マクロブロックに対してのみ、サブマクロブロック毎の量子化値を算出し、従来の１６×１６以下のマクロブロックに対しては、マクロブロック毎の量子化値を算出する。
【０２２０】
量子化パラメータ算出部１５２は、例えば、拡張マクロブロックに対してのみ、量子化パラメータSubmb_qp_deltaを算出し、従来の１６×１６以下のマクロブロックに対しては、量子化パラメータsubmb_qp_deltaを算出しない。
【０２２１】
量子化処理部１５３は、例えば、拡張マクロブロックに対してのみ、サブマクロブロック毎の量子化値を用いて量子化を行い、従来の１６×１６以下のマクロブロックに対しては、マクロブロック毎の量子化値を用いて量子化を行う。
【０２２２】
以上のようにすることにより、画像符号化装置１００は、復号画像の主観画質の劣化の抑制効果を十分に期待することができる、大きな領域の拡張マクロブロックに対してのみサブマクロブロック毎の量子化値を用いた量子化を行い、効果の期待が比較的小さな、従来の大きさのマクロブロックに対しては、マクロブロック毎の量子化値を用いた量子化を行うことができる。これにより、画像符号化装置１００は、サブマクロブロック毎の量子化値を用いた量子化を行うことによる負荷の増大を抑制することができる。
【０２２３】
もちろん、この場合、画像復号装置２００は、画像符号化装置１００と同様に、拡張マクロブロックに対してのみ、サブマクロブロック毎の量子化値を用いた逆量子化を行うようにしてもよい。
【０２２４】
例えば、サブマクロブロック逆量子化部２２１は、拡張マクロブロックに対してのみ、サブマクロブロック毎に量子化値を算出し、従来の１６×１６以下のマクロブロックに対しては、マクロブロック毎の量子化値を算出する。
【０２２５】
従って、逆量子化処理部２５３は、例えば、拡張マクロブロックに対してのみ、サブマクロブロック毎の量子化値を用いて逆量子化を行い、従来の１６×１６以下のマクロブロックに対しては、マクロブロック毎の量子化値を用いて逆量子化を行う。
【０２２６】
このようにすることにより、画像復号装置２００は、復号画像の主観画質の劣化の抑制効果を十分に期待することができる、大きな領域の拡張マクロブロックに対してのみサブマクロブロック毎の量子化値を用いた逆量子化を行い、効果の期待が比較的小さな、従来の大きさのマクロブロックに対しては、マクロブロック毎の量子化値を用いた逆量子化を行うことができる。これにより、画像復号装置２００は、サブマクロブロック毎の量子化値を用いた逆量子化を行うことによる負荷の増大を抑制することができる。
【０２２７】
なお、第３の実施の形態のように、submb_qp_present_flagを伝送させる場合、拡張マクロブロックについてのみ、この量子化パラメータsubmb_qp_present_flagを伝送させるようにすればよい。換言すれば、従来の大きさのマクロブロックについては、この量子化パラメータsubmb_qp_present_flagの伝送を省略することができる。もちろん、従来の大きさのマクロブロックに対して、値が「０」以外の量子化パラメータsubmb_qp_deltaが存在しないことを示す値の量子化パラメータsubmb_qp_present_flagを伝送させるようにしてもよい。
【０２２８】
＜４．第４の実施の形態＞
［概要］
以上においては、量子化パラメータをサブマクロブロック単位で指定するように説明したが、サブマクロブロックに対する量子化パラメータの割り当て方は、上述した以外であってもよい。例えば、サブマクロブロック毎の量子化パラメータsubmb_qp_deltaと、その直前に符号化されたサブマクロブロックの量子化パラメータprevious_qpとを用いて、各サブマクロブロックに割り当てる量子化パラメータSubMB_QPを以下の式（１１）のように定義するようにしてもよい。
【０２２９】
SubMB_QP = Clip（0,51,previous_qp + submb_qp_delta）  ・・・（１１）
【０２３０】
［コーディングユニット］
このような方法について、以下に説明するが、以下においては、上述したマクロブロックやサブマクロブロックの代わりにコーディングユニット（Coding Unit）という単位を用いて説明する。
【０２３１】
例えば、"Test Model Under Consideration"（JCTVC-B205）においては、図４を参照して説明した拡張マクロブロックが、コーディングユニット（Coding Unit）という概念によって定義されている。
【０２３２】
コーディングユニットは、画像データの符号化処理等の処理単位となる、画像（１ピクチャ）の分割単位である。つまり、コーディングユニットは、画像（１ピクチャ）が複数に分割されたブロック（部分領域）である。すなわち、コーディングユニットは、上述したマクロブロックやサブマクロブロックに相当する。
【０２３３】
図１５は、コーディングユニットの構成例を示す図である。図１５に示されるように、コーディングユニットは、その領域をさらに複数に分割し、各領域を１階層下のコーディングユニットとすることができる。つまり、コーディングユニットは、階層状に構成されるようにする（木構造に構成される）ことができる。付言するに、コーディングユニットのサイズは任意であり、１つのピクチャ内に互いに異なるサイズのコーディングユニットが存在することもできる。
【０２３４】
図１５の例においては、最上位層（Depth=0）のコーディングユニットのサイズが１２８画素×１２８画素とされ、それを縦横に２等分ずつ（４分割）した６４画素×６４画素の領域が１階層下（Depth=1）のコーディングユニットとされ、以下同様にコーディングユニットの階層化が繰り返され、８画素×８画素の領域が最下位層（Depth=4）のコーディングユニットとされている。
【０２３５】
このとき、最上位層のコーディングユニットをLCU（Largest Coding Unit）と称し、最下位層のコーディングユニットをSCU（Smallest Coding Unit）と称する。つまり、LCUは、マクロブロックに相当し、それより下位層のコーディングユニットは、サブマクロブロックに相当する。
【０２３６】
なお、各階層のコーディングユニットのサイズや形状、並びに階層数は任意である。つまり、画像（１ピクチャ）内において、LCUやSCUのサイズや形状が全て揃っている必要はなく、画像内の位置によってコーディングユニットの階層数が異なっていてもよいし、領域の分割の仕方も任意である。つまり、コーディングユニットの木構造は、任意の構造とすることができる。
【０２３７】
もちろん、例えば、領域の分割の仕方は共通で、階層数のみ異なることができるようにする等、コーディングユニットの階層構造の自由度を一部制限するようにしてもよい。例えば、図１５に示されるように、どの位置においても、１領域（１ピクチャ若しくは１コーディングユニット）が縦横に２等分（すなわち４分割）されるようにし、各位置のLCUとSCUの大きさを定義することにより、コーディングユニットの階層構造を定義するようにしてもよい。
【０２３８】
LCUおよびSCUの大きさは、例えば、画像圧縮情報中、シーケンスパラメータセットにおいて指定されるようにすることができる。もちろん、その他のメタデータ等において指定されるようにしてもよい。
【０２３９】
［量子化パラメータの割り当て］
本実施の形態においては、マクロブロックやサブマクロブロックの代わりに、各コーディングユニットに量子化パラメータsubmb_qp_deltaが割り当てられる。ただし、この場合、量子化パラメータsubmb_qp_deltaは、マクロブロック毎の量子化パラメータMB_QPとサブマクロブロック毎の量子化パラメータSubMB_QPとの差分値ではなく、直前に符号化されたコーディングユニットの量子化パラメータprevious_qpと、現在の処理対象のコーディングユニットの量子化パラメータSubMB_QPとの差分値である。
【０２４０】
換言するに、各コーディングユニットには、直前の符号化に用いられた量子化パラメータprevious_qpと、現在の処理対象のコーディングユニットの量子化パラメータSubMB_QPとの差分値を示す量子化パラメータsubmb_qp_deltaが割り当てられる。つまり、上述した式（１１）を満たす量子化パラメータsubmb_qp_deltaが各コーディングユニットに割り当てられる。
【０２４１】
なお、画像内の全領域を量子化することができればよいので、実際には、例えばSCUのみ等のように、一部のコーディングユニットに対して量子化パラメータsubmb_qp_deltaが割り当てられる。
【０２４２】
上述した他の実施の形態と同様に、現在処理対象のコーディングユニットの量子化パラメータSubMB_QPは、そのコーディングユニットのアクティビティより求めた量子化値を変換して得ることができる。したがって、コーディングユニット毎の量子化パラメータsubmb_qp_deltaは、式（１１）を用いて算出することができる。
【０２４３】
図１６に１LCU内のコーディングユニットの構成例と、各コーディングユニットに割り当てられる量子化パラメータの例を示す。図１６に示されるように、各コーディングユニット（CU）には、直前の符号化に用いられた量子化パラメータprevious_qpと、現在処理対象のコーディングユニットの量子化パラメータSubMB_QPとの差分値ΔQPが量子化パラメータとして割り当てられている。
【０２４４】
より具体的には、このLCU内の左上のコーディングユニット０（Coding Unit 0）に量子化パラメータΔQP０が割り当てられている。また、このLCU内の右上の４つのコーディングユニットの内の、左上のコーディングユニット１０（Coding Unit 10）に量子化パラメータΔQP１０が割り当てられている。さらに、このLCU内の右上の４つのコーディングユニットの内の、右上のコーディングユニット１１（Coding Unit 11）に量子化パラメータΔQP１１が割り当てられている。また、このLCU内の右上の４つのコーディングユニットの内の、左下のコーディングユニット１２（Coding Unit 12）に量子化パラメータΔQP１２が割り当てられている。さらに、このLCU内の右上の４つのコーディングユニットの内の、右下のコーディングユニット１３（Coding Unit 13）に量子化パラメータΔQP１３が割り当てられている。
【０２４５】
このLCU内の左下の４つのコーディングユニットの内の、左上のコーディングユニット２０（Coding Unit 20）に量子化パラメータΔQP２０が割り当てられている。さらに、このLCU内の左下の４つのコーディングユニットの内の、右上のコーディングユニット２１（Coding Unit 21）に量子化パラメータΔQP２１が割り当てられている。また、このLCU内の左下の４つのコーディングユニットの内の、左下のコーディングユニット２２（Coding Unit 22）に量子化パラメータΔQP２２が割り当てられている。さらに、このLCU内の左下の４つのコーディングユニットの内の、右下のコーディングユニット２３（Coding Unit 23）に量子化パラメータΔQP２３が割り当てられている。そして、このLCU内の右下のコーディングユニット３（Coding Unit 3）に量子化パラメータΔQP３が割り当てられている。
【０２４６】
このLCUの直前に処理されたコーディングユニットの量子化パラメータをPrevQPとする。さらに、このLCU内の左上のコーディングユニット０（Coding Unit 0）が、このLCU内において最初に処理されるコーディングユニットであり、現在の処理対象であるとする。
【０２４７】
現在の処理対象のコーディングユニットの量子化パラメータCurrentQPは、以下の式（１２）のように算出される。
【０２４８】
CurrentQP＝PrevQP＋ΔQP０  ・・・・（１２）
【０２４９】
このコーディングユニット０の次に処理されるコーディングユニットが、図１６に示されるLCU内の右上の４つのコーディングユニットの内の左上のコーディングユニット１０（Coding Unit 10）であるとする。
【０２５０】
このコーディングユニット１０が処理対象となると、現在の処理対象のコーディングユニットの量子化パラメータCurrentQPは、以下の式（１３）および式（１４）のように算出される。
【０２５１】
PrevQP＝CurrentQP  ・・・（１３）
CurrentQP＝PrevQP＋ΔQP１０  ・・・・（１４）
【０２５２】
このように、各コーディングユニットに割り当てる量子化パラメータを、直前に符号化されたコーディングユニットの量子化パラメータと現在の処理対象の量子化パラメータとの差分値とすることにより、マクロブロック毎の量子化パラメータを算出する必要がなくなるので、より容易に量子化処理を行うことができる。
【０２５３】
なお、符号化済みのコーディングユニットの量子化パラメータと現在の処理対象の量子化パラメータとの差分値を算出する場合、現在の処理対象のコーディングユニットよも前に符号化されたコーディングユニット(LCU内において直前に符号化されたコーディングユニットよりも前に符号化されたコーディングユニット)との差分値を算出することも可能である。ただし、直前に符号化されたコーディングユニットの量子化パラメータと現在の処理対象の量子化パラメータとの差分値をとれば好適である。
【０２５４】
つまり、直前に符号化されたコーディングユニットの量子化パラメータと現在の処理対象の量子化パラメータとの差分値を算出する際には、直前に符号化されたコーディングユニットの量子化パラメータのみをメモリに保存しておけばよく、FIFO(First In First Out：先入れ先出し)形式で量子化パラメータを管理すればよい。したがって、量子化パラメータの差分値を算出する際には、量子化パラメータの管理が容易になり、使用するメモリ量も少なくなるので、実装面においてメリットがある。
【０２５５】
なお、このようなコーディングユニット毎の量子化パラメータcu_qp_deltaは、例えば図１７に示されるように、コーディングユニットのシンタクスにおいて定義され、復号側に伝送される。つまり、このコーディングユニット毎の量子化パラメータcu_qp_deltaは、上述した量子化パラメータsub_qp_deltaに相当する。
【０２５６】
［画像符号化装置］
図１８は、本技術を適用した画像符号化装置の主な構成例を示すブロック図である。図１８に示される画像符号化装置３００は、上述したように、コーディングユニット毎に量子化パラメータcu_qp_deltaの割り当てを行う。
【０２５７】
図１８に示されるように、画像符号化装置３００は、基本的に、図１の画像符号化装置１００と同様の構成を有する。ただし、画像符号化装置３００は、画像符号化装置１００の量子化部１０５、レート制御部１１７、およびサブマクロブロック量子化部１２１の代わりに、コーディングユニット量子化部３０５およびレート制御部３１７を有する。また、画像符号化装置３００は、画像符号化装置１００の逆量子化部１０８およびサブマクロブロック逆量子化部１２２の代わりに、コーディングユニット逆量子化部３０８を有する。
【０２５８】
レート制御部３１７は、蓄積バッファ１０７に蓄積された圧縮画像に基づいて、オーバーフローあるいはアンダーフローが発生しないように、コーディングユニット量子化部３０５の量子化動作のレートを制御する。さらに、レート制御部３１７は、コーディングユニット毎に画像の複雑さを示す情報をコーディングユニット量子化部３０５に提供する。コーディングユニット量子化部３０５は、そのアクティビティを用いてコーディングユニット毎に量子化を行う。また、コーディングユニット量子化部３０５は、コーディングユニット毎に量子化パラメータを算出する。コーディングユニット量子化部３０５は、コーディングユニット毎に量子化された直交変換係数（係数データ）と、算出したコーディングユニット毎の量子化パラメータを、可逆符号化部１０６に供給し、符号化して伝送させる。さらに、コーディングユニット量子化部３０５は、コーディングユニット毎に量子化した直交変換係数（係数データ）と、算出したコーディングユニット毎の量子化パラメータを、コーディングユニット逆量子化部３０８にも提供する。
【０２５９】
コーディングユニット逆量子化部３０８は、コーディングユニット量子化部３０５から供給された、コーディングユニット毎の量子化パラメータを用いて、コーディングユニット毎に逆量子化を行う。コーディングユニット逆量子化部３０８は、コーディングユニット毎に逆量子化した直交変換係数（係数データ）を逆直交変換部１０９に供給する。コーディングユニット逆量子化部３０８の詳細については、画像復号装置の説明において後述する。
【０２６０】
［量子化に関する詳細な構成］
図１９は、レート制御部３１７およびコーディングユニット量子化部３０５の詳細な構成例を示すブロック図である。
【０２６１】
図１９に示されるように、レート制御部３１７は、アクティビティ算出部３２１およびアクティビティバッファ３２２を有する。
【０２６２】
アクティビティ算出部３２１は、画面並べ替えバッファ１０２から符号化処理対象の画像（処理対象のコーディングユニット）を取得し、その画像の複雑さを示す情報として、画素値の分散を示す情報であるアクティビティを算出する。つまり、アクティビティ算出部３２１は、コーディングユニット毎にアクティビティを算出する。なお、量子化処理が画像全体について行われるようにすればよいので、アクティビティの算出は、例えば、SCUのみ等のように、一部のコーディングユニットについてのみ行うようにしてもよい。
【０２６３】
アクティビティバッファ３２２は、アクティビティ算出部３２１により算出されたコーディングユニット毎のアクティビティを保持し、所定のタイミングでそれを量子化部１０５に提供する。アクティビティバッファ３２２は、取得したコーディングユニット毎のアクティビティを、例えば１画面分保持する。
【０２６４】
アクティビティの算出方法は、任意であり、例えば、上述したMPEG２ TestModelと同様の方法であってもよい。また、画像の複雑さを示す情報の内容も任意であり、このようなアクティビティ以外の情報であってもよい。
【０２６５】
コーディングユニット量子化部３０５は、コーディングユニット量子化値算出部３３１、ピクチャ量子化パラメータ算出部３３２、スライス量子化パラメータ算出部３３３、コーディングユニット量子化パラメータ算出部３３４、およびコーディングユニット量子化部３３５を有する。
【０２６６】
コーディングユニット量子化値算出部３３１は、レート制御部３１７から供給されるコーディングユニット毎のアクティビティ（コーディングユニット毎の画像の複雑さを示す情報）に基づいて、コーディングユニット毎の量子化値を算出する。このコーディングユニット毎の量子化値は、LCU毎のアクティビティからLCU毎の量子化値を算出する場合と同様の方法により算出することができる。なお、量子化処理が画像全体について行われるようにすればよいので、コーディングユニット毎の量子化値の算出は、一部のコーディングユニットについてのみ行うようにしてもよい。以下においては、一例として、SCUについてのみコーディングユニット毎の量子化値が算出されるものとする。
【０２６７】
各コーディングユニットについて量子化値を求めると、コーディングユニット量子化値算出部３３１は、そのコーディングユニット毎の量子化値を、ピクチャ量子化パラメータ算出部３３２に供給する。
【０２６８】
ピクチャ量子化パラメータ算出部３３２は、コーディングユニット毎の量子化値を用いて、ピクチャ毎の量子化パラメータpic_init_qp_minus26を求める。
【０２６９】
スライス量子化パラメータ算出部３３３は、コーディングユニット毎の量子化値を用いて、スライス毎の量子化パラメータslice_qp_deltaを求める。
【０２７０】
コーディングユニット量子化パラメータ算出部３３４は、直前の符号化に用いられた量子化パラメータprevQPを用いて、コーディングユニット毎の量子化パラメータcu_qp_deltaを求める。
【０２７１】
ピクチャ量子化パラメータ算出部３３２乃至コーディングユニット量子化パラメータ算出部３３４が生成した量子化パラメータは、可逆符号化部１０６に供給され、符号化され、復号側に伝送されるとともに、コーディングユニット逆量子化部３０８にも供給される。
【０２７２】
コーディングユニット量子化部３３５は、コーディングユニット毎の量子化値を用いて、処理対象のコーディングユニットの直交変換係数を量子化する。
【０２７３】
コーディングユニット量子化部３３５は、コーディングユニット毎に量子化した直交変換係数を、可逆符号化部１０６及びコーディングユニット逆量子化部３０８に供給する。
【０２７４】
［符号化処理の流れ］
画像符号化装置３００は、図６を参照して説明した、図１の画像符号化装置１００の場合と基本的に同様に符号化処理を行う。
【０２７５】
［量子化パラメータ算出処理の流れ］
図２０のフローチャートを参照して、その符号化処理において実行される量子化パラメータ算出処理の流れの例を説明する。
【０２７６】
量子化パラメータ算出処理が開始されると、ステップＳ５３１において、コーディングユニット量子化値算出部３３１は、レート制御部３１７から供給されるコーディングユニット毎のアクティビティを取得する。
【０２７７】
ステップＳ５３２において、コーディングユニット量子化値算出部３３１は、コーディングユニット毎のアクティビティを用いて、コーディングユニット毎の量子化値を算出する。
【０２７８】
ステップＳ５３３において、ピクチャ量子化パラメータ算出部３３２は、ステップＳ５３２において算出されたコーディングユニット毎の量子化値を用いて、量子化パラメータpic_init_qp_minus26を求める。
【０２７９】
ステップＳ５３４において、スライス量子化パラメータ算出部３３３は、ステップＳ５３２において算出されたコーディングユニット毎の量子化値を用いて、量子化パラメータslice_qp_deltaを求める。
【０２８０】
ステップＳ５３５において、コーディングユニット量子化パラメータ算出部３３４は、直前の符号化に用いられた量子化パラメータprevQPを用いて、コーディングユニット毎の量子化パラメータcu_qp_delta（図１６のΔQP０乃至ΔQP２３等）を求める。
【０２８１】
以上のように各種量子化パラメータを求めると、コーディングユニット量子化部３０５は、量子化パラメータ算出処理を終了し、符号化処理の続きの処理を行う。
【０２８２】
以上のように符号化処理や量子化パラメータ算出処理を行うので、画像符号化装置３００は、コーディングユニット毎に量子化値を設定することができ、画像の内容に応じて、より適切な量子化処理を行うことができる。
【０２８３】
また、このように算出された量子化パラメータを画像復号装置に伝送するので、画像符号化装置３００は、その画像復号装置がコーディングユニット毎に逆量子化を行うようにすることができる。
【０２８４】
なお、画像符号化装置３００が有するコーディングユニット逆量子化部３０８は、画像符号化装置３００に対応する画像復号装置が有するコーディングユニット逆量子化部と同様の処理を行う。つまり、画像符号化装置３００も、コーディングユニット毎に逆量子化を行うことができる。
【０２８５】
［画像復号装置］
図２１は、本技術を適用した画像復号装置の主な構成例を示すブロック図である。図２１に示される画像復号装置４００は、上述した画像符号化装置３００に対応し、画像符号化装置３００が画像データを符号化して生成したコードストリーム（符号化データ）を正しく復号し、復号画像を生成する。
【０２８６】
図２１に示されるように、画像復号装置４００は、基本的に図８の画像復号装置２００と同様の構成を有し、同様の処理を行う。ただし、画像復号装置４００は、画像復号装置２００の逆量子化部２０３およびサブマクロブロック逆量子化部２２１の代わりに、コーディングユニット逆量子化部４０３を有する。
【０２８７】
コーディングユニット逆量子化部４０３は、画像符号化装置３００においてコーディングユニット毎に量子化された直交変換係数を、その画像符号化装置３００から供給されるコーディングユニット毎の量子化パラメータ等を用いて逆量子化する。
【０２８８】
図２２は、コーディングユニット逆量子化部４０３の主な構成例を示すブロック図である。図２２に示されるように、コーディングユニット逆量子化部４０３は、量子化パラメータバッファ４１１、直交変換係数バッファ４１２、コーディングユニット量子化値算出部４１３、およびコーディングユニット逆量子化処理部４１４を有する。
【０２８９】
画像符号化装置３００から供給された符号化データのピクチャパラメータセットや、スライスヘッダといった、それぞれのレイヤにおける、量子化パラメータは、可逆復号部２０２において復号され、量子化パラメータバッファ４１１に供給される。量子化パラメータバッファ４１１は、その量子化パラメータを適宜保持し、所定のタイミングでコーディングユニット量子化値算出部４１３に供給する。
【０２９０】
コーディングユニット量子化値算出部４１３は、量子化パラメータバッファ４１１から供給される量子化パラメータを用いて、例えば、式（１１）乃至式（１４）のようにして、各コーディングユニットについて量子化値を算出し、それをコーディングユニット逆量子化処理部４１４に供給する。
【０２９１】
また、可逆復号部２０２において、画像符号化装置３００から供給された符号化データが復号されて得られた、量子化された直交変換係数は、直交変換係数バッファ４１２に供給される。直交変換係数バッファ４１２は、その量子化された直交変換係数を適宜保持し、所定のタイミングでコーディングユニット逆量子化処理部４１４に供給する。
【０２９２】
コーディングユニット逆量子化処理部４１４は、コーディングユニット量子化値算出部４１３から供給されるコーディングユニット毎の量子化値を用いて、直交変換係数バッファ４１２から供給される、量子化された直交変換係数を逆量子化する。コーディングユニット逆量子化処理部４１４は、逆量子化により得られた直交変換係数を逆直交変換部２０４に供給する。
【０２９３】
以上のように、コーディングユニット逆量子化部４０３は、コーディングユニット毎に算出された量子化値を用いて逆量子化処理を行うことができる。これにより、画像復号装置４００は、画像の内容により適した逆量子化処理を行うことができる。特に、マクロブロックサイズが拡張され（LCUのサイズが大きく）、単一のLCU内に、フラットなエリアとテクスチャを含むエリアの両方を含んでいる場合でも、画像復号装置４００は、それぞれのエリアに適した適応逆量子化処理を行い、復号画像の主観画質の劣化を抑制させることができる。
【０２９４】
なお、図１８に示される画像符号化装置３００のコーディングユニット逆量子化部３０８も、このコーディングユニット逆量子化部４０３と同様の構成を有し、同様の処理を行う。ただし、コーディングユニット逆量子化部３０８は、コーディングユニット量子化部３０５から供給される量子化パラメータと、量子化された直交変換係数を取得し、逆量子化を行う。
【０２９５】
［復号処理の流れ］
画像復号装置４００は、図１０のフローチャートを参照して説明した、図８の画像復号装置２００の場合と基本的に同様に復号処理を行う。
【０２９６】
［逆量子化処理の流れ］
図２３のフローチャートを参照して、この画像復号装置４００による復号処理において実行される逆量子化処理の流れの例を説明する。
【０２９７】
逆量子化処理が開始されると、量子化パラメータバッファ４１１は、ステップＳ６３１において、可逆復号部２０２から供給される量子化パラメータpic_init_qp_minus26を取得する。
【０２９８】
ステップＳ６３２において、量子化パラメータバッファ４１１は、可逆復号部２０２から供給される量子化パラメータslice_qp_deltaを取得する。
【０２９９】
ステップＳ６３３において、量子化パラメータバッファ４１１は、可逆復号部２０２から供給される量子化パラメータcu_qp_deltaを取得する。
【０３００】
ステップＳ６３４において、コーディングユニット量子化値算出部４１３は、ステップＳ６３１乃至ステップＳ６３３の処理により取得された各種量子化パラメータや、直前に用いられた量子化パラメータPrevQPを用いて、コーディングユニット毎の量子化値を算出する。
【０３０１】
ステップＳ６３５において、コーディングユニット逆量子化処理部４１４は、直交変換係数バッファ４１２に保持される、量子化された直交変換係数を、ステップＳ６３４の処理により算出されたコーディングユニット毎の量子化値を用いて逆量子化する。
【０３０２】
ステップＳ６３５の処理が終了すると、コーディングユニット逆量子化部４０３は、処理を復号処理に戻し、それ以降の処理を実行させる。
【０３０３】
以上のように、復号処理および逆量子化処理を行うことにより、画像復号装置４００は、コーディングユニット毎に算出された量子化値を用いて逆量子化処理を行うことができ、画像の内容により適した逆量子化処理を行うことができる。
【０３０４】
以上に説明したように、コーディングユニット（サブマクロブロック）毎の量子化パラメータの符号量を低減させるために、量子化パラメータSubMB_QPそのものを伝送させるのではなく、所定の量子化パラメータと量子化パラメータSubMB_QPとの差分値dQP（量子化パラメータsubmb_qp_delta）を求め、これを伝送させる。以上においては、この量子化パラメータdQPの算出方法として、以下の式（１５）および式（１６）に示される２つの方法について説明した。
【０３０５】
dQP = CurrentQP - LCUQP  ・・・（１５）
dQP = CurrentQP - PreviousQP  ・・・（１６）
【０３０６】
式（１５）および式（１６）において、CurrentQPは、処理対象のコーディングユニット（CU）の量子化パラメータである。また、LCUQPは、処理対象のCUが属するLCU（つまり処理対象のLCU）の量子化パラメータである。さらに、PreviousQPは、現在の処理対象のCU直前に処理されたCUの量子化パラメータである。
【０３０７】
つまり、式（１５）の場合、処理対象のLCUの量子化パラメータと、処理対象のCUの量子化パラメータとの差分値を伝送させる。また、式（１６）の場合、直前に処理されたCUの量子化パラメータと、現在の処理対象のCUの量子化パラメータとの差分値を伝送させる。
【０３０８】
このような伝送用の量子化パラメータdQPの算出方法は、任意であり、上述した２つの例以外であってもよい。
【０３０９】
例えば、以下の式（１７）に示されるように、処理対象のCUが属するスライス（つまり処理対象のスライス）の量子化パラメータSliceQPと、処理対象のCUの量子化パラメータとの差分値を伝送させるようにしてもよい。
【０３１０】
dQP = CurrentQP - SliceQP  ・・・（１７）
【０３１１】
量子化パラメータCurrentQPは、例えば、図１９のコーディングユニット量子化パラメータ算出部３３４が、コーディングユニット量子化値算出部３３１が算出した処理対象のCUの量子化値を変換することにより得ることができる。また、量子化パラメータSliceQPは、例えば、図１９のスライス量子化パラメータ算出部３３３が、ピクチャ量子化パラメータ算出部３３２が求めた量子化パラメータpic_init_qp_minus26、および、自身が求めた量子化パラメータslice_qp_deltaを用いて求めることができる。
【０３１２】
したがって、例えば、図１９のコーディングユニット量子化パラメータ算出部３３４は、これらの値を用いて量子化パラメータdQPを求めることができる。コーディングユニット量子化パラメータ算出部３３４は、この量子化パラメータdQPを可逆符号化部１０６に供給し、復号側に伝送させる。
【０３１３】
量子化パラメータpic_init_qp_minus26や量子化パラメータslice_qp_deltaについては、例えば、"Test Model Under Consideration"（JCTVC-B205）に定義されており、従来の符号化方式と同様の方法で設定することができる。
【０３１４】
復号側においては、符号化側から伝送された量子化パラメータdQPからCUの量子化パラメータを求めることができる。
【０３１５】
例えば、コーディングユニット量子化値算出部４１３は、量子化パラメータdQPから、以下の式（１８）のように、CUの量子化パラメータSubMB_QPを求め、それを変換することにより、量子化値を求める。
【０３１６】
SubMB_QP = Clip（minQP,maxQP,SliceQP + submb_qp_delta）  ・・・（１８）
【０３１７】
式（１８）において、minQPは、予め定義されている最小の量子化パラメータであり、maxQPは、予め定義されている最大の量子化パラメータである。
【０３１８】
このように、量子化パラメータdQPを求めるのに量子化パラメータSliceQPを用いる場合も、上述した２つの方法の場合と同様に、量子化・逆量子化を行うことができる。つまり、画像の内容により適した量子化・逆量子化を行うことができるだけでなく、量子化パラメータの符号量を低減させることができる。
【０３１９】
これらの各方法の処理の特徴を比較する表を図２４に示す。図２４に示される表において、一番上の方法（第１の方法と称する）は、LCUの量子化パラメータを用いて量子化パラメータdQPを求める方法である。上から２番目の方法（第２の方法と称する）は、処理対象のCUの直前に処理されたCUの量子化パラメータを用いて量子化パラメータｄQPを求める方法である。そして、一番下の方法（第３の方法と称する）は、処理対象のスライスの量子化パラメータを用いて量子化パラメータｄQPを求める方法である。
【０３２０】
図２４の表は、各方法の特徴として、パイプライン処理のし易さと、符号化効率を比較している。図２４の表に示されるように、第２の方法よりも第１の方法の方がパイプライン処理が容易である。また、その第１の方法よりも第３の方法の方がパイプライン処理が容易である。さらに、第３の方法よりも第１の方法の方が符号化効率がよい。また、その第１の方法よりも第１の方法よりも第２の方法の方が符号化効率がよい。
【０３２１】
つまり、一般的に、処理対象の領域（コーディングユニットやサブマクロブロック等）との相関性は、その処理対象の領域により近傍の領域程高い。したがって、処理対象の領域に対してより近傍の領域を利用して量子化パラメータdQPを求めることにより、量子化パラメータdQPの符号化効率をより向上させることができる。
【０３２２】
ただし、一般的に、処理対象の領域に対してより離れた領域程、処理順が早い。したがって、処理対象の領域が処理されるまでの時間が長くなる。つまり、処理遅延等に対する許容時間が長くなる。したがって、処理対象の領域に対してより離れた領域を利用して量子化パラメータdQPを求めることにより、遅延が生じにくくなり、パイプライン処理には有利になる。
【０３２３】
以上のように、各方法は互いに異なる特徴を有するので、どの方法がより適切であるかは優先される条件に応じて異なる。なお、各方法を選択することができるようにしてもよい。この選択方法は任意である。例えば、どの方法を適用するかを例えばユーザ等が予め定めるようにしてもよい。また、例えば、任意の条件に従って（例えば任意の処理単位毎や任意のイベント発生時等に）、適応的にいずれかの方法が選択されるようにしてもよい。
【０３２４】
また、いずれかの方法を適応的に選択する場合、どの方法を選択したかを示すフラグ情報を生成し、そのフラグ情報を、符号化側（量子化側）から復号側（逆量子化側）に伝送させるようにしてもよい。その場合、復号側（逆量子化側）は、そのフラグ情報を参照することにより、符号化側（量子化側）と同じ方法を選択することができる。
【０３２５】
また、量子化パラメータdQPの算出方法は、任意であり、上述した以外であってもよい。用意する算出方法の数も任意である。また、その数を可変としてもよい。また、量子化パラメータdQPを定義する情報を、符号化側（量子化側）から復号側（逆量子化側）に伝送させるようにしてもよい。
【０３２６】
上述した各方法の特徴を考慮して、量子化パラメータの差分値の算出方法を例示する。図２５は、LCUとCUの構成の一例を示している。(番号)はコーディングユニットの符号化(復号)の処理順を示している。
【０３２７】
LCU(0)において、コーディングユニットの符号化順は下記の通りになる：
2014195319.tif 000005
【０３２８】
この場合、量子化パラメータの差分値は以下のようになる：
LCU内の先頭のコーディングユニットCU(0)は、式（１７）を用いて、CU(0)が属するスライス（つまり処理対象のスライス）の量子化パラメータSliceQPと、処理対象のCU(0)の量子化パラメータとの差分値を伝送させる。
【０３２９】
dQP(CU(0)) ＝ CurrentQP(CU0) − SliceQP
【０３３０】
次に、LCU内の先頭以外のコーディングユニットCU(10)乃至CU(3)は、式（１６）を用いて、処理対象のCUの量子化パラメータ(CurrentCU)と直前に符号化されたCU(PrevisousCU)の差分値を伝送させる。
【０３３１】
dQP = CurrentQP(CUi) - PreviousQP(CUi-1)
【０３３２】
つまり、図２５を用いて説明すると、量子化パラメータの差分値は以下のようになる：
dQP(CU(10))=CurrentQP(CU(10))-PrevisouQP(CU(0))
dQP(CU(11))=CurrentQP(CU(11))-PrevisouQP(CU(10))
dQP(CU(12))=CurrentQP(CU(12))-PrevisouQP(CU(11))
dQP(CU(13))=CurrentQP(CU(13))-PrevisouQP(CU(12))
dQP(CU(20))=CurrentQP(CU(20))-PrevisouQP(CU(13))
dQP(CU(21))=CurrentQP(CU(21))-PrevisouQP(CU(20))
dQP(CU(30))=CurrentQP(CU(30))-PrevisouQP(CU(21))
dQP(CU(31))=CurrentQP(CU(31))-PrevisouQP(CU(30))
dQP(CU(32))=CurrentQP(CU(32))-PrevisouQP(CU(31))
dQP(CU(33))=CurrentQP(CU(33))-PrevisouQP(CU32))
dQP(CU(23))=CurrentQP(CU(23))-PrevisouQP(CU33))
dQP(CU(3))=CurrentQP(CU(3))-PrevisouQP(CU23)
【０３３３】
他のLCU(1)乃至LCU(N)についても同様に量子化パラメータの差分値を算出・伝送する。
【０３３４】
このように、量子化パラメータの差分値を算出・伝送することにより、各方法の特徴のメリット(図中二重丸)を採用することにより、パイプライン処理のしやすさと符号化効率とをともに両立することができる。
【０３３５】
なお、実装上の観点で、LUC内で閉じた制御を行う場合は、LCU内の先頭のコーディングユニットCU(0)は、式（１５）を用いて、量子化パラメータの差分値を算出すればよい。
【０３３６】
なお、以上に説明した量子化パラメータdQPは、全てのコーディングユニットに設定する必要はなく、LCUQP、PreviousQP、SliceQP等といった基準となる量子化パラメータと異なる値を設定したいCUのみ設定すれば良い。
【０３３７】
そのために、例えば、スライスヘッダ（SliceHeader）に、MinCUForDQPCodedなるシンタクスを追加するようにしてもよい。
【０３３８】
図２６は、スライスヘッダのシンタックスの例を示す図である。各行の左端の数字は説明のために付した行番号である。
【０３３９】
図２６の例において、第２２行目にMinCUForDQPCodedが設定されている。このMinCUForDQPCodedは、dQPを設定する最小CUサイズを指定する。例えば、CUの最小サイズが８×８であったとしても、MinCUForDQPCoded=16と指定されている場合、画像符号化装置３００のコーディングユニット量子化パラメータ算出部３３４は、１６×１６以上のサイズのCUのみdQPを設定し、８×８のCUにはdQPを設定しないようにする。つまり、この場合、１６×１６以上のサイズのCUのdQPが伝送される。なお、MinCUForDQPCodedは、dQPを設定する最小CUサイズを指定する手法として、符号化（復号）の際に設定されるCUサイズ（４×４、８×８、１６×１６、３２×３２など）から、dQPを設定する最小CUサイズを識別（選択）するフラグ（例えば、０：４×４、１：８×８、２：１６×１６など）として設定することもできる。
【０３４０】
例えば、エンコーダを作る人が、１６×１６サイズのCUでの制御しか望んでいなければ、8x8サイズのCUでは、dQPを全て0で伝送する必要があり、これにより符号化効率が低減する恐れがある。
【０３４１】
そこでこのようなシンタックスMinCUForDQPCodedを設定することにより、このような場合に８×８サイズのCUのdQPの伝送を省略することができ、符号化効率の低減を抑制することができる。
【０３４２】
画像復号装置４００のコーディングユニット量子化値算出部４１３は、このようなシンタックスに従って、８×８のCUのdQPは伝送されていないことを把握し、LCUQP、PreviousQP、SliceQP等といった基準となる量子化パラメータを用いて量子化値を算出する。
【０３４３】
なお、MinCUForDQPCodedは、スライスヘッダ以外に格納するようにしてもよい。例えば、ピクチャパラメータセット（PictureParameterSet）に格納するようにしてもよい。スライスヘッダ若しくはピクチャパラメータセットに格納することにより、例えば、シーンチェンジ後にこの値を変更するといった操作に対応することができる。
【０３４４】
ただし、MinCUForDQPCodedを、スライスヘッダに格納することにより、ピクチャをマルチスライス化し、スライス毎に並列に処理する場合にも対応することができるので、より望ましい。
【０３４５】
＜５．第５の実施の形態＞
［概要］
以上においては、サブマクロブロック（LCUより小さいコーディングユニット）毎の量子化パラメータを画像符号化装置から画像復号装置に伝送するように説明したが、この場合、画像復号装置も、そのサブマクロブロック（LCUより小さいコーディングユニット）毎の量子化パラメータを取得し、それを用いてサブマクロブロック（LCUより小さいコーディングユニット）毎に量子化を行うことができなければならない。
【０３４６】
そこで、画像符号化装置が、量子化処理をサブマクロブロック（LCUより小さいコーディングユニット）毎に行うものの、量子化パラメータの設定はマクロブロック（LCU）毎に行い、そのマクロブロック（LCU）毎の量子化パラメータを画像復号装置に提供するようにしてもよい。
【０３４７】
例えば、画像符号化装置が、先述のＴｅｓｔＭｏｄｅｌ５により各マクロブロック（LCU）のアクティビティを算出する際、マクロブロック（LCU）の大きさが、６４×６４とか、１２８×１２８であっても、そのマクロブロック（LCU）より小さい、８×８とか１６×１６といったブロック（コーディングユニット）単位でアクティビティを算出するようにする。
【０３４８】
そして、画像符号化装置が、この、各８×８若しくは１６×１６ブロック単位のアクティビティに基づき、８×８ブロック若しくは１６×１６ブロック単位の量子化パラメータ値をＴｅｓｔＭｏｄｅｌ５の方法に基づき決定するようにする。
【０３４９】
ただし、量子化パラメータは、マクロブロック（LCU）毎に設定するようにする。
【０３５０】
例えば、図２７に示されるように、LCU（マクロブロック）のサイズが６４×６４画素であるとする。このLCUに対して画像符号化装置が、１６×１６のコーディングユニット毎にアクティビティを算出し、量子化パラメータを算出すると、それぞれのコーディングユニット（ブロック）のアクティビティがQP00乃至QP33になるとする。
【０３５１】
AVCの場合、量子化パラメータQPは、図２８に示されるように、例えば、６から１２へといったように、その値が６増えた時に２倍粗い量子化処理が行われるように設計されている。
【０３５２】
また、特に、より低いビットレート、すなわち、より高いQPにおいては、色差信号における劣化が目立ちやすい。そこで、輝度信号に対する量子化パラメータQPYに対して、色差信号に対するデフォルトの量子化パラメータQPCが、予め定義されている。
【０３５３】
ユーザは、画像圧縮情報中に含まれるChromaQPOffsetに関する情報を設定することで、この関係を制御することが可能である。
【０３５４】
これに対して、本実施の形態の場合、画像符号化装置は、第１ステップとして、マクロブロックに対する量子化パラメータQPMBを、以下の式（１９）のように決定する。
【０３５５】
【数３】
2014195319.tif 000006
・・・（１９）
【０３５６】
第２ステップとして、各ブロックの量子化処理を、QP00乃至QP33の値を用いて行う。この結果、各ブロックにおいて、非０（ゼロ）になる係数の位置を、メモリに記憶する。
【０３５７】
第３ステップとして、各ブロックの量子化処理を、QPMBの値を用いて行う。
【０３５８】
第４ステップとして、第３ステップにより得られる非０のうち、第２ステップにおいても非０係数である係数位置の値のみを、符号化情報として、可逆符号化情報に伝送する。
【０３５９】
かかる処理を行うことにより、画像圧縮情報に伝送される量子化パラメータとしては、QPMBのみであるが、それぞれのブロックを、擬似的に、QP00乃至QP33の値を用いて行うことで、適応量子化を実現し、出力となる画像圧縮情報の主観画質を向上させることが可能となる。
【０３６０】
［画像符号化装置］
図２９は、本技術を適用した画像符号化装置の主な構成例を示すブロック図である。図２９に示されるように、この場合の画像符号化装置５００は、図１の画像符号化装置１００と基本的に同様の構成を有し、同様の処理を行う。
【０３６１】
ただし、画像符号化装置５００は、画像符号化装置１００の量子化部１０５、レート制御部１１７、およびサブマクロブロック量子化部１２１の代わりに、レート制御部３１７、コーディングユニット量子化部５０４、および量子化部５０５を有する。
【０３６２】
また、画像符号化装置５００は、図１の画像符号化装置１００が逆量子化部１０８に加えてサブマクロブロック逆量子化部１２２を有するのに対して、逆量子化部１０８のみを有する。つまり、逆量子化処理は、従来のAVC等と同様にLCU（マクロブロック）毎に行われる。これは、この画像符号化装置５００に対応する画像復号装置においても同様である。
【０３６３】
コーディングユニット量子化部５０４は、レート制御部３１７により求められたコーディングユニット毎のアクティビティを用いて、コーディングユニット（例えばSCU）毎に量子化を行う。
【０３６４】
量子化部５０５は、LCU毎の量子化パラメータを求め、それを用いて各コーディングユニットの量子化を行う。そして、量子化部５０５は、コーディングユニット量子化部５０４が求めた各コーディングユニットの、量子化された直交変換係数のうち、非ゼロの係数を、それと同じ位置の、量子化部５０５による量子化処理結果（量子化された直交変換係数）と置き換える。
【０３６５】
この置き換えが行われた結果が、量子化結果として可逆符号化部１０６や逆量子化部１０８に供給される。また、量子化部５０５により算出されたLCU毎の量子化パラメータが、可逆符号化部１０６や逆量子化部１０８に供給される。
【０３６６】
逆量子化部１０８や画像復号装置の逆量子化部（図示せず）は、従来のAVC等の場合と同様に、このLCU毎の量子化パラメータを用いて逆量子化を行う。
【０３６７】
［レート制御部、コーディングユニット量子化部、量子化部の構成］
図３０は、図２９のレート制御部、コーディングユニット量子化部、および量子化部の詳細の構成例を示すブロック図である。
【０３６８】
図３０に示されるように、コーディングユニット量子化部５０４は、コーディングユニット量子化パラメータ決定部５１１、コーディングユニット量子化処理部５１２、および非ゼロ係数位置バッファ５１３を有する。
【０３６９】
コーディングユニット量子化パラメータ決定部５１１は、レート制御部３１７のアクティビティバッファ３２２から供給される、LCUよりも下位層のコーディングユニット（例えばSCU）毎のアクティビティを用いて、LCUよりも下位層のコーディングユニット（例えばSCU）毎に量子化パラメータCU_QPを決定する。コーディングユニット量子化パラメータ決定部５１１は、そのコーディングユニット毎の量子化パラメータCU_QPを、コーディングユニット量子化処理部５１２、および、量子化部５０５のLCU量子化パラメータ決定部５２２に供給する。
【０３７０】
コーディングユニット量子化処理部５１２は、コーディングユニット量子化パラメータ決定部５１１から供給されるコーディングユニット毎の量子化パラメータCU_QPを用いて、量子化部５０５の直交変換係数バッファ５２１から供給される直交変換係数を、LCUよりも下位層のコーディングユニット（例えばSCU）毎に量子化する。コーディングユニット量子化処理部５１２は、その量子化により得られた、コーディングユニット毎の、量子化された直交変換係数のうち、値がゼロでない（非ゼロ係数である）コーディングユニットの位置を非ゼロ係数位置バッファ５１３に供給し、保持させる。
【０３７１】
非ゼロ係数位置バッファ５１３は、所定のタイミングで、保持している、非ゼロ係数の位置を量子化部５０５の係数置き換え部５２４に供給する。
【０３７２】
図３０に示されるように、量子化部５０５は、直交変換係数バッファ５２１、LCU量子化パラメータ決定部５２２、LCU量子化処理部５２３、および係数置き換え部５２４を有する。
【０３７３】
直交変換係数バッファ５２１は、直交変換部１０４から供給される直交変換係数を保持し、所定のタイミングにおいて、保持している直交変換係数をコーディングユニット量子化処理部５１２およびLCU量子化処理部５２３に供給する。
【０３７４】
LCU量子化パラメータ決定部５２２は、上述した式（１９）のように、コーディングユニット量子化パラメータ決定部５１１から供給されるコーディングユニット毎の量子化パラメータCU_QPの、そのLCU内の最小値を、LCU毎の量子化パラメータLCU_QPに決定する。LCU量子化パラメータ決定部５２２は、そのLCU毎の量子化パラメータLCU_QP（処理対象LCU内におけるCU_QPの最小値）をLCU量子化処理部５２３に供給する。
【０３７５】
LCU量子化処理部５２３は、LCU量子化パラメータ決定部５２２から供給されるLCU毎の量子化パラメータLCU_QPを用いて、直交変換係数バッファ５２１から供給される直交変換係数を、LCUよりも下位層のコーディングユニット（例えばSCU）毎に量子化する。LCU量子化処理部５２３は、その量子化により得られた、コーディングユニット毎の、量子化された直交変換係数を係数置き換え部５２４に供給する。
【０３７６】
係数置き換え部５２４は、LCU量子化処理部５２３により量子化された直交変換係数の、値がゼロでない係数（非ゼロ係数）のうち、非ゼロ係数位置バッファ５１３から供給される非ゼロ係数の位置と異なる位置の係数を、ゼロに置き換える。
【０３７７】
つまり、係数置き換え部５２４は、LCUよりも下位層のコーディングユニット毎に決定された量子化パラメータCU_QPを用いる量子化と、LCU毎に決定された量子化パラメータLCU_QPを用いる量子化との両方において、得られる量子化結果の値が非ゼロであった（LCUよりも下位層の）コーディングユニットについてのみ、その量子化結果の値を、量子化された直交変換係数として採用する。これに対して、その他の（LCUよりも下位層の）コーディングユニットについては、係数置き換え部５２４は、量子化された直交変換係数の値を全てゼロとする。
【０３７８】
係数置き換え部５２４は、このように適宜、値の置き換えを行った、量子化された直交変換係数を、LCU毎に決定された量子化パラメータLCU_QPとともに、可逆符号化部１０６および逆量子化部１０８に供給する。
【０３７９】
可逆符号化部１０６は、供給された係数データや量子化パラメータを符号化し、画像符号化装置５００に対応する（画像符号化装置５００により生成された符号化データを復号することができる）画像復号装置に供給させる。その画像復号装置は、従来のAVC等と同様に、画像符号化装置５００から供給されたLCU毎の量子化パラメータLCU_QPを用いて逆量子化を行う。
【０３８０】
逆量子化部１０８も同様に、係数置き換え部５２４から供給されたLCU毎の量子化パラメータLCU_QPを用いて、係数置き換え部５２４から供給された係数データの逆量子化を行う。
【０３８１】
なお、この逆量子化部１０８の構成は、図１０を参照して説明した逆量子化部２０３と基本的に同様の構成を有する。ただし、逆量子化部１０８の場合、逆量子化処理部２５３は、量子化パラメータバッファ２５１から供給される量子化パラメータ（LCU毎の量子化パラメータLCU_QP）を用いて、直交変換係数バッファ２５２から供給される、量子化された直交変換係数を逆量子化する。
【０３８２】
［符号化処理の流れ］
次に、この画像符号化装置５００により実行される符号化処理の流れの例を、図３１のフローチャートを参照して説明する。この場合、符号化処理の各処理は、図７のフローチャートを参照して説明した符号化処理の各処理と、基本的に同様に行われる。
【０３８３】
つまり、図７のステップＳ１０１乃至ステップＳ１０４の各処理と同様に、ステップＳ７０１乃至ステップＳ７０４の各処理が行われる。ただし、図７のステップＳ１０５およびステップＳ１０６の代わりに、ステップＳ７０５の量子化処理が行われる。また、ステップＳ１０６乃至ステップＳ１１７の各処理と同様に、ステップＳ７０６乃至ステップＳ７１６の各処理が行われる。
【０３８４】
［量子化処理の流れ］
次に、図３２のフローチャートを参照して、図３１のステップＳ７０５において実行される量子化処理の流れの例を説明する。
【０３８５】
量子化処理が開始されると、ステップＳ７３１において、アクティビティ算出部３２１は、コーディングユニット毎のアクティビティを算出する。
【０３８６】
ステップＳ７３２において、コーディングユニット量子化パラメータ決定部５１１は、LCUよりも下位層のコーディングユニット単位での量子化パラメータCU_QPを決定する。
【０３８７】
ステップＳ７３３において、LCU量子化パラメータ決定部５２２は、LCU単位での量子化パラメータLCU_QPを決定する。
【０３８８】
ステップＳ７３４において、コーディングユニット量子化処理部５１２は、LCUよりも下位層のコーディングユニット単位の量子化パラメータCU_QPを用いて、量子化を行う。
【０３８９】
ステップＳ７３５において、非ゼロ係数位置バッファ５１３は、ステップＳ７３４の量子化処理により生成された非ゼロ係数の位置を保持する。
【０３９０】
ステップＳ７３６において、LCU量子化処理部５２３は、LCU単位での量子化パラメータLCU_QPを用いて、量子化を行う。
【０３９１】
ステップＳ７３７において、係数置き換え部５２４は、ステップＳ７３５の処理により保持された非ゼロ係数の位置と異なる位置の、LCUよりも下位層のコーディングユニットの、量子化された直交変換係数の値をゼロに置き換える。
【０３９２】
置き換えが終了すると、量子化処理が終了され、図３１のステップＳ７０５に処理を戻し、ステップＳ７０６以降の処理が実行される。
【０３９３】
以上のように、拡張されたマクロブロックを用いた符号化方式に基づく画像圧縮情報を出力とする画像情報符号化装置並びに入力とする画像情報復号化装置において、LCUよりも下位層のコードユニット（サブマクロブロック）単位での量子化処理を擬似的に行うことにより、単一LCU（マクロブロック）内に、フラットなエリアとテクスチャエリアが混在する場合でも、それぞれの特性に基づいた適応量子化を行い、主観画質を向上させることができる。
【０３９４】
＜６．第６の実施の形態＞
［多視画像点符号化・多視点画像復号への適用］
上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図３３は、多視点画像符号化方式の一例を示す。
【０３９５】
図３３に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
【０３９６】
図３３のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、量子化パラメータの差分をとることもできる：
(1)base-view：
(1-1) dQP(base view)＝Current_CU_QP(base view)−LCU_QP(base view)
(1-2) dQP(base view)＝Current_CU_QP(base view)−Previsous_CU_QP(base view)
(1-3) dQP(base view)＝Current_CU_QP(base view)−Slice_QP(base view)
(2)non-base-view：
(2-1) dQP(non-base view)＝Current_CU_QP(non-base view)−LCU_QP(non-base view)
(2-2) dQP(non-base view)＝CurrentQP(non-base view)−PrevisousQP(non-base view)
(2-3) dQP(non-base view)＝Current_CU_QP(non-base view)−Slice_QP(non-base view)
【０３９７】
多視点画像符号化を行う場合、各ビュー(異なるビュー)において、量子化パラメータの差分をとることもできる：
(3)base-view/ non-base view：
(3-1) dQP(inter-view)＝Slice_QP(base view)−Slice_QP(non-base view)
(3-2) dQP(inter-view)＝LCU_QP(base view)−LCU_QP(non-base view)
(4)non-base view / non-base view ：
(4-1) dQP(inter-view)＝Slice_QP(non-base view i)−Slice_QP(non-base view j)
(4-2) dQP(inter-view)＝LCU_QP(non-base view i)−LCU_QP(non-base view j)
【０３９８】
この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースビューでは、ベースビューとノンベースビューとの間においてスライスレベルで量子化パラメータの差分をとる手法(3-1と2-3とを組み合わせる)、ベースビューとノンベースビューとの間においてLCUレベルで量子化パラメータの差分をとる手法(3-2と2-1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、多視点符号化を行った場合においても、符号化効率を向上させることができる。
【０３９９】
上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。
【０４００】
［多視点画像符号化装置］
図３４は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図３４に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
【０４０１】
符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
【０４０２】
この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１００（図１）、画像符号化装置３００（図１８）、または画像符号化装置５００（図２９）を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１が設定する量子化パラメータと符号化部６０２が設定する量子化パラメータとの差分値を設定して、伝送させる。
【０４０３】
［多視点画像復号装置］
図３５は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図３５に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
【０４０４】
逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
【０４０５】
この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置２００（図９）、若しくは、画像復号装置４００（図２１）を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１が設定する量子化パラメータと符号化部６０２が設定する量子化パラメータとの差分値から量子化パラメータ設定して、逆量子化を行う。
【０４０６】
＜７．第７の実施の形態＞
［階層画像点符号化・階層画像復号への適用］
上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図３６は、多視点画像符号化方式の一例を示す。
【０４０７】
図３６に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。
【０４０８】
図３６のような階層画像符号化(空間スケーラビリティ)を行う場合、各レイヤ(同一レイヤ)において、量子化パラメータの差分をとることもできる：
(1)base-layer：
(1-1)dQP(base layer)＝Current_CU_QP(base layer)−LCU_QP(base layer)
(1-2)dQP(base layer)＝Current_CU_QP(base layer)−Previsous_CU_QP(base layer)
(1-3)dQP(base layer)＝Current_CU_QP(base layer)−Slice_QP(base layer)
(2)non-base-layer：
(2-1)dQP(non-base layer)＝Current_CU_QP(non-base layer)−LCU_QP(non-base layer)
(2-2)dQP(non-base layer)＝CurrentQP(non-base layer)−PrevisousQP(non-base layer)
(2-3)dQP(non-base layer)＝Current_CU_QP(non-base layer)−Slice_QP(non-base layer)
【０４０９】
階層符号化を行う場合、各レイヤ(異なるレイヤ)において、量子化パラメータの差分をとることもできる：
(3)base-layer/ non-base layer：
(3-1)dQP(inter-layer)＝Slice_QP(base layer)−Slice_QP(non-base layer)
(3-2)dQP(inter-layer)＝LCU_QP(base layer)−LCU_QP(non-base layer)
(4)non-base layer / non-base layer ：
(4-1)dQP(inter-layer)＝Slice_QP(non-base layer i)−Slice_QP(non-base layer j)
(4-2)dQP(inter-layer)＝LCU_QP(non-base layer i)−LCU_QP(non-base layer j)
【０４１０】
この場合、上記(1)乃至(4)を組み合わせて用いることもできる。たとえば、ノンベースレイヤでは、ベースレイヤとノンベースレイヤとの間においてスライスレベルで量子化パラメータの差分をとる手法(3-1と2-3とを組み合わせる)、ベースレイヤとノンベースレイヤとの間においてLCUレベルで量子化パラメータの差分をとる手法(3-2と2-1とを組み合わせる)、が考えられる。このように、差分を繰り返して適用することにより、階層符号化を行った場合においても、符号化効率を向上させることができる。
【０４１１】
上述した手法と同様に、上記の各dQPに対して、値が0でないdQPが存在するか否かを識別するフラグをセットすることもできる。
【０４１２】
［階層画像符号化装置］
図３７は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３７に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
【０４１３】
符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
【０４１４】
この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１００（図１）、画像符号化装置３００（図１８）、または画像符号化装置５００（図２９）を適用することができる。この場合、階層画像符号化装置６００は、符号化部６２１が設定する量子化パラメータと符号化部６２２が設定する量子化パラメータとの差分値を設定して、伝送させる。
【０４１５】
［階層画像復号装置］
図３８は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３８に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
【０４１６】
逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
【０４１７】
この階層画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置２００（図９）、若しくは、画像復号装置４００（図２１）を適用することができる。この場合、階層画像復号装置６３０は、符号化部６３１が設定する量子化パラメータと符号化部６３２が設定する量子化パラメータとの差分値から量子化パラメータ設定して、逆量子化を行う。
【０４１８】
＜８．第８の実施の形態＞
［コンピュータ］
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、図３９に示されるようなコンピュータとして構成されるようにしてもよい。
【０４１９】
図３９において、パーソナルコンピュータ７００のCPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２に記憶されているプログラム、または記憶部７１３からRAM（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。RAM７０３にはまた、CPU７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４２０】
CPU７０１、ROM７０２、およびRAM７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７１０も接続されている。
【０４２１】
入出力インタフェース７１０には、キーボード、マウスなどよりなる入力部７１１、CRT（Cathode Ray Tube）やLCD（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部７１２、ハードディスクなどより構成される記憶部７１３、モデムなどより構成される通信部７１４が接続されている。通信部７１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０４２２】
入出力インタフェース７１０にはまた、必要に応じてドライブ７１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１３にインストールされる。
【０４２３】
上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０４２４】
この記録媒体は、例えば、図３９に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini Disc）を含む）、若しくは半導体メモリなどよりなるリムーバブルメディア７２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM７０２や、記憶部７１３に含まれるハードディスクなどで構成される。
【０４２５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０４２６】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４２７】
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表すものである。
【０４２８】
また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。つまり、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０４２９】
上述した実施形態に係る画像符号化装置１００（図１）、画像符号化装置３００（図１８）、画像符号化装置５００（図２９）、多視点画像符号化装置６００（図３４）、階層画像符号化装置６２０（図３７）、画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、並びに、階層画像復号装置６３０（図３８）は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０４３０】
［テレビジョン装置］
図４０は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０４３１】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０４３２】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。
また、デマルチプレクサ９０３は、符号化ビットストリームからEPG（Electronic Program Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０４３３】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０４３４】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのGUI（Graphical User Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０４３５】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はOELD（Organic ElectroLuminescence Display）（有機ELディスプレイ）など）の映像面上に映像又は画像を表示する。
【０４３６】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてD/A変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０４３７】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０４３８】
制御部９１０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、プログラムデータ、EPGデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０４３９】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０４４０】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０４４１】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、または階層画像復号装置６３０（図３８）の機能を有する。従って、テレビジョン装置９００で復号される映像について、符号化側より供給されるsubmb_qp_delta等の量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出し、逆量子化を行う。したがって、画像の内容により適した逆量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させることができる。
【０４４２】
［携帯電話機］
図４１は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０４４３】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０４４４】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０４４５】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをA/D変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びD/A変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０４４６】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０４４７】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、RAM又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０４４８】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０４４９】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声
ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０４５０】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１００（図１）、画像符号化装置３００（図１８）、画像符号化装置５００（図２９）、多視点画像符号化装置６００（図３４）、または階層画像符号化装置６２０（図３７）の機能と、画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、または階層画像復号装置６３０（図３８）の機能とを有する。従って、携帯電話機９２０で符号化及び復号される映像について、サブマクロブロック毎に量子化値を算出し、そのサブマクロブロック毎の量子化値を用いて直交変換係数の量子化を行う。このようにすることにより、画像の内容により適した量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させるように符号化データを生成することができる。また、符号化側より供給されるsubmb_qp_delta等の量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出し、逆量子化を行う。したがって、画像の内容により適した逆量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させることができる。
【０４５１】
また、以上においては携帯電話機９２０として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機９２０と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機９２０の場合と同様に、本技術を適用した画像符号化装置および画像復号装置を適用することができる。
【０４５２】
［記録再生装置］
図４２は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０４５３】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、HDD（Hard Disk Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、OSD（On-Screen Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０４５４】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０４５５】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、IEEE1394インタフェース、ネットワークインタフェース、USBインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０４５６】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０４５７】
HDD９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、HDD９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０４５８】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばDVDディスク（DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等）又はBlu-ray（登録商標）ディスクなどであってよい。
【０４５９】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、HDD９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０４６０】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをOSD９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０４６１】
OSD９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、OSD９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのGUIの画像を重畳してもよい。
【０４６２】
制御部９４９は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０４６３】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０４６４】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１００（図１）、画像符号化装置３００（図１８）、画像符号化装置５００（図２９）、多視点画像符号化装置６００（図３４）、または階層画像符号化装置６２０（図３７）の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、または階層画像復号装置６３０（図３８）の機能を有する。従って、記録再生装置９４０で符号化及び復号される映像について、サブマクロブロック毎に量子化値を算出し、そのサブマクロブロック毎の量子化値を用いて直交変換係数の量子化を行う。このようにすることにより、画像の内容により適した量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させるように符号化データを生成することができる。また、符号化側より供給されるsubmb_qp_delta等の量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出し、逆量子化を行う。したがって、画像の内容により適した逆量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させることができる。
【０４６５】
［撮像装置］
図４３は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０４６６】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０４６７】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、OSD９６９、及び制御部９７０を相互に接続する。
【０４６８】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、CCD又はCMOSなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０４６９】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０４７０】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９
６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０４７１】
OSD９６９は、例えばメニュー、ボタン又はカーソルなどのGUIの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０４７２】
外部インタフェース９６６は、例えばUSB入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得
る。さらに、外部インタフェース９６６は、LAN又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０４７３】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はSSD（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
【０４７４】
制御部９７０は、CPUなどのプロセッサ、並びにRAM及びROMなどのメモリを有する。メモリは、CPUにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にCPUにより読み込まれ、実行される。CPUは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０４７５】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０４７６】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１００（図１）、画像符号化装置３００（図１８）、画像符号化装置５００（図２９）、多視点画像符号化装置６００（図３４）、または階層画像符号化装置６２０（図３７）の機能と、画像復号装置２００（図９）、画像復号装置４００（図２１）、多視点画像復号装置６１０（図３５）、または階層画像復号装置６３０（図３８）の機能を有する。従って、撮像装置９６０で符号化及び復号される映像について、サブマクロブロック毎に量子化値を算出し、そのサブマクロブロック毎の量子化値を用いて直交変換係数の量子化を行う。このようにすることにより、画像の内容により適した量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させるように符号化データを生成することができる。また、符号化側より供給されるsubmb_qp_delta等の量子化パラメータを用いて、サブマクロブロック毎に量子化値を算出し、逆量子化を行う。したがって、画像の内容により適した逆量子化処理を行うことができ、復号画像の主観画質の劣化を抑制させることができる。
【０４７７】
もちろん、本技術を適用した画像符号化装置および画像復号装置は、上述した装置以外の装置やシステムにも適用可能である。
【０４７８】
なお、本明細書では、量子化パラメータが、符号化側から復号側へ伝送される例について説明した。量子化行列パラメータを伝送する手法は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０４７９】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【符号の説明】
【０４８０】
１００  画像符号化装置，  １０５  量子化部，  １０８  逆量子化部，  １１７  レート制御部，  １２１  サブマクロブロック量子化部，  １２２  サブマクロブロック逆量子化部，  １５１  サブマクロブロックアクティビティバッファ，  １５２  量子化パラメータ算出部，  １５３  量子化処理部，  ２００  画像復号装置，  ２０３  逆量子化部，  ２２１  サブマクロブロック逆量子化部，  ２５１  量子化パラメータバッファ，  ２５２  直交変換係数バッファ，  ２５３  逆量子化処理部
【図１】
2014195319.tif 000007
【図２】
2014195319.tif 000008
【図３】
2014195319.tif 000009
【図４】
2014195319.tif 000010
【図５】
2014195319.tif 000011
【図６】
2014195319.tif 000012
【図７】
2014195319.tif 000013
【図８】
2014195319.tif 000014
【図９】
2014195319.tif 000015
【図１０】
2014195319.tif 000016
【図１１】
2014195319.tif 000017
【図１２】
2014195319.tif 000018
【図１３】
2014195319.tif 000019
【図１４】
2014195319.tif 000020
【図１５】
2014195319.tif 000021
【図１６】
2014195319.tif 000022
【図１７】
2014195319.tif 000023
【図１８】
2014195319.tif 000024
【図１９】
2014195319.tif 000025
【図２０】
2014195319.tif 000026
【図２１】
2014195319.tif 000027
【図２２】
2014195319.tif 000028
【図２３】
2014195319.tif 000029
【図２４】
2014195319.tif 000030
【図２５】
2014195319.tif 000031
【図２６】
2014195319.tif 000032
【図２７】
2014195319.tif 000033
【図２８】
2014195319.tif 000034
【図２９】
2014195319.tif 000035
【図３０】
2014195319.tif 000036
【図３１】
2014195319.tif 000037
【図３２】
2014195319.tif 000038
【図３３】
2014195319.tif 000039
【図３４】
2014195319.tif 000040
【図３５】
2014195319.tif 000041
【図３６】
2014195319.tif 000042
【図３７】
2014195319.tif 000043
【図３８】
2014195319.tif 000044
【図３９】
2014195319.tif 000045
【図４０】
2014195319.tif 000046
【図４１】
2014195319.tif 000047
【図４２】
2014195319.tif 000048
【図４３】
2014195319.tif 000049