(57)【要約】【課題】使用される直交変換方式に応じて適応的に量子化行列を切り替えることを可能とする。【解決手段】復号される画像の変換係数データを逆直交変換する際に選択される直交変換方式に応じて、前記変換係数データを逆量子化する際に用いられる量子化行列を各変換単位に設定する設定部と、前記設定部により設定された前記量子化行列を用いて、前記変換係数データを逆量子化する逆量子化部と、前記選択される直交変換方式を用いて、前記逆量子化部により逆量子化された前記変換係数データを逆直交変換する変換部と、を備える画像処理装置を提供する。【選択図】図１７
2012238927.tif 000002
【特許請求の範囲】
【請求項１】
復号される画像の変換係数データを逆直交変換する際に選択される直交変換方式に応じて、前記変換係数データを逆量子化する際に用いられる量子化行列を各変換単位に設定する設定部と、
前記設定部により設定された前記量子化行列を用いて、前記変換係数データを逆量子化する逆量子化部と、
前記選択される直交変換方式を用いて、前記逆量子化部により逆量子化された前記変換係数データを逆直交変換する変換部と、
を備える画像処理装置。
【請求項２】
符号化ストリームのパラメータセット又はヘッダ内での定義に基づいて、前記量子化行列を生成する生成部、
をさらに備える、請求項１に記載の画像処理装置。
【請求項３】
選択される直交変換方式の候補は、第１の直交変換方式及び前記第１の直交変換方式とは異なる第２の直交変換方式を含み、
前記第１の直交変換方式に対応する量子化行列は、符号化ストリームのパラメータセット又はヘッダ内で定義され、
前記生成部は、前記第２の直交変換方式に対応する量子化行列を前記第１の直交変換方式に対応する量子化行列から生成する、
請求項２に記載の画像処理装置。
【請求項４】
前記第１の直交変換方式は、離散コサイン変換（ＤＣＴ）方式であり、
前記第２の直交変換方式は、離散サイン変換（ＤＳＴ）方式である、
請求項３に記載の画像処理装置。
【請求項５】
前記生成部は、前記ＤＣＴ方式に対応する量子化行列の低域から高域にかけての要素値の勾配をより緩やかにするように、前記ＤＣＴ方式に対応する量子化行列から前記ＤＳＴ方式に対応する量子化行列を生成する、請求項４に記載の画像処理装置。
【請求項６】
前記生成部は、前記ＤＣＴ方式に対応する量子化行列の前記勾配を所定の割合で変化させることにより、前記ＤＳＴ方式に対応する量子化行列を生成する、請求項５に記載の画像処理装置。
【請求項７】
前記生成部は、前記ＤＣＴ方式に対応する量子化行列の各要素に要素位置に対応する係数を乗算することにより、前記ＤＳＴ方式に対応する量子化行列を生成する、請求項５に記載の画像処理装置。
【請求項８】
前記生成部は、前記第１の直交変換方式に対応する量子化行列から前記第２の直交変換方式に対応する量子化行列を生成することを示すフラグが符号化ストリームのパラメータセット又はヘッダ内に含まれる場合に、前記第１の直交変換方式に対応する量子化行列から前記第２の直交変換方式に対応する量子化行列を生成する、請求項３に記載の画像処理装置。
【請求項９】
前記生成部は、前記第２の直交変換方式に対応する量子化行列が用いられることを示すフラグが符号化ストリームのパラメータセット又はヘッダ内に含まれる場合に、前記第２の直交変換方式に対応する量子化行列を生成する、請求項３に記載の画像処理装置。
【請求項１０】
前記変換部は、垂直方向の直交変換と水平方向の直交変換とで異なる直交変換方式を選択可能であり、
前記設定部は、前記垂直方向の直交変換について用いられる直交変換方式と前記水平方向の直交変換について用いられる直交変換方式との組合せごとに異なる量子化行列を各変換単位に設定する、
請求項１に記載の画像処理装置。
【請求項１１】
前記垂直方向及び前記水平方向の直交変換についてそれぞれ用いられる２つの直交変換方式が互いに異なる場合に対応する複合変換用の量子化行列を、当該２つの直交変換方式が等しい場合に対応する１つ以上の非複合変換用の量子化行列から生成する生成部、
をさらに備える、請求項１０に記載の画像処理装置。
【請求項１２】
前記複合変換用の量子化行列は、離散コサイン変換（ＤＣＴ）方式と離散サイン変換（ＤＳＴ）方式との組合せに対応する量子化行列であり、
前記１つ以上の非複合変換用の量子化行列は、前記ＤＣＴ方式に対応する量子化行列及び前記ＤＳＴ方式に対応する量子化行列を含む、
請求項１１に記載の画像処理装置。
【請求項１３】
前記生成部は、前記複合変換用の量子化行列を、前記ＤＣＴ方式に対応する量子化行列と前記ＤＳＴ方式に対応する量子化行列との加重平均により生成する、請求項１２に記載の画像処理装置。
【請求項１４】
前記生成部は、符号化ストリームのパラメータセット又はヘッダから、前記加重平均の重みを特定するためのパラメータを取得する、請求項１３に記載の画像処理装置。
【請求項１５】
復号される画像の変換係数データを逆直交変換する際に選択される直交変換方式に応じて、前記変換係数データを逆量子化する際に用いられる量子化行列を各変換単位に設定するステップと、
設定された前記量子化行列を用いて、前記変換係数データを逆量子化するステップと、
前記選択される直交変換方式を用いて、逆量子化された前記変換係数データを逆直交変換するステップと、
を含む画像処理方法。
【請求項１６】
符号化される画像の各変換単位について選択される直交変換方式を用いて、画像データを変換係数データに変換する変換部と、
前記変換部により用いられる直交変換方式に応じて、前記変換係数データを量子化する際に用いられる量子化行列を各変換単位に設定する設定部と、
前記設定部により設定された前記量子化行列を用いて、前記変換係数データを量子化する量子化部と、
を備える画像処理装置。
【請求項１７】
符号化される画像の各変換単位について選択される直交変換方式を用いて、画像データを変換係数データに変換するステップと、
前記画像データの変換の際に用いられる直交変換方式に応じて、前記変換係数データを量子化する際に用いられる量子化行列を各変換単位に設定するステップと、
設定された前記量子化行列を用いて、前記変換係数データを量子化するステップと、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
映像符号化方式の標準仕様の１つであるＨ．２６４／ＡＶＣでは、High  Profile以上のプロファイルにおいて、画像データの量子化の際に、直交変換係数の成分ごとに異なる量子化ステップを用いることができる。直交変換係数の成分ごとの量子化ステップは、直交変換の単位と同等のサイズで定義される量子化行列（スケーリングリストともいう）及び基準のステップ値に基づいて設定され得る。
【０００３】
図２８は、Ｈ．２６４／ＡＶＣにおいて予め定義されている４種類の既定の量子化行列を示している。行列ＳＬ１は、イントラ予測モードの４×４の既定の量子化行列である。行列ＳＬ２は、インター予測モードの４×４の既定の量子化行列である。行列ＳＬ３は、イントラ予測モードの８×８の既定の量子化行列である。行列ＳＬ４は、インター予測モードの８×８の既定の量子化行列である。また、ユーザは、シーケンスパラメータセット又はピクチャパラメータセットにおいて、図２８に示した既定の行列とは異なる独自の量子化行列を定義することができる。なお、量子化行列の指定が無い場合には、全ての成分について等しい量子化ステップを有するフラットな量子化行列が使用され得る。
【０００４】
Ｈ．２６４／ＡＶＣに続く次世代の映像符号化方式として標準化が進められているＨＥＶＣ（High  Efficiency  Video  Coding）では、従来のマクロブロックに相当する符号化単位（ＣＵ：Coding  Unit）という概念が導入されている（下記非特許文献１参照）。さらに、１つの符号化単位は、１つ以上の直交変換の単位、即ち１つ以上の変換単位（Transform  Unit：ＴＵ）に分割され得る。そして、各変換単位について、画像データから変換係数データへの直交変換、及び変換係数データの量子化が行われる。
【０００５】
下記非特許文献２は、４×４のイントラ予測モードにおいて、直交変換の際に離散コサイン変換（ＤＣＴ：Discrete  Cosine  Transform）の代わりに離散サイン変換（ＤＳＴ：Discrete  Sine  Transform）を用いることで、符号化効率が向上する場合があることを述べている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】JCTVC-B205,  “Test  Model  under  Consideration”,  Joint  Collaborative  Team  on  Video  Coding  (JCT-VC)  of  ITU-T  SG16  WP3  and  ISO/IEC  JTC1/SC29/WG11  2nd  Meeting:  Geneva,  CH,  21-28  July,  2010
【非特許文献２】JCTVC-E125,  “CE7:  Mode-dependent  DCT/DST  without  4*4  full  matrix  multiplication  for  intra  prediction”,  ITU-T  SG16  WP3  and  ISO/IEC  JTC1/SC29/WG11  5th  Meeting:  Geneva,  CH,  16-23  March,  2011
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、画像データの直交変換の際に使用される直交変換方式に依存して、導かれる変換係数データの傾向は異なる。例えば、ＤＳＴ方式では、ＤＣＴ方式と比較して、より高域の変換係数が生じ易いことが知られている。従って、上記非特許文献２の提案のように複数の直交変換方式が使用され得る場合には、量子化による画質の劣化を防ぐ観点から、使用される直交変換方式に応じて適応的に量子化行列を切り替えることのできる仕組みが提供されることが望ましい。
【課題を解決するための手段】
【０００８】
本開示によれば、復号される画像の変換係数データを逆直交変換する際に選択される直交変換方式に応じて、前記変換係数データを逆量子化する際に用いられる量子化行列を各変換単位に設定する設定部と、前記設定部により設定された前記量子化行列を用いて、前記変換係数データを逆量子化する逆量子化部と、前記選択される直交変換方式を用いて、前記逆量子化部により逆量子化された前記変換係数データを逆直交変換する変換部と、を備える画像処理装置が提供される。
【０００９】
上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
【００１０】
また、本開示によれば、復号される画像の変換係数データを逆直交変換する際に選択される直交変換方式に応じて、前記変換係数データを逆量子化する際に用いられる量子化行列を各変換単位に設定するステップと、設定された前記量子化行列を用いて、前記変換係数データを逆量子化するステップと、前記選択される直交変換方式を用いて、逆量子化された前記変換係数データを逆直交変換するステップと、を含む画像処理方法が提供される。
【００１１】
また、本開示によれば、符号化される画像の各変換単位について選択される直交変換方式を用いて、画像データを変換係数データに変換する変換部と、前記変換部により用いられる直交変換方式に応じて、前記変換係数データを量子化する際に用いられる量子化行列を各変換単位に設定する設定部と、前記設定部により設定された前記量子化行列を用いて、前記変換係数データを量子化する量子化部と、を備える画像処理装置が提供される。
【００１２】
上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
【００１３】
また、本開示によれば、符号化される画像の各変換単位について選択される直交変換方式を用いて、画像データを変換係数データに変換するステップと、前記画像データの変換の際に用いられる直交変換方式に応じて、前記変換係数データを量子化する際に用いられる量子化行列を各変換単位に設定するステップと、設定された前記量子化行列を用いて、前記変換係数データを量子化するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００１４】
以上説明したように、本開示によれば、使用される直交変換方式に応じて適応的に量子化行列を切り替えることが可能となる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。
【図２】図１に示したシンタックス処理部の詳細な構成の一例を示すブロック図である。
【図３】図１に示した直交変換部の詳細な構成の一例を示すブロック図である。
【図４】一実施形態において選択され得る直交変換方式の基底のパターンを示す説明図である。
【図５】図１に示した量子化部の詳細な構成の一例を示すブロック図である。
【図６】量子化行列の生成のためのパラメータの一例を示す説明図である。
【図７】勾配演算モードでのＤＳＴ用の量子化行列の生成について説明するための説明図である。
【図８】係数テーブルモードでのＤＳＴ用の量子化行列の生成について説明するための説明図である。
【図９】ブレンド演算モードでの複合変換用の量子化行列の生成について説明するための説明図である。
【図１０】パラメータのシンタックスを表現する例示的な擬似コードの第１の部分を示す説明図である。
【図１１】パラメータのシンタックスを表現する例示的な擬似コードの第２の部分を示す説明図である。
【図１２】パラメータのシンタックスを表現する例示的な擬似コードの第３の部分を示す説明図である。
【図１３】パラメータのシンタックスを表現する例示的な擬似コードの第４の部分を示す説明図である。
【図１４】パラメータのシンタックスを表現する例示的な擬似コードの第５の部分を示す説明図である。
【図１５】一実施形態に係る量子化処理の流れの一例を示すフローチャートである。
【図１６】一変形例に係る量子化処理の流れの一例を示すフローチャートである。
【図１７】一実施形態に係る画像復号装置の構成の一例を示すブロック図である。
【図１８】図１７に示したシンタックス処理部の詳細な構成の一例を示すブロック図である。
【図１９】図１７に示した逆量子化部の詳細な構成の一例を示すブロック図である。
【図２０】図１７に示した逆直交変換部の詳細な構成の一例を示すブロック図である。
【図２１】一実施形態に係る量子化行列生成処理の流れの一例を示すフローチャートである。
【図２２】図２１に示したＤＳＴ用の量子化行列生成処理の流れの一例を示すフローチャートである。
【図２３】図２１に示した複合変換用の量子化行列生成処理の流れの一例を示すフローチャートである。
【図２４】テレビジョン装置の概略的な構成の一例を示すブロック図である。
【図２５】携帯電話機の概略的な構成の一例を示すブロック図である。
【図２６】記録再生装置の概略的な構成の一例を示すブロック図である。
【図２７】撮像装置の概略的な構成の一例を示すブロック図である。
【図２８】Ｈ．２６４／ＡＶＣにおいて予め定義されている既定の量子化行列を示す説明図である。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１７】
また、以下の順序で説明を行う。
１．一実施形態に係る画像符号化装置の構成例
１−１．全体的な構成例
１−２．シンタックス処理部の構成例
１−３．直交変換部の構成例
１−４．量子化部の構成例
１−５．パラメータ構成例
１−６．ＤＳＴ用の量子化行列の生成
１−７．複合変換用の量子化行列の生成
２．シンタックスの例
３．一実施形態に係る符号化時の処理の流れ
４．一実施形態に係る画像復号装置の構成例
４−１．全体的な構成例
４−２．シンタックス処理部の構成例
４−３．逆量子化部の構成例
４−４．逆直交変換部の構成例
５．一実施形態に係る復号時の処理の流れ
６．応用例
７．まとめ
【００１８】
＜１．一実施形態に係る画像符号化装置の構成例＞
本節では、一実施形態に係る画像符号化装置の構成例について説明する。
【００１９】
［１−１．全体的な構成例］
図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue  to  Digital）変換部１１、並べ替えバッファ１２、シンタックス処理部１３、減算部１４、直交変換部１５、量子化部１６、可逆符号化部１７、蓄積バッファ１８、レート制御部１９、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４、フレームメモリ２５、セレクタ２６、イントラ予測部３０、動き探索部４０、及びモード選択部５０を備える。
【００２０】
Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。
【００２１】
並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group  of  Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データをシンタックス処理部１３へ出力する。
【００２２】
並べ替えバッファ１２からシンタックス処理部１３へ出力される画像データは、ＮＡＬ（Network  Abstraction  Layer：ネットワーク抽象レイヤ）ユニットという単位でビットストリームへマッピングされる。画像データのストリームは、１つ以上のシーケンスを含む。シーケンスの先頭のピクチャは、ＩＤＲ（Instantaneous  Decoding  Refresh）ピクチャと呼ばれる。各シーケンスは１つ以上のピクチャを含み、さらに各ピクチャは１つ以上のスライスを含む。Ｈ．２６４／ＡＶＣ及びＨＥＶＣでは、これらスライスが映像の符号化及び復号の基本的な単位である。各スライスのデータは、ＶＣＬ（Video  Coding  Layer：ビデオ符号化レイヤ）  ＮＡＬユニットとして認識される。
【００２３】
シンタックス処理部１３は、並べ替えバッファ１２から入力される画像データのストリーム内のＮＡＬユニットを順次認識し、ヘッダ情報を格納する非ＶＣＬ  ＮＡＬユニットをストリームに挿入する。シンタックス処理部１３がストリームに挿入する非ＶＣＬ  ＮＡＬユニットは、シーケンスパラメータセット（ＳＰＳ：Sequence  Parameter  Set）及びピクチャパラメータセット（ＰＰＳ：Picture  Parameter  Set）を含む。なお、ＳＰＳ及びＰＰＳとは異なる新たなパラメータセットが定義されてもよい。例えば、シンタックス処理部１３は、後に説明する量子化行列に関連するパラメータのみを格納する量子化行列パラメータセット（ＱＭＰＳ：Quantization  Matrix  Parameter  Set）をストリームに挿入してもよい。また、シンタックス処理部１３は、スライスの先頭にスライスヘッダ（ＳＨ：Slice  Header）を付加する。そして、シンタックス処理部１３は、ＶＣＬ  ＮＡＬユニット及び非ＶＣＬ  ＮＡＬユニットを含む画像データのストリームを、減算部１４、イントラ予測部３０及び動き探索部４０へ出力する。シンタックス処理部１３の詳細な構成について、後にさらに説明する。
【００２４】
減算部１４には、シンタックス処理部１３から入力される画像データ、及び後に説明するモード選択部５０により選択される予測画像データが供給される。減算部１４は、シンタックス処理部１３から入力される画像データとモード選択部５０から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１５へ出力する。
【００２５】
直交変換部１５は、符号化される画像の各変換単位について、複数の直交変換方式の候補から選択される直交変換方式を用いて画像データを変換係数データに変換する。直交変換部１５による直交変換の対象となる画像データは、減算部１４から入力される予測誤差データである。複数の直交変換方式の候補は、例えば、離散コサイン変換（ＤＣＴ）方式、離散サイン変換（ＤＳＴ）方式、アダマール変換方式及びカルーネン・レーベ変換方式、並びにこれらの組合せなどを含んでよい。なお、本明細書の以下の説明では、ＤＣＴ方式及びＤＳＴ方式、並びにこれら２つの方式の組合せ（以下、複合変換方式という）が直交変換部１５により選択され得るものとする。直交変換部１５は、直交変換処理を通じて予測誤差データから変換された変換係数データを量子化部１６へ出力する。直交変換部１５の詳細な構成について、後にさらに説明する。
【００２６】
量子化部１６は、直交変換部１５から入力される変換係数データを量子化行列を用いて量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１７及び逆量子化部２１へ出力する。量子化データのビットレートは、レート制御部１９からのレート制御信号に基づいて制御される。量子化部１６により使用される量子化行列は、ＳＰＳ若しくはＰＰＳ、又はその他のパラメータセット内で定義され、スライスごとにスライスヘッダ内で指定され得る。量子化行列が指定されない場合には、全ての成分について等しい量子化ステップを有するフラットな量子化行列が使用される。量子化部１６の詳細な構成について、後にさらに説明する。
【００２７】
可逆符号化部１７は、量子化部１６から入力される量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１７による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１７は、モード選択部５０から入力されるイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ内に多重化する。そして、可逆符号化部１７は、生成した符号化ストリームを蓄積バッファ１８へ出力する。
【００２８】
蓄積バッファ１８は、可逆符号化部１７から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１８は、蓄積した符号化ストリームを、伝送路の帯域に応じたレートで、図示しない伝送部（例えば、通信インタフェース又は周辺機器との接続インタフェースなど）へ出力する。
【００２９】
レート制御部１９は、蓄積バッファ１８の空き容量を監視する。そして、レート制御部１９は、蓄積バッファ１８の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１６へ出力する。例えば、レート制御部１９は、蓄積バッファ１８の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１９は、蓄積バッファ１８の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
【００３０】
逆量子化部２１は、量子化部１６から入力される量子化データについて、量子化部１６による量子化処理の際に設定されたものと同じ量子化行列を用いて、逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
【００３１】
逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。逆直交変換部２２により使用される直交変換方式は、直交変換部１５による直交変換処理の際に選択された方式と等しい。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
【００３２】
加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとモード選択部５０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４及びフレームメモリ２５へ出力する。
【００３３】
デブロックフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４は、加算部２３から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データをフレームメモリ２５へ出力する。
【００３４】
フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【００３５】
セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部４０に供給する。
【００３６】
イントラ予測部３０は、シンタックス処理部１３から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部３０は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。そして、イントラ予測部３０は、予測画像データ、選択した最適なイントラ予測モードなどを含むイントラ予測に関する情報、及びコスト関数値を、モード選択部５０へ出力する。イントラ予測に関する情報は、イントラ予測における最適な予測方向を表す情報を含み得る。
【００３７】
動き探索部４０は、シンタックス処理部１３から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部４０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部４０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部４０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部４０は、予測画像データ、選択した最適な予測モードなどを含むインター予測に関する情報、及びコスト関数値を、モード選択部５０へ出力する。
【００３８】
モード選択部５０は、イントラ予測部３０から入力されるイントラ予測に関するコスト関数値と動き探索部４０から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部５０は、イントラ予測及びインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部５０は、イントラ予測を選択した場合には、イントラ予測に関する情報を直交変換部１５及び可逆符号化部１７へ出力すると共に、予測画像データを減算部１４及び加算部２３へ出力する。また、モード選択部５０は、インター予測を選択した場合には、インター予測に関する上述した情報を可逆符号化部１７へ出力すると共に、予測画像データを減算部１４及び加算部２３へ出力する。
【００３９】
［１−２．シンタックス処理部の構成例］
図２は、図１に示した画像符号化装置１０のシンタックス処理部１３の詳細な構成の一例を示すブロック図である。図２を参照すると、シンタックス処理部１３は、設定保持部１３２、パラメータ生成部１３４及び挿入部１３６を有する。
【００４０】
（１）設定保持部
設定保持部１３２は、画像符号化装置１０による符号化処理のために使用される様々な設定を保持する。例えば、設定保持部１３２は、画像データの各シーケンスのプロファイル、各ピクチャの符号化モード、ＧＯＰ構造に関するデータ、並びに符号化単位及び変換単位の設定などを保持する。また、本実施形態において、設定保持部１３２は、量子化部１６（及び逆量子化部２１）により使用される量子化行列についての設定を保持する。これら設定は、典型的には、オフラインでの画像の解析に基づいて予め決定され得る。
【００４１】
（２）パラメータ生成部
パラメータ生成部１３４は、設定保持部１３２により保持されている設定を定義するパラメータを生成し、生成したパラメータを挿入部１３６へ出力する。
【００４２】
例えば、本実施形態において、パラメータ生成部１３４は、量子化部１６により使用され得る量子化行列を生成するための量子化行列パラメータを生成する。量子化部１６により使用され得る量子化行列は、直交変換部１５により選択され得る直交変換方式の候補の各々に対応する量子化行列を含む。パラメータ生成部１３４により生成される量子化行列パラメータの一例について、後にさらに説明する。
【００４３】
（３）挿入部
挿入部１３６は、パラメータ生成部１３４により生成されるパラメータ群をそれぞれ含むＳＰＳ、ＰＰＳ及びスライスヘッダなどのヘッダ情報を、並べ替えバッファ１２から入力される画像データのストリームに挿入する。挿入部１３６により画像データのストリームに挿入されるヘッダ情報には、パラメータ生成部１３４により生成される量子化行列パラメータが含まれる。そして、挿入部１３６は、ヘッダ情報の挿入された画像データのストリームを、減算部１４、イントラ予測部３０及び動き探索部４０へ出力する。
【００４４】
［１−３．直交変換部の構成例］
図３は、図１に示した画像符号化装置１０の直交変換部１５の詳細な構成の一例を示すブロック図である。図３を参照すると、直交変換部１５は、変換方式選択部１５２及び直交変換演算部１５４を有する。
【００４５】
（１）変換方式選択部
変換方式選択部１５２は、複数の直交変換方式の候補から、各変換単位の予測誤差データの直交変換のために使用すべき直交変換方式を選択する。例えば、Ｈ．２６４／ＡＶＣでは、予測誤差データの直交変換のために使用される直交変換方式は、ＤＣＴ方式である。これに対し、本実施形態において、変換方式選択部１５２は、上記非特許文献２において提案されている考え方を応用し、以下の４通りの直交変換方式を選択可能である：
ａ）ＤＣＴ方式
ｂ）ＤＳＴ方式
ｃ）複合変換方式（ＤＳＴ＿ＤＣＴ）
ｄ）複合変換方式（ＤＣＴ＿ＤＳＴ）
このうち、ａ）ＤＣＴ方式は、Ｈ．２６４／ＡＶＣなどで通常使用される直交変換方式であり、垂直方向及び水平方向の双方についてＤＣＴが行われる。ｂ）ＤＳＴ方式では、垂直方向及び水平方向の双方についてＤＳＴが行われる。ｃ）ＤＳＴ＿ＤＣＴ方式では、垂直方向の周波数成分がＤＳＴにより抽出され、水平方向の周波数成分がＤＣＴにより抽出される。ｄ）ＤＣＴ＿ＤＳＴ方式では、垂直方向の周波数成分がＤＣＴにより抽出され、水平方向の周波数成分がＤＳＴにより抽出される。即ち、本実施形態において、変換方式選択部１５２は、垂直方向の直交変換と水平方向の直交変換とで異なる直交変換方式を選択可能である。
【００４６】
図４は、変換方式選択部１５２により選択可能な上述した４つの直交変換方式の基底のパターンを概念的に示す説明図である。図４を参照すると、左上にａ）ＤＣＴ方式、右下にｂ）ＤＳＴ方式、右上にｃ）ＤＳＴ＿ＤＣＴ方式、左下にｄ）ＤＣＴ＿ＤＳＴ方式の基底のパターンの一例がそれぞれ示されている。基底の各パターンにおいて帯域は濃淡の変化で示されており、各パターンの左上から右下に向けて帯域は低域から高域へ変化する。図４から理解される点の１つは、ＤＣＴ方式以外の３つの方式において、左上端の要素が完全な直流（ＤＣ）成分ではないことである。従って、垂直方向及び水平方向の少なくとも一方についてＤＳＴが行われる場合には、両方向についてＤＣＴが行われる場合と比較して、ＤＳＴが行われる方向において高周波成分に有意な変換係数が現れやすいと言える。また、いずれの方向についてＤＳＴが行われるかによって、直交変換により導かれる変換係数データの傾向は異なる。
【００４７】
変換方式選択部１５２による直交変換方式の選択は、上記非特許文献２に記載された手法に従って行われてよい。その場合、変換方式選択部１５２は、モード選択部５０により選択される予測手法（イントラ予測／インター予測）、予測単位のサイズ及び予測方向に基づいて、各方向について直交変換方式を選択する。例えば、変換方式選択部１５２は、インター予測の場合又は８×８以上のイントラ予測の場合には、ＤＣＴ方式を選択する。一方、変換方式選択部１５２は、４×４のイントラ予測の場合には、イントラ予測の予測方向に応じて直交変換方式を切り替える。イントラ予測の予測方向と選択される直交変換方式とのマッピングは、上記非特許文献２のテーブル１に記載された通りのマッピングであってよい。また、他のマッピングが使用されてもよい。そして、変換方式選択部１５２は、各変換単位について選択した直交変換方式を直交変換演算部１５４に通知する。
【００４８】
（２）直交変換演算部
直交変換演算部１５４は、各変換単位について、変換方式選択部１５２により選択される直交変換方式を用いて、減算部１４から入力される予測誤差データを変換係数データに変換する。そして、直交変換演算部１５４は、変換後の変換係数データを量子化部１６へ出力する。また、変換方式選択部１５２は、各変換単位について選択した直交変換方式を表す変換方式情報を量子化部１６へ出力する。
【００４９】
［１−４．量子化部の構成例］
図５は、図１に示した画像符号化装置１０の量子化部１６の詳細な構成の一例を示すブロック図である。図５を参照すると、量子化部１６は、量子化行列設定部１６２及び量子化演算部１６４を有する。
【００５０】
（１）量子化行列設定部
量子化行列設定部１６２は、直交変換部１５により使用される直交変換方式に応じて、変換係数データの量子化のための量子化行列を各変換単位に設定する。例えば、量子化行列設定部１６２は、まず、直交変換部１５から変換方式情報を取得する。変換方式情報は、各変換単位について選択された直交変換方式を識別する識別情報であってもよい。その代わりに、変換方式情報は、各変換単位に対応する予測手法（イントラ予測／インター予測）、予測単位のサイズ及び予測方向を表す情報であってもよい。
【００５１】
量子化行列設定部１６２は、取得した変換方式情報から各変換単位について使用される直交変換方式を認識し、認識した直交変換方式に対応する量子化行列を各変換単位に設定する。量子化行列設定部１６２は、例えば、インター予測の場合又は８×８以上のイントラ予測の場合には、ＤＣＴ方式用の量子化行列を一律的に変換単位に設定してもよい。設定される量子化行列の量子化ステップは、レート制御部１９からのレート制御信号に応じて調整されてもよい。一方、量子化行列設定部１６２は、４×４のイントラ予測の場合には、次の表１に示すマッピングに従って、認識した直交変換方式に対応する量子化行列を決定し得る。
【００５２】
【表１】
2012238927.tif 000003
【００５３】
表１において、ＭＤＣＴはＤＣＴ用の量子化行列、ＭＤＳＴはＤＳＴ用の量子化行列、ＭＤＳＴ＿ＤＣＴはＤＳＴ＿ＤＣＴ用の量子化行列、ＭＤＣＴ＿ＤＳＴはＤＣＴ＿ＤＳＴ用の量子化行列である。ＤＳＴ用の量子化行列ＭＤＳＴは、ＤＣＴ用の量子化行列ＭＤＣＴと比較して低域から高域にかけての量子化ステップの勾配が緩やかとなるように与えられ得る。それにより、ＤＳＴを通じて導かれる変換係数データの高周波成分の変換係数の有意性が失われにくくなる。例えば、ＤＣＴ用の量子化行列ＭＤＣＴ及びＤＳＴ用の量子化行列ＭＤＳＴは、次のような行列であってよい：
【００５４】
【数１】
2012238927.tif 000004
【００５５】
また、例えば、ＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴ及びＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴは、次のような行列であってよい：
【００５６】
【数２】
2012238927.tif 000005
【００５７】
上記の例では、ＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴにおいて、垂直方向の量子化ステップの勾配が水平方向の量子化ステップの勾配よりも緩やかである。また、ＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴにおいて、水平方向の量子化ステップの勾配が垂直方向の量子化ステップの勾配よりも緩やかである。
【００５８】
（２）量子化演算部
量子化演算部１６４は、各変換単位について、量子化行列設定部１６２により設定される量子化行列を用いて、直交変換部１５から入力される変換係数データを量子化する。そして、量子化演算部１６４は、量子化後の変換係数データ（量子化データ）を可逆符号化部１７及び逆量子化部２１へ出力する。なお、量子化行列設定部１６２により設定される量子化行列は、逆量子化部２１における逆量子化の際にも使用され得る。
【００５９】
［１−５．パラメータ構成例］
図６は、シンタックス処理部１３のパラメータ生成部１３４により生成される量子化行列パラメータのうち、ＤＣＴ用の量子化行列以外の量子化行列に関するパラメータの一例を示している。なお、ＤＣＴ用の量子化行列に関するパラメータは、Ｈ．２６４／ＡＶＣなどの既存の映像符号化方式と同様のパラメータであってよい。
【００６０】
図６を参照すると、量子化行列パラメータは、「デフォルトフラグ」、「ＤＳＴ用行列フラグ」及び各量子化行列を生成するためのパラメータ群を含む。
【００６１】
「デフォルトフラグ」は、既定の量子化行列を使用するか否かを表すフラグである。デフォルトフラグが「０：Ｎｏ」を示す場合には、既定の量子化行列とは異なる独自の量子化行列が定義され、当該独自の量子化行列が量子化の際に使用される。一方、デフォルトフラグが「１：Ｙｅｓ」を示す場合には、既定の量子化行列が量子化の際に使用される。
【００６２】
「ＤＳＴ用行列フラグ」は、ＤＳＴ用の量子化行列を生成するか否かを表すフラグである。ＤＳＴ用行列フラグが「０：Ｎｏ」を示す場合には、ＤＣＴ方式以外の直交変換方式が選択される変換単位についてもＤＣＴ用の量子化行列が使用される。一方、ＤＳＴ用行列フラグが「１：Ｙｅｓ」を示す場合には、ＤＳＴ用の量子化行列（及び複合変換用の量子化行列）が使用され得るため、復号側でこれら量子化行列の生成が行われる。
【００６３】
ＤＳＴ用の量子化行列を生成するためのパラメータの１つは、「生成モード」である。当該「生成モード」は、ＤＳＴ用の量子化行列をどのように生成すべきかを表す区分である。一例として、生成モードの区分は、次のいずれかの値をとり得る。
０：全スキャンモード
１：残差モード
２：勾配演算モード
３：係数テーブルモード
【００６４】
ＤＳＴ用の生成モードが「０：全スキャンモード」であれば、量子化行列パラメータは、さらにＤＳＴ用の「差分データ」を含む。「差分データ」は、ＤＳＴ用の量子化行列の全ての要素をジグザグスキャンによって１次元配列化し、その１次元配列をＤＰＣＭ（Differential  Pulse  Code  Modulation）方式で符号化したデータであってよい。
【００６５】
ＤＳＴ用の生成モードが「１：残差モード」であれば、量子化行列パラメータは、さらにＤＳＴ用の「残差データ」を含む。「残差データ」は、ＤＳＴ用の量子化行列とＤＣＴ用の量子化行列との間の全ての要素についての差分をジグザグスキャンによって１次元配列化したデータであってよい。
【００６６】
ＤＳＴ用の生成モードが「２：勾配演算モード」であれば、量子化行列パラメータは、さらに「勾配比」を含む。「勾配比」は、ＤＣＴ用の量子化行列の低域から高域にかけての勾配とＤＳＴ用の量子化行列の低域から高域にかけての勾配との間の比を特定するデータである。勾配演算モードでのＤＳＴ用の量子化行列生成処理について、後にさらに説明する。
【００６７】
ＤＳＴ用の生成モードが「３：係数テーブルモード」であれば、量子化行列パラメータは、さらに「テーブル番号」を含む。「テーブル番号」は、ＤＳＴ用の量子化行列を生成するためにＤＣＴ用の量子化行列の各要素に乗算すべき係数を格納したテーブルの番号を特定するデータである。係数テーブルモードでのＤＳＴ用の量子化行列生成処理について、後にさらに説明する。
【００６８】
「ブレンド演算フラグ」は、複合変換用の量子化行列を生成するためのパラメータである。「ブレンド演算フラグ」は、複合変換用の量子化行列を、ＤＣＴ用の量子化行列及びＤＳＴ用の量子化行列に基づくブレンド演算（あるいは加重平均）によって算出するか否かを表すフラグである。ブレンド演算フラグが「０：Ｎｏ」を示す場合には、複合変換用の量子化行列は全スキャンモード又は残差モードで生成される。一方、ブレンド演算フラグが「１：Ｙｅｓ」を示す場合には、複合変換用の量子化行列はブレンド演算によって算出される。
【００６９】
ブレンド演算フラグが「１：Ｙｅｓ」であれば、量子化行列パラメータは、さらに「ブレンド比」を含む。「ブレンド比」は、ＤＳＴ用の量子化行列とＤＣＴ用の量子化行列とをブレンドする場合の要素ごとの比率（あるいは重み）を特定するデータである。ブレンド演算モードでの複合変換用の量子化行列生成処理について、後にさらに説明する。
【００７０】
ブレンド演算フラグが「０：Ｎｏ」であれば、量子化行列パラメータは、さらに複合変換用の「生成モード」を含む。当該「生成モード」は、複合変換用の量子化行列をどのように生成すべきかを表す区分である。一例として、生成モードの区分は、次のいずれかの値をとり得る。
０：全スキャンモード
１：残差モード
【００７１】
複合変換用の生成モードが「０：全スキャンモード」であれば、量子化行列パラメータは、さらにＤＳＴ＿ＤＣＴ及びＤＣＴ＿ＤＳＴの各々についての「差分データ」を含む。「差分データ」は、各量子化行列の全ての要素をジグザグスキャンによって１次元配列化し、その１次元配列をＤＰＣＭ方式で符号化したデータであってよい。
【００７２】
複合変換用の生成モードが「１：残差モード」であれば、量子化行列パラメータは、さらにＤＳＴ＿ＤＣＴ及びＤＣＴ＿ＤＳＴの各々についての「残差データ」を含む。「残差データ」は、各量子化行列とＤＣＴ用の量子化行列との間の全ての要素についての差分をジグザグスキャンによって１次元配列化したデータであってよい。
【００７３】
図６に例示した量子化行列パラメータは、上述したように、ＳＰＳ若しくはＰＰＳ、又はこれらパラメータセットとは異なる新たなパラメータセット内に挿入されてよい。なお、これら量子化行列パラメータは、一例に過ぎない。即ち、上述した量子化行列パラメータのうち一部のパラメータが省略されてもよく、又は他のパラメータが追加されてもよい。
【００７４】
［１−６．ＤＳＴ用の量子化行列の生成］
図６に関連して説明したように、本実施形態では、ＤＳＴ用の量子化行列をＤＣＴ用の量子化行列から生成するためのいくつかのモードがサポートされる。これらモードは、ＤＳＴ用の量子化行列を全スキャンモードで伝送する場合よりも符号化効率を高めるためのモードであり、複数のモードの候補から符号化効率を最適化するモードが適応的に選択されてよい。ＤＳＴ用の量子化行列をＤＣＴ用の量子化行列から生成するためのモードは、残差モード、勾配演算モード及び係数テーブルモードを含み得る。
【００７５】
（１）残差モード
残差モードでは、ＤＳＴ用の量子化行列とＤＣＴ用の量子化行列との間の全ての要素についての差分の１次元配列を表す残差データが符号化側から復号側へ伝送され得る。そして、復号側において、ＤＣＴ用の量子化行列の各要素の値に残差データに含まれる各要素の残差が加算され、ＤＳＴ用の量子化行列が生成される。
【００７６】
（２）勾配演算モード
勾配演算モードは、低域から高域にかけての要素値の勾配をより緩やかにするようにＤＣＴ用の量子化行列を変形することにより、ＤＳＴ用の量子化行列を生成するためのモードである。勾配演算モードでは、要素値の勾配の変化の割合を表す勾配比が符号化側から復号側へ伝送され得る。
【００７７】
例えば、ＤＳＴ用の量子化行列のｉ行ｊ列の要素値ＭＤＳＴ（ｉ，ｊ）は、勾配比ｇｒａｄを用いて、次式に従って算出され得る：
【００７８】
【数３】
2012238927.tif 000006
【００７９】
図７は、勾配演算モードでのＤＳＴ用の量子化行列の生成について説明するための説明図である。図７の左には、一例としてのＤＣＴ用の量子化行列ＭＤＣＴが示されている。要素位置ごとの勾配は、当該要素位置の要素値と左上端の（０行０列の）要素値との差として導かれる。図７の例では、勾配比ｇｒａｄ＝０．５である。ＤＳＴ用の量子化行列ＭＤＳＴは、ＤＣＴ用の量子化行列ＭＤＣＴの各要素に、当該要素に対応する勾配に勾配比を乗算して得られた値を加算することにより算出されている。
【００８０】
上述した勾配演算モードによれば、勾配比のみを符号化側から復号側へ伝送するだけで、異なる直交変換方式に適した量子化行列を１つの量子化行列から生成することができる。従って、符号化効率を大きく低下させることなく、複数の量子化行列の候補を生成して量子化行列を適応的に切り替えることが可能となる。また、上述した勾配比を用いた計算式によれば、勾配比のみを指定するだけで、低域から高域にかけての勾配が緩やかとなったＤＳＴ用の量子化行列を簡易に生成することができる。
【００８１】
（３）係数テーブルモード
係数テーブルモードは、勾配演算モードと同様、低域から高域にかけての要素値の勾配をより緩やかにするようにＤＣＴ用の量子化行列を変形することにより、ＤＳＴ用の量子化行列を生成するためのモードである。係数テーブルモードでは、ＤＣＴ用の量子化行列の要素に乗算される係数をそれぞれ格納する複数の係数テーブルの候補が予め定義され、符号化側及び復号側の双方において記憶される。そして、使用すべき係数テーブルを特定するテーブル番号が、符号化側から復号側へ伝送され得る。なお、１つの係数テーブルのみが定義される場合には、テーブル番号の伝送は省略されてもよい。
【００８２】
例えば、ＤＳＴ用の量子化行列のｉ行ｊ列の要素値ＭＤＳＴ（ｉ，ｊ）は、テーブル番号ｔ−ｎｕｍにより特定されるテーブルのｉ行ｊ列の要素Ｔｔ−ｎｕｍ（ｉ，ｊ）を用いて、次式に従って算出され得る：
【００８３】
【数４】
2012238927.tif 000007
【００８４】
図８は、係数テーブルモードでのＤＳＴ用の量子化行列の生成について説明するための説明図である。図８の左には、一例としてのＤＣＴ用の量子化行列ＭＤＣＴが示されている。また、図８の下には、予め定義される４種類の係数テーブルＴｔ−ｎｕｍ（テーブル番号ｔ−ｎｕｍ＝１，２，３，４）が示されている。これら係数テーブルの各係数は１以下の正の数であり、低域の係数と比較して高域の係数の値が小さくなるように定義される。図８の例では、テーブル番号ｔ−ｎｕｍ＝３が指定されており、従って、ＤＳＴ用の量子化行列ＭＤＳＴは、ＤＣＴ用の量子化行列ＭＤＣＴの各要素に係数テーブルＴ３の各係数を乗算することにより算出されている。
【００８５】
上述した係数テーブルモードによれば、テーブル番号のみを符号化側から復号側へ伝送するだけで、異なる直交変換方式に適した量子化行列を１つの量子化行列から生成することができる。従って、符号化効率を大きく低下させることなく、複数の量子化行列の候補を生成して量子化行列を適応的に切り替えることが可能となる。また、複数の係数テーブルモードから最適な係数テーブルを選択可能なため、使用される直交変換方式の性質又は変換係数データの傾向に特に適合する係数テーブルを選択して、量子化に伴う画質の劣化を効果的に抑制することができる。
【００８６】
［１−７．複合変換用の量子化行列の生成］
本実施形態では、複合変換用の量子化行列をＤＣＴ用の量子化行列及びＤＳＴ用の量子化行列の一方又は双方から生成するためのいくつかのモードがサポートされる。これらモードは、複合変換用の量子化行列を全スキャンモードで伝送する場合よりも符号化効率を高めるためのモードであり、複数のモードの候補から符号化効率を最適化するモードが適応的に選択されてよい。複合変換用の量子化行列を生成するためのモードは、全スキャンモードの他に、残差モード及びブレンド演算モードを含み得る。なお、ＤＳＴ＿ＤＣＴ用の量子化行列及びＤＣＴ＿ＤＳＴ用の量子化行列の各々について異なる生成モードが指定されてもよい。
【００８７】
（１）残差モード
残差モードでは、複合変換用の量子化行列とＤＣＴ用（又はＤＳＴ用）の量子化行列との間の全ての要素についての差分の１次元配列を表す残差データが符号化側から復号側へ伝送され得る。そして、復号側において、ＤＣＴ用（又はＤＳＴ用）の量子化行列の各要素の値に残差データに含まれる各要素の残差が加算され、複合変換用の各量子化行列が生成される。
【００８８】
（２）ブレンド演算モード
ブレンド演算モードは、ＤＣＴ用の量子化行列及びＤＳＴ用の量子化行列をブレンド（加重平均）することにより、複合変換用の量子化行列を生成するためのモードである。ブレンド演算モードでは、ブレンド演算のための要素位置ごとのブレンド比（重み）を特定するデータが、符号化側から復号側へ伝送され得る。なお、符号化側と復号側との間でブレンド比を予め固定的に定義することにより、ブレンド比の伝送が省略されてもよい。
【００８９】
例えば、ＤＳＴ＿ＤＣＴ用の量子化行列のｉ行ｊ列の要素値ＭＤＳＴ＿ＤＣＴ（ｉ，ｊ）は、垂直方向対水平方向のブレンド比Ｓｖ（ｉ，ｊ）：Ｃｈ（ｉ，ｊ）を用いて、次式に従って算出され得る：
【００９０】
【数５】
2012238927.tif 000008
【００９１】
同様に、ＤＣＴ＿ＤＳＴ用の量子化行列のｉ行ｊ列の要素値ＭＤＣＴ＿ＤＳＴ（ｉ，ｊ）は、垂直方向対水平方向のブレンド比Ｃｖ（ｉ，ｊ）：Ｓｈ（ｉ，ｊ）を用いて、次式に従って算出され得る：
【００９２】
【数６】
2012238927.tif 000009
【００９３】
ここで、ブレンド比を構成する値Ｃｈ，Ｓｖ，Ｃｖ，Ｓｈは、例えば次のような値であってよい。なお、Ｃｈ及びＣｖがＤＣＴ用の量子化行列に乗算される重みに相当し、Ｓｖ及びＳｈがＤＳＴ用の量子化行列に乗算される重みに相当する：
【００９４】
【数７】
2012238927.tif 000010
【００９５】
図９は、ブレンド演算モードでの複合変換用の量子化行列の生成について説明するための説明図である。図９の左には、一例としてのＤＣＴ用の量子化行列ＭＤＣＴ及びＤＳＴ用の量子化行列ＭＤＳＴが示されている。また、図９の上には、ＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴを生成するためのブレンド比Ｃｈ：Ｓｖの行列が示されている。このようなブレンド比Ｃｈ：Ｓｖを用いて２つの量子化行列ＭＤＣＴ及びＭＤＳＴの加重平均を計算することにより、ＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴが算出され得る。図９の下には、ＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴを生成するためのブレンド比Ｃｖ：Ｓｈの行列が示されている。このようなブレンド比Ｃｖ：Ｓｈを用いて２つの量子化行列ＭＤＣＴ及びＭＤＳＴの加重平均を計算することにより、ＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴが算出され得る。その結果、ＤＳＴが使用される方向に沿った勾配がＤＣＴが使用される方向に沿った勾配よりも緩やかな２つの量子化行列ＭＤＳＴ＿ＤＣＴ及びＭＤＣＴ＿ＤＳＴが生成される。
【００９６】
上述したブレンド演算モードによれば、複合変換用の量子化行列の定義を伝送することなく、複合変換用の量子化行列を非複合変換用の量子化行列から生成することができる。従って、垂直方向の直交変換と水平方向の直交変換とで異なる直交変換方式が選択され得る場合にも、符号化効率を大きく低下させることなく、直交変換方式の各組合せに対応する様々な量子化行列の候補を適切に生成することが可能となる。
【００９７】
＜２．シンタックスの例＞
図１０〜図１４は、本実施形態に係る量子化行列パラメータのシンタックスを表現する例示的な擬似コードを示している。擬似コードの左端には、行番号が付されている。また、擬似コード内の変数に付された下線は、当該変数に対応するパラメータがパラメータセット内で特定され得ることを意味する。なお、説明の簡明さのために、量子化行列に関するパラメータ以外のパラメータについての説明は省略する。
【００９８】
図１０の第１行の関数XXParameterSet()は、１つのパラメータセットのシンタックスを表現する関数である。第２行において、当該パラメータセットのＩＤ（XX_parameter_set_id）が特定される。このパラメータセットのＩＤを各スライスヘッダにおいて指定することで、当該スライスにおいて使用すべき量子化行列を識別することが可能となる。第３行において、デフォルトフラグ（use_default_only_flag）が特定される。デフォルトフラグがゼロであれば、第５行以降において、各直交変換方式に対応する（既定ではない）量子化行列のためのパラメータが特定される。
【００９９】
第６行から第１０行までのシンタックスは、ＤＣＴ用の量子化行列のためのシンタックスである。ＤＣＴ用の量子化行列のためのシンタックスは、既存の映像符号化方式と同様のシンタックスであってよい。第１２行において、ＤＳＴ用行列フラグが特定される。ＤＳＴ用行列フラグ（use_dst_quantization_matrix_flag）が１であれば、さらにＤＳＴ用の量子化行列及び複合変換用の量子化行列のためのパラメータが特定される。ＤＳＴ用の量子化行列のためのパラメータのシンタックスは、図１１に記載されている。また、複合変換用の量子化行列のためのパラメータのシンタックスは、図１３に記載されている。
【０１００】
図１１において、第１５行及び第１６行のｆｏｒ文は、行列のサイズ及びタイプごとの繰り返しを意味する。但し、本実施形態では、４×４の輝度（Ｙ）のイントラ予測についてのみＤＳＴ用の量子化行列が使用される。そのため、実質的にはこれらｆｏｒ文に囲まれた処理は１度しか実行されない。しかしながら、他のサイズ又は他のタイプについてもＤＳＴ用の量子化行列が使用される場合には、より多くの回数の繰り返し処理が行われてもよい。
【０１０１】
第１７行において、ＤＳＴ用の量子化行列についての生成モード（predict_mode）が特定される。第１９行の関数qmatrix_dst(i,j)は、全スキャンモードにおける差分データを特定する。第２１行の関数residual_matrix(i,j)は、残差モードにおける残差データを特定する。第２３行の関数calc_dst_mtx_gradient()は、勾配モードにおける勾配比（gradient）を特定する（図１２参照）。第２５行の関数calc_dst_mtx_transtable()は、係数テーブルモードにおけるテーブル番号（trans_table_num）を特定する（図１２参照）。
【０１０２】
図１３を参照すると、第３１行において、ブレンド演算フラグ（blend_flag）が特定される。ブレンド演算フラグが１であれば、さらに第３３行において関数calculate_from_dct_and_dst_qmatrix()によりブレンド比（blend_ratio()）が特定される（図１４参照）。ブレンド演算フラグが１でなければ、第３５行以降のシンタックスがさらに特定される。
【０１０３】
第３５行のｆｏｒ文は、２つの複合変換方式、即ちＤＳＴ＿ＤＣＴ方式及びＤＣＴ＿ＤＳＴ方式についての繰り返しを意味する。第３８行において、複合変換用の量子化行列についての生成モード（predict_mode）が特定される。第４０行の関数qmatrix_dctdst(h,i,j)は、全スキャンモードにおける差分データを特定する。第４２行の関数residual_matrix(h,i,j)は、残差モードにおける残差データを特定する。
【０１０４】
＜３．一実施形態に係る符号化時の処理の流れ＞
（１）量子化処理
図１５は、本実施形態に係る量子化部１６による量子化処理の流れの一例を示すフローチャートである。図１５に示した量子化処理は、符号化される画像内の各変換単位を対象として繰り返し行われ得る。
【０１０５】
図１５を参照すると、まず、量子化行列設定部１６２は、直交変換部１５から変換方式情報を取得する（ステップＳ１００）。次に、量子化行列設定部１６２は、対象の変換単位について４×４のイントラ予測が選択されているか否かを判定する（ステップＳ１０２）。ここで、４×４のイントラ予測が選択されていない場合には、処理はステップＳ１１６へ進む。この場合、量子化行列設定部１６２は、対象の変換単位（ＴＵ）にＤＣＴ用の量子化行列ＭＤＣＴを設定する（ステップＳ１１６）。一方、４×４のイントラ予測が選択されている合には、処理はステップＳ１０４へ進む。
【０１０６】
ステップＳ１０４において、量子化行列設定部１６２は、対象の変換単位の垂直方向についてＤＳＴが行われるか否かを判定する（ステップＳ１０４）。また、量子化行列設定部１６２は、対象の変換単位の水平方向についてＤＳＴが行われるか否かを判定する（ステップＳ１０６，Ｓ１０８）。
【０１０７】
そして、量子化行列設定部１６２は、垂直方向及び水平方向の双方についてＤＳＴが行われる場合には、対象の変換単位にＤＳＴ用の量子化行列ＭＤＳＴを設定する（ステップＳ１１０）。また、量子化行列設定部１６２は、垂直方向についてＤＳＴ、水平方向についてＤＣＴがそれぞれ行われる場合には、対象の変換単位にＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴを設定する（ステップＳ１１２）。また、量子化行列設定部１６２は、垂直方向についてＤＣＴ、水平方向についてＤＳＴがそれぞれ行われる場合には、対象の変換単位にＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴを設定する（ステップＳ１１４）。また、量子化行列設定部１６２は、垂直方向及び水平方向の双方についてＤＣＴが行われる場合には、対象の変換単位にＤＣＴ用の量子化行列ＭＤＣＴを設定する（ステップＳ１１６）。
【０１０８】
そして、量子化演算部１６４は、対象の変換単位について、量子化行列設定部１６２により設定された量子化行列を用いて、直交変換部１５から入力される変換係数データを量子化する（ステップＳ１１８）。
【０１０９】
（２）変形例
本実施形態では、垂直方向の直交変換について使用される直交変換方式と水平方向の直交変換について使用される直交変換方式との組合せごとに異なる４種類の量子化行列が各変換単位に設定され得る例について主に説明した。しかしながら、装置の実装の複雑さを低減するために、複合変換用の量子化行列を使用することなく、ＤＣＴ用の量子化行列及びＤＳＴ用の量子化行列のみを使用することも可能である。
【０１１０】
複合変換用の量子化行列が使用されない場合、量子化行列設定部１６２は、次の表２に示すマッピングに従って、直交変換部１５により選択される直交変換方式に対応する量子化行列を決定し得る。
【０１１１】
【表２】
2012238927.tif 000011
【０１１２】
表２によれば、垂直方向及び水平方向の少なくとも一方についてＤＣＴが行われる変換単位にＤＣＴ用の量子化行列ＭＤＣＴが設定され、垂直方向及び水平方向の双方についてＤＳＴが行われる変換単位にＤＳＴ用の量子化行列ＭＤＳＴが設定される。
【０１１３】
図１６は、本変形例に係る量子化部１６による量子化処理の流れの一例を示すフローチャートである。図１６に示した量子化処理は、符号化される画像内の各変換単位を対象として繰り返し行われ得る。
【０１１４】
図１６を参照すると、まず、量子化行列設定部１６２は、直交変換部１５から変換方式情報を取得する（ステップＳ１３０）。次に、量子化行列設定部１６２は、対象の変換単位の垂直方向及び水平方向の双方についてＤＳＴが行われるか否かを判定する（ステップＳ１３２）。ここで、垂直方向及び水平方向の双方についてＤＳＴが行われる場合には、量子化行列設定部１６２は、対象の変換単位にＤＳＴ用の量子化行列ＭＤＳＴを設定する（ステップＳ１３４）。これに対し、量子化行列設定部１６２は、垂直方向及び水平方向の少なくとも一方についてＤＣＴが行われる場合には、対象の変換単位にＤＣＴ用の量子化行列ＭＤＣＴを設定する（ステップＳ１３６）。
【０１１５】
そして、量子化演算部１６４は、対象の変換単位について、量子化行列設定部１６２により設定された量子化行列を用いて、直交変換部１５から入力される変換係数データを量子化する（ステップＳ１３８）。
【０１１６】
本変形例によれば、より少ない種類の量子化行列のみが使用されるため、装置の実装の複雑さが低減される。従って、直交変換方式に応じて適応的に量子化行列を切り替える場合にも、装置の実装に伴うコストの増大を抑制することができる。図６に例示した量子化行列パラメータのうち複合変換用の量子化行列を生成するためのパラメータ（例えばブレンド演算フラグなど）は、シンタックスから省略されてよい。
【０１１７】
＜４．一実施形態に係る画像復号装置の構成例＞
本節では、一実施形態に係る画像復号装置の構成例について説明する。
【０１１８】
［４−１．全体的な構成例］
図１７は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図１７を参照すると、画像復号装置６０は、シンタックス処理部６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ６６、並べ替えバッファ６７、Ｄ／Ａ（Digital  to  Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、並びに動き補償部９０を備える。
【０１１９】
シンタックス処理部６１は、伝送路を介して入力される符号化ストリームからＳＰＳ、ＰＰＳ及びスライスヘッダなどのヘッダ情報を取得し、取得したヘッダ情報に基づいて画像復号装置６０による復号処理のための様々な設定を認識する。例えば、本実施形態において、シンタックス処理部６１は、各パラメータセットに含まれる量子化行列パラメータに基づいて、逆量子化部６３による逆量子化処理の際に使用され得る量子化行列の候補を生成する。シンタックス処理部６１の詳細な構成について、後にさらに説明する。
【０１２０】
可逆復号部６２は、シンタックス処理部６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。そして、可逆復号部６２は、復号後の量子化データを逆量子化部６３へ出力する。また、可逆復号部６２は、ヘッダ情報に含まれるイントラ予測に関する情報をイントラ予測部８０へ出力し、インター予測に関する情報を動き補償部９０へ出力する。
【０１２１】
逆量子化部６３は、シンタックス処理部６１により生成される量子化行列の候補の間で適応的に切り替えられる量子化行列を用いて、可逆復号部６２による復号後の量子化データ（即ち、量子化された変換係数データ）を逆量子化する。逆量子化部６３の詳細な構成について、後にさらに説明する。
【０１２２】
逆直交変換部６４は、符号化の際に使用された直交変換方式であって複数の直交変換方式の候補から選択される直交変換方式を用いて、逆量子化部６３により逆量子化された変換係数データを逆直交変換し、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
【０１２３】
逆直交変換部６４により使用され得る直交変換方式の候補は、上述したように、離散コサイン変換（ＤＣＴ）方式、離散サイン変換（ＤＳＴ）方式、アダマール変換方式及びカルーネン・レーベ変換方式、並びにこれらの組合せなどを含み得る。但し、ここではＤＣＴ方式及びＤＳＴ方式、並びにこれら２つの方式の組合せである複合変換方式について主に言及する。逆直交変換部６４の詳細な構成について、後にさらに説明する。
【０１２４】
加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ６６及びフレームメモリ６９へ出力する。
【０１２５】
デブロックフィルタ６６は、加算部６５から入力される復号画像データをフィルタリングすることによりブロック歪みを除去し、フィルタリング後の復号画像データを並べ替えバッファ６７及びフレームメモリ６９へ出力する。
【０１２６】
並べ替えバッファ６７は、デブロックフィルタ６６から入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
【０１２７】
Ｄ／Ａ変換部６８は、並べ替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
【０１２８】
フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ６６から入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
【０１２９】
セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部９０へ出力する。
【０１３０】
セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。セレクタ７１は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。
【０１３１】
イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１へ出力する。
【０１３２】
動き補償部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部９０は、生成した予測画像データをセレクタ７１へ出力する。
【０１３３】
［４−２．シンタックス処理部の構成例］
図１８は、図１７に示した画像復号装置６０のシンタックス処理部６１の詳細な構成の一例を示すブロック図である。図１８を参照すると、シンタックス処理部６１は、パラメータ取得部２１２及び生成部２１４を有する。
【０１３４】
（１）パラメータ取得部
パラメータ取得部２１２は、画像データのストリームからＳＰＳ、ＰＰＳ及びスライスヘッダなどのヘッダ情報を認識し、ヘッダ情報に含まれるパラメータを取得する。例えば、本実施形態において、パラメータ取得部２１２は、量子化行列を定義する量子化行列パラメータを各パラメータセットから取得する。そして、パラメータ取得部２１２は、取得したパラメータを生成部２１４へ出力する。また、パラメータ取得部２１２は、画像データのストリームを可逆復号部６２へ出力する。
【０１３５】
（２）生成部
生成部２１４は、パラメータ取得部２１２により取得される量子化行列パラメータに基づいて、逆直交変換部６４により使用され得る直交変換方式の各候補に対応する量子化行列を生成する。本実施形態において、生成部２１４により生成される量子化行列は、ＤＣＴ用の量子化行列ＭＤＣＴ、ＤＳＴ用の量子化行列ＭＤＳＴ、ＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴ及びＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴを含む。
【０１３６】
より具体的には、生成部２１４は、例えば、既定の量子化行列が使用されない場合に、符号化ストリームのパラメータセット又はヘッダ内での定義に基づいて、ＤＣＴ用の量子化行列ＭＤＣＴを生成する。また、生成部２１４は、ＤＳＴ用の量子化行列が使用される場合に、ＤＳＴ用の量子化行列を生成する。ＤＳＴ用の量子化行列は、上述した全スキャンモード、残差モード、勾配演算モード及び係数テーブルモードのいずれかに従って生成されてよい。典型的には、低域から高域にかけての要素値の勾配がＤＣＴ用の量子化行列よりも緩やかなＤＳＴ用の量子化行列が生成され得る。さらに、生成部２１４は、複合変換方式用の量子化行列ＭＤＳＴ＿ＤＣＴ及びＭＤＣＴ＿ＤＳＴを生成する。複合変換方式用の量子化行列ＭＤＳＴ＿ＤＣＴ及びＭＤＣＴ＿ＤＳＴは、上述したブレンド演算モード、全スキャンモード及び残差モードのいずれかに従って生成されてよい。生成部２１４は、このように生成される量子化行列を逆量子化部６３へ出力する。
【０１３７】
［４−３．逆量子化部の構成例］
図１９は、図１７に示した画像復号装置６０の逆量子化部６３の詳細な構成の一例を示すブロック図である。図１９を参照すると、逆量子化部６３は、量子化行列設定部２３２及び逆量子化演算部２３４を有する。
【０１３８】
（１）量子化行列設定部
量子化行列設定部２３２は、複数の直交変換方式の候補のうち逆直交変換部６４により使用される直交変換方式に応じて、変換係数データの逆量子化のための量子化行列を各変換単位に設定する。例えば、量子化行列設定部２３２は、符号化ストリームのヘッダ情報に含まれる変換方式情報を取得する。変換方式情報は、各変換単位について選択された直交変換方式を識別する識別情報であってもよく、又は各変換単位に対応する予測手法、予測単位のサイズ及び予測方向を表す情報であってもよい。そして、量子化行列設定部２３２は、変換方式情報から各変換単位について使用される直交変換方式を認識し、シンタックス処理部６１の生成部２１４により生成され得る量子化行列のうち認識した直交変換方式に対応する量子化行列を各変換単位に設定する。量子化行列設定部２３２による量子化行列の設定は、上述した表１又は表２に示すマッピングに従って行われてよい。
【０１３９】
なお、量子化行列ＭＤＣＴ、ＭＤＳＴ、ＭＤＳＴ＿ＤＣＴ及びＭＤＣＴ＿ＤＳＴのいずれかを直接的に指定する情報が符号化ストリームのヘッダ情報に含まれてもよい。その場合には、量子化行列設定部２３２は、当該情報により指定される量子化行列を各変換単位に設定する。
【０１４０】
（２）逆量子化演算部
逆量子化演算部２３４は、各変換単位について、量子化行列設定部２３２により設定される量子化行列を用いて、可逆復号部６２から入力される変換係数データ（量子化データ）を逆量子化する。そして、逆量子化演算部２３４は、逆量子化後の変換係数データを逆直交変換部６４へ出力する。
【０１４１】
［４−４．逆直交変換部の構成例］
図２０は、図１７に示した画像復号装置６０の逆直交変換部６４の詳細な構成の一例を示すブロック図である。図２０を参照すると、逆直交変換部６４は、変換方式選択部２４２及び逆直交変換演算部２４４を有する。
【０１４２】
（１）変換方式選択部
変換方式選択部２４２は、複数の直交変換方式の候補から、各変換単位の変換係数データの逆直交変換のために使用すべき直交変換方式を選択する。本実施形態において、変換方式選択部２４２は、ａ）ＤＣＴ方式、ｂ）ＤＳＴ方式、ｃ）ＤＳＴ＿ＤＣＴ方式）及びｄ）ＤＣＴ＿ＤＳＴ方式という、４通りの直交変換方式を選択可能である。変換方式選択部２４２は、上述した変換方式情報に基づき、画像符号化装置１０の直交変換部１５の変換方式選択部１５２と同様の手法に従って直交変換方式を選択してもよい。その代わりに、変換方式選択部２４２は、符号化ストリームのヘッダ情報において直接的に指定され得る直交変換方式を選択してもよい。
【０１４３】
（２）直交変換演算部
逆直交変換演算部２４４は、各変換単位について、変換方式選択部２４２により選択される直交変換方式を用いて、逆量子化部６３から入力される変換係数データを予測誤差データに変換する。そして、逆直交変換演算部２４４は、変換後の予測誤差データを加算部６５へ出力する。
【０１４４】
＜５．一実施形態に係る復号時の処理の流れ＞
（１）量子化行列生成処理
図２１は、本実施形態に係るシンタックス処理部６１の生成部２１４による量子化行列生成処理の流れの一例を示すフローチャートである。図２１に示した量子化行列生成処理は、量子化行列パラメータを含むパラメータセットごとに行われ得る。なお、各パラメータセットは、図１０から図１４に例示したようなシンタックスに従って定義される量子化行列パラメータを有するものとする。
【０１４５】
図２１を参照すると、まず、生成部２１４は、デフォルトフラグを取得する（ステップＳ２００）。そして、生成部２１４は、デフォルトフラグの値に基づいて、既定の量子化行列が使用されるか否かを判定する（ステップＳ２０２）。ここで、既定の量子化行列が使用される場合には、その後の処理はスキップされる。一方、既定の量子化行列が使用されない場合には、処理はステップＳ２０４へ進む。
【０１４６】
ステップＳ２０４では、生成部２１４は、既存の映像符号化方式と同様のパラメータを用いて、１つ以上のＤＣＴ用の量子化行列ＭＤＣＴを生成する（ステップＳ２０４）。ここで生成されるＤＣＴ用の量子化行列ＭＤＣＴは、４×４、８×８、１６×１６及び３２×３２の各変換単位のサイズに対応する、最大で６種類の量子化行列（イントラ予測／インター予測のＹ／Ｃｂ／Ｃｒ成分）を含み得る。
【０１４７】
次に、生成部２１４は、ＤＳＴ用行列フラグを取得する（ステップＳ２０６）。そして、生成部２１４は、ＤＳＴ用行列フラグの値に基づいて、ＤＳＴ用の量子化行列を生成するか否かを判定する（ステップＳ２０８）。ここで、ＤＳＴ用の量子化行列を生成しないと判定した場合には、生成部２１４は、例えば４×４のイントラ予測の輝度（Ｙ）についてのＤＣＴ用の量子化行列ＭＤＣＴをＤＳＴ用の量子化行列ＭＤＳＴにコピーする（ステップＳ２１０）。一方、ＤＳＴ用の量子化行列を生成すると判定した場合には、生成部２１４は、ＤＳＴ用の量子化行列生成処理（ステップＳ２２０）及び複合変換用の量子化行列生成処理（ステップＳ２５０）を行う。
【０１４８】
図２２は、図２１のステップＳ２２０に相当するＤＳＴ用の量子化行列生成処理の流れの一例を示している。
【０１４９】
図２２を参照すると、まず、生成部２１４は、ＤＳＴ用の生成モードを取得する（ステップＳ２２２）。そして、生成部２１４は、取得した生成モードの値に応じて、その後の処理を切り替える。
【０１５０】
例えば、生成部２１４は、生成モードが全スキャンモードを示している場合には（ステップＳ２２４）、差分データを取得し（ステップＳ２２６）、全スキャンモードでＤＳＴ用の量子化行列ＭＤＳＴを生成する（ステップＳ２２８）。この場合、生成部２１４は、１次元配列化された差分データをＤＰＣＭ方式に従って復号することにより、要素値の１次元配列を得る。そして、生成部２１４は、要素値の１次元配列をジグザグスキャンのスキャンパターンに従って２次元の量子化行列ＭＤＳＴに再構成する。
【０１５１】
また、例えば、生成部２１４は、生成モードが残差モードを示している場合には（ステップＳ２３０）、残差データを取得し（ステップＳ２３２）、残差モードでＤＳＴ用の量子化行列ＭＤＳＴを生成する（ステップＳ２３４）。この場合、生成部２１４は、１次元配列化された残差データをジグザグスキャンのスキャンパターンに従って２次元の残差行列に再構成する。そして、生成部２１４は、再構成された残差行列とＤＣＴ用の量子化行列ＭＤＣＴとを加算することにより、ＤＳＴ用の量子化行列ＭＤＳＴを生成する。
【０１５２】
また、例えば、生成部２１４は、生成モードが勾配演算モードを示している場合には（ステップＳ２３６）、勾配比を取得し（ステップＳ２３８）、図７を用いて説明した勾配演算モードでＤＳＴ用の量子化行列ＭＤＳＴを生成する（ステップＳ２４０）。この場合、生成部２１４は、ＤＣＴ用の量子化行列ＭＤＣＴの低域から高域にかけての要素値の勾配を、取得した勾配比を用いて変化させることにより、ＤＳＴ用の量子化行列ＭＤＳＴを生成する。
【０１５３】
また、例えば、生成部２１４は、生成モードが係数テーブルモードを示している場合には、テーブル番号を取得し（ステップＳ２４２）、図８を用いて説明した係数テーブルモードでＤＳＴ用の量子化行列ＭＤＳＴを生成する（ステップＳ２４４）。この場合、生成部２１４は、テーブル番号により識別される係数テーブル内の各係数をＤＣＴ用の量子化行列ＭＤＣＴの各要素に乗算することにより、ＤＳＴ用の量子化行列ＭＤＳＴを生成する。
【０１５４】
図２３は、図２１のステップＳ２５０に相当する複合変換用の量子化行列生成処理の流れの一例を示している。
【０１５５】
図２３を参照すると、まず、生成部２１４は、ブレンド演算フラグを取得する（ステップＳ２５２）。そして、生成部２１４は、ブレンド演算フラグの値に基づいて、ブレンド演算を行うか否かを判定する（ステップＳ２５４）。ここで、ブレンド演算を行うと判定された場合には、処理はステップＳ２５６へ進む。一方、ブレンド演算を行わないと判定された場合には、処理はステップＳ２６２へ進む。
【０１５６】
ステップＳ２５６では、生成部２１４は、ブレンド比を取得する（ステップＳ２５６）。そして、生成部２１４は、図９を用いて説明したブレンド演算モードでＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴを生成する（ステップＳ２５８）。また、生成部２１４は、ブレンド演算モードでＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴを生成する（ステップＳ２６０）。
【０１５７】
ステップＳ２６２では、生成部２１４は、複合変換用の生成モードを取得する（ステップＳ２６２）。そして、生成部２１４は、取得した生成モードの値に応じて、その後の処理を切り替える。
【０１５８】
例えば、生成部２１４は、生成モードが全スキャンモードを示している場合には（ステップＳ２６４）、ＤＳＴ＿ＤＣＴ用の差分データを取得し（ステップＳ２６６）、全スキャンモードでＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴを生成する（ステップＳ２６８）。また、生成部２１４は、ＤＣＴ＿ＤＳＴ用の差分データを取得し（ステップＳ２７０）、全スキャンモードでＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴを生成する（ステップＳ２７２）。
【０１５９】
また、例えば、生成部２１４は、生成モードが残差モードを示している場合には、ＤＳＴ＿ＤＣＴ用の残差データを取得し（ステップＳ２７４）、残差モードでＤＳＴ＿ＤＣＴ用の量子化行列ＭＤＳＴ＿ＤＣＴを生成する（ステップＳ２７６）。また、生成部２１４は、ＤＣＴ＿ＤＳＴ用の残差データを取得し（ステップＳ２７８）、残差モードでＤＣＴ＿ＤＳＴ用の量子化行列ＭＤＣＴ＿ＤＳＴを生成する（ステップＳ２８０）。
【０１６０】
（２）逆量子化処理
本実施形態に係る逆量子化部６３による逆量子化処理の流れは、図１５に示した符号化時の量子化処理の流れに類似する。即ち、量子化行列設定部２３２により各変換単位についての直交変換方式が認識され、認識された直交変換方式に対応する量子化行列が各変換単位に設定される。そして、逆量子化演算部により、各変換単位について、量子化行列設定部２３２により設定された量子化行列を用いて、変換係数データが逆量子化される。
【０１６１】
また、逆量子化部６３においても、複合変換用の量子化行列を使用することなく、ＤＣＴ用の量子化行列及びＤＳＴ用の量子化行列のみが使用されてもよい。その場合には、量子化行列の設定は上述した表２に示すマッピングに従って行われ得る。そして、図１６に示した量子化処理に類似する流れで逆量子化部６３による逆量子化処理が行われ得る。
【０１６２】
＜６．応用例＞
上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
【０１６３】
［６−１．第１の応用例］
図２４は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
【０１６４】
チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１６５】
デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic  Program  Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
【０１６６】
デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
【０１６７】
映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical  User  Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
【０１６８】
表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
【０１６９】
音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
【０１７０】
外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
【０１７１】
制御部９１０は、ＣＰＵ（Central  Processing  Unit）などのプロセッサ、並びにＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
【０１７２】
ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
【０１７３】
バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
【０１７４】
このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、テレビジョン装置９００で復号される映像について、各変換単位に使用される直交変換方式に応じて適応的に量子化行列を切り替えることができる。
【０１７５】
［６−２．第２の応用例］
図２５は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
【０１７６】
アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
【０１７７】
携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
【０１７８】
音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１７９】
また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
【０１８０】
記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
【０１８１】
また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
【０１８２】
また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
【０１８３】
このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、携帯電話機９２０で符号化及び復号される映像について、各変換単位に使用される直交変換方式に応じて適応的に量子化行列を切り替えることができる。
【０１８４】
［６−３．第３の応用例］
図２６は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
【０１８５】
記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard  Disk  Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen  Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
【０１８６】
チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
【０１８７】
外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
【０１８８】
エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
【０１８９】
ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
【０１９０】
ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ−Ｖｉｄｅｏ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ−ｒａｙ（登録商標）ディスクなどであってよい。
【０１９１】
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
【０１９２】
デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
【０１９３】
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
【０１９４】
制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
【０１９５】
ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
【０１９６】
このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。従って、記録再生装置９４０で符号化及び復号される映像について、各変換単位に使用される直交変換方式に応じて適応的に量子化行列を切り替えることができる。
【０１９７】
［６−４．第４の応用例］
図２７は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
【０１９８】
撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
【０１９９】
光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
【０２００】
光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
【０２０１】
信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
【０２０２】
画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
【０２０３】
ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
【０２０４】
外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
【０２０５】
メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid  State  Drive）のような非可搬性の記憶部が構成されてもよい。
【０２０６】
制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
【０２０７】
ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
【０２０８】
このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。従って、撮像装置９６０で符号化及び復号される映像について、各変換単位に使用される直交変換方式に応じて適応的に量子化行列を切り替えることができる。
【０２０９】
＜７．まとめ＞
ここまで、図１〜図２７を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０について説明した。本実施形態によれば、変換係数データの量子化及び逆量子化の際に、複数の直交変換方式の候補のうち直交変換又は逆直交変換のために選択される直交変換方式に応じて異なる量子化行列が各変換単位に設定される。そして、各変換単位に設定された量子化行列を用いて、変換係数データが量子化又は逆量子化される。かかる構成によれば、使用される直交変換方式に応じて適応的に量子化行列を切り替えることができる。即ち、直交変換方式の性質又は変換係数データの傾向により適した量子化行列を用いて量子化又は逆量子化が行われるため、固定的な量子化行列が使用される場合と比較して、量子化による画質の劣化を抑制することができる。
【０２１０】
また、本実施形態によれば、上記複数の直交変換方式の候補は、離散コサイン変換（ＤＣＴ）方式と離散サイン変換（ＤＳＴ）方式とを含む。これら２つの直交変換方式では、上述したように、特に高周波成分における変換係数の現れやすさが異なる。従って、上述した量子化行列の切り替えの仕組みを採用することで、量子化後にも変換係数の有意な差異を適切に残しながら変換係数データの符号量を圧縮することができる。
【０２１１】
また、本実施形態によれば、ＤＳＴ方式に対応する量子化行列は、ＤＣＴ方式に対応する量子化行列から生成され得る。従って、ＤＳＴ用の量子化行列の伝送のために多くの符号量が必要とされないため、上述した量子化行列の切り替えの仕組みを符号化効率を大きく低下させることなく導入することができる。なお、上述した例に限定されず、例えばＤＳＴ方式（又はそれ以外の直交変換方式）に対応する量子化行列から、ＤＣＴ方式（又はそれ以外の直交変換方式）に対応する量子化行列が生成されてもよい。
【０２１２】
また、本実施形態によれば、垂直方向及び水平方向のそれぞれについて直交変換方式が選択され得る場合に、垂直方向及び水平方向の直交変換方式の組合せごとに異なる量子化行列が各変換単位に設定され得る。従って、変換係数データの様々な傾向に適した量子化行列が各変換単位に的確に設定されるため、画質の劣化を効果的に抑制することができる。
【０２１３】
また、本実施形態によれば、複合変換方式（２つの方向で互いに異なる種類の直交変換が行われる方式）に対応する量子化行列が、非複合変換方式（２つの方向で同じ種類の直交変換が行われる方式）に対応する量子化行列から生成され得る。従って、複合変換用の量子化行列の伝送についても、多くの符号量が発生して符号化効率が低下することが回避される。
【０２１４】
なお、本明細書では、量子化行列パラメータが、符号化ストリームのヘッダに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、量子化行列パラメータを伝送する手法はかかる例に限定されない。例えば、ヘッダ情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
【０２１５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０２１６】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
復号される画像の変換係数データを逆直交変換する際に選択される直交変換方式に応じて、前記変換係数データを逆量子化する際に用いられる量子化行列を各変換単位に設定する設定部と、
前記設定部により設定された前記量子化行列を用いて、前記変換係数データを逆量子化する逆量子化部と、
前記選択される直交変換方式を用いて、前記逆量子化部により逆量子化された前記変換係数データを逆直交変換する変換部と、
を備える画像処理装置。
（２）
符号化ストリームのパラメータセット又はヘッダ内での定義に基づいて、前記量子化行列を生成する生成部、
をさらに備える、前記（１）に記載の画像処理装置。
（３）
選択される直交変換方式の候補は、第１の直交変換方式及び前記第１の直交変換方式とは異なる第２の直交変換方式を含み、
前記第１の直交変換方式に対応する量子化行列は、符号化ストリームのパラメータセット又はヘッダ内で定義され、
前記生成部は、前記第２の直交変換方式に対応する量子化行列を前記第１の直交変換方式に対応する量子化行列から生成する、
前記（２）に記載の画像処理装置。
（４）
前記第１の直交変換方式は、離散コサイン変換（ＤＣＴ）方式であり、
前記第２の直交変換方式は、離散サイン変換（ＤＳＴ）方式である、
前記（３）に記載の画像処理装置。
（５）
前記生成部は、前記ＤＣＴ方式に対応する量子化行列の低域から高域にかけての要素値の勾配をより緩やかにするように、前記ＤＣＴ方式に対応する量子化行列から前記ＤＳＴ方式に対応する量子化行列を生成する、前記（４）に記載の画像処理装置。
（６）
前記生成部は、前記ＤＣＴ方式に対応する量子化行列の前記勾配を所定の割合で変化させることにより、前記ＤＳＴ方式に対応する量子化行列を生成する、前記（５）に記載の画像処理装置。
（７）
前記生成部は、前記ＤＣＴ方式に対応する量子化行列の各要素に要素位置に対応する係数を乗算することにより、前記ＤＳＴ方式に対応する量子化行列を生成する、前記（５）に記載の画像処理装置。
（８）
前記生成部は、前記第１の直交変換方式に対応する量子化行列から前記第２の直交変換方式に対応する量子化行列を生成することを示すフラグが符号化ストリームのパラメータセット又はヘッダ内に含まれる場合に、前記第１の直交変換方式に対応する量子化行列から前記第２の直交変換方式に対応する量子化行列を生成する、前記（３）〜（７）のいずれか１項に記載の画像処理装置。
（９）
前記生成部は、前記第２の直交変換方式に対応する量子化行列が用いられることを示すフラグが符号化ストリームのパラメータセット又はヘッダ内に含まれる場合に、前記第２の直交変換方式に対応する量子化行列を生成する、前記（３）〜（８）のいずれか１項に記載の画像処理装置。
（１０）
前記変換部は、垂直方向の直交変換と水平方向の直交変換とで異なる直交変換方式を選択可能であり、
前記設定部は、前記垂直方向の直交変換について用いられる直交変換方式と前記水平方向の直交変換について用いられる直交変換方式との組合せごとに異なる量子化行列を各変換単位に設定する、
前記（１）に記載の画像処理装置。
（１１）
前記垂直方向及び前記水平方向の直交変換についてそれぞれ用いられる２つの直交変換方式が互いに異なる場合に対応する複合変換用の量子化行列を、当該２つの直交変換方式が等しい場合に対応する１つ以上の非複合変換用の量子化行列から生成する生成部、
をさらに備える、前記（１０）に記載の画像処理装置。
（１２）
前記複合変換用の量子化行列は、離散コサイン変換（ＤＣＴ）方式と離散サイン変換（ＤＳＴ）方式との組合せに対応する量子化行列であり、
前記１つ以上の非複合変換用の量子化行列は、前記ＤＣＴ方式に対応する量子化行列及び前記ＤＳＴ方式に対応する量子化行列を含む、
前記（１１）に記載の画像処理装置。
（１３）
前記生成部は、前記複合変換用の量子化行列を、前記ＤＣＴ方式に対応する量子化行列と前記ＤＳＴ方式に対応する量子化行列との加重平均により生成する、前記（１２）に記載の画像処理装置。
（１４）
前記生成部は、符号化ストリームのパラメータセット又はヘッダから、前記加重平均の重みを特定するためのパラメータを取得する、前記（１３）に記載の画像処理装置。
（１５）
復号される画像の変換係数データを逆直交変換する際に選択される直交変換方式に応じて、前記変換係数データを逆量子化する際に用いられる量子化行列を各変換単位に設定するステップと、
設定された前記量子化行列を用いて、前記変換係数データを逆量子化するステップと、
前記選択される直交変換方式を用いて、逆量子化された前記変換係数データを逆直交変換するステップと、
を含む画像処理方法。
（１６）
符号化される画像の各変換単位について選択される直交変換方式を用いて、画像データを変換係数データに変換する変換部と、
前記変換部により用いられる直交変換方式に応じて、前記変換係数データを量子化する際に用いられる量子化行列を各変換単位に設定する設定部と、
前記設定部により設定された前記量子化行列を用いて、前記変換係数データを量子化する量子化部と、
を備える画像処理装置。
（１７）
符号化される画像の各変換単位について選択される直交変換方式を用いて、画像データを変換係数データに変換するステップと、
前記画像データの変換の際に用いられる直交変換方式に応じて、前記変換係数データを量子化する際に用いられる量子化行列を各変換単位に設定するステップと、
設定された前記量子化行列を用いて、前記変換係数データを量子化するステップと、
を含む画像処理方法。
【符号の説明】
【０２１７】
１０      画像処理装置（画像符号化装置）
１５      直交変換部
１６      量子化部
１６２    量子化行列設定部
６０      画像処理装置（画像復号装置）
６３      逆量子化部
６４      逆直交変換部
２１４    生成部
２３２    量子化行列設定部
【図１】
2012238927.tif 000012
【図２】
2012238927.tif 000013
【図３】
2012238927.tif 000014
【図４】
2012238927.tif 000015
【図５】
2012238927.tif 000016
【図６】
2012238927.tif 000017
【図７】
2012238927.tif 000018
【図８】
2012238927.tif 000019
【図９】
2012238927.tif 000020
【図１０】
2012238927.tif 000021
【図１１】
2012238927.tif 000022
【図１２】
2012238927.tif 000023
【図１３】
2012238927.tif 000024
【図１４】
2012238927.tif 000025
【図１５】
2012238927.tif 000026
【図１６】
2012238927.tif 000027
【図１７】
2012238927.tif 000028
【図１８】
2012238927.tif 000029
【図１９】
2012238927.tif 000030
【図２０】
2012238927.tif 000031
【図２１】
2012238927.tif 000032
【図２２】
2012238927.tif 000033
【図２３】
2012238927.tif 000034
【図２４】
2012238927.tif 000035
【図２５】
2012238927.tif 000036
【図２６】
2012238927.tif 000037
【図２７】
2012238927.tif 000038
【図２８】
2012238927.tif 000039