(57)【要約】【課題】フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと予測画像の差分信号を符号化する符号化装置、復号装置及びプログラムを提供する。【解決手段】本発明の符号化装置（１０）は、前記差分信号に対して第１の直交変換処理を施して符号化するか、又は前記差分信号に対して前記第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理を施して符号化するかを切り替える切替スイッチと、前記フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに前記切替スイッチの切り替えを制御するコスト算出部とを有する直交変換部（１３）を備える。【選択図】図１
2011205602.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置であって、
前記差分信号に対して第１の直交変換処理を施して符号化するか、又は前記差分信号に対して前記第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理を施して符号化するかを切り替える切替手段と、
前記フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに前記切替手段の切り替えを制御するコスト算出手段と、
を備えることを特徴とする符号化装置。
【請求項２】
前記コスト算出手段は、前記符号化対象ブロックに対して異なる画素ブロックサイズごとの差分信号についてそれぞれコスト計算を行って、最も少ない符号量となる画素ブロックサイズ及び直交変換処理の組み合わせを決定し、前記符号化対象ブロックの差分信号に対する前記切替手段の切り替えを制御する手段を有することを特徴とする、請求項１に記載の符号化装置。
【請求項３】
前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、
前記切替手段は、前記第１の直交変換処理及び前記第２の直交変換処理の前後に切替スイッチを有し、
前記コスト算出手段は、前記差分信号の分散値をアクティビティの値として算出して分散値が所定の閾値より大きい場合にのみ前記第２の直交変換処理を選択するか、又は前記差分信号内の隣接画素間の相関係数をアクティビティの値として算出して相関係数が所定の閾値より小さい場合にのみ前記第２の直交変換処理を選択するよう前記切替スイッチを制御する比較手段を有することを特徴とする、請求項１又は２に記載の符号化装置。
【請求項４】
前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、
前記切替手段は、前記第１の直交変換処理及び前記第２の直交変換処理の後段に切替スイッチを有し、
前記コスト算出手段は、
前記第１の直交変換処理によるマクロブロックの直交変換係数のエネルギー分布を算出してエネルギー集中度を算出する第１マクロブロックエネルギー集中度算出手段と、
前記第２の直交変換処理によるマクロブロックの直交変換係数のエネルギー分布を算出してエネルギー集中度を算出する第２マクロブロックエネルギー集中度算出手段と、
各々で算出したエネルギー集中度を比較して、エネルギー集中度の高いほうの前記第１の直交変換処理又は前記第２の直交変換処理のいずれかを選択するよう前記切替スイッチを制御する手段とを有することを特徴とする、請求項１又は２に記載の符号化装置。
【請求項５】
前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、
前記切替手段は、前記第１の直交変換処理の後段処理としての量子化及びエントロピー符号化処理を施す第１信号系統と、前記第２の直交変換処理の後段処理としての量子化及びエントロピー符号化処理を施す第２信号系統の後段に切替スイッチを有し、
前記コスト算出手段は、
前記第１信号系統の符号化値の歪み量を算出する第１歪み量算出手段と、
前記第２信号系統の符号化値の歪み量を算出する第２歪み量算出手段と、
各々で算出した歪み量について、レート歪み最適化法に基づくコスト値を比較して効率の良いほうの前記第１信号系統又は前記第２信号系統のいずれかを選択するよう前記切替スイッチを制御する手段とを有することを特徴とする、請求項１又は２に記載の符号化装置。
【請求項６】
前記切替手段は、輝度信号及び色差信号のいずれか一方の差分信号に対してのみ前記第１の直交変換処理を施して符号化するか、又は前記第２の直交変換処理を施して符号化するかの切り替えを行う手段を有することを特徴とする、請求項１〜５のいずれか一項に記載の符号化装置。
【請求項７】
フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化することによって符号化されたフレーム画像を復号する復号装置であって、
前記請求項１〜６のいずれか一項に記載の符号化装置における比較手段によって生成される、前記第１の直交変換処理及び前記第２の直交変換処理のいずれを選択したかを表す制御信号を取得して、符号化された当該フレーム画像を復号する手段を有することを特徴とする復号装置。
【請求項８】
フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置として構成するコンピュータに、
前記差分信号に対して第１の直交変換処理を施して符号化するか、又は前記差分信号に対して前記第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理を施して符号化するかを切り替えるステップと、
前記フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに当該切り替えを制御するステップと、
を実行させるためのプログラム。
【請求項９】
フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化することによって符号化されたフレーム画像を復号する復号装置として構成するコンピュータに、
前記請求項１〜６のいずれか一項に記載の符号化装置における比較手段によって生成される、前記第１の直交変換処理及び前記第２の直交変換処理のいずれを選択したかを表す制御信号を取得するステップと、
該制御信号に基づいて、前記符号化装置によって符号化された当該フレーム画像を復号するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化技術に関し、特に、非可逆な符号化方式による画像処理装置、符号化装置、復号装置及びプログラムに関する。
【背景技術】
【０００２】
フレーム画像の画素値を直交変換によって直交変換係数で表し、この直交変換係数に対して必要に応じて量子化及びエントロピー符号化を施すことによって、少ない信号表現で品質を損なわずに、或いは最小限の品質の低下によって信号を伝送する画像符号化技術が知られている。特に、映像符号化の分野などで利用される技術である。
【０００３】
代表的な直交変換としては、ＤＦＴ（離散フーリエ変換）、ＤＣＴ（離散コサイン変換）、ＤＷＴ（離散ウェーブレット変換）が知られている。特に、小領域にフレーム画像を分割して直交変換を施すブロックベースの映像符号化では、ＤＣＴが最も広く用いられている。
【０００４】
広く用いられている映像符号化としてＭＰＥＧが知られている。ＭＰＥＧ−２やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４は、フレーム画像を小領域に分割し、例えば８×８画素ブロックごとに直交変換を施し、各直交変換係数を量子化し、エントロピー符号化を施す。このような符号化では、フレーム画像の画像信号と直交変換の特性からＤＣＴが広く用いられている。
【０００５】
従来からの動画像用の符号化装置（例としてＭＰＥＧ−４ＡＶＣ／Ｈ．２６４）の構成例を図１６に示す。
【０００６】
［符号化装置］
一般的に動画像の符号化では動き補償予測、直交変換、量子化、エントロピー符号化によって画像を符号化する。動き補償予測や画面内予測を用いる符号化方式の場合、復号された画像を予測に用いるため符号化装置内に復号装置を内包している。
【０００７】
従来からの符号化装置１００は、ブロック化部１０１と、減算部１０２と、整数精度変換部１０５（直交変換部１０３及び量子化部１０４からなる）と、整数精度逆変換部１０８（逆量子化部１０６及び逆直交変換部１０７からなる）と、加算部１０９と、デブロッキングフィルタ１２０と、メモリ１２１と、フレーム内予測部１２２と、動き補償予測部１２３と、切替スイッチ１２４と、スキャニング部１２５と、エントロピー符号化部１２６とを備える。
【０００８】
ブロック化部１０１は、フレーム画像を入力してバッファ（図示せず）に保持し、このバッファから１６×１６画素のマクロブロックに分割し、このマクロブロックを８×８画素に分割するとともに、更に４×４画素に分割して予め定めた順で減算部１０２及び動き補償予測部１２３に送出する。尚、マクロブロックの分割は、８×８画素及び４×４画素に分割した小領域の画素ブロック単位で処理する例を代表的に説明し、以下、符号化対象ブロックと称する。
【０００９】
フレーム間予測の場合、動き補償予測部１２３は、ブロック化部１０１から供給される符号化対象ブロックに対して、メモリ１２１から取得する参照画像を用いて動きベクトル検出を行い、得られた動きベクトルを用いて動き補償を行い、その結果得られた予測画像を、切替スイッチ１２４を介して減算部１０２及び加算部１０９に出力する。動きベクトルの情報は、エントロピー符号化部１２６に送出される。
【００１０】
フレーム内予測の場合、フレーム内予測部１２２は、メモリ１２１から取得する参照画像を用いて外挿補間を行って、その結果得られた予測画像を、切替スイッチ１２４を介して減算部１０２及び加算部１０９に出力する。
【００１１】
以下、フレーム間予測及びフレーム内予測のいずれも同様の処理が施されるため、フレーム間予測の場合を説明する。以下、代表的に、４×４ブロックの符号化について説明するが、８×８ブロックや１６×１６ブロックによる符号化も同様である。
【００１２】
減算部１０２は、ブロック化部１０１からの符号化対象ブロックと、動き補償予測部１２３からの予測画像との差分信号を生成して直交変換部１０３に送出する。
【００１３】
直交変換部１０３は、減算部１０２から供給される４×４ブロックの差分信号に対して直交変換（整数精度ＤＣＴ）を施し、量子化部１０４に送出する。
【００１４】
量子化部１０４は、直交変換部１０３から供給される４×４ブロックの差分信号の直交変換係数に対応する配列で量子化を行うための正規化係数マトリクス（量子化演算に用いるＭＦ：Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ  Ｆａｃｔｏｒのマトリクス）を用いて、４×４ブロックの差分信号の直交変換係数に対して量子化処理を行い、得られた量子化ブロックを、スキャニング部１２５を経てエントロピー符号化部１２６へ送出するとともに、逆量子化部１０６に送出する。
【００１５】
スキャニング部１２５は、直交変換（整数精度ＤＣＴ）に対応する予め定めたスキャニングオーダーで量子化ブロックの読出しを行い、エントロピー符号化部１２６へ送出する。
【００１６】
エントロピー符号化部１２６は、量子化部１０４から供給される量子化ブロックについてエントロピー符号化処理（適応的な可変長符号化処理や算術符号化処理を選択可能）を施しビットストリームを生成するとともに、動き補償予測部１２３から供給される動きベクトルの情報もエントロピー符号化処理を施して出力する。
【００１７】
逆量子化部１０６は、量子化部１０４から供給される量子化ブロックについて逆量子化処理を行って逆直交変換部１０７に出力する。
【００１８】
逆直交変換部１０７は、逆量子化部１０６から供給される直交変換係数に対して逆直交変換（整数精度ＩＤＣＴ）を施し、加算部１０９に出力する。
【００１９】
加算部１０９では、逆直交変換部１０７から得られる逆直交変換した信号と、動き補償予測部１２３を経て得られる予測画像とを加算処理して復号画像を生成し、ブロック歪みを抑制するデブロッキングフィルタ１２０を介してメモリ１２１に格納する。メモリ１２１に格納された画像は、フレーム間予測における参照画像、フレーム内予測における参照画像として用いられる。
【００２０】
尚、切替スイッチ１２４は、画面内予測と画面間予測の切り替えに用いられる。
【００２１】
ところで、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、直交変換部１０３及び量子化部１０４、並びに逆量子化部１０６及び逆直交変換部１０７は、それぞれ一括処理されるため、本説明では、それぞれ整数精度変換部１０５及び整数精度逆変換部１０８として図示している。
【００２２】
これは、直交変換と量子化を一括処理する際に、正規化係数が用いられるためである。即ち、直交変換行列で４×４ブロックの差分信号を周波数係数列に変換した値に対して正規化係数を乗じると本来の直交変換係数列となるが、この正規化係数に対応させた量子化パラメータｑＰを予め規定しておき、量子化ステップの対数と量子化パラメータｑＰが比例関係（量子化パラメータｑＰが６増えると量子化ステップが２倍）となるように、予め正規化係数マトリクスの要素位置ごとの値（後述するα，β，γごとの値）を量子化係数として規定しておく。
【００２３】
逆直交変換と逆量子化も同様な逆処理で一括処理される。
【００２４】
次に、従来からの対応する復号装置（例としてＭＰＥＧ−４ＡＶＣ／Ｈ．２６４）の構成例を図１７に示す。上記と同様、フレーム間予測及びフレーム内予測のいずれも同様の処理が施されるため、フレーム間予測の場合を説明する。
【００２５】
［復号装置］
従来からの復号装置３００は、エントロピー復号部３０１と、スキャニング部３０２と、整数精度逆変換部３０５（逆量子化部３０３及び逆直交変換部３０４からなる）と、加算部３０６と、デブロッキングフィルタ３０７と、メモリ３０８と、フレーム内予測部３０９と、動き補償予測部３１０と、切替スイッチ３１１と、並べ替え部３１２とを備える。以下、代表的に、４×４ブロックの符号化について説明するが、８×８ブロックや１６×１６ブロックによる符号化も同様である。
【００２６】
エントロピー復号部３０１は、符号化されたビットストリームを入力して、エントロピー復号処理（符号化装置側で指定される適応的な可変長復号処理や算術符号化の復号処理）を施し、符号化装置側で指定されるスキャニングオーダーで量子化ブロックを読み出し、
逆量子化部３０３に送出するとともに、動きベクトルの情報を復号して動き補償予測部３１０に送出する。
【００２７】
逆量子化部３０３は、エントロピー復号部３０１から供給される量子化ブロックの量子化信号に対して逆量子化処理を施して４×４ブロックの差分信号の直交変換係数を取得し、逆直交変換部３０４に送出する。
【００２８】
逆直交変換部３０４は、逆量子化部３０３から供給される４×４ブロックの差分信号の直交変換係数に対して、逆直交変換（整数精度ＩＤＣＴ）を施し、得られる当該４×４ブロックの差分信号を加算部３０６に送出する。
【００２９】
動き補償予測部３１０は、メモリ３１０から得られる参照画像とエントロピー復号部３０１から得られる動きベクトルとを用いて予測画像を生成し、切替スイッチ３１１を介して加算部３０６に出力する。
【００３０】
加算部３０６は、逆直交変換部３０４から得られる当該差分信号と、動き補償予測部３１０から供給される予測画像とを加算して４×４画素ブロックの画像信号を復元し、復元した画像信号を、ブロック歪みを抑制するデブロッキングフィルタ３０７を介して並べ替え部３１２に送出するとともに、メモリ３０８に格納する。
【００３１】
並べ替え部３１２は、復元した画像信号を表示信号として並べ替えを行う。
【００３２】
整数精度逆変換部３０５の逆直交変換と逆量子化は、符号化装置側と同様な逆処理で一括処理される。
【００３３】
このように、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、動き補償予測又は画面内予測の予測信号と、ブロック分割された画像信号との差分信号に対して、整数精度ＤＣＴの直交変換（整数精度ＩＤＣＴの逆直交変換）が採用されている。
【００３４】
画像信号を周波数領域で表現すると、一般的に低域にエネルギーが集中することが知られており、ＤＣＴを使用することで低周波領域にエネルギーを集中させることができ、例えば８×８画素に対応する符号化対象ブロックでＤＣＴを施した場合、６４個の直交変換係数の信号を形成することができるが、高周波成分の信号が０又は０に近い数値になりやすい。そこで、映像符号化では、このように０と分かっている直交変換係数の信号をわざわざ伝送する必要がないため、高周波成分以外の直交変換係数の信号だけを伝送することで伝送信号の圧縮を実現する。
【００３５】
しかしながら、例えば吹雪や水しぶき、或いは極端に複雑なテクスチャなどの画像信号は、高周波成分の信号を多く含み、ＤＣＴを用いて周波数領域の信号に変換してもエネルギー集中が十分ではなく、符号化効率が低下する場合があり、復号した際の画像信号の劣化につながることもあることが知られている。
【００３６】
このために、ＤＣＴベースの符号化方式では符号化が困難な画像信号を効率的に符号化する技術が望まれている。
【００３７】
一方、高周波成分の信号に対し良好なエネルギー集中度を示す直交変換としてＤＳＴ（離散コサイン変換）が知られている。ＤＣＴとＤＳＴは、ＤＣＴの変換核がコサイン（ｃｏｓ）で構成されるのに対して、ＤＳＴの変換核がサイン(ｓｉｎ)である点だけが相違する。だたし、ＤＣＴは、ｃｏｓ(０)が直流成分を表すことができるのに対し、ＤＳＴはｓｉｎ(０)が常に０となるために、直流成分を単独の直交変換係数として表すことができないという性質がある。このため、ＤＣＴは、直流成分を多く持つ画像信号に対してエネルギー集中度が高くなり、且つ１つの直交変換係数で直流成分を表すことができるが、ＤＳＴは、直流成分を多く持つ画像信号に対してエネルギー分散を生じ、複数の直交変換係数で直流成分を表すことになる。
【００３８】
このような性質の違いから、一般的に低周波成分を多く含む画像信号の符号化では、ＤＣＴが使用され、ＤＳＴが使用されることは極めて稀である。
【００３９】
ところで、このＤＣＴとＤＳＴの性質の違いを利用して、フレーム画像を小領域のブロックに分割し、このブロックをＤＣＴとＤＳＴの双方で直交変換を施し、ブロック内の画素間相関の強さを、ＤＣＴとＤＳＴの各係数の０ランレングスの長さで比較して、いずれが適切な直交変換であるかを判別して、量子化するための直交変換係数を決定する技術が開示されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【００４０】
【特許文献１】特開平５−２２７１５号公報
【発明の概要】
【発明が解決しようとする課題】
【００４１】
前述した特許文献１の技術では、符号化対象ブロック内の画素間相関の強さを、ＤＣＴとＤＳＴとの係数で、単純な０ランレングスの長さで比較し、差分信号を符号化するものではなく、符号化対象ブロックの画素値に対して直交変換を施して得られる直交変換係数を量子化して符号化する技術である。
【００４２】
しかしながら、ＤＣＴとＤＳＴの各係数で、単純な０ランレングスの長さで比較するよりも、確実に符号化時の影響を反映させたブロック内の画素間相関の強さに応じた最適な切り替えとしては改善の余地がある。
【００４３】
また、上述したように、映像符号化では、動き補償予測技術や画面内予測技術などの発展により現在の符号化方式において実際に直交変換処理の対象となる信号は、これらの差分信号である。例えば、ＭＰＥＧでは、この差分信号に対してＤＣＴの直交変換を行うことが多い。特に、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、動き補償予測又は画面内予測の予測信号と、ブロック分割された画像信号との差分信号（差分信号）に対して、整数精度ＤＣＴの直交変換が採用されている。
【００４４】
この整数精度ＤＣＴは、後述する変換行列を２次元の画素ブロックに対して水平（この変換行列に入力して直交変換を実行）、垂直（この変換行列を転置した行列に入力して直交変換を実行）に１回ずつ適用することで２次元の直交変換係数を求める。この整数精度ＤＣＴの直交変換は、符号化／復号時の演算精度の違いによる演算誤差（量子化誤差）を極力抑えるべく、正規化係数を用いて量子化演算と一括して処理される。尚、正規化係数は、整数精度直交変換の前後で信号のエネルギーの大きさ（直交変換係数の２乗の総和）が変化しないように補正する係数である。
【００４５】
そこで、現行の符号化技術におけるＭＰＥＧ−４ＡＶＣ／Ｈ．２６４に対して、前述した特許文献１の技術を適用した場合、例えば、図１８に示すような構成が考えられる。
【００４６】
即ち、図１８は、図１６に示す符号装置１００における直交変換部１０３において、入力される４×４ブロックの差分信号に対して整数精度ＤＣＴを施すＤＣＴ１０３１ａ及び整数精度ＤＳＴを施すＤＳＴ１０３１ｂと、ＤＣＴ１０３１ａとＤＳＴ１０３１ｂの各係数に対して、単純な０ランレングスの長さで比較して量子化するための直交変換係数を決定する０ランレングス比較部１０３２と、決定された直交変換係数を量子化するべく切り替えを行う切替スイッチ１０３３とを構成した場合を想定した図である。
【００４７】
上記の差分信号に対してＤＣＴを施した結果は、画素ブロックに直接的にＤＣＴを施した場合よりも、直流成分のエネルギーが減少し、全体的なエネルギー集中度が減少する。一方で、上記の差分信号に対してＤＳＴを施した結果は、画素ブロックに直接的にＤＳＴを施した場合よりも、全体的なエネルギー集中度が増大する。
【００４８】
従って、上記の差分信号に対してＤＣＴとＤＳＴの双方で直交変換を施し、ＤＣＴとＤＳＴの各係数の０ランレングスの長さで単純に比較するやり方では、高域に存在する“はずれ値”があるとその影響を受けてしまい必ずしも安定した符号化効率が得られないので、より符号化効率を確実に高める技法が望まれる。
【００４９】
本発明の目的は、上述のような問題に鑑みて、最適な直交変換係数を判断して符号化する符号化装置、この符号化した信号を復号する復号装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００５０】
本発明では、ＤＣＴとＤＳＴの性質の違いをより的確に利用して符号化効率を高める。１つの例では、ＤＣＴとＤＳＴのエネルギーの総和で比較して、視覚感度の高い信号成分のエネルギーの集中度が高いほうを選択することにより、任意の画像に対して適応した符号化を符号量も鑑みて選択することができ、結果として従来技術よりも符号量も少なく画質もよくなる。
即ち、本発明による符号化装置は、フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置であって、前記差分信号に対して第１の直交変換処理を施して符号化するか、又は前記差分信号に対して前記第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理を施して符号化するかを切り替える切替手段と、前記フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに前記切替手段の切り替えを制御するコスト算出手段と、を備えることを特徴とする。
【００５１】
また、本発明による符号化装置において、前記コスト算出手段は、前記符号化対象ブロックに対して異なる画素ブロックサイズごとの差分信号についてそれぞれコスト計算を行って、最も少ない符号量となる画素ブロックサイズ及び直交変換処理の組み合わせを決定し、前記符号化対象ブロックの差分信号に対する前記切替手段の切り替えを制御する手段を有することを特徴とする。
【００５２】
また、本発明による符号化装置において、前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、前記切替手段は、前記第１の直交変換処理及び前記第２の直交変換処理の前後に切替スイッチを有し、前記コスト算出手段は、前記差分信号の分散値をアクティビティの値として算出して分散値が所定の閾値より大きい場合にのみ前記第２の直交変換処理を選択するか、又は前記差分信号内の隣接画素間の相関係数をアクティビティの値として算出して相関係数が所定の閾値より小さい場合にのみ前記第２の直交変換処理を選択するよう前記切替スイッチを制御する比較手段を有することを特徴とする。
【００５３】
また、本発明による符号化装置において、前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、前記切替手段は、前記第１の直交変換処理及び前記第２の直交変換処理の後段に切替スイッチを有し、前記コスト算出手段は、前記第１の直交変換処理によるマクロブロックの直交変換係数のエネルギー分布を算出してエネルギー集中度を算出する第１マクロブロックエネルギー集中度算出手段と、前記第２の直交変換処理によるマクロブロックの直交変換係数のエネルギー分布を算出してエネルギー集中度を算出する第２マクロブロックエネルギー集中度算出手段と、各々で算出したエネルギー集中度を比較して、エネルギー集中度の高いほうの前記第１の直交変換処理又は前記第２の直交変換処理のいずれかを選択するよう前記切替スイッチを制御する手段とを有することを特徴とする。
【００５４】
また、本発明による符号化装置において、前記第１の直交変換処理は、前記第２の直交変換処理よりも少ない係数で直流成分を表現する基底に基づいており、前記切替手段は、前記第１の直交変換処理の後段処理としての量子化及びエントロピー符号化処理を施す第１信号系統と、前記第２の直交変換処理の後段処理としての量子化及びエントロピー符号化処理を施す第２信号系統の後段に切替スイッチを有し、前記コスト算出手段は、前記第１信号系統の符号化値の歪み量を算出する第１歪み量算出手段と、前記第２信号系統の符号化値の歪み量を算出する第２歪み量算出手段と、各々で算出した歪み量について、レート歪み最適化法に基づくコスト値を比較して効率の良いほうの前記第１信号系統又は前記第２信号系統のいずれかを選択するよう前記切替スイッチを制御する手段とを有することを特徴とする。
【００５５】
また、本発明による符号化装置において、前記切替手段は、輝度信号及び色差信号のいずれか一方の差分信号に対してのみ前記第１の直交変換処理を施して符号化するか、又は前記第２の直交変換処理を施して符号化するかの切り替えを行う手段を有することを特徴とする。
【００５６】
また、本発明による符号化装置において、フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化することによって符号化されたフレーム画像を復号する復号装置であって、本発明の符号化装置における比較手段によって生成される、前記第１の直交変換処理及び前記第２の直交変換処理のいずれを選択したかを表す制御信号を取得して、符号化された当該フレーム画像を復号する手段を有することを特徴とする。
【００５７】
また、本発明による符号化装置及び復号装置は、コンピュータとして構成することができ、各符号化及び復号処理を実行するプログラムとしての特徴を有する。
【発明の効果】
【００５８】
本発明によれば、ＤＣＴベースの符号化方式ではエネルギー集中度が十分でないような画像信号に対しても、最適な直交変換係数を判断して符号化及び復号することが可能となる。
【図面の簡単な説明】
【００５９】
【図１】本発明による一実施例の符号化装置の概略図である。
【図２】本発明による一実施例の復号装置の概略図である。
【図３】本発明による一実施例のＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）に対応する整数精度変換部における直交変換部の構成を示す図である。
【図４】本発明による一実施例のＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）に対応する整数精度変換部における直交変換部の構成を示す図である。
【図５】本発明による一実施例のＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）に対応する構成を示す図である。
【図６】本発明による一実施例のＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の双方に適用可能な整数精度逆変換部における逆直交変換部の構成を示す図である。
【図７】本発明による一実施例のＤＣＴ及びＤＳＴの整数精度の変換行列の例を示す図である。
【図８】本発明による一実施例の量子化部の構成を示す図である。
【図９】本発明による一実施例の逆量子化部の構成を示す図である。
【図１０】本発明による一実施例の正規化係数マトリクスの例を示す図である。
【図１１】本発明による一実施例の量子化係数の例を示す図である。
【図１２】本発明による一実施例のＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）の変形例に対応する整数精度変換部における直交変換部の構成を示す図である。
【図１３】本発明による一実施例のＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の変形例に対応する整数精度変換部における直交変換部の構成を示す図である。
【図１４】本発明による一実施例のＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）の変形例に対応する構成を示す図である。
【図１５】本発明による一実施例の４×４ブロックと８×８ブロックの双方の符号化処理についてコスト計算する処理例を示す図である。
【図１６】従来からの動画像用の符号化装置（例としてＭＰＥＧ−４ＡＶＣ／Ｈ．２６４）の構成例を示す図である。
【図１７】従来からの対応する復号装置（例としてＭＰＥＧ−４ＡＶＣ／Ｈ．２６４）の構成例を示す図である。
【図１８】ＤＣＴとＤＳＴの各係数に対して、０ランレングスの長さで比較して切り替えを行う例である。
【発明を実施するための形態】
【００６０】
以下、本発明による一実施例の符号化装置１０及び復号装置３０を説明する。
【００６１】
本発明による符号化装置１０は、フレーム画像を小領域に分割した符号化対象ブロックに対して予測画像を生成し、該符号化対象ブロックと前記予測画像の差分信号を符号化する符号化装置であり、この差分信号に対して第１の直交変換処理（例えば、ＤＣＴ)を施して符号化するか、又は当該差分信号に対して第１の直交変換処理に対してｎ次の基底同士が直交関係にある第２の直交変換処理（例えば、ＤＳＴ)を施して符号化するかを切り替える切替スイッチと、フレーム画像に対して符号化を行う場合のコスト計算を行って、より少ない符号量となるよう前記差分信号ごとに切替スイッチの切り替えを制御するコスト算出部とを備える。第１の直交変換処理（例えば、ＤＣＴ)は、第２の直交変換処理（例えば、ＤＳＴ)よりも少ない係数で直流成分を表現する基底に基づいており、例えば、このＤＣＴ及びＤＳＴの選択基準の方法例として、ＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法１）、画素値レベルでアクティビティを比較して決定する方法（技法２）、及び、ＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）がある。いずれの場合も、最適な直交変換係数を判断して符号化することができる。
尚、レート歪み最適化法に基づくコスト算出は、例えば、
http://www.tom.comm.waseda.ac.jp/~tsukuba/source/avm20050609.pdf
を参照されたい。
【００６２】
符号化装置１０では、各符号化した伝送信号に、ＤＣＴによる直交変換であるかＤＳＴによる直交変換であるかを識別可能な直交変換種別を表す制御信号（例えば、１ビット）を生成する。この制御信号は、選択した直交変換係数列のヘッダ情報として付加して後段の処理へと伝送するやり方と、制御信号を付加情報として別途伝送するやり方とがある。
【００６３】
選択した直交変換係数列のヘッダ情報として付加して後段の処理へと伝送するやり方の場合、局部復号時や復号装置３０では、この制御信号に従って続いて伝送される直交変換係数を、当該制御信号によって示される直交変換種別に応じてＩＤＣＴ又はＩＤＳＴの直交変換処理を切替える。
【００６４】
制御信号を付加情報として別途伝送するやり方では、この制御信号に応じて処理対象の直交変換係数に対応して適応的に処理する。
【００６５】
以下の説明では、制御信号を付加情報として別途伝送するやり方で説明することで、選択した直交変換係数列のヘッダ情報として付加して後段の処理へと伝送するやり方も容易に理解されるようになる。
【００６６】
図１は、本発明による一実施例の符号化装置１０の概略図である。前述した図１６に示す従来からの符号化装置１００と同様な構成要素には同一の参照番号を付しており、これらの説明は省略する。
【００６７】
本実施例の符号化装置１０は、従来の符号化装置１００に対して、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）を適するべく、整数精度変換部１０５（直交変換部１０３及び量子化部１０４）の代わりに、直交変換種別の選択のための制御信号を扱う整数精度変換部１５（直交変換部１３及び量子化部１４）が設けられ、整数精度逆変換部１０８（逆量子化部１０６及び逆直交変換部１０７）の代わりに、直交変換種別の選択のための制御信号を扱う整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）が設けられている点で相違する。
【００６８】
また、図２は、本発明による一実施例の復号装置３０の概略図である。前述した図１８に示す従来からの復号装置３００と同様な構成要素には同一の参照番号を付しており、これらの説明は省略する。
【００６９】
本実施例の復号装置３０は、従来の復号装置３００に対して、画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）を適するべく、整数精度逆変換部３０５（逆量子化部３０３及び逆直交変換部３０４）の代わりに、直交変換種別の選択のための制御信号を扱う整数精度逆変換部３５（逆量子化部３３及び逆直交変換部３４）が設けられている点で相違する。
【００７０】
図３は、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）に対応する整数精度変換部１５における直交変換部１３の構成を示しており、図４は、ＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）に対応する整数精度変換部１５における直交変換部１３の構成を示している。
【００７１】
また、図６は、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の双方に適用可能な整数精度逆変換部１８における逆直交変換部１７を示している。
【００７２】
更に、図８は、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の双方に適用可能な整数精度変換部１５における量子化部１４の構成を示している。
【００７３】
更に、図９は、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）の双方に適用可能な整数精度逆変換部３５における逆量子化部３３の構成を示している。
【００７４】
尚、復号装置３０における整数精度逆変換部３５（逆量子化部３３及び逆直交変換部３４）は、整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）と同様に動作する。
【００７５】
以下、具体的にそれぞれのＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）及びＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）について順に説明する。
【００７６】
［技法１］
図３（Ａ）を参照するに、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する方法（技法１）に対応する直交変換部１３は、バッファ１３１と、切替スイッチ１３２ａ及び１３２ｂと、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂと、コスト算出部１３４とを備える。
【００７７】
ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの処理は、図７に示すような整数精度の変換行列が用いられる。図７は、本発明による一実施例のＤＣＴ及びＤＳＴの整数精度の変換行列の例を示している。
【００７８】
ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、動き補償予測又は画面内予測の予測画像の信号と、ブロック分割された符号化対象ブロックの画像信号との差分信号に対して、整数精度ＤＣＴの直交変換が採用されている。
【００７９】
整数精度ＤＣＴの変換行列の基底と、整数精度ＤＳＴの変換行列の基底は、それぞれｎ次の基底同士が直交関係にあることが重要である。例えば、整数精度ＤＣＴの変換行列では、０次（１行目）が［１  １  １  １］、１次（２行目）が［２  １  −１  −２］、２次（３行目）が［１  −１  −１  １］、３次（４行目）が［１  −２  ２  −１］であり、整数精度ＤＳＴの変換行列では、１次（１行目）が［１  ２  ２  １］、２次（２行目）が［１  １  −１  −１］、３次（３行目）が［２  −１  −１  ２］、４次（４行目）が［１  −１  １  −１］であるから、整数精度ＤＣＴの変換行列の１次の［２  １  −１  −２］と、整数精度ＤＳＴの変換行列の１次の［１  ２  ２  １］が直交関係にある。
【００８０】
また、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４では、４×４直交変換のほかに、８×８直交変換を用いることもできるが、この場合も同様に、整数精度ＤＣＴと整数精度ＤＳＴを定義する。ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４以外の直交変換を用いる場合も、同様に基底ごとに互いに直交関係にある２種類の直交変換の変換行列を規定することができる。
【００８１】
本実施例では、基底ごとに互いに直交関係にある２種類の直交変換として、ＤＣＴ（整数精度ＤＣＴ）及びＤＳＴ（整数精度ＤＳＴ）を併用するものとして説明するが、基底ごとに互いに直交関係にある２種類の直交変換であれば、同様の効果を得ることができる。
【００８２】
図３（Ａ）に示す（技法１）における直交変換部１３は、減算部１０２から供給される差分信号をバッファ１３１に保持して、コスト算出部１３４によって、バッファ１３１から処理対象の差分信号を取り出し、そのアクティビティの値からＤＣＴ１３３ａ及びＤＳＴ１３３ｂのいずれかを選択するよう制御信号を発生させ、切替スイッチ１３２ａ及び１３２ｂで切り替えを行うように構成される。
【００８３】
図３（Ｂ）に示すように、コスト算出部１３４は、バッファ１３１から処理対象の差分信号を取り出し、アクティビティの値を算出するアクティビティ算出部１３４１と、このアクティビティの値と予め定めた閾値と比較してＤＣＴ１３３ａ及びＤＳＴ１３３ｂのいずれかを選択するよう制御信号を発生する比較部１３４２とを備える。
【００８４】
コスト算出部１３４は、例えば入力信号（差分信号）の分散値をアクティビティの値として算出して分散値が所定の閾値より大きい場合にのみＤＳＴを選択するか、又は隣接画素間の相関係数をアクティビティの値として算出して相関係数が所定の閾値より小さい場合にのみＤＳＴを選択するように構成される。
【００８５】
これにより、簡便な方法として、入力信号（差分信号）を直交変換前に分析していずれの直交変換を用いるかを決定することができ、アクティビティ算出よりも処理コストが大きいＤＣＴ１３３ａ及びＤＳＴ１３３ｂの並列処理が不要となり、処理コストの低減を図ることができる。
【００８６】
図８は、本発明による一実施例の量子化部の構成を示す図である。図８を参照するに、整数精度変換部１５における量子化部１４は、正規化係数マトリクス記憶部１４１１と、マトリクス読出制御部１４１２と、量子化ステップ算出部１４１３と、量子化演算部１４１４とを備える。量子化部１４の各構成は、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４で採用されている処理構成とほぼ同様であるが、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの各々用の正規化係数マトリクスを正規化係数マトリクス記憶部１４１１に記憶しておき、マトリクス読出制御部１４１２が、直交変換部１３からの直交変換種別の選択のための制御信号に従って各直交変換に対応する正規化係数マトリクスを読み出すように構成している点で相違する。尚、この制御信号は、ヘッダ情報として付加される場合には、入力される処理対象の信号から抽出する。
【００８７】
量子化ステップ算出部１４１３は、逆量子化でも共通に用いる予め定めた量子化パラメータｑＰに従う量子化係数を正規化係数マトリクスから読み出して量子化ステップを算出し、量子化演算部１４１４が、入力される直交変換係数の信号を、算出した量子化ステップで除算して量子化ブロックの量子化信号を生成して外部に送出する。
【００８８】
正規化係数マトリクスの例、及び量子化係数の例を、それぞれ図１０及び図１１に示す。この場合の量子化ステップは、量子化パラメータｑＰを６で除算した剰余（０〜５の値）で定まる要素位置ごとの値（α，β，γごとの値）に対して当該除算した商でビット左シフトさせて得られる値に相当する（ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式と同様）。
【００８９】
このように、（技法１）によれば、処理コストを低減させつつ、最適な直交変換係数を判断して符号化することができる。
【００９０】
尚、符号化装置１０の局部復号の整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）の動作は、図６及び図９に示すように簡単な構成で処理コストを増大させることなく実現することができる。
【００９１】
図９は、本発明による一実施例の逆量子化部の構成を示す図である。図９を参照するに、整数精度逆変換部１８における逆量子化部１６は、正規化係数マトリクス記憶部１６１１と、マトリクス読出制御部１６１２と、量子化ステップ算出部１６１３と、逆量子化演算部１６１４とを備える。逆量子化部１８の各構成は、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４で採用されている処理構成とほぼ同様であるが、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの各々用の正規化係数マトリクスを正規化係数マトリクス記憶部１６１１に記憶しておき、マトリクス読出制御部１６１２が、直交変換部１３からの直交変換種別の選択のための制御信号に従って各直交変換に対応する正規化係数マトリクスを読み出すように構成している点で相違する。尚、この制御信号は、ヘッダ情報として付加される場合には、入力される処理対象の信号から抽出する。
【００９２】
量子化ステップ算出部１６１３は、量子化でも共通に用いる予め定めた量子化パラメータｑＰに従う量子化係数を正規化係数マトリクスから読み出して量子化ステップを算出し、量子化演算部１６１４が、入力される量子化ブロックの量子化信号を、算出した量子化ステップで乗算して直交変換係数の信号を生成して外部に送出する。
【００９３】
図６に示す逆直交変換部１７は、直交変換部１３からの制御信号に従って、逆量子化部１６から供給される対応する逆直交変換のＩＤＣＴ１７１ａ又はＩＤＳＴ１７１ｂのいずれかを選択する切替スイッチ１７２ａ及び１７２ｂで切り替えを行って、適応的に差分信号を復元する。
【００９４】
整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）の動作は、復号装置３０における整数精度逆変換部３５（逆量子化部３３及び逆直交変換部３４）の動作も同様である。
【００９５】
従って、（技法１）によれば、処理コストを低減させつつ、最適な直交変換係数を判断して符号化することができる。
【００９６】
次に、ＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）について説明する。
【００９７】
［技法２］
図４（Ａ）を参照するに、ＤＣＴ及びＤＳＴの双方の直交変換係数のエネルギー分布を算出して決定する方法（技法２）に対応する直交変換部１３は、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂと、バッファ１３４ａ，１３４ｂと、切替スイッチ１３５と、コスト算出部１３６とを備える。
【００９８】
図４（Ａ）に示す（技法３）における直交変換部１３は、減算部１０２から供給される差分信号をＤＣＴ１３３ａ及びＤＳＴ１３３ｂにてそれぞれ直交変換を施し、それぞれバッファ１３４ａ，１３４ｂに格納するとともに、コスト算出部１３６によって、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの双方の直交変換係数のエネルギー分布からＤＣＴ１３３ａ及びＤＳＴ１３３ｂのいずれかを選択するよう制御信号を発生させ、切替スイッチ１３５でそれぞれのバッファ１３４ａ，１３４ｂからの読出しを制御して切替を行うように構成される。
【００９９】
図４（Ｂ）に示すように、コスト算出部１３６は、ＤＣＴ１３３ａのマクロブロックにおける直交変換係数のエネルギー分布を算出してエネルギー集中度を算出するマクロブロックエネルギー集中度算出部１３６１と、ＤＳＴ１３３ｂのマクロブロックにおける直交変換係数のエネルギー分布を算出してエネルギー集中度を算出するマクロブロックエネルギー集中度算出部１３６２と、マクロブロックエネルギー集中度算出部１３６１，１３６２の各々で算出したエネルギー集中度を比較して、エネルギー集中度の高いほうのＤＣＴ１３３ａ及びＤＳＴ１３３ｂのいずれかを選択するよう制御信号を発生する比較部１３６３とを備える。
【０１００】
尚、整数精度変換部１５における量子化部１４の構成は前述の図８の説明と同様であり、符号化装置１０の局部復号の整数精度逆変換部１８（逆量子化部１６及び逆直交変換部１７）の動作や復号装置３０における整数精度逆変換部３５（逆量子化部３３及び逆直交変換部３４）の動作も、前述の図６及び図９の説明と同様である。
【０１０１】
これにより、（技法２）によれば、（技法１）と比較してＤＣＴ１３３ａ及びＤＳＴ１３３ｂの並列処理が必要ではあるが、実際に処理した直交変換係数の値からそのエネルギー集中度を比較するため、（技法１）と比較して符号化効率が改善する。
【０１０２】
尚、（技法２）の変形例として、ＤＣＴ及びＤＳＴの選択を画素値レベルでアクティビティを比較して決定する代わりに、ＤＣＴ１３３ａ及び量子化部からなる信号系統と、ＤＳＴ１３３ｂ及び量子化部からなる信号系統の出力からマクロブロックにおけるエネルギー分布を算出してエネルギー集中度を算出してエネルギー集中度の高いほうの信号系統を選択するよう制御信号を発生するよう整数精度変換部１５を構成することもできる（図示せず）。
【０１０３】
上述した（技法１）及び（技法２）では、従来からのＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式の符号化装置３００に対して、整数精度変換部１５及び整数精度逆変換部１８，３５を組み替えるのみで、最適な直交変換係数を判断して符号化することができる。一方で、更に符号化効率を向上させたい場合に、ＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）があり、以下、説明する。
【０１０４】
図５は、ＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出し、その際のレート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する方法（技法３）に対応する構成を示している。図５（Ａ）に示すように、ＤＣＴ及びＤＳＴの双方の直交変換係数の量子化及びエントロピー符号化による符号量を算出するよう構成されたコスト算出処理ユニット１９は、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂと、量子化部１３７ａ，１３７ｂと、エントロピー符号化部１３８ａ，１３８ｂと、バッファ１３９ａ，１３９ｂと、切替スイッチ１４０と、コスト算出部１４１とを備える。
【０１０５】
コスト算出処理ユニット１９は、減算部１０２から供給される差分信号をＤＣＴ１３３ａ及びＤＳＴ１３３ｂにてそれぞれ直交変換を施し、さらに量子化部１３７a，１３７ｂによって、それぞれの直交変換ごとに量子化を施し、さらにエントロピー符号化部１３８ａ，１３８ｂによってそれぞれの量子化ブロックの量子化信号ごとにエントロピー符号化を施し、各符号化したビットストリーム信号（符号化値）をそれぞれバッファ１３９ａ，１３９ｂに格納するとともに、コスト算出部１４１によって、ＤＣＴ１３３ａ及びＤＳＴ１３３ｂの双方の信号系統における符号量からＤＣＴ１３３ａ及びＤＳＴ１３３ｂの信号系統のいずれかを選択するよう制御信号を発生させ、切替スイッチ１３５でそれぞれのバッファ１３９ａ，１３９ｂからの読出しを制御して切り替えを行うように構成される。
【０１０６】
図５（Ｂ）に示すように、コスト算出部１４１は、ＤＣＴ係数に基づく符号化値から歪み量を算出する歪み量算出部１４２１と、ＤＳＴ係数に基づく符号化値から歪み量を算出する歪み量算出部１４２２と、レート歪み最適化法に基づくコスト値を比較して効率の良いほうを選択する比較部１４２３とを備える。
【０１０７】
これにより、（技法３）によれば、（技法１）及び（技法２）と比較してＤＣＴ１３３ａ及びＤＳＴ１３３ｂからの各信号系統の並列処理が必要ではあるが、実際に処理した直交変換係数の値からその符号化コストと品質の効率によって比較するため、（技法１）及び（技法２）と比較して符号化効率が改善する。
【０１０８】
尚、当業者であれば、コスト算出処理ユニット１９を、前述した符号化装置１０（又は復号装置３０）に適用可能であることは上記の説明から理解される。
【０１０９】
図１２乃至図１４は、カラー画像信号の符号化を考慮した、上記（技法１）乃至（技法３）の各々における変形例である。上記と同様な構成要素には同一の参照番号を付している。カラー画像信号では、一般的に３つのコンポーネント信号（輝度信号及び色差信号）からなり、最も視覚的な影響の大きい輝度信号に情報量を持つように構成される。このような画像信号では、輝度信号を常にＤＣＴで直交変換を施し、色差信号を適応的に複数の直交変換処理から選択するように構成することで、視覚的な劣化を防止しつつ符号化効率を高めることができる。特に、この場合には、直交変換係数の量子化による劣化の性質の違いがコンポーネント信号間のディザリング効果を示すため、視覚的な影響が少なくなる。ただし、ディザリング効果等を得るための用途によっては、輝度信号に対してのみＤＣＴ及びＤＳＴの切り替えを行うよう構成することも考えられるため、輝度信号及び色差信号のいずれか一方の差分信号に対してのみＤＣＴ及びＤＳＴの切り替えを行うよう選択するように構成することもできる。
【０１１０】
例えば、図１２では、上記（技法１）に従う選択を、色差信号に対して行い、輝度信号に対しては、例えばＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式のままで適用する。つまり、輝度信号の差分信号については、バッファ１３１ｂで保持してタイミング調整を行い、その後ＤＣＴ１３３ａによって整数精度ＤＣＴを施し、その後、量子化部１４ａで量子化を施し、セレクタ２０に送出される。一方、色差信号の差分信号については、バッファ１３１で保持してタイミング調整を行い、その後ＤＣＴ１３３ａ又はＤＳＴ１３３ｂのいずれかで直交変換を施すべく、コスト算出部１３４によってコスト計算され、選択された直交変換係数に対して量子化部１４ｂで量子化を施し、セレクタ２０に送出される。セレクタ２０は、所定のスキャニングオーダーでスキャニングしてエントロピー符号化部１２６で符号化を行うよう、量子化部１４ａ，１４ｂから適宜選択して出力する。
【０１１１】
また、図１３では、上記（技法２）に従う選択を、色差信号に対して行い、輝度信号に対しては、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式のままで適用する。つまり、輝度信号の差分信号については、ＤＣＴ１３３ａによって整数精度ＤＣＴを施し、その後、バッファ１３４ｃで保持してタイミング調整を行い、量子化部１４ａで量子化を施し、セレクタ２０に送出される。一方、色差信号の差分信号については、ＤＣＴ１３３ａ又はＤＳＴ１３３ｂの双方で直交変換を施し、それぞれバッファ１３４ａ， １３４ｂで保持してタイミング調整を行い、その後ＤＣＴ１３３ａ又はＤＳＴ１３３ｂのいずれかの直交変換が最適であるかをコスト算出部１３４によってコスト計算され、選択された直交変換係数に対して量子化部１４ｂで量子化を施し、セレクタ２０に送出される。セレクタ２０は、所定のスキャニングオーダーでスキャニングしてエントロピー符号化部１２６で符号化を行うよう、量子化部１４ａ，１４ｂから適宜選択して出力する。
【０１１２】
また、図１４では、上記（技法３）に従う選択を、色差信号に対して行い、輝度信号に対しては、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式のままで適用する。つまり、輝度信号の差分信号については、ＤＣＴ１３３ａによって整数精度ＤＣＴを施し、その後、量子化部１３７aで量子化を施し、さらにエントロピー符号化部１３８ａでエントロピー符号化を施して、バッファ１３４ｃで保持してタイミング調整を行い、ビットストリーム生成部２１に送出する。一方、色差信号の差分信号については、ＤＣＴ１３３ａ又はＤＳＴ１３３ｂの双方で直交変換を施し、それぞれ量子化部１３７ａ， １３７ｂで量子化を施し、さらに、それぞれエントロピー符号化１３８ａ，１３８ｂを施して、バッファ１３９ａ，１３９ｂで保持してタイミング調整を行い、ＤＣＴ１３３ａ又はＤＳＴ１３３ｂの信号系統のいずれかが最適であるかをコスト算出部１４１によってコスト計算され、選択された信号系統に対してバッファ１３９ａ，１３９ｂからの読出し切り替えを行ってビットストリーム生成部２１に送出する。ビットストリーム生成部２１は、所定の映像フォーマットのビットストリームとなるよう調製して出力する。
【０１１３】
上記の説明では、４×４ブロックの符号化処理についてコスト計算して最適な直交変換（又は直交変換の信号系統）を選択する例について説明したが、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４の方式では、８×８ブロックの符号化処理もサポートされている。従って、本実施例の符号化装置１０において、４×４ブロックと８×８ブロックの双方の符号化処理についてコスト計算して最適な直交変換（又は直交変換の信号系統）を選択するように構成することもできる。
【０１１４】
最も好適なコスト算出において、符号化対象ブロックに対して異なる画素ブロックサイズごとの差分信号についてそれぞれコスト計算を行って、最も少ない符号量となる画素ブロックサイズ及び直交変換処理の組み合わせを決定し、符号化対象ブロックの差分信号に対する最適な直交変換（又は直交変換の信号系統）を選択するように切り替えを制御することである。つまり、４×４ブロックと８×８ブロックの双方の符号化処理についてコスト計算することは、前述したいずれの例でも適用可能であり、処理手順の典型例を図１５に示す。
【０１１５】
図１５を参照するに、（ステップ１）で、ブロック化部１０１によって、１６×１６画素マクロブロックから、８×８画素（８×８ブロック）に分割し、さらに、４×４画素（４×４ブロック）に再分割する例を説明する。図中に示す数字は、参考として処理順を示している。（ステップ２）で、８×８ブロックで、直交変換（又は直交変換の信号系統）のコスト計算を行うとともに、４×４ブロックで、直交変換（又は直交変換の信号系統）のコスト計算を行う。（ステップ３）で、例えばレート歪み最適化法に基づいて算出した全てのコスト値から最小のものを選択し、（ステップ４）で符号化ビットストリームを最終決定して出力する。
【０１１６】
これにより、４×４画素（４×４ブロック）のみでコスト算出する場合よりも、処理コストが増大するものの、格段に符号化効率が向上する。
【０１１７】
更に、本発明の一態様として、符号化装置１０及び復号装置３０をコンピュータとして構成させることができる。コンピュータに、前述した符号化装置１０及び復号装置３０の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。
【０１１８】
また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。
【０１１９】
また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。
【０１２０】
以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。
【産業上の利用可能性】
【０１２１】
本発明によれば、ＤＣＴベースの符号化方式ではエネルギー集中度が十分でないような画像信号に対しても、最適な直交変換係数を判断して符号化することが可能となるので、映像符号化技術に有用である。
【符号の説明】
【０１２２】
１０  符号化装置
１３  直交変換部
１４  量子化部
１４ａ，１４ｂ  量子化部
１５  整数精度変換部
１６  逆量子化部
１７  逆直交変換部
１８  整数精度逆変換部
１９  コスト算出処理ユニット
２０  セレクタ
２１  ビットストリーム生成部
３０  復号装置
３３  逆量子化部
３４  逆直交変換部
３５  整数精度逆変換部
１００  符号化装置
１０１  ブロック化部
１０２  減算部
１０３  直交変換部
１０４  量子化部
１０５  整数精度変換部
１０６  逆量子化部
１０７  逆直交変換部
１０８  整数精度逆変換部
１０９  加算部
１２０  デブロッキングフィルタ
１２１  メモリ
１２２  フレーム内予測部
１２３  動き補償予測部
１２４  切替スイッチ
１２５  スキャニング部
１２６  エントロピー符号化部
１３１  バッファ
１３４  コスト算出部
１３４ａ，１３４ｂ  バッファ
１３４ｃ  バッファ
１３５  切替スイッチ
１３６  コスト算出部
１３７ａ，１３７ｂ  量子化部
１３８ａ，１３８ｂ  エントロピー符号化部
１３９ａ，１３９ｂ，１３９ｃ  バッファ
１４０  切替スイッチ
１４１  コスト算出部
１７１ａ  整数精度ＩＤＣＴ
１７１ｂ  整数精度ＩＤＳＴ
１７２ａ，１７２ｂ  切替スイッチ
３００  復号装置
３０１  エントロピー復号部
３０２  スキャニング部
３０３  逆量子化部
３０４  逆直交変換部
３０５  整数精度逆変換部
３０６  加算部
３０７  デブロッキングフィルタ
３０８  メモリ
３０９  フレーム内予測部
３１０  動き補償予測部
３１１  切替スイッチ
３１２  並べ替え部
１０３１ａ  整数精度ＤＣＴ
１０３１ｂ  整数精度ＤＳＴ
１０３２  ０ランレングス比較部
１０３３  切替スイッチ
１３４１  アクティビティ算出部
１３６１，１３６２  マクロブロックエネルギー集中度算出部
１３６３  比較部
１４１１  正規化係数マトリクス記憶部
１４１２  マトリクス読出制御部
１４１３  量子化ステップ算出部
１４１４  量子化演算部
１４２１，１４２２  歪み量算出部
１４２３  比較部
１６１１  正規化係数マトリクス記憶部
１６１２  マトリクス読出制御部
１６１３  量子化ステップ算出部
１６１４  逆量子化演算部
【図１】
2011205602.tif 000003
【図２】
2011205602.tif 000004
【図３】
2011205602.tif 000005
【図４】
2011205602.tif 000006
【図５】
2011205602.tif 000007
【図６】
2011205602.tif 000008
【図７】
2011205602.tif 000009
【図８】
2011205602.tif 000010
【図９】
2011205602.tif 000011
【図１０】
2011205602.tif 000012
【図１１】
2011205602.tif 000013
【図１２】
2011205602.tif 000014
【図１３】
2011205602.tif 000015
【図１４】
2011205602.tif 000016
【図１５】
2011205602.tif 000017
【図１６】
2011205602.tif 000018
【図１７】
2011205602.tif 000019
【図１８】
2011205602.tif 000020