(57)【要約】【課題】量子化特性付加情報を利用することなく、変換係数毎、複数の変換係数を構成要素とするブロックごとに自在な強度の量子化を可能とし、高画質な画像符号化技術を提供する。【解決手段】画像符号化装置は、入力動画像を目標の画質で符号化するための理想量子化パラメータを計算する量子化制御装置（１０３）と、理想量子化パラメータに対応する量子化幅と符号化出力に用いる量子化パラメータに対応する量子化幅との関係を評価するギャップ補正デッドゾーンスケール生成装置（２０５）と、評価した関係に対応してデッドゾーン幅を設定して変換係数を量子化する量子化装置（１０２）とを備える。【選択図】  図１８
2010268508.tif 000002
【特許請求の範囲】
【請求項１】
画像をブロック単位に空間領域から周波数領域に変換することによりブロック単位の変換係数を生成するステップを備える画像符号化方法において、
入力動画像を目標の画質で符号化するための理想量子化パラメータを計算するステップと、
前記理想量子化パラメータに対応する量子化幅と符号化出力に用いる量子化パラメータに対応する量子化幅との関係を評価するステップと、
評価した関係に対応してデッドゾーン幅を設定して前記変換係数を量子化するステップとを備えることを特徴とする画像符号化方法。
【請求項２】
画像をブロック単位に空間領域から周波数領域に変換することによりブロック単位の変換係数を生成する変換手段を備える画像符号化装置において、
入力動画像を目標の画質で符号化するための理想量子化パラメータを計算する量子化制御手段と、
前記理想量子化パラメータに対応する量子化幅と符号化出力に用いる量子化パラメータに対応する量子化幅との関係を評価するデッドゾーンスケール生成手段と、
評価した関係に対応してデッドゾーン幅を設定して前記変換係数を量子化する量子化手段とを備えることを特徴とする画像符号化装置。
【請求項３】
コンピュータを、
入力動画像をブロック単位に空間領域から周波数領域に変換することによりブロック単位の変換係数を生成する変換手段、
前記入力動画像を目標の画質で符号化するための理想量子化パラメータを計算する量子化制御手段、
前記理想量子化パラメータに対応する量子化幅と符号化出力に用いる量子化パラメータに対応する量子化幅との関係を評価するデッドゾーンスケール生成手段と、
評価した関係に対応してデッドゾーン幅を設定して前記変換係数を量子化する量子化手段として機能させることを特徴とする画像符号化の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法、その装置及びその制御プログラムに関し、特に主観画質改善のための適応量子化を行なう画像符号化方法、その装置及びその制御プログラムに関する。
【背景技術】
【０００２】
図面を参照して従来の技術を説明する。
【０００３】
以下では、図１を参照して従来技術の１つである直交変換装置と予測装置（フレーム内予測/フレーム間予測）に基づいたハイブリッド動画像符号化を説明する。
【０００４】
従来技術では、動画像を構成する画像フレ−ムを複数のマクロブロック(ＭＢ)とよばれる領域に分割し、さらに前記ＭＢを細かく分割したブロックに対して符号化を行う。従来技術の具体的な画像フレームの構成例として、AVC(ISO/IEC 14496-10 Advanced Video Coding)の画像フレーム構成を図２に示す。
【０００５】
前記ＭＢは、過去に再構築された同一画像フレーム内から予測するフレーム内予測装置5108、あるいは過去に再構築された過去の画像フレームから予測するフレーム間予測装置5109が供給する予測値が減じられる。前記予測値が減じられたＭＢの信号を予測誤差信号と呼ぶ。
【０００６】
前記予測誤差信号は、さらに細かいブロック（以後に単純にブロックと呼ぶ）に分割されて、直交変換装置5101によって空間領域から周波数領域に変換される。
【０００７】
量子化装置5102によって、前記周波数領域に変換されたブロックの直交変換係数は、量子化制御装置5103よりＭＢ単位で供給する量子化パラメータに対応する量子化ステップサイズで量子化される。
【０００８】
一般に前記量子化制御装置5103は、発生符号量を監視して発生符号量が目標の符号量よりも多いようであれば量子化パラメータを大きくし、逆に発生符号量が目標の符号量よりも少ないようであれば量子化パラメータを小さくする。これによって動画像を目標符号量で符号化できる。
【０００９】
前記量子化された直交変換係数は量子化変換係数とよばれ、可変長符号化装置5104によってエントロピー符号化されて出力される。
【００１０】
以降の符号化のために、前記量子化変換係数は、逆量子化装置5105で逆量子化され、さらに逆直交変換装置5106によって逆直交変換されて元の空間領域に戻される。
【００１１】
前記空間領域に戻されたブロックには、前記予測値が加えられフレームメモリ5107に格納される。前記格納されたブロックで再構成される画像フレームを参照フレームと呼ぶ。
【００１２】
フレーム内予測装置5108は、前記参照フレームから現ＭＢの予測誤差信号を最小とする予測方向、一方のフレーム間予測装置5109は、前記参照フレームから現ＭＢの予測誤差信号を最小とする動きベクトルを検出する。予測判定スイッチ5110は、前記フレーム内予測による予測誤差とフレーム間予測による予測誤差を比較し、予測誤差が小なる予測を選択する。
【００１３】
以上の処理によって圧縮された動画像の主観画質を保つために、前記量子化制御装置5103は、発生符号量だけでなく、入力画像信号や予測誤差信号を監視して、量子化対象のMBの視覚感度が高ければ量子化パラメータを小さく（量子化を細かく）、低ければ量子化パラメータを大きく（量子化を粗く）する（量子化が細かいほど画質がよい）。
【００１４】
AVCなどの従来技術では、伝送する量子化パラメータの情報量を削減するために、１つのＭＢに対して１つの量子化パラメータしか伝送できない制約がある。
【００１５】
この制約により、MBを構成するブロックのすべての直交変換係数を(輝度信号では256個の係数を)、同じ量子化幅すなわち量子化特性で量子化する。
【００１６】
このため、従来技術には以下の３つの課題がある。
【００１７】
第１の問題に、ＭＢを構成する各ブロックの絵柄が同一とは限らない。このような場合において、従来技術ではＭＢを構成する各ブロックの絵柄に適した量子化ができない。
【００１８】
第２の問題に、ＭＢを構成する個々のブロックが独立のフレーム内予測、あるいはＭＢを構成する個々のブロックが独立の動きベクトルによってフレーム間予測が可能な動画像符号化において、ＭＢを構成するブロックごとに予測誤差を最小化する性能が異なる（以後、予測性能と呼ぶ）。このような場合において、従来技術ではＭＢを構成する各ブロックの予測性能に適した量子化ができない。
【００１９】
第３の問題に、第１および第２の理由により、ブロック内部の座標（以後、空間周波数とよぶ）に対応する直交変換係数の分布が異なり、ＭＢを構成する各ブロックでその分布が一様とならない。このような場合において、従来技術では各ブロックの直交変換係数の分布に適した量子化ができない。
【００２０】
これらの問題により、従来技術では、MB内で最も周波数領域で視覚感度の高い変換係数、あるはMB内で最も空間領域で視覚感度が高いブロックに合わせて、MBの量子化パラメータを決定するしかない。この結果、周波数領域で視覚感度の低い他の変換係数や、空間領域で視覚感度の低いブロックが必要以上に細かく量子化される。すなわち、視覚感度の低い変換係数に不要な情報量を割り当てている。
【００２１】
また、フレーム内予測MBではMBを構成する全ブロック内の変換係数に対して高域の変換係数を低域の変換係数よりも係数を切り落とし、フレーム間予測では前記係数の切り落としをオフとすることで、量子化特性付加情報を伝送することなく画像フレーム全体の平均的な主観画質改善する技術が、特許文献１に記載されている。
【先行技術文献】
【特許文献】
【００２２】
【特許文献１】特開２００３−２３０１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかしながら、上述した従来技術のように複数の変換係数、あるいは複数変換係数を構成要素とするブロックの集合に同じ量子化パラメータを設定する方法では、ブロックの絵柄、ブロックの予測性能、ブロックの変換係数の分布に適した量子化ができない。かといって、変換係数毎あるいは複数変換係数を構成要素とするブロック毎に量子化パラメータを設定して伝送する方法では、量子化パラメータ（以後、量子化特性付加情報とよぶ）の符号量が膨大になり、一定の符号量での画像符号化では利用できない。
【００２４】
また、文献１に記載されるような技術では、画像フレームの最小構成単位であるブロック毎（すなわち、MBを構成するブロックごと）の絵柄／各ブロックの予測性能／各ブロック内の係数の分布に応じた量子化を実現できず、画像フレーム内に局所的な画質劣化が生じてしまう問題がある。すなわち、上述した問題１，２，３を解決することはできない。
【００２５】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、量子化特性付加情報を利用することなく、変換係数毎、複数の変換係数を構成要素とするブロックごとに自在な強度の量子化を可能とし、高画質な画像符号化技術を提供することにある。
【００２６】
また、本発明の目的は、複数の変換係数に同じ量子化幅で量子化を行う変換符号化技術において、ビットストリームに追加の情報を加えることなく、周波数領域での変換係数の視覚感度に応じた量子化を可能とし、より高画質な画像を提供することにある。
【００２７】
また、本発明の目的は、複数変換係数を構成要素とするブロックの集合に同じ量子化幅で量子化を行う画像の変換符号化技術において、ビットストリームに追加の情報を加えることなく、空間領域でのブロックの視覚感度に応じた量子化を可能とし、より高画質な画像を提供することにある。
【課題を解決するための手段】
【００２８】
本発明は、画像をブロック単位に空間領域から周波数領域に変換することによりブロック単位の変換係数を生成するステップを備える画像符号化方法において、入力動画像を目標の画質で符号化するための理想量子化パラメータを計算するステップと、前記理想量子化パラメータに対応する量子化幅と符号化出力に用いる量子化パラメータに対応する量子化幅との関係を評価するステップと、評価した関係に対応してデッドゾーン幅を設定して前記変換係数を量子化するステップとを備えることを特徴とするものである。
【００２９】
また、本発明は、画像をブロック単位に空間領域から周波数領域に変換することによりブロック単位の変換係数を生成する変換手段を備える画像符号化装置において、入力動画像を目標の画質で符号化するための理想量子化パラメータを計算する量子化制御手段と、前記理想量子化パラメータに対応する量子化幅と符号化出力に用いる量子化パラメータに対応する量子化幅との関係を評価するデッドゾーンスケール生成手段と、評価した関係に対応してデッドゾーン幅を設定して前記変換係数を量子化する量子化手段とを備えることを特徴とするものである。
【００３０】
また、本発明の画像符号化の制御プログラムは、コンピュータを、入力動画像をブロック単位に空間領域から周波数領域に変換することによりブロック単位の変換係数を生成する変換手段、前記入力動画像を目標の画質で符号化するための理想量子化パラメータを計算する量子化制御手段、前記理想量子化パラメータに対応する量子化幅と符号化出力に用いる量子化パラメータに対応する量子化幅との関係を評価するデッドゾーンスケール生成手段と、評価した関係に対応してデッドゾーン幅を設定して前記変換係数を量子化する量子化手段として機能させることを特徴とするものである。
【発明の効果】
【００３１】
本発明は画像の変換符号化技術において、変換係数の周波数領域での視覚感度、複数変換係数を構成要素とするブロックの空間領域での視覚感度に応じたデッドゾーン幅を設定する手段を具備し、これによって、変換係数の周波数領域での視覚感度および複数変換係数を構成要素とするブロックの空間領域での視覚感度に応じた量子化機能を提供する。
【００３２】
発明によって、量子化パラメータによって決定される量子化幅に依存することなく、周波数領域で視覚感度の低い変換係数、および空間領域で視覚感度の低いブロックに無駄に消費されていた符号量を削減できる。前記符号量の削減によって、画像フレーム全体の量子化が従来方式よりも細かくなり、周波数領域で視覚感度の高い変換係数および空間領域で視覚感度の高いブロックが高画質に符号化される。
【図面の簡単な説明】
【００３３】
【図１】図１は従来技術の構成を示す図である。
【図２】図２は画像フレーム（解像度がQCIFの場合で輝度信号のみ）を示す図である。
【図３】図３は参考例１の構成の一例を示す図である。
【図４】図４はデッドゾーン生成のフローチャートである。
【図５】図５はブロックデッドゾーンスケール生成のフローチャートである。
【図６】図６は一つの直交変換係数に対する量子化フローチャートである。
【図７】図７は従来方式の量子化特性（量子化ステップサイズq）を示す図である。
【図８】図８は本発明の量子化特性（量子化ステップサイズq、デッドゾーン幅dz=2q）を示す図である。
【図９】図９は従来方式の量子化特性（量子化ステップサイズq’=4q）を示す図である。
【図１０】図１０は本発明の効果を説明する為の図である。図中、ａは各ブロックの複雑度（小さい値ほど平坦）を示し、ｂは従来技術での量子化強度を示し、ｃは本発明での量子化強度を示す。ただし、ＭＢの量子化強度＝２０である。
【図１１】図１１は参考例２の構成の一例を示す図である。
【図１２】図１２は空間周波数デッドゾーンスケール生成装置の構成の一例を示す図である。
【図１３】図１３は空間周波数装置特性タイプ設定装置の動作フローチャートである。
【図１４】図１４は本発明の効果を説明する為の図である。図中、ｄはＭＢ内部のブロック空間周波数特性タイプを示し、ｅは従来技術での量子化タイプを示し、ｆは本発明での量子化タイプを示す。ただし、「１」は双方向予測ブロック、「２」は非孤立動きブロック、「３」は通常動きブロックである。
【図１５】図１５はタイプ別の量子化強度特性（ブロック内横方向のみ）を示す図である。
【図１６】図１６は参考例３の構成の一例を示す図である。
【図１７】図１７はハイブリッドデッドゾーンスケール生成装置の構成の一例を示す図である。
【図１８】図１８は実施例１の構成の一例を示す図である。
【図１９】図１９はギャップ補正デッドゾーンスケール生成装置の動作フローチャートである。
【図２０】図２０は本発明を利用した情報処理装置の構成を示す図である。
【発明を実施するための形態】
【００３４】
本発明は、画像符号化において、例えば、図３に示される如く、デッドゾーン生成装置201、ブロックデッドゾーンスケール生成装置202用いて、復号時と同じ量子化幅でデッドゾーンを用いて各変換係数を量子化することにより、復号時の量子化特性と異なる量子化特性で、各変換係数を量子化する。
【００３５】
また、変換係数毎に、又は、複数の変換係数を構成要素とするブロック毎に、デッドゾーン幅を適応的に変化させることにより、変換係数の周波数領域での視覚感度および複数変換係数を構成要素とするブロックの空間領域での視覚感度に応じた量子化機能を提供し、更に、符号量を削減できる。
【００３６】
具体的には、周波数領域で視覚感度の高い変換係数、又は空間領域で視覚感度の高いブロックほど前記デッドゾーン幅が狭く、周波数領域で視覚感度の低い変換係数、又は空間領域で視覚感度の低いブロックほど前記デッドゾーン幅が広く設定する。また、デッドゾーンの幅を画像の平坦度によって適応的に変化させる。この際、画像の平坦度を、画像の予測モード、画像のフレーム内予測の方向、画像の動き、画像のフレーム間予測の方向、画像の平均絶対値誤差、画像の分散、画像の最大値と最小値の差分、画像の予測誤差信号の平均絶対値誤差、および、画像の予測誤差信号の分散の少なくとも１つから計算する。
【００３７】
以下、具体的な実施例を述べる。
［参考例１］
【００３８】
本発明の参考例１について説明する。
【００３９】
図３は参考例１の構成を示す一例である。
【００４０】
本参考例では、動画像を構成する画像フレ−ムを複数のマクロブロック(ＭＢ)とよばれる領域に分割し、さらに前記ＭＢを細かく分割したブロックに対して符号化を行う。
【００４１】
前記ＭＢは、過去に再構築された同一画像フレーム内から予測するフレーム内予測装置108、あるいは過去に再構築された過去の画像フレームから予測するフレーム間予測装置109が供給する予測値が減じられる。前記予測値が減じられたＭＢの信号を予測誤差信号と呼ぶ。
【００４２】
前記予測誤差信号は、さらに細かいブロック（以後に単純にブロックと呼ぶ）に分割されて、直交変換装置101によって空間領域から周波数領域に変換される。
【００４３】
前記周波数領域に変換されたブロックの直交変換係数は、量子化装置102によって、量子化パラメータに対応する量子化ステップサイズで量子化される。
【００４４】
量子化パラメータは、量子化制御装置103よりＭＢ単位で量子化装置102に供給される。一般に前記量子化制御装置103は、発生符号量を監視して発生符号量が目標の符号量よりも多いようであれば量子化パラメータを大きくし、逆に発生符号量が目標の符号量よりも少ないようであれば量子化パラメータを小さくする。これによって動画像を目標符号量で符号化できる。
【００４５】
前記量子化された直交変換係数は量子化変換係数とよばれ、可変長符号化装置104によってエントロピー符号化されて出力される。
【００４６】
以降の符号化のために、前記量子化変換係数は、逆量子化装置105で逆量子化され、さらに逆直交変換装置106によって逆直交変換されて元の空間領域に戻される。
【００４７】
前記空間領域に戻されたブロックには、前記予測値が加えられフレームメモリ107に格納される。前記格納されたブロックで再構成される画像フレームを参照フレームと呼ぶ。
【００４８】
フレーム内予測装置108は、前記参照フレームから現ＭＢの予測誤差信号を最小とする予測方向、一方のフレーム間予測装置109は、前記参照フレームから現ＭＢの予測誤差信号を最小とする動きベクトルを検出する。予測判定スイッチ110は、前記フレーム内予測による予測誤差とフレーム間予測による予測誤差を比較し、予測誤差が小なる予測を選択する。
【００４９】
さらに、本参考例では、量子化装置102は、直交変換装置101から供給される直交変換係数を量子化する際に、デッドゾーンを用いる。デッドゾーンとは、０（ゼロ）に近い入力に対応する出力を０（ゼロ）にすることをいう。また、このような操作を行う入力の範囲をデッドゾーン幅という。ここでは、直交変換係数がデッドゾーン幅に含まれている場合に、量子化装置102は、直交変換係数を量子化した出力、すなわち量子化変換係数を０（ゼロ）とする。
【００５０】
デッドゾーン幅は、デッドゾーン生成装置201およびブロックデッドゾーンスケール生成装置202によって生成される。
【００５１】
ブロックデッドゾーンスケール生成装置202は、画像信号と予測誤差とを入力とし、対象ブロックの絵柄あるいは予測性能を解析し、前記ブロックの絵柄、予測性能に適したデッドゾーンスケールをデッドゾーン生成装置201に出力する。
【００５２】
デッドゾーン生成装置201は、ブロックデッドゾーンスケール生成装置202からのデッドゾーンスケールと量子化制御装置103からのMB量子化パラメータを入力とし、前記デッドゾーンスケールとMB量子化パラメータからデッドゾーン幅を計算して、このデッドゾーン幅を量子化装置102に出力する。具体的には、前記デッドゾーンスケールとMB量子化パラメータとを乗算してデッドゾーン幅を求める。したがって、前記デッドゾーンスケールとは、デッドゾーン幅を求める際のMB量子化パラメータの係数である。
【００５３】
尚、以下では、説明を具体化するために、画像フレームのサイズをQCIF(176×144)サイズ、ＭＢのサイズを１６×１６サイズ、ＭＢを構成するブロックのサイズを４×４サイズとする。ただし当然、その他のサイズでも本発明を適用できることは言うまでもない。
【００５４】
以下の説明では、本参考例の特徴であるデッドゾーン生成装置201、ブロックデッドゾーンスケール生成装置202、および前記デッドゾーン生成装置201によって内部動作の変更を伴う量子化装置102を説明する。
【００５５】
デッドゾーン生成装置201の入出力および動作を以下で説明する。
【００５６】
デッドゾーン生成装置201の入力は、量子化装置102が現在対象とするMBのラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)、量子化制御装置103から供給される量子化パラメータmb_qである。
【００５７】
デッドゾーン生成装置201の出力は、量子化装置102が現在対象とするMB内のラスタスキャン順でb番目のブロックの直交変換係数cof(b,i,j)( 0≦b≦15、0≦i≦３、0≦j≦３)に対応するデッドゾーン幅dz(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)である。
【００５８】
図４を参照してデッドゾーン生成装置201の動作を以下で説明する。
【００５９】
ステップS101では、量子化パラメータmb_qから基準デッドゾーンbase_ dz(i,j) (0≦i≦３、0≦j≦３)を計算する。基準デッドゾーンの計算方法は、本発明が接続される符号化器（以後、ベース符号化器と呼ぶ）が量子化マトリクスWM(i,j)(0≦i≦３、0≦j≦３)を利用する、しないによって異なる。量子化マトリクスとは、量子化での割り算および逆量子化での掛け算に空間周波数に応じた重み付けパラメータ（量子化付加情報）である。
前記量子化マトリクスを用いることで、空間周波数ごとの量子化幅を可変とすることができる。前記量子化マトリクスを利用する場合をステップS101A、そうでない場合をステップS101Bとして各ステップを以下で説明する。尚、以下で共通して利用する量子化ステップサイズmb_q_stepは、mb_q_step=q_step_table[q]で設定される。前記量子化ステップサイズq_step_table[q]は、ベース符号化器で定義される量子化パラメータqに対応する量子化ステップサイズである(Q_MIN≦p≦Q_MAX、Q_MINおよびQ_MAXもベース符号化器依存)。
【００６０】
ステップS101Aでは、式（１）によって基準デッドゾーンbase_dz(i,j)を計算する。
base_dz(i,j)=mb_q_step×WM(i,j)              (1)
ステップS101Ｂでは、式（２）によって基準デッドゾーンbase_dz(i,j)を計算する。
base_dz(i,j)=mb_q_step                       (2)
ステップS102では、式（３）によって、基準デッドゾーンbase_dz(i,j)とデッドゾーンスケールdz_scale(b,i,j)からデッドゾーン幅dz(i,j)を計算する。
dz(b,i,j)=base_dz(i,j)×dz_scale(b,i,j)      (3)
尚、ここで、デッドゾーンスケールdz_scale(b,i,j)の値によって任意にデッドゾーン幅dz(b,i,j)が設定できることを述べておく。
【００６１】
以上でデッドゾーン生成装置201の入出力および動作の説明を終わる。
【００６２】
デッドゾーンスケール生成装置202は、複数の変換係数を構成要素とするブロック毎に、そのブロックの絵柄あるいは予測性能に適した、デッドゾーンスケールを生成する。
【００６３】
ブロックデッドゾーンスケール生成装置202の入出力、動作を以下で説明する。
【００６４】
ブロックデッドゾーンスケール生成装置202への入力は、量子化装置102が現在対象とするMBのラスタスキャン順でb番目のブロックに対応する入力画像信号org(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)、予測誤差信号pd(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)である。
【００６５】
ここで、入力信号のビット精度は符号なしnビットとする。
【００６６】
ブロックデッドゾーンスケール生成装置202の出力は、量子化装置102が現在対象とするMB内のラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)である。
【００６７】
ブロックデッドゾーンスケール生成装置202が、デッドゾーンスケールを生成するために使用する信号を画像特徴量信号imf(b,i,j) (0≦b≦15、0≦i≦３、0≦j≦３)とする。
【００６８】
図５を参照して、ブロックデッドゾーンスケール生成装置202の動作を説明する。
【００６９】
ステップ301では、画像特徴量信号を選択する。以下３種類の選択がある。
１  (C301A)ベース符号化器の量子化制御装置102が、発生符号量以外に入力画像信号を用いて量子化パラメータを決定する場合には、画像特徴量信号imf(b,i,j)に入力画像信号org(b,i,j)を接続する。
２  (C301B)ベース符号化器の量子化制御装置102が、発生符号量と入力画像信号以外に予測誤差信号pdを用いて量子化パラメータを決定する場合には、画像特徴量信号imf(b,i,j)に予測誤差信号pd(b,i,j)を接続する。
３  (C301C) C301A、C301B以外の場合には、画像特徴量信号imf(b,i,j)に入力画像信号org(b,i,j)を接続する。
【００７０】
ステップ302では、各ブロック番号b(0≦b≦15)に対応する平均絶対値誤差L1AC(b) (0≦b≦15)を式（４）、（５）で計算する。
【００７１】
【数１】
2010268508.tif 000003
【００７２】
ここでabs(x)は入力xの絶対値を返す関数とする。平均絶対値誤差L1AC (b)(1≦L1AC(b)≦n)は、ブロックbの内での画像特徴量信号の散らばりを示す。
【００７３】
ステップ303では、式（６）を用いて各ブロック番号b(0≦b≦15)に対応するブロック複雑度bcm(b) (0≦b≦15)を計算する。
【００７４】
【数２】
2010268508.tif 000004
【００７５】
ここでmax(x,y)は入力x,yの値の大きい方の値を返す関数である。
【００７６】
ブロック複雑度bcm(b) (1≦bcm(b)≦n)が小さいほど、そのブロックは平坦であり人間の視覚感度は高い。また、ブロック複雑度bcm(b)が大きいほど、そのブロックは複雑であり人間の視覚感度は低い。
【００７７】
このことを利用して、ブロック複雑度が小さいブロックの量子化の強度を小さく、大きいほど量子化の強度を強くすることで、空間領域でのブロックの視覚感度（絵柄や予測性能）に応じた量子化強度を設定ができる。
【００７８】
ステップ304では、式(7)を用いて各ブロック番号b(0≦b≦15)に対応するブロックデッドゾーンスケールbdz_scale (b)(0≦b≦15)を計算する。
bdz_scale(b)=clip(bdz_limit,(bcm(b)/min_bcm))      (7)
min_bcm=min(bcm(b))                                (8)
ここで、bdz_limitはnよりも小さいパラメータ、clip(x,y)は入力x,yの値の小さい方の値を返す関数、min(bcm(b))はbcm(b)(1≦bcm(b)≦n)の最小値を返す関数である。bdz_limitを小さくすればブロックごとの量子化強度の変更を小さくでき、bdz_limitを大きくすればダイナミックにブロックごとの量子化強度を変更することができる。
【００７９】
なお、ブロックの周囲の複雑度も考慮してブロックデッドゾーンスケールを計算するのであれば、式（７）の代わりに以下の式（７Ａ）を用いてもよい。
bdz_scale(b)=clip(bdz_limit,(local_bcm(b)/min_local_bcm))      (7A)
min_local_bcm=min(local_bcm(b))                                (8A)
ここでlocal_bcm(b)は対象ブロックｂとその周辺ブロックの最小のbcm値を返す関数、min(local_bcm(b))はlocal_bcm(b)(1≦bcm(b)≦n)の最小値を返す関数である。
【００８０】
ステップ305では、式(9)を用いて各ブロック番号b(0≦b≦15)に対応するデッドゾーンスケールdz_scale (b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)に、ブロックデッドゾーンスケールbdz_scale(b)を設定する。
dz_scale(b,i,j)=bdz_scale(b)…(0≦i≦3,0≦j≦3)      (9)
以上のブロックデッドゾーンスケール生成装置202の動作により、空間領域で視覚感度の高いブロックのデッドゾーンスケールdz_scaleは小さく、空間領域で視覚感度の低いブロックのデッドゾーンスケールdz_scaleは大きくなる。
【００８１】
なお画像特徴量信号f(b,i,j)に入力画像信号org(b,i,j)が接続されている場合、平均絶対値誤差でなく、ブロックの画素レンジ（最大画素値と最小画素値の差）を利用してもよい。ようは、ブロックの複雑度が得られる情報であればよい。
【００８２】
以上で、ブロックデッドゾーンスケール生成装置202の入出力、動作の説明を終了する。
【００８３】
量子化装置102の入出力および動作を以下で説明する。
【００８４】
量子化装置102の入力は、デッドゾーン生成装置201から供給されるデッドゾーン幅dz(b,i,j)( 0≦b≦15、0≦i≦３、0≦j≦３)、直交変換装置１０１から供給される直交変換係数cof(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)、量子化制御装置103から供給される量子化パラメータmb_qである。
【００８５】
量子化装置102の出力は、量子化変換係数q_cof (b,i,j) (0≦b≦15、0≦i≦３、0≦j≦３)である。
【００８６】
従来の構成に追加となる入出力は、入力のデッドゾーン幅dz(b,i,j)( 0≦b≦15、0≦i≦３、0≦j≦３)のみである。しかし、以下で説明する動作の影響によって、量子化変換係数q_cof(b,i,j) の出力値が従来方式と異なる。
【００８７】
図6を参照して発明での量子化装置102の動作を以下で説明する。
【００８８】
ステップS201では、直交変換係数cof(b,i,j)の絶対値abs_cofが、デッドゾーン幅dz(b,i,j)よりも小さいか比較する。小さければステップS202、そうでなければステップS203を続いて実行する。
【００８９】
ステップS202では、量子化変換係数q_cof (b,i,j)を0とする。
【００９０】
ステップS203では、以下の計算方法によって量子化変換係数q_cof (b,i,j)を求める。
【００９１】
量子化変換係数の計算方法は、ベース符号化器が量子化マトリクスWM (i,j)(0≦i≦３、0≦j≦３)を利用する、しないによって異なる。量子化マトリクスを利用する場合をステップS203A、そうでない場合をステップS203Bとして各ステップを以下で説明する。
【００９２】
以下で共通して利用する量子化ステップサイズmb_q_stepは、mb_q_step=q_step_table[q]で設定される。前記量子化ステップサイズq_step_table[q]は、ベース符号化器で定義される量子化パラメータqに対応する量子化ステップサイズである(Q_MIN≦p≦Q_MAX、Q_MINおよびQ_MAXもベース符号化器依存)。
【００９３】
ステップS203Aでは式（10A）によって量子化変換係数q_cof (b,i,j)を計算する。
【００９４】
【数３】
2010268508.tif 000005
【００９５】
ここでabs(x)は入力xの絶対値を返す関数、fはベース符号器に依存する1未満のパラメータであり四捨五入であれば0.5、切捨てであれば0となる。
【００９６】
ステップS203Bでは式（10B）によって量子化変換係数q_cof (b,i,j)を計算する。
【００９７】
【数４】
2010268508.tif 000006
【００９８】
ここでabs(x)は入力xの絶対値を返す関数、fはベース符号器に依存する1未満のパラメータであり四捨五入であれば0.5、切捨てであれば0となる。
【００９９】
以上の処理をMB内のすべての直交変換係数cof(b,i,j) （0≦b≦15、0≦i≦３、0≦j≦３）に適用することで1つのMBに対しての量子化が終了する。
【０１００】
以上で量子化装置102の入出力および動作の説明を終わる。
【０１０１】
本発明の効果を以下で説明する。
【０１０２】
まず、デッドゾーンを可変とすることで量子化強度も可変とする原理を述べる。
【０１０３】
図７，８，９を参照して、デッドゾーンdzによる量子化特性の違いを比較する（ベース符号化器に量子化マトリクスがなく、fが0.5である場合）。量子化特性とは、量子化装置102への入力cofと、逆量子化装置105の出力icofの関係を意味する。
【０１０４】
図７は量子化ステップサイズqの従来の量子化特性、図８は量子化ステップサイズqでデッドゾーン幅dz=2qの発明方式の量子化特性、図９は量子化ステップサイズq’=4qの従来の量子化特性である。（図７，９の例はデッドゾーン幅dz=0の発明の量子化特性とも呼べる。）  図７と図８とを比較すると、デッドゾーン幅dzによってdz=2qよりも小さい入力cofの出力i_cofが0なる。一方、図9では量子化ステップサイズ4倍の量子化によって2qよりも小さい入力cofの出力i_cofが0になる。
【０１０５】
このことは“発明によって、デッドゾーン幅dz以下の入力に対して、量子化ステップサイズqを変更することなく量子化ステップサイズq’=4qの量子化を行った”ことを意味する。
【０１０６】
またデッドゾーン幅は、動画像ビットストリームに付加して伝送する必要性がない。
【０１０７】
つまり、変換係数ごとに前記デッドゾーン幅dzを可変とすることで“量子化付加情報追加することなく、変換係数ごとに自由に量子化できる”ことを意味する。
【０１０８】
前記デッドゾーン幅dzを、単純にブロックの予測モードだけでなく、ブロックの絵柄、ブロックの予測性能あるいはブロック内の直交変換係数の分布も考慮して制御することによって、ブロックの視覚感度あるいはブロック内の変換係数の視覚感度に最適な量子化を実現できる。
【０１０９】
本発明の参考例１のブロックデッドゾーンスケール生成装置202が供給するデッドゾーンスケールdz_scale によって、量子化付加情報追加することなく、ブロックの絵柄/ブロックの予測性能を考慮して制御できる。つまり、図１０に示される如く、空間領域でのブロックの視覚感度に応じた量子化強度設定を可能とする。
【０１１０】
本発明により、空間領域でのブロックの視覚感度に適した量子化強度設定が可能となり、前記視覚感度の低いブロックでの余分な発生符号量を削減できる。これにより、画像フレーム全体の発生符号量も削減され、画像フレーム全体の量子化パラメータが小さくなる。この結果、空間領域で視覚感度の高いブロックの量子化が従来方式よりも細かくなり、より高画質に符号化される。
【０１１１】
以上で、参考例１の説明を終わる。
［参考例２］
【０１１２】
本発明の参考例２について説明する。
【０１１３】
図１１に本発明の参考例２の構成を示す。参考例２の構成は、参考例１の構成におけるブロックデッドゾーンスケール生成装置202の代わりに、空間周波数デッドゾーンスケール生成装置203を備える。空間周波数デッドゾーンスケール生成装置203は、画像フレームのラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)をデッドゾーン生成装置201に供給する。
【０１１４】
尚、以下の説明では、説明を具体化するために、画像フレームのサイズをQCIF(176×144)サイズ、ＭＢのサイズを１６×１６サイズ、ＭＢを構成するブロックのサイズを４×４サイズとする。ただし当然、その他のサイズでも本発明を適用できることは言うまでもない。
【０１１５】
また、以下では、参考例２における特徴である空間周波数デッドゾーンスケール生成装置203を説明する。なお、参考例１の構成と同様なものについては詳細な説明は省略する。
【０１１６】
空間周波数デッドゾーンスケール生成装置203は、MBを構成する各ブロックの直交変換係数の分布に適したデッドゾーンスケールを生成する。
【０１１７】
空間周波数デッドゾーンスケール生成装置203の入出力を以下で説明する。
【０１１８】
空間周波数デッドゾーンスケール生成装置203への入力は、量子化装置102が現在対象とするMBのラスタスキャン順でb番目のブロックに対応する入力画像信号org(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)、量子化装置102が現在対象とするMBのラスタスキャン順でb番目のブロックに対応する予測モードmode(b)(0≦b≦15)、動きベクトルmv(b,dir)(0≦b≦15, 0≦dir≦1)である。ここでdirは動きベクトルの方向を示し0で横方向、１で縦方向とする。
【０１１９】
予測モードには、同一画像フレーム内から予測するフレーム内予測モード（動きベクトル０本）、過去または未来の画像フレーム１枚から予測するフレーム間予測モード（動きベクトル１本）、未来および過去の２枚のフレームから予測する双方向フレーム間予測モード（動きベクトル２本）がある。
【０１２０】
空間周波数デッドゾーンスケール生成装置203の出力は、量子化装置102が現在対象とするMB内のラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)である。
【０１２１】
以上で、空間周波数デッドゾーンスケール生成装置203の入出力の説明を終わる。
【０１２２】
次に、空間周波数デッドゾーンスケール生成装置203の内部構成を図１２に示し、その動作を説明する。
【０１２３】
空間周波数デッドゾーンスケール生成装置203は、空間周波数特性設定装置2031と特性タイプ別デッドゾーンスケール装置2032によって構成される。
【０１２４】
空間周波数特性設定装置2031は入力された画像、予測モードおよび動きベクトルを用いて、量子化装置102が現在対象とするMBのラスタスキャン順でb番目のブロックの直交変換係数の分布に応じた特性タイプtype(b)(0≦b≦15、0≦type(b)≦3)を出力する。
【０１２５】
図１３を参照して、空間周波数特性設定装置2031の動作を説明する。
【０１２６】
ステップS4101では、ブロックｂの予測モードがフレーム内予測かを判定する。
フレーム内予測であればステップS41011を実行する。
【０１２７】
ステップS4101では、式(12)の値が予め決めた閾値edge_thよりも大きければブロックbをブロックbの特性タイプtype(b)=4として終了する。そうでなければブロックbの特性タイプtype(b)=0として終了する。
Range=max_v(b,i,j)-min_v(b,i,j)      (12)
ここでmax_v(b,i,j)は、ブロックbの最大の画素値org(b,i,j)(0≦i≦３、0≦j≦３)を返す関数、min_v(b,i,j)は、ブロックbの最小の画素値org(b,i,j)(0≦i≦３、0≦j≦３)を返す関数である。
【０１２８】
フレーム内予測ブロックは、フレーム間予測よりも予測性能が低く、大きな予測誤差が発生する。
【０１２９】
ブロックが平坦あるいはテクスチャであれば、ブロック内の低周波数成分の変換係数を細かく量子化し、高周波成分の変換係数の粗く量子化するのが望ましい。
一方、ブロックがエッジであれば高周波数にも主観的に重要な係数が発生するので、各周波数の変換係数を一様な強度で量子化するのがよい。
【０１３０】
ステップS4102では、ブロックｂの予測モードが双方向予測モードかを判定する。
双方向予測モードであればブロックbの特性タイプtype(b)=1として終了する。そうでなければステップS4103を実行する。
【０１３１】
双方向予測ブロック内は、パン領域あるいは静止領域であり視覚感度が高い。ただし、小さいパワーの予測誤差信号は、未来あるいは過去のフレームの圧縮で発生したノイズであるから、パワーの小さい予測誤差信号を落とす量子化強度の設定がよい。
【０１３２】
ステップS4103では、式(１３)によってブロックｂの動きベクトルmv(b,dir)(0≦b≦15, 0≦dir≦1)の散らばりmsvを計算する。前記動きベクトルの散らばりが、予め決めた動きベクトル散らばり閾値mvs_thresよりも小さければ、ブロックbの特性タイプtype(b)=2として終了する。そうでなければステップS4104を実行する。
mvs=abs(mv(b,0)-u_mv(b,0))+abs(mv(b,1)-u_mv(b,1))
+abs(mv(b,0)-1_mv(b,0))+abs(mv(b,1)-1_mv(b,1))      (13)
ここでabs(x)は入力xの絶対値を返す関数、u_mv(b,dir)はブロックbの上側に隣接するブロックのdir方向の動きベクトルmvを返す関数、l_mv(b,dir)はブロックbの左側に隣接するブロックのdir方向の動きベクトルmvを返す関数である。
【０１３３】
非孤立動きブロックは、パン領域あるいは静止領域であり視覚感度が高い。ただし、小さいパワーの予測誤差信号は、未来あるいは過去のフレームの圧縮で発生したノイズであるから、パワーの小さい予測誤差信号を落とす量子化強度の設定がよい。
【０１３４】
ステップS4104では、ブロックｂの縦および横の動きベクトル長mv(b,dir)(0≦b≦15, 0≦dir≦1)が、予め決めた高速動きベクトル長閾値hs_mv_thresよりも大きいか（高速動きブロックか）、小さいか（通常動きブロック）を判定する。高速動きブロックであればブロックbの特性タイプtype(b)=0、そうでなければ特性タイプtype(b)=3として終了する。
【０１３５】
高速動きブロックは、動き予測が当たらず、フレーム内予測と同様に大きな予測誤差が発生する。しかし、動きが極端に速く人間の目には追従困難であるので、フレーム内予測と同様に、高周波成分の変換係数の量子化強度を強く設定するのがよい。
【０１３６】
通常動きブロックは、フレーム内予測よりも予測誤差が小さくなる傾向がある。よって、高周波成分の変換係数の量子化強度設定をフレーム内予測よりも緩やかにするのがよい。
【０１３７】
ステップS4101からS4104までの処理によって、各ブロックの変換係数の特性を分類することができる。
【０１３８】
以上で、空間周波数特性設定装置2031の動作説明を終了する。
【０１３９】
次に特性タイプ別デッドゾーンスケール装置2032の動作を説明する。
【０１４０】
特性タイプ別デッドゾーンスケール装置2032は、空間周波数特性設定装置2031が供給する量子化装置102が現在対象とするMBのラスタスキャン順でb番目のブロックに対応する特性タイプtype(b)より、前記b番目ブロックのデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)を計算する。特性タイプ別(type0から3)に応じたブロックbのデッドゾーンスケールの計算方法を以下に示す。
type0(フレーム内予測ブロックでかつ非エッジあるいは高速動きブロック)
dz_scale(b,i,j)=B0(i,j)      (14)
type1(双方向予測ブロック)
dz_scale(b,i,j)=B1           (15)
type2(非孤立動きブロック)
dz_scale(b,i,j)=B2           (16)
type3(通常動きブロック)
dz_scale(b,i,j)=B3(i,j)      (17)
type4(フレーム内予測ブロックでかつエッジ)
dz_scale(b,i,j)=B4           (18)
ここでB0、B1, B2, B3、B4は、予め決められたパラメータである。B0(i,j)={{0, 1.1, 1.3, 1.6}, {1.1, 1.3, 1.6, 1.8}, {1.3, 1.6, 1.8, 2.0}, {1.6, 1.8, 2.0,2.8}}、B3(x)={{0, 1.1, 1.3, 1.4},{ 1.1, 1.3, 1.4, 1.6} ,{1.3, 1.4, 1.6, 1.8}, {1.4, 1.6, 1.8, 2.0}}であり、B4＞B1＞B2＞1の関係がある。なおブロックの幅bwが本参考例の4以外の数値であれば、B0やB3の値は、式（19）によって算出できることを示しておく。
B(i,j)=K(i,j)×(i2+j2)0.25      (19)
ただし、K(i,j)は空間周波数(i,j)に依存した1よりも大きな値とする  尚、フレーム内予測モードでかつ予測方向pred_dirが予測判定110から供給可能であれば、前記予測方向pred_dirの向き（縦、横、斜め、その他）によってtype(0)の傾斜を変えるのがよい。例えば、予測の向きが横方向なのであれば、ブロック内部の絵柄は横方向には平坦であり、横方向iの周波数に対応する変換係数の量子化係数を縦方向jの周波数の変換係数よりも細かく量子化するデッドゾーンスケールdz_scaleを生成するのがよい。
【０１４１】
以上で、特性タイプ別デッドゾーンスケール装置2032およびの空間周波数デッドゾーンスケール生成装置203の動作説明を終わる。
【０１４２】
本発明の参考例２により、空間周波数デッドゾーンスケール生成装置203が供給するデッドゾーンスケールdz_scale によって、各ブロックの変換係数の分布に応じたデッドゾーン幅を設定できる。つまり、図１４、１５に示される如く、量子化付加情報追加することなく、各変換係数の周波数領域での視覚感度を考慮した量子化を可能とする。
【０１４３】
本発明は、各ブロックの変換係数の分布に応じたデッドゾーンが設定され、この結果周波数領域で視覚感度が低い変換係数の発生符号量を削減できる。これにより、画像フレーム全体の発生符号量も削減され、画像フレーム全体の量子化パラメータが小さくなる。この結果、周波数領域で視覚感度が高い変換係数が従来方式よりも細かく量子化され、より高画質に符号化可能となる。
【０１４４】
以上で、参考例２の説明を終わる。
［参考例３］
【０１４５】
本発明の参考例３について説明する。
【０１４６】
本発明の参考例３の構成を図１６に示す。参考例３の構成は、参考例１の構成におけるブロックデッドゾーンスケール生成装置202の代わりに、ハイブリッドデッドゾーンスケール生成装置204を備える。空間周波数デッドゾーンスケール生成装置203は、画像フレームのラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)をデッドゾーン生成装置201に供給する。
【０１４７】
尚、以下では、説明を具体化するために、画像フレームのサイズをQCIF(176×144)サイズ、ＭＢのサイズを１６×１６サイズ、ＭＢを構成するブロックのサイズを４×４サイズとする。ただし当然、その他のサイズでも本発明を適用できることは言うまでもない。
【０１４８】
また、以下の説明では、参考例３における特徴であるハイブリッドデッドゾーンスケール生成装置204を説明する。尚、参考例１と同様な構成のものについては詳細な説明は省略する。
【０１４９】
ハイブリッドデッドゾーンスケール生成装置204は、各ブロックの絵柄、各ブロックの予測性能、各ブロックの直交変換係数の分布に適したデッドゾーンスケールを生成する。
【０１５０】
ハイブリッドデッドゾーンスケール生成装置204の入出力、動作を以下で説明する。
【０１５１】
ハイブリッドデッドゾーンスケール生成装置204への入力は、量子化装置102が現在対象とするMBのラスタスキャン順でb番目のブロックに対応する予測モードmode(b)(0≦b≦15)、動きベクトルmv(b,dir)(0≦b≦15, 0≦dir≦1)、入力画像信号org(b,i,j) (0≦b≦15、0≦i≦３、0≦j≦３)、予測誤差信号pd(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)である。
【０１５２】
ハイブリッドデッドゾーンスケール生成装置204の出力は、量子化装置102が現在対象とするMB内のラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)である。
【０１５３】
ハイブリッドデッドゾーンスケール生成装置204の内部構成を図１７に示し、その動作を以下で説明する。
【０１５４】
図１７に示される如く、ハイブリッドデッドゾーン生成装置204は、ブロックデッドゾーンスケール生成装置202、空間周波数デッドゾーンスケール生成装置203、および混合器2041によって構成される。
【０１５５】
ブロックデッドゾーンスケール生成装置202は参考例１、空間周波数デッドゾーンスケール生成装置203は参考例２で説明したものである。
【０１５６】
よって以下では、混合器2041の入出力および動作のみを以下で説明する。
【０１５７】
混合器2041への入力は、ブロックデッドゾーン装置202が供給する量子化装置102が現在対象とするMB内のラスタスキャン順でb番目のブロックに対応するデッドゾーンスケール1dz_scale 1(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)、空間周波数デッドゾーン装置203が供給する量子化装置102が現在対象とするMB内のラスタスキャン順でb番目のブロックに対応するデッドゾーンスケール２dz_scale 2(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)、空間周波数デッドゾーン装置203が供給する量子化装置102が現在対象とするMBのラスタスキャン順でb番目のブロックの変換係数の分布を示す特性タイプtype(b)(0≦b≦15、0≦type(b)≦3)である。
【０１５８】
混合器2041の出力は、量子化装置102が現在対象とするMB内のラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)である。
【０１５９】
混合器2041は、前記ブロックbの特性タイプtype(b)に応じてデッドゾーンスケールdz_scale (b,i,j)を計算する。
type0(フレーム内予測ブロックでかつ非エッジあるいは高速動きブロック)
dz_scale(b,i,j)=dz_scale1(b,i,j)×dz_scale2(b,i,j)          (20)
type1(双方向予測ブロック)
dz_scale(b,i,j)=max(dz_scale1(b,i,j),dz_scale2(b,i,j))      (21)
type2(非孤立動きブロック)
dz_scale(b,i,j)=max(dz_scale1(b,i,j),dz_scale2(b,i,j))      (21)
type3(通常動きブロック)
dz_scale(b,i,j)=dz_scale1(b,i,j)×dz_scale2(b,i,j)          (20)
type4(フレーム内予測ブロックでかつエッジ)
dz_scale(b,i,j)=max(dz_scale1(b,i,j),dz_scale2(b,i,j))      (21)
以上で、混合器2041およびハイブリッドデッドゾーンスケール生成装置204の動作説明を終了する。
【０１６０】
本発明によって、ブロックの空間領域での視覚感度（絵柄、予測性能）、およびに変換係数の周波数領域での視覚感度（分布）に適した量子化を可能とする。これにより、画像フレーム全体の発生符号量も削減され、画像フレーム全体の量子化パラメータが小さくなる。この結果、空間領域で視覚感度の高いブロックおよび周波数領域で視覚感度の高い変換係数が従来方式よりも細かく量子化され、より高画質に符号化可能となる。
【０１６１】
以上で参考例３の説明を終わる。
［実施例１］
【０１６２】
本発明の実施例１について説明する。
【０１６３】
本発明の実施例１の構成を図１８に示す。実施例１の構成は、参考例１の構成におけるブロックデッドゾーンスケール生成装置202の代わりに、ギャップ補正デッドゾーンスケール生成装置205を備える。前記ギャップ補正デッドゾーンスケール生成装置205は、画像フレームのラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)をデッドゾーン生成装置201に供給する。
【０１６４】
尚、以下の説明では、説明を具体化するために、画像フレームのサイズをQCIF(176×144)サイズ、ＭＢのサイズを１６×１６サイズ、ＭＢを構成するブロックのサイズを４×４サイズとする。ただし当然、その他のサイズでも本発明を適用できることは言うまでもない。
【０１６５】
ギャップ補正デッドゾーンスケール生成装置205の入出力と動作を以下で説明する。
【０１６６】
ギャップ補正デッドゾーンスケール生成装置205への入力は、量子化制御装置103から供給される量子化装置102が現在対象とするMBの実量子化パラメータmb_q、量子化制御装置103から供給される量子化装置102が現在対象とするMBの理想量子化パラメータideal_qである。
【０１６７】
ギャップ補正デッドゾーンスケール生成装置205の出力は、量子化装置102が現在対象とするMB内のラスタスキャン順でb番目のブロックに対応するデッドゾーンスケールdz_scale(b,i,j)(0≦b≦15、0≦i≦３、0≦j≦３)である。
【０１６８】
次に、図１９を参照して、ギャップ補正デッドゾーンスケール生成装置205の動作を説明する。
【０１６９】
ステップS501では、式(22)を用いて実量子化パラメータmb_qと理想量子化パラメータideal_qのギャップ量子化幅qstep_gapを計算する。なお、以下で共通して利用する量子化ステップサイズmb_q_stepは、mb_q_step=q_step_table[q]で設定される。前記量子化ステップサイズq_step_table[q]は、ベース符号化器で定義される量子化パラメータqに対応する量子化ステップサイズである(Q_MIN≦p≦Q_MAX、Q_MINおよびQ_MAXもベース符号化器依存)。
【０１７０】
【数５】
2010268508.tif 000007
【０１７１】
ステップS502では、式(23)を用いてギャップ量子化幅qstep_gapからデッドゾーンスケールdz_scale(b,i,j)を計算する。
dz_scale(b,i,j)=qstep_gap       (23)
以上で、ギャップ補正デッドゾーンスケール生成装置205の入出力と動作の説明を終了する。
【０１７２】
ギャップ補正デッドゾーンスケール生成装置205の効果により、ベース符号化器の以下の２つ問題が発生した場合に、理想MB量子化強度と実MB量子化強度のギャップを補正することができる。
【０１７３】
一つは、ベース符号化器の予測判定110が選択したMBの予測モードが現MBの量子化パラメータあるいは前MBの量子化パラメータとの差分が伝送不可能であり、かつベース符号化器の量子化制御装置103の理想MB量子化パラメータが実MB量子化パラメータよりも大きい場合である。
【０１７４】
また、もう一つは、ベース符号化器に、MB毎に伝送可能な前MBの量子化パラメータとの差分delta_mb_Qに制限があり（例えば-2≦delta_mb_Q≦2）、かつベース符号化器の量子化制御装置103の理想MB量子化パラメータが実MB量子化パラメータよりも大きい場合である。
【０１７５】
上記量子化強度のギャップの補正によって、視覚感度の低いMBで無駄に消費されていた符号量を削減することが可能となる。前記符号量の削減により、画像フレーム全体の量子化パラメータが小さくなり、視覚感度の高いMBをより細かく量子化される。これにより、本発明によって、画像を従来方式よりも高画質に符号化できる。
【０１７６】
以上で実施例１の説明を終わる。
［実施例２］
【０１７７】
本発明の実施例２について説明する。
【０１７８】
本発明による画像符号化装置は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
【０１７９】
図２０は、本発明による動画像符号化装置をインプリメントした情報処理システムの一般的ブロック構成図である。
【０１８０】
図２０に示す情報処理システム（コンピュータ）は、プロセッサA1001，プログラムメモリA1002，記憶媒体A1003およびA1004からなる。記憶媒体A1003およびA1004は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ハードディスク等の磁気記憶媒体を用いることができる。
【０１８１】
以上の如く、本発明は、発明は画像の変換符号化技術において、変換係数の周波数領域での視覚感度、複数変換係数を構成要素とするブロックの空間領域での視覚感度に応じたデッドゾーン幅を設定する手段を具備し、これによって、変換係数の周波数領域での視覚感度および複数変換係数を構成要素とするブロックの空間領域での視覚感度に応じた量子化機能を提供することが可能である。
【０１８２】
また、本発明は、量子化パラメータによって決定される量子化幅に依存することなく、周波数領域で視覚感度の低い変換係数、および空間領域で視覚感度の低いブロックに無駄に消費されていた符号量を削減でき、符号量の削減によって、画像フレーム全体の量子化が従来方式よりも細かくなり、周波数領域で視覚感度の高い変換係数および空間領域で視覚感度の高いブロックが高画質に符号化される。
【図１】
2010268508.tif 000008
【図２】
2010268508.tif 000009
【図３】
2010268508.tif 000010
【図４】
2010268508.tif 000011
【図５】
2010268508.tif 000012
【図６】
2010268508.tif 000013
【図７】
2010268508.tif 000014
【図８】
2010268508.tif 000015
【図９】
2010268508.tif 000016
【図１０】
2010268508.tif 000017
【図１１】
2010268508.tif 000018
【図１２】
2010268508.tif 000019
【図１３】
2010268508.tif 000020
【図１４】
2010268508.tif 000021
【図１５】
2010268508.tif 000022
【図１６】
2010268508.tif 000023
【図１７】
2010268508.tif 000024
【図１８】
2010268508.tif 000025
【図１９】
2010268508.tif 000026
【図２０】
2010268508.tif 000027