(57)【要約】【課題】低ビットレートにて符号化処理を行う際には、制御効率の劣化により圧縮率が高くなり、外乱の影響比率が大きくなり、その吸収が困難になって仮想バッファのオーバーフロー・アンダーフローが生じる可能性がある。【解決手段】量子化回路における量子化ステップをブロック内の特徴量に応じてブロック単位に変化させる適応量子化処理を行う適応量子化回路内のアクティビティ検出回路２０１は、入力ディジタル画像信号から局所的な情報量であるマクロブロック毎のアクティビティを求める。フレームアクティビティ算出回路２０３は、上記のアクティビティと、最小アクティビティ算出回路２０２からの最小アクティビティの各フレーム平均を算出する。量子化ステップ計算回路２０４は、上記のフレーム平均の比率と仮想バッファ制御ポイントとを用いて、基準量子化スケールからの適応量子化の適応レベルを可変制御した量子化スケールを算出する。【選択図】            図２
2005005862.tif 000002
【特許請求の範囲】
【請求項１】
供給される画像信号を１画像単位でブロックに分割し、各ブロック毎に直交変換された画像信号を適応量子化回路から供給される量子化スケールに応じて量子化回路により量子化し、量子化された信号を符号化回路により符号化して高能率符号化された符号化信号を出力すると共に、前記符号化信号の符号量を目標符号量に近付けるための基準量子化スケールを前記適応量子化回路へ出力する符号量制御回路を備え、前記適応量子化回路は前記基準量子化スケールを制御して前記量子化スケールを生成する画像符号化装置において、
前記符号量制御回路を、符号化時に想定される仮想バッファのバッファ量の充足度を示す仮想バッファ制御ポイントを出力する回路とし、
前記適応量子化回路を、前記各ブロック毎の前記画像信号の局所的な情報量であるアクティビティを算出する第１の算出回路と、前記各ブロック毎に、自ブロックとその自ブロックに隣接する各前記ブロックとの前記第１の算出回路で算出されたアクティビティの中から最小値を有するアクティビティを前記自ブロックの最小アクティビティとして算出する第２の算出回路と、前記第１の算出回路で算出されたアクティビティの前記１画像における平均値である第１の平均値と前記最小アクティビティの前記１画像における平均値である第２の平均値とをそれぞれ算出する第３の算出回路と、前記第１の平均値と前記第２の平均値との比率から求めたアクティビティの前記１画像における面内分布状況と、前記符号量制御回路からの前記仮想バッファ制御ポイントとを用いて、前記基準量子化スケールに対する制御幅を可変制御して前記量子化スケールを算出する第４の算出回路とを有する回路としたことを特徴とする画像符号化装置。
【請求項２】
供給される画像信号を１画像単位でブロックに分割し、各ブロック毎に画像間予測した予測信号と前記画像信号との差分信号又は基準画像の前記画像信号を直交変換し、前記直交変換された信号を適応量子化回路から供給される量子化スケールに応じて量子化し、量子化された信号を符号化回路により符号化して高能率符号化された符号化信号を出力すると共に、前記符号化信号の符号量を目標符号量に近付けるための基準量子化スケールを前記適応量子化回路へ出力する符号量制御回路を備え、前記適応量子化回路は前記基準量子化スケールを制御して前記量子化スケールを生成する画像符号化装置において、
前記符号量制御回路を、符号化時に想定される仮想バッファのバッファ量の充足度を示す仮想バッファ制御ポイントを出力する回路とし、
前記適応量子化回路を、前記各ブロック毎の前記画像信号の局所的な情報量であるアクティビティを算出する第１の計算回路と、前記アクティビティを用いて前記１画像内のアクティビティの面内分布状況を算出する第２の計算回路と、前記アクティビティの面内分布状況と前記符号量制御回路からの前記仮想バッファ制御ポイントとを用いて、前記基準量子化スケールに対する制御幅を可変制御し、かつ、前記制御幅を符号化時の画像間予測モードまたは予測モードを決定するための評価値に応じて重み付けした値として制御して、前記量子化スケールを算出する第３の計算回路とを有する回路としたことを特徴とする画像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像符号化装置に係り、特に画像信号を適応量子化処理を用いて高能率符号化する画像符号化装置に関する。
【０００２】
【従来の技術】
近年、ディジタル化された画像信号に対して高能率符号化方式を適用して圧縮された画像情報を用いて、衛星波、地上波、インターネットなどの伝送路により情報を配信するサービスや、光ディスクや磁気媒体等のメディアに記録・再生を行うシステムが開発・実用化されている。このようなシステムに用いられている動画像の高能率符号化方式の一つとして、国際規格であるＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  ｐｈａｓｅ  ２）がある。
【０００３】
ＭＰＥＧ２は、画像信号の隣接画素間（空間方向）の相関および、フレームもしくはフィールド（時間方向）の相関を利用して、画像信号の情報量を圧縮する符号化方式である。ＭＰＥＧ２画像符号化処理を実現する画像符号化装置は、図５のような構成で構築できる。
【０００４】
同図において、入力されたディジタル画像信号は入力画像メモリ１に１フレーム分記憶された後、符号化シンタックスに従って符号化される順番に並べ替えを行うため、遅延されて読み出される。入力画像メモリ１から読み出されたディジタル画像信号は、以下説明するように、空間方向の相関のみを用いフレーム内で処理が完結する基準フレーム（Ｉフレーム）と、基準フレームを参照し時間方向の相関も用いる事で圧縮処理を高める予測フレーム（Ｐ／Ｂフレーム）に分けられ符号化処理される。
【０００５】
ディジタル画像信号の基準フレームにおいては、２次元ブロック変換回路２にて垂直方向Ｎ画素・水平方向Ｍ画素（通常Ｎ，Ｍは８）の２次元ブロックに変換される。変換されたデータは減算器３を経由して直交変換回路４に供給され、ここでＤＣＴ変換が行われてＤＣＴ係数とされて量子化回路５に送られる。画像情報は一般的に低域成分に情報が集中していると共に、視覚特性上も高域成分情報の削減は検知しにくいため、量子化回路５においては低域を細かく、高域を粗く量子化する事により情報量の削減を行う。
【０００６】
量子化回路５で量子化されたＤＣＴ係数は符号化回路６において、符号化テーブル７の係数に対応したアドレスを参照する事により、可変長または固定長の符号化が行われる。ＤＣＴ係数のＤＣ成分に関しては、隣り合う２次元ブロックのＤＣ成分との差分を符号化する事で更に低域成分の情報量を削減し、ＡＣ成分に関しては低域から高域成分へと係数を２次元的にサーチしていき、ゼロ成分の続く長さとその後に存在する非ゼロ係数をペアにして符号化する（ランレングス符号化）。これにより、連続する高域ゼロ成分を少ない符号量で伝送できる。
【０００７】
上記２次元ブロックは輝度信号が１６画素×１６画素を占める領域毎に、マクロブロックというより大きなブロック単位にまとめられ、その領域の全ての輝度信号・色差信号ブロックの情報が符号化データとして出力される。出力された符号化データは、マルチプレクサ８により上記符号化データと画面内でのブロックの場所等を示す付加情報とが多重化され、ビットストリームとして出力される。
【０００８】
符号化処理と共に、量子化されたＤＣＴ係数は逆量子化回路９、逆直交変換回路１０において逆量子化及び逆ＤＣＴ変換が行われ、符号化ビットストリームが復号された状態の画像信号（参照画像信号）に復元された後、デブロック回路１１、加算器１２を経由して参照画像メモリ１３に供給されて格納される。
【０００９】
次に、ディジタル画像信号の予測フレームにおいては、入力画像メモリ１から出力されるディジタル画像信号と参照画像メモリ１３に格納されている参照画像信号との間で動きベクトル検出回路１４によって、画像間での動きベクトルが一般的にブロックマッチングにより求められる。すなわち、動きベクトル検出回路１４は、符号化するディジタル画像信号と参照画像メモリ１３から読み出した参照画像信号をそれぞれ２次元ブロック化し、両信号の対応する画素毎の差分絶対値総和（もしくは差分二乗総和）の最も小さいブロックに対する画面内の動き成分を検出して、動きベクトルとして出力する。
【００１０】
動きベクトル検出回路１４から出力された動きベクトルにより、動き補償予測回路１５において参照画像メモリ１３から読み出された参照画像信号から予測ブロックが切り出される。動き補償予測回路１５では予測モードの選択を行い、予測モード信号を加算器１２に供給してデブロック回路１１からの信号と加算すると共に、減算器３に供給して２次元ブロック変換回路２からの符号化する画像ブロックとの差分を算出させる。以降の処理は、前記フレームの各ブロックと同様の処理が行われ、ＤＣＴ係数が動き補償予測回路１５からの動きベクトルや予測モード信号と共にマルチプレクサ８で合成されてビットストリームとして出力される。
【００１１】
ビットストリームを所定のメディアに記録または伝送路に送出するためには、メディアや伝送路の帯域に合わせて所定時間に出力するビットストリームの量を制御する必要がある。そこで、符号量の制御に関しては、出力されたビットストリームの符号量が符号量制御回路１６において目標とする符号量との比較がとられ、目標符号量に近づけるために、量子化回路５の量子化の細かさ（量子化スケール）を適応量子化回路１７により制御する。
【００１２】
ＭＰＥＧ２の場合では基準フレーム（Ｉピクチャ）と２種類の予測フレーム（Ｐピクチャ：片方向予測、Ｂピクチャ：両方向予測）の３種類の情報量の異なるピクチャタイプが存在するため、予め設定された符号化レートに対して、３つのピクチャタイプの性質と出現頻度を用いて、各フレームに対する目標符号量を算出する。また目標符号量は、復号装置のストリームバッファを仮想的にシミュレートして、バッファのオーバーフロー・アンダーフローが起きないように制限される。量子化スケールは、量子化スケールと出力符号量とが一般的にほぼ反比例の関係がある事を利用して、ピクチャタイプ毎に目標符号量に対する量子化スケール値を計算し、量子化処理を行う。
【００１３】
ブロック毎に目標符号量に近づく方向に量子化スケールを変動させる事によって、目標符号量内に符号化ビットストリームを抑える。固定転送レート符号化の場合に、細かい量子化スケールを用いても符号化ストリームの量が設定した符号化レートに満たない場合には、１つのピクチャの区切りを示すヘッダコードの前に足りない符号量分のスタッフィングビットを詰め込む事により、設定した符号化レートに合わせている。
【００１４】
同じ圧縮率の符号化処理を行った場合に、復号画像の品質をより良くするためには、画面内を同じ量子化処理を行った場合に劣化の目立ちにくい部分の量子化を粗く、劣化の目立ち易い部分の量子化を細かくする必要がある。動画像の符号化において、画面を複数のブロックに分割して量子化処理を行う際、量子化ステップをブロック内の特徴量に応じてブロック単位に変化させる適応量子化処理を行うことが広く知られている。
【００１５】
例としては、ＭＰＥＧ２Ｖｉｄｅｏの標準化作業で用いられたエンコーダモデルであるＴＭ５のように、ブロック内の輝度分散を求める事により、特徴量としてブロック内の輝度分散を用い、輝度分散の大きいブロックでは量子化を粗く、小さいブロックでは量子化を細かくする方法が用いられる。この方法は、テクスチャの領域ではノイズが検知しにくいといった視覚的な特性を利用し、複雑な絵柄の部分に関してはノイズを許容して、平坦な絵柄の部分に関してはノイズを抑え込む手法である。この処理を適応量子化処理という。適応量子化処理は図５において適応量子化回路１７にて行われる。
【００１６】
図６は上記の適応量子化回路１７の一例のブロック図を示す。同図において、図５の入力画像メモリ１から出力されたディジタル画像信号はアクティビティ検出回路１７１により、輝度分散が求められる。この輝度分散をｍｂ＿ａｃｔとすると、ｍｂ＿ａｃｔは式（１）のようにマクロブロックの輝度平均（ＤＣ）と各画素の輝度値（Ｌｕｍａ）の二乗誤差で求められる。
【００１７】
ｍｂ＿ａｃｔ＝Σ  （ＤＣ−Ｌｕｍａ（ｘ，ｙ）  ）                      式（１）
ただし、ｘ，ｙはマクロブロック内の２次元ポジション
上記のアクティビティ検出回路１７１の出力信号はフレームアクティビティ算出回路１７２に供給されて、フレーム内のアクティビティの平均値ａｖｇ＿ａｃｔが算出される。量子化ステップ計算回路１７３は、アクティビティ検出回路１７１からの輝度分散ｍｂ＿ａｃｔと、フレームアクティビティ算出回路１７２からのフレーム内のアクティビティの平均値ａｖｇ＿ａｃｔと、図５の符号量制御回路１６によって設定された量子化スケールＱｂとに基づいて、式（２）により符号化時の量子化スケールの値ｍｑｕａｎｔを算出する。
【００１８】
ｍｑｕａｎｔ＝Ｑｂ×（２×ｍｂ＿ａｃｔ＋ａｖｇ＿ａｃｔ）／（ｍｂ＿ａｃｔ＋２×ａｖｇ＿ａｃｔ）    式（２）
量子化ステップ計算回路１７３において計算されたｍｑｕｎａｔ値が図５の量子化回路５に対して出力され、符号化時の量子化スケール（量子化ステップ）として使用される。上記式（２）のように、適応量子化処理を行う際の適応レベルは、ＭＰＥＧ２のＴＭ５においてはフレームアクティビティ算出回路１７２で生成されたフレーム内のアクティビティの平均ａｖｇ＿ａｃｔと、上記の輝度分散ｍｂ＿ａｃｔとの比率に応じて、上記符号量制御回路１６によって設定された量子化スケールＱｂ（基準量子化スケール）を１／２から２倍の間で変化させている。
【００１９】
アクティビティの検出方式に関しては、符号化するブロックに隣り合うブロックが平坦であり、かつ、符号化するブロックがエッジ成分を持ち、その境界部分に一部平坦な領域が存在する場合に粗く量子化されると劣化が目立つ視覚的特性を考慮して、隣接するブロックの複雑さも加味して適応量子化を行う事も考えられている。
【００２０】
また、基準量子化スケールからの変化の度合い（適応レベル）に関しては、適応レベルを可変にする方法も考案されており、一例としては基準量子化スケールに対しアクティビティの平均値からの偏差を加減することで適応レベルを可変する画像符号化装置が提案されている（例えば、特許文献１参照）。
【００２１】
【特許文献１】
特許第２８３０８５５号公報（第３頁）
【００２２】
【発明が解決しようとする課題】
しかるに、図５の従来の画像符号化装置では、適応量子化処理を用いた際に、符号量制御回路１６によって制御されている量子化スケールに対して、視覚特性に基づき重み付けを変化させ符号化する事になるので、視覚的には劣化が検知しにくくなるが制御効率が劣化する。このため、低ビットレートにて符号化処理を行う際には、上記の制御効率の劣化により圧縮率が高くなり、外乱の影響比率が大きくなり、その吸収が困難になって仮想バッファのオーバーフロー・アンダーフローが生じる可能性がある。この場合に、適応量子化処理を止めてしまえば制御効率の劣化は生じないが、逆に平坦な絵柄の領域で画質の劣化が顕著に感じられる。
【００２３】
また、特許文献１記載の従来の画像符号化装置で提案されているような、アクティビティと基準量子化スケールの関係から、適応レベルを制御させる方式にて仮想バッファのオーバーフロー・アンダーフローを回避するようにコントロールした場合は、低ビットレートの場合に符号量がオーバーする事を抑えるために適応レベルが抑えられ、劣化を防ぐ適応量子化処理が機能しなくなる。
【００２４】
本発明は、以上の点に鑑みなされたもので、特に低ビットレートの場合に符号量制御回路に対しての弊害を抑えつつ、画質劣化を防ぐ適応量子化処理を行い、画像符号化の圧縮率を高くした際に、視覚的に目立つ劣化を抑えつつ所定の圧縮率に抑え得る画像符号化装置を提供することを目的とする。
【００２５】
【課題を解決するための手段】
本発明は上記の目的を達成するため、供給される画像信号を１画像単位でブロックに分割し、各ブロック毎に直交変換された画像信号を適応量子化回路から供給される量子化スケールに応じて量子化回路により量子化し、量子化された信号を符号化回路により符号化して高能率符号化された符号化信号を出力すると共に、符号化信号の符号量を目標符号量に近付けるための基準量子化スケールを適応量子化回路へ出力する符号量制御回路を備え、適応量子化回路は基準量子化スケールを制御して量子化スケールを生成する画像符号化装置において、
符号量制御回路を、符号化時に想定される仮想バッファのバッファ量の充足度を示す仮想バッファ制御ポイントを出力する回路とし、適応量子化回路を、各ブロック毎の画像信号の局所的な情報量であるアクティビティを算出する第１の算出回路と、各ブロック毎に、自ブロックとその自ブロックに隣接する各ブロックとの第１の算出回路で算出されたアクティビティの中から最小値を有するアクティビティを自ブロックの最小アクティビティとして算出する第２の算出回路と、第１の算出回路で算出されたアクティビティの１画像における平均値である第１の平均値と最小アクティビティの１画像における平均値である第２の平均値とをそれぞれ算出する第３の算出回路と、第１の平均値と第２の平均値との比率から求めたアクティビティの１画像における面内分布状況と、符号量制御回路からの仮想バッファ制御ポイントとを用いて、基準量子化スケールに対する制御幅を可変制御して量子化スケールを算出する第４の算出回路とを有する回路としたことを特徴とする。
【００２６】
この発明では、適応量子化処理を用いた画像符号化装置において、アクティビティの面内分布状況から視覚的特性を把握し、その面内分布状況に応じて基準量子化スケールに対する制御幅を可変させると共に、その制御幅をさらに仮想バッファのコントロールされている制御ポイント（仮想バッファのバッファ量の充足度）に応じて制限を加えるようにしたため、低ビットレートで圧縮率が高くなり外乱の影響比率が大きくなった場合に、符号量制御の破綻が予想されるような場合には、視覚的な重要度を尊重しつつ、外乱のレベルを小さく抑えるように量子化スケールを可変制御することで符号量制御の破綻を回避することができる。
【００２７】
また、上記の目的を達成するため、本発明は、供給される画像信号を１画像単位でブロックに分割し、各ブロック毎に画像間予測した予測信号と画像信号との差分信号又は基準画像の画像信号を直交変換し、直交変換された信号を適応量子化回路から供給される量子化スケールに応じて量子化し、量子化された信号を符号化回路により符号化して高能率符号化された符号化信号を出力すると共に、符号化信号の符号量を目標符号量に近付けるための基準量子化スケールを適応量子化回路へ出力する符号量制御回路を備え、適応量子化回路は基準量子化スケールを制御して量子化スケールを生成する画像符号化装置において、
符号量制御回路を、符号化時に想定される仮想バッファのバッファ量の充足度を示す仮想バッファ制御ポイントを出力する回路とし、適応量子化回路を、各ブロック毎の画像信号の局所的な情報量であるアクティビティを算出する第１の計算回路と、アクティビティを用いて１画像内のアクティビティの面内分布状況を算出する第２の計算回路と、アクティビティの面内分布状況と符号量制御回路からの仮想バッファ制御ポイントとを用いて、基準量子化スケールに対する制御幅を可変制御し、かつ、制御幅を符号化時の画像間予測モードまたは予測モードを決定するための評価値に応じて重み付けした値として制御して、量子化スケールを算出する第３の計算回路とを有する回路としたことを特徴とする。
【００２８】
この発明では、基準量子化スケールに対する制御幅を可変制御して量子化スケールを求める際に、制御幅を符号化時の画像間予測モードまたは予測モードを決定するための評価値に応じて重み付けした値として制御して量子化スケールを算出するようにしたため、予測誤差の高域成分が大きい場合に量子化スケールを下げたときの想定符号量からのずれが大きくなり符号量制御を乱してしまう現象を回避することができる。
【００２９】
【発明の実施の形態】
次に、本発明の実施の形態について、図面と共に説明する。図１は本発明になる画像符号化装置の一実施の形態のブロック図、図２は図１中の適応量子化回路の一実施の形態のブロック図を示す。図１中、図５と同一構成部分には同一符号を付し、その説明を省略する。図１において、適応量子化回路２０には、入力画像メモリ１から読み出されたディジタル画像信号と、符号量制御回路２１から出力された基準量子化スケール及び現在の仮想バッファの制御ポイント情報と、動き補償予測回路２２から出力された現在の符号化モード（ピクチャタイプ／予測モード情報）及びそのモード判定の評価値とがそれぞれ入力される。
【００３０】
適応量子化回路２０は、図２のブロック図に示すように、アクティビティ検出回路２０１、最小アクティビティ算出回路２０２、フレームアクティビティ算出回路２０３及び量子化ステップ計算回路２０４からなる構成とされており、図１の入力画像メモリ１から読み出されたディジタル画像信号が図２のアクティビティ検出回路２０１に供給されて、局所的な情報量であるマクロブロック毎のアクティビティが求められる。この実施の形態においては、アクティビティ検出回路２０１は、図３（Ａ）に示すようにマクロブロック内の隣接画素の輝度値（Ｌｕｍａ）の差分絶対値和をアクティビティｍｂ＿ａｃｔとして算出する。
【００３１】
アクティビティ検出回路２０１にて算出されたマクロブロック毎のアクティビティｍｂ＿ａｃｔは、最小アクティビティ検出回路２０２に供給されて２次元的に隣り合うマクロブロックのアクティビティの最小値が検出される。具体的には、図３（Ｂ）のように、自マクロブロックのアクティビティｍｂ＿ａｃｔ（ｘ，ｙ）に対して、水平、垂直及び斜めの各方向に隣接する８つのマクロブロックのアクティビティｍｂ＿ａｃｔ（ｘ−１，ｙ−１）〜ｍｂ＿ａｃｔ（ｘ＋１，ｙ＋１）（ｍｂ＿ａｃｔ（ｘ，ｙ）除く）と、自マクロブロックのアクティビティｍｂ＿ａｃｔ（ｘ，ｙ）との中で最小値を最小アクティビティｍｉｎ＿ａｃｔとする。
【００３２】
フレームアクティビティ算出回路２０３は、アクティビティ検出回路２０１にてマクロブロック毎に生成されたアクティビティｍｂ＿ａｃｔと、最小アクティビティ検出回路２０２にてマクロブロック毎に検出された最小アクティビティｍｉｎ＿ａｃｔとを入力として受け、これらをそれぞれ１フレーム積算してフレーム平均ａｖｇ＿ａｃｔ、ａｖｇ＿ｍｉｎ＿ａｃｔをそれぞれ生成する。ここで、フレーム平均ａｖｇ＿ａｃｔは、アクティビティの面内平均を示しており、平均最小アクティビティａｖｇ＿ｍｉｎ＿ａｃｔは、最小アクティビティの面内平均を示している。
【００３３】
量子化ステップ計算回路２０４は、上記の平均最小アクティビティａｖｇ＿ｍｉｎ＿ａｃｔと最小アクティビティｍｉｎ＿ａｃｔの比率に応じて、図１の符号量制御回路２１によって設定された基準量子化スケールＱｂを、式（３）のように１／αからα倍（ただし、αは、マクロブロック毎の適応レベルで、基準量子化スケールＱｂに対する制御幅を示す）の間で変化させ、式（３）により計算されたｍｑｕａｎｔを符号化時の量子化スケールとして使用する。
【００３４】
2005005862.tif 000003
次に、量子化ステップ計算回路２０４による量子化スケールｍｑｕａｎｔの計算アルゴリズムについて、図４のフローチャートと共に詳細に説明する。まず、量子化ステップ計算回路２０４は、入力ディジタル画像信号から前記アクティビティのフレーム平均ａｖｇ＿ａｃｔ、最小アクティビティのフレーム平均ｍｉｎ＿ａｖｇ＿ａｃｔを算出し、更に符号量制御回路２１から仮想バッファ制御ポイントｖｂｖ＿ｂｕｆｆｅｒ＿ｆｕｌｌｎｅｓｓを取得し、動き補償予測回路２２からピクチャタイプｐｉｃｔｕｒｅ＿ｔｙｐｅを取得し、変数ｍｂ＿ｐｏｓを初期値０とする（ステップＳ１）。ここで、仮想バッファ制御ポイントｖｂｖ＿ｂｕｆｆｅｒ＿ｆｕｌｌｎｅｓｓは、仮想バッファに蓄えられているビットストリームの量を表し、仮想バッファのバッファ量の充足度を示す。
【００３５】
続いて、量子化ステップ計算回路２０４は、フレーム毎の先頭で、アクティビティのフレーム平均ａｖｇ＿ａｃｔと最小アクティビティのフレーム平均ａｖｇ＿ｍｉｎ＿ａｃｔの比率ｍｉｎ＿ｒａｔｉｏを計算する（ステップＳ２）。この比率ｍｉｎ＿ｒａｔｉｏは、アクティビティの分布状況を表す面内平均である。続いて、アクティビティのフレーム平均ａｖｇ＿ａｃｔが閾値Ｔｈｒｅｓｈ０以上であるかどうか判定し（ステップＳ３）、閾値Ｔｈｒｅｓｈ０未満であれば閾値Ｔｈｒｅｓｈ１（＜Ｔｈｒｅｓｈ０）以上であるかどうか判定する（ステップＳ４）。
【００３６】
アクティビティのフレーム平均ａｖｇ＿ａｃｔが閾値Ｔｈｒｅｓｈ０以上であれば、前記比率ｍｉｎ＿ｒａｔｉｏを１０倍した値と設定値２の小さい方を適応レベルαとし（ステップＳ５）、ａｖｇ＿ａｃｔが閾値Ｔｈｒｅｓｈ０未満で、かつ、閾値Ｔｈｒｅｓｈ１以上であれば、前記比率ｍｉｎ＿ｒａｔｉｏを１０倍した値と設定値４の小さい方を適応レベルαとし（ステップＳ６）、ａｖｇ＿ａｃｔが閾値Ｔｈｒｅｓｈ１未満であれば、前記比率ｍｉｎ＿ｒａｔｉｏを１０倍した値を適応レベルαとする（ステップＳ７）。
【００３７】
すなわち、上記のステップＳ３〜Ｓ７では、上記の比率ｍｉｎ＿ｒａｔｉｏが大きい場合には適応レベルαが大きく、ｍｉｎ＿ｒａｔｉｏが小さい場合には適応レベルαが小さくセットされる。ｍｉｎ＿ｒａｔｉｏが大きい場合には同じようなアクティビティ傾向を持ったマクロブロックが固まって構成されており、ｍｉｎ＿ｒａｔｉｏが小さい場合には異なる傾向のマクロブロックが隣接していると想定できる。
【００３８】
異なる傾向のマクロブロックが隣接している場合には、最小アクティビティからの想定と比較して符号化で出力されるビット数が増大し、制御の乱れが大きくなると共に、視覚的には平坦な領域の大きさがそれほど大きくないため、量子化値が大きくなった場合のブロック歪は検知しにくい。
【００３９】
平坦な領域が大きく固まっている場合には、極力量子化スケールを小さくしブロック歪を視覚検知できなくする制御を行う。上記制御とは別にアクティビティのフレーム平均ａｖｇ＿ａｃｔそのものが大きい場合には、適応レベルαの最大値が制限される。具体的には、アクティビティのフレーム平均ａｖｇ＿ａｃｔの大きさに応じてｍｉｎ＿ｒａｔｉｏによるα計算式を変化させる。
【００４０】
続いて、量子化ステップ計算回路２０４は、仮想バッファ制御ポイントｖｂｖ＿ｂｕｆｆｅｒ＿ｆｕｌｌｎｅｓｓが、符号化時のピクチャタイプの想定符号量に即した第１の閾値β［ｐｉｃｔｕｒｅ＿ｔｙｐｅ］より小さいかどうか比較判定する（ステップＳ８）。ｖｂｖ＿ｂｕｆｆｅｒ＿ｆｕｌｌｎｅｓｓが小さいとき、すなわち仮想バッファに蓄えられているビットストリームの量が第１の閾値β［ｐｉｃｔｕｒｅ＿ｔｙｐｅ］より小さいときには、符号化時のピクチャタイプの想定符号量に即した第２の閾値γ［ｐｉｃｔｕｒｅ＿ｔｙｐｅ］と適応レベルαの小さい方を適応レベルとする（ステップＳ９）。すなわち、符号量制御のずれがバッファ破綻にならないように適応レベルαの最大値を第２の閾値γ［ｐｉｃｔｕｒｅ＿ｔｙｐｅ］に制限する。
【００４１】
ｖｂｖ＿ｂｕｆｆｅｒ＿ｆｕｌｌｎｅｓｓが第１の閾値β［ｐｉｃｔｕｒｅ＿ｔｙｐｅ］以上であるとき、又はステップＳ９の処理を終了すると、量子化ステップ計算回路２０４は、マクロブロック毎の処理において、基準量子化スケールが大きい場合に予測モードに応じて適応レベルαに重みをつけるために、判断材料として、図４のアルゴリズムでは動き補償予測を行う際の予測モードを判定するための評価値である誤差の二乗総和ＭＳＥを使い、そのブロックで選択された予測モードのＭＳＥであるＭＳＥ［ｍｂ＿ｐｏｓ］と、選択された予測モードｐｒｅｄ＿ｍｏｄｅ毎に持っている予測誤差の高域成分の閾値Ｔｈｒｅｓｈ＿ＭＳＥ［ｐｒｅｄ＿ｍｏｄｅ］とを比較する（ステップＳ１０）。
【００４２】
この比較の結果、ＭＳＥ［ｍｂ＿ｐｏｓ］が閾値Ｔｈｒｅｓｈ＿ＭＳＥ［ｐｒｅｄ＿ｍｏｄｅ］以上であるときには、適応レベルαを校正されたα値α［ｍｂ＿ｐｏｓ］として設定し（ステップＳ１１）、ＭＳＥ［ｍｂ＿ｐｏｓ］が閾値Ｔｈｒｅｓｈ＿ＭＳＥ［ｐｒｅｄ＿ｍｏｄｅ］より小さいときは量子化スケールを下げた場合の想定符号量からのずれが大きくなり符号量制御を乱してしまうため、適応レベルαを小さく（例えば０．７５倍）した値を校正されたα値α［ｍｂ＿ｐｏｓ］とする（ステップＳ１２）。
【００４３】
続いて、校正されたα値α［ｍｂ＿ｐｏｓ］を用い、前述した式（３）の計算式により符号化時の量子化スケールｍｑｕａｎｔが算出される（ステップＳ１３）。続いて、基準量子化スケールＱｂが閾値Δよりも大きいかどうか判定する（ステップＳ１４）。基準量子化スケールＱｂが閾値Δよりも大きいときには適応量子化にて量子化スケールの最上限にてクリップされる可能性があるため、符号量が想定より大きく出る場合がある。そのため、基準量子化スケールＱｂが閾値Δよりも大きいときには式（３）にて算出された量子化スケールｍｑｕａｎｔを、最小量子化スケールεにて制限する（ステップＳ１５）。
【００４４】
ステップＳ１５の処理終了後、またはステップＳ１４で基準量子化スケールＱｂが閾値Δ以下と判定されたときには、そのフレーム内の最後のマクロブロック（ＭＢ）について処理が終了したかどうか判定し（ステップＳ１６）、終了していなければ、変数ｍｂ＿ｐｏｓを１インクリメントした後（ステップＳ１７）、ステップＳ１０に戻り、最後のＭＢの処理が終わればフレーム処理を終了する（ステップＳ１８）。
【００４５】
このように、本実施の形態では、適応量子化回路２０により、符号量制御を乱す要因と視覚的劣化レベルを推測し、視覚的な重要度を尊重しつつ、符号量制御の破綻が予測されるような場合には、外乱のレベルを小さく抑えるように適応レベルαを制御するため、外乱のレベルを小さく抑えて符号量制御の破綻を回避するような制御範囲内での最適な適応量子化コントロールが可能な量子化スケールｍｑｕａｎｔを出力できる。これにより、特に低ビットレートにて仮想バッファの制御効率が劣化する問題を解決でき、符号量の制御を保った状態で、主観的に画質を向上させる適応量子化処理を実現できる。
【００４６】
すなわち、本実施の形態では、適応量子化回路２０により画面内のアクティビティの大きい領域と少ない領域の変化の度合いを計測し、また符号化時の量子化レベルの変動量を推測することにより、適応量子化にて符号量制御への影響度を予測し、符号量制御が破綻しない範囲で適切な適応量子化処理を行うことができる。
【００４７】
なお、本発明は上記の実施の形態に限定されるものではなく、例えばアクティビティ分布状況の把握手段に関しては、実施の形態に挙げた手段以外にも、アクティビティレベル毎の頻度を計測し、その偏差を求める事により取得する方法等が考えられ、同様のアルゴリズムにて適応レベルの制御を行う事ができる。アクティビティ自体の計測手法に関しても、ＭＰＥＧ２ＴＭ５のような輝度分散値を用いても実現可能である。また、本発明は、ＭＰＥＧ２に限らずＭＰＥＧ１／ＭＰＥＧ４等の量子化処理を用いた高能率符号化にも用いることができると共に、Ｍｏｔｉｏｎ−ＪＰＥＧ等のフレーム間での予測を用いない動画像符号化方式にも応用が可能である。
【００４８】
【発明の効果】
以上説明したように、本発明によれば、アクティビティの面内分布状況から視覚的特性を把握し、その面内分布状況に応じて基準量子化スケールに対する制御幅を可変させると共に、その制御幅をさらに仮想バッファのコントロールされている仮想バッファのバッファ量の充足度に応じて制限を加えるようにしたため、特に低ビットレートにおいて視覚的な重要度を尊重しつつ、外乱のレベルを小さく抑えるように量子化スケールを可変制御することで符号量制御の破綻を回避することができ、符号量の制御を保った範囲内で主観的に画質を向上させる適応量子化処理を最適に実現できる。
【００４９】
また、本発明によれば、基準量子化スケールに対する制御幅を可変制御して量子化スケールを求める際に、制御幅を符号化時の画像間予測モードまたは予測モードを決定するための評価値に応じて重み付けした値として制御して、量子化スケールを算出することにより、予測誤差の高域成分が大きい場合に量子化スケールを下げたときの想定符号量からのずれが大きくなり符号量制御を乱してしまう現象を回避することができ、符号量制御を乱す要因と視覚的劣化レベルを推測して制御幅を可変制御することにより、制御範囲内で最適な適応量子化処理ができる。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の一実施の形態のブロック図である。
【図２】本発明の画像符号化装置中の適応量子化回路の一実施の形態のブロック図である。
【図３】本発明の実施の形態におけるアクティビティ検出手法を示す図である。
【図４】本発明の実施の形態における適応量子化レベル制御処理説明用フローチャートである。
【図５】従来の画像符号化装置の一例のブロック図である。
【図６】図５中の適応量子化回路の一例のブロック図である。
【符号の説明】
１  入力画像メモリ
２  ２次元ブロック変換回路
４  直交変換回路
５  量子化回路
６  符号化回路
７  符号化テーブル
８  マルチプレクサ
１３  参照画像メモリ
１４  動きベクトル検出回路
１５、２２  動き補償予測回路
１６、２１  符号量制御回路
１７、２０  適応量子化回路
２０１  アクティビティ検出回路
２０２  最小アクティビティ算出回路
２０３  フレームアクティビティ算出回路
２０４  量子化ステップ計算回路
【図１】
2005005862.tif 000004
【図２】
2005005862.tif 000005
【図３】
2005005862.tif 000006
【図４】
2005005862.tif 000007
【図５】
2005005862.tif 000008
【図６】
2005005862.tif 000009