(57)【特許請求の範囲】
【請求項１】
画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化方法において、
符号化済み画像フレームの符号化結果に応じて最大符号量および第１量子化スケールを算出し、算出された最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する段階と、
前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を算出する段階と、
前記予測符号量と発生符号量とを比較し、前記比較結果に応じて更新される第２量子化スケールを算出する段階と、
前記第１量子化スケールと第２量子化スケールとを比較し、大きい方を新たな量子化スケールとして更新する段階と
を有する画像信号符号化方法。
【請求項２】
請求項１記載の画像信号符号化方法において、
前記第２量子化スケールを算出する段階は、前記発生符号量が予測符号量より多ければ前記第２量子化スケールを大きくし、前記発生符号量が予測符号量より小さければ前記第２量子化スケールを小さくすることを特徴とする画像信号符号化方法。
【請求項３】
画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化装置において、
符号化済み画像フレームの符号化結果に応じて最大符号量および第１量子化スケールを算出する第１量子化スケール・最大符号量計算部と、
前記最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する一方、前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を供給され、前記予測符号量と発生符号量との差に応じて第２量子化スケールを算出する量子化制御バッファ計算部と、
前記第１量子化スケールと第２量子化スケールとを比較し、大きい方を新たな量子化スケールとして出力する量子化制御部と
を有する画像信号符号化装置。
【請求項４】
請求項３記載の画像信号符号化装置において、
前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を測定する発生符号量測定部と、
前記発生符号量測定部から供給される発生符号量および前記量子化制御部から供給される量子化スケールを格納する符号化データ用メモリとを更に有する画像信号符号化装置。
【請求項５】
請求項３記載の画像信号符号化装置において、
前記量子化制御バッファ計算部は、前記発生符号量が予測符号量より多ければ前記第２量子化スケールを大きくし、前記発生符号量が予測符号量より小さければ前記第２量子化スケールを小さくすることを特徴とする画像信号符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号符号化方法および画像信号符号化装置に係り、特に、画像信号を可変ビットレートで符号化する画像信号符号化方法および画像信号符号化装置に関する。
【０００２】
【従来の技術】
近年、画像信号符号化装置において、国際標準であるＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の画像信号符号化方法が利用されている。このような画像信号符号化装置では、ビットストリームが画像信号復号化装置の受信バッファを破綻させない為に、画像信号符号化装置のビットストリーム出力先にＶＢＶ（Ｖｉｄｅｏ  Ｂｕｆｆｅｒｉｎｇ  Ｖｅｒｉｆｉｅｒ：ビデオ・バッファ検証器）を仮想的に接続し、このＶＢＶを破綻させないように符号化を行っている。
【０００３】
図１は、ＶＢＶのバッファ占有量の時間変化について説明する一例の図を示す。時刻Ａでは、ＶＢＶにビットストリームが供給され始め、次第にバッファ占有量が増加している。時刻Ｂでは、符号量Ｄの画像フレームを復号化する為、符号量Ｄ分のバッファ占有量が減少している。時刻Ｂから時刻Ｃにかけて、引き続きバッファ占有量が増加している。時刻Ｃでは、符号量Ｅの画像フレームを復号化する為、符号量Ｅ分のバッファ占有量が減少している。図１中、バッファ占有量が増加するときのグラフの傾きは、ＶＢＶに供給されるビットストリームの転送レートを表している。
【０００４】
ところで、画像信号符号化装置では、図１に示すように、バッファ占有量が０から所定のバッファサイズまでの間で変化するように、符号化による発生符号量を制御する必要があった。符号化による発生符号量の制御が適切でないと、図２，３に示すように、ＶＢＶが破綻してしまう。
【０００５】
図２は、ＶＢＶで生じるアンダーフローについて説明する一例の図を示す。時刻Ｆでは、ＶＢＶにビットストリームが供給され始め、次第にバッファ占有量が増加している。時刻Ｇでは、符号量Ｉの画像フレームを復号化する為、符号量Ｉ分のバッファ占有量が減少している。時刻Ｇから時刻Ｈにかけて、引き続きバッファ占有量が増加している。
【０００６】
時刻Ｈでは、符号量Ｊの画像フレームを復号化しなければならないが、その画像フレームの全てのビットストリームがＶＢＶに供給されておらず、復号化が不可能となる。この状態をバッファアンダーフローという。
【０００７】
図３は、ＶＢＶで生じるオーバーフローについて説明する一例の図を示す。符号化による発生符号量の制御は、固定レート符号化モードと可変レート符号化モードとで異なる。ＶＢＶで生じるオーバ−フローは、固定レート符号化モードのとき生じる。
【０００８】
時刻Ｋでは、ＶＢＶにビットストリームが供給され始め、次第にバッファ占有量が増加している。時刻Ｌでは、符号量Ｎの画像フレームを復号化する為、符号量Ｎ分のバッファ占有量が減少している。時刻Ｌから時刻Ｍにかけて、引き続きバッファ占有量が増加している。
【０００９】
ところで、時刻Ｍでは画像フレームを復号化するのであるが、時刻Ｌで復号化した画像フレームの符号量Ｎが少ないために、時刻Ｍ以前にＶＢＶのバッファ占有量が所定のバッファサイズに達してしまう。このため、時刻Ｍでは、あふれたビットストリームが欠けてしまい、正常な復号化が不可能となる。この状態をバッファオーバーフローという。
【００１０】
図４は、可変レート符号化モード時のバッファ占有量の時間変化について説明する一例の図を示す。可変レート符号化モードでは、バッファオーバフローがなく、バッファ占有量が所定のバッファサイズに達すると、ビットストリームの供給が停止される。なお、バッファ占有量が減少すると、ビットストリームの供給が再開される。
【００１１】
時刻Ｐでは、ＶＢＶにビットストリームが供給され始め、次第にバッファ占有量が増加している。時刻Ｑでは、符号量Ｔの画像フレームを復号化する為、符号量Ｔ分のバッファ占有量が減少している。時刻Ｑから時刻Ｒにかけて、引き続きバッファ占有量が増加している。
【００１２】
時刻Ｒでは、バッファ占有量が所定のバッファサイズに達したため、ＶＢＶへのビットストリームの供給を停止する。時刻Ｓでは、符号量Ｕの画像フレームの復号化に伴い、符号量Ｕ分のバッファ占有量が減少するため、ＶＢＶへのビットストリームの供給が再開されている。
【００１３】
上記のバッファオーバーフローおよびバッファアンダーフローは、符号化による発生符号量の制御が不適切である場合に生じるため、符号化による発生符号量の制御を適切に行う必要がある。符号化による発生符号量の制御を適切に行うためには、画像フレームに適切な目標符号量を設定すると共に、その目標符号量となるように発生符号量を制御する。
【００１４】
従来、発生符号量と目標符号量とが近似するように、以下のような制御を行っていた。例えば、画像フレームの目標符号量をＴ，量子化制御バッファの初期占有量をｄ０，符号化単位ｊの符号化前の量子化制御バッファの占有量をｄｊ，画像フレームの先頭からｊ番目の符号化単位（マクロブロック）までの発生符号量をＢｊ，１画像フレーム内の符号化単位数（マクロブロック数）をＭＢｃｎｔ，ｊ番目の符号化単位を量子化する量子化スケールコードをＱ，リアクションパラメータをｒとする。
【００１５】
リアクションパラメータｒは、動画像のフレームレートをｐｉｃｔｕｒｅ＿ｒａｔｅ，符号化レートをｂｉｔｒａｔｅとすると、以下の式（１）に従って求められる。
【００１６】
ｒ＝２×（ｂｉｔｒａｔｅ）／（ｐｉｃｔｕｒｅ＿ｒａｔｅ）・・・（１）
また、符号化単位は、複数の画素からなる領域とする。図５に示すように、Ｊ番目の符号化単位（マクロブロック）を符号化するときの量子化制御バッファの占有量を以下の式（２）に従って求める。なお、図５中、斜線部分が符号化済みマクロブロックを表し、斜線部分以外が未符号化マクロブロックを表す。
【００１７】
ｄｊ＝ｄ０＋Ｂｊ-1−（Ｔ×（ｊ−１））／ＭＢｃｎｔ・・・（２）
そして、算出した量子化制御バッファの占有量を以下の式（３）に代入することにより、Ｊ番目の符号化単位（マクロブロック）を量子化する量子化スケールコードを算出する。
【００１８】
Ｑ＝ｄｊ×３１／ｒ・・・（３）
式（３）により算出した量子化スケールコードＱを以下の式（４）に代入することにより、量子化スケールＱＳを算出する。
【００１９】
ＱＳ＝Ｑ×２・・・（４）
上記処理を画像フレームの最初の符号化単位（マクロブロック）から最後の符号化単位（マクロブロック）まで行うことにより、発生符号量を目標符号量に収束させる。つまり、発生符号量が目標符号量より大きいときは、量子化スケールＱＳを大きくすることにより発生符号量を削減し、発生符号量が目標符号量より小さいときは、量子化スケールＱＳを小さくすることにより発生符号量を増大させる。以上のような処理を行うことにより、発生符号量を制御し、受信バッファの破綻を抑制していた。
【００２０】
【発明が解決しようとする課題】
従来の画像信号符号化装置では、ネットワーク等の要求から一定の符号化レートで圧縮画像信号を転送する固定レート符号化モードが用いられていた。しかしながら、固定レート符号化モードでは、複雑な画像や動きの激しい画像の様な圧縮が困難な画面と、静止した画面のような圧縮が容易な画面とに画質の差が生じやすい。一方、可変レート符号化モードでは、圧縮が困難な画面について符号化レートを高く設定し、圧縮が容易な画面について符号化レートを低く設定することにより、圧縮が困難な画面と圧縮が容易な画面とに画質の差が生じないようにしていた。
【００２１】
近年、ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）網などの非同期ネットワークの広帯域化，可変レート符号化モードに対応する蓄積メディアの開発などにより、圧縮画像信号の可変レート符号化モードが開発され、使用されつつある。
【００２２】
一方、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などで用いられる可変レート符号化モードは、Ｎパス可変レート符号化方法と呼ばれ、動画像を圧縮符号化するために２回以上の符号化が必要となる。例えば、２パス可変レート符号化方法は、１回目に圧縮率を一定にして符号化を行なうことで画像フレーム毎の圧縮の困難性を求め、画像フレーム毎に割り当てる符号量を算出する。そして、２回目の符号化では、画像フレーム毎に割り当てた符号量に応じて各画像フレームを符号化していた。したがって、Ｎパス可変レート符号化方法では、リアルタイムに画像フレームを符号化することができなかった。
【００２３】
ハードディスクやＤＶＤ−ＲＡＭ（ＤＶＤ−Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等を用いたディスク録画装置やディスク搭載カムコーダでは、高画質の動画像を長時間録画するために可変レート符号化モードを採用するが、リアルタイムに画像フレームを符号化する必要がある。そのため、符号化済み画像フレームの統計情報から次の画像フレームの圧縮の困難性を予測し、平均符号化レートを尊守しながらリアルタイムに画像フレームを符号化する方法が開発されている。
【００２４】
このように、符号化済み画像フレームの統計情報を利用する可変レート符号化モードでは、固定レート符号化モードと同様に画像フレームの目標符号量を設定し、その目標符号量に近似するように符号化を行う。しかし、２Ｍｂｐｓ（ｂｉｔ  ｐｅｒ  ｓｅｃｏｎｄ）以下の低符号化レートでは、画像フレームの発生符号量の予測がはずれた場合、以下の問題が生じる。
【００２５】
例えば、次の画像フレームは圧縮が容易であると予測して目標符号量を少なく設定したが、実際の画像フレームの圧縮が困難であった場合、目標符号量に発生符号量を圧縮するために圧縮率が高くなり、画像劣化が生じてしまうという問題があった。
【００２６】
本発明は、上記の点に鑑みなされたもので、画像の急激な変化に対応することができ、高画質の可変レ−ト符号化が可能な画像信号符号化方法および画像信号符号化装置を提供することを目的とする。
【００２７】
【課題を解決するための手段】
そこで、上記課題を解決するため、本発明は、画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化方法において、符号化済み画像フレームの符号化結果に応じて最大符号量および第１量子化スケールを算出し、算出された最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する段階と、前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を算出する段階と、前記予測符号量と発生符号量とを比較し、前記比較結果に応じて更新される第２量子化スケールを算出する段階と、前記第１量子化スケールと第２量子化スケールとを比較し、大きい方を新たな量子化スケールとして更新する段階とを有することを特徴とする。
【００２８】
このような画像信号符号化方法では、符号化済み画像フレームの符号化結果に応じた第１量子化スケールと、最大符号量と発生符号量との比較結果に応じた第２量子化スケールとを比較し、大きい方を新たな量子化スケールとする。この第２量子化スケールは最大符号量を尊守するものであるので、少なくとも第２量子化スケールより大きな量子化スケールで量子化を行うことにより、量子化制御バッファの破綻および最大符号化レート違反を抑制することが可能となる。
【００２９】
また、本発明は、画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化装置において、符号化済み画像フレームの符号化結果に応じて最大符号量および第１量子化スケールを算出する第１量子化スケール・最大符号量計算部と、前記最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する一方、前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を供給され、前記予測符号量と発生符号量との差に応じて第２量子化スケールを算出する量子化制御バッファ計算部と、前記第１量子化スケールと第２量子化スケールとを比較し、大きい方を新たな量子化スケールとして出力する量子化制御部とを有することを特徴とする。
【００３０】
このような画像信号符号化装置では、符号化済み画像フレームの符号化結果に応じて第１量子化スケールを算出する第１量子化スケール・最大符号量計算部と、最大符号量と発生符号量との比較結果に応じて第２量子化スケールを算出する量子化制御バッファ計算部と、第１量子化スケールおよび第２量子化スケールを比較して大きい方を新たな量子化スケールとして出力する量子化制御部とを有することにより、少なくとも最大符号量を尊守する第２量子化スケールより大きな量子化スケールで量子化を行うことができ、量子化制御バッファの破綻および最大符号化レート違反を抑制することが可能となる。
【００３１】
【発明の実施の形態】
次に、本発明の実施の形態について図面に基づいて説明する。
【００３２】
図６は、本発明の原理について説明する一例のブロック図を示す。量子化部１５は画像データが供給され、量子化制御部１０で決定された量子化スケールで画像データの量子化を行う。そして、量子化された画像データは、可変長符号化部１６に供給される。可変長符号化部１６は、量子化された画像データを符号化してビットストリームを生成し、そのビットストリームを発生符号量測定部１２およびバッファ１７に供給する。
【００３３】
バッファ１７では、供給されたビットストリームを格納すると共に、バッファ占有量を算出し、そのバッファ占有量を量子化制御部１０および量子化スケール・最大符号量計算部１３に通知する。発生符号量測定部１２は、供給されたビットストリームの発生符号量を測定し、量子化制御バッファ計算部１４および符号化データ用メモリ１１に発生符号量を通知する。
【００３４】
符号化データ用メモリ１１は、発生符号量測定部１２から通知される発生符号量と量子化制御部１０から通知される符号化に使用された量子化スケールとを蓄積すると共に、その発生符号量と量子化スケールとを量子化スケール・最大符号量計算部１３に通知する。
【００３５】
量子化スケール・最大符号量計算部１３は、符号化データ用メモリ１１から通知される符号化済み画像フレームの量子化スケール，発生符号量と、バッファ１７から通知されるバッファ占有量とから符号化対象画像フレームの最大符号量および符号化単位（例えばマクロブロック）の量子化スケールを算出し、量子化制御部１０に通知する。ここで、最大符号量とは、符号化対象画像フレームの発生符号量の目標値でなく、量子化制御バッファを破綻させず、最大符号化レートの制限を尊守する最大発生符号量である。
【００３６】
量子化制御バッファ計算部１４は、発生符号量測定部１２から通知された発生符号量と、量子化スケール・最大符号量計算部１３から通知された符号化対象画像の最大符号量とから量子化スケールを算出し、その量子化スケールを量子化制御部１０に通知する。そして、量子化制御部１０では、量子化制御バッファ計算部１４から通知された量子化スケールと、量子化スケール・最大符号量計算部１３から通知された量子化スケールとを比較し、大きい方の量子化スケールを選択して量子化部１５に通知している。
【００３７】
更に、図７のフローチャートを参照しつつ、図６について説明していく。図７は、図６のブロック図の処理について説明する一例のフローチャートを示す。ステップＳ１０では、量子化スケール・最大符号量計算部１３にて最大符号量および量子化スケールの初期値が算出され、最初に符号化する画像フレームの量子化スケールとして量子化制御部１０に供給される。ただし、最大符号量は符号化対象画像フレームの発生符号量の目標値でなく、量子化制御バッファを破綻させず、最大符号化レートの制限を尊守する最大発生符号量である。
【００３８】
ステップＳ１０に続いてステップＳ１１に進み、量子化部１５では量子化スケールの初期値を用いて画像フレームの最初の符号化単位（マクロブロック）の量子化が行われる。そして、量子化部１５は量子化した画像データを可変長符号化部１６に供給する。可変長符号化部１６は、量子化された画像データを符号化してビットストリームを生成し、そのビットストリームを発生符号量測定部１２およびバッファ１７に供給する。
【００３９】
ステップＳ１１に続いてステップＳ１２に進み、発生符号量測定部１２は、供給されたビットストリームの発生符号量を測定し、量子化制御バッファ計算部１４および符号化データ用メモリ１１に発生符号量を通知する。ステップＳ１２に続いてステップＳ１３に進み、量子化制御バッファ計算部１４は、前述した式（１）〜式（４）を利用して量子化スケールを算出し、量子化制御部１０に通知する。量子化制御バッファ計算部１４で算出される量子化スケールは、最大符号量を尊守する最小量子化スケールなので、この量子化スケールより大きい量子化スケールで量子化している限り、量子化制御バッファの破綻や最大符号化レート違反が起こり得ない。
【００４０】
ステップＳ１３に続いてステップＳ１４に進み、量子化制御部１０は、量子化制御バッファ計算部１４から供給された量子化スケールと、量子化スケール・最大符号量計算部１３から供給された量子化スケールとを比較し、大きい方の量子化スケールを選択して量子化部１５に通知する。そして、ステップＳ１４に続いてステップＳ１５に進み、量子化部１５は、量子化制御部１０から供給された量子化スケールを利用して符号化単位の量子化を行う。
【００４１】
ステップＳ１５に続いてステップＳ１６に進み、１画像フレーム分の符号化が終了すると（Ｓ１６においてＹＥＳ）、ステップＳ１７に進む。なお、１画像フレーム分の符号化が終了していなければ（Ｓ１６においてＮＯ）、ステップＳ１２〜Ｓ１６の処理を繰り返す。
【００４２】
ステップＳ１７では、量子化スケール・最大符号量計算部１３は、符号化済み画像の量子化スケールと発生符号量とから次の符号化対象画像フレームの符号化単位毎の量子化スケール，最大符号量を算出する。そして、算出された最大符号量が量子化制御バッファ計算部１４に通知される。ステップＳ１７に続いてステップＳ１８に進み、符号化処理が終了すると（Ｓ１８においてＹＥＳ）、処理を終了する。また、符号化処理が終了していなければ（Ｓ１８においてＮＯ）、ステップＳ１１〜Ｓ１８の処理を繰り返す。
【００４３】
以上のように、量子化スケール・最大符号量計算部１３は、最大符号量を計算するときに次の画像フレームの圧縮の困難性を予測し、その圧縮の困難性に応じて最大符号量と符号化単位毎の量子化スケールとを決定する。圧縮が容易な画像フレームから圧縮が困難な画像フレームに急激に変化したとき、量子化スケール・最大符号量計算部１３の画像フレームの圧縮の困難性の予測度が小さい。
【００４４】
しかし、実際の符号化対象画像フレームは圧縮の困難性が高く、量子化スケール・最大符号量計算部１３で予め算出した量子化スケールで画像フレームを符号化すると、発生符号量が最大符号量より大きくなり、量子化制御バッファを破綻させる恐れがある。そこで、量子化制御バッファの破綻を抑制するため、１符号化単位を符号化する毎に量子化制御バッファ計算部１４で算出される最大発生符号量を尊守する最小量子化スケールと、画像フレームの符号化前に量子化スケール・最大符号量計算部１３で算出される量子化スケールとを比較し、大きい方の量子化スケールを利用して符号化を行う。
【００４５】
したがって、画像フレームの圧縮の困難性に急激な変化がなければ、量子化スケール・最大符号量計算部１３で予め算出した量子化スケールで量子化が行われる。一方、圧縮が容易な画像フレームから圧縮が困難な画像フレームに急激に変化し、発生符号量が最大符号量を超える恐れがあれば、量子化制御バッファ計算部１４で算出される最大発生符号量を尊守する最小量子化スケールを利用することにより、量子化制御バッファの破綻，最大符号化レート違反を抑制することができる。
【００４６】
図８は、量子化制御バッファ計算部１４の一例の構成図を示す。量子化制御バッファ計算部１４は、最大符号量の符号化済み部分計算部２０、減算器２１、初期値格納部２２，２４，２６、Ｉピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７，量子化スケール変換部２８，スイッチ２９，３０を含むように構成される。
【００４７】
最大符号量の符号化済み部分計算部２０は量子化スケール・最大符号量計算部１３から符号対象画像フレームの最大符号量が供給される。そして、最大符号量の符号化済み部分計算部２０は、最大符号量の符号化済み部分の符号量を算出する。
【００４８】
減算器２１は、発生符号量測定部１２から供給される発生符号量と、最大符号量の符号化済み部分計算部２０から供給される最大符号量の符号化済み部分の符号量との差分を算出する。減算器２１はスイッチ２９を介してＩピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７の何れか一つに接続される。
【００４９】
スイッチ２９は、符号化対象画像フレームのピクチャタイプがＩピクチャのときに（ａ）側に接続され、符号化対象画像フレームのピクチャタイプがＰピクチャのときに（ｂ）側に接続され、符号化対象画像フレームのピクチャタイプがＢピクチャのときに（ｃ）側に接続される。
【００５０】
初期値格納部２２は、Ｉピクチャ量子化制御バッファ２３に初期値を供給している。同様に、初期値格納部２４，２６は、Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７に初期値を供給している。Ｉピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７は、夫々が格納している量子化制御バッファのピクチャ符号化開始時の値に減算器２１から供給される差分を加算する。
【００５１】
Ｉピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７は、スイッチ３０を介して量子化スケール変換部２８に接続される。スイッチ３０は、スイッチ２９と同様に、符号化対象画像フレームのピクチャタイプがＩピクチャのときに（ａ）側に接続され、符号化対象画像フレームのピクチャタイプがＰピクチャのときに（ｂ）側に接続され、符号化対象画像フレームのピクチャタイプがＢピクチャのときに（ｃ）側に接続される。量子化スケール変換部２８は、Ｉピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７に格納されている値から量子化スケールを算出して量子化制御部１０に出力している。
【００５２】
更に、図９のフローチャートを参照しつつ、図８について説明していく。図９は、量子化制御バッファ計算部１４の処理について説明する一例のフローチャートを示す。ステップＳ２０では、初期値格納部２２，２４，２６は、Ｉピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７に初期値を供給する。
【００５３】
ステップＳ２０に続いてステップＳ２１に進み、最大符号量の符号化済み部分計算部２０は、量子化スケール・最大符号量計算部１３から符号化対象画像の最大符号量が供給される。ステップＳ２１に続いてステップＳ２２に進み、量子化部１５，可変長符号化部１６にて画像フレームの最初の符号化単位が量子化，符号化される。ステップＳ２２に続いてステップＳ２３に進み、減算器２１は発生符号量測定部１２から符号化対象画像フレームの発生符号量が供給される。
【００５４】
ステップＳ２３に続いてステップＳ２４に進み、最大符号量の符号化済み部分計算部２０は、最大符号量の符号化済み部分の符号量を算出し、算出した最大符号量の符号化済み部分の符号量を減算器２１に供給する。ステップＳ２４に続いてステップＳ２５に進み、減算器２１は発生符号量測定部１２から供給される発生符号量と、最大符号量の符号化済み部分計算部２０から供給される最大符号量の符号化済み部分の符号量との差分を算出する。
【００５５】
ステップＳ２５に続いてステップＳ２６に進み、減算器２１は符号化対象画像のピクチャタイプに応じてＩピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７の何れか一つに接続されており、算出した差分をスイッチ２９を介して接続されているＩピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７の何れか一つに供給する。そして、Ｉピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７は、夫々が格納している量子化制御バッファのピクチャ符号化開始時の値に減算器２１から供給される差分を加算する。
【００５６】
ステップＳ２６に続いてステップＳ２７に進み、量子化スケール変換部２８は符号化対象画像のピクチャタイプに応じてＩピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７の何れか一つに接続されており、Ｉピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７に格納されている値が供給される。そして、量子化スケール変換部２８は、Ｉピクチャ量子化制御バッファ２３，Ｐピクチャ量子化制御バッファ２５，Ｂピクチャ量子化制御バッファ２７の何れか一つから供給された値から量子化スケールを算出して量子化制御部１０に出力している。
【００５７】
ステップＳ２７に続いてステップＳ２８に進み、１ピクチャ分の符号化が終了すると（Ｓ２８においてＹＥＳ）、ステップＳ２９に進む。なお、１ピクチャ分の符号化が終了していなければ（Ｓ２８においてＮＯ）、ステップＳ２２〜Ｓ２８の処理を繰り返す。また、ステップＳ２９では、符号化処理が終了すると（Ｓ２９においてＹＥＳ）、処理を終了する。また、符号化処理が終了していなければ（Ｓ２９においてＮＯ）、ステップＳ２１〜Ｓ２９の処理を繰り返す。
【００５８】
図１０は、量子化スケール・最大符号量計算部１３の一例の構成図を示す。量子化スケール・最大符号量計算部１３は、スイッチ４０，４１、初期値格納部４２，４４，４６、Ｉピクチャ画像複雑度計算部４３、Ｐピクチャ画像複雑度計算部４５、Ｂピクチャ画像複雑度計算部４７、最大符号化レート格納部４８、平均符号化レート格納部４９、最大符号量計算部５０、量子化スケール計算部５１を含むように構成される。
【００５９】
Ｉピクチャ画像複雑度計算部４３，Ｐピクチャ画像複雑度計算部４５，Ｂピクチャ画像複雑度計算部４７は、スイッチ４０，４１を介して符号化データ用メモリ１１に接続される。スイッチ４０，４１は、符号化対象画像フレームのピクチャタイプがＩピクチャのときに（ａ）側に接続され、符号化対象画像フレームのピクチャタイプがＰピクチャのときに（ｂ）側に接続され、符号化対象画像フレームのピクチャタイプがＢピクチャのときに（ｃ）側に接続される。
【００６０】
初期値格納部４２は、Ｉピクチャ画像複雑度計算部４３に初期値を供給している。同様に、初期値格納部４４，４６は、Ｐピクチャ画像複雑度計算部４５，Ｂピクチャ画像複雑度計算部４７に初期値を供給している。Ｉピクチャ画像複雑度計算部４３，Ｐピクチャ画像複雑度計算部４５，Ｂピクチャ画像複雑度計算部４７は、符号化データ用メモリ１１から供給される符号化済みピクチャの量子化スケールの平均値および符号化対象画像フレームの発生符号量に応じて画像複雑度を算出し、その画像複雑度を最大符号量計算部５０，量子化スケール計算部５１に出力する。
【００６１】
最大符号化レート格納部４８は、最大符号化レートを最大符号量計算部５０，量子化スケール計算部５１に供給する。平均符号化レート格納部４９は、平均符号化レートを量子化スケール計算部５１に供給する。また、バッファ１７はバッファ占有量を最大符号量計算部５０，量子化スケール計算部５１に供給する。
【００６２】
最大符号量計算部５０は、供給された画像複雑度，バッファ占有量，最大符号化レートに応じて符号化対象画像フレームの最大符号量を算出し、その最大符号量を量子化制御バッファ計算部１４に出力している。また、量子化スケール計算部５１は、供給された画像複雑度，バッファ占有量，最大符号化レート，平均符号化レートに応じて符号化対象画像フレームの量子化スケールを算出し、その量子化スケールを量子化制御部１０に出力している。
【００６３】
更に、図１１のフローチャートを参照しつつ、図１０について説明していく。図１１は、量子化スケール・最大符号量計算部１３の処理について説明する一例のフローチャートを示す。ステップＳ３０では、初期値格納部４２，４４，４６は、Ｉピクチャ画像複雑度計算部４３，Ｐピクチャ画像複雑度計算部４５，Ｂピクチャ画像複雑度計算部４７に初期値を供給する。
【００６４】
ステップＳ３０に続いてステップＳ３１に進み、最大符号量計算部５０は、Ｉピクチャ画像複雑度計算部４３，Ｐピクチャ画像複雑度計算部４５，Ｂピクチャ画像複雑度計算部４７から画像複雑度，バッファ１７からバッファ占有量，最大符号化レート格納部４８から最大符号化レートが供給される。そして、最大符号量計算部５０は、供給された画像複雑度，バッファ占有量，最大符号化レートに応じて符号化対象画像フレームの最大符号量を算出し、その最大符号量を量子化制御バッファ計算部１４に出力する。
【００６５】
ステップＳ３１に続いてステップＳ３２に進み、量子化スケール計算部５１は、Ｉピクチャ画像複雑度計算部４３，Ｐピクチャ画像複雑度計算部４５，Ｂピクチャ画像複雑度計算部４７から画像複雑度，バッファ１７からバッファ占有量，最大符号化レート格納部４８から最大符号化レート，平均符号化レート格納部４９から平均符号化レートが供給される。そして、量子化スケール計算部５１は、供給された画像複雑度，バッファ占有量，最大符号化レート，平均符号化レートに応じて符号化対象画像フレームの量子化スケールを算出し、その量子化スケールを量子化制御部１０に出力する。
【００６６】
ステップＳ３２に続いてステップＳ３３に進み、量子化部１５，可変長符号化部１６にて符号化対象画像フレームが量子化，符号化される。ステップＳ３３に続いてステップＳ３４に進み、Ｉピクチャ画像複雑度計算部４３，Ｐピクチャ画像複雑度計算部４５，Ｂピクチャ画像複雑度計算部４７は、符号化済み画像フレームの量子化スケールの平均値，発生符号量が符号化データ用メモリ１１から供給される。また、最大符号量計算部５０，量子化スケール計算部５１は、バッファ占有量がバッファ１７から供給される。
【００６７】
ステップＳ３４に続いてステップＳ３５に進み、符号化処理が終了すると（Ｓ３５においてＹＥＳ）、処理を終了する。また、符号化処理が終了していなければ（Ｓ３５においてＮＯ）、ステップＳ３１〜Ｓ３５の処理を繰り返す。
【００６８】
図１２は、量子化制御部１０の一例の構成図を示す。量子化制御部１０は、量子化スケール比較器６０を含むように構成される。量子化スケール比較器６０は、量子化制御バッファ計算部１４から量子化スケールが供給されると共に、量子化スケール・最大符号量計算部１３から量子化スケールが供給される。量子化スケール比較器６０は、量子化制御バッファ計算部１４から供給される量子化スケールと、量子化スケール・最大符号量計算部１３から供給される量子化スケールとを比較し、大きい方の量子化スケールを符号化データ用メモリ１１及び量子化部１５に出力している。
【００６９】
更に、図１３のフローチャートを参照しつつ、図１２について説明していく。図１３は、量子化制御部の処理について説明する一例のフローチャートを示す。ステップＳ４０では、量子化スケール比較器６０は、量子化制御バッファ計算部１４から供給される量子化スケールと、量子化スケール・最大符号量計算部１３から供給される量子化スケールとを比較し、大きい方の量子化スケールを符号化データ用メモリ１１及び量子化部１５に出力する。
【００７０】
ステップＳ４０に続いてステップＳ４１に進み、量子化制御部１０から供給する量子化スケールに応じて、量子化部１５，可変長符号化部１６で画像フレームの符号化単位が量子化，符号化される。そして、ステップＳ４１に続いてステップＳ４２に進み、符号化処理が終了すると（Ｓ４２においてＹＥＳ）、処理を終了する。また、符号化処理が終了していなければ（Ｓ４２においてＮＯ）、ステップＳ４０〜Ｓ４２の処理を繰り返す。
【００７１】
図１４は、本発明の画像信号符号化装置の一実施例の構成図を示す。本発明の画像信号符号化装置に入力される符号化単位（マクロブロック）の画像データは、動き検出部７０，減算器７１に供給される。入力された符号化単位の画像データがフレーム内符号化される画像フレーム（例えば、Ｉピクチャ）の場合は、スイッチ７８が解放されるので、減算器７１に供給された符号化単位の画像データがＤＣＴ部７２供給されることになる。なお、符号化単位は、例えば１６×１６画素からなる矩形の領域である。
【００７２】
ＤＣＴ部７２は、減算器７１から供給された符号化単位の画像データをＤＣＴ（離散コサイン変換）により、周波数領域の係数であるＤＣＴ係数に変換し、量子化部１５に出力する。量子化部１５は、前述したように、量子化制御部１０から供給される量子化スケールでＤＣＴ係数を量子化し、その量子化したＤＣＴ係数を可変長符号化部１６，逆量子化部７３に供給する。
【００７３】
逆量子化部７３は、量子化されたＤＣＴ係数が供給されると、その量子化されたＤＣＴ係数を逆量子化して逆ＤＣＴ部７４に供給する。逆ＤＣＴ部７４は、逆量子化部７３からＤＣＴ係数が供給されると、ＤＣＴ係数を逆ＤＣＴ変換して加算器７５に供給する。入力された符号化単位の画像データがフレーム内符号化される画像フレーム（例えば、Ｉピクチャ）の場合は、スイッチ７８が解放されているので、加算器７５に供給された符号化単位の画像データがフレームメモリ７６に供給される。フレームメモリ７６は、加算器７５から供給された符号化単位の画像データを参照画像として格納しておく。
【００７４】
一方、入力された符号化単位の画像データがフレーム間符号化される画像フレーム（例えば、Ｐ，Ｂピクチャ）の場合は、スイッチ７８が接続される。動き検出部７０は、フレームメモリ７６に格納されている参照画像の中から、入力された符号化単位の画像データに最も類似した符号化単位の画像データを選択し、その動きベクトルを動き補償部７７に供給する。
【００７５】
動き補償部７７は、動き検出部７０から供給された動きベクトルが参照しているフレームメモリ７６中の符号化単位の画像データを選択し、減算器７１に供給する。減算器７１は、符号化単位の画像データと、動き補償部７７からスイッチ７８を介して供給される符号化単位の画像データとの差分データを算出し、その差分データをＤＣＴ部７２に供給する。
【００７６】
ＤＣＴ部７２は、減算器７１から供給された差分データをＤＣＴ（離散コサイン変換）により、周波数領域の係数であるＤＣＴ係数に変換し、量子化部１５に出力する。量子化部１５は、前述したように、量子化制御部１０から供給される量子化スケールでＤＣＴ係数を量子化し、その量子化したＤＣＴ係数を可変長符号化部１６，逆量子化部７３に供給する。
【００７７】
逆量子化部７３は、量子化されたＤＣＴ係数が供給されると、その量子化されたＤＣＴ係数を逆量子化して逆ＤＣＴ部７４に供給する。逆ＤＣＴ部７４は、逆量子化部７３からＤＣＴ係数が供給されると、ＤＣＴ係数を逆ＤＣＴ変換して加算器７５に供給する。入力された差分データがフレーム間符号化される画像フレーム（例えば、Ｐ，Ｂピクチャ）の場合は、スイッチ７８が接続されているので、加算器７５は逆ＤＣＴ部７４から供給された差分データと、動き補償部７７からスイッチ７８を介して供給された符号化単位の画像データとを加算してフレームメモリ７６に供給する。そして、フレームメモリ７６は、加算器７５から供給された加算データを参照画像として格納しておく。
【００７８】
可変長符号化部１６は、量子化部１５から量子化されたＤＣＴ係数が供給されると、その量子化されたＤＣＴ係数を可変長符号化したビットストリームを生成して発生符号量測定部１２およびバッファ１７に供給する。バッファ１７は、供給されたビットストリームを予め決められている出力レートで出力する。なお、出力レートは、固定レ−ト符号化モードのとき固定符号化レートであり、可変レート符号化モードのとき可変符号化レートである。また、バッファ１７は、バッファ占有量を量子化制御部１０，量子化スケール・最大符号量計算部１３に供給する。
【００７９】
発生符号量測定部１２はビットストリームの発生符号量を測定し、その発生符号量を符号化データ用メモリ１１，量子化制御バッファ計算部１４に供給する。符号化データ用メモリ１１は、発生符号量測定部１２から供給される発生符号量と、量子化制御部１０から供給される量子化スケールとを格納し、量子化スケール・最大符号量計算部１３に供給する。
【００８０】
ここで、可変レート符号化モードの最大符号化レートをＲｍａｘ、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）サイズをＧＯＰｓｉｚｅ、ＧＯＰの最大符号量をＲ、Ｉピクチャの最大符号量をＴｉ、Ｐピクチャの最大符号量をＴｐ、Ｂピクチャの最大符号量をＴｂとすると、各ピクチャタイプ毎の最大符号量は以下の式（５）〜式（７）で表すことができる。
【００８１】
Ｔｉ＝Ｒ／（１＋Ｎｐ×Ｘｐ／（Ｘｉ×Ｋｐ）＋Ｎｂ×Ｘｂ／（Ｘｉ×Ｋｂ））・・・（５）
Ｔｐ＝Ｒ／（Ｎｐ＋Ｎｂ×Ｋｐ×Ｘｂ／（Ｋｂ×Ｘｐ））・・・（６）
Ｔｂ＝Ｒ／（Ｎｂ＋Ｎｐ×Ｋｂ×Ｘｐ／（Ｋｐ×Ｘｂ））・・・（７）
ただし、Ｒ＝Ｒｍａｘ×ＧＯＰｓｉｚｅ／２９．９７（入力がＮＴＳＣ信号のとき）、Ｎｐ＝ＧＯＰ内のＰピクチャの枚数、Ｎｂ＝ＧＯＰ内のＢピクチャの枚数、Ｘｉ＝Ｓｉ×Ｑｉ、初期値Ｘｉ０＝１６０×ｂｉｔ＿ｒａｔｅ／１１５、Ｘｐ＝Ｓｐ×Ｑｐ、初期値Ｘｐ０＝５０×ｂｉｔ＿ｒａｔｅ／１１５、Ｘｂ＝Ｓｂ×Ｑｂ、初期値Ｘｂ０＝４２×ｂｉｔ＿ｒａｔｅ／１１５、Ｋｐ＝１．０、Ｋｂ＝１．４、Ｓｉ＝Ｉピクチャの発生符号量、Ｓｐ＝Ｐピクチャの発生符号量、Ｓｂ＝Ｂピクチャの発生符号量、ｂｉｔ＿ｒａｔｅ＝符号化レートとする。
【００８２】
まず、式（５）を利用してＩピクチャの最大符号量Ｔｉを算出すると共に、Ｉピクチャを符号化する。ＧＯＰの最大符号量ＲからＩピクチャの発生符号量を減算し、この減算したＲを利用してＰピクチャの最大符号量Ｔｐを算出すると共に、Ｐピクチャを符号化する。上記減算したＲからＰピクチャの発生符号量を減算し、この減算したＲを利用してＢピクチャの最大符号量Ｔｂを算出する。この処理をＧＯＰの符号化終了まで繰り返す。
【００８３】
量子化スケール・最大符号量計算部１３は、符号化データ用メモリ１１に格納されている発生符号量，量子化スケール等の符号化済み画像フレームの符号化情報の統計から符号化対象画像の符号化単位毎の量子化スケールを算出して量子化制御部１０に供給し、１画像フレーム最大符号量を算出して量子化制御バッファ計算部１４に供給する。ただし、最大符号量は、発生符号量の目標値ではなく、符号化制御バッファを破綻させることなく、最大符号化レートの制限を尊守する最大発生符号量とする。
【００８４】
量子化制御バッファ計算部１４は、量子化スケール・最大符号量計算部１３から供給される最大符号量と発生符号量測定部１２から供給される発生符号量とから符号化単位の画像データを符号化するごとに前記式（２）の計算を行ない、バッファ破綻を抑制し、最大符号化レートの制限を尊守する最小量子化スケールを量子化制御部１０に供給する。
【００８５】
量子化制御部１０は、バッファ１７から供給されるバッファ占有量を利用してバッファの破綻を監視し、破綻する発生符号量が発生しないように量子化スケールを制御する。量子化制御部１０は、量子化制御バッファ計算部１４から供給される量子化スケールと、量子化スケール・最大符号量計算部１３から供給される量子化スケールとを比較し、大きい方を量子化部１５に供給する。
【００８６】
量子化スケール・最大符号量計算部１３は符号化前に符号化対象画像の画像複雑度を予測するが、画像複雑度が小さく圧縮容易な画像と予測したが実際は画像複雑度が大きく圧縮困難な画像であった場合、符号化前に決めた符号化単位毎の量子化スケールで符号化を行うと予測していた発生符号量より大きくなり、バッファ破綻や最大符号化レートの制限を超えることもありえる。
【００８７】
そこで、符号化前に計算した最大符号量以内に収まるような最小量子化スケールを前記式（２）により符号化単位毎に計算し、予め計算した量子化スケールと比較して大きい方の量子化スケールを利用して量子化を行うことにより、符号化制御バッファの破綻や最大符号化レートの制限を尊守することができる。
【００８８】
なお、量子化スケール・最大符号量計算部１３は、符号化単位毎に量子化スケールを計算しているが、画像フレーム内で同一であってもよい。また、量子化制御バッファ計算部１４は、量子化スケール・最大符号量計算部１３により符号化前に決めた量子化スケールと比較する量子化スケールを符号化単位毎に計算しているが、スライス単位毎または５符号化単位毎等の一定単位ごとに行うこともできる。
【００８９】
量子化制御バッファ計算部１４による量子化スケールの計算を行う際、前記式（２）のように、画像フレーム内の全ての符号化単位で画像フレームの最大符号量を割った値，言い換えれば最大符号量を均等に分割した値を利用して量子化制御バッファ計算部１４の計算を行っているが、以下の式（８），（９）のように、画像の複雑度，例えば画素の分散，差分絶対値和に比例した符号量を符号化単位毎に減算してもよい。
【００９０】
0004256574.tif 000002
なお、符号化単位ｊの符号化前の量子化制御バッファの占有量をｄｊ，量子化制御バッファの初期占有量をｄ０，符号化単位ｊの画像複雑度をＦｊ，画像複雑度を分割の基準としたときの画像フレームの最大符号量の符号化単位ｊの割り当て部分をＣｊ，画像フレームの最大符号量をＴとする。
【００９１】
本発明は、以下の付記に記載されているような構成が考えられる。
【００９２】
（付記１）  画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化方法において、
符号化済み画像フレームの符号化結果に応じて最大符号量および第１量子化スケールを算出し、算出された最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する段階と、
前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を算出する段階と、
前記予測符号量と発生符号量とを比較し、前記比較結果に応じて更新される第２量子化スケールを算出する段階と、
前記第１量子化スケールと第２量子化スケールとを比較し、大きい方を新たな量子化スケールとして更新する段階と
を有する画像信号符号化方法。
【００９３】
（付記２）  付記１記載の画像信号符号化方法において、
前記第２量子化スケールを算出する段階は、前記発生符号量が予測符号量より多ければ前記第２量子化スケールを大きくし、前記発生符号量が予測符号量より小さければ前記第２量子化スケールを小さくすることを特徴とする画像信号符号化方法。
【００９４】
（付記３）  付記１記載の画像信号符号化方法において、
前記第１量子化スケールと第２量子化スケールとの比較は、前記符号化対象画像フレームを構成する所定単位毎に行うことを特徴とする画像信号符号化方法。
【００９５】
（付記４）  付記１記載の画像信号符号化方法において、
前記第１量子化スケールは、前記符号化対象画像フレーム内で同一であることを特徴とする画像信号符号化方法。
【００９６】
（付記５）  付記１記載の画像信号符号化方法において、
前記最大符号量は、符号化制御バッファを破綻させず、最大符号化レートを満たす最大発生符号量であることを特徴とする画像信号符号化方法。
【００９７】
（付記６）  付記１記載の画像信号符号化方法において、
前記予測符号量は、前記符号化対象画像フレームを構成する所定単位の画面複雑度の和に対する符号化済み所定単位の画像複雑度の和の割合から算出されることを特徴とする画像信号符号化方法。
【００９８】
（付記７）  付記１記載の画像信号符号化方法において、
前記符号化対象画像フレームを構成する所定単位は、所定符号化単位であることを特徴とする画像信号符号化方法。
【００９９】
（付記８）  画像フレームを量子化スケールで量子化し、量子化された画像フレームを符号化する画像信号符号化装置において、
符号化済み画像フレームの符号化結果に応じて最大符号量および第１量子化スケールを算出する第１量子化スケール・最大符号量計算部と、
前記最大符号量から符号化対象画像フレームを構成する所定単位の予測符号量を算出する一方、前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を供給され、前記予測符号量と発生符号量との差に応じて第２量子化スケールを算出する量子化制御バッファ計算部と、
前記第１量子化スケールと第２量子化スケールとを比較し、大きい方を新たな量子化スケールとして出力する量子化制御部と
を有する画像信号符号化装置。
【０１００】
（付記９）  付記８記載の画像信号符号化装置において、
前記符号化対象画像フレームを構成する所定単位を前記量子化スケールで量子化し、量子化された画像フレームを符号化した発生符号量を測定する発生符号量測定部と、
前記発生符号量測定部から供給される発生符号量および前記量子化制御部から供給される量子化スケールを格納する符号化データ用メモリとを更に有する画像信号符号化装置。
【０１０１】
（付記１０）  付記８記載の画像信号符号化装置において、
前記量子化制御バッファ計算部は、前記発生符号量が予測符号量より多ければ前記第２量子化スケールを大きくし、前記発生符号量が予測符号量より小さければ前記第２量子化スケールを小さくすることを特徴とする画像信号符号化装置。
【０１０２】
（付記１１）  付記８記載の画像信号符号化装置において、
前記第１量子化スケールと第２量子化スケールとの比較は、前記符号化対象画像フレームを構成する所定単位毎に行うことを特徴とする画像信号符号化装置。
【０１０３】
（付記１２）  付記８記載の画像信号符号化装置において、
前記第１量子化スケールは、前記符号化対象画像フレーム内で同一であることを特徴とする画像信号符号化装置。
【０１０４】
（付記１３）  付記８記載の画像信号符号化装置において、
前記最大符号量は、符号化制御バッファを破綻させず、最大符号化レートを満たす最大発生符号量であることを特徴とする画像信号符号化装置。
【０１０５】
（付記１４）  付記８記載の画像信号符号化装置において、
前記予測符号量は、前記符号化対象画像フレームを構成する所定単位の画面複雑度の和に対する符号化済み所定単位の画像複雑度の和の割合から算出されることを特徴とする画像信号符号化装置。
【０１０６】
（付記１５）  付記８記載の画像信号符号化装置において、
前記符号化対象画像フレームを構成する所定単位は、所定符号化単位であることを特徴とする画像信号符号化装置。
【０１０７】
【発明の効果】
上述の如く、本発明によれば、符号化済み画像フレームの符号結果に応じた第１量子化スケールと、最大符号量と発生符号量との比較結果に応じた第２量子化スケールとを比較し、大きい方を新たな量子化スケールとすることができる。この第２量子化スケールは最大符号量を尊守するものであるので、少なくとも第２量子化スケールより大きな量子化スケールで量子化を行うことにより、量子化制御バッファの破綻および最大符号化レート違反を抑制すると共に、高画質の可変レ−ト符号化ができる。したがって、画像符号化技術の向上に寄与することが可能となる。
【図面の簡単な説明】
【図１】ＶＢＶのバッファ占有量の時間変化について説明する一例の図である。
【図２】ＶＢＶで生じるアンダーフローについて説明する一例の図である。
【図３】ＶＢＶで生じるオーバーフローについて説明する一例の図である。
【図４】可変レート符号化モード時のバッファ占有量の時間変化について説明する一例の図である。
【図５】画像フレーム内の符号化単位について説明する一例の図である。
【図６】本発明の原理について説明する一例のブロック図である。
【図７】図６のブロック図の処理について説明する一例のフローチャートである。
【図８】量子化制御バッファ計算部の一例の構成図である。
【図９】量子化制御バッファ計算部の処理について説明する一例のフローチャートである。
【図１０】量子化スケール・最大符号量計算部の一例の構成図である。
【図１１】量子化スケール・最大符号量計算部の処理について説明する一例のフローチャートである。
【図１２】量子化制御部の一例の構成図である。
【図１３】量子化制御部の処理について説明する一例のフローチャートである。
【図１４】本発明の画像信号符号化装置の一実施例の構成図である。
【符号の説明】
１０    量子化制御部
１１    符号化データ用メモリ
１２    発生符号量測定部
１３    量子化スケール・最大符号量計算部
１４    量子化制御バッファ計算部
１５    量子化部
１６    可変長符号化部
１７    バッファ
２０    最大符号量の符号化済み部分計算部
２３    Ｉピクチャ量子化制御バッファ
２５    Ｐピクチャ量子化制御バッファ
２７    Ｂピクチャ量子化制御バッファ
２８    量子化スケール変換部
４３    Ｉピクチャ画像複雑度計算部
４５    Ｐピクチャ画像複雑度計算部
４７    Ｂピクチャ画像複雑度計算部
５０    最大符号量計算部
５１    量子化スケール計算部
６０    量子化スケール比較器
７０    動き検出部
７１    減算器
７２    ＤＣＴ部
７３    逆量子化部
７４    逆ＤＣＴ部
７５    加算器
７６    フレームメモリ
７７    動き補償部
【図１】
0004256574.tif 000003
【図２】
0004256574.tif 000004
【図３】
0004256574.tif 000005
【図４】
0004256574.tif 000006
【図５】
0004256574.tif 000007
【図６】
0004256574.tif 000008
【図７】
0004256574.tif 000009
【図８】
0004256574.tif 000010
【図９】
0004256574.tif 000011
【図１０】
0004256574.tif 000012
【図１１】
0004256574.tif 000013
【図１２】
0004256574.tif 000014
【図１３】
0004256574.tif 000015
【図１４】
0004256574.tif 000016