(57)【特許請求の範囲】
【請求項１】
入力動画像を、動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化を行う動画像符号化装置において、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の発生符号量を検出するとともに、前記入力動画像の先頭の画像から現在までに符号化した画像までの総発生符号量を検出する手段と、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の平均量子化スケールを検出する手段と、
符号化された前記入力動画像を記録する記録媒体の記録可能容量と、前記入力動画像の記録時間とから平均目標ビットレートを決定する手段と、
前記平均目標ビットレートに基づいて最小量子化スケールを設定する手段と、
前記発生符号量の余裕分であるマ−ジンの値を、前記入力動画像の符号化開始時点では最大値に設定するとともに、時間経過に伴って前記マージンの値を前記最大値から漸次小さくした値を予め設定される第１の所定期間毎に設定する手段と、
前記入力動画像の符号化開始時点から現在までの区間を前記平均目標ビットレートで符号化した場合に発生すると想定される想定発生符号量と、前記現在までの総発生符号量との差分値を算出し、この差分値の一定割合分を前記マージンの値に加算することで、前記所定期間毎に設定するマージンの値を補正する手段と、
前記補正したマージンの値と、前記各画像毎の平均量子化スケールと、前記各画像毎の発生符号量と、前記平均目標ビットレートとを用いて、既知の方法により、符号化単位である第２の所定期間内における各画像の目標割当符号量を算出する手段と、
前記目標割当符号量と各マクロブロックの発生符号量とから、既知の方法により、各マクロブロックの量子化スケールを決定するとともに、この決定された量子化スケールが前記最小量子化スケールよりも小さい場合は、前記決定された量子化スケールを前記最小量子化スケールと置き換える手段とを備えたことを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載された動画像符号化装置において、
前記発生符号量のマージンの値を設定する手段は、
符号化動画像の記録済み時間または残り記録時間によって前記マージンの値を決定することを特徴とする動画像符号化装置。
【請求項３】
請求項１に記載された動画像符号化装置において、
前記発生符号量のマージンの値を設定する手段は、
観測時刻における符号化動画像の記録済み時間、残り記録時間、記録済みの発生符号量、記録媒体に対する残り容量、目標転送レート、最大転送レート及び所定時間における実転送レートのうちのいくつかを因数とする関数により、前記マージンの値を決定することを特徴とする動画像符号化装置。
【請求項４】
請求項１乃至請求項３のいずれかに記載された動画像符号化装置において、
前記各画像毎の発生符号量と前記各画像毎の平均量子化スケールとを乗算した後に所定の変換を施して、前記各画像毎の画面複雑度を検出する手段と、
前記画面複雑度の一定期間における平均値である平均画面複雑度を求める手段と、
を有し、
前記目標割当符号量を算出する手段は、
前記平均画面複雑度と、前記各画像毎の画面複雑度と、前記補正したマージンの値と、前記各画像毎の平均量子化スケールと、前記各画像毎の発生符号量と、前記平均目標ビットレートとを用いて、既知の方法により、前記所定期間内における各画像の目標割当符号量を算出することを特徴とする動画像符号化装置。
【請求項５】
入力動画像を、動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化を行う動画像符号化方法において、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の発生符号量を検出するとともに、前記入力動画像の先頭の画像から現在までに符号化した画像までの総発生符号量を検出するステップと、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の平均量子化スケールを検出するステップと、
符号化された前記入力動画像を記録する記録媒体の記録可能容量と、前記入力動画像の記録時間とから平均目標ビットレートを決定するステップと、
前記平均目標ビットレートに基づいて最小量子化スケールを設定するステップと、
前記発生符号量の余裕分であるマ−ジンの値を、前記入力動画像の符号化開始時点では最大値に設定するとともに、時間経過に伴って前記マージンの値を前記最大値から漸次小さくした値を予め設定される第１の所定期間毎に設定するステップと、
前記入力動画像の符号化開始時点から現在までの区間を前記平均目標ビットレートで符号化した場合に発生すると想定される想定発生符号量と、前記現在までの総発生符号量との差分値を算出し、この差分値の一定割合分を前記マージンの値に加算することで、前記所定期間毎に設定するマージンの値を補正するステップと、
前記補正したマージンの値と、前記各画像毎の平均量子化スケールと、前記各画像毎の発生符号量と、前記平均目標ビットレートとを用いて、既知の方法により、符号化単位である第２の所定期間内における各画像の目標割当符号量を算出するステップと、
前記目標割当符号量と各マクロブロックの発生符号量とから、既知の方法により、各マクロブロックの量子化スケールを決定するとともに、この決定された量子化スケールが前記最小量子化スケールよりも小さい場合は、前記決定された量子化スケールを前記最小量子化スケールと置き換えるステップとを備えたことを特徴とする動画像符号化方法。
【請求項６】
請求項５に記載された動画像符号化方法において、
前記発生符号量のマージンの値を設定するステップは、
符号化動画像の記録済み時間または残り記録時間によって前記マージンの値を決定することを特徴とする動画像符号化方法。
【請求項７】
請求項５に記載された動画像符号化方法において、
前記発生符号量のマージンの値を設定するステップは、
観測時刻における符号化動画像の記録済み時間、残り記録時間、記録済みの発生符号量、記録媒体に対する残り容量、目標転送レート、最大転送レート及び所定時間における実転送レートのうちのいくつかを因数とする関数により、前記マージンの値を決定することを特徴とする動画像符号化方法。
【請求項８】
請求項５乃至請求項７のいずれかに記載された動画像符号化方法において、
前記各画像毎の発生符号量と前記各画像毎の平均量子化スケールとを乗算した後に所定の変換を施して、前記各画像毎の画面複雑度を検出するステップと、
前記画面複雑度の一定期間における平均値である平均画面複雑度を求めるステップと、
を有し、
前記目標割当符号量を算出するステップは、
前記平均画面複雑度と、前記各画像毎の画面複雑度と、前記補正したマージンの値と、前記各画像毎の平均量子化スケールと、前記各画像毎の発生符号量と、前記平均目標ビットレートとを用いて、既知の方法により、前記所定期間内における各画像の目標割当符号量を算出することを特徴とする動画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
動画像の高能率符号化に係り、特に、リアルタイムで可変ビットレート符号化を行う際に好適な符号量制御装置及びその方法に関する。
【０００２】
【従来の技術】
TV信号などの動画像を高能率に符号化する技術の国際標準として既にMPEG2が規定されている。
MPEG2は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる16×16画素のブロックに分割し、各マクロブロック単位に、時間的に前または後に所定の数フレーム離れた参照画像と符号化画像の間で「動きベクトル」と呼ばれる動き量を求め、この動き量を基に参照画像から符号化画像を構成する「動き補償予測」技術と、動き補償予測の誤差信号または符号化画像そのものに対して、直交変換の一種であるＤＣＴ(離散コサイン変換)を用いて情報量を圧縮する「変換符号化」技術の2つの画像符号化の要素技術をベースに規定されている。
【０００３】
従来のMPEG2の動画像符号化装置の一構成例を図７に示す。
また、符号化ピクチャ構造の一例を図６に示す。
動き補償予測では、図６に示した符号化ピクチャ構造のように、 Iピクチャ(フレーム内符号化)、Ｐピクチャ(順方向予測符号化)、Ｂピクチャ(双方向予測符号化)と呼ばれる、予測方法の異なる３種類のピクチャの組合せによって構成される。
図７に示されるように、変換符号化では、Ｉピクチャでは符号化画像そのものに対し、Ｐ,Ｂピクチャでは動き補償器７７による動き補償予測の誤差信号である減算器７１の出力に対して、ＤＣＴがＤＣＴ器７２で施される。
【０００４】
ＤＣＴ器７２で得られたＤＣＴ係数に対して量子化が、符号量制御部９０の出力により制御して量子化器７３によってなされた後に、動きベクトル等のその他の付帯情報と共に可変長符号化が可変長符号化器７５でなされ、符号列が「ビットストリーム」としてバッファ７６に記憶された後に出力される。
この際、バッファ７６の充足度に応じて符号量制御部９０で量子化スケールが制御される。
一方、量子化器７３の出力係数は、逆量子化器７７、ＩＤＣＴ器７８に供給さて、局部復号されてブロック毎にフレームメモリ８１に貯えられる。
【０００５】
MPEG2は可変長符号化であるため、単位時間当りの発生符号量(ビットレート)は一定ではない。
そこで、量子化器７３での量子化の際の量子化スケールをマクロブロック単位に適宜変更することにより、所要のビットレートに制御することが可能になっている。
MPEG2 Test Model 5では、GOP単位で発生符号量を一定にする固定ビットレート制御方法が提案されている。
【０００６】
このTest Model 5における固定ビットレート制御方法は、一定の転送レートが要求される用途に対しては有効な方法である。
しかし、動画像シーケンスのどの部分に対してもほぼ同じ符号量が割り当てられるため、情報量を多く含む複雑なシーンに対しては十分な符号量が与えられずに画質劣化が生じてしまう。これに対して、情報量が少ない単純なシーンの場合には符号量が余剰になって無駄が生じ、DVD-Videoのように可変転送レートが可能な用途に対しては、適切なレート制御方法とは言えなかった。
【０００７】
以上のような問題を解決するレート制御方法が可変ビットレート制御方法である。特開平6−１４１２９８号公報には、可変ビットレート制御による符号化装置が開示されている。
この装置では、最初に、入力動画像に対して固定量子化スケールによって仮符号化を行い、単位時間毎に発生符号量がカウントされる。つぎに、入力動画像全体の発生符号量が所要値になるように、仮符号化時の発生符号量に基づいて各部分の目標転送レートを設定する。そしてこの目標転送レートに合致するように制御を行いながら、入力動画像に対して２回目の符号化、言い換えると実符号化が行われる。
【０００８】
しかし、上記従来例では、出力ビットストリームを得るためには少なくとも２回の符号化を行わなければならず、リアルタイム性を要求されるような用途ではこの装置のような２パス方式の可変ビットレート制御は使用出来ない。
【０００９】
これに対し、動画像をほぼリアルタイムで符号化するための可変ビットレート制御方法、すなわち１パス方式の可変ビットレート制御方法も存在する。特開平１０−３０２３９６号公報には、１パス方式の可変ビットレート制御方法による符号化装置が開示されている。
【００１０】
この装置では、動画像を符号化する際に単位時間毎の符号化難易度を測定し、それを予め標準化された符号化難易度と割当符号量の関係から単位時間毎の割当符号量の参考値を求める。
【００１１】
割当符号量の参考値から実際の割当符号量へ変更する方法は、記録媒体に所定の時間長記録する動画像の発生符号量の総和が記録媒体に記録可能な実容量以下になるように、記録媒体の実容量から定まる一定の割当符号量bavで符号化した場合の割当符号量Bavと現在までの実際の発生符号量の総和Bgenを比較し、Bav−Bgenが正の時にbav以上の割当符号量を許可することにより、所定の時間長の動画像が一定の記録容量の記録媒体に記録出来ることを保証する１パス方式の可変ビットレート制御を実現している。
【００１２】
【発明が解決しようとする課題】
しかしながら１パス方式の可変ビットレート制御では２パス方式とは異なり、入力される動画像シーケンスがどのような画面複雑度の時間変化で構成されているかは予めわからない状態でビットレート制御を行わなければならない。
上記従来発明では実際の発生符号量が、記録媒体の実容量から定まる一定の割当符号量bavより下回った分だけ、それ以降の符号化でbavを上回る符号量割当が可能になる。
そのため、動画像シーケンスの前半で比較的符号化が易しく、後半が難しい場合は、前半の余剰ビットが後半の難しい部分に回せて、シーケンス全体の主観画質の改善が可能になるが、逆に前半が難しく、後半が易しい場合は前半の難しい部分の主観画質の改善は不可能である上に、符号化の終了した時点では後半の易しい部分で符号量が余剰になり、記録媒体の容量の無駄が生じてしまう。
本発明は以上の問題を解決して、割当符号量に時間的に変化するマージンを付加することによって、動画像シーケンスの初めの部分でも一定の割当符号量を上回る符号量割当を可能にし、シーケンス全体の符号量割当を適正にし、かつ全般的な画質向上を図ることを目的とする。
【００１３】
【課題を解決するための手段】
そこで、本発明は、上記課題を解決するために以下の装置及び方法を提供するものである。
（１）入力動画像を、動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化を行う動画像符号化装置において、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の発生符号量を検出するとともに、前記入力動画像の先頭の画像から現在までに符号化した画像までの総発生符号量を検出する手段と、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の平均量子化スケールを検出する手段と、
符号化された前記入力動画像を記録する記録媒体の記録可能容量と、前記入力動画像の記録時間とから平均目標ビットレートを決定する手段と、
前記平均目標ビットレートに基づいて最小量子化スケールを設定する手段と、
前記発生符号量の余裕分であるマ−ジンの値を、前記入力動画像の符号化開始時点では最大値に設定するとともに、時間経過に伴って前記マージンの値を前記最大値から漸次小さくした値を予め設定される第１の所定期間毎に設定する手段と、
前記入力動画像の符号化開始時点から現在までの区間を前記平均目標ビットレートで符号化した場合に発生すると想定される想定発生符号量と、前記現在までの総発生符号量との差分値を算出し、この差分値の一定割合分を前記マージンの値に加算することで、前記所定期間毎に設定するマージンの値を補正する手段と、
前記補正したマージンの値と、前記各画像毎の平均量子化スケールと、前記各画像毎の発生符号量と、前記平均目標ビットレートとを用いて、既知の方法により、符号化単位である第２の所定期間内における各画像の目標割当符号量を算出する手段と、
前記目標割当符号量と各マクロブロックの発生符号量とから、既知の方法により、各マクロブロックの量子化スケールを決定するとともに、この決定された量子化スケールが前記最小量子化スケールよりも小さい場合は、前記決定された量子化スケールを前記最小量子化スケールと置き換える手段とを備えたことを特徴とする動画像符号化装置。
（２）上記（１）に記載された動画像符号化装置において、
前記発生符号量のマージンの値を設定する手段は、
符号化動画像の記録済み時間または残り記録時間によって前記マージンの値を決定することを特徴とする動画像符号化装置。
（３）上記（１）に記載された動画像符号化装置において、
前記発生符号量のマージンの値を設定する手段は、
観測時刻における符号化動画像の記録済み時間、残り記録時間、記録済みの発生符号量、記録媒体に対する残り容量、目標転送レート、最大転送レート及び所定時間における実転送レートのうちのいくつかを因数とする関数により、前記マージンの値を決定することを特徴とする動画像符号化装置。
（４）上記（１）乃至（３）のいずれかに記載された動画像符号化装置において、
前記各画像毎の発生符号量と前記各画像毎の平均量子化スケールとを乗算した後に所定の変換を施して、前記各画像毎の画面複雑度を検出する手段と、
前記画面複雑度の一定期間における平均値である平均画面複雑度を求める手段と、
を有し、
前記目標割当符号量を算出する手段は、
前記平均画面複雑度と、前記各画像毎の画面複雑度と、前記補正したマージンの値と、前記各画像毎の平均量子化スケールと、前記各画像毎の発生符号量と、前記平均目標ビットレートとを用いて、既知の方法により、前記所定期間内における各画像の目標割当符号量を算出することを特徴とする動画像符号化装置。
（５）入力動画像を、動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化を行う動画像符号化方法において、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の発生符号量を検出するとともに、前記入力動画像の先頭の画像から現在までに符号化した画像までの総発生符号量を検出するステップと、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の平均量子化スケールを検出するステップと、
符号化された前記入力動画像を記録する記録媒体の記録可能容量と、前記入力動画像の記録時間とから平均目標ビットレートを決定するステップと、
前記平均目標ビットレートに基づいて最小量子化スケールを設定するステップと、
前記発生符号量の余裕分であるマ−ジンの値を、前記入力動画像の符号化開始時点では最大値に設定するとともに、時間経過に伴って前記マージンの値を前記最大値から漸次小さくした値を予め設定される第１の所定期間毎に設定するステップと、
前記入力動画像の符号化開始時点から現在までの区間を前記平均目標ビットレートで符号化した場合に発生すると想定される想定発生符号量と、前記現在までの総発生符号量との差分値を算出し、この差分値の一定割合分を前記マージンの値に加算することで、前記所定期間毎に設定するマージンの値を補正するステップと、
前記補正したマージンの値と、前記各画像毎の平均量子化スケールと、前記各画像毎の発生符号量と、前記平均目標ビットレートとを用いて、既知の方法により、符号化単位である第２の所定期間内における各画像の目標割当符号量を算出するステップと、
前記目標割当符号量と各マクロブロックの発生符号量とから、既知の方法により、各マクロブロックの量子化スケールを決定するとともに、この決定された量子化スケールが前記最小量子化スケールよりも小さい場合は、前記決定された量子化スケールを前記最小量子化スケールと置き換えるステップとを備えたことを特徴とする動画像符号化方法。
（６）上記（５）に記載された動画像符号化方法において、
前記発生符号量のマージンの値を設定するステップは、
符号化動画像の記録済み時間または残り記録時間によって前記マージンの値を決定することを特徴とする動画像符号化方法。
（７）上記（５）に記載された動画像符号化方法において、
前記発生符号量のマージンの値を設定するステップは、
観測時刻における符号化動画像の記録済み時間、残り記録時間、記録済みの発生符号量、記録媒体に対する残り容量、目標転送レート、最大転送レート及び所定時間における実転送レートのうちのいくつかを因数とする関数により、前記マージンの値を決定することを特徴とする動画像符号化方法。
（８）上記（５）乃至（７）のいずれかに記載された動画像符号化方法において、
前記各画像毎の発生符号量と前記各画像毎の平均量子化スケールとを乗算した後に所定の変換を施して、前記各画像毎の画面複雑度を検出するステップと、
前記画面複雑度の一定期間における平均値である平均画面複雑度を求めるステップと、
を有し、
前記目標割当符号量を算出するステップは、
前記平均画面複雑度と、前記各画像毎の画面複雑度と、前記補正したマージンの値と、前記各画像毎の平均量子化スケールと、前記各画像毎の発生符号量と、前記平均目標ビットレートとを用いて、既知の方法により、前記所定期間内における各画像の目標割当符号量を算出することを特徴とする動画像符号化方法。
【００１９】
【発明の実施の形態】
本発明の動画像符号化装置及びその方法の第1の実施例について、以下に図１と共に説明する。
図１に示したように、本発明の動画像符号化装置及びその方法の第1の実施例は、減算器１１、DCT器１２、量子化器１３、符号量制御器１４、可変長符号化器１５、バッファ１６、逆量子化器１７、IDCT器１８、動き補償予測器１９、加算器２０、フレームメモリ２１、平均量子化スケール検出器２２、発生符号量検出器２３、画像特性検出器２５、記録時間検出器３１、マージン設定器３２、平均レート設定器３３、及び最小量子化スケール設定器３４より構成されている。
【００２０】
原画像は図示されていない画像ブロック分割器によって、予めマクロブロック単位に分割されているものとする。
分割された原画像は、Iピクチャについては動き補償予測が行われず、原画像ブロックそのものがDCT器１２に送られ、DCTされた後に量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化される。
【００２１】
量子化器１３の出力は可変長符号化器１５で符号に変換されてバッファ１６で調整された後に符号が出力される。
一方、量子化器１３の出力係数は逆量子化器１７、IDCT器１８で局部復号されてブロック毎にフレームメモリ２１に貯えられる。
【００２２】
Ｐ及びＢピクチャについては分割された原画像とフレームメモリに貯えられた所定の局部復号画像ブロックが動き補償予測器１９に供給され、ここで動きベクトル検出及び動き補償が行われて、予測画像ブロックが減算器１１で原画像ブロックとの間で画素間差分が取られ、差分値である誤差画像ブロックがDCT器１２に送られる。
【００２３】
この後はＩピクチャと同様にDCTされ、量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化された後に可変長符号化器１５で符号に変換されてバッファ１６で調整された後に符号が出力される。
【００２４】
一方、量子化器１３の出力係数は逆量子化器１７、IDCT器１８で局部復号された後に前記予測画像ブロックが加算器２０によって画素毎に加算され、ブロック毎にフレームメモリ２１に貯えられる。
【００２５】
各ピクチャについて、マクロブロック毎の量子化スケールが平均量子化スケール検出器２２に送られ、そこで1フレーム毎に量子化スケールが加算され、1フレームの平均量子化スケールが算出される。一方、バッファ１６において発生符号量が監視され、値が発生符号量検出器２３に送られる。
ここにおいて、発生符号量がフレーム単位に加算され、1フレームの発生符号量が検出される。
【００２６】
これと共に、発生符号量検出器２３で、各フレームの発生符号量が順次加算されて、動画像シーケンスの先頭から現在までに符号化した画像の実際の総発生符号量が計算される。
各フレームの平均量子化スケール、発生符号量、及び現在までの総発生符号量は符号量制御器１４に送られる。
【００２７】
平均レート設定器３３では、平均目標ビットレートRaveが設定され、符号量制御器１４に送られる。
平均目標ビットレートRaveの設定値は、例えば記録媒体３５の場合、動画像データが記録可能な容量と、それに記録する動画像シーケンスの記録時間から決定される。すなわち、固定ビットレート制御で符号化した場合の平均ビットレートに相当する。
【００２８】
最小量子化スケール設定器３４では、平均レート設定器３３で設定した平均レートに応じて、量子化スケールの最小値を設定する。一般的に量子化スケールは、ある一定値以上になると復号画像の画質に劣化が知覚する。
【００２９】
逆に言うと、ある一定値よりも量子化スケールを下げても復号画像の画質はほとんど変わらないので、量子化スケールを一定値でリミッタをかけてそれ以上は量子化スケールが下がらないようにすることにより、リミッタのかかった部分で発生符号量を平均レートより少なくして、復号画像の画質を保持しつつ、発生符号量の削減を図るものである。
平均レートに応じて最小量子化スケールを変更することにより、平均レートに見合った画質を選択することが出来る。
【００３０】
マージン設定器３２では、符号量の余裕分であるマージンの値が所定の周期毎に設定される。
マージンの設定方法には、(1) ビットレートに対するマージンと(2) 一定区間内の発生符号量の総量に対するマージンとの２つの方法がある。
記録時間や記録媒体３５の容量といったパラメータの設定等によって適宜適切な方を選択して、マージンの設定を行う。
【００３１】
(1) ビットレートに対するマージンについて（図２）
図２にマージンの配分方法と符号量推移の一実施例を示す。
マージンは、平均目標ビットレートRaveに対して与えられ、例えばRaveが4Mbpsの時、10％のマージンを与えるとき、マージンを10％または0.4Mbpsと表す。
【００３２】
動画像シーケンスの総記録時間が設定されている場合、記録時間検出器３１で検出される記録経過時間より残り記録時間が得られるので、符号化の開始時点ではマージンが最大で、符号化の終了時点でマージンが０になるよう、残り記録時間に比例したマージンの量を決定する関数を設定する。
前記所定の周期毎に、記録時間検出器３１で得られる残り記録時間から前記関数により符号量マージンが決定される。
【００３３】
但し、これだけではシーケンスが後ろになるにつれてマージンが少なくなってしまうので、現在までに符号化した画像の実際の総発生符号量と、この区間を平均目標ビットレートRaveで符号化した場合の発生符号量の差を計算し、この差の一定割合を前記マージンに加算することにより、シーケンスの後半でも十分なマージンが確保される。
【００３４】
(2) 一定区間内の発生符号量の総量に対するマージンについて（図３）
図３にマージンの配分方法と符号量推移の他の実施例を示す。
これは記録媒体３５における形式的な記録容量の表示が実際の最大容量より小さく設定される場合で、例えば記録媒体３５の容量表示が1.0 Gbitで、実際の最大容量が1.2Gbitの時、マージンは20％または0.2Gbitと表す。
【００３５】
動画像シーケンスの総記録時間、あるいは記録媒体の目安の記録時間が表示されている場合は、その目安の記録時間を所定の区間長に分割する。
なお、分割される各区間の長さは等間隔でもよいし、そうでなくてもよい。
【００３６】
分割された各区間に対し、前記記録媒体３５の容量のマージンを所定の方法によって配分する。
マージンの配分方法は、例えば分割各区間の長さに比例して、すなわち各区間が等間隔ならば配分するマージンも等しく配分してもよいが、シーケンスの最初の方は相対的に多く、後半になるにつれて次第に少なく設定し、前半で余ったマージンは順次後半に繰り越すことにより、無駄の少ないマージンの割当を実現している。
【００３７】
なお、分割各区間に配分するマージンの量は、記録媒体３５の実際の最大容量と表示記録容量の差を限度としてもよいし、それを若干越えたマージンの量を設定してもよい。
【００３８】
容量の差を限度とした場合は、実際の総発生符号量が記録媒体３５の実際の最大容量以下になることが保証され、容量の差を若干越えた量を設定した場合は、実際の総発生符号量が記録媒体３５の実際の最大容量以下になる保証はなくなるが、その分符号化の難しい部分における画質改善の幅がより大きくなる。
なお、マージンの値を符号量制御器１４に送る場合は、(1)の場合と同様に平均目標ビットレートRaveに対するマージンに換算する。
【００３９】
符号量制御器１４では、平均量子化スケール検出器２２から送られてきた各フレームの平均量子化スケール、発生符号量検出器から送られてきた発生符号量と現在までの総発生符号量、平均レート設定器３３から送られてきた平均目標ビットレート、最小量子化スケール設定器３４から送られてきた最小量子化スケール、及びマージン設定器３２から送られてきたマージンから、MPEG2 Test Model 5または別の符号量配分の方法(各画像に対する符号量割当方法)を用いて符号量制御が行われ、各画像の目標割当符号量が決定される。
【００４０】
一実施例としてMPEG2 Test Model 5を用いた目標割当符号量の決定方法を以下に説明する。
固定ビットレート制御におけるビットレートをBitRate、1秒当りのフレーム数をPictureRate、1つの符号化単位である1GOP(通常はＩピクチャの間隔)のフレーム数をＮとすると、1GOPの平均割当符号量Raveは次式(1)で与えられる。
【００４１】
0004362793.tif 000002
【００４２】
符号量制御器１４において割当てられる1GOPの割当符号量Rcは、Raveと1GOP当りのマージンmarginを用いて、次式(2)で設定される。
【００４３】
0004362793.tif 000003
【００４４】
すなわち、Rcの値は固定ビットレート制御の場合よりもマージン分だけ高いビットレートで制御することになる。そうするとマージン分だけ符号量が不足することになるが、後述するように、最小量子化スケールによる量子化スケールのリミッタがかかるため、リミッタのかかった部分における発生符号量の削減をマージンによる符号量増加に充当して、所定の平均目標ビットレートに収めることが可能である。
【００４５】
割当符号量Rcを1GOPの各ピクチャに適切に割り振ることにより、これから符号化する各画像の目標符号量を算出する。
1GOPに含まれるＰ、Ｂピクチャのフレーム数をNp、Nb、Ｉピクチャに対するＰ、Ｂピクチャの量子化スケールの設定比率をKp、Kb、直前に符号化した同じピクチャタイプのピクチャの画面複雑度（発生符号量と平均量子化スケールとの積）をXi, Xp, Xbとする。
この時、各ピクチャタイプの目標割当符号量Ti, Tp, Tbは次式(3) (4) (5)で与えられる。
なお、MAX[A, B]はAとBのいずれか大きい方を選択する動作を示す。
【００４６】
(Ｉピクチャ)
0004362793.tif 000004
【００４７】
(Ｐピクチャ)
0004362793.tif 000005
【００４８】
(Ｂピクチャ)
0004362793.tif 000006
【００４９】
さらに、決定した各画像の目標割当符号量とバッファ１６で検出される各マクロブロックの発生符号量をもとに、MPEG2 Test Model 5または別の符号量配分の方法(各マクロブロックに対する符号量割当方法)を用いて各マクロブロックの量子化スケールを決定する。
【００５０】
なお、画像特性検出器２５において各マクロブロックの原画像アクティビティが検出され、この値が符号量制御器１４へ送られる。
このアクティビティの値はMPEG2 Test Model 5における各マクロブロックの量子化スケールを変更する適応量子化制御に使用されるが、この適応量子化制御は行わなくてもよい。または別の方法により適応量子化制御を行ってもよい。
【００５１】
このようにして決定した各マクロブロックの量子化スケールに対し、最小量子化スケール設定器３４によって設定される最小量子化スケールによるリミッタがかけられる。すなわち、各マクロブロックの量子化スケールが最小量子化スケールよりも小さい場合は最小量子化スケールに置き換えて、それ以外の場合は前記決定した値をそのまま各マクロブロックの量子化スケールとして最終的に決定し、この値が符号量制御器１４から出力される。
【００５２】
符号量制御器１４から出力される各マクロブロックの量子化スケールが量子化器１３に送られ、現在の画像(DCT後の分割された原画像または動き補償予測の誤差画像ブロック)がこの量子化スケールで量子化される。
更に量子化器１３の出力は、可変長符号化器１５で可変長符号化されて、バッファ１６で調整された後に符号が出力される。
【００５３】
マクロブロック毎の量子化スケール、バッファ１６で監視される発生符号量がそれぞれ、平均量子化スケール検出器２２、発生符号量検出器２３に送られ、次のピクチャの符号量制御に使用される。
なお、発生符号量検出器２３では現在までに符号化した画像について発生符号量を加算して、実際の総符号量を求め、この値をマージン設定器３２に送っている。
【００５４】
また、符号量制御器１４では、記録時間と平均目標ビットレートRaveから求まる、固定のRaveで符号化した場合の目標発生符号量（前記マージンの設定方法(2)では現在までに割当てられたマージンの総量も含む。）と、発生符号量検出器２３で求めた実際の総発生符号量との差を計算し、この発生符号量の目標と実際の差に対して一定比率を乗算して、これをマージン設定器３２で設定したマージンに加算することにより、初期設定において、シーケンスの後半ではマージンが小さくなるように設定した場合でも、後半部分のマージンを十分に確保することが可能になる。
【００５５】
本発明の動画像符号化装置及びその方法の第２の実施例について、以下に図４と共に説明する。
第２の実施例では第１の実施例に比べ、レート比較器３７と残量検出器３６が追加され、マージン設定器３２Ａの動作が変更になっているが、それ以外の部分は第１の実施例と同一なので、変更になった部分についてのみ説明する。
【００５６】
レート比較器３７では、発生符号量検出器２３で検出された各画像の発生符号量を所定期間について加算して、この期間の実転送レートを計算した値と、平均レート設定器３３から出力される目標転送レート、最大転送レートとをマージン設定器３２に送る。
【００５７】
残量検出器３６では、記録媒体３５に予め設定された最大容量と記録媒体３５に内蔵された符号量カウンタで検出された記録済み符号量の差、もしくは記録済み領域の位置情報を検出して、それを残り記録容量に変換することにより、記録媒体３５の残り容量を検出し、それをマージン設定器３２Ａに送る。
【００５８  】
マージン設定器３２Ａでは、記録時間検出器３１から送られた動画像シーケンスの記録済み時間または残り記録時間、発生符号量検出器２３から送られた記録済みの発生符号量、残量検出器３６から送られた記録媒体３５に対する残り容量、レート比較器３７から送られた目標転送レート、最大転送レート及び所定時間における実転送レートのうちのいくつかを因数とする関数を設定し、この関数によってマージンの設定を行うことにより、一層適切な符号量制御を行うことが可能になる。
【００５９】
本発明の動画像符号化装置及びその方法の第３の実施例について、以下に図５と共に説明する。
第３の実施例では第２の実施例に比べ、画面複雑度算出器２４が追加され、符号量制御器１４の動作が変更になっているが、それ以外の部分は第２の実施例と同一なので、変更になった部分についてのみ説明する。
【００６０】
画面複雑度算出器２４へは、平均量子化スケール検出器２２から１フレームの平均量子化スケールが、発生符号量検出器２３からは１フレームの発生符号量が各画像毎に入力され、平均量子化スケールと発生符号量とが乗算された後に乗算結果に所定の変換が施されて、各フレームの画面複雑度として求められる。
【００６１】
画面複雑度算出器２４で求められる画面複雑度は符号化ピクチャタイプ別に一定期間内の値が加算された後にその期間内の同じピクチャタイプのフレーム数で除算されて、各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave, Xb-ave が算出される。
各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave, Xb-aveと、直前に符号化した同じピクチャタイプの画像の画面複雑度 Xi, Xp, Xb は符号量制御器１４に送られる。
【００６２】
この画面複雑度算出器２４から送られてきた各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave, Xb-aveと直前に符号化した同じピクチャタイプの画像の画面複雑度 Xi, Xp, Xb、平均量子化スケール検出器２２から送られてきた各フレームの平均量子化スケール、発生符号量検出器２３から送られてきた発生符号量と現在までの総発生符号量、平均レート設定器３３から送られてきた平均目標ビットレート、最小量子化スケール設定器３４から送られてきた最小量子化スケール、マージン設定器３２Ａから送られてきたマージンから、MPEG2 Test Model 5、または別の符号量配分の方法(各画像に対する符号量割当方法)を用いて、符号量制御器１４において符号量制御が行われる。
【００６３】
MPEG2 Test Model 5を用いて目標割当符号量を決定する場合、第１の実施例における式(１)のRcを求める式が次の(6)のように変わるが、その他の部分は第１の実施例と同じである。
【００６４】
0004362793.tif 000007
【００６５】
第２の実施例と同様に、MPEG2 Test Model 5等において設定するビットレートの値を、平均目標ビットレートにマージンを加えることにより、固定ビットレート制御の場合よりもマージン分だけ高いビットレートで制御して各画像の目標割当符号量が決定した後、当該ピクチャタイプについて、直前に符号化した画像の画面複雑度を平均画面複雑度で割った値を、得られた各画像の目標割当符号量に乗算することにより、画面複雑度を考慮した符号量割当が行われる。
【００６６】
そして決定した各画像の目標割当符号量とバッファ１６で検出される各マクロブロッの発生符号量をもとに、第１、第２の実施例と同様にして、各マクロブロックの量子化スケールを決定する。
【００６７】
なお、以上の第３の実施例では、第２の実施例で得られる各画像の目標割当符号量に対し画面複雑度を考慮した符号量割当を行っているが、これを第１の実施例に適用してもよい。
【００６８】
【発明の効果】
以上のように本発明によると、可変ビットレート制御で動画像を符号化する際に、各画像の発生符号量、量子化スケールと、目標平均符号量、符号量のマージンから前記一定区間の割当符号量を決定し、それを所定の方法で一定区間内の各画像に配分する。符号量のマージンの設定値は、例えば動画像シーケンスの記録済み時間または残り記録時間で変化させ、シーケンスの最初では最大で、時間の経過と共に一定の割合で減少させ、シーケンスの最後では０となるように設定することにより、記録媒体の実容量を超えることなく、途中の区間では一定のビットレートを超える符号量割当が可能になる。
【００６９】
あるいは、記録媒体の実容量に対しマージンを設ける場合は、記録媒体の容量のマージンを動画像シーケンスの所定の区間長に区切った各区間に配分する。マージンの配分をシーケンスの最初では多目に、後半になるにつれて次第に少な目に設定し、前半で余ったマージンは順次後半に繰り越すことにより、無駄の少ないマージンの割当が可能となる。
【００７０】
また、動画像シーケンスの記録済み時間、残り記録時間、記録済みの発生符号量、記録媒体に対する残り容量、目標転送レート、最大転送レート及び所定時間における実転送レートのうちのいくつかを因数とする関数によってマージンを設定することにより、一層適正な符号量制御を行うことが可能になる。
【００７１】
また、以上のような方法で配分された各画像の割当符号量に対し、各フレームの平均量子化スケールと発生符号量を乗算して所定の変換を施して、各フレームの画面複雑度を求め、この値を一定期間内のピクチャタイプ別平均画面複雑度で割った値を前記各画像の割当符号量に乗算することにより、画面複雑度を考慮した符号量割当を行って、１パス方式の可変ビットレート制御による動画像符号化においても、より画像の特性に応じた符号量制御が可能になる。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置及びその方法の第１の実施例を示したブロック構成図である。
【図２】本発明の動画像符号化装置及びその方法の符号量推移の一実施例を示した図である。
【図３】本発明の動画像符号化装置及びその方法の符号量推移の他の実施例を示した図である。
【図４】本発明の動画像符号化装置及びその方法の第２の実施例を示したブロック構成図である。
【図５】本発明の動画像符号化装置及びその方法の第３の実施例を示したブロック構成図である。
【図６】符号化ピクチャ構造の一例を示した図である。
【図７】従来の一般的な動画像符号化装置の一構成例を示した図である。
【符号の説明】
１１  減算器
１２  DCT器
１３  量子化器
１４  符号量制御器
１５  可変長符号化器
１６  バッファ
１７  逆量子化器
１８  IDCT器
１９  動き補償予測器
２０  加算器
２１  フレームメモリ
２２  平均量子化スケール検出器
２３  発生符号量検出器
２４  画面複雑度算出器
２５  画像特性検出器
３１  記録時間検出器
３２，３２Ａ  マージン設定器
３３  平均レート設定器
３４  最小量子化スケール設定器
３６  残量検出器
３７  レート比較器
Xi, Xp, Xb  現在の画像の画面複雑度
Xi-ave, Xp-ave, Xb-ave  平均画面複雑度
【図１】
0004362793.tif 000008
【図２】
0004362793.tif 000009
【図３】
0004362793.tif 000010
【図４】
0004362793.tif 000011
【図５】
0004362793.tif 000012
【図６】
0004362793.tif 000013
【図７】
0004362793.tif 000014