(57)【特許請求の範囲】
【請求項１】
入力動画像を、動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化を行う動画像符号化装置において、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の発生符号量を検出する手段と、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の平均量子化スケールを検出する手段と、
前記各画像毎の発生符号量と前記各画像毎の平均量子化スケールとの積に対して所定の変換を施すことによって、前記各画像毎の画面複雑度を算出する手段と、
予め設定される第１の所定期間毎に、前記各画像毎の画面複雑度を加算平均して平均画面複雑度を算出する手段と、
符号化開始時点では予め設定された平均画面複雑度の初期値を選択平均画面複雑度として出力し、
その後、前記初期値に対して符号化経過時間と共に重み付けが減少する関数を乗じて第１の平均画面複雑度を得、前記平均画面複雑度に対して符号化経過時間と共に重み付けが増加する関数を乗じて第２の平均画面複雑度を得、これら第１及び第２の平均画面複雑度を加算して得た値を選択平均画面複雑度として出力する手段と、
符号化単位である第２の所定期間毎に予め決定される目標符号量に、これから符号化を行なう符号化対象画像の画面複雑度を前記選択平均画面複雑度で除した値を乗ずることで、前記第２の所定期間毎の割当符号量を決定すると共に、この第２の所定期間毎の割当符号量から、既知の方法により、前記第２の所定期間内の各画像毎の割当符号量を算出し、この各画像毎の割当符号量と各マクロブロックの発生符号量とから、既知の方法により、各マクロブロックの量子化スケールを決定する手段と、
を備えたことを特徴とする動画像符号化装置。
【請求項２】
請求項1に記載された動画像符号化装置において、
前記入力動画像のアクティビティを検出する手段を更に有し、
前記画面複雑度を算出する手段は、
前記発生符号量と前記平均量子化スケールの積に対して所定の変換を施すことによってピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別に前記画面複雑度を求め、
前記符号化対象画像と同じピクチャタイプの前記符号化対象画像の直前に符号化が行なわれた画像の画面複雑度に対し、前記直前に符号化が行なわれた画像における前記アクティビティと前記符号化対象画像の前記アクティビティとの割合を乗ずることによって前記符号化対象画像の画面複雑度を得ることを特徴とする動画像符号化装置。
【請求項３】
請求項１または請求項２に記載された動画像符号化装置において、
前記平均画面複雑度を算出する手段は、
予め定めた過去の一定期間において、前記画面複雑度をピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別に加算した上で各々のピクチャタイプの画像数で割ることによって各ピクチャタイプの平均画面複雑度を求め、
前記選択平均画面複雑度を出力する手段は、
予め既知の方法によって求めた各ピクチャタイプにおける平均画面複雑度の初期値を保持してあり、
符号化開始時点では前記初期値を選択平均画面複雑度として出力し、
その後、前記初期値に対して符号化経過時間と共に重み付けが減少する関数を乗じて第１の平均画面複雑度を得、前記平均画面複雑度に対して前記経過時間によって重み付けが増加する関数を乗じて第２の平均画面複雑度を得、これら第１及び第２の平均画面複雑度を加算して得た値を選択平均画面複雑度として出力することを特徴とする動画像符号化装置。
【請求項４】
入力動画像を、動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化を行う動画像符号化方法において、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の発生符号量を検出するステップと、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の平均量子化スケールを検出するステップと、
前記各画像毎の発生符号量と前記各画像毎の平均量子化スケールとの積に対して所定の変換を施すことによって、前記各画像毎の画面複雑度を算出するステップと、
予め設定される第１の所定期間毎に、前記各画像毎の画面複雑度を加算平均して平均画面複雑度を算出するステップと、
符号化開始時点では予め設定された平均画面複雑度の初期値を選択平均画面複雑度として出力し、
その後、前記初期値に対して符号化経過時間と共に重み付けが減少する関数を乗じて第１の平均画面複雑度を得、前記平均画面複雑度に対して符号化経過時間と共に重み付けが増加する関数を乗じて第２の平均画面複雑度を得、これら第１及び第２の平均画面複雑度を加算して得た値を選択平均画面複雑度として出力するステップと、
符号化単位である第２の所定期間毎に予め決定される目標符号量に、これから符号化を行なう符号化対象画像の画面複雑度を前記選択平均画面複雑度で除した値を乗ずることで、前記第２の所定期間毎の割当符号量を決定すると共に、この第２の所定期間毎の割当符号量から、既知の方法により、前記第２の所定期間内の各画像毎の割当符号量を算出し、この各画像毎の割当符号量と各マクロブロックの発生符号量とから、既知の方法により、各マクロブロックの量子化スケールを決定するステップと、
を備えたことを特徴とする動画像符号化方法。
【請求項５】
請求項４に記載された動画像符号化方法において、
前記入力動画像のアクティビティを検出するステップを更に有し、
前記画面複雑度を算出するステップは、
前記発生符号量と前記平均量子化スケールの積に対して所定の変換を施すことによってピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別に前記画面複雑度を求め、
前記符号化対象画像と同じピクチャタイプの前記符号化対象画像の直前に符号化が行なわれた画像の画面複雑度に対し、前記直前に符号化が行なわれた画像における前記アクティビティと前記符号化対象画像の前記アクティビティとの割合を乗ずることによって前記符号化対象画像の画面複雑度を得ることを特徴とする動画像符号化方法。
【請求項６】
請求項４または請求項５記載された動画像符号化方法において、
前記平均画面複雑度を算出するステップは、
予め定めた過去の一定期間において、前記画面複雑度をピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別に加算した上で各々のピクチャタイプの画像数で割ることによって各ピクチャタイプの平均画面複雑度を求め、
前記選択平均画面複雑度を出力するステップは、
予め既知の方法によって求めた各ピクチャタイプにおける平均画面複雑度の初期値を保持してあり、
符号化開始時点では前記初期値を選択平均画面複雑度として出力し、
その後、前記初期値に対して符号化経過時間と共に重み付けが減少する関数を乗じて第１の平均画面複雑度を得、前記平均画面複雑度に対して前記経過時間によって重み付けが増加する関数を乗じて第２の平均画面複雑度を得、これら第１及び第２の平均画面複雑度を加算して得た値を選択平均画面複雑度として出力することを特徴とする動画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
動画像の高能率符号化に係り、特に、リアルタイムで可変ビットレート符号化を行う際に好適な符号量制御装置及びその方法に関する。
【０００２】
【従来の技術】
ＴＶ信号などの動画像を高能率に符号化する技術の国際標準として既にMPEG2が規定されている。
MPEG2は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる16×16画素のブロックに分割し、各マクロブロック単位に、時間的に前または後に所定の数フレーム離れた参照画像と符号化画像の間で「動きベクトル」と呼ばれる動き量を求め、この動き量を基に参照画像から符号化画像を構成する「動き補償予測」技術と、動き補償予測の誤差信号または符号化画像そのものに対して、直交変換の一種であるＤＣＴ(離散コサイン変換)を用いて情報量を圧縮する「変換符号化」技術の2つの画像符号化の要素技術をベースに規定されている。
【０００３】
従来のMPEG2の動画像符号化装置の一構成例を図５に示す。
また、符号化ピクチャ構造の一例を図４に示す。
動き補償予測では、図５に示した符号化ピクチャ構造のように、 Iピクチャ(フレーム内符号化)、Ｐピクチャ(順方向予測符号化)、Ｂピクチャ(双方向予測符号化)と呼ばれる、予測方法の異なる３種類のピクチャの組合せによって構成される。
図５に示されるように、変換符号化では、Ｉピクチャでは符号化画像そのものに対し、Ｐ,Ｂピクチャでは動き補償器７７による動き補償予測の誤差信号である減算器７１の出力に対して、ＤＣＴがＤＣＴ器７２で施される。
【０００４】
ＤＣＴ器７２で得られたＤＣＴ係数に対して量子化が、符号量制御部９０の出力により制御して量子化器７３によってなされた後に、動きベクトル等のその他の付帯情報と共に可変長符号化が可変長符号化器７５でなされ、符号列が「ビットストリーム」としてバッファ７６に記憶された後に出力される。
この際、バッファ７６の充足度に応じて符号量制御部９０で量子化スケールが制御される。
一方、量子化器７３の出力係数は、逆量子化器７７、ＩＤＣＴ器７８に供給さて、局部復号されてブロック毎にフレームメモリ８１に貯えられる。
【０００５】
MPEG2は可変長符号化であるため、単位時間当りの発生符号量(ビットレート)は一定ではない。
そこで、量子化器７３での量子化の際の量子化スケールをマクロブロック単位に適宜変更することにより、所要のビットレートに制御することが可能になっている。
MPEG2 Test Model 5では、GOP単位で発生符号量を一定にする固定ビットレート制御方法が提案されている。
【０００６】
このTest Model 5における固定ビットレート制御方法は、一定の転送レートが要求される用途に対しては有効な方法である。
しかし、動画像シーケンスのどの部分に対してもほぼ同じ符号量が割り当てられるため、情報量を多く含む複雑なシーンに対しては十分な符号量が与えられずに画質劣化が生じてしまう。これに対して、情報量が少ない単純なシーンの場合には符号量が余剰になって無駄が生じ、DVD-Videoのように可変転送レートが可能な用途に対しては、適切なレート制御方法とは言えなかった。
【０００７】
以上のような問題を解決するレート制御方法が可変ビットレート制御方法である。特開平6−１４１２９８号公報には、可変ビットレート制御による符号化装置が開示されている。
この装置では、最初に、入力動画像に対して固定量子化スケールによって仮符号化を行い、単位時間毎に発生符号量がカウントされる。つぎに、入力動画像全体の発生符号量が所要値になるように、仮符号化時の発生符号量に基づいて各部分の目標転送レートを設定する。そしてこの目標転送レートに合致するように制御を行いながら、入力動画像に対して２回目の符号化、言い換えると実符号化が行われる。
【０００８】
しかし、上記従来例では、出力ビットストリームを得るためには少なくとも２回の符号化を行わなければならず、リアルタイム性を要求されるような用途ではこの装置のような２パス方式の可変ビットレート制御は使用出来ない。
【０００９】
これに対し、動画像をほぼリアルタイムで符号化するための可変ビットレート制御方法、すなわち１パス方式の可変ビットレート制御方法も存在する。特開平１０−１６４５７７号公報には、１パス方式の可変ビットレート制御方法による符号化装置が前記公報の図６等に開示されている。
【００１０】
この装置では、動画像を符号化する際に画面内の発生符号量と画面内の量子化スケールの平均値の積を「画面複雑度」として求め、過去の画面複雑度の平均値に対する現在の画面複雑度の割合を基に、画面の目標発生符号量または目標量子化スケールを決定することにより、可変ビットレート制御を実現している。図６にこの従来発明における動画像符号化装置を示す。
【００１１】
【発明が解決しようとする課題】
しかしながら上記従来発明の１パス方式においては、符号化開始して間もない区間においては、過去の画面複雑度の平均値を求める際の過去の画面複雑度の累積が少ないため、この区間で画面複雑度の変化が大きいと不適切な目標符号量の配分または量子化スケールの決定が行われやすい。
【００１２】
特に映画等においては動画像シーケンスの最初の部分はタイトルのみの画面や、フェードインで始まる場合が多く、最初の画面複雑度の低い部分で画面複雑度の平均値が決定して、それが画面複雑度の高い本編に切換ったとき、目標符号量の配分に反映される画面複雑度の平均値に対する割合が相対的に高くなり、不必要に高い目標符号量が配分される可能性が高い。
逆に最初の部分でいきなり画面複雑度の高い場面が続き、その後で画面複雑度の低いタイトル部分が続いた場合は、タイトル部分に配分される目標符号量が不十分になる可能性が高い。
【００１３】
このように上記従来発明では、動画像シーケンスの最初の部分で不適切な符号量配分が起きるという問題があった。
本発明は、動画像をほぼリアルタイムで符号化するための１パス方式の可変ビットレート制御方法において、動画像シーケンスの最初の部分においても、より適切な符号量割当を実現する方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
そこで本発明は、上記課題を解決するために以下の装置及び方法を提供するものである。
（１）入力動画像を、動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化を行う動画像符号化装置において、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の発生符号量を検出する手段と、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の平均量子化スケールを検出する手段と、
前記各画像毎の発生符号量と前記各画像毎の平均量子化スケールとの積に対して所定の変換を施すことによって、前記各画像毎の画面複雑度を算出する手段と、
予め設定される第１の所定期間毎に、前記各画像毎の画面複雑度を加算平均して平均画面複雑度を算出する手段と、
符号化開始時点では予め設定された平均画面複雑度の初期値を選択平均画面複雑度として出力し、
その後、前記初期値に対して符号化経過時間と共に重み付けが減少する関数を乗じて第１の平均画面複雑度を得、前記平均画面複雑度に対して符号化経過時間と共に重み付けが増加する関数を乗じて第２の平均画面複雑度を得、これら第１及び第２の平均画面複雑度を加算して得た値を選択平均画面複雑度として出力する手段と、
符号化単位である第２の所定期間毎に予め決定される目標符号量に、これから符号化を行なう符号化対象画像の画面複雑度を前記選択平均画面複雑度で除した値を乗ずることで、前記第２の所定期間毎の割当符号量を決定すると共に、この第２の所定期間毎の割当符号量から、既知の方法により、前記第２の所定期間内の各画像毎の割当符号量を算出し、この各画像毎の割当符号量と各マクロブロックの発生符号量とから、既知の方法により、各マクロブロックの量子化スケールを決定する手段と、
を備えたことを特徴とする動画像符号化装置。
（２）上記（１）に記載された動画像符号化装置において、
前記入力動画像のアクティビティを検出する手段を更に有し、
前記画面複雑度を算出する手段は、
前記発生符号量と前記平均量子化スケールの積に対して所定の変換を施すことによってピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別に前記画面複雑度を求め、
前記符号化対象画像と同じピクチャタイプの前記符号化対象画像の直前に符号化が行なわれた画像の画面複雑度に対し、前記直前に符号化が行なわれた画像における前記アクティビティと前記符号化対象画像の前記アクティビティとの割合を乗ずることによって前記符号化対象画像の画面複雑度を得ることを特徴とする動画像符号化装置。
（３）上記（１）１または（２）に記載された動画像符号化装置において、
前記平均画面複雑度を算出する手段は、
予め定めた過去の一定期間において、前記画面複雑度をピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別に加算した上で各々のピクチャタイプの画像数で割ることによって各ピクチャタイプの平均画面複雑度を求め、
前記選択平均画面複雑度を出力する手段は、
予め既知の方法によって求めた各ピクチャタイプにおける平均画面複雑度の初期値を保持してあり、
符号化開始時点では前記初期値を選択平均画面複雑度として出力し、
その後、前記初期値に対して符号化経過時間と共に重み付けが減少する関数を乗じて第１の平均画面複雑度を得、前記平均画面複雑度に対して前記経過時間によって重み付けが増加する関数を乗じて第２の平均画面複雑度を得、これら第１及び第２の平均画面複雑度を加算して得た値を選択平均画面複雑度として出力することを特徴とする動画像符号化装置。
（４）入力動画像を、動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化を行う動画像符号化方法において、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の発生符号量を検出するステップと、
前記入力動画像を構成する各画像の符号化時において、前記各画像毎の平均量子化スケールを検出するステップと、
前記各画像毎の発生符号量と前記各画像毎の平均量子化スケールとの積に対して所定の変換を施すことによって、前記各画像毎の画面複雑度を算出するステップと、
予め設定される第１の所定期間毎に、前記各画像毎の画面複雑度を加算平均して平均画面複雑度を算出するステップと、
符号化開始時点では予め設定された平均画面複雑度の初期値を選択平均画面複雑度として出力し、
その後、前記初期値に対して符号化経過時間と共に重み付けが減少する関数を乗じて第１の平均画面複雑度を得、前記平均画面複雑度に対して符号化経過時間と共に重み付けが増加する関数を乗じて第２の平均画面複雑度を得、これら第１及び第２の平均画面複雑度を加算して得た値を選択平均画面複雑度として出力するステップと、
符号化単位である第２の所定期間毎に予め決定される目標符号量に、これから符号化を行なう符号化対象画像の画面複雑度を前記選択平均画面複雑度で除した値を乗ずることで、前記第２の所定期間毎の割当符号量を決定すると共に、この第２の所定期間毎の割当符号量から、既知の方法により、前記第２の所定期間内の各画像毎の割当符号量を算出し、この各画像毎の割当符号量と各マクロブロックの発生符号量とから、既知の方法により、各マクロブロックの量子化スケールを決定するステップと、
を備えたことを特徴とする動画像符号化方法。
（５）上記（４）に記載された動画像符号化方法において、
前記入力動画像のアクティビティを検出するステップを更に有し、
前記画面複雑度を算出するステップは、
前記発生符号量と前記平均量子化スケールの積に対して所定の変換を施すことによってピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別に前記画面複雑度を求め、
前記符号化対象画像と同じピクチャタイプの前記符号化対象画像の直前に符号化が行なわれた画像の画面複雑度に対し、前記直前に符号化が行なわれた画像における前記アクティビティと前記符号化対象画像の前記アクティビティとの割合を乗ずることによって前記符号化対象画像の画面複雑度を得ることを特徴とする動画像符号化方法。
（６）上記（４）または（５）に記載された動画像符号化方法において、
前記平均画面複雑度を算出するステップは、
予め定めた過去の一定期間において、前記画面複雑度をピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別に加算した上で各々のピクチャタイプの画像数で割ることによって各ピクチャタイプの平均画面複雑度を求め、
前記選択平均画面複雑度を出力するステップは、
予め既知の方法によって求めた各ピクチャタイプにおける平均画面複雑度の初期値を保持してあり、
符号化開始時点では前記初期値を選択平均画面複雑度として出力し、
その後、前記初期値に対して符号化経過時間と共に重み付けが減少する関数を乗じて第１の平均画面複雑度を得、前記平均画面複雑度に対して前記経過時間によって重み付けが増加する関数を乗じて第２の平均画面複雑度を得、これら第１及び第２の平均画面複雑度を加算して得た値を選択平均画面複雑度として出力することを特徴とする動画像符号化方法。
【００１７】
【発明の実施の形態】
本発明の動画像符号化装置及びその方法の第１の実施例について、以下に図１と共に説明する。
図１に示したように、本発明の動画像符号化装置の第1の実施例は、減算器１１、DCT器１２、量子化器１３、符号量制御器１４、可変長符号化器１５、バッファ１６、逆量子化器１７、IDCT器１８、動き補償予測器１９、加算器２０、フレームメモリ２１、平均量子化スケール検出器２２、発生符号量検出器２３、画面複雑度算出器２４、画像特性検出器２５、複雑度初期値設定器４１、経過時間カウンタ４２、及び平均画面複雑度選択器４３より構成されている。
【００１８】
原画像は図示されていない画像ブロック分割器（図示せず。）によって、予めマクロブロック単位に分割されているものとする。
分割された原画像は、Ｉピクチャについては動き補償予測が行われず、原画像ブロックそのものがDCT器１２に送られ、DCTされた後に量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化される。
量子化器１３の出力は、可変長符号化器１５で符号に変換されて、バッファ１６で調整された後に符号が出力される。
【００１９】
一方、量子化器１３の出力係数は逆量子化器１７、IDCT器１８で局部復号されて、ブロック毎にフレームメモリ２１に貯えられる。
P及びBピクチャについては、分割された原画像とフレームメモリ２１に貯えられた所定の局部復号画像ブロックが動き補償予測器１９に供給され、ここで動きベクトル検出及び動き補償が行われて、この補償予測器１９の出力の予測画像ブロックが減算器１１で原画像ブロックとの間で画素間差分が取られ、差分値である誤差画像ブロックがDCT器１２に送られる。
この後はＩピクチャと同様にDCTされ、量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化された後に、可変長符号化器１５で符号に変換されて、バッファ１６で調整された後に符号が出力される。
【００２０】
一方、量子化器１３の出力係数は逆量子化器１７、IDCT器１８で局部復号された後に前記補償予測器１９の出力の予測画像ブロックが加算器２０によって画素毎に加算され、ブロック毎にフレームメモリ２１に貯えられる。
各ピクチャについて、マクロブロック毎の量子化スケールが平均量子化スケール検出器２２に送られ、そこで1フレーム分の量子化スケールが加算され、1フレームの平均量子化スケールが算出される。
【００２１】
一方、バッファ１６において発生符号量が監視され、値が発生符号量検出器２３に送られる。ここにおいて、発生符号量がフレーム単位に加算され、1フレームの発生符号量が検出される。
フレーム毎について検出された平均量子化スケール、発生符号量は画面複雑度算出器２４に送られる。
【００２２】
一方、図２に示すように、画像特性検出器２５は、ACTcur検出器２５Ｊ、ACTpred検出器２５Ｋ、ACTmv検出器２５Ｌ、及びフレーム単位画像特性パラメータ算出器２５Mにより構成されている。
【００２３】
画像特性検出器２５では図２に示すように、分割された原画像が入力され、原画像の各フレームについてマクロブロック単位に画像特性を示すパラメータ、すなわち原画像アクティビティ ACTcur が検出され、フレーム単位に加算されて、その結果が画面複雑度算出器２４に送られる。
画像特性を示すパラメータとしては輝度値の分散、画素間差分値などが考えられるが、画像特性を示すものであればその他のパラメータでもよい。
【００２４】
なお、Ｐ及びＢピクチャについては前記分割された原画像ばかりでなく、動き補償予測器１９におけるマクロブロック単位の動き補償予測誤差画像または動きベクトル検出における符号化画像と参照画像との差分画像に対してもアクティビティ(この場合は画素間差分値またはその２乗誤差) ACTpred をACTpred検出器２５Ｋで求め、これとACTmv検出器２５Ｌで求まる動き補償予測の動きベクトルの隣接ブロックとの差分値ACTmv、及びACTcur検出器２５Ｊで求まる前記原画像アクティビティACTcurを係数とする所定の関数によって、フレーム単位の画像特性パラメータをフレーム単位画像特性パラメータ算出器２５Mで求め、これを前記原画像アクティビティに代えて画面複雑度算出器２４に送ってもよい。
【００２５】
画面複雑度算出器２４では、供給された各フレームの平均量子化スケールと発生符号量が乗算された後に乗算結果に所定の変換が施されて、各フレームの画面複雑度として求められる。
画面複雑度は符号化ピクチャタイプ別に一定期間内の値が加算された後にその期間内の同じピクチャタイプのフレーム数で除算されて、各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave, Xb-ave が算出される。
【００２６】
ここで言う一定期間内は、符号化の終了したばかりの画像から時間的に前に予め定めるフレーム数、例えば１５フレームとか、３００フレームといった一定のフレーム数の場合もあり、符号化開始フレームから符号化の終了したばかりの画像までのように、順次フレーム数が増加する場合もある。
【００２７】
なお、前者の一定フレーム数の場合でも、符号化したフレーム数が定めた一定期間を満たさない場合は後者と同様に順次フレーム数が増加していくことになる。
各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave, Xb-aveは平均画面複雑度選択器４３に送られる。
【００２８】
一方、これから符号化する現在の画像の画面複雑度は、得られた過去の画像の画面複雑度と、画像特性検出器２５より送られてくる現在の画像のアクティビティより推定して求める。
すなわち、同じピクチャタイプの直前の画像の画面複雑度に、その画像におけるアクティビティに対する現在の画像のアクティビティの割合を乗算することによって得られた値を推定画面複雑度とする。
【００２９】
なお、アクティビティによる画面複雑度の推定を行わず、同じピクチャタイプの直前の画像の画面複雑度の値をそのまま現在の画像の画面複雑度としてもよい。現在の画像の画面複雑度は符号量制御器１４に送られる。
平均画面複雑度選択器４３には、画面複雑度算出器２４で算出された平均画面複雑度と、予め一般的な画像で統計的に求めた各ピクチャタイプの平均画面複雑度の初期値が複雑度初期値設定器４１から送られる。
【００３０】
さらに、符号化の開始と共に計測される符号化経過時間ET(Encode Time)が経過時間カウンタ４２より送られる。
各ピクチャタイプについて、最初に符号化する画像では算出平均画面複雑度が存在しないので、複雑度初期値設定器４１から送られる平均画面複雑度の初期値を選択平均画面複雑度として符号量制御器１４に送る。
【００３１】
符号化経過時間の増大と共に算出平均画面複雑度が算出されてくるが、符号化が開始されてしばらくは平均画面複雑度の算出に使用される画像数が少ないため、画面複雑度の一寸した変化によって平均画面複雑度が大きく変化し、結果としてこれから符号化する画像に割当てる符号量が大きく変動し、適切な符号量制御が行いにくくなる。
【００３２】
また、各ピクチャタイプについて、最初に符号化する画像は予め設定された初期値で、２番目以降の画像は算出値に切換えた場合、平均画面複雑度の差が大きいと切換点で違和感が生じる。
そこで平均画面複雑度の初期値に対しては経過時間によって重み付けが減少する関数、算出値に対しては経過時間によって重み付けが増加する関数を設定し、各々の平均画面複雑度に各々の関数を乗じて、関数を乗じた２つの平均画面複雑度を加算した後に重み付けの正規化を行い、得られた値を選択平均画面複雑度として符号量制御器１４に送る。
【００３３】
具体的には、次式(1)のように設定して、選択平均画面複雑度を得る。
なお、ETは符号化経過時間、
PTは算出平均画面複雑度のみとなる経過時間、
Xk-aveは選択平均画面複雑度、
Xsk-aveは平均画面複雑度初期値、
Xok-aveは算出平均画面複雑度
である。
また、Xk-ave、Xsk-ave、Xok-aveのkはピクチャ別 (i, p, b)を示すものとする。
【００３４】
0004362794.tif 000002
【００３５】
図３に、上記の関数を設定した場合の算出平均画面複雑度Xop-aveと選択平均画面複雑度Xp-aveの変化の一実施例を示す。
ここで、細い実曲線は算出平均画面複雑度Xop-aveを、太い実曲線は選択平均画面複雑度Xp-aveを夫々指し示している。
これにより、符号化開始して間もない区間においても、より適切な符号量割当を行うことが出来る。
【００３６】
符号量制御器１４では、画面複雑度算出器２４から送られてきた現在の画像の画面複雑度と、平均画面複雑度選択器４３から送られてきた選択平均画面複雑度から、可変ビットレート制御のための量子化スケールの設定が行われる。
【００３７】
目標平均ビットレートをBitRate、1秒当りのフレーム数をPictureRate、1つの符号化単位である1GOP(通常はIピクチャの間隔)のフレーム数をNとすると、1GOPの平均割当符号量（目標符号量）Raveは次式(2)で与えられる。
【００３８】
0004362794.tif 000003
【００３９】
上式のRaveは平均画面複雑度の時の1GOPの必要割当符号量とすると、これから符号化する現在の画像を含む1GOPの画像が一様に前記画面複雑度算出器２４で求めた現在の画像の画面複雑度Xk (k＝i, p, b)に等しいと仮定すると、画質を一定に保持する場合に必要な1GOPの必要割当符号量Rck (k＝i, p, b)は次式(3) で与えられる。
【００４０】
0004362794.tif 000004
【００４１】
なお、この例ではピクチャ別に求めた平均画面複雑度Xk-aveを使用しているが、Xk-aveの代りに、ピクチャタイプで区別しない平均画面複雑度X-aveを使用してもよい。
これら上式のRcを1GOPの各ピクチャにMPEG2 Test Model 5の方法、もしくは別の方法によって適切に割り振ることにより、これから符号化する現在の画像の目標割当符号量を算出する。
【００４２】
この目標割当符号量と、バッファ１６で検出される各マクロブロックの発生符号量をもとに、MPEG2 Test Model 5の方法、もしくは別の方法によって各マクロブロックの量子化スケールを決定する。
【００４３】
なお、画像特性検出器２５からは符号量制御器１４へも各マクロブロックの原画像アクティビティが送られ、MPEG2 Test Model 5の方法、もしくは別の方法における、アクティビティに基づいて各マクロブロックの量子化スケールを変更する適応量子化制御に使用されるが、この適応量子化制御は行わなくてもよい。
【００４４】
符号量制御器１４から出力される各マクロブロックの量子化スケールが量子化器１３に送られ、現在の画像(DCT後の分割された原画像または動き補償予測の誤差画像ブロック)がこの量子化スケールで量子化される。
量子化器１３の出力は、可変長符号化器１５で可変長符号化されて、バッファ１６で調整された後に符号が出力される。
【００４５】
マクロブロック毎の量子化スケール、バッファ１６で監視される発生符号量がそれぞれ、平均量子化スケール検出器２２、発生符号量検出器２３に送られ、次のピクチャの符号量制御に使用される。
【００４６】
【発明の効果】
以上のように本発明は、各ピクチャタイプの平均画面複雑度を算出する際、符号化開始して間もない区間においては、予め統計的に求めた平均画面複雑度の初期値と前記算出平均画面複雑度から、選択平均画面複雑度を求め、前記選択平均画面複雑度に対する符号化画像特性によって推定した現在の画像の画面複雑度の割合を、目標ビットレートによる符号量に乗ずることにより割当符号量を得ているので、符号化開始して間もない区間においても、より適切な符号量割当を行うことが出来る。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置及びその方法の第１の実施例を示したブロック構成図である。
【図２】本発明の動画像符号化装置及びその方法の第１の実施例における画像特性検出器のブロック構成図を示したものである。
【図３】本発明の動画像符号化装置及びその方法の第１の実施例における選択平均画面複雑度の変化の実施例を示したものである。
【図４】符号化ピクチャ構造の一例を示した図である。
【図５】一般的な動画像符号化装置の一構成例を示した図である。
【図６】従来における動画像符号化装置の一構成例を示した図である。
【符号の説明】
１１  減算器
１２  DCT器
１３  量子化器
１４  符号量制御器
１５  可変長符号化器
１６  バッファ
１７  逆量子化器
１８  IDCT器
１９  動き補償予測器
２０  加算器
２１  フレームメモリ
２２  平均量子化スケール検出器
２３  発生符号量検出器
２４  画面複雑度算出器
２５  画像特性検出器
２５Ｊ  ACTcur検出器
２５Ｋ  ACTpred検出器
２５Ｌ  ACTmv検出器
２５Ｍ  ピクチヤアクティビティ算出器
４１  複雑度初期値設定器
４２  経過時間カウンタ
４３  平均画面複雑度選択器
ET 符号化経過時間
PT 算出平均画面複雑度のみとなる経過時間、
Xk-ave 選択平均画面複雑度
Xok-ave  算出平均画面複雑度
Xp-ave 選択平均画面複雑度(Ｐピクチャの場合)
Xsk-ave  平均画面複雑度初期値
Ｘi,Ｘp,Ｘb 現在の画像の画面複雑度
Ｘi-ave，Ｘp-ave，Ｘb-ave 平均画面複雑度
【図１】
0004362794.tif 000005
【図２】
0004362794.tif 000006
【図３】
0004362794.tif 000007
【図４】
0004362794.tif 000008
【図５】
0004362794.tif 000009
【図６】
0004362794.tif 000010