(57)【特許請求の範囲】
【請求項１】
入力動画像を動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化する動画像符号化装置において、
前記入力動画像の各画像の発生符号量を検出する手段と、
前記入力動画像の各画像の平均量子化スケールを検出する手段と、
前記入力動画像及び前記動き補償予測手段によって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るための手段と、
前記符号化画像特性を得るための手段によって得た符号化画像特性と、この符号化画像特性を得た前記入力動画像の直前に符号化された前記入力動画像の符号化画像特性と、の比が予め決められた所定の閾値を超えたことを判定し、この判定結果に基づいてシーンチェンジ画像情報を検出する手段と、
前記発生符号量を検出する手段によって検出された発生符号量と、前記平均量子化スケールを検出する手段によって検出された平均量子化スケールと、の積から、過去の画像の実測画面複雑度を算出し、
前記算出した過去の画像の実測画面複雑度と、前記符号化画像特性を検出する手段によって検出された符号化画像特性と前記シーンチェンジ画像情報を検出する手段によって検出されたシーンチェンジ画像情報の画像特性との比と、の積から現在の画像の推定画面複雑度を算出する手段と、
前記シーンチェンジ画像情報により検出されたＰ，Ｂピクチャのシーンチェンジ画像、シーンチェンジ画像の次の画像では前記算出された現在の画像の推定画面複雑度を、これらのシーンチェンジ画像及び次の画像以外の場合は前記算出された過去の画像の実測画面複雑度を選択することにより次に符号化する画像の割当符号量を決定し、前記割当符号量から前記次に符号化する画像の量子化スケールを決定する手段と、
を備えたことを特徴とする動画像符号化装置。
【請求項２】
請求項１に記載された動画像符号化装置において、
前記現在の画像の推定画面複雑度を算出する手段は、
前記得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ（Ｉピクチャ、Pピクチャ、Bピクチャ）の直前の画像において得られた符号化画像特性と、の比を比例定数とする関数を、前記直前の画像における前記実測画面複雑度に乗算することによって前記推定画面複雑度を算出することを特徴とする動画像符号化装置。
【請求項３】
請求項１に記載された動画像符号化装置において、
前記次に符号化する画像の割当符号量を決定する手段において使用する画面複雑度は、
少なくとも前記現在の画像が前記検出されたシーンチェンジ画像情報によってシーンチェンジ画像、またはシーンチェンジ画像の次の画像と判定された場合は、
前記現在の画像の推定画面複雑度を使用することを特徴とする動画像符号化装置。
【請求項４】
請求項１乃至請求項３のいずれかに記載された動画像符号化装置において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定する手段は、前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化装置。
【請求項５】
入力動画像を動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化する動画像符号化方法において、
前記入力動画像の各画像の発生符号量を検出するステップと、
前記入力動画像の各画像の平均量子化スケールを検出するステップと、
前記入力動画像及び前記動き補償予測ステップによって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るためのステップと、
前記符号化画像特性を得るためのステップによって得た符号化画像特性と、この符号化画像特性を得た前記入力動画像の直前に符号化された前記入力動画像の符号化画像特性と、の比が予め決められた所定の閾値を超えたことを判定し、この判定結果に基づいてシーンチェンジ画像情報を検出するステップと、
前記発生符号量を検出するステップによって検出された発生符号量と、前記平均量子化スケールを検出するステップによって検出された平均量子化スケールと、の積から、過去の画像の実測画面複雑度を算出し、
前記算出した過去の画像の実測画面複雑度と、前記符号化画像特性を検出するステップによって検出された符号化画像特性と前記シーンチェンジ画像情報を検出するステップによって検出されたシーンチェンジ画像情報の画像特性との比と、の積から現在の画像の推定画面複雑度を算出するステップと、
前記シーンチェンジ画像情報により検出されたＰ，Ｂピクチャのシーンチェンジ画像、シーンチェンジ画像の次の画像では前記算出された現在の画像の推定画面複雑度を、これらのシーンチェンジ画像及び次の画像以外の場合は前記算出された過去の画像の実測画面複雑度を選択することにより次に符号化する画像の割当符号量を決定し、前記割当符号量から前記次に符号化する画像の量子化スケールを決定するステップと
を備えたことを特徴とする動画像符号化方法。
【請求項６】
請求項５に記載された動画像符号化方法において、
前記現在の画像の推定画面複雑度を算出するステップは、
前記得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)の直前の画像において得られた符号化画像特性と、の比を比例定数とする関数を、前記直前の画像における前記実測画面複雑度に乗算することによって前記推定画面複雑度を算出することを特徴とする動画像符号化方法。
【請求項７】
請求項５に記載された動画像符号化方法において、
前記次に符号化する画像の割当符号量を決定するステップにおいて使用する画面複雑度は、
少なくとも前記現在の画像が前記検出されたシーンチェンジ画像情報によってシーンチェンジ画像、またはシーンチェンジ画像の次の画像と判定された場合は、
前記現在の画像の推定画面複雑度を使用することを特徴とする動画像符号化方法。
【請求項８】
請求項５乃至請求項７のいずれかに記載された動画像符号化方法において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定するステップは、前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の高能率符号化に係り、特に、ほぼリアルタイムで固定ビットレート及び可変ビットレート符号化を行う際に好適な符号量制御装置及びその方法に関する。
【０００２】
【従来の技術】
TV信号などの動画像を高能率に符号化する技術の国際標準として既にMPEG２が規定されている。
MPEG２は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる１６×１６画素のブロックに分割し、各マクロブロック単位に、時間的に前または後に所定の数フレーム離れた参照画像と被符号化画像の間で「動きベクトル」と呼ばれる動き量を求め、この動き量を基に参照画像から被符号化画像を構成する「動き補償予測」技術と、動き補償予測の誤差信号または符号化画像そのものに対して、直交変換の一種であるDCT(離散コサイン変換)を用いて情報量を圧縮する「変換符号化」技術の２つの画像符号化の要素技術をベースに規定されている。
【０００３】
従来のMPEG２の動画像符号化装置の一構成例を図７に示す。
また、符号化ピクチャ構造の一例を図６に示す。
動き補償予測では、図６に示した符号化ピクチャ構造のように、Iピクチャ（フレーム内符号化）、Pピクチャ(順方向予測符号化)、Bピクチャ(双方向予測符号化)と呼ばれる、予測方法の異なる3種類のピクチャの組合わせによって構成される。
【０００４】
図７に示されるように、変換符号化では、Iピクチャでは符号化画像そのものに対し、P、Bピクチャでは動き補償器７９による動き補償予測の誤差信号である減算器７１の出力に対して、DCTがDCT器７２で夫々施される。
このDCT器７２で得られたDCT係数に対して量子化が、符号量制御部９０の出力により制御されて量子化器７３によってなされた後に、動きベクトル等のその他の付帯情報と共に可変長符号化が可変長符号化器７５でなされ、符号列が「ビットストリーム」としてバッファ７６に記憶された後に出力される。
この際、バッファ７６の充足度に応じて符号量制御部９０で量子化スケールが制御される。
一方、量子化器７３の出力係数は、逆量子化器７７、IDCT器７８に供給されて、局部復号された後に、加算器８０を介して、ブロック毎にフレームメモリ８１に貯えられる。
【０００５】
MPEG２は可変長符号化であるため、単位時間当りの発生符号量(ビットレート)は一定ではない。
そこで量子化器７３での量子化の際の量子化スケールをマクロブロック単位に適宜変更することにより、所要のビットレートに制御することが可能になっている。
MPEG２Test Model５では、GOP単位で発生符号量を一定にする固定ビットレート制御方法が提案されている。この固定ビットレート制御方法は、一定の転送レートが要求される用途に適した方法である。
【０００６】
Test Model 5における、図７の符号量制御部の動作に相当する、固定ビットレート制御方法の概略は次の通りである。
目標ビットレートをBitRate、１秒当りのフレーム数をPictureRate、１つの符号化単位である1GOP(通常はＩピクチャの間隔)のフレーム数をＮとすると、1GOPに割当てられる符号量Ｒは次式(1)で与えられる。
R ＝ (BitRate／PictureRate)・N                  (1)
【０００７】
(1)式の符号量ＲをGOP内の各画像に配分することになるが、ここで各ピクチャタイプの符号化直後の画像について、１フレームの発生符号量と平均量子化スケールの積を画面複雑度 (Complexity) Xi(Ｉピクチャ)、Xp(Ｐピクチャ)、Xb(Ｂピクチャ)として求め、これから符号化する画像を含むGOP内の画像が一様に前記画面複雑度 (Complexity)に等しいと仮定して、これから符号化する画像の目標割当符号量を決定する。
【０００８】
現在のGOPで符号化の終了していないＰ、Ｂピクチャのフレーム数をNp、Nb、Ｉピクチャに対するＰ、Ｂピクチャの量子化スケールの設定比率をKp、Kbとする。
この時、Ｉ、Ｐ、Ｂ各ピクチャタイプの目標割当符号量Ti, Tp, Tbは次式(2)(3)(4)で与えられる。なお、MAX[A, B]はAとBのいずれか大きい方を選択する動作を示す。
【０００９】
0003812267.tif 000002
【００１０】
なお、符号量Ｒの値は１フレーム符号化が終了する毎に、そのフレームの発生符号量を減算し、GOPの先頭(Ｉピクチャ)において、(1)式の値を加算する。
つぎに、上式(2)(3)(4)で決定した目標割当符号量と、バッファ７６で検出される各マクロブロックの発生符号量をもとに、各マクロブロックの量子化スケールを決定する。
【００１１】
一方、DVD-Videoのように可変転送レートが可能な用途に適した方法として、可変ビットレート制御方法がある。特開平6−１４１２９８号公報には、可変ビットレート制御による符号化装置が開示されている。
この装置では、最初に入力動画像に対して固定量子化スケールによって仮符号化を行い、単位時間毎に発生符号量がカウントされる。次に入力動画像全体の発生符号量が所要値になるように、仮符号化時の発生符号量に基づいて各部分の目標転送レートを設定する。
そしてこの目標転送レートに合致するように制御を行いながら、入力動画像に対して２回目の符号化、言い換えると実符号化が行われる。
【００１２】
しかし、上記従来例では、出力ビットストリームを得るためには少なくとも２回の符号化を行わなければならず、リアルタイム性を要求されるような用途ではこの装置のような２パス方式の可変ビットレート制御は使用出来ない。
【００１３】
これに対し、動画像をほぼリアルタイムで符号化するための可変ビットレート制御方法、すなわち１パス方式の可変ビットレート制御方法も存在する。
特開平１０−１６４５７７号公報には、１パス方式の可変ビットレート制御方法による符号化装置が前記公報の図６等に開示されている。
この従来例における動画像符号化装置の一構成例を図８に示す。なお、図７と同一構成部材に対しては同一符号を付してその説明は省略する。
【００１４】
この従来例の装置では、バッファ７６に記憶した符号量を発生符号量検出器８３に供給し、この発生符号量検出器８３による発生符号量と、量子化器７３からの量子化スケールを平均量子化スケール検出器８２に供給し、この平均量子化スケール検出器８２による画面内の量子化スケールの平均値との積を、「画面複雑度」として画面複雑度検出器８４で求め、過去の画面複雑度の平均値に対する現在の画面複雑度の割合を基に、画面の目標発生符号量または目標量子化スケールを決定することにより、可変ビットレート制御を符号量制御器７４で実現している。
【００１５】
【発明が解決しようとする課題】
上記従来例においてはこれから符号化する画像の画面複雑度が、直前に符号化した同じピクチャタイプの画面複雑度と同程度であると仮定して符号化制御が行われている。
しかしながら、入力動画像にシーンチェンジのような大きな変化が生じた場合、変化点の前後で画像の性質が変わるため画面複雑度自体が変化するばかりでなく、予測符号化を行うＰ及びＢピクチャでは、変化の生じた前と後の画像の間では予測がほとんど当たらないため、変化直後の画像ではほとんどのマクロブロックが面内符号化を行うイントラになる場合が多い。
【００１６】
そのような画像では変化前の画像に比べ、実際の画面複雑度が極端に高くなるのにも関らず上記従来例では、変化前の画像の画面複雑度を基準にして符号量割当が行われるため、割当符号量が不足して、量子化スケールが上昇し、結果として変化点の直後で画質劣化が生じてしまうという問題があった。
【００１７】
一方、変化直後の画像から次に予測を行う画像では、画像が小刻みに変化する場合を除いては比較的予測が当たりやすくなり、実際の画面複雑度は変化直後の画像よりも低くなるにも関らず、上記従来例では変化直後の高い画面複雑度を基準にして符号量割当が行われるため、割当符号量が過剰となって量子化スケールが不必要に下降し、符号量に無駄が生じてしまうという問題があった。
本発明は以上の問題を解決して、入力動画像にシーンチェンジのような大きな変化が発生した場合でも、より適切な符号量割当を行うことが出来る固定ビットレート及び１パス方式の可変ビットレート制御方法を実現することを目的とするものである。
【００１８】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下１）〜８）に記載の手段よりなる。
すなわち、
１）入力動画像を動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化する動画像符号化装置において、
前記入力動画像の各画像の発生符号量を検出する手段と、
前記入力動画像の各画像の平均量子化スケールを検出する手段と、
前記入力動画像及び前記動き補償予測手段によって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るための手段と、
前記符号化画像特性を得るための手段によって得た符号化画像特性と、この符号化画像特性を得た前記入力動画像の直前に符号化された前記入力動画像の符号化画像特性と、の比が予め決められた所定の閾値を超えたことを判定し、この判定結果に基づいてシーンチェンジ画像情報を検出する手段と、
前記発生符号量を検出する手段によって検出された発生符号量と、前記平均量子化スケールを検出する手段によって検出された平均量子化スケールと、の積から、過去の画像の実測画面複雑度を算出し、
前記算出した過去の画像の実測画面複雑度と、前記符号化画像特性を検出する手段によって検出された符号化画像特性と前記シーンチェンジ画像情報を検出する手段によって検出されたシーンチェンジ画像情報の画像特性との比と、の積から現在の画像の推定画面複雑度を算出する手段と、
前記シーンチェンジ画像情報により検出されたＰ，Ｂピクチャのシーンチェンジ画像、シーンチェンジ画像の次の画像では前記算出された現在の画像の推定画面複雑度を、これらのシーンチェンジ画像及び次の画像以外の場合は前記算出された過去の画像の実測画面複雑度を選択することにより次に符号化する画像の割当符号量を決定し、前記割当符号量から前記次に符号化する画像の量子化スケールを決定する手段と、
を備えたことを特徴とする動画像符号化装置。
２）１）に記載された動画像符号化装置において、
前記現在の画像の推定画面複雑度を算出する手段は、
前記得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ（Ｉピクチャ、Pピクチャ、Bピクチャ）の直前の画像において得られた符号化画像特性と、の比を比例定数とする関数を、前記直前の画像における前記実測画面複雑度に乗算することによって前記推定画面複雑度を算出することを特徴とする動画像符号化装置。
３）１）に記載された動画像符号化装置において、
前記次に符号化する画像の割当符号量を決定する手段において使用する画面複雑度は、
少なくとも前記現在の画像が前記検出されたシーンチェンジ画像情報によってシーンチェンジ画像、またはシーンチェンジ画像の次の画像と判定された場合は、
前記現在の画像の推定画面複雑度を使用することを特徴とする動画像符号化装置。
４）１）乃至３）のいずれかに記載された動画像符号化装置において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定する手段は、前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化装置。
５）入力動画像を動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化する動画像符号化方法において、
前記入力動画像の各画像の発生符号量を検出するステップと、
前記入力動画像の各画像の平均量子化スケールを検出するステップと、
前記入力動画像及び前記動き補償予測ステップによって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るためのステップと、
前記符号化画像特性を得るためのステップによって得た符号化画像特性と、この符号化画像特性を得た前記入力動画像の直前に符号化された前記入力動画像の符号化画像特性と、の比が予め決められた所定の閾値を超えたことを判定し、この判定結果に基づいてシーンチェンジ画像情報を検出するステップと、
前記発生符号量を検出するステップによって検出された発生符号量と、前記平均量子化スケールを検出するステップによって検出された平均量子化スケールと、の積から、過去の画像の実測画面複雑度を算出し、
前記算出した過去の画像の実測画面複雑度と、前記符号化画像特性を検出するステップによって検出された符号化画像特性と前記シーンチェンジ画像情報を検出するステップによって検出されたシーンチェンジ画像情報の画像特性との比と、の積から現在の画像の推定画面複雑度を算出するステップと、
前記シーンチェンジ画像情報により検出されたＰ，Ｂピクチャのシーンチェンジ画像、シーンチェンジ画像の次の画像では前記算出された現在の画像の推定画面複雑度を、これらのシーンチェンジ画像及び次の画像以外の場合は前記算出された過去の画像の実測画面複雑度を選択することにより次に符号化する画像の割当符号量を決定し、前記割当符号量から前記次に符号化する画像の量子化スケールを決定するステップと
を備えたことを特徴とする動画像符号化方法。
６）５）に記載された動画像符号化方法において、
前記現在の画像の推定画面複雑度を算出するステップは、
前記得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)の直前の画像において得られた符号化画像特性と、の比を比例定数とする関数を、前記直前の画像における前記実測画面複雑度に乗算することによって前記推定画面複雑度を算出することを特徴とする動画像符号化方法。
７）５）に記載された動画像符号化方法において、
前記次に符号化する画像の割当符号量を決定するステップにおいて使用する画面複雑度は、
少なくとも前記現在の画像が前記検出されたシーンチェンジ画像情報によってシーンチェンジ画像、またはシーンチェンジ画像の次の画像と判定された場合は、
前記現在の画像の推定画面複雑度を使用することを特徴とする動画像符号化方法。
８）５）乃至７）のいずれかに記載された動画像符号化方法において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定するステップは、前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化方法。
【００１９】
よつて、本発明では、MPEG２等の動き補償予測、直交変換、量子化、可変長符号化の各手段を備えた動画像符号化装置において、各画像の発生符号量と平均量子化スケールを検出し、所定区間内の割当符号量をその間の各画像に配分するために、各画像の発生符号量と平均量子化スケールの積に対して所定の操作を施して既に符号化した画像の実測画面複雑度を求める。
それと同時に、各画像の符号化画像特性(アクティビティ)を検出し、同じピクチャタイプの直前の画像との符号化画像特性の比が算出されると共に、この符号化画像特性からシーンチェンジ検出を行う。
【００２０】
各画像の符号化画像特性としては入力画像のアクティビティの他に、Ｐ及びＢピクチャについては動き補償予測における誤差画像または動きベクトル検出における符号化画像と参照画像の差分画像、及び動きベクトルのアクティビティを用い、その中から１つあるいは複数を組合せて使用する。
符号化画像特性の各要素の値が所定の範囲を超えた場合、その画像をシーンチェンジ画像と判定する。
【００２１】
各ピクチャタイプにおいてシーンチェンジ画像と判定された画像では、前記した符号化画像特性の比を因数とする所定の関数と直前の画像の実測画面複雑度から、推定画面複雑度が算出され、推定画面複雑度が実測画面複雑度よりも大きな値となるため、シーンチェンジ画像により多くの符号量を割当てることが出来るようにする。
【００２２】
逆に直前の画像がシーンチェンジ画像であった場合は、実測画面複雑度を用いるのではなく、直前の画像の符号量割当の際に算出する実測画面複雑度、すなわちシーンチェンジ前の画像の画面複雑度に対し、シーンチェンジ前の画像とこれから符号化する画像の符号化画像特性の比を因数とする所定の関数とから、これから符号化する画像の画面複雑度の推定を行うことにより、シーンチェンジ画像の次の画像に不必要に多くの符号量を割当てることが防止される。
【００２３】
また、１パス方式の可変ビットレート制御の場合は、符号化画像特性の比と直前の画像の実測画面複雑度から、これから符号化する画像の推定画面複雑度が算出されるが、各ピクチャタイプにおいてシーンチェンジ画像と判定された画像では、前記した符号化画像特性の比を因数とする所定の関数と直前の画像の実測画面複雑度から推定画面複雑度が算出され、推定画面複雑度が通常の場合より加算される。
【００２４】
逆に直前の画像がシーンチェンジ画像であった場合は実測画面複雑度の代りに、直前の画像の符号量割当の際に算出する、シーンチェンジ前の画像の実測画面複雑度、またはシーンチェンジ画像における加算前の推定画面複雑度を用いて、符号化画像の画面複雑度の推定を行うことにより、シーンチェンジ画像の次の画像における画面複雑度の値を適正化出来る。
【００２５】
さらに１パス方式の可変ビットレート制御では、算出された推定画面複雑度と一定区間内のピクチャタイプ別平均画面複雑度の割合を目標ビットレートによる所定区間の符号量割当に反映させることにより、シーンチェンジに対応した所定区間の符号量割当が可能になる。
【００２６】
【発明の実施の形態】
（  第１の実施例 ）
本発明の動画像符号化装置及びその方法の第１の実施例について、図と共に以下に説明する。
図１に示されている本発明の動画像符号化装置の第１の実施例は、減算器１１、ＤＣＴ器１２、量子化器１３、符号量制御器１４、可変長符号化器１５、バッファ１６、 逆量子化器１７、ＩＤＣＴ器１８、動き補償予測器１９、加算器２０、フレームメモリ２１、平均量子化スケール検出器２２、発生符号量検出器２３、画面複雑度算出器２４、画面複雑度メモリ２４Ｍ、画像特性検出器２５、及びシーンチェンジ検出器２８より構成されている。
【００２７】
第１の実施例は本発明を固定ビットレート符号化に適用した場合である。
なお、以下の説明において、ｉはＩピクチャ、ｐはＰピクチャ、ｂはＢピクチャと対応している。
原動画像は画像ブロック分割器（図示されていない）によって、予めマクロブロック単位に分割されているものとする。
分割された原動画像は、Ｉピクチャについては動き補償予測が行われず、原動画像ブロックそのものが減算器１１を介してDCT器１２に送られ、DCTされた後に量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化される。
【００２８】
その量子化された信号は、可変長符号化器１５で符号に変換されて、次のバッファ１６で調整された後に符号が出力される。
一方、量子化器１３の出力係数は逆量子化器１７、IDCT器１８で局部復号されて、動き補償予測器１９の出力が加算器２０で加算されることなく、ブロック毎にフレームメモリ２１に貯えられる。
【００２９】
P及びBピクチャについては、分割された原動画像とフレームメモリ２１に貯えられた所定の局部復号画像ブロックが動き補償予測器１９に供給され、ここで動きベクトル検出及び動き補償が行われて、予測画像ブロックが減算器１１で原画像ブロックとの間で画素間差分が取られ、差分値である誤差画像ブロックがDCT器１３に供給される。
【００３０】
この後はIピクチャと同様にして、DCT器１２で差分値がDCTされ、量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化された後に、可変長符号化器１５で符号に変換されて、次のバッファ１６で調整された後に符号が出力される。
一方、量子化器１３の出力係数は、逆量子化器１７とIDCT器１８とで局部復号された後に前記予測画像ブロックが加算器２０によって画素毎に加算され、ブロック毎にフレームメモリ２１に貯えられる。
【００３１】
また、各ピクチャについて、量子化器１３からマクロブロック毎の量子化スケールが平均量子化スケール検出器２２に送られ、そこで1フレーム分の量子化スケールが加算され、1フレームの平均量子化スケールが算出される。
一方、バッファ１６において発生符号量が監視され、その値が発生符号量検出器２３に供給される。
この発生符号量検出器２３において、発生符号量がフレーム単位に加算され、1フレームの発生符号量が検出される。
【００３２】
フレーム毎について検出された平均量子化スケール、及び発生符号量は各々画面複雑度算出器２４にフレーム毎に供給される。
画面複雑度算出器２４では、供給された各フレームの平均量子化スケールと発生符号量が乗じられた後に所定の操作を施して、MPEG２Test Model 5におけるComplexityに相当する各フレームの実測画面複雑度Xi-p, Xp-p, Xb-pが求められる。
【００３３】
一方、画像特性検出器２５では、入力時に原画像を分割した原動画像が供給され、原動画像の各フレームについてマクロブロック単位に画像特性を示すパラメータであるアクティビティが検出され、フレーム単位に加算されて、その結果が１フレーム毎に画面複雑度算出器２４及びシーンチェンジ検出器２８に供給される。
【００３４】
ここで、画像特性検出器２５で画像特性を検出する動作は、実際の符号化動作に先行して検出している。
画像特性を示すパラメータとしては輝度値の分散、画素間差分値などが考えられるが、画像特性を示すものであれば、その他のパラメータでも当然よい。
【００３５】
シーンチェンジ検出器２８では、これから符号化する現在の画像のアクティビティACTi, ACTp, ACTbと、直前に符号化した同じピクチャタイプの画像のアクティビティACTi-p, ACTp-p, ACTb-pの比率(ACTi / ACTi-p)，(ACTp / ACTp-p)，(ACTb / ACTb-p)が計算される。
【００３６】
そして、この計算された比率（現在のアクティビティ／直前のアクティビティ）が一定範囲を超えた時、例えば、
(比率)＜Amin  または  (比率)＞Amax        ( 0＜Amin＜1, Amax＞1 )
の場合、これら２つの画像の間でシーンチェンジが起こったとシーンチェンジ検出器２８は判定し、このフレームの位置情報を画面複雑度算出器２４に送る。
シーンチェンジが起こったと判定された時、これから符号化する現在の画像を以後、シーンチェンジ画像と呼ぶ。
【００３７】
シーンチェンジが発生したというフレームの位置情報が画面複雑度算出器２４に送られると、画面複雑度算出器２４では、Ｐ及びＢピクチャについて、シーンチェンジ画像における発生符号量の増加を補うための画面複雑度の推定(割増し)が行われる。
【００３８】
ここで、先に求めた実測画面複雑度は、その次の同じピクチャタイプの画面複雑度の推定に使用するため、画面複雑度メモリ２４Ｍに貯えられる。
シーンチェンジ画像における推定画面複雑度Xp, Xbは次式(5)〜(8)の通りになる。
なお、f1〜f4はアクティビティの比率(ACTp / ACTp-p)，(ACTb / ACTb-p)を因数とする所定の関数である。
前記の所定の関数の一実施例として、f1〜f4＝(ACTk / ACTk-p)・Ck1+ Ck2
（但し k＝p or b）が適当であるが、これに限定されるものではない。
【００３９】
（Ｐピクチャ）
(ACTp / ACTp-p)＞Amaxの場合
推定画面複雑度  Xp＝Xp-p・f1                                (5)
(ACTp / ACTp-p)＜Aminの場合
推定画面複雑度  Xp＝Xp-p・f2                                 (6)
（Ｂピクチャ）
(ACTb / ACTb-p)＞Amaxの場合
推定画面複雑度  Xb＝Xb-p・f3                                (7)
(ACTb / ACTb-p)＜Aminの場合
推定画面複雑度  Xb＝Xb-p・f4                                (8)
【００４０】
例えば、Amax＝1.5, Amin＝0.67, f1＝(ACTp / ACTp-p)・2, f2＝1,
f3＝(ACTb / ACTb-p)・２, f4＝1と設定することにより、アクティビティが増加する場合はアクティビティの比率の２倍の値を推定画面複雑度として与え、アクティビティが減少する場合はシーンチェンジ前と同程度の画面複雑度を推定画面複雑度として与えることにより、シーンチェンジによってＰ及びＢピクチャでイントラマクロブロックの増大による発生符号量の増加を補うことが出来る。
【００４１】
また、シーンチェンジ画像の次の同じピクチャタイプのＰまたはＢピクチャについては、シーンチェンジ画像の増加した発生符号量から計算される画面複雑度Xp-p, Xb-pを基準として画面複雑度を計算すると、必要以上に大きな値となってしまう。
【００４２】
そこで、Xp-p, Xb-pの代りに、シーンチェンジ画像の時に使用した、(画面複雑度メモリ２４Mに貯えられた)実測画面複雑度Xp-pold, Xb-poldと、その実測画面複雑度の対象となった画像のアクティビティACTp-pold, ACTb-poldと、これから符号化する現在の画像のアクティビティACTp, ACTbから、(9)(10)式によって画面複雑度を推定することにより、画面複雑度の適正化が図られる。
【００４３】
（Ｐピクチャ）
Xp＝Xp-pold・(ACTp / ACTp-pold)                 (9)
（Ｂピクチャ）
Xb＝Xb-pold・(ACTb / ACTb-pold)                 (10)
なお、画面複雑度メモリ２４Ｍには、シーンチェンジ画像における実測画面複雑度の他に、各ピクチャタイプにおける直前数フレームの画像のアクティビティが貯えられる。
【００４４】
第１の実施例においては、Ｐ、Ｂピクチャのシーンチェンジ画像、シーンチェンジ画像の次の画像では推定画面複雑度、それ以外の通常のＰ、Ｂピクチャ及びＩピクチャについては、実測画面複雑度をMPEG２Test Model５の(2)〜(4)式のXi, Xp, Xbに代入して、これから符号化する画像の目標割当符号量Ti, Tp, Tbを決定することにより、シーンチェンジに対応した符号量割当を行うことが出来る。この目標割当符号量と、バッファ１６で検出される各マクロブロックの発生符号量をもとに、MPEG２Test Model５の方法を用いて各マクロブロックの量子化スケールを決定する。
【００４５】
なお、画像特性検出器２５からは符号量制御器１４へも各マクロブロックのアクティビティが送られ、MPEG２Test Model５におけるアクティビティに基づいて各マクロブロックの量子化スケールを変更する適応量子化制御に使用されるが、この適応量子化制御は行わなくてもよい。
【００４６】
符号量制御器１４から出力される各マクロブロックの量子化スケールが量子化器１３に送られ、現在の画像(DCT後の分割された原動画像または動き補償予測の誤差画像ブロック)がこの量子化スケールで量子化器１３で量子化され、可変長符号化器１５で可変長符号化されて、次のバッファ１６で調整された後に符号が出力される。量子化器１３のマクロブロック毎の量子化スケール、バッファ１６で監視される発生符号量がそれぞれ、平均量子化スケール検出器２２、発生符号量検出器２３に送られ、次のピクチャの符号量制御に使用される。
【００４７】
なお、本実施例ではMPEG２Test Model５に本発明を適用した例であるが、本発明はそれに限らず、他のレート制御にも適用可能である。
例えばアクティビティがACTk-p(k=i,p,b)である同じピクチャタイプの過去の画像の発生符号量から、次に符号化する画像の割当符号量Ｓkが定まる場合、アクティビティがACTkであるその画像がシーンチェンジ画像だとすると、補正割当符号量Ｓk'は次の(11)式の通りになる。
Ｓk' ＝ Ｓk・ｆk(ACTk / ACTk-p)                 (11)
但し、 k=i,p,b  ｆkは(ACTk / ACTk-p)を因数とする関数
【００４８】
（  第２の実施例 ）
つぎに、本発明の動画像符号化装置の第２の実施例について、図２と共に以下に説明する。
第２の実施例は本発明を１パス方式の可変ビットレート符号化に適用した場合であり、第１の実施例と比較して、平均画面複雑度算出器２９が追加され、画面複雑度算出器２４と符号量制御器１４の構成及びその動作のみが異なるので、それ以外の部分についての説明は省略する。
【００４９】
第１の実施例と同様に、画面複雑度算出器２４には各フレームの平均量子化スケールと発生符号量、シーンチェンジが発生したというフレームの位置情報、及び各フレームの画像特性、すなわちアクティビティが供給される。
画面複雑度算出器２４では、供給された各フレームの平均量子化スケールと発生符号量が乗じられた後に乗算結果に所定の変換が施されて、それを基準として各フレームの実測画面複雑度が求められる。
【００５０】
実測画面複雑度は平均画面複雑度算出器に送られ、ここで符号化ピクチャタイプ別に一定期間内の値が加算された後に、その期間内の同じピクチャタイプのフレーム数で除算されて、Ｉ、Ｐ、B各ピクチャタイプの平均画面複雑度 Xi-ave(Ｉピクチャ)、Xp-ave(Ｐピクチャ)、Xb-ave(Ｂピクチャ) が算出される。
【００５１】
ここで言う一定期間内は、符号化の終了したばかりの画像から時間的に前に予め定めるフレーム数、例えば１５フレームとか、３００フレームといった一定のフレーム数の場合もあり、符号化開始フレームから符号化の終了したばかりの画像までのように、順次フレーム数が増加する場合もある。
なお、前者の一定フレーム数の場合でも、符号化したフレーム数が定めた一定期間を満たさない場合は後者と同様に順次フレーム数が増加していくことになる。
【００５２】
つぎに画面複雑度算出器２４では、求めた実測画面複雑度と平均画面複雑度算出器２９で求めた平均画面複雑度、及びアクティビティから画面複雑度の推定を行う。
これから符号化する現在の画像の画面複雑度 Xi, Xp, Xb は、現在の画像のアクティビティACTi, ACTp, ACTb、直前に符号化した同じピクチャタイプの画像の画面複雑度Xi-p, Xp-p, Xb-p、直前に符号化した同じピクチャタイプの画像のアクティビティACTi-p, ACTp-p, ACTb-pより、次式(12)(13)(14)で推定出来る。
【００５３】
（Ｉピクチャ）
現在の画像の画面複雑度Xi＝Xi-p・(ACTi / ACTi-p)            (12)
（Ｐピクチャ）
現在の画像の画面複雑度Xp＝Xp-p・(ACTp / ACTp-p)          (13)
（Ｂピクチャ）
現在の画像の画面複雑度Xb＝Xb-p・(ACTb / ACTb-p)          (14)
【００５４】
なお、初期状態において、同じピクチャタイプの符号化の終了したフレームが存在しない場合は予め幾つかの画像で各ピクチャタイプの画像の画面複雑度とアクティビティを求めておき、それを平均的な動画像の発生頻度に合わせて統計的に平均してそれを初期値とすればよい。
【００５５】
一方、これから符号化する現在の画像がシーンチェンジ画像の場合、より多くの符号量を割当てるため、Ｐ及びＢピクチャでは画面複雑度算出器２４において推定画面複雑度の再計算が行われる。
ここで、直前に符号化した同じピクチャタイプの画像の実測画面複雑度は、その次の同じピクチャタイプの画面複雑度の推定に使用するため、画面複雑度メモリ２４Ｍに貯えられる。
【００５６】
シーンチェンジ画像における推定画面複雑度Xp, Xbは第１の実施例の(5)〜(8)式と同様にして求める。
なお、f1〜f4はアクティビティの比率(ACTp / ACTp-p)，(ACTb / ACTb-p)を因数とする所定の関数であるが、これを第１の実施例とは異なる関数を使用してもよい。
【００５７】
さらに、シーンチェンジ画像の次の同じピクチャタイプのＰまたはＢピクチャについては、第１の実施例の(9)(10)式と同様に、画面複雑度メモリ２４Ｍに貯えられた実測画面複雑度Xp-pold, Xb-poldと、その実測画面複雑度の対象になった画像のアクティビティACTp-pold, ACTb-pold、これから符号化する現在の画像のアクティビティACTp, ACTbから、画面複雑度を推定することにより、画面複雑度の適正化が図られる。
【００５８】
なお、第2の実施例においては、シーンチェンジの有無に関らず推定画面複雑度の計算を行うので、シーンチェンジ画像の際に画面複雑度メモリ２４Ｍに貯える値を実測画面複雑度ではなく、前記(13)(14)式で求めた再計算前の推定画面複雑度Xp-old, Xb-oldに変更し、またシーンチェンジ画像のつぎの同じピクチャタイプの画像における画面複雑度の推定では、次の(15)(16)式によって計算してもよい。
この場合、アクティビティを画面複雑度メモリ２４Ｍに貯える画像をシーンチェンジの有無によって切り替える必要がないため、装置の簡略化が出来る。
【００５９】
（Ｐピクチャ）
現在の画像の画面複雑度Xp＝Xp-old・(ACTp / ACTp-p)     (15)
（Ｂピクチャ）
現在の画像の画面複雑度Xb＝Xb-old・(ACTb / ACTb-p)     (16)
【００６０】
このようにして計算された、これから符号化する現在の画像の推定画面複雑度 Xi, Xp, Xbと、各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave, Xb-aveは符号量制御器１４に送られる。
【００６１】
符号量制御器１４では、つぎに(これから)符号化する画像の割当符号量の設定(決定)、及び可変ビットレート制御のための量子化スケールの設定(決定)が行われる。
目標平均ビットレートをBitRate、1秒当りのフレーム数をPictureRate、1つの符号化単位である1GOP(通常はIピクチャの間隔)のフレーム数をNとすると、1GOPの平均割当符号量Raveは次式(17)で与えられる。
【００６２】
1GOPの平均割当符号量Rave＝(BitRate／PictureRate)・N    (17)
上式のRaveは平均画面複雑度の時の1GOPの必要割当符号量とすると、これから符号化する現在の画像を含む1GOPの画像が一様に前記画面複雑度算出器２４で求めた現在の画像の推定画面複雑度に等しいと仮定すると、画質を一定に保持する場合に必要な1GOPの必要割当符号量Rcは次式(18)(19)(20)で与えられる。
【００６３】
(Ｉピクチャ)
必要割当符号量Rc ＝ Rave・( Xi / Xi-ave )       (18)
(Ｐピクチャ)
必要割当符号量Rc ＝ Rave・( Xp / Xp-ave )       (19)
(Ｂピクチャ)
必要割当符号量Rc ＝ Rave・( Xb / Xb-ave )       (20)
【００６４】
これら上式の必要割当符号量Rcを1GOPの各ピクチャに適切に割り振ることにより、これから符号化する現在の画像の目標符号量を算出し、各マクロブロックの量子化スケールを決定する。
例えばMPEG２Test Model５の方法を用いると、上で求めた現在の画像の推定画面複雑度 Xi, Xp, Xbを(2)〜(4)式のXi, Xp, Xbに、割当符号量Rcを(2)〜(4)式のRに代入して、これから符号化する画像の目標割当符号量Ti, Tp, Tbを決定する。
【００６５】
但し、第２の実施例においては、GOP毎に一定符号量にする必要がないので、Rcの値は(2)〜(4)式のＲのように各フレームの発生符号量で減算したり、GOPの先頭で加算する必要はない。また(2)〜(4)式のNp, Nbは常に一定値(GOP先頭での値)となる。
【００６６】
その後は第１の実施例と同様に、目標割当符号量と、バッファ１６で検出される各マクロブロックの発生符号量をもとに、各マクロブロックの量子化スケールを決定し、必要に応じて各マクロブロックのアクティビティによって量子化スケールを変更する適応量子化制御を行う。
このようにして、１パス方式の可変ビットレート制御においても、シーンチェンジに対応した符号量割当が可能になる。
【００６７】
（  第３の実施例 ）
つぎに、本発明の動画像符号化装置の第３の実施例について、図３と共に以下に説明する。
第３の実施例も、本発明を１パス方式の可変ビットレート符号化に適用した場合であるが、第２の実施例と比較して、図４に示す画像特性検出器２５及びシーンチェンジ検出器２８の構成及びその動作及び、画像特性検出器２５からシーンチェンジ検出器２８に送られるアクティビティの信号と、シーンチェンジ検出器２８から画面複雑度算出器２４に送られるシーンチェンジ情報の内容のみが異なる。
また、図３は画像特性検出器２５に対して動き補償予測器１９より動き補償信号が供給されている点が図２と異なっており、それ以外の部分についての説明は省略する。
【００６８】
図４に示す画像特性検出器２５は、ACTcur検出器２５Ａ、ACTpred検出器２５Ｂ、ACTmv検出器２５Ｃと各々の累積器２５Ｄ,２５Ｅ,２５Ｆ、及びピクチャアクティビティ算出器２５Ｇより構成されている。
また、シーンチェンジ検出器２８は、SCcur検出器２８Ａ、SCpred検出器２８Ｂ、SCmv検出器２８Ｃ、及びシーンチェンジ判定器２８Ｄより構成されている。
【００６９】
図３、図４の実施例において、画像特性検出器２５への入力は、Ｉピクチャの場合は動き補償予測が行われないため、第２の実施例と同じくマクロブロック単位に分割された原動画像のみが入力され、マクロブロック単位に画像特性を示すパラメータであるアクティビティ(ACTcur)が検出され、フレーム単位に加算され、ＩピクチャのアクティビティACTiとして画面複雑度算出器２４に送られる。
また、ACTcur検出器２５Ａの出力値は累積器２５Ｄによってフレーム単位に加算された後にシーンチェンジ検出器２８に送られ、シーンチェンジ判定に使用される。
【００７０】
一方、図４に示す画像特性検出器２５への入力は、Ｐ及びＢピクチャの場合は分割された原動画像の他に、マクロブロック単位の動き補償予測における誤差画像または動きベクトル検出における符号化画像と参照画像との差分画像と、動き補償予測で使用した動きベクトルが図３に示す動き補償予測器１９から入力される。
分割された原動画像からはＩピクチャの場合と同様にマクロブロック単位に(原画像)アクティビティACTcurが検出される。
【００７１】
一方、マクロブロック単位の動き補償予測における誤差画像または動きベクトル検出における符号化画像と参照画像との差分画像は、その中で絶対値和または２乗誤差和がとられ、予測アクティビティACTpredとして検出される。
さらに、動き補償予測で使用した動きベクトルの方は、隣接マクロブロックとの間で各成分毎に差分の絶対値がとられるなどして、動きベクトルアクティビティACTmvとして検出される。
【００７２】
そして、各マクロブロック毎に次式(21)の演算により、マクロブロックアクティビティACTmbが算出され、それが１フレーム分加算されて、Ｐ及びＢピクチャのアクティビティACTp及びACTbとして画面複雑度算出器２４に送られる。
また、ACTcur、ACTpred、ACTmv検出器２５Ａ,２５Ｂ,２５Ｃの値は各々累積器２５Ｄ，２５Ｅ，２５Ｆによってフレーム単位に加算された後にシーンチェンジ検出器２８に送られ、シーンチェンジ判定に使用される。
マクロブロックアクティビティACTmb
＝ａ・ACTcur ＋ｂ・ACTpred ＋ｃ・ACTmv     (21)
【００７３】
なお、各定数ａ、ｂ、ｃの値はピクチャ別、マクロブロックの予測モード別(イントラか片方向予測か双方向予測か)などで変化させる。
例えばイントラの場合はIピクチャと同様に予測を行わないので、ｂ＝ｃ＝０となり、予測を行うブロックに比べて発生符号量が多くなると考えられるので、ａの値を大きくする。
このように、予測モード等に即したアクティビティ検出を行うことにより、第２の実施例に比べ、より符号化特性に即した画面複雑度の推定が可能になる。
【００７４】
また、シーンチェンジ検出器２８には画像特性検出器２５から、フレーム単位に加算されたACTcur、ACTpred、ACTmvの値が送られる。
Ｉピクチャの場合はACTcurしか送られないので、ACTcurについて第２の実施例と同様に、これから符号化する現在の画像のアクティビティと、直前に符号化したＩピクチャのアクティビティの比率が計算される。
そしてこのアクティビティの比率が一定範囲を超えた時、例えば、
(比率)＜Amin  または  (比率)＞Amax
但し、(比率)＝(符号化画像のアクティビティ) / (直前の画像のアクティビティ)
0＜Amin＜1,  Amax＞1
の場合、これら２つの画像の間でシーンチェンジが起こったと判定する。
【００７５】
一方、Ｐ及びＢピクチャの場合はACTcur、ACTpred、ACTmvの３つの値が画像特性検出器２５から送られてくるので、３つの値各々について、これから符号化する現在の画像のアクティビティと、直前に符号化した同じピクチャタイプの画像のアクティビティの比率を計算する。
そして、
・(ACTcurの比率)  ＜A1min  または  (ACTcurの比率)＞A1max
・(ACTpredの比率)＜A2min  または  (ACTpredの比率)＞A2max
・(ACTmvの比率)  ＜A3min  または  (ACTmvの比率) ＞A3max
但し、(比率)＝(符号化画像のアクティビティ) / (直前の画像のアクティビティ)
０＜A1min, A2min, A3min＜１,  A1max, A2max, A3max,＞１
のいずれかを満たす時、これら２つの画像の間でシーンチェンジが起こったと判定する。
【００７６】
なお、１つの判定方法では誤判定する可能性が高いと判断した場合は、２つまたは３つ全ての条件を満たす場合のみシーンチェンジが起こったと判定するように条件を限定してもよい。
【００７７】
シーンチェンジ画像の位置情報は、ACTcur、ACTpred、ACTmvのどの判定でシーンチェンジと判断したかという情報も同時に、画面複雑度算出器２４に送られる。
また、画面複雑度算出器２４では、どのアクティビティ判定でシーンチェンジと判断したかによって、(5)〜(8)式のf1〜f4の関数を変更する。
【００７８】
このように第３の実施例では、原動画像のアクティビティACTcurだけでなく、動き補償予測における誤差画像や動きベクトルのアクティビティACTpred、ACTmvもシーンチェンジ判定に使用することにより、シーンチェンジ判定の精度を向上させることが出来る。
なお、以上の第３の実施例では、第２の実施例の１パス方式の可変ビットレート符号化に対して適用したが、同様な方法を第１の実施例である固定ビットレート符号化に適用してもよい。
【００７９】
なお、以上の実施例では、ピクチャ符号化構造が図６のようなＩピクチャ、Ｐピクチャ、Ｂピクチャの３種類存在するとして説明したが、ＩピクチャとＰピクチャ、ＩピクチャとＢピクチャのような２種類のみであってもよい。
また、全てのピクチャが動き補償予測が行われないＩピクチャであってもよい。
但し、このＩピクチャのみの場合における第３の実施例は、画像特性検出部２５への入力が分割された原動画像のみとなるため、第２の実施例と全く同一になる。
【００８０】
また、以上の実施例ではＩ、Ｐ、Ｂ各々のピクチャタイプについて、別々にシーンチェンジ判定を行い、シーンチェンジ画像を決定していた。
しかしながら、M＞２の場合で、図５に示されるように、Ｂピクチャを挟むＰまたはＩピクチャの間でシーンチェンジが生じた場合は、その間の複数のＢピクチャ全てが通常の場合より予測が当たりにくくなる可能性がある。
【００８１】
そこで、図５のように、入力画像順でＢピクチャの直後となるＰまたはＩピクチャ、及び、前記Ｂピクチャの直後となるＰまたはＩピクチャと直前のＰまたはＩピクチャに挟まれるＢピクチャのいずれかでシーンチェンジ画像と判定された場合、間のＢピクチャを全てシーンチェンジ画像と判定してもよい。
【００８２】
このように連続するＢピクチャを全てシーンチェンジ画像と判定した場合は、それらのＢピクチャについて、最初のシーンチェンジ画像における「直前の」Ｂピクチャをシーンチェンジ直前の画像として、その後のＢピクチャでも共通に使用する。
シーンチェンジ画像の次の画像は最後のシーンチェンジ画像の次のＢピクチャとし、比較するシーンチェンジ直前の画像は前記した最初のシーンチェンジ画像における直前のＢピクチャを用いる。
【００８３】
但しこの場合は、シーンチェンジ画像の次のＢピクチャにおける画面複雑度の推定で(15)(16)式を使用する場合でも、そのＢピクチャの画面複雑度の推定が終了するまで、最初のシーンチェンジ画像の直前のＢピクチャのアクティビティ・実測画面複雑度を画面複雑度メモリ２４Ｍに保持しておく必要があるため、アクティビティを画面複雑度メモリ２４Ｍに貯える画像をシーンチェンジの有無、シーンチェンジ画像の構成によって適宜切り替える必要がある。
【００８４】
なお、第２、第3の実施例において、1GOPの必要割当符号量Rcを求める際に必要となる平均画面複雑度は符号化ピクチャタイプ別に求めていたが、これをピクチャタイプで区別せず、一定期間内における各フレームの画面複雑度を加算した後にその期間内のフレーム数で除算した値を平均画面複雑度 X-ave として求め、それと現在の画像の推定画面複雑度Xk(k＝ i or p or b)から、次式(22)によって1GOPの必要割当符号量Rcを求めてもよい。
【００８５】
0003812267.tif 000003
【００８６】
【発明の効果】
以上のように本発明によると、固定ビットレート制御または１パス方式の可変ビットレート制御で動画像を符号化する際に、符号化の終了した一定区間の画像の発生符号量と平均量子化スケールと、一定区間及びこれから符号化する現在の画像の符号化画像特性(アクティビティ)を検出し、発生符号量と平均量子化スケールの積に対して所定の操作を施すことによって得られる値を実測画面複雑度として求めた上で、同じピクチャタイプの直前の画像に対する、現在の画像のアクティビティの比率からシーンチェンジの有無を判定し、これから符号化する画像の画面複雑度を、シーンチェンジ画像については前記アクティビティの比率を因数とする所定の関数を実測画面複雑度に乗算することによって推定し、またシーンチェンジ画像の次の画像については、シーンチェンジ直前の画像に対する、現在の画像のアクティビティの比率をシーンチェンジ画像における実測画面複雑度に乗算することによって推定して、この推定画面複雑度を用いてシーンチェンジ時の符号量割当を行うことにより、シーンチェンジといった画像の変化点の直後で、画像劣化が発生せず、逆に符号量に無駄も発生せずに、対応した過不足のない符号量割当を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置及びその方法の第１の実施例のブロック構成を示した図である。
【図２】本発明の動画像符号化装置及びその方法の第２の実施例のブロック構成を示した図である。
【図３】本発明の動画像符号化装置及びその方法の第３の実施例のブロック構成を示した図である。
【図４】本発明の第３の実施例における画像特性検出器とシーンチェンジ検出器の一実施例のブロック構成を示した図である。
【図５】本発明におけるＢピクチャのシーンチェンジ判定の一実施例を説明した図である。
【図６】符号化ピクチャ構造の一例を示した図である。
【図７】一般的な動画像符号化装置の一構成例のブロック構成を示した図である。
【図８】従来における動画像符号化装置の一構成例のブロック構成を示した図である。
【符号の説明】
１１  減算器
１２  ＤＣＴ器（直交変換器）
１３  量子化器
１４  符号量制御器
１５  可変長符号化器
１６  バッファ
１７  逆量子化器
１８  ＩＤＣＴ器
１９  動き補償予測器
２０  加算器
２１  フレームメモリ
２２  平均量子化スケール検出器
２３  発生符号量検出器
２４  画面複雑度算出器
２４Ｍ  画面複雑度メモリ
２５  画像特性検出器
２５Ａ  ACTcur検出器
２５Ｂ  ACTpred検出器
２５Ｃ  ACTmv検出器
２５Ｄ,２５Ｅ，２５Ｆ  累積器
２５Ｇ  ピクチャアクティビティ算出器
２８  シーンチェンジ検出器
２８Ａ  SCcur検出器
２８Ｂ  SCpred検出器
２８Ｃ  SCmv検出器
２８Ｄ  シーンチェンジ判定器
２９  平均画面複雑度算出器
ACTcur  原画像アクティビティ
ACTi, ACTp, ACTb  現在の画像のアクティビティ
ACTi-p, ACTp-p, ACTb-p  直前に符号化した同じピクチャタイプの画像のアクティビティ
ACTmb  マクロブロックアクティビティ
ACTmv  動きベクトル特性
ACTp-pold, ACTb-pold  実測画面複雑度の対象になった画像のアクティビティ
ACTpred  誤差画像アクティビティ
Ｒ  符号量
Rave  平均割当符号量
Rc  画像の割当符号量
Xi, Xp, Xb  現在の画像の画面複雑度
Xi-ave, Xp-ave, Xb-ave  平均画面複雑度
Xi-p, Xp-p, Xb-p  各フレームの実測画面複雑度
Xp-pold, Xb-pold  実測画面複雑度
【図１】
0003812267.tif 000004
【図２】
0003812267.tif 000005
【図３】
0003812267.tif 000006
【図４】
0003812267.tif 000007
【図５】
0003812267.tif 000008
【図６】
0003812267.tif 000009
【図７】
0003812267.tif 000010
【図８】
0003812267.tif 000011