(57)【要約】【課題】処理時間を短縮できる符号化器のビットレート制御方法を提供することにある。【解決手段】量子化パラメータ決定部１４は、画面複雑度演算部１２で求められた画面複雑度を用いて仮想バッファ占有量ｄを求め、該仮想バッファ占有量ｄを含む下記の（１）式から量子化パラメータＱＰを求める。ＱＰ＝ＱＳＩＺＥ×ｄ／ｒ  ・・・（１）ここに、ＱＳＩＺＥは全ＱＰの取りうる値の総数、ｒ＝ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅであり、ＱＳＩＺＥとｒは定数である。次いで、該量子化パラメータＱＰを用いて、ＲＤｏｐｔｉｍｉｚａｔｉｏｎ法を基に、最適な動きベクトルとモードを選択する。【選択図】        図１
2004165894.tif 000002
【特許請求の範囲】
【請求項１】
ＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）の符号化器のビットレート制御方法において、
各ピクチャタイプごとの画面複雑度を基に、各画面の目標符号量の割当てを行うステップと、
前記画面の各マクロブロックにおける仮想バッファ占有量ｄを求めるステップと、
前記仮想バッファ占有量ｄを含む下記の（１）または（２）式から量子化パラメータＱＰを求めるステップと、
該量子化パラメータＱＰを用いて、ＲＤｏｐｔｉｍｉｚａｔｉｏｎ法を基に、最適な動きベクトルとモードを選択するステップとからなる符号化器のビットレート制御方法。
ＱＰ＝ＱＳＩＺＥ×ｄ／ｒ  ・・・（１）
ここに、ＱＳＩＺＥは全ＱＰの取りうる値の総数、ｒ＝ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅであり、ＱＳＩＺＥとｒは定数である。
ＱＰ＝ａｌｏｇ（ＱＳＩＺＥ×ｄ／ｒ）＋ｂ…（２）
ここに、ａ、ｂは定数である。
【請求項２】
請求項１に記載の符号化器のビットレート制御方法において、
前記量子化パラメータＱＰは、０≦ＱＰ≦５１であり、範囲外のものは、０または５１にクリップすることとし、前記ＱＳＩＺＥ＝５２とすることを特徴とする符号化器のビットレート制御方法。
【請求項３】
請求項１または２に記載の符号化器のビットレート制御方法において、
前記仮想バッファ占有量の初期値ｄ０を、ピクチャタイプ（ｉ，ｐ，ｂ）毎に、ｄｉ０＝３０×ｒ／ＱＳＩＺＥ、ｄｐ０＝Ｋｐ×ｄｉ０、ｄｂ０＝Ｋｂ×ｄｉ０、またｒ＝２×ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅとしたことを特徴とする符号化器のビットレート制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は符号化器のビットレート制御方法に関し、特にＪＶＴ（Ｊｏｉｎｔ  ＶｉｄｅｏＴｅａｍ）の符号化器に適用して好適なビットレート制御方法に関する。
【０００２】
【従来の技術】
従来のビットレート制御技術では、ＭＰＥＧ−２の検証モデルＴＭ５［２］におけるビットレート制御方式を利用して、次のような方式が採用されている。
【０００３】
１．ピクチャレベルで目標符号量の割当を行う（ＴＭ５レート制御のステップ１に相当）。
【０００４】
２．各マクロブロック（ＭＢ）に対して、以下の処理を行う。
【０００５】
（２−１）量子化パラメータ（ＱＰ）値を直前に符号化されたＭＢのＱＰ値とし、既知のＲＤｏｐｔｉｍｉｚａｔｉｏｎ法を利用して、最適なモード、および動きベクトル（ＭＶ）を求める。
【０００６】
（２−２）アクティビテイ値を考慮し、仮想バッファ占有量を計算し、そこから当該ＭＢに使用するＱＰを計算する（ＴＭ５レート制御のステップ２に相当）。
【０００７】
（２−３）求められたＱＰを使って、前記（２−１）をもとに、最適なＭＶ，モードを選択する。（ただし、（２−２）で求められたＱＰ値が（２−１）のＱＰ値と同じであれば、この処理は行われない。）
【０００８】
ここで、前記ＲＤｏｐｔｉｍｉｚａｔｉｏｎ（以下、ＲＤＯ）法の概略を説明する。前記（２−１）におけるＲＤＯモードにおける動き推定およびモード選択は、以下の手順で行われる。
【０００９】
（１）与えられた量子化パラメータＱＰに対し、ラグランジェ（Ｌａｇｒａｎｇｅ）定数を以下のように与える。
λＭＯＤＥ＝０．８５×２ＱＰ／３  ，λＭＯＴＩＯＮ＝√λＭＯＤＥ
【００１０】
（２）複数の４×４イントラ予測モードの中で、下記のコスト（ｃｏｓｔ）関数を最小にするモードを選択する。
Ｊ（ｓ，ｃ，ＩＭＯＤＥ＼ＱＰ，λＭＯＤＥ）＝ＳＳＤ（ｓ，ｃ，ＩＭＯＤＥ＼ＱＰ）＋λＭＯＤＥ（ｓ，ｃ，ＩＭＯＤＥ＼ＱＰ）
ここで、ｓは原画像、ｃは予測画像、ＩＭＯＤＥは４×４イントラ予測モードの集合である。
【００１１】
（３）原画像ｓと予測画像ｃの差分に２次元アダマール（Ｈａｄａｍａｒｄ）変換を施したものの絶対値和の１／２（これを、ＳＡＴＤと呼ぶ）が最小になる１６×１６イントラ予測モードを選択する。
【００１２】
（４）８×８画素サイズのブロックを複数ブロックに分割した各モードに対し、動き推定、参照フレームの推定を行い、コスト関数、すなわちＳＳＤ＋λＲ（ＭＶ，ＲＥＦ）の値を最小にするものをそれぞれ選択する。
【００１３】
（５）１６×１６，８×１６，１６×８画素サイズのＭＢを複数のブロックに分割した各モードに対し、動き推定、参照フレームの推定を行い、下記のコスト関数を最小にするものを、それぞれ選択する。
Ｊ（ＲＥＦ，ｍ（ＲＥＦ）＼λＭＯＴＩＯＮ）
＝ＳＡＴＤ（ｓ，ｃ（ＲＥＦ，ｍ（ＲＥＦ）））＋λＭＯＴＩＯＮ・（Ｒ（ｍ（ＲＥＦ）−ｐ（ＲＥＦ））＋Ｒ（ＲＥＦ））
ただし、ｍ（ＲＥＦ）、ｐ（ＲＥＦ）は、それぞれ参照画像ＲＥＦに対する動ベクトルおよびその予測値、Ｒ（  ）は、ＵｎｉｖｅｒｓａｌＶＬＣ（ＵＶＬＣ）を使って計算されたビット量である。
【００１４】
（６）Ｂフレームに関しては、予測方向も考慮に入れて、コスト関数が最小になる予測方向を選択する。
Ｊ（ＰＤＩＲ＼λＭＯＴＩＯＮ）
＝ＳＡＴＤ（ｓ，ｃ（ＰＤＩＲ，ｍ（ＰＤＩＲ）））＋λＭＯＴＩＯＮ・（Ｒ（ｍ（ＰＤＩＲ）−ｐ（ＰＤＩＲ））＋Ｒ（ＰＤＩＲ））
ここに、ＰＤＩＲは予測方向を示す。
【００１５】
（７）以上、前記（２）〜（５）の各モードで選ばれたそれぞれのパラメータに対して、次のコスト関数を最小にするモードＭＯＤＥを選択する。
Ｊ（ｓ，ｃ，ＭＯＤＥ＼ＱＰ，λＭＯＤＥ）＝ＳＳＤ（ｓ，ｃ，ＭＯＤＥ＼ＱＰ）＋λＭＯＤＥ（ｓ，ｃ，ＭＯＤＥ＼ＱＰ）
【００１６】
なお、ＰフレームではＳＫＩＰモード、ＢフレームではＤＩＲＥＣＴモードも考慮に入れる。
【００１７】
【発明が解決しようとする課題】
しかしながら、前記した従来技術では、最適ＭＶ探索およびモード判定を、各ＭＢで最悪２度ずつ行わなければならない。すなわち、前記（２−１）と（２−３）の処理を行わなければならない。これらの処理は、符号化に要する時間の大きな部分を占めるため、符号化の処理時間が長くなるという課題があった。
【００１８】
本発明は、前記課題に鑑みてなされたものであり、処理時間を低減できる符号化器のビットレート制御方法を提供することにある。
【００１９】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、ＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）の符号化器のビットレート制御方法が、各ピクチャタイプごとの画面複雑度を基に、各画面の目標符号量の割当てを行うステップと、前記画面の各マクロブロックにおける仮想バッファ占有量ｄを求めるステップと、前記仮想バッファ占有量ｄを含む下記の（１）または（２）式から量子化パラメータＱＰを求めるステップと、該量子化パラメータＱＰを用いて、ＲＤｏｐｔｉｍｉｚａｔｉｏｎ法を基に、最適な動きベクトルとモードを選択するステップとからなるようにした点に第１の特徴がある。
ＱＰ＝ＱＳＩＺＥ×ｄ／ｒ  ・・・（１）
ここに、ＱＳＩＺＥは全ＱＰの取りうる値の総数、ｒ＝ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅであり、ＱＳＩＺＥとｒは定数である。
ＱＰ＝ａｌｏｇ（ＱＳＩＺＥ×ｄ／ｒ）＋ｂ…（２）
ここに、ａ、ｂは定数である。
【００２０】
また、本発明は、前記量子化パラメータＱＰは、０≦ＱＰ≦５１であり、範囲外のものは、０または５１にクリップすることとし、前記ＱＳＩＺＥ＝５２とした点に第２の特徴がある。
【００２１】
該第１、第２の特徴によれば、ＲＤｏｐｔｉｍｉｚａｔｉｏｎ法を一度しか行わなくても、レート−歪み特性が改善できるとともに、符号化の処理時間を大幅に短縮できる。
【００２２】
また、本発明は、前記仮想バッファ占有量の初期値ｄ０を、ピクチャタイプ（ｉ，ｐ，ｂ）毎に、ｄｉ０＝３０×ｒ／ＱＳＩＺＥ、ｄｐ０＝Ｋｐ×ｄｉ０、ｄｂ０＝Ｋｂ×ｄｉ０とし、またｒ＝２×ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅとした点に第３の特徴がある。
【００２３】
この特徴によれば、初期状態のフレーム毎の符号量の変動、およびＰＳＮＲの変動を安定化させることが可能になる。
【００２４】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明を適用して好適なＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）の符号化器の概略の構成を示すブロック図である。
【００２５】
図において、動画像信号の第１画面の入力画像信号１が入力される時には、イントラ予測部１５からの制御信号によりスイッチ２は端子ａ側に接続されており、入力画像信号は高い符号化効率を得るために直交変換器および量子化器３に入力する。該直交変換器および量子化器３では、該入力画像信号はＤＣＴ（離散コサイン変換）などを用いて直交変換され、その直交変換係数が量子化される。この量子化係数は、エントロピ符号化部４でエントロピ符号化される。
【００２６】
一方、逆量子化器および逆直交変換器５に入力した量子化係数は、逆量子化および逆直交変換されて画像データが復元される。復元された画像データは、ループフィルタ６を経てフレームバッファ７に蓄積される。
【００２７】
次の画面の入力画像信号１が入力されるようになると、前記スイッチ２はイントラ予測部１５からの制御信号により端子ｂに接続され、また該入力画像信号１は、予測信号減算器１０および動き推定部８に入力される。動き推定部８では、該入力画像信号１を参照して、フレームバッファ７から読み出された画像データの動きを推定し、動きベクトルＭＶを検出する。動き補償部９は、該動きベクトルＭＶを基に動き補償された動き補償予測信号を生成し、予測信号減算器１０と局所復号加算器１１に送出する。
【００２８】
予測信号減算器１０では、入力画像信号１から動き補償予測信号を減算し、前記直交変換器および量子化器３に出力する。直交変換器および量子化器３は、高い符号化効率を得るために、予測信号減算器１０からの信号を直交変換し、量子化する。一方、局所復号加算器１１は、逆量子化器および逆直交変換器５で復元された画像データに前記動き補償予測信号を加算し、ループフィルタ６に出力する。
【００２９】
量子化パラメータ決定部１４は、画面複雑度演算部１２から得られた画面複雑度および仮想バッファ占有量演算部１３から得られた仮想バッファ占有量を用いて量子化パラメータ（ＱＰ）を決定する。該量子化パラメータＱＰは、イントラ予測部１５と前記動き推定部８に送られる。イントラ予測部１５は、該量子化パラメータＱＰに従ってイントラモードにするか否かの予測を行い、前記スイッチ２を切り替える制御信号を発生する。
【００３０】
次に、本発明の一実施形態のビットレート制御方式を説明する。該ビットレート制御は主に前記量子化パラメータ決定部１４で行われる。
【００３１】
１．まず、従来技術と同様に、ピクチャレベル（１画面毎）で目標符号量の割当が行われる（ＴＭ５レート制御のステップ１に相当）。図２は、符号化されるピクチャの概念図を示す。
【００３２】
以下に、該ピクチャレベルでの目標符号量の割当について説明する。まず、画面複雑度Ｘｔｙｐｅを定義し、符号化されたピクチャタイプにより更新する。ここで、添え字「ｔｙｐｅ」は、Ｉ，Ｐ，Ｂの各ピクチャタイプを示し、以下でも同様とする。
【００３３】
更新式は、Ｘｔｙｐｅ＝ＳｔｙｐｅＱＰｔｙｐｅとする。ここに、Ｓｔｙｐｅは当該ピクチャの符号量、ＱＰｔｙｐｅは実際に求められた量子化パラメータＱＰの平均である。なお、画面複雑度Ｘｔｙｐｅの初期値は、それぞれＸｉ＝１５５×ｂｉｔｒａｔｅ／１１５、Ｘｐ＝１５×ｂｉｔｒａｔｅ／１１５、Ｘｂ＝５×ｂｉｔｒａｔｅ／１１５とする。該「ｂｉｔｒａｔｅ」は、符号化器から出力されるビットストリーム速度であり、既知である。
【００３４】
上記の画面複雑度Ｘｔｙｐｅを用いて、各ピクチャの目標符号量Ｔｔｙｐｅすなわち、Ｔｉ、Ｔｐ、およびＴｂをＴＭ５と同様に、以下の通り求める。
2004165894.tif 000003
【００３５】
ここで、Ｋｔｙｐｅは各ピクチャタイプ間の複雑度の違いを表す比例成分であり、Ｋｐ＝１．１，Ｋｂ＝１．５とするのが好適である。また、Ｎｔｙｐｅは当該ＧＯＰ（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅｓ）で符号化されていないフレームの数、Ｒは当該ＧＯＰにおいて符号化されていないフレームに割当て可能なビット量を示す。
【００３６】
なお、ＧＯＰの最初のピクチャを符号化する前に、前記Ｒは下記の通りとする。
Ｒ＝（ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅ）×Ｎ＋Ｒｐｒｅｖ
ただし、ｐｉｃｒａｔｅはピクチャレート（枚／ｓｅｃ）、ＮはＧＯＰに含まれるフレームの数、Ｒｐｒｅｖは直前のＧＯＰにおけるＲとする。また、符号化後のＲは、Ｒ＝Ｒ−Ｓｔｙｐｅとする。
以上により、ピクチャレベルの目標符号量Ｔｔｙｐｅが求められる。
【００３７】
２．次に、各マクロブロックＭＢに対して、以下の処理を行う。
【００３８】
（２−１）前記仮想バッファ占有量演算部１３が仮想バッファ占有量を計算する。第ｍ番目のマクロブロックＭＢｍにおける仮想バッファ占有量ｄｍを、次のように定義する。
ｄｍ＝ｄ０＋Ｂｍ−１−Ｔｔｙｐｅ×（ｍ−１）／ＭＢｃｎｔ
ここで、Ｂｍ−１は、当該ｍ−１番目のＭＢまでの消費符号量、ＭＢｃｎｔは、全ＭＢ数である。また、ｄ０は、直前に符号化された同一ピクチャタイプをもつフレームの最後に求められた仮想バッファ占有量を使用する。なお、ｄ０の初期値は、ピクチャタイプ毎に、ｄｉ０＝３０×ｒ／ＱＳＩＺＥ、ｄｐ０＝Ｋｐ×ｄｉ０、ｄｂ０＝Ｋｂ×ｄｉ０、またｒ＝２×ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅとする。ここで、ＱＳＩＺＥは、全ＱＰの取りうる値の総数を示している。該総数は、５２とするのが好適である。
【００３９】
以上を基に、量子化パラメータＱＰを、下記の（１）式の通り定める。
ＱＰ＝ＱＳＩＺＥ×ｄ／ｒ  …（１）
ただし、０≦ＱＰ≦５１とし、範囲外のものは、０，５１にそれぞれクリップする。
なお、前記（１）式に代えて、下記の（２）式を用いてもよい。
ＱＰ＝ａｌｏｇ（ＱＳＩＺＥ×ｄ／ｒ）＋ｂ…（２）
ここに、ａ，ｂは定数である。
【００４０】
（２−２）以上のようにして求められたＱＰを用いて、前記ＲＤｏｐｔｉｍｉｚａｔｉｏｎ法を利用して、最適な動きベクトルＭＶおよびモードを選択する。
【００４１】
以上の説明から明らかなように、本実施形態では、前記ＲＤｏｐｔｉｍｉｚａｔｉｏｎ法は一度しか行われず、その他の処理は従来方式と等価であるため、従来法式に比べて、符号化の処理時間を大幅に短縮することができる。
【００４２】
また、テスト画像を使った本実施形態に係るシミュレーション実験を行い、以下のようにして、レート−歪み特性を求めた。
【００４３】
実験条件を、図３に示す。テスト画像Ｆｏｒｅｍａｎを用いた実験では、図４（ａ）に示されているように、従来方式と本実施形態方式とでは、レート−歪み特性はほぼ同じであったが、Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒを用いた実験では、図４（ｂ）に示されているように、本実施形態方式の方が優れていることが確認できた。また、このことから、Ｂピクチャが存在している場合でも、存在していない場合でも、全ビットレートで本実施形態方式の方が優れていることが確認できる。特に、Ｂピクチャが存在している場合には、高レートでの向上が著しいことが確認できる。この効果は、量子化パラメータを前記（１）式で求め、ＱＳＩＺＥ＝５２とした点に、主たる要因があると考えられる。
【００４４】
次に、フレーム毎の符号量と、ＰＳＮＲの推移を図５に示す。実線が本実施形態方式、破線が従来方式を示している。
【００４５】
図５により、特に従来法式は初期状態が不安定であるのに対し、本実施形態方式は終始安定し続けていること、また従来方式ではＩピクチャで符号量を多く消費しており、同一ＧＯＰのＰピクチャに悪影響を与えていることが伺える。
前者の効果は、仮想バッファ占有量ｄの初期値として、ピクチャタイプ毎に、ｄｉ０＝３０×ｒ／ＱＳＩＺＥ、ｄｐ０＝Ｋｐ×ｄｉ０、ｄｂ０＝Ｋｂ×ｄｉ０、またｒ＝２×ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅとした点に、主たる要因があると考えられる。
以上により、本実施形態方式の有効性が確認できた。
【００４６】
上記のように、本実施形態方式が有効である原因は、量子化パラメータＱＰを求めるために、仮想バッファ占有量ｄを含む前記（１）式を用いたこと、および／またはｄ０の初期値は、ピクチャタイプ毎に、ｄｉ０＝３０×ｒ／ＱＳＩＺＥ、ｄｐ０＝Ｋｐ×ｄｉ０、ｄｂ０＝Ｋｂ×ｄｉ０、またｒ＝２×ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅとし、ＱＳＩＺＥ＝５２とした点であると考えられる。
【００４７】
【発明の効果】
以上の説明から明らかなように、請求項１の発明によれば、ＲＤｏｐｔｉｍｉｚａｔｉｏｎ法を一度しか行わないにもかかわらず、従来方式と同等またはそれ以上の効果を上げることができるようになる。また、このため、符号化に要する処理時間を大幅に短縮することができる。
【００４８】
また、請求項２の発明によれば、量子化パラメータＱＰを、０≦ＱＰ≦５１、その総数ＱＳＩＺＥを、ＱＳＩＺＥ＝５２としたので、レート−歪み特性を従来法式に比べて向上させることができる。
【００４９】
さらに、請求項３の発明によれば、仮想バッファ占有量の初期値ｄ０を、ピクチャタイプ（ｉ，ｐ，ｂ）毎に、ｄｉ０＝３０×ｒ／ＱＳＩＺＥ、ｄｐ０＝Ｋｐ×ｄｉ０、ｄｂ０＝Ｋｂ×ｄｉ０、またｒ＝２×ｂｉｔｒａｔｅ／ｐｉｃｒａｔｅとしたので、初期状態のフレーム毎の符号量の変動、およびＰＳＮＲの変動を安定化させることが可能になる。
【図面の簡単な説明】
【図１】本発明が適用されるＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）の符号化器の概略の構成を示すブロック図である。
【図２】符号化されるピクチャとマクロブロックＭＢの説明図である。
【図３】実験条件を示す図である。
【図４】テスト画像Ｆｏｒｅｍａｎ、Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒを用いた時のレート−歪み特性を示す図である。
【図５】符号量とＰＳＮＲの推移を、従来方式と本発明方式とで表した図である。
【符号の説明】
１２・・・面複雑度演算部、１３・・・仮想バッファ占有量演算部、１４・・・量子化パラメータ決定部。
【図１】
2004165894.tif 000004
【図２】
2004165894.tif 000005
【図３】
2004165894.tif 000006
【図４】
2004165894.tif 000007
【図５】
2004165894.tif 000008