(57)【要約】  今日のビデオコーデックは多くの符号化オプションの間でのインテリジェントな選択を要求する。この選択はラグランジュ符号器制御（Lagrangian coder control）を使用して効率的に行われうる。しかし、ラグランジュ符号器制御は、特定のラグランジュパラメータが与えられた場合にしか結果を提供せず、このラグランジュパラメータはいくつかの未知の伝送レートに相応している。他方で、レート制御（rate control）アルゴリズムは、ラグラジンジュ符号器制御の最適化パフォーマンス無しで所与のビットレートで符号化結果を提供する。ハイブリッドビデオ符号化のためのレート制御とラグランジュ最適化との結合が研究されている。新しいアプローチがこれら２つの公知の方法をマクロブロックモード判定及び量子化器適応を使用するビデオ符号器制御に組み込むために提案されている。提案されるアプローチのレート歪みパフォーマンスは実験結果を介して確認され、解析されている。大抵のビットレートにおいて画像毎に一定のビット数を発生する結合されたレート制御及びラグランジュ最適化は、ラグランジュ最適化だけを使用する一定勾配ケース（constant slope case）と同様のレート歪みパフォーマンスを達成することが提示された。【特許請求の範囲】
【請求項１】
ビデオ画像を符号化するためのプロセスにおいて、
画像の事前解析が実行され、この事前解析において、マクロブロックの少なくとも一部分に対して符号化プロセスをアシストする制御パラメータのうちの少なくとも一つが少なくとも１つの推定されたパラメータに基づいて決定され、
第２ステップにおいて、画像が事前解析ステップで決定された制御パラメータに基づいて計算された符号化パラメータによって符号化されることを特徴とする、ビデオ画像を符号化するためのプロセス。
【請求項２】
原マクロブロックサンプル及びこれらの予測との間の差を表すマクロブロックの残差信号のエネルギー尺度が制御パラメータとして使用され、該制御パラメータは事前解析ステップにおいて少なくとも一つの推定されたパラメータに基づいて決定されることを特徴とする、請求項１記載のプロセス。
【請求項３】
残差信号のエネルギー尺度は変換符号化のために使用されるマクロブロックｉ内のルミナンス及びクロミナンスブロックの残差信号の分散の平均として式
【数１】
2007504727.tif 000033
によって計算され、
ただしここでＮＢ及びＮＰはそれぞれマクロブロック内で変換符号化のために使用されるブロック（ルミナンス及びクロミナンス）の数及びこのようなブロック内のサンプルの数であり、
ｄｉ，ｊはマクロブロックｉ内のブロックｊの残差信号であり、
【数２】
2007504727.tif 000034
はｄｉ，ｊの平均を表すことを特徴とする、請求項２記載のプロセス。
【請求項４】
予測符号化された画像に対して、制御パラメータを決定するために使用されるマクロブロックの予測信号は、事前解析ステップにおいて推定される１つ以上の動きベクトル及び参照インデックスを使用する動き補償された予測によって推定されることを特徴とする、請求項１〜３のうちの１項記載のプロセス。
【請求項５】
事前解析ステップはラグランジュコスト関数（Lagrangian cost function）
【数３】
2007504727.tif 000035
を最小化することによる動きベクトルｍ及び参照インデックスｒの推定を含み、
ただしここで、
【数４】
2007504727.tif 000036
は歪み項を決定し、
ｓ（．．．，ｔ）及びｓ’（．．．，ｔｒ）はそれぞれ原画像及び参照インデックスｒにより与えられる復号化された参照画像のルミナンスサンプル列を表し、
ＲＭＶ（ｍ，ｒ）は動きベクトル［ｍｘ，ｍｙ］Ｔの全成分及び参照インデックスｒを伝送するために必要とされるビット数を指定し、
Ｂはマクロブロックの領域、マクロブロックパーティション又はサブマクロブロックパーティションであり、このマクロブロックの領域、マクロブロックパーティション又はサブマクロブロックパーティションに対して動きベクトル及び参照インデックスが推定され、
λｍｏｔｉｏｎ≧０はラグランジュ乗数（Lagrangian multiplier）であることを特徴とする、請求項１〜４のうちの１項記載のプロセス。
【請求項６】
事前解析ステップにおいて動きベクトル推定に使用されるラグランジュ乗数λｍｏｔｉｏｎは、Ｈ．２６３，ＭＰＥＧ−４の場合には
【数５】
2007504727.tif 000037
又はＨ．２６４／ＡＶＣの場合には
【数６】
2007504727.tif 000038
に従ってセットされ、
ただしここで
【数７】
2007504727.tif 000039
は同一画像タイプの最後の符号化された画像の平均量子化パラメータを表すことを特徴とする、請求項５記載のプロセス。
【請求項７】
事前解析ステップにおける動きベクトル推定は１６×１６ルミナンスサンプルの領域を被覆するマクロブロック全体に対して行われ、
さらに、参照インデックスｒは推定されるのではなく、復号化された画像バッファに格納される時間的に最も近い参照画像を参照して決定されることを特徴とする、請求項１〜６のうちの１項記載のプロセス。
【請求項８】
各マクロブロックｉに対する符号化プロセスの間に、目標量子化パラメータＱＰｉ＊が事前解析ステップにおいて推定された制御パラメータに依存して決定されることを特徴とする、請求項１〜７のうちの１項記載のプロセス。
【請求項９】
マクロブロック符号化プロセスは以下のステップから成り、目標量子化パラメータＱＰｉ＊とすると、
Ｈ．２６３，ＭＰＥＧ−４の場合には
【数８】
2007504727.tif 000040
又はＨ．２６４／ＡＶＣの場合には
【数９】
2007504727.tif 000041
に従ってマクロブロックｉの動き推定及びモード判定に使用されるラグランジュ乗数を計算し、
全ての動き補償されたマクロブロック／ブロックモードに対して、関連する動きベクトルｍｉ及び参照インデックスｒｉをラグランジュ汎関数（Lagrangian functional）
【数１０】
2007504727.tif 000042
を最小化することによって決定し、ただしここで歪み項が
【数１１】
2007504727.tif 000043
によって与えられ、
この場合ｓ（．．．，ｔ）及びｓ’（．．．，ｔｒ）はそれぞれ原画像及び参照インデックスｒにより与えられる復号化された参照画像のルミナンスサンプル列を表し、
Ｒは復号化された画像バッファに格納された参照画像のセットを示し、
Ｍは参照画像内の動きベクトル探索範囲を指定し、
ｔｒは参照インデックスｒにより参照される参照画像のサンプリング時間であり、
Ｂは相応するブロック又はマクロブロックの領域であり、さらに、
ＲＭＶ（ｉ，ｍ，ｒ）は動きベクトルｍ＝［ｍｘ，ｍｙ］Ｔの全成分ならびに参照インデックスｒを伝送するために必要とされるビット数を指定し、
マクロブロックｉのマクロブロック／ブロック符号化モードｐｉをラグランジュコスト関数
【数１２】
2007504727.tif 000044
を最小化することによって決定し、ただしここで
【数１３】
2007504727.tif 000045
ｓ（．．．）及びｓ’（．．．）はそれぞれ原マクロブロックサンプル及びこれらの再構成の列を表し、
Ｂは相応するマクロブロック／ブロックサンプルのセットを指定し、
Ｒａｌｌ（ｉ，ｐ｜ＱＰｉ＊）はモードｐ及び量子化パラメータＱＰｉ＊を選択することに関連するビット数であり、マクロブロック／ブロックモード、動きベクトル及び参照インデックスならびに全てのルミナンス及びクロミナンスブロックの量子化された変換係数のためのビットを含み、
Ｓｍｏｄｅは可能なマクロブロック／ブロックモードの所与のセットである、
ことを特徴とする、請求項１〜８のうちの１項記載のプロセス。
【請求項１０】
少なくとも１つのチップ及び／又はプロセッサを有する装置において、画像の事前解析が実行され、マクロブロックの少なくとも一部分に対して符号化プロセスをアシストする少なくとも一つの制御パラメータが少なくとも１つの推定されたパラメータに基づいて決定され、第２ステップにおいて画像が事前解析ステップで決定された制御パラメータに基づいて計算された符号化パラメータによって符号化されるようにビデオ画像を符号化するためのプロセスが実行されるようにインストールされている少なくとも１つのチップ及び／又はプロセッサを有する装置。
【請求項１１】
ビデオ画像がコンピュータのメモリに格納された後でこれらのビデオ画像を符号化するためのプロセスをコンピュータに実行させうるコンピュータプログラムにおいて、該コンピュータプログラムはビデオ画像符号化のプロセスを実行するためのプログラミングコードを含み、このプロセスでは、画像の事前解析が実行され、マクロブロックの少なくとも一部分に対して符号化プロセスをアシストする少なくとも一つの制御パラメータが少なくとも１つの推定されたパラメータに基づいて決定され、第２ステップにおいて画像が事前解析ステップで決定された制御パラメータに基づいて計算された符号化パラメータによって符号化される、ビデオ画像がコンピュータのメモリに格納された後でこれらのビデオ画像を符号化するためのプロセスをコンピュータに実行させうるコンピュータプログラム。
【請求項１２】
コンピュータリーダブル格納媒体において、該コンピュータリーダブル格納媒体にプログラムが格納され、該プログラムはビデオ画像がコンピュータのメモリに格納された後でこれらのビデオ画像を符号化するためのプロセスをコンピュータに実行させうるものであり、前記コンピュータプログラムはビデオ画像符号化のプロセスを実行するためのプログラミングコードを含み、このプロセスでは、画像の事前解析が実行され、マクロブロックの少なくとも一部分に対して符号化プロセスをアシストする少なくとも一つの制御パラメータが少なくとも１つの推定されたパラメータに基づいて決定され、第２ステップにおいて画像が事前解析ステップで決定された制御パラメータに基づいて計算された符号化パラメータによって符号化される、コンピュータリーダブル格納媒体。
【請求項１３】
請求項１１記載のコンピュータプログラムがデータ転送のためのネットワークから、例えばインターネットから、前記ネットワークに接続されているデータ処理ユニットにダウンロードされるプロセス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ画像を符号化するためのプロセス及び装置に関する。とりわけ本発明はマクロブロックレイヤのオペレーショナルな制御に関し、これはビデオシーケンスを符号化するために使用可能である。
【０００２】
ＭＰＥＧ−２  Ｖｉｓｕａｌ［１］、Ｈ．２６３［２］、ＭＰＥＧ−４  Ｖｉｓｕａｌ［３］及びＨ．２６４／ＡＶＣ［４］を含む大抵のブロックベースハイブリッドビデオ符号化規格の仕様は、インターオペラビリティを許容するためにビットストリームシンタックス及び復号化プロセスしか提供しない。符号化プロセスはフレキシブルな実装許可範囲からは除外されたままである。しかし、ソース符号器のオペレーショナルな制御はビデオ圧縮における鍵となる問題である。ビデオソースの符号化の場合、量子化パラメータ、マクロブロック及びブロックモード、動きベクトル及び量子化された変換係数のような多様な符号化パラメータが決定される必要がある。一方で、これらの選択された値は所与の復号器に対して発生されたビットストリームのレート歪み効率（rate-distortion efficiency）を決定する。他方で、これらのパラメータは必要とされる伝送レート及び復号化遅延をも決定する。
【０００３】
固定レートチャネルを介するリアルタイムビデオ通信において、オペレーショナルな符号器制御の一般的な目的は、伝送レート及び復号化遅延における所与の条件を維持しながら可能な最良のビデオ品質を得ることである。大きなパラメータスペースが関与するために、これは些細な問題ではない。さらに、オペレーショナルな符号器制御はリアルタイムアプリケーションに適用できる程度に低い複雑性を持つことが要求される。
【０００４】
レート歪み最適化符号化のための広く普及しているアプローチはラグランジュビットアロケーション技術（Lagrangian bit-allocation technique）である。このアプローチの人気の高さはその効果及び簡素さによる。マクロブロックに対して固定された量子化パラメータＱＰとすると、マクロブロックモードならびに関連ブロックモード及び動きベクトルがラグランジュコスト汎関数（Lagrangian cost functional）
Ｄ＋λ（ＱＰ）・Ｒ
を最小化することによって決定される。このラグランジュコスト汎関数では歪み尺度Ｄはラグランジュ乗数（Lagrangian multiplier）λを使用してレート項Ｒにより重み付けされている。ラグランジュ乗数λは所与のマクロブロック量子化パラメータＱＰにだけ依存する。このラグランジュ符号器制御はＨ．２６３、ＭＰＥＧ−４  Ｖｉｓｕａｌ及びＨ．２６４／ＡＶＣに著者［５，６，７，８］によって成功裡に適用された。全てのケースにおいて、この改善された符号化ストラテジは、固定された量子化パラメータＱＰを使用してビデオソースが符号化された場合にはＨ．２６３、ＭＰＥＧ−４  Ｖｉｓｕａｌ及びＨ．２６４／ＡＶＣそれぞれの従来の符号化ストラテジに比べて明瞭なパフォーマンスゲインを提供する。
【０００５】
ブロックベースハイブリッドビデオ符号器を作動するためのシンプルかつ効率的なマクロブロックレート制御アルゴリズム（macroblock rate-control algorithm）は［９］に記載されている。画像及びこの画像内の全マクロブロックの予測誤差信号に対して目標ビット数を与えると、目標ビット数に極めて正確にヒットし同時に画像の歪みが最小化されるようにマクロブロック量子化パラメータＱＰが調整される。
【０００６】
これらの２つの符号器制御ストラテジ、ラグランジュビットアロケーション技術及びマクロブロックベースのレート制御アルゴリズムの結合は簡単ではない。というのも、以下のような相互依存性を考慮に入れる必要があるからである：
・レート制御の場合、マクロブロック量子化パラメータＱＰの決定は残差信号に依存し、従って、推定された動きベクトルならびに選択されたマクロブロック及びブロック符号化モードに依存し、
・ラグランジュ最適化（Lagrangian optimization）の場合、動き推定及びマクロブロック／ブロックモード判定がラグランジュコスト関数（Lagrangian cost function）の最小化に基づき、このラグランジュコスト関数では歪み尺度がラグランジュ乗数λを使用してレート項により重み付けされている。ラグランジュ乗数λ（ＱＰ）は量子化パラメータＱＰの関数なので、残差信号は量子化パラメータにも依存する。
【０００７】
さらに、オペレーショナルな符号器制御のパフォーマンスはパラメータＱＰ及びλの相互依存性のため上記２つの項目が示唆するような多重符号化の回避を含めて常に複雑性の考察と共に研究しなければならない。
【０００８】
よって、本発明の解決すべき技術的課題は、ラグランジュビットアロケーション技術のレート歪み効率ならびにレート制御特性を提示するビデオ画像を符号化するためのプロセス及び装置ならびに適切なコンピュータプログラム及び適切な格納媒体を提供することである。
【０００９】
上記課題は、本発明の請求項１、１０、１１及び１２記載の手段によって解決される。
【００１０】
本発明は上記の課題を次のように解決する。すなわち、画像の事前解析が実行され、マクロブロックの少なくとも一部分に対して符号化プロセスをアシストする少なくとも一つの制御パラメータが少なくとも１つの推定されたパラメータに基づいて決定され、第２ステップにおいて画像が事前解析ステップで決定された制御パラメータに基づいて計算された符号化パラメータによって符号化される。
【００１１】
ビデオ画像を符号化するための装置は少なくとも１つのチップ及び／又はプロセッサを有し、この装置において、画像の事前解析が実行され、マクロブロックの少なくとも一部分に対して符号化プロセスをアシストする少なくとも一つの制御パラメータが少なくとも１つの推定されたパラメータに基づいて決定され、第２ステップにおいて画像が事前解析ステップで決定された制御パラメータに基づいて計算された符号化パラメータによって符号化されるようなビデオ画像符号化のためのプロセスが実行されるように１つのチップ及び／又はプロセッサがインストールされている。
【００１２】
いくつかのケースでは、ビデオ画像を符号化するためのプロセスは有利にはコンピュータプログラムにより実行される。このようなコンピュータプログラムは、ビデオ画像がコンピュータのメモリに格納された後でこれらのビデオ画像を符号化するためのプロセスをコンピュータに実行させることが可能であり、この場合、このコンピュータプログラムはビデオ画像符号化のプロセスを実行するためのプログラミングコードを含み、このプロセスでは、画像の事前解析が実行され、マクロブロックの少なくとも一部分に対して符号化プロセスをアシストする少なくとも一つの制御パラメータが少なくとも１つの推定されたパラメータに基づいて決定され、第２ステップにおいて画像が事前解析ステップで決定された制御パラメータに基づいて計算された符号化パラメータによって符号化される。
【００１３】
例えばこのようなコンピュータプログラムは通信ネットワーク又はデータ転送のためのネットワークにおいてダウンロード可能なデータファイルとして（無料で）利用可能とされうる。このように利用可能とされたコンピュータプログラムは、請求項１１記載のようなコンピュータプログラムがデータ転送のためのネットワークから、例えばインターネットから、前記ネットワークに接続されているデータ処理ユニットにダウンロードされるプロセスによって取得されうる。
【００１４】
ビデオ画像に対する符号化を実行するために、有利には、コンピュータリーダブル格納媒体が使用され、このコンピュータリーダブル格納媒体にプログラムが格納されており、このプログラムはビデオ画像がコンピュータのメモリに格納された後でこれらのビデオ画像を符号化するためのプロセスをコンピュータに実行させうるものであり、この場合、このコンピュータプログラムはビデオ画像符号化のプロセスを実行するためのプログラミングコードを含み、このプロセスでは、画像の事前解析が実行され、マクロブロックの少なくとも一部分に対して符号化プロセスをアシストする少なくとも一つの制御パラメータが少なくとも１つの推定されたパラメータに基づいて決定され、第２ステップにおいて画像が事前解析ステップで決定された制御パラメータに基づいて計算された符号化パラメータによって符号化される。
【００１５】
本発明の有利な実施形態においては、原マクロブロックサンプル及びこれらの予測との間の差を表すマクロブロックの残差信号のエネルギー尺度が制御パラメータとして使用され、この制御パラメータは事前解析ステップにおいて少なくとも一つの推定されたパラメータに基づいて決定される。
【００１６】
本発明の他の有利な実施形態では、制御パラメータとして使用される残差信号のエネルギー尺度は変換符号化のために使用されるマクロブロック内のルミナンス及びクロミナンスブロックの残差信号の分散の平均として式
【００１７】
【数１】
2007504727.tif 000002
によって計算され、
ここでＮＢ及びＮＰはそれぞれマクロブロック内で変換符号化のために使用されるブロック（ルミナンス及びクロミナンス）の数及びこのようなブロック内のサンプルの数であり、ｄｉ，ｊはマクロブロックｉ内のブロックｊの残差信号であり、
【００１８】
【数２】
2007504727.tif 000003
はｄｉ，ｊの平均を表す。
【００１９】
本発明の更なる有利な実施形態では、Ｉｎｔｒａ符号化された画像におけるマクロブロックの予測信号がゼロの値を有するサンプルから成ると仮定され、従って、残差信号は原マクロブロックサンプルに相応し、予測符号化された画像に対して、制御パラメータを決定するために使用されるマクロブロックの予測信号は、事前解析ステップにおいて推定される１つ以上の動きベクトル及び参照インデックスを使用して動き補償された予測によって推定される。
【００２０】
本発明の更なる有利な実施形態では、事前解析ステップはラグランジュコスト関数
【００２１】
【数３】
2007504727.tif 000004
を最小化することによる動きベクトルｍ及び参照インデックスｒの推定を含み、ただしここで、
【００２２】
【数４】
2007504727.tif 000005
は歪み項を決定し、ｓ（．．．，ｔ）及びｓ’（．．．，ｔｒ）はそれぞれ原画像及び参照インデックスｒにより与えられる復号化された参照画像のルミナンスサンプル列を表し、ＲＭＶ（ｍ，ｒ）は動きベクトル［ｍｘ，ｍｙ］Ｔの全成分及び参照インデックスｒを伝送するために必要とされるビット数を指定し、Ｂはマクロブロックの領域、マクロブロックパーティション又はサブマクロブロックパーティションであり、このマクロブロックの領域、マクロブロックパーティション又はサブマクロブロックパーティションに対して動きベクトル及び参照インデックスが推定され、λｍｏｔｉｏｎ≧０はラグランジュ乗数である。
【００２３】
本発明の更なる有利な実施形態では、事前解析ステップにおいて動きベクトル推定に使用されるラグランジュ乗数λｍｏｔｉｏｎは、Ｈ．２６３，ＭＰＥＧ−４の場合には
【００２４】
【数５】
2007504727.tif 000006
又はＨ．２６４／ＡＶＣの場合には
【００２５】
【数６】
2007504727.tif 000007
に従ってセットされ、ただしここで
【００２６】
【数７】
2007504727.tif 000008
は同一画像タイプの最後の符号化された画像の平均量子化パラメータを表す。
【００２７】
本発明の更なる有利な実施形態では、事前解析ステップにおける動きベクトル推定は１６×１６ルミナンスサンプルの領域を被覆するマクロブロック全体に対して行われ、さらに、参照インデックスｒは推定されるのではなく、復号化された画像バッファに格納される時間的に最も近い参照画像を参照して決定される。
【００２８】
本発明を使用すると、ブロックベースハイブリッドビデオコーデックのためのオペレーショナルな符号器制御を実施することが可能であり、このオペレーショナルな符号器制御はレート歪み最適化された符号器のレート歪み効率［５，６，７，８］ならびに低遅延インタラクティブアプリケーションに適した正確なレート制御を提供する。ＭＰＥＧ−４  Ｖｉｓｕａｌ及びＨ．２６４／ＡＶＣに対するシミュレーション結果は、ここで提案された符号化ストラテジがレート制御なしのレート歪み最適化された符号器と仮想的に同じレート歪みパフォーマンスを達成することを示している。
【００２９】
本発明はマクロブロックレイヤのオペレーショナルな制御に関する。所与のグローバルなレート制御は画像に対する目標ビット数をセットし、この結果、伝送レート及び復号化遅延における条件が保持されると仮定する。マクロブロックレイヤのオペレーショナルな制御は、この目標ビット数ができるだけ正確にヒットし同時に画像の歪みが最小化されるように量子化パラメータ、マクロブロック及びブロックモード、動きベクトル及び量子化された変換係数を決定する。
【００３０】
次の実施例は本発明をさらに詳しく記述するために提示される。これらの例は本発明を説明するためのものであって、本発明を制限するものではない。
【００３１】
図１はForemanシーケンス（QCIF, 10 pictures per second）におけるレート制御なしのレート歪み最適化された符号化ストラテジ［８］（実線で表示）と比較した本発明で提案される符号化ストラテジ（点で表示）のレート歪みパフォーマンスであり、
図２はTempeteシーケンス（CIF, 30 pictures per second）におけるレート制御なしのレート歪み最適化された符号化ストラテジ［８］（実線で表示）と比較した本発明で提案される符号化ストラテジ（点で表示）のレート歪みパフォーマンスであり、
図３は提案される符号化ストラテジに対する目標ビットレートと比較した実際に得られた平均ビットレートである。
【００３２】
以下のセクションでは本発明がビデオ画像に対する本発明の符号化プロセスを使用するオペレーショナルな符号器制御により記述される。ここで記述されるオペレーショナルな符号器制御は、ラグランジュビットアロケーション技術ならびに［９］のレート制御特性の両方のアプローチの利点を結合する。
【００３３】
［５］では、ラグランジュ動き推定がＨ．２６３ベースライン符号化に対して使用される場合にはレート歪みパフォーマンスに非常に目立たないインパクトを有することが観察された。これは、１６×１６ブロックに割り当てられた動きベクトルにより消費されるビットレートが非常に小さくかつ動き推定プロセスに対するλの不適切な選択のインパクトが非常に小さいからである。それゆえ、本発明の新しい符号化ストラテジでは、マクロブロック量子化パラメータＱＰの決定は１６×１６ブロックだけを使用する残差信号の初期推定に基づく。このために、ラグランジュパラメータλは同一画像タイプの最後に符号化された画像の平均量子化パラメータ
【００３４】
【数８】
2007504727.tif 000009
を使用して設定される。量子化パラメータＱＰ（従って、相応のラグランジュパラメータλ）は、推定された予測誤差信号及び残留ビットバジェット（remaining bit budget）を使用する［９］のアプローチのようにセレクトされる。これらのパラメータに基づいて、動きベクトルならびにマクロブロック及びブロックモードが相応のラグランジュコスト関数を最小化することによって選択される。
【００３５】
本発明の主題はマクロブロックレイヤのオプショナルな制御に関する２つのアプローチの適切な結合であるので、コンセプトの誤解を避けるためにオペレーショナルな制御アルゴリズム全体を簡潔に記述する。主要な貢献はラグランジュビットアロケーション技術とレート制御アプローチとの間の相互依存性問題のシンプルな低コストな解決策である。この問題は、１６×１６ブロック及び単一の参照画像だけを使用する低コストな事前解析／事前推定ステップを導入することによって解決される。結果的に、［９］のレート制御のいくつかのアルゴリズム上の詳細を改変する必要があった。
【００３６】
以下のセクション１及び２では、マクロブロックレイヤのオペレーショナルな制御のアルゴリズム全体が記述される。ラグランジュ最適化だけを使用する一定勾配アプローチ（constant slope approach）と本発明により提案されるアルゴリズムのパフォーマンスとを比較する実験結果はセクション３に記述する。
【００３７】
１．マクロブロックレイヤオペレーショナルな制御の初期化
画像に対する目標ビット数Ｒｔｏｔａｌはグローバルなレート制御アルゴリズムによってセットされる。その画像のマクロブロックレイヤシンタックス要素を伝送するためのビットバジェットＲＢは
ＲＢ＝Ｒｔｏｔａｌ−Ｒｈｅａｄｅｒ                        （１）
として初期化される。ただしここで、Ｒｈｅａｄｅｒは画像及び／又は所与の画像タイプのスライスヘッダ情報を符号化するために必要とされる平均ビット数を表す。
【００３８】
予測符号化された画像において、１６×１６ブロック及び時間的に最も近い参照画像に対する初期動き推定ステップは画像の全マクロブロックｉに対して実施される。相応の初期動きベクトル
【００３９】
【数９】
2007504727.tif 000010
はラグランジュコスト関数
【００４０】
【数１０】
2007504727.tif 000011
を最小化することによって得られ、ただしここで、歪み項は
【００４１】
【数１１】
2007504727.tif 000012
とし、ｓ（．．．，ｔ）及びｓ’（．．．，ｔ−Δｔ）はそれぞれ原画像及び復号化された参照画像のルミナンス信号を表す。ＲＭＶ（ｉ，ｍ）は動きベクトル［ｍｘ，ｍｙ］Ｔの全成分を伝送するために必要とされるビット数を指定し、Ｍは動きベクトル探索範囲であり、Ｂｉはｉ番目のマクロブロックの領域を表す。
【００４２】
この初期推定ステップにおいて、ラグランジュ乗数λｍｏｔｉｏｎが同一画像タイプの最後に符号化された画像の平均量子化パラメータ
【００４３】
【数１２】
2007504727.tif 000013
を使用して次のようにセットされる：
Ｈ．２６３，ＭＰＥＧ−４：
【００４４】
【数１３】
2007504727.tif 000014
ＪＶＴ／Ｈ．２６４：
【００４５】
【数１４】
2007504727.tif 000015
【００４６】
（Ｉｎｔｒａブロックに対する）この初期推定又は原ソースデータに基づいて、分散尺度σｉ２が本発明によれば
【００４７】
【数１５】
2007504727.tif 000016
により各マクロブロックに対して計算される。ただしここでＮＢ及びＮＰはそれぞれマクロブロック内で変換符号化のために使用されるブロック（ルミナンス及びクロミナンス）の数及びこのようなブロック内のサンプルの数である。ｄｉ，ｊはマクロブロックｉ内のブロックｊの残差信号であり、その平均は
【００４８】
【数１６】
2007504727.tif 000017
によって記される。Ｉｎｔｒａ画像においては、この残差信号は原マクロブロックサンプルに相応し、予測符号化された画像においては、それは予測誤差信号を表す。
【００４９】
分散尺度に基づいて、重み付け係数αｉが
【００５０】
【数１７】
2007504727.tif 000018
に従って（［９］参照）、各マクロブロックｉに割り当てられ、ただしここでＮは画像内のマクロブロックの数である。次のようなパラメータがそれらの初期値にセットされる［９］：
残留複雑性尺度（remaining coｍplexity measure）：
【００５１】
【数１８】
2007504727.tif 000019
【００５２】
残留マクロブロック：Ｎ１＝Ｎ
残留ビットバジェット：Ｂ１＝ＲＢ
モデルパラメータ：Ｋ１＝ＫＮ（同一タイプの最後の画像）
Ｃ１＝ＣＮ（同一タイプの最後の画像）
ＪＫ＝０
シーケンスの最初の画像に対しては、モデルパラメータＫ１及びＣ１はいくつかの前もって定義された値にセットされる。
【００５３】
２．マクロブロックレイヤのオペレーショナルな制御
２．１．目標量子化パラメータ設定
ｉ番目のマクロブロックに対する目標量子化ステップサイズＱｉ＊は
【００５４】
【数１９】
2007504727.tif 000020
に従って（［９］参照）セットされる。ただしここで、Ｑｍｉｎ及びＱｍａｘはシンタックスによってサポートされる最小及び最大量子化ステップサイズである。
【００５５】
目標量子化ステップサイズに基づいて、目標量子化パラメータＱＰｉ＊が
【００５６】
【数２０】
2007504727.tif 000021
に従って（［９］参照）セットされる。ただしここで、ＱＰｉ−１は最後のマクロブロックの量子化パラメータであり、ΔＱＰｍａｘは最大許容量子化器変化（シンタックスにより与えられるか又はユーザにより定義される）である。関数ｆＱ（．．）は量子化パラメータへの量子化ステップサイズの写像を指定する；これは基礎となるシンタックスに依存する。
【００５７】
２．２．マクロブロック動き推定及びモード判定
マクロブロックｉの動き推定及びモード判定に使用されるラグランジュ乗数は、次のように選択された目標量子化パラメータに基づいて［５］に従ってセットされる：
【００５８】
【数２１】
2007504727.tif 000022
全ての動き補償されたマクロブロック／ブロックモードにおいて、関連付けられた動きベクトルｍｉ及び参照インデックスｒｉ（Ｈ．２６３ Annex U 及びＨ．２６４／ＡＶＣ）はラグランジュ汎関数（（２）参照）
【００５９】
【数２２】
2007504727.tif 000023
を最小化することによって得られ、ただしここで歪み項は
【００６０】
【数２３】
2007504727.tif 000024
として与えられる。ここで、Ｒは復号化された画像バッファに格納された参照画像のセットを示し、Ｍは参照画像内の動きベクトル探索範囲を指定し、ｔｒは参照インデックスｒにより参照される参照画像のサンプリング時間であり、ｓ（．．．，ｔ）及びｓ’（．．．，ｔｒ）はそれぞれ原画像及び復号化された参照画像のルミナンス信号を表し、ＲＭＶ（ｉ，ｍ，ｒ）は動きベクトルｍ＝［ｍｘ，ｍｙ］Ｔの全成分ならびに参照インデックスｒを伝送するために必要とされるビット数を指定する。
【００６１】
所与のマクロブロック（ブロック）のマクロブロック（又はブロック）モードの決定は基本的に同じアプローチに従う。可能なマクロブロック／ブロックモードの所与のセットＳｍｏｄｅにおいて、次のラグランジュコスト関数
【００６２】
【数２４】
2007504727.tif 000025
を最小化するモードｐｉが選択される。
【００６３】
歪み尺度は原マクロブロック／ブロックサンプルｓと再構成されたサンプルｓ’との間の差の二乗の総和を表し、
【００６４】
【数２５】
2007504727.tif 000026
である。ただしここで、Ｂは相応するマクロブロック／ブロックサンプルのセットを指定する。Ｒａｌｌ（ｉ，ｐ｜ＱＰｉ＊）はモードｐ及び量子化パラメータＱＰｉ＊を選択することに関連するビット数であり、これはマクロブロックヘッダ、動きベクトル及び参照インデックスならびに全てのルミナンス及びクロミナンスブロックの量子化された変換係数のためのビットを含む。
【００６５】
２．３．量子化パラメータの最終設定
マクロブロックシンタックス要素を伝送するために使用される量子化パラメータＱＰｉは選択されたマクロブロックモード及び量子化された変換係数のようなそれの関連パラメータに依存する。もしシンタックスが選択されたマクロブロックパラメータに対する量子化器の変化を許可するならば、ＱＰｉ＝ＱＰｉ＊が選択される。さもなければ、最後のマクロブロックの量子化パラメータをとる：ＱＰｉ＝ＱＰｉ−１。
【００６６】
２．４．オペレーショナルなマクロブロックレイヤ制御のモデルアップデート
マクロブロックの符号化が完了した後で、オペレーショナルな符号器制御のモデルパラメータがアップデートされる。第１のステップにおいて、いわゆるマクロブロックパラメータＫＭＢ及びＣＭＢが
【００６７】
【数２６】
2007504727.tif 000027
本発明により計算される。ただしここで、Ｑｉ＊＊は目標量子化パラメータＱＰｉ＊に対応する量子化ステップサイズを示し：
【００６８】
【数２７】
2007504727.tif 000028
である。Ｒａｌｌは全てのシンタックス要素を含む考察されるマクロブロックを符号化するために使用されるビット数であり、さらに、
【００６９】
【数２８】
2007504727.tif 000029
は動きベクトル
【００７０】
【数２９】
2007504727.tif 000030
に関連するビット数であり、この動きベクトルは初期化ステップ（セクション１）で推定されたものである。現時点で符号化される画像の平均モデルパラメータＫＦ及びＣＦは
ＣＦ＝ＣＦ・（ｉ−１）／ｉ ＋ ＣＭＢ／ｉ                                  （１８）
ｉｆ（ＫＭＢ＞０ and ＫＭＢ＜１０００）
｛
ｊＫ＝ｊＫ  ＋ １    （１９）
ＫＦ＝ＫＦ・（ｊＫ−１）／ｊＫ  ＋ ＫＭＢ／ｊＫ    （２０）
｝
（［９］参照）によってセットされる。これらのパラメータに基づいて、後続のマクロブロックを符号化するために使用されるモデルパラメータが以下のように（［９］参照）：
残留複雑性尺度      ：Ｓｉ＋１＝Ｓｉ−αｉ・σｉ
残留マクロブロック  ：Ｎｉ＋１＝Ｎｉ−１
残留ビットバジェット：Ｂｉ＋１＝Ｂｉ−Ｒａｌｌ，ｉ
モデルパラメータ    ：Ｋｉ＋１＝ＫＦ・ｉ／Ｎ ＋ Ｋ１・（Ｎ−ｉ）／Ｎ    （２１）
Ｃｉ＋１＝ＣＦ・ｉ／Ｎ ＋ Ｃ１・（Ｎ−ｉ）／Ｎ    （２２）
アップデートされる。
【００７１】
３．実験結果
本発明の新しい符号化ストラテジの効率は、（シーケンス全体に対して量子化パラメータの固定された値の）ラグランジュ最適化だけを使用する符号化ストラテジとの比較によりＨ．２６４／ＡＶＣにおいてデモンストレートされる。双方の符号器はシーケンスの開始において１つのＩｎｔｒａ画像だけを使用し、後続の全ての画像は予測符号化されたＰ画像として符号化される。両方のケースにおいて、５つの参照画像が使用される。動き推定は［−３２．．．３２］×［−３２．．．３２］サンプルの範囲に亘るlogarithmic integer-pixel search及び後続の１／２及び１／４画素リファインメント（half- and quarter-pixel refinement）によって行われる。エントロピー符号化がコンテキスト適応バイナリ算術符号化（ＣＡＢＡＣ）を使用して行われる。
【００７２】
本発明の新しい符号化ストラテジでは、次のようなシンプルなグローバルレート制御技術が使用された。符号化すべき画像数Ｎ、ｋｂｉｔ／ｓｅｃ単位で目標平均ビットレートＲ、Ｈｚ単位で画像レートＦとすると、最初のＩｎｔｒａ画像ｉ＝１に対する目標ビット数Ｂ１＊は
Ｂ１＊＝６０００・Ｎ・Ｒ／（Ｆ・（Ｎ＋５））
によって決定される。残りの全てのＰ画像ｉ＞１に対しては、目標ビットバジェットは
【００７３】
【数３０】
2007504727.tif 000031
にセットされる。ただしここで、Ｂｋはｋ番目の画像により実際に消費されるビット数を示す。
【００７４】
図１及び２では、両方の符号器のレート歪みパフォーマンスが異なる特性を有する２つのテストシーケンスにおいて比較されている。これらの曲線はルミナンス成分の平均ＰＳＮＲと完全なビットストリームの測定された平均ビットレートとの関係を示す。本発明により提案される符号化ストラテジはレート制御なしのレート歪み最適化された符号器［８］と同じレート歪み効率を仮想的に提供し同時に目標ビットレートが正確にヒットさていることが見て取れる。本発明により提案された符号器において得られた平均ビットレートは目標ビットレートと共に図３のテーブル１に示されている。
【００７５】
【表１】
2007504727.tif 000032
【図面の簡単な説明】
【００７６】
【図１】Foremanシーケンス（QCIF, 10 pictures per second）におけるレート制御なしのレート歪み最適化された符号化ストラテジ［８］（実線で表示）と比較した本発明で提案される符号化ストラテジ（点で表示）のレート歪みパフォーマンスである。
【図２】Tempeteシーケンス（CIF, 30 pictures per second）におけるレート制御なしのレート歪み最適化された符号化ストラテジ［８］（実線で表示）と比較した本発明で提案される符号化ストラテジ（点で表示）のレート歪みパフォーマンスである。
【図３】本発明で提案される符号化ストラテジにおける目標ビットレートと比較した実際に得られた平均ビットレートである。
【図１】
2007504727.tif 000046
【図２】
2007504727.tif 000047
【図３】
2007504727.tif 000048
【国際調査報告】
2007504727.tif 000049
2007504727.tif 000050
2007504727.tif 000051
2007504727.tif 000052