(57)【要約】最適化ビット割り当ては、符号化効率を上げるために、すなわち利用可能なデータレートの最適な利用のために、ビデオ圧縮における重要な問題である。人間の視覚系の観点では、人間は通例、画像の一部分に他の部分よりも多く注意を払う。したがって、ビット割り当ては、注目が異なる諸画像領域（GOBi）について最適化されるべきである。本発明のゆがみ駆動のビット割り当て方式は、符号化／復号誤差ゆがみを、人間の視覚系と整合するように画像領域に割り当て、ビットレートの制約条件も満足させる。本発明は、ゆがみ／ビットレート／ρ量子化パラメータのヒストグラム解析を使う。対応するテーブル（DGOBi[QPn]、RGOBi[QPn]およびρGOBi[QPn]）に基づいて、注目が異なる諸領域について、量子化パラメータ、レート、ゆがみおよび0でない係数の割合の間の関係が決定される（PREALUTI、DISALL、RALL）。その後、ρ領域ビットレート制御が各マクロブロック・グループ内でのビット割り当てを計算するために使われる（RDBALL）。
2009528738.tif 000002
【特許請求の範囲】
【請求項１】
変換および変換係数ブロックの量子化を含む画像信号エンコードにおいて、画像中のピクセル・ブロックの諸グループ（GOBi）についてビット割り当てを決定（RALL、RDBALL）する方法であって、前記画像はピクセル・ブロックの規則的なグリッドに分割され、ピクセル・ブロックの前記諸グループ（GOBi）は、前記画像におけるピクセル・ブロックの対応する任意形状の領域の異なる注目重要さレベル（Mi）に属し、ピクセル・ブロックの各グループのエンコード／デコードゆがみは、基本的にはピクセル・ブロックのそのグループについての注目重要さレベルに比例するように制御され、ビット予算（Rf）がエンコードされた画像について与えられ、前記量子化は量子化パラメータ（QP）によって制御され、本方法は：
・現在画像について、前記量子化パラメータ（QP）の諸候補に関し、ピクセル・ブロックの各グループ（GOBi）について、推定されるゆがみについて（DGOBi[QPn]）およびビットレートについてRGOBi[QPn]、ならびに前記量子化後の振幅が0の係数の数についてρGOBi[QPn]、のテーブルまたはリストまたは関数を確立する段階と；
・ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）について、推定されるゆがみについて（DGOBi[QPn]）およびビットレートについて（RGOBi[QPn]）の前記テーブルまたはリストまたは関数を使って対応するゆがみ分布
（外１）
2009528738.tif 000027
を計算し、次の段階からの出力も使って、前記ビット予算（Rf）に達するために前記ゆがみ分布を修正する段階と、
・推定されるゆがみについて（DGOBi[QPn]）およびビットレートについて（RGOBi[QPn]）の前記テーブルまたはリストまたは関数に基づいて、かつ前記計算されたゆがみ分布に基づいて、ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）について推定されたビットレート
（外２）
2009528738.tif 000028
を計算する段階と、
・ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）について、前記推定されたビットレートおよび振幅が0の係数の数についての前記テーブルまたはリストまたは関数（ρGOBi[QPn]）を使って、ρ領域ビット割り当てを実行し、ピクセル・ブロックを量子化およびエンコードするために前記量子化パラメータ（QP）のうちの対応するものを決定する段階とを含む、
ことを特徴とする方法。
【請求項２】
変換および変換係数ブロックの量子化を含む画像信号エンコードにおいて、画像中のピクセル・ブロックの諸グループ（GOBi）についてビット割り当てを決定（RALL、RDBALL）する装置であって、前記画像はピクセル・ブロックの規則的なグリッドに分割され、ピクセル・ブロックの前記諸グループ（GOBi）は、前記画像におけるピクセル・ブロックの対応する任意形状の領域の異なる注目重要さレベル（Mi）に属し、ピクセル・ブロックの各グループのエンコード／デコードゆがみは、基本的にはピクセル・ブロックのそのグループについての注目重要さレベルに比例するように制御され、ビット予算（Rf）がエンコードされた画像について与えられ、前記量子化は量子化パラメータ（QP）によって制御され、本装置は：
・現在画像について、前記量子化パラメータ（QP）の諸候補に関し、ピクセル・ブロックの各グループ（GOBi）について、推定されるゆがみについて（DGOBi[QPn]）およびビットレートについてRGOBi[QPn]、ならびに前記量子化後の振幅が0の係数の数についてρGOBi[QPn]、のテーブルまたはリストまたは関数を確立するよう適応された手段（PREALUTI）と；
・ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）について、推定されるゆがみについて（DGOBi[QPn]）およびビットレートについて（RGOBi[QPn]）の前記テーブルまたはリストまたは関数を使って対応するゆがみ分布
（外３）
2009528738.tif 000029
を計算し、次の段階からの出力も使って、前記ビット予算（Rf）に達するために前記ゆがみ分布を修正するよう適応された手段（DISALL）と、
・推定されるゆがみについて（DGOBi[QPn]）およびビットレートについて（RGOBi[QPn]）の前記テーブルまたはリストまたは関数に基づいて、かつ前記計算されたゆがみ分布に基づいて、ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）について推定されたビットレート
（外４）
2009528738.tif 000030
を計算するよう適応された手段（RALL）と、
・ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）について、前記推定されたビットレートおよび振幅が0の係数の数についての前記テーブルまたはリストまたは関数（ρGOBi[QPn]）を使って、ρ領域ビット割り当てを実行し、ピクセル・ブロックを量子化およびエンコードするために前記量子化パラメータ（QP）のうちの対応するものを決定するよう適応された手段（RDBALL）
とを含む、
装置。
【請求項３】
前記ピクセル・ブロックがマクロブロックである、請求項１記載の方法または請求項２記載の装置。
【請求項４】
前記エンコードされた画像がISO/IEC  14496-10  AVCでエンコードされた画像シーケンスの一部である、請求項１もしくは３記載の方法または請求項２もしくは３記載の装置。
【請求項５】
前記量子化パラメータ（QP）が量子化器のきざみの大きさ（step  size）である、請求項１、３および４のうちいずれか一項記載の方法または請求項３ないし５のうちいずれか一項記載の装置。
【請求項６】
ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）について対応するゆがみ分布を計算する前記段階または機能は：
・異なる注目レベル領域における異なるゆがみレベルを顧慮することなく、ピクセル・ブロックの各グループ（GOBi）について対応する初期ゆがみ値
（外５）
2009528738.tif 000031
を計算することと；
・ゆがみ単位
【数１】
2009528738.tif 000032
を計算し、ここで、Miはピクセル・ブロックの対応するグループ（GOBi）についての注目重要さレベルで、Kiはピクセル・ブロックの対応するグループ（GOBi）におけるピクセル・ブロックの数であり、Nは注目レベルの数である、ことと；
・ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）について、前記のDuの値から
【数２】
2009528738.tif 000033
によって洗練されたゆがみ分布を計算し、それにより前記ゆがみ分布を修正する前記段階がここで行われることとを含む、
請求項１および３ないし５のうちいずれか一項記載の方法または請求項２ないし５のうちいずれか一項記載の装置。
【請求項７】
ピクセル・ブロックの前記諸グループのそれぞれ（GOBi）についてρ領域ビット割り当てを実行する段階または機能が：
【数３】
2009528738.tif 000034
を計算し、ここで、Nicはピクセル・ブロックの現在のグループの符号化されたピクセル・ブロックの数、RicはこれらのNic個のピクセル・ブロックをエンコードするために使われるビット数、Kiはピクセル・ブロックの現在のグループのピクセル・ブロックの総数である、ことと；
・前記量子化後の振幅が0の係数の数についての前記テーブルまたはリストまたは関数（ρGOBi[QPn]）から、対応する量子化パラメータ（QP）を決定することと；
・振幅が0の係数の数についての前記テーブルまたはリストまたは関数（ρGOBi[QPn]）およびパラメータθを、すでにエンコードされたピクセル・ブロックに基づいて
【数４】
2009528738.tif 000035
によって更新し、ここで、ρicは前記符号化されたNic個のピクセル・ブロックにおける量子化された0の係数の数である、こととを含む、
請求項１および３ないし６のうちいずれか一項記載の方法または請求項２ないし６のうちいずれか一項記載の装置。
【請求項８】
請求項１および３ないし７のうちいずれか一項記載の方法を使ってエンコードされたデジタル・ビデオ信号。
【請求項９】
請求項１および３ないし７のうちいずれか一項記載の方法に基づいてエンコードされたデジタル・ビデオ信号を含むまたは記憶するまたは記録している光ディスクなどの記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号エンコードにおいてピクセル・ブロックの諸グループについてのビット割り当てを決定するための方法および装置に関する。ここで、ピクセル・ブロックのこれらのグループは、画像中のピクセル・ブロックの対応する任意形状の領域の異なる注目重要さレベルに属する。
【背景技術】
【０００２】
最適化ビット割り当て（optimised  bit  allocation）は、符号化効率を上げるために、すなわち利用可能なデータレートの最適な利用のために、ビデオ圧縮における重要な問題である。限られたビットレートに関して最良の知覚上の品質を達成することが最適化ビット割り当ての目標である。人間の視覚系の観点では、人間は通例、画像の一部分に他の部分よりも多く注意を払う。画像中で知覚的な敏感領域である「注目領域（attention  area）」は、より人間の注目を捉える傾向がある。このことは、たとえばL.  Itti,  Ch.  Koch,  E.  Nibur,  "A  Model  of  Saliency-Based  Visual  Attention  for  Rapid  Scene  Analysis",  IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  Vol.  20,  No.  11,  Nov.  1998に記載されている。したがって、注目が異なる画像領域の異なる知覚上の重要さに基づく最適なビット割り当ては、ビデオ圧縮技術における研究トピックとなっている。
【０００３】
たとえば、MPEG2およびMPEG4におけるマクロブロック層のビットレート制御は、現在フレームの全マクロブロックについて（変換後の）量子化きざみの大きさQstepの値を、それらのマクロブロックについて使われたビットの合計がフレーム目標ビットレートBに近くなるように選択する。MPEG2およびMPEG4はQstepについて31の異なる値をサポートする。MPEG4  AVCでは、合計52のQstepの値が規格によってサポートされており、これらは量子化パラメータ値QPによって指定される。
【０００４】
Ch.  W.  Tang,  Ch.  H.  Chen,  Y.  H.  Yu,  Ch.  J.  Tsai,  "A  novel  visual  distortion  sensitivity  analysis  for  video  encoder  bit  allocation",  ICIP  2004,  Volume  5,  24-27  Oct.  2004,  pp  .3225-3228は、視覚的なゆがみ感度、すなわち人間の視覚が動いている場面におけるゆがみを検出する能力についての記述を提案している。このときのビット割り当て方式は、公式：
QPN＝QP＋(1−VDSi,j／255)×Δq      (1)
を使うことによって非常に単純であり、ここで、QPはレート制御によって割り当てられる初期量子化パラメータ、ΔqはQPの修正を制限するためのパラメータ、VDSi,jは画像中の(i,j)番目のマクロブロック（MBと記す）の視覚的なゆがみ感度値、QPNは洗練された量子化パラメータである。このビット割り当て方式は粗く、単純であり、精密なビットレート制御およびゆがみ分布制御を考慮に入れていない。
【０００５】
S.  Sengupta,  S.  K.  Gupta,  J.  M.  Hannah,  "Perceptually  motivated  bit-allocation  for  H.264  encoded  video  sequences",  ICIP  2003では、画像が前景と背景に分割され、その際、前景品質については目標ゆがみ（target  distortion）Dtarがあらかじめ決められており、背景品質については保証はない。背景の品質は前景からの距離の関数として変化する。劣化の割合は視覚的感度因子
S＝e-d/a      (2)
によって制御される。ここで、aは背景劣化の低下率を制御する定数であり、dはある背景ピクセルの、最も近い前景ピクセルからの距離である。この方式は、人間の視覚系と整合するゆがみ分布を与えようとするものであるが、その性能は使用されるモデルの精度の制約を受け、いかにしてDtarを取得し、所定のビット予算のもとで所与の式に従って品質劣化を保つかを説明しない。
【０００６】
ビット予算の制約のある最適化ビット割り当ての問題を解決するために、典型的なビット割り当てアルゴリズムは、ラグランジュ乗数処理を用いたレート‐ゆがみ最適化に基づく。これは、レートRがRT未満という制約を用いて総ゆがみDを最小化するという制約最適化問題として：
【数５】
2009528738.tif 000003
のような表現を使って記述できる。ここで、DiおよびRiは各単位i（MBまたは注目領域）のゆがみ（distortion）およびビットレート（bit  rate）である。
【０００７】
各MBのレートおよびゆがみが上で記述したようなエンコード・パラメータの選択のみに依存するとすると、式(3)の最適化は各MBのコストを別個に最小化すること：
min  Ji：Ji＝Di＋λ×Ri      (4)
に単純化できる。
【０００８】
各MBの符号化モード決定におけるラグランジュ乗数を公式：
λ′＝α×λ      (5)
に従って修正することに基づく最適化ビット割り当て方式を使うことが提案されている。ここで、αは知覚上の重要さの異なるレベルに従ってラグランジュ乗数を修正するためのスケーリング因子である。最適化ビット割り当てを実行するために異なる注目領域のゆがみに異なる重み付け因子Wiを加えることも提案されている：
【数６】
2009528738.tif 000004
ここで、レートおよびひずみのモデルは：
【数７】
2009528738.tif 000005
のようなρ領域のビットレート制御モデルに基づいて推定できる。式(7)を式(6)に代入してビット割り当てのための最適化された解を得ることができる。
式(8)：
【数８】
2009528738.tif 000006
に示されるようにガウス分布に基づくレート‐ゆがみモデルを使ってビット割り当てについての最適結果を得ることも知られている。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、既知の方法は、ゆがみ分布を、人間の視覚系の性質により整合させるよう著しく影響することはできない。たとえば、異なる注目領域についてその人間の目に対する異なる重要さに従って異なる重み付け因子Wiを使うことは、本当にゆがみ分布にしかるべく影響することはできない。さらに、既知の方法は、よりよい性能を得るために十分（特にMBレベルで）精確ではない。
【００１０】
さらに、既知の方法は、ゆがみ分布とビット割り当て制約との間の良好な兼ね合いを保つのに問題がある。
【００１１】
本発明によって解決されるべき問題は、ビデオ信号エンコードにおけるビットレート制御のための改良されたゆがみ駆動のビット割り当てを提供することである。この問題は、請求項１で開示される方法によって解決される。この方法を使う装置は請求項２で開示される。
【課題を解決するための手段】
【００１２】
本発明のゆがみ駆動のビット割り当て方式は、符号化／復号誤差ゆがみを、人間の視覚系と整合するように画像領域に割り当て、ビットレートの制約条件も満足させる。「ゆがみ駆動の（distortion-driven）」とは、ビットレート制約条件のもとで、最適化された符号化／復号誤差ゆがみ分布を達成するビット割り当てを意味する。それにより、主たる目標は、総ゆがみを最小化することではない。本発明は、画像内のゆがみ分布を、人間の視覚の性質と、より整合するようにし、それにより限られたビットレートでずっとよい主観的な品質を達成するか、一貫した主観的品質を維持しながらビットレートを下げることを許容する。
【００１３】
本発明は、ゆがみ／ビットレート／ρ量子化パラメータのヒストグラム解析を使う。そのようなヒストグラム解析に基づいて、量子化パラメータ、レート、ゆがみおよび0でない係数の割合の間の関係が決定される。ゆがみ割り当て方式は、残差信号（モード決定およびイントラまたはインター予測後で、変換および量子化前の）のガウス分布を想定することに基づく。次いでρ領域（ρ-domain）ビットレート制御が各マクロブロック・グループ（GOB:  group  of  macroblocks）内でのビット割り当てを計算するために使われる。
【００１４】
原理としては、本発明の方法は、変換および変換係数ブロックの量子化を含む画像信号エンコードにおいて、画像中のピクセル・ブロックの諸グループについてビット割り当てを決定するために好適である。ここで、前記画像はピクセル・ブロックの規則的なグリッドに分割され、ピクセル・ブロックの前記諸グループは、前記画像におけるピクセル・ブロックの対応する任意形状の領域の異なる注目重要さレベルに属する。ここで、ピクセル・ブロックの各グループのエンコード／デコードゆがみは、基本的にはピクセル・ブロックのそのグループについての注目重要さレベルに比例するように制御されることになる。ここで、ビット予算がエンコードされた画像について与えられ、前記量子化は量子化パラメータによって制御され、本方法は：
・現在画像について、前記量子化パラメータの諸候補に関し、ピクセル・ブロックの各グループについて、推定されるゆがみについておよびビットレートについてならびに前記量子化後の振幅が0の係数の数についてのテーブルまたはリストまたは関数を確立する段階と；
・ピクセル・ブロックの前記諸グループのそれぞれについて、推定されるゆがみについておよびビットレートについての前記テーブルまたはリストまたは関数を使って対応するゆがみ分布を計算し、次の段階からの出力も使って、前記ビット予算に達するために前記ゆがみ分布を修正する段階と、
・推定されるゆがみについておよびビットレートについての前記テーブルまたはリストまたは関数に基づいて、かつ前記計算されたゆがみ分布に基づいて、ピクセル・ブロックの前記諸グループのそれぞれについて推定されたビットレートを計算する段階と、
・ピクセル・ブロックの前記諸グループのそれぞれについて、前記推定されたビットレートおよび振幅が0の係数の数についての前記テーブルまたはリストまたは関数を使って、ρ領域ビット割り当てを実行し、ピクセル・ブロックを量子化およびエンコードするために前記量子化パラメータのうちの対応するものを決定する段階とを含む。
【００１５】
原理としては、本発明の装置は、変換および変換係数ブロックの量子化を含む画像信号エンコードにおいて、画像中のピクセル・ブロックの諸グループについてビット割り当てを決定するために好適である。ここで、前記画像はピクセル・ブロックの規則的なグリッドに分割され、ピクセル・ブロックの前記諸グループは、前記画像におけるピクセル・ブロックの対応する任意形状の領域の異なる注目重要さレベルに属する。ここで、ピクセル・ブロックの各グループのエンコード／デコードゆがみは、基本的にはピクセル・ブロックのそのグループについての注目重要さレベルに比例するように制御されることになる。ここで、ビット予算がエンコードされた画像について与えられ、前記量子化は量子化パラメータによって制御され、本装置は：
・現在画像について、前記量子化パラメータの諸候補に関し、ピクセル・ブロックの各グループについて、推定されるゆがみについておよびビットレートについてならびに前記量子化後の振幅が0の係数の数についてのテーブルまたはリストまたは関数を確立するよう適応された手段と；
・ピクセル・ブロックの前記諸グループのそれぞれについて、推定されるゆがみについておよびビットレートについての前記テーブルまたはリストまたは関数を使って対応するゆがみ分布を計算し、次の段階からの出力も使って、前記ビット予算に達するために前記ゆがみ分布を修正するよう適応された手段と、
・推定されるゆがみについておよびビットレートについての前記テーブルまたはリストまたは関数に基づいて、かつ前記計算されたゆがみ分布に基づいて、ピクセル・ブロックの前記諸グループのそれぞれについて推定されたビットレートを計算するよう適応された手段と、
・ピクセル・ブロックの前記諸グループのそれぞれについて、前記推定されたビットレートおよび振幅が0の係数の数についての前記テーブルまたはリストまたは関数を使って、ρ領域ビット割り当てを実行し、ピクセル・ブロックを量子化およびエンコードするために前記量子化パラメータのうちの対応するものを決定するよう適応された手段とを含む。
【００１６】
本発明のさらなる有利な実施形態はそれぞれの従属請求項において開示される。
【００１７】
本発明の例示的な実施形態について、付属の図面を参照して述べる。
【発明を実施するための最良の形態】
【００１８】
上述したように、人間は画像の一部分にその画像の他の部分よりも多く注意を払う。人間のより多くの注目を受ける部分は「注目領域」と呼ばれる。L.  Itti  et  al.からの上述の論文およびEP出願05300974.2では、所与の画像の視覚的な入力から一組のグレーレベル特徴マップが抽出される。これらの特徴は強度、色、配向などを含む。その際、各特徴マップにおいて、最も顕著な諸領域が拾い出される。最後に、すべての特徴マップが純粋にボトムアップの仕方でマスター「顕著性マップ（saliency  map）」に統合され、このマスター顕著性マップが画像の注目情報と見なされる。そこから注目マスクが各画像について得られる。このマスクがその画像の対応する諸領域の異なる注目重要さレベルを記述する。
【００１９】
図１は、画像中のマクロブロックを注目重要さの四つのレベルMiのセット（i＝1,...,4）に分割する例示的な注目マスクを示している。白いブロックにはレベルM4が割り当てられ、軽くハッチングされたブロックにはレベルM3が割り当てられ、強くハッチングされたブロックにはレベルM2が割り当てられ、斜めにハッチングされたブロックにはレベルM1が割り当てられている。Mi値が大きいほど視覚的な重要性が低い領域なので、より大きなゆがみが許容できることを意味する。たとえば、N＝2、M1＝1およびM2＝2の場合、背景のゆがみレベル（レベル2）は前景のゆがみレベル（レベル1）の2倍であることができるということを意味する。
【００２０】
レベルの組および対応する視覚的重要さの値Miをどのように計算するかはここでは詳述しない。ビット割り当て方式は、Mi（i＝1,...,N）について注目マスクが得られているという想定を基礎とすることができる。ここで、Nは注目レベルの数である。
【００２１】
基本的に、ゆがみ駆動のビット割り当て問題は次のように述べることができる：
注目マスクに基づけば、画像は、異なる注目またはマスク値Miに従ってN個のGOB（group  of  macroblocks［マクロブロック・グループ］）に分割できる。各GOBiはKi個のマクロブロック（MBと記す）を含み、
【数９】
2009528738.tif 000007
であり、ここでNMBは一画像中でのMBの総数である。任意のフレーム・レベルのビットレート制御から導出できるフレーム・ビット予算Rfでは、本発明の処理は、GOBi中の各MBについて、対応する注目マスク値Miに従ってゆがみ（バー付きのDi）を、これら二つの制約：
【数１０】
2009528738.tif 000008
によって割り当てる。ここで、バー付きのRiは各GOBiに割り当てられたビットレート、Duは各MBについての一定のゆがみ単位（distortion  unit）である。式(9)は、各GOBiのゆがみは（基本的には）その注目マスク値に比例するということを意味しており、それならゆがみ分布は人間の知覚と整合するであろう。式(10)は、フレームまたは画像の全ビット予算Rfがこの場合に満たされているべきであることを意味している。したがって、本発明は、視覚的な注目解析に基づくゆがみ駆動のビット割り当て方式を提供する。結果として得られるゆがみおよびビットレートは式(9)および(10)の要請を満たすべきである。
【００２２】
図２では、本発明の内容に基づくゆがみ駆動のビット割り当て方式（CDBA）についてのフローチャートが描かれている。注目領域モデルを構築することについては、たとえば上述のL.  Itti  et  al.の論文およびEP出願05300974.2など多くの研究業績が発表されいるので、注目マスクはすでに得られており、画像はN個のGOBに分割されており、フレーム・ビット予算Rfが任意のフレーム・レベルまたはフィールド・レベルのレート制御アルゴリズムから導出されていると想定する。次いで、ゆがみ駆動のビット割り当てを計算するために以下のステップが実行される。
【００２３】
ステップ１）事前解析および探索テーブル初期化（pre-analysis  and  look-up  table  initialisation）PREALUTI
現在処理されている画像について、各GOBi（i＝1,...,N）について、ヒストグラム解析アルゴリズムに基づいて、各GOBについて、三つの探索テーブルまたはリストまたは関数DGOBi[QPn]、RGOBi[QPn]およびρGOBi[QPn]が決定される。ここで、QPnは候補量子化パラメータ、DGOBi[QPn]は推定されるゆがみ（単位はMB当たりの平均ゆがみ）、RGOBi[QPn]は量子化パラメータQPnのもとでの各GOBiのビットレート、ρGOBi[QPn]は量子化パラメータQPnを使った量子化後にGOBiの振幅が0の係数の数である。
【００２４】
ステップ２）ゆがみ割り当て（distortion  allocation）DISALL
ステップ２．１）一定ビットレートのもとでゆがみ分布の推定（estimate  distortion  distribution  under  constant  bit  rate）ESTDDISTR
各GOBiがKi個のMBを含み、
【数１１】
2009528738.tif 000009
であり、ここでNMBは一画像中でのMBの総数である。このとき、定ビットレート（CBR:  Constant  Bit  Rate）出力の場合（すなわち、異なる注目レベルの領域における異なるゆがみレベルを考えない）、各GOBiについての割り当てられるビットレートは、Ri＝Rf×Ki／NMBであるべきである。したがって、各GOBiについての対応する初期ゆがみ値
【数１２】
2009528738.tif 000010
は、テーブルDGOBi[QPn]およびRGOBi[QPn]を探索する（look  up）ことによって導出できる。このゆがみ値は、以下では、制約ビット予算とのゆがみ乗算値として使われる。
【００２５】
ステップ２．２）ゆがみ単位の計算（calculate  distortion  unit）CALLDU
残差信号の振幅（すなわち、変換された予測誤差信号）がガウス分布および対応するレートゆがみモデル（W.  Lai,  X.  D.  Gu,  R.  H.  Wang,  W.  Y.  Ma,  H.  J.  Zhang,  "A  content-based  bit  allocation  model  for  video  streaming",  ICME  '04,  2004  IEEE  International  Conference  on  Multimedia  and  Expo,  Volume  2,  27-30  June  2004,  pp.  1315-1318参照）をもつとの想定に基づき、ゆがみ単位Duを得るために次の公式：
【数１３】
2009528738.tif 000011
を使うことができる。
【００２６】
ステップ２．３）洗練されたゆがみ分布を取得（get  the  refined  distortion  distribution）GREFDDIRTR
GOBi中の各MBについての割り当てられるゆがみ（バー付きのDi）を、公式(9)：
【数１４】
2009528738.tif 000012
を使うことによって得る。ガウス分布という想定の不正確さのため、所与のビット予算に達するためにステップ３）からのフィードバックに基づいて小規模な修正が実行されることができる。
【００２７】
各量子化パラメータのもとでのゆがみまたはビットレートは離散的であるはずで、厳密なゆがみ値を上記の公式(9)のもとで達成することはできないので、事前解析ステップ１）で生成された探索テーブルを使うことができ、ゆがみの値（バー付きのDi）は、そのゆがみ探索テーブルにおいてDu×Miの推定された値に最も近くなるよう適応される。
【００２８】
ステップ３）からのフィードバックに関し、ステップ３）における推定されたビットレート（バー付きのRi）がビット予算より大きいまたは小さい場合は、所与のビット予算に達するために、ステップ２）において、探索テーブルにおける近接値（Du×Miに近い）をチェックすることによって、何らかの修正が実行されることができる。
【００２９】
ステップ３）ビットレート割り当て（bit  rate  allocation）RALL
DGOBi[QPn]およびRGOBi[QPn]のテーブルならびにステップ２）からの
【数１５】
2009528738.tif 000013
に基づいて、各GOBiについて（i＝1,...,N）、推定されるレート
【数１６】
2009528738.tif 000014
は直接的に得ることができる。そして推定される結果は、ビット予算に達するために割り当てられるレートに対する何らかの小規模な訂正を行うために、ステップ２．３）にフィードバックされる。
【００３０】
ステップ４）各GOBi内でのρ領域ビット割り当て（Rho-domain  bit  allocation  inside  each  GOBi）RDBALL
ステップ４．１）量子化パラメータ決定（quantisation  parameter  determination）QPDET
Z.  He  and  S.  K.  Mitra,  "A  linear  source  model  and  a  unified  rate  control  algorithm  for  DCT  video  coding",  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  Vol.  12,  No.  11,  Nov.  2002,  pp.  970-982におけるρ領域レート制御モデルと同様に、GOBi内の残っているMBを量子化することによって生成されるべき0の数は：
【数１７】
2009528738.tif 000015
となるべきである。ここで、Nicは現在の画像中のGOBiの符号化されたMBの数、RicはこれらのNic個のMBをエンコードするために使われるビット数、KiはGOBiのMBの総数である。
【００３１】
テーブルρGOBi[QPn]を探索して、量子化パラメータQPが決定される。次いで、現在のMBがそのQP値を使って量子化され、エンコードされる。
【００３２】
ステップ４．２）パラメータを更新（update  parameters）UPDPAR
すでにエンコードされたMBに従ってパラメータθおよびρGOBi[QPn]の更新：
【数１８】
2009528738.tif 000016
ここで、ρicはこれらの符号化されたNic個のMBにおける量子化された0の係数の数である。その後、次のマクロブロックがエンコードされる。
【００３３】
以下では、ステップ１）ないし４）についての追加的な説明を与える。
【００３４】
ステップ１）事前解析および探索テーブル初期化
S.  H.  Hong,  S.  D.  Kim,  "Histogram-based  rate-distortion  estimation  for  MPEG-2  video",  IEE  Proceedings  Vision,  Image  Signal  Processing,  Vol.  146,  No.  4,  Aug.  1999,  pp.  198-205によって提案されたアルゴリズムに基づいて、ISO/IEC14496-10  AVC/H.264規格のためのヒストグラムに基づくレート‐ゆがみ推定が実行される。基本的な想定は：平均平方誤差（MSE:  mean  squared  error）で表したゆがみは適用される量子化パラメータの二乗に比例するということと、既存のビデオ符号化規格では通常、一様な量子化が使用されるということである。このとき、逐次反復アルゴリズムを使って、D(QPn)＝D(QPn-1)＋ΔD(QPn-1,QPn)に従って種々の量子化パラメータのゆがみを推定できる。ここで、ΔD(QPn-1,QPn)は、量子化パラメータがQPn-1からQPnに増加するときのゆがみの増分である。
【００３５】
その後、DCT係数の大きさ（magnitude）および関係するQPに基づいたヒストグラムまたはリストHist1→0[QPn]が現在のGOB（マクロブロック・グループ）について確立される。このヒストグラムは、QPnを適用するときには振幅量「1」に量子化されるが、次の量子化パラメータQPn+1を適用するときは振幅「0」に量子化されるDCT係数の数を表現する。
【００３６】
上記のヒストグラムまたはリストHist1→0[QPn]に基づいて、H.264/AVCについて、各量子化パラメータのもとでの0でない（non-zero）大きさの係数の数の探索テーブルを、公式
【数１９】
2009528738.tif 000017
によって簡単に確立できる。ここで、Ncoeffは、各単位（本発明ではGOB）における係数の総数である。
【００３７】
各量子化パラメータQPnには対応する量子化きざみ（quantisation  step）QPSnが属しており、これはたとえばH.264/AVC規格における対応する探索テーブルから導出できる。
【００３８】
二つの相続くQP値の間のゆがみ増分ΔD(QPn-1,QPn)を精確に推定するために、三つの場合が考慮される：
場合１）量子化された係数がQPnで0でない；
場合２）量子化された係数がQPn-1では0でないが、QPnでは0に量子化される；
場合３）量子化された係数がQPn-1で0。
【００３９】
場合１）については、ゆがみ増分は下記の公式を使って推定できる。残差信号が量子化レベル・ギャップ内に一様に分布しているとの想定に基づき：
【数２０】
2009528738.tif 000018
ここで、UD(QPn)は、一様分布の想定が存在する場合１）においてQPnによって導入されるゆがみであり、ΔE1(QPn)は、場合１）におけるQPn-1からQPnへのゆがみの増加を表す。
【００４０】
場合２）については、ゆがみ増分は下記の公式：
【数２１】
2009528738.tif 000019
を使って推定できる。
【００４１】
場合３）については、ゆがみ増分はない。
【００４２】
H.264/AVCでは、δnはイントラ16×16モードで使われるDC変換の場合、2×QPSn/3であり、イントラ符号化のその他の場合にはδn＝QPSn/3が使われ、インター符号化の場合にはδn＝QPSn/6が使われる。このとき、最終的なゆがみ増分は
ΔDe(QPn-1,QPn)＝ΔE1(QPn)＋ΔE2(QPn)
となる。
【００４３】
逐次反復的なゆがみ推定方法の初期値は
【数２２】
2009528738.tif 000020
である。すると、QPゆがみテーブルDGOBi[QPn]が確立できる。
【００４４】
上記のZ.  He  and  S.  K.  Mitraの論文から知られるように0でない振幅の係数の数は符号化されるビットの数に比例するので、線形モデルは非常によく当てはまる。したがって、確立されたリストNZCに基づいてビットレートを推定するために、線形モデルが使われる。
【００４５】
0でない係数の数が0であるときに符号化されるビットの数が0になると想定すると、対応する補間線は、線上の少なくとも二点が与えられれば固定できる。一つの基準点（reference  point）QPはQPrefに設定され、次いで符号化されるビットの真の（real）数Rbitsは、種々の複雑さおよび精確さの要請に従ってエントロピー符号化によってまたは周波数解析を通じて推定する（たとえば、Q.  Chen,  Y.  He,  "A  Fast  Bits  Estimation  Method  for  Rate-Distortion  Optimisation  in  H.264/AVC",  Picture  Coding  Symposium,  15-17  December  2004,  San  Francisco,  CA,  USAに従って）ことによって決定される。この線形モデルを探索テーブルNZC[QPn]と組み合わせれば、QP‐レート・テーブルRGOBi[QPn]は次の公式によって構築できる。
【数２３】
2009528738.tif 000021
次いで、0でないリストまたはテーブルNZC[QPn]に基づいて、次の公式：
【数２４】
2009528738.tif 000022
を使ってQP‐ρテーブルρGOBi[QPn]を簡単に取得できる。
【００４６】
ステップ２）ゆがみ割り当て
残差信号のガウス分布の想定に基づき、最適ビット割り当てにおいて式(8)のような単純化されたレート‐ゆがみモデルが使われてきた。式(8)および(10)に基づいて、一つの基本的な結論：
【数２５】
2009528738.tif 000023
に到達できる。
【００４７】
したがって、各GOBのゆがみの乗算結果は、所与のビット予算Rfでは一定に保たれるべきである。ステップ２．１）で述べたように、CBRの場合における各GOBiの
【数２６】
2009528738.tif 000024
は、テーブルDGOBi[QPn]およびRGOBi[QPn]を探索することによって簡単に導出でき、そのとき、式(14)および(9)に基づいて、
【数２７】
2009528738.tif 000025
となる。
【００４８】
【数２８】
2009528738.tif 000026
とすれば式(15)から式(11)を導くことができる。
【００４９】
画像内でコンテンツ属性に差があり、量子化レベルが離散的な値の有限の集合によって限定されているため式(8)は常に精確ではないので、ビット予算に達するために、ステップ３）からのフィードバックに基づいて何らかの小規模な修正がなされることができる。式(11)からの結果は、探索テーブルを使って最適化されたゆがみ割り当てを検索するための、常に良好な出発点となるべきである。
【００５０】
ステップ３）レート割り当て
このステップの結果は、ビット割り当てを洗練させるためにステップ２．３）にフィードバックされる。
【００５１】
ステップ４）各GOBi内でのビット割り当て
このステップは、ビット予算制約を精密に満たすために使われる。通例、ステップ３）でビット予算がすでに満たされていれば、探索テーブルRGOBi[QPn]から導出された対応する量子化パラメータを各GOBについて直接使用できる。しかしながら、（たとえばH.264/AVCにおいて）実際の符号化における量子化パラメータおよび符号化モードが事前解析プロセスにおけるものから異なっている場合、ビット予算を満たすためには更新のある精密なビット割り当てが必要とされる。したがって、ρ領域レート制御が、限られたビット予算をもってゆがみを分散させるための各GOB内での洗練されたビット割り当て方式として使われる。
【００５２】
フレーム・ベースではなく、本発明はインターレース式ビデオ信号についてフィールド・ベースの仕方で実行されることもできる。本発明はまた、マルチパス・レート制御ビデオ符号化（multi-pass  rate  control  video  coding）においておよび誤り回復性ビデオ符号化（error  resilience  video  coding）においても使用されることができる。
【図面の簡単な説明】
【００５３】
【図１】例示的な注目マスクを示す図である。
【図２】本発明の内容に基づくゆがみ駆動のビット割り当て（CDBA:  content  based  distortion  driven  bit  allocation）方式のためのフローチャートである。
【図１】
2009528738.tif 000036
【図２】
2009528738.tif 000037
【国際調査報告】
2009528738.tif 000038
2009528738.tif 000039