(57)【要約】【課題】  高い主観画像品質を達成し、とりわけ高いビットレートビデオ圧縮において詳細な又は複雑な画像内容のために利用可能なビットレートが制約されてしまう画像領域に対する多くのディテールを保存する改善された量子化マトリクスを生成することである。【解決手段】  上記課題は、候補量子化マトリクス内で、反復的に１つ又は複数のＡＣ係数除数を増大させ、ＡＣ係数除数の増大される除数ではない１つ又は複数の除数を減少させ、変化された除数に対して結果的に得られる画像符号化／復号化品質は改善されるか否かを測定し、イエスならばマーキング値をこの除数に割り当て、除数マーキング値からマトリクス状態値を計算し、反復回数が第１の閾値を越えるか又はマトリクス状態値が第２の閾値を越えたら最終候補量子化マトリクスを量子化マトリクスとして出力することによって解決される。【選択図】図３
2006180497.tif 000002
【特許請求の範囲】
【請求項１】
画像又は画像シーケンスを符号化するために使用される量子化マトリクス（Ｍ）を生成する（ＱＭＣ）ための方法であって、ピクセル差分ブロック又は予測されたピクセルブロック（ＰＭＤ）に関連付けられた変換（ＤＣＴ）された係数の符号化ブロックが前記量子化マトリクスを使用して量子化（Ｑ）又は付加的に逆量子化（ＱＥ−１）され、このマトリクスにおいて特定の除数が係数ブロック内の係数位置の各々１つに割り当てられている、画像又は画像シーケンスを符号化するために使用される量子化マトリクス（Ｍ）を生成する（ＱＭＣ）ための方法において、
該方法は、以下のステップ、すなわち、
変換されたＤＣ係数に対する１つの除数及び変換されたＡＣ係数に対する多数の除数を含む予め設定された量子化マトリクス（Ｍ０）を候補量子化マトリクス（ＴＭ）としてロードするステップ；
所与の画像又は画像シーケンスに対して、又は、所与の画像又は画像シーケンスのスライスに対して、反復的に、
ａ）前記候補量子化マトリクス（ＴＭ）において１つ又は複数の前記ＡＣ係数除数を増大させ、他方で前記候補量子化マトリクス（ＴＭ）において前記ＡＣ係数除数の増大される除数ではない１つ又は複数の除数を減少させ、
ｂ）結果的に得られるアップデートされた候補量子化マトリクス（ＴＭ）の変化された除数に対して、アップデートされた候補量子化マトリクスを前記符号化に適用する場合に結果的に得られる画像符号化／復号化品質は改善されるか否かを測定し、
もしイエスの場合には、後続の反復ループに対して前記変化された除数の更なる増大又は減少を個々に許可し、
もしノーの場合には、増大及び減少に対して他の除数を試み及び／又は前記変化された除数に対する増大及び減少を逆転させ、
ｃ）前記変化された除数の各々に対して、反復ループにおいてそれが増大ならびに減少されたか否かを検査し、もしイエスならば予め設定されたマーキング値をこのような除数に割り当て、除数マーキング値からマトリクス状態値（Ｍ＿Ｓｔａｔｕｓ）を計算するステップ；
もし反復回数が第１の閾値を越えるか又はマトリクス状態値（Ｍ＿Ｓｔａｔｕｓ）が第２の閾値を越えたら、最終候補量子化マトリクスを量子化マトリクス（Ｍ）として出力するステップを有することを特徴とする、画像又は画像シーケンスを符号化するために使用される量子化マトリクス（Ｍ）を生成する（ＱＭＣ）ための方法。
【請求項２】
別個の量子化マトリクスが、イントラブロック及びインターブロックに対して、及び、オプショナルにルミネセンス及びクロミナンスブロック、異なるブロックサイズ、フィールド及びフレームマクロブロック符号化モードのうちの１つ又は複数に対して生成される、請求項１記載の方法。
【請求項３】
除数の増大及び減少は反復ループごとに固定されたファクタによって実行される、請求項１又は２記載の方法。
【請求項４】
ブロック内の各周波数成分位置に対して係数振幅分布統計が決定され、分布統計は反復において候補量子化マトリクスの調整のために利用される、請求項１〜３のうちの１項記載の方法。
【請求項５】
量子化された非ゼロ係数のパーセンテージ及び／又はブロック内における各周波数成分位置に対するエントロピーが分布統計として計算される、請求項４記載の方法。
【請求項６】
エントロピーは量子化された係数の振幅レベルを予め設定されたインターバルにクリップすることに続いて計算される、請求項５記載の方法。
【請求項７】
エントロピー及び出力ビットレートは両方とも量子化マトリクス生成において評価される、請求項５又は６記載の方法。
【請求項８】
瞬時の候補量子化マトリクスと以前の候補量子化マトリクスとから得られるビットレートの間の差が量子化マトリクス生成において評価される、請求項７記載の方法。
【請求項９】
エントロピーの総和は画像符号化／復号化品質の評価のための規準として使用される、請求項５〜８のうちの１項記載の方法。
【請求項１０】
請求項１〜９のうちの１項記載の方法に従って生成された量子化マトリクスを利用して画像又は画像シーケンスを符号化するための方法。
【請求項１１】
画像又は画像シーケンスを符号化するために使用される量子化マトリクス（Ｍ）を生成するための装置であって、ピクセル差分ブロック又は予測されたピクセルブロック（ＰＭＤ）に関連付けられた変換（ＤＣＴ）される係数の符号化ブロックが前記量子化マトリクスを使用して量子化（Ｑ）又は付加的に逆量子化（ＱＥ−１）され、このマトリクスにおいて特定の除数が係数ブロック内の係数位置の各々１つに割り当てられている、画像又は画像シーケンスを符号化するために使用される量子化マトリクス（Ｍ）を生成するための装置において、
該装置は、
変換されたＤＣ係数に対する１つの除数及び変換されたＡＣ係数に対する多数の除数を含む予め設定された量子化マトリクス（Ｍ０）を候補量子化マトリクス（ＴＭ）としてロードし；
所与の画像又は画像シーケンスに対して、又は、所与の画像又は画像シーケンスのスライスに対して、反復的に、
ａ）前記候補量子化マトリクス（ＴＭ）において１つ又は複数の前記ＡＣ係数除数を増大させ、他方で前記候補量子化マトリクス（ＴＭ）において前記ＡＣ係数除数の増大される除数ではない１つ又は複数の除数を減少させ、
ｂ）結果的に得られるアップデートされた候補量子化マトリクス（ＴＭ）の変化された除数に対して、アップデートされた候補量子化マトリクスを前記符号化に適用する場合に結果的に得られる画像符号化／復号化品質は改善されるか否かを測定し、
もしイエスの場合には、後続の反復ループに対して前記変化された除数の更なる増大又は減少を個々に許可し、
もしノーの場合には、増大及び減少に対して他の除数を試み及び／又は前記変化された除数に対する増大及び減少を逆転させ、
ｃ）前記変化された除数の各々に対して、反復ループにおいてそれが増大ならびに減少されたか否かを検査し、もしイエスならば予め設定されたマーキング値をこのような除数に割り当て、除数マーキング値からマトリクス状態値（Ｍ＿Ｓｔａｔｕｓ）を計算し；
もし反復回数が第１の閾値を越えるか又はマトリクス状態値（Ｍ＿Ｓｔａｔｕｓ）が第２の閾値を越えたら、最終候補量子化マトリクスを前記量子化マトリクス（Ｍ）として出力するための手段（ＱＭＣ）を含むことを特徴とする、画像又は画像シーケンスを符号化するために使用される量子化マトリクス（Ｍ）を生成するための装置。
【請求項１２】
別個の量子化マトリクスをイントラブロック及びインターブロックに対して、及び、オプショナルにルミネセンス及びクロミナンスブロック、異なるブロックサイズ、フィールド及びフレームマクロブロック符号化モードのうちの１つ又は複数に対して生成する、請求項１１記載の装置。
【請求項１３】
除数の増大及び減少を反復ループごとに固定されたファクタによって実行する、請求項１１又は１２記載の装置。
【請求項１４】
ブロック内の各周波数成分位置に対して係数振幅分布統計を決定し、分布統計を反復において候補量子化マトリクスの調整のために利用する、請求項１１〜１３のうちの１項記載の装置。
【請求項１５】
量子化された非ゼロ係数のパーセンテージ及び／又はブロック内における各周波数成分位置に対するエントロピーを分布統計として計算する、請求項１４記載の装置。
【請求項１６】
量子化された係数の振幅レベルを予め設定されたインターバルにクリップすることに続いてエントロピーを計算する、請求項１５記載の装置。
【請求項１７】
エントロピー及び出力ビットレートは両方とも量子化マトリクス生成において評価する、請求項１５又は１６記載の装置。
【請求項１８】
瞬時の候補量子化マトリクスと以前の候補量子化マトリクスとから得られるビットレートの間の差を量子化マトリクス生成において評価する、請求項１７記載の装置。
【請求項１９】
エントロピーの総和を画像符号化／復号化品質の評価のための規準として使用する、請求項１５〜１８のうちの１項記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像又は画像シーケンスを符号化するために使用される量子化マトリクスを生成するための方法であって、ピクセル差分ブロック又は予測されたピクセルブロックに関連付けられた変換（ＤＣＴ）された係数の符号化ブロックが量子化マトリクスを使用して量子化又は付加的に逆量子化され、このマトリクスにおいて特定の除数が係数ブロック内の係数位置の各々１つに割り当てられている、画像又は画像シーケンスを符号化するために使用される量子化マトリクスを生成するための方法に関し、さらに、
本発明は、画像又は画像シーケンスを符号化するために使用される量子化マトリクスを生成するための装置であって、ピクセル差分ブロック又は予測されたピクセルブロックに関連付けられた変換（ＤＣＴ）された係数の符号化ブロックが量子化マトリクスを使用して量子化又は付加的に逆量子化され、このマトリクスにおいて特定の除数が係数ブロック内の係数位置の各々１つに割り当てられている、画像又は画像シーケンスを符号化するために使用される量子化マトリクスを生成するための装置に関する。
【背景技術】
【０００２】
ビデオ符号化における有意義なデータレート低減効果は、量子化の後で比較的少数の振幅レベルを符号化しさえすればよいように、すなわち量子化された振幅値の部分がゼロになって量子化された振幅値として符号化される必要がないように、ピクセルブロックの（変換された）周波数係数又は成分を量子化することによって達成される。ビデオ符号化規格に基づく多くの変換は、デフォルト量子化マトリクスを使用して比較的良好な主観的ビデオ符号化／復号化品質、例えばＩＳＯ／ＩＥＣ  １３８１８−２（ＭＰＥＧ−２  Ｖｉｄｅｏ）を達成している。もし関連する水平及び／又は垂直周波数が結果的に得られる主観画像品質に関してあまり重要ではない周波数成分であると考えられるならば、「量子化マトリクス」は比較的小さいスケーリング値（すなわち比較的大きな除数を有する）をブロックのいくつかの周波数成分に割り当てる。人間疑似視覚システム（human psycho-visual system）は比較的高い水平及び／又は垂直周波数に対しては、とりわけ比較的高い対角周波数に対してはあまり敏感ではないことが周知である。ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０）及びＭＰＥＧ−４ＡＶＣ／Ｈ．２６４  ＦＲＥｘｔ（’Fidelity Range Extensions’,Redmond JVT meeting, 17-23 July 2004）ビデオ符号化規格はすべてこのような量子化マトリクスに対するサポートを含む。例えばＩＳＯ／ＩＥＣ  １３８１８−２は、ＳＥＣＴＩＯＮ６．３．１１において、異なる量子化除数（quantiser divisor）を有するイントラブロック用のデフォルト「量子化マトリクス」を開示しており、これらの量子化除数の大部分は除数の８×８アレイの右下位置に配置されており、さらに８×８アレイの全ての位置に対して等しい量子化除数を有する非イントラブロック用のデフォルト量子化マトリクスを開示している。ユーザ定義量子化マトリクスは復号器におけるアプリケーションのために符号器によって伝達されうる。ＩＳＯ／ＩＥＣ  １３８１８−２のＳＥＣＴＩＯＮ６．２．３．２を参照のこと。Ｈ．２６４  ＦＲＥｘｔはより専門的なアプリケーションのための量子化マトリクスを再導入する。この量子化マトリクスは、ＭＰＥＧ−２及びＭＰＥＧ−４のような他のビデオ符号化規格が行うように、異なるスケーリング値により異なるＤＣＴ係数を量子化することができる。８×８変換はＨ．２６４  ＦＲＥｘｔに加えられてはいるが、Ｈ．２６４メインプロファイルにはなく、高精細度ＴＶのための専門的なアプリケーション向けである。主観品質もＨＤビデオ符号化にとっては重要な問題である。大抵の場合、異なる周波数に対する量子化マトリクスはデフォルトにセットされるか又は画像シーケンスを通して固定される。
【０００３】
以下の記述においては、時折、従来技術の下記のリストを参照する：
[1] G.Wallace, "The JPEG still picture compression standard", Communications of ACM. 34(4),30-44 1991.
[2] T.Wiegand, G.Sullivan, "Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)", Mar 31, 2003.
[3] K.R.Rao and P.Yip, "Discrete Cosine Transform: Algorithms, Advantages, Applications", Boston, MA: Academic, 1990.
[4] G.Sullivan, T.McMahon, T.Wiegand, A.Luthra, "Draft Test of H.264/AVC Fidelity Range Extensions Amendment", JVT-K047, ftp://ftp.imtc-files.org/jvt-experts/2004_03_Munich/JVT-K047d8.zip.
[5] B.Tao, "On optimal entropy-constrained dead-zone quantisation", IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, pp.560-563, April 2001.
[6] F.Mueller, "Distribution shape of two-dimensional DCT coefficients of natural images", Electronics Letters, 29(22):1935-1936, October 1993.
[7] S.R.Smoot and L.A.Rowe, "Laplacian Model for AC DCT Terms in Image and Video Coding", Ninth Image and Multidimensional Signal Processing workshop, March 1996.
[8] Watson et al., "DCT quantisation matrices visually optimised for individual images", Human Vision, Visual Processing and Digital Display IV, Proceedings of SPIE 1913-1 (1993).
[9] Yingwei Chen; K.Challapali, "Fast computation of perceptually optimal quantisation matrices for MPEG-2 intra pictures", Image Processing, 1998, ICIP 98 Proceedings 1998 International Conference, 4-7 Oct. 1998.
[10] H.Peterson, A.J.Ahumada, A.B.Watson, "An Improved Detection Model for DCT Coefficient Quantisation", Proceedings of the SPIE, 1993, pp.191-201.
[11] E.Y.Lam, and J.W.Goodman, "A Mathematical Analysis of the DCT Coefficient Distributions for Images", IEEE Trans. on Image Processing, Vol.9, No.10, pp.1661-1666, 2000.
[12] Cristina Gomila, Alexander Kobilansky, "SEI message for film grain encoding", JVT-H022, Mar 31, 2003.
[13] Zhihai He and Sanjit K. Mitra, "A Unified Rate-Distortion Analysis Framework for Transform Coding", IEEE Transactions on Circuits and System for Video Technology, Vol.11, pp.1221-1236, December 2001.
多くの現在の画像及びビデオ符号化規格は、ＪＰＥＧ［１］、ＭＰＥＧ−２、ＭＰＥＧ−４及びＡＶＣ／Ｈ．２６４のように、ＤＣＴ（離散コサイン変換）に基づく。１次マルコフ過程のいくつかの条件の下で、自然画像に対してはＤＣＴ変換が理想Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ変換ＫＬＴにほぼ近似しており、ＫＬＴに対するこのＤＣＴの利点はＤＣＴが画像内容に依存しないことである。ＤＣＴは画像信号を無相関化（de-correlating）するために及び例えば相応のピクセルブロックから導出された８×８係数ブロック内の少数の位置における信号エネルギをコンパクト化するために利用される。ＤＣＴは通常は量子化及びエントロピー符号化によりフォローされる。上述したように、量子化プロセスはしばしば高い圧縮率を達成するために画像ディテールを低下させる。それゆえ、量子化プロセスにおいては最も重要な画像情報（すなわち係数）を保持するがあまり重要ではない係数を減少させることがきわめて重要である。これは、量子化マトリクス内の量子化除数の値を適応させることによって達成される。もし画像又はスライスを符号化するために使用できる出力ビットレートが予め設定されるか又は他の符号化パラメータが固定されているならば、適応量子化マトリクスを使用することはブロック内の異なる周波数位置に対して選択を行うフレキシビリティを促進する。良好な量子化マトリクスをセレクトする目的はより良好な（測定可能な）符号化／復号化品質、とりわけより良好な主観品質であり、この目的は高ビットレートビデオ符号化アプリケーションではさらに魅力的なものである。８×８変換もＨ．２６４  ＦＲＥｘｔ[４]に再導入されている。知覚最適量子化マトリクスデザイン（perception optimal quantisation matrix design）及び主観品質評価[５] [８] [９]のような画像及びビデオ符号化[５] [６] [７]で利用される８×８ＤＣＴ係数に関しては多くの研究が行われている。
【０００４】
ＪＰＥＧは画像を小さい８×８ブロックに分割し、各ブロックに対してＤＣＴを利用する。変換処理においてＭＰＥＧ−２はＪＰＥＧが行うようにＩフレームを処理する[１]。よって、ＭＰＥＧ−２  Ｉフレームに対する量子化マトリクスをデザインする場合には、ＪＰＥＧとほとんど同じである。Ｈ．２６４  ＦＲＥｘｔでは、８×８変換がＹ成分に対して利用される場合、イントラブロックに対するデフォルト量子化マトリクスはＭＰＥＧ−２で利用されるそれとは異なる。なぜなら、イントラ予測の後の残差（the residual）だけが符号化されるからであり、これはこれらの残差の統計的分布がＤＣＴ係数自体のそれとは異なることを意味する。予測誤差が伝播されるだろうし、もし量子化マトリクスが変わるならば、相応して最良の予測モードも変わるだろう。Ｐフレーム及びＢフレームに対しては、インターブロックの符号化が支配的な位置を占めている。一般性を失うことなしに、以下においてはこれらのケースを「Ｐフレーム」又は「Ｂフレーム」の代わりに「インターブロック」と呼ぶ。ＤＣＴ誤差伝播の異なる分布のような同じ問題がインターブロックに対しても生じるだろう。しかし、Ｐフレーム符号化に対しては適応量子化マトリクスに起因する誤差伝播はそれほど強くはないが、それでもやはり問題となる。
【０００５】
Watson et al. [８]は、ＪＰＥＧのための知覚的に最適な量子化マトリクスをデザインするための方法を提案し、この量子化マトリクスは低い及び非常に低いビットレートに対する主観品質改善を提供する。しかし、高いビットレート符号化に対しては、これらの知覚的最適方法は最適ではない。Watson et al.は周波数スレッショルディングに基づく画像依存型量子化マトリクスをデザインすることに関して徹底的な研究を行った[８] [１０]。Watsonの文献では異なるＤＣＴ周波数バンドに対する人間の感知能力は異なると仮定されている。視覚実験に基づいて、いわゆる「検出閾値」が測定され、この「検出閾値」は人間により知覚されうる最小歪み（minimum distortion）を表す。Watsonの理論は、この検出閾値がブロック全体の平均ルミナンス及び相応する周波数成分の絶対値に関連付けられると主張している。検出閾値が決定された後で、各周波数成分に対する知覚誤差は検出閾値により除算された量子化誤差として定められる。１つの画像における全てのＤＣＴ周波数成分及び全てのブロックの誤差をプールするために、Watsonは「βノルム」と呼ばれる別の視覚モデルを利用した。
【０００６】
Watsonの方法はＪＰＥＧライクなイントラ画像量子化マトリクスデザインに対しては良好に作用するが、残差画像におけるそのパフォーマンスは期待したほど良好ではなく、特に高ビットレート画像符号化に対してはそうである。高ビットレートビデオ圧縮を実行するためには、詳細な又は複雑な画像内容のために利用可能な平均ビットレートがあまりにも制約されすぎてしまう画像エリアに対してより多くのディテールを保存することが重要であり、これは高い周波数に対して単に量子化の間のより大きなスケーリングが利用されればよいというわけではないことを意味している。Watsonの方法は量子化誤差の重み付けされたプーリング（weighted pooling）と見なされるだろう。量子化マトリクスをデザインする場合、公知のアルゴリズムは[５]及び[９]に開示されているようにＭＳＥ最適化に基づき、これらは伝統的なＭＳＥ（平均二乗誤差）を８×８周波数位置の各々に対してなんらかの知覚的に最適な重み付けと共に使用する。ウェイトはブロック画像内容にアダプティブであるか又はブロックから独立している。理論的には、もしいくつかのウェイトが周波数の歪み値に加えられても、又は、たとえまさに量子化マトリクスが使用されても、歪み不変性（distortion-invariance）は破壊される。よって、公知の方法はまさに近似モデルを定義しようとしている。
【非特許文献１】[1] G.Wallace, "The JPEG still picture compression standard", Communications of ACM. 34(4),30-44 1991.
【非特許文献２】[2] T.Wiegand, G.Sullivan, "Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC)", Mar 31, 2003.
【非特許文献３】[3] K.R.Rao and P.Yip, "Discrete Cosine Transform: Algorithms, Advantages, Applications", Boston, MA: Academic, 1990.
【非特許文献４】[4] G.Sullivan, T.McMahon, T.Wiegand, A.Luthra, "Draft Test of H.264/AVC Fidelity Range Extensions Amendment", JVT-K047, ftp://ftp.imtc-files.org/jvt-experts/2004_03_Munich/JVT-K047d8.zip.
【非特許文献５】[5] B.Tao, "On optimal entropy-constrained dead-zone quantisation", IEEE Transactions on Circuits and Systems for Video Technology, Vol.11, pp.560-563, April 2001.
【非特許文献６】[6] F.Mueller, "Distribution shape of two-dimensional DCT coefficients of natural images", Electronics Letters, 29(22):1935-1936, October 1993.
【非特許文献７】[7] S.R.Smoot and L.A.Rowe, "Laplacian Model for AC DCT Terms in Image and Video Coding", Ninth Image and Multidimensional Signal Processing workshop, March 1996.
【非特許文献８】[8] Watson et al., "DCT quantisation matrices visually optimised for individual images", Human Vision, Visual Processing and Digital Display IV, Proceedings of SPIE 1913-1 (1993).
【非特許文献９】[9] Yingwei Chen; K.Challapali, "Fast computation of perceptually optimal quantisation matrices for MPEG-2 intra pictures", Image Processing, 1998, ICIP 98 Proceedings 1998 International Conference, 4-7 Oct. 1998.
【非特許文献１０】[10] H.Peterson, A.J.Ahumada, A.B.Watson, "An Improved Detection Model for DCT Coefficient Quantisation", Proceedings of the SPIE, 1993, pp.191-201.
【非特許文献１１】[11] E.Y.Lam, and J.W.Goodman, "A Mathematical Analysis of the DCT Coefficient Distributions for Images", IEEE Trans. on Image Processing, Vol.9, No.10, pp.1661-1666, 2000.
【非特許文献１２】[12] Cristina Gomila, Alexander Kobilansky, "SEI message for film grain encoding", JVT-H022, Mar 31, 2003.
【非特許文献１３】[13] Zhihai He and Sanjit K. Mitra, "A Unified Rate-Distortion Analysis Framework for Transform Coding", IEEE Transactions on Circuits and System for Video Technology, Vol.11, pp.1221-1236, December 2001.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の課題は、比較的高い主観画像品質を達成し、とりわけ高いビットレートビデオ圧縮において詳細な又は複雑な画像内容のために利用可能なビットレートがあまりにも制約されてしまう画像領域に対する比較的多くのディテールを保存する改善された量子化マトリクスを提供又は生成すること又は適応させることである。
【課題を解決するための手段】
【０００８】
上記課題は、画像又は画像シーケンスを符号化するために使用される量子化マトリクスを生成するための方法において、以下のステップ、すなわち、
変換されたＤＣ係数に対する１つの除数及び変換されたＡＣ係数に対する多数の除数を含む予め設定された量子化マトリクスを候補量子化マトリクスとしてロードするステップ；
所与の画像又は画像シーケンスに対して、又は、所与の画像又は画像シーケンスのスライスに対して、反復的に、
ａ）候補量子化マトリクスにおいて１つ又は複数のＡＣ係数除数を増大させ、他方で候補量子化マトリクスにおいてＡＣ係数除数の増大される除数ではない１つ又は複数の除数を減少させ、
ｂ）結果的に得られるアップデートされた候補量子化マトリクスの変化された除数に対して、アップデートされた候補量子化マトリクスを符号化に適用する場合に結果的に得られる画像符号化／復号化品質は改善されるか否かを測定し、
もしイエスの場合には、後続の反復ループに対して変化された除数の更なる増大又は減少を個々に許可し、
もしノーの場合には、増大及び減少に対して他の除数を試み及び／又は変化された除数に対する増大及び減少を逆転させ、
ｃ）変化された除数の各々に対して、反復ループにおいてそれが増大ならびに減少されたか否かを検査し、もしイエスならば予め設定されたマーキング値をこのような除数に割り当て、除数マーキング値からマトリクス状態値を計算するステップ；
もし反復回数が第１の閾値を越えるか又はマトリクス状態値が第２の閾値を越えたら、最終候補量子化マトリクスを量子化マトリクスとして出力するステップを有することによって解決され、
さらに、この方法を利用する装置は、
変換されたＤＣ係数に対する１つの除数及び変換されたＡＣ係数に対する多数の除数を含む予め設定された量子化マトリクスを候補量子化マトリクスとしてロードし；
所与の画像又は画像シーケンスに対して、又は、所与の画像又は画像シーケンスのスライスに対して、反復的に、
ａ）候補量子化マトリクスにおいて１つ又は複数のＡＣ係数除数を増大させ、他方で候補量子化マトリクスにおいてＡＣ係数除数の増大される除数ではない１つ又は複数の除数を減少させ、
ｂ）結果的に得られるアップデートされた候補量子化マトリクスの変化された除数に対して、アップデートされた候補量子化マトリクスを符号化に適用する場合に結果的に得られる画像符号化／復号化品質は改善されるか否かを測定し、
もしイエスの場合には、後続の反復ループに対して変化された除数の更なる増大又は減少を個々に許可し、
もしノーの場合には、増大及び減少に対して他の除数を試み及び／又は変化された除数に対する増大及び減少を逆転させ、
ｃ）変化された除数の各々に対して、反復ループにおいてそれが増大ならびに減少されたか否かを検査し、もしイエスならば予め設定されたマーキング値をこのような除数に割り当て、除数マーキング値からマトリクス状態値を計算し；
もし反復回数が第１の閾値を越えるか又はマトリクス状態値が第２の閾値を越えたら、最終候補量子化マトリクスを量子化マトリクスとして出力するための手段を含むことによって解決される。
【発明を実施するための最良の形態】
【０００９】
本発明によれば、他の尺度の助けによって歪みを計算することが適応量子化マトリクス（adaptive quantisation matrices）のデザイン又は選択に対してより良好な結果を生じうる。さらに、いかなる形式の歪みも利用しない尺度が最適な量子化マトリクスのデザインには有効でもありうる。ＨＶＳ（人間視覚系）は新しい尺度に対する良好なウェイトをトレーニングするために非歪みモデル（no-distortion model）から出発することもできる。
【００１０】
今までは、公知のＨＶＳモデルはとりわけＨＤ又はＨＤＴＶ品質における動画符号化において重要であるフィルムグレイン問題を考慮してこなかった[１２]。このような場合には、歪みに基づく客観的な品質規準（a distortion-based objective quality criterion）であるＰＳＮＲ（ピーク信号対ノイズ比）は信号の品質の評価に対してはまったく的確ではない。というのも、快適なノイズ（pleasant noise）が画像に加えられているからである。フィルムグレインを保存する符号化技術は良好なパフォーマンスを達成すべきであるが、ただしいかなる伝統的なＭＳＥベースの尺度又はＨＶＳモデルも使用せずに達成すべきである。
【００１１】
上述したように、基本的にＭＳＥは信号の歪みを決定するための規準として選択され、広く使用されている。なぜなら、ヒルベルト空間のような多くの空間は、エネルギを測定するための形式としてＬ２ノルムを使用するからである。画像又はビデオ符号化において今までに使用された変換は正規直交（すなわち直交でかつ正規化された）変換であり、例えばＤＣＴ、Ｈａａｒウェーブレット又はアダマール変換である。正規直交変換は距離不変であり、それゆえエネルギ不変である。よって、空間領域において蓄積されてしまう信号の歪みは、変換された領域又は周波数領域においても蓄積されてしまう。このコンセプトに基づいて、量子化マトリクスをデザインする場合に、大抵の公知の方法は、人間の周波数感受性に関するいくつかの視覚モデルによる、変換された領域における各周波数成分の歪みに基づいている。
【００１２】
それゆえ、本発明によれば、非ＭＳＥ（歪み）に基づくモデルから出発し、とりわけ高ヒットレート圧縮においてより良好な主観的結果を生じる画像／ビデオ品質評価又はビットアロケーションのための異なる方法が必要とされる。
【００１３】
既に述べたように、量子化マトリクスを適用する目的は、符号化処理において比較的小さいスケーリング値をあまり重要ではないと思われる周波数成分に割り当て、比較的大きいスケーリング値を比較的重要な周波数成分に割り当てることである。従って、最も重要な問題は、様々な周波数成分の重要度を評価することである。従来技術では、重み付けされた歪みがこのような評価のための尺度として使用され、これにより高周波数成分に大きな量子化除数値が与えられ、従って非常に小さいビットアロケーションが与えられる。しかし、ＪＭ  ＦＲＥｘｔ参照ソフトウェアでは、デフォルトイントラ８×８量子化マトリクスにおけるスケーリングの分散はＭＰＥＧ−２及びＭＰＥＧ−４デフォルト量子化マトリクスのそれよりも小さい。主な理由は、イントラ予測方法がノーマルなＤＣＴ係数を残差ＤＣＴ係数に変えてしまうこと及び豊富なディテールを含む画像に対しては小さい分散を有する量子化マトリクスの方がより良好であることである。それゆえ、メディア又は高いビットレートのためのアプリケーションにおいては、デフォルト量子化マトリクスから出発して、各周波数成分がより多くのビットを割り当てられるように互いに競合するべきである。「勝者」は、歪み形式を持たないが画像内容ディテールにより多くの注意を払うような尺度に基づいて高いパフォーマンスを達成するのである。
【００１４】
量子化マトリクスをデザインするプロセスにおいて、ビット制約条件も考察されるべきである。多くの従来技術はＤＣＴ  ＡＣ係数の分布がラプラシアン分布に従うことを提案している［６］［７］［１１］：
【００１５】
【数１】
2006180497.tif 000003
【００１６】
ここでｐ（ｘ）は確率変数ｘの確率であり、λは平均値である。このようなシンプルなケースでは、その標準偏差σ２が平均λに対して次の公式をもたらす：
【００１７】
【数２】
2006180497.tif 000004
【００１８】
デッドゾーン［−Δ，Δ］による量子化プロセスの後では、ゼロのパーセンテージρは：
【００１９】
【数３】
2006180497.tif 000005
である。
【００２０】
ZhiHaiのモデル［１３］では、レートＲの下限（low bound）は：
【００２１】
【数４】
2006180497.tif 000006
であり、ここでρはゼロのパーセンテージである。
【００２２】
分布はガウス分布又は一般化ガウス分布により近いと主張する従来技術［６］があるが、［１３］ではこれらのケースが考察され、ビットレートＲと非ゼロのパーセンテージとの間に同じ線形関係が保持される。
【００２３】
本発明により解決すべき課題は、比較的高い主観画像品質を達成しかつとりわけ高いビットレートビデオ圧縮において詳細な又は複雑な画像内容のために利用可能なビットレートがあまりにも制約されてしまう画像領域に対する比較的多くのディテールを保存する改善された量子化マトリクスを提供又は発生又は適応させることである。この課題は請求項１に開示された方法によって解決される。この方法を利用する装置は請求項１１に記載されている。
【００２４】
上述したように、Ｈ．２６４  ＦＲＥｘｔでは、大抵の場合、異なる周波数に対する量子化マトリクスはデフォルトでセットされるか又は画像シーケンスを通して固定されている。しかし、ＧＯＰの中のいくつかの領域がディテール又は高周波情報に満ちているケースが存在する。主観品質を改善するためにこれらのディテールを保持するために、幾つかの方法が本発明において開示されており、これらの方法はＩフレーム、Ｐフレーム及びＢフレームに対する適応量子化マトリクスを生成する。Ｈ．２６４  ＦＲＥｘｔでは、量子化マトリクスはスライスベースであり、各スライスは画像パラメータセットＩＤを有し、この画像パラメータセットＩＤによって異なる量子化マトリクスがセレクトされる。
【００２５】
本発明によれば、高速２パス又はマルチパス周波数ベース処理（a fast two-pass or multi-pass frequency-based processing）が、異なるビデオシーケンスに対する１つ以上の適応量子化マトリクスを生成するために、とりわけＩフレーム、Ｐフレーム及びＢフレームに対する適応量子化マトリクスを生成するために使用される。本発明の量子化マトリクス生成はデフォルトイントラ及びインターブロック量子化マトリクスから出発し、これらのマトリクスから所与の画像シーケンスに対する知覚的に最適な量子化マトリクスを導出する。その第１のパスでは所与の画像シーケンスに対する量子化マトリクスが構成され、第２のパスでは生成された量子化マトリクスがその画像シーケンスを再符号化し相応のビットストリームを生成するために適用される。（予測の後の）残差画像はＤＣＴ変換の後で異なる周波数成分に再編成される。量子化された係数のヒストグラムが尺度（measures）又はメトリックの計算のために抽出される。反復的に、ＤＣＴ領域におけるセンシティブな及びインセンシティブな周波数がいくつかの尺度を使用して、従来技術では歪みベースの尺度（distortion-based measures）を使用して、選択される。しかし、これは各周波数成分の量子化されたレベルの分布に基づいている。デッドゾーンにおけるパーセンテージの変化又はエントロピーのような尺度又はメトリックは、公平に重要な周波数成分をセレクトして量子化マトリクスの相応の値を増大又は減少させるために使用される。様々な周波数成分に対するエントロピーの総和は結果的に得られる画像／ビデオ品質を測定するための規準として使用されうる。適応量子化マトリクスはスライスベースであり、すなわち、各スライスが画像パラメータセットＩＤを有し、異なる量子化マトリクスをセレクトする。
【００２６】
原理的には、本発明の方法は、画像又は画像シーケンスを符号化するために利用されうる量子化マトリクスを生成するのに適しており、この画像又は画像シーケンスにおいてピクセル差分ブロック又は予測されたピクセルブロックに関連付けられた変換された係数の符号化ブロックが量子化マトリクスを使用して量子化又は付加的に逆量子化され、このマトリクスにおいて特定の除数が係数ブロック内の係数位置の各々１つに割り当てられ、この方法は以下のステップを含み、すなわち
変換されたＤＣ係数に対する１つの除数及び変換されたＡＣ係数に対する多数の除数を含む予め設定された量子化マトリクスを候補量子化マトリクスとしてロードするステップ；
所与の画像又は画像シーケンスに対して、又は、所与の画像又は画像シーケンスのスライスに対して、反復的に、
ａ）候補量子化マトリクスにおいて１つ又は複数のＡＣ係数除数を増大させ、他方で候補量子化マトリクスにおいて前記ＡＣ係数除数の増大される除数ではない１つ又は複数の除数を減少させ、
ｂ）結果的に得られるアップデートされた候補量子化マトリクスの変化された除数に対して、アップデートされた候補量子化マトリクスを前記符号化に適用する場合に結果的に得られる画像符号化／復号化品質が改善されるか否かを測定し、
もしイエスの場合には、後続の反復ループに対して変化された除数の更なる増大又は減少を個々に許可し、
もしノーの場合には、増大及び減少に対して他の除数を試み及び／又は変化された除数に対する増大及び減少を逆転させ、
ｃ）変化された除数の各々に対して、反復ループにおいてそれが増大ならびに減少されたか否かを検査し、もしイエスならば予め設定されたマーキング値をこのような除数に割り当て、除数マーキング値からマトリクス状態値を計算するステップ；
もし反復回数が第１の閾値を越えるか又はマトリクス状態値が第２の閾値を越えたら、最終候補量子化マトリクスを量子化マトリクスとして出力するステップを含む。
【００２７】
原理的には、本発明の装置は画像又は画像シーケンスを符号化するために利用されうる量子化マトリクスを生成するのに適しており、この画像又は画像シーケンスにおいてピクセル差分ブロック又は予測されたピクセルブロックに関連付けられた変換された係数の符号化ブロックが量子化マトリクスを使用して量子化又は付加的に逆量子化され、このマトリクスにおいて特定の除数が係数ブロック内の係数位置の各々１つに割り当てられ、この装置は、
変換されたＤＣ係数に対する１つの除数及び変換されたＡＣ係数に対する多数の除数を含む予め設定された量子化マトリクスを候補量子化マトリクスとしてロードし；
所与の画像又は画像シーケンスに対して、又は、所与の画像又は画像シーケンスのスライスに対して、反復的に、
ａ）候補量子化マトリクスにおいて１つ又は複数のＡＣ係数除数を増大させ、他方で候補量子化マトリクスにおいてＡＣ係数除数の増大される除数ではない１つ又は複数の除数を減少させ、
ｂ）結果的に得られるアップデートされた候補量子化マトリクスの変化された除数に対して、アップデートされた候補量子化マトリクスを符号化に適用する場合に結果的に得られる画像符号化／復号化品質は改善されるか否かを測定し、
もしイエスの場合には、後続の反復ループに対して変化された除数の更なる増大又は減少を個々に許可し、
もしノーの場合には、増大及び減少に対して他の除数を試み及び／又は変化された除数に対する増大及び減少を逆転させ、
ｃ）変化された除数の各々に対して、反復ループにおいてそれが増大ならびに減少されたか否かを検査し、もしイエスならば予め設定されたマーキング値をこのような除数に割り当て、除数マーキング値からマトリクス状態値を計算し；
もし反復回数が第１の閾値を越えるか又はマトリクス状態値が第２の閾値を越えたら、最終候補量子化マトリクスを量子化マトリクスとして出力するための手段を含む。
【００２８】
有利な更なる本発明の実施形態は個々の従属請求項に記載されている。
【００２９】
本発明の更に別の有利な実施形態においては、別個の量子化マトリクスがイントラブロック及びインターブロックに対して、及び、オプショナルにルミネセンス及びクロミナンスブロック、異なるブロックサイズ、フィールド及びフレームマクロブロック符号化モードのうちの１つ又は複数に対して生成される。
【００３０】
本発明の更に別の有利な実施形態においては、除数の増大及び減少は反復ループごとに固定されたファクタによって実行される。
【００３１】
本発明の更に別の有利な実施形態においては、ブロック内の各周波数成分位置に対して係数振幅分布統計が決定され、分布統計は反復において候補量子化マトリクスの調整のために利用される。
【００３２】
本発明の更に別の有利な実施形態においては、量子化された非ゼロ係数のパーセンテージ及び／又はブロック内における各周波数成分位置に対するエントロピーが分布統計として計算される。
【００３３】
本発明の更に別の有利な実施形態においては、エントロピーは量子化された係数の振幅レベルを予め設定されたインターバルにクリップすることに続いて計算される。
【００３４】
本発明の更に別の有利な実施形態においては、エントロピー及び出力ビットレートは両方とも量子化マトリクス生成において評価される。
【００３５】
本発明の更に別の有利な実施形態においては、瞬時の候補量子化マトリクスと以前の候補量子化マトリクスとから得られるビットレートの間の差は、量子化マトリクス生成において評価される。
【００３６】
本発明の更に別の有利な実施形態においては、エントロピーの総和は画像符号化／復号化品質の評価のための規準として使用される。
【００３７】
本発明の更に別の有利な実施形態においては、本発明の方法に従って生成された量子化マトリクスを利用して画像又は画像シーケンスを符号化するための方法が構成される。
【実施例】
【００３８】
本発明の実施例を添付された図面を参照しつつ記述する。
【００３９】
イントラブロック及びインターブロックの両方に対する量子化マトリクスのアダプティブコンピューテーションのための幾つかの方法が以下において記述される。これらの方法はＪＰＥＧ、ＭＰＥＧ−２及びＭＰＥＧ−４ Ｈ．２６４ＦＲＥｘｔのような全てのＤＣＴベースの画像又はビデオ符号化規格において使用されうるものであり、主観又は客観品質を改善しさらにビットレートをも調整するための量子化プロセスに対するフレキシビリティを提供する。ＨＤビデオ符号化に対しては、８×８サイズ変換は４×４サイズ変換よりも良好に実行される。それゆえ、特に言及しない限りは、以下の記述においては４×４変換はディスエーブルされており、量子化マトリクスはイントラ及びインターブロックに対して全てサイズ８×８である。
【００４０】
図１は、ＨＤＴＶシーケンスＫｕｎｇ＿ｆｕにおける全てのイントラフレーム８×８ブロックの６４個のＤＣＴ係数の振幅レベル（すなわちヒストグラム）の平均分布を示す。各々の小イメージはＤＣＴ位置に相応する。水平座標は量子化された振幅値（レベル）であり、垂直座標は量子化の後のこのレベルにおける係数の数である。小イメージはラスタ順序により配列されており、すなわちヒストグラムの上の行は純粋に左から右へと昇順に水平８×８ブロック周波数を表すが、ヒストグラムの左の列は純粋に上から下へと昇順に垂直周波数を表す。
【００４１】
図２は上記シーケンスにおける全てのインターフレームブロックのＤＣＴ係数の相応の分布を示す。図１及び２から明らかなことは、周波数成分の大部分はゼロ周波数（すなわちＤＣ）の近くの領域（すなわち左上エッジ）には圧縮又は集中されておらず、比較的幅広い分布を有することである。一方で、高周波成分のほんの一部分はゼロ出現（zero occurrence）にほぼ圧縮されている。他方で高周波成分がいくつかの低周波成分の分散に類似する大きな分散を有するケースも存在する。これは、これらの高周波成分が重要であり、公知の量子化マトリクスのように低減された重み付けをされるべきではないことを意味している。それらの周波数成分はビデオシーケンスの符号化／復号化に続くフィルムグレインの保持において重要でもあろう。
【００４２】
以下の仮定が行われる：もし所与の周波数係数に対する振幅が比較的高い分散を有するならば、相応の量子化スケーリングの小さな低減は、その振幅の比較的小さな分散を有する周波数成分に対する量子化スケーリングの低減に比べて大幅に高い全体的品質改善をもたらさないだろう。
【００４３】
更に別の仮定が行われ、この更に別の仮定は、量子化マトリクスにおける幾つかのパラメータの変化はイントラモード決定プロセス及びインター動き補償及びモード決定に影響を及ぼさないだろう、というものである。
【００４４】
ＭＳＥ歪み測定が利用されないので、非ゼロ振幅のパーセンテージ及び／又は各周波数成分のエントロピーのような他の測定が、どのスケーリング値が量子化マトリクスにおいて低減又は増大されるかを決定するのに利用される。有利にはこれは、符号化／復号化画像品質がある程度これらの尺度によって評価されることを意味する。
【００４５】
以下においては用語「量子化パラメータ」（ＱＰと表示される）が使用される。ＱＰは量子化プロセスにおける更に別の除数を表す。この除数は８×８ブロックにおける各周波数成分に対して同じ値を有する。量子化された変換係数ｃｏｅｆｑｉｊは次式
ｃｏｅｆｑｉｊ＝ｃｏｅｆｉｊ／ＱＰ／ＱＭｉｊ
によって変換係数ｃｏｅｆｉｊから計算され、ただしここでＱＭは量子化マトリクスであり、ｉ及びｊは８×８ブロック内の水平方向及び／又は垂直方向位置インデックスである。本発明によれば、「２０」の小さいＱＰが第１のパスの間の量子化マトリクス生成をトレーニングするために使用される。なぜなら、高ビットレート圧縮が目的だからである。このＱＰ数は非常に高いビットレート圧縮に対してはさらに低減されうる。
【００４６】
別の実施形態によれば、第１のパスの間のＱＰに対する可能なコンフィギュレーションは第２のパスにおける最終ＱＰを第１のパスに複写する（duplicate）ことであり、すなわち量子化マトリクスをトレーニングするためにデスティネーションＱＰを使用することである。
【００４７】
量子化マトリクスの各調整の間に、結果的に得られるビットレートをほぼ一定に保持するように、量子化マトリクス内の幾つかのスケーリング値が低減され、他方で幾つかの他のスケーリング値が増大される。ＤＣ成分に対するスケーリング値は変化不可能に保持しておく。
【００４８】
イントラブロックに対する量子化マトリクスはＩフレームだけを考慮することによって生成されうる。しかし、インターブロックに対する量子化マトリクスの生成は異なる。すなわち、Ｐフレームのインターブロックが使用されうるのである。ブロック選択プロセスは、このようなブロックの動きベクトルに従って、インターブロックに対しても有用である。しかし、一度ブロックデータが受信され変換されると、イントラ及びインターブロックに対する量子化マトリクスの調整プロセスは同一であり、ただ残差を考慮しさえすればよい。
【００４９】
一般性を損失することなしに、量子化マトリクスを生成するためのプロセスをイントラブロックだけに対して詳しく記述する：
ステップ０  Ｔ＝０；Ｍ＿Ｓｔａｔｕｓ［８］［８］＝｛０，０，．．．｝
ただしここでＴはループカウンタであり、Ｍ＿Ｓｔａｔｕｓはマトリクス
Ｍの要素に対する状態マトリクスである。
【００５０】
ステップ１  Ｍ＝Ｍ０、ｅｎｃｏｄｅ＿ｓｌｉｃｅ（）、
ただしここでＭ０はイニシャル量子化マトリクスであり、Ｍはアップデー
ト量子化マトリクスである。
【００５１】
ステップ２  ＴＭ＝Ｍ、ここでＴＭは候補又はテスト量子化マトリクスであり、
（ｉ，ｊ）＝（０，０）を除く各０≦ｉ，ｊ＜８に対して
ＴＭｉｊ＝Ｓｈｒｉｎｋ（Ｍｉｊ）
Ｍｅｔｒｉｃｉｊ＝Ｆｕｎｃｔｉｏｎ（Ｍ，ＴＭｉｊ）。
【００５２】
ステップ３  Ｎ個の最良の位置｛Ｐｋ｝及びＬ個の最悪な位置｛Ｐｍ｝を６３個の位置に
対するＭｅｔｒｉｃｉｊによってセレクトする。これらの「最良の」及び
「最悪の」位置は下記のような尺度又はメトリックによって評価される。
【００５３】
Ｍ及びＭ＿Ｓｔａｔｕｓをアップデート
Ｔを１だけインクリメント。
【００５４】
ステップ４  もし（Ｔ＞第１の閾値又はＡＢＳ（Ｍ＿Ｓｔａｔｕｓ）＞第２の閾値）な
らば、ステップ６に行く。さもなければ、ステップ５に行く。
【００５５】
ステップ５  もし（ｎｅｅｄ＿ｒｅ−ｅｎｃｏｄｅ（））Ｍ０＝Ｍならば、ステップ１
へ行く。さもなければステップ２に行く。
【００５６】
ステップ６  Ｍ０＝Ｍ、もう１つの符号化パスを実行し、最終ビットストリームを得る。
【００５７】
量子化マトリクス生成プロセスの相応のフローチャートは図３に図示されており、ステップ０〜６を示している。
【００５８】
上掲のステップに関する付言：
ａ）ステップ２において、残差画像だけが考慮されなければならない。
ｂ）ステップ２において、Ｓｈｒｉｎｋ（）関数は、候補量子化マトリクスＭ内の変化すべき全てのスケーリング値を例えばβ＝０．８８のファクタにより乗算することとして定義される。
ｃ）ステップ３において、「量子化マトリクスＭをアップデート」は、候補又はテスト量子化マトリクスＴＭの相応の値を最良の位置に対して利用する。最悪の位置に対しては、例えば１／βの相応のファクタによる乗算が利用される。
ｄ）ステップ３において、マトリクスＭの状態マトリクスＭ＿Ｓｔａｔｕｓのアップデートに対しては、以下のストラテジが使用される：各周波数成分ごとに、スケーリングが増大又は低減された回数が計算される。ファクタの増大及び低減両方が一度に同一の周波数成分に対して発生した場合、Ｍ＿Ｓｔａｔｕｓにおける相応の値が大きな数にセットされ、これによりその周波数成分は更なるスケーリングの調整を禁止される。
ｅ）ステップ４において、ＡＢＳ（Ｍ＿Ｓｔａｔｕｓ）はマトリクスＭ＿Ｓｔａｔｕｓにおける全ての値の絶対値の総和である。
ｆ）ステップ６において、ｒｅ−ｅｎｃｏｄｅプロセスは最後の符号化プロセスまで実行されるが、有利には、量子化マトリクスがそれ以前に記録される。
ｇ）インターフレームに対しては、幾つかのフレームからのインターブロックが共に考慮され、これらのインターフレームに対する量子化マトリクスを獲得する。ビデオ解析がフレームをパーティション又はスライスに分割するために使用される。インター量子化マトリクスにおけるスケーリング値は一般的に比較的小さいので、有利にはファクタβはイントラ量子化マトリクスにおいて使用されるよりも大きい。もう一つの方法は、βを「１」にセットし、「１」を加算又は減算してスケーリング値をそれぞれ増大又は低減することである。しかし、実験によれば、イントラブロックに対する量子化マトリクスのデザインはインターブロックの量子化マトリクスのデザインよりもはるかに重要である。
ｈ）実験によれば、最終量子化マトリクスＭは、たとえステップ５によってフレームが再符号化（re-encode）されてももはや変化されない。それゆえ、この再符号化ステップは常に無視でき、ステップ４からステップ５へ継続する代わりにダイレクトにステップ２に向かうことができる。
【００５９】
ステップ２において使用されるＦｕｎｃｔｉｏｎ（Ｆで記されている）は重要である。Ｆは量子化マトリクスのスケーリングに起因する変化に関連付けられた尺度である。以下においては、特に言及しない場合には、あらゆるパラメータ及び尺度は単一の周波数成分又は係数位置に対して計算される。瞬時のテスト量子化マトリクスを適用した後で全てのブロックに亘って計算された、所与の周波数成分に対する非ゼロ係数のパーセンテージは、もしスケーリングが縮小する（shrink）ならば、変化する。ＦはＦ＝（ρ０−ρ１)／（１−ρ０）、ただしここでρｉは１つの周波数成分に対する０のパーセンテージであり、下付き文字「０」は古いスケーリングに相応し、下付き文字「１」は新しいスケーリングに相応する。分母が０であるケースは特別に取り扱われなければならない。Ｆが大きければ大きいほど、１つの周波数成分はますます重要である。こうして、最良の周波数成分及び最悪の周波数成分が選び出される。一度に調整すべき最良の周波数成分の数に対する可能な選択はＮ＝４であり及び調整すべき最悪の周波数成分の数はＬ＝２である。非ゼロ係数の数又は非ゼロ値のパーセンテージは量子化の後で計算される。言い換えれば、ここで重要なことは、各々量子化された係数における振幅レベルだけである。サイズＷ×Ｈを有するイントラフレームに対しては、イントラ予測に続いて、多くのＮｏ＿ｂｌｏｃｋ＝（Ｗ／８）×（Ｈ／８）個のブロックがある。各ブロックは８×８変換の後で１つのＤＣ係数及び６３個のＡＣ係数を有する。所与の量子化マトリクスに対して、同じ周波数成分ＡＣｉｊのＮｏ＿ｂｌｏｃｋ ＡＣ係数は量子化され、この周波数成分の振幅レベルのヒストグラムはＨｉｓｉｊとして得られる。それゆえ、シンプルな統計変数としてのρ＝Ｈｉｓｉｊ（０）は量子化の後のレベル「０」係数の数を表す。デッドゾーン（この領域内の全係数が０に量子化されるような領域）内にある係数の数は周波数成分の非常に重要な情報であり、デッドゾーン内にあるか否かは係数における決定的な差異である。ラプラシアンの場合には、
【００６０】
【数５】
2006180497.tif 000007
であり、ここでＷ０及びＷ１はスケーリングの１回の調整の前及び後にデッドゾーンから飛び出る係数に対する最小値である。つまり（例えば）ａ≧Ｗｉの場合にのみ、ａにより示される係数はデッドゾーンから飛び出て、これにより１又はこれより大きいレベルを獲得するのである。より一般的な分布の場合、１つの周波数成分の確率分布関数Ｐ（ｘ≦Ｘ）は範囲［０，＋∞］にあると仮定されうる。ただしここでｘは確率変数であり、Ｘは正の実数である。この場合、
【００６１】
【数６】
2006180497.tif 000008
である。ここで、簡略化のために、今は、確率変数が正の領域に分布されているケースを考慮する。さらに、もしＷ１＝Ｗ０βが使用されるならば、
【００６２】
【数７】
2006180497.tif 000009
である。こうして、尺度Ｆは開始スケーリング値Ｗ０及び成分の振幅値分布に依存する。もし２つの周波数成分が同一のスケーリング値から出発するならば、より収縮された成分が、除算ファクタを低減するチャンスを、すなわちスケーリング値を縮小するチャンスを有するだろう。ＨＶＳモデルを基礎とすると、デフォルト量子化マトリクスは異なる成分に対して異なるスケーリング値を提供する。デフォルト量子化マトリクスと比べると、本発明の方法はデフォルト量子化マトリクスのおおまかな構造を保持するが、振幅値分布を低減するために成分のうちのいくつかを調整する。有利には、幾つかの類似の条件下で、より収縮された周波数成分により高いビットアロケーションを与えることによってデッドゾーンは縮小される。イントラブロックに対しては、ＡＣ係数の分布のために、量子化プロセスの間に係数の大部分がデッドゾーンの中に入ってしまう。これは、ＡＣ係数の値に対する全ての情報が失われる又は大幅に消去されてしまうことを意味する。上述のように、公知の符号化規格のデフォルト量子化マトリクスは、高周波係数はノイズを表すか又は人間視覚系にとってあまり感知されないだろうという仮定に基づいて、しばしば大きな量子化除数を高い周波数に割り当てる。インターブロックに対しては、同一のストラテジが比較的良好な量子化マトリクスを得るために使用されうる。今まではいくつかのビデオシーケンスに対してはインターブロックの場合には結果が明白ではなかった。しかし、たとえインターブロック量子化マトリクスの変化がなくても、比較的良好なイントラブロック量子化マトリクスという理由から比較的良好な主観品質が多くの後続フレームにおいて認められる。
【００６３】
本発明では周波数成分の感知能力に対する幾つかの尺度が定義される。例えばメトリック又は尺度は、デッドゾーンから飛び出す係数値の数と既にデッドゾーンの外にある係数値の数との比を表すべきである。
【００６４】
次のテーブルはビデオシーケンスＫｕｎｇ＿ｆｕに対して使用される量子化マトリクスを示す。
【００６５】
【表１】
2006180497.tif 000010
【００６６】
より一般的なメトリック又は尺度は、もし周波数成分の振幅レベルのヒストグラムがゼロレベルのそれよりも多くの情報を含んでいるならば、各周波数成分のエントロピーに関連付けられる。周波数成分（ｉ，ｊ）に対して、エントロピーは
【００６７】
【数８】
2006180497.tif 000011
である。こうしてもう１つの尺度がＦｉｊ＝ΔＨｉｊと定義される。この尺度は、以前のスケーリングにおいて非ゼロレベルが非常に少なく、スケーリングの瞬時の縮小の後で幾つかの係数がデッドゾーンから飛び出すようなケースに非常に有益である。そして、周波数成分が多くの非ゼロレベルを有するケースでは、係数の同じ変化が相応のエントロピーの大幅な増大を引き起こさない。量子化の後で、全てのＤＣＴ値は量子化されて振幅レベルｌ＝０，１，２及びこれより高いレベルになる。各周波数成分のエントロピーに対するより効率的な表現を与えるために、Ｈｉｊの式におけるレベルｌは符号付きの値：０，−１，１，−２，２，−３，３等々にクリップされる。つまり、３よりも大きい絶対値を有するレベルは、それぞれ３又は−３として取り扱われる。この方法は、係数の大部分はデッドゾーンにありかつ高い振幅値レベルは非常に少ないという経験に基づいている。主観品質の改善を考慮する場合、注意すべきことは、デフォルト量子化マトリクスにより符号化されたビデオシーケンスのビットレートと本発明の量子化マトリクスにより符号化されたビデオシーケンスのビットレートが通常精確には同一ではないことである。これは、ビットレートを保持することが量子化マトリクスの評価に影響を及ぼすもう１つの重要な問題であることを意味する。別の尺度Ｆｉｊ＝ΔＨｉｊ／ΔＲｉｊが考慮され、ここでΔＲｉｊは補正された候補量子化マトリクスの利用に起因するレート差である。ほとんどのエントロピー値
【００６８】
【数９】
2006180497.tif 000012
は同一のビットレートで得られる。言い換えれば、ビットアロケーションポリシーは比較的大きなエントロピー増大を有する周波数成分に向けられる。しかし、この尺度は極めて時間を消費するものである。なぜなら、実際のビットレートは符号化プロセスの後でのみ決定されるからである：６３個のＦｉｊ値を得るためには、フレーム（又は完全なビデオシーケンス）が少なくとも６３回再符号化される必要がある。このような長い計算を回避するためには、Zhihaiのρ領域ベースのモデルのように（［１３］参照）、ΔＲの推定を使用できる。
【００６９】
図４では、符号器のビデオ入力信号ＩＥは例えば符号化のためのルミナンス及びクロミナンスピクセルブロックを含む１６×１６マクロブロックデータを有している。イントラフレーム又はイントラフィールドコーディングされる（Ｉモード）ビデオデータの場合には、これらのビデオデータは減算器ＳＵＢを無修正のまま通過する。その後で、例えば１６×１６マクロブロックの８×８ピクセルブロックが離散コサイン変換手段ＤＣＴ及び量子化手段Ｑにおいて処理され、エントロピー符号器ＥＣＯＤを介して乗算器ＭＵＸに供給され、この乗算器ＭＵＸはエンコーダビデオデータ出力信号ＯＥを出力する。エントロピー符号器ＥＣＯＤは量子化されたＤＣＴ係数に対するハフマン符号化を実行する。乗算器ＭＵＸでは、ヘッダ情報及び動きベクトルデータＭＶ及びことによると符号化されたオーディオデータが符号化されたビデオデータと結合される。インターフレーム又はインターフィールドコーディングされるビデオデータの場合には、予測されたマクロブロックデータＰＭＤが減算器ＳＵＢにおいて入力信号ＩＥからブロックベースで減算される。そして８×８ブロック差分データが変換手段ＤＣＴ及び量子化手段Ｑを介してエントロピー符号器ＥＣＯＤに供給される。量子化手段Ｑの出力信号は相応の逆量子化手段ＱＥ−１においても処理され、この逆量子化手段ＱＥ−１の出力信号は相応の逆離散コサイン変換手段ＤＣＴＥ−１を介して結合器ＡＤＤＥに再構成されたブロック又はマクロブロック差分データＲＭＤＤの形式で供給される。ＡＤＤＥの出力信号は動き補償手段ＦＳ＿ＭＣ＿Ｅの画像ストアにおいてバッファストアされ、この動き補償手段ＦＳ＿ＭＣ＿Ｅは再構成されたマクロブロックデータに対する動き補償を実行し、相応に予測されたマクロブロックデータＰＭＤをＳＵＢの減算入力側及び結合器ＡＤＤＥの他の入力側に出力する。量子化手段Ｑ及び逆量子化手段ＱＥ−１の特性は、例えばエントロピー符号器ＥＣＯＤにおけるエンコーダバッファの占有レベル（occupancy level）によってコントロールされる。動き推定器ＭＥは入力信号ＩＥを受信し、動き補償手段ＦＳ＿ＭＣ＿Ｅに必要な動き情報を提供し、乗算器ＭＵＸに相応の復号器への伝送及び相応の復号器における評価のための動きベクトルデータＭＶを提供する。ＱＥ−１、ＤＣＴＥ−１、ＡＤＤＥ及びＦＳ＿ＭＣ＿Ｅは受信器側復号器のシミュレーションを構成する。量子化手段Ｑ及び逆量子化手段ＱＥ−１は量子化マトリクス計算器ＱＭＣに接続されており、この量子化マトリクス計算器ＱＭＣは上述の本発明の処理に従って処理する。
【００７０】
上記の記述は、ルミナンスブロックに関する。クロミナンス成分に対しては、量子化マトリクスは４×４であるが、同じ調整スキームが実行されてデフォルト量子化マトリクスに基づく改善された４×４量子化マトリクスを得る。
【００７１】
さらに、特定の量子化マトリクスが異なるブロックサイズ及び／又はフィールド及びフレームマクロブロックコーディングモードに対して生成されうる。
【００７２】
所与の数は、他のブロックサイズが使用されるケースでは相応に適応される。
【００７３】
本発明は幾つかの利点を有する：
量子化マトリクスを生成するプロセスは低い複雑性を有する。この量子化マトリクス生成は高速である。見いだされる量子化マトリクスは高品質及び媒体又は高ビットレートアプリケーションに対して使用されうる。なぜなら、使用される尺度は詳細な周波数成分を比較的良好に表すからである。本発明の量子化マトリクス生成はフィルムグレインの保持の可能性を有する。フレームが一度しか符号化されず、残差画像に焦点が置かれ、さらに非常にシンプルな統計が各周波数成分に対して利用されることにより第１の利点が達成される。これらの統計はいかなる形態の歪みにも左右される必要がない。量子化パラメータは、オリジナルビットレートに近いビットレート相応を得るためには［−１，１］の範囲内で調整されるだけでよい。
【図面の簡単な説明】
【００７４】
【図１】ＨＤＴＶシーケンスＫｕｎｇ＿ｆｕにおけるイントラフレームブロックのＤＣＴ係数の分布を示す。
【図２】ＨＤＴＶシーケンスＫｕｎｇ＿ｆｕにおけるインターフレームブロックのＤＣＴ係数の分布を示す。
【図３】量子化マトリクス生成プロセスのフローチャートを示す。
【図４】本発明の符号器のブロック線図を示す。
【符号の説明】
【００７５】
ＩＥ  ビデオデータ入力信号
ＳＵＢ  減算器
ＤＣＴ  離散コサイン変換手段
Ｑ  量子化手段
ＥＣＯＤ  エントロピー符号器
ＭＵＸ  乗算器
ＯＥ  エンコーダビデオデータ出力信号
ＭＶ  動きベクトルデータ
ＰＭＤ  予測されたマクロブロックデータ
ＱＥ−１  逆量子化手段
ＤＣＴＥ−１  逆離散コサイン変換手段
ＡＤＤＥ  結合器
ＲＭＤＤ  再構成されたブロック又はマクロブロック差分データ
ＦＳ＿ＭＣ＿Ｅ  動き補償手段
ＱＭＣ  量子化マトリクス計算器
【図１】
2006180497.tif 000013
【図２】
2006180497.tif 000014
【図３】
2006180497.tif 000015
【図４】
2006180497.tif 000016