(57)【要約】本発明は、n画像からなる系列中の画像の各領域についての量子化きざみを局所的に調整する方法に関する。本方法は以下のステップを有する：当該系列の各画像について、第一の量子化きざみで量子化するときに有力マスキング領域で節約される第一のビット差と、第二の量子化きざみで量子化するときに関心領域によって要求される第二のビット差とを計算し；当該系列の各画像において、有力マスキング領域に第一の量子化きざみを割り当て、n個の第一のビット差の和（GPOT）がn個の第二のビット差の和（DROI）より大きい場合には、前記関心領域に前記第二の量子化きざみを割り当て、それ以外の場合には第三の量子化きざみを割り当て、それにより前記n個の第一のビット差の和が、再構成品質基準に従って、関心領域の間で分配されるようにする。
2008535423.tif 000002
【特許請求の範囲】
【請求項１】
設定点の量子化きざみ（QP*）に対して、n画像からなる系列の画像中の量子化きざみを局所的に調整するための方法であって、前記画像は少なくとも一つの関心領域および一つの有力マスキング領域を有し、該領域のそれぞれは可能性としてはいくつかの離散したグループのピクセルを有しており、前記関心領域および有力マスキング領域は、前記設定点の量子化きざみで量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるものであり、当該方法は：
・当該系列の各画像について、前記第二のビット数と、設定点の量子化きざみ（QP*）以上の第一の量子化きざみ（QP_POT_MAXj）で量子化された前記有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ（QP*）以下の第二の量子化きざみ（QP_ROI_MINj）で量子化された前記関心領域をエンコードするために使われるビット数と、前記第一のビット数との間の第二のビット差を計算し；
・当該系列の各画像において、有力マスキング領域に前記第一の量子化きざみを割り当て、当該系列のn枚の画像にわたってn個の第一のビット差の和（GPOT）がn個の第二のビット差の和（DROI）より大きい場合には、前記関心領域に前記第二の量子化きざみを割り当て、それ以外の場合には前記第二の量子化きざみ以上の第三の量子化きざみを前記関心領域に割り当て、それにより前記n個の第一のビット差の和が、当該系列の諸画像の関心領域の間で、各画像について計算された再構成品質基準に従って、分配されるようにする、
ステップを有することを特徴とする方法。
【請求項２】
前記第一の量子化きざみ（QP_POT_MAXj）は、該第一の量子化きざみが前記有力マスキング領域を符号化するために使われるときに該有力マスキング領域の第一の所定の再構成品質（PSNRminPOT）を保証するよう決定される、請求項１記載の方法。
【請求項３】
前記第二の量子化きざみ（QP_ROI_MINj）は、該第二の量子化きざみ（QP_ROI_MINj）が前記関心領域を符号化するために使われるときに該関心領域の第二の所定の再構成品質（PSNRmaxROI）を保証するよう決定される、請求項１または２記載の方法。
【請求項４】
当該系列の前記n枚の画像にわたって、前記n個の第一のビット差の和（GPOT）が前記n個の第二のビット差の和（DROI）より小さい場合には、前記n個の第一のビット差の和（GPOT）は、前記第二の所定の再構成品質（PSNRmaxROI）と、前記設定点の量子化きざみ（QP*）を前記関心領域の符号化に使うときの前記関心領域の再構成品質との間の差に基づいて、当該系列の前記n枚の画像の関心領域の間で比例配分される、請求項３記載の方法。
【請求項５】
前記画像がさらに中立領域を有しており、該中立領域は可能性としては離散した諸グループのピクセルを有しており、該中立領域には設定点の量子化きざみ（QP*）が割り当てられる、請求項１ないし４記載の方法。
【請求項６】
n枚の画像の系列を符号化する方法であって、前記n枚の画像を一組の係数に変換するステップと、前記係数のそれぞれを量子化きざみによって量子化するステップと、前記量子化された係数をエンコードするステップとを有しており、前記量子化きざみが請求項１ないし５のうちいずれか一項記載の方法に従って局所的に調整される方法。
【請求項７】
少なくとも一つの関心領域および一つの有力マスキング領域を有する画像n枚の系列を符号化する符号化装置（１０）であって、該領域のそれぞれは可能性としてはいくつかの離散したグループのピクセルを有しており、当該装置（１０）は：
・前記n枚の画像のそれぞれを一組の係数に変換する手段（１１０）と；
・前記係数を、設定点の量子化きざみ（QP*）に関して前記系列の各画像において局所的に調整された量子化きざみを用いて量子化し、その際、前記関心領域および有力マスキング領域は前記設定点の量子化きざみ（QP*）で量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるような、量子化手段（１２０）と；
・前記量子化された係数を符号化する符号化手段（１３０）とを有しており；
前記量子化手段（１２０）が：
・当該系列の各画像について、前記第二のビット数と、設定点の量子化きざみ（QP*）以上の第一の量子化きざみ（QP_POT_MAXj）で量子化された前記有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ（QP*）以下の第二の量子化きざみ（QP_ROI_MINj）で量子化された前記関心領域をエンコードするために使われるビット数と、前記第一のビット数との間の第二のビット差を計算する手段と；
・当該系列の各画像において、有力マスキング領域に前記第一の量子化きざみを割り当て、当該系列の前記n枚の画像にわたってn個の第一のビット差の和（GPOT）がn個の第二のビット差の和（DROI）より大きい場合には、前記関心領域に前記第二の量子化きざみを割り当て、それ以外の場合には前記第二の量子化きざみ以上の第三の量子化きざみを前記関心領域に割り当て、それにより前記n個の第一のビット差の和が、各画像について計算された再構成品質基準に従って、当該系列の諸画像の関心領域の間で分配されるようにする手段とを有する、
ことを特徴とする装置。
【請求項８】
前記設定点の量子化きざみ（QP*）による前記量子化手段（１２０）を提供するレート制御手段（１４０）をさらに有する、請求項７記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の系列を事前解析するステップを使って、ある系列の諸画像における量子化きざみを局所的に調整する方法に関する。
【背景技術】
【０００２】
本発明はビデオ圧縮、特に選択的圧縮の分野に適用される。関心領域をもつ画像の選択的圧縮のいかなる方法も二つの機構に関わる：先験的選択機構および先験的圧縮機構である：
・情報の選択は視覚的な注意機構であり、画像中に含まれる関心のあるイベントの位置およびこれらのイベントの互いとの関係での相対的な重要性を定義する；
・先験的圧縮機構は、画像の性質およびエンコードならびにエンコード資源すなわちビットレートまたは品質の割り当ての基準を特徴付ける。
【０００３】
いかなる圧縮方法もエンコードされるべきデータを量子化するための量子化方法に関わる。本発明は、より詳細には、画像中の各領域についての量子化きざみの局所的な調整に関する。従来式のアプローチでは、量子化きざみの局所的調整は各マクロブロックについて（あるいは各ピクセル・ブロックについて）画像内でのその視覚心理学的重要性に基づいて実行される。こうしたアプローチは特に、それほど重要でないマクロブロックをより強く量子化し、逆に重要なマクロブロック（目を引くマクロブロック）は関連する量子化きざみを小さくすることによって保存するために使用される。しかしながら、こうしたアプローチでは、重要なマクロブロックの再構成品質（すなわちデコード後の）は、ある画像と次の画像とで強く変動することがあり、観察者にとって問題となる。さらに、再構成品質は関心領域内でも変動しうる。
【発明の開示】
【課題を解決するための手段】
【０００４】
本発明の目的は、従来技術の欠点の少なくとも一つを解決することである。本発明は、設定点の量子化きざみ（QP*）に対して、n画像からなる系列の画像中の量子化きざみを局所的に調整するための方法に関する。各画像は少なくとも一つの関心領域（region  of  interest）および一つの有力マスキング領域（potential  masking  region）を有し、各領域は可能性としてはいくつかの相異なるグループのピクセルを有している。関心領域および有力マスキング領域は、設定点の量子化きざみで量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされる。本発明によれば、本方法は以下のステップを有する：
・当該系列の各画像について、第二のビット数と、設定点の量子化きざみ（QP*）以上の第一の量子化きざみ（QP_POT_MAXj）で量子化された有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ（QP*）以下の第二の量子化きざみ（QP_ROI_MINj）で量子化された関心領域をエンコードするために使われるビット数と、第一のビット数との間の第二のビット差を計算し；
・当該系列の各画像において、有力マスキング領域に第一の量子化きざみを割り当て、当該系列のn枚の画像にわたってn個の第一のビット差の和（GPOT）がn個の第二のビット差の和（DROI）より大きい場合には、関心領域に第二の量子化きざみを割り当て、それ以外の場合には第二の量子化きざみ以上の第三の量子化きざみを関心領域に割り当て、それにより前記n個の第一のビット差の和が、当該系列の画像の関心領域の間で、各画像について計算された再構成品質基準に従って、分配されるようにする。
【０００５】
ある個別的な実施形態によれば、第一の量子化きざみ（QP_POT_MAXj）は、該第一の量子化きざみが有力マスキング領域を符号化するために使われるときに該有力マスキング領域の第一の所定の再構成品質（PSNRminPOT）を保証するよう、決定される。第二の量子化きざみ（QP_ROI_MINj）は、該第二の量子化きざみ（QP_ROI_MINj）が関心領域を符号化するために使われるときに該関心領域の第二の所定の再構成品質（PSNRmaxROI）を保証するよう、決定される。
【０００６】
好ましくは、当該系列のn枚の画像にわたって、n個の第一のビット差の和（GPOT）がn個の第二のビット差の和（DROI）より小さい場合には、n個の第一のビット差の和（GPOT）は、第二の所定の再構成品質（PSNRmaxROI）と、設定点の量子化きざみ（QP*）をその関心領域の符号化に使うときのその関心領域の再構成品質との間の差に基づいて、当該系列のn枚の画像の関心領域の間で比例配分される。
【０００７】
もう一つの実施形態によれば、前記画像はさらに中立領域を有しており、該中立領域は可能性としては離散した（disjoint）諸グループのピクセルを有しており、該中立領域には設定点の量子化きざみ（QP*）が割り当てられる。
【０００８】
本発明はまた、n枚の画像の系列を符号化する方法であって、n枚の画像を一組の係数に変換するステップと、前記係数のそれぞれを量子化きざみによって量子化するステップと、量子化された係数をエンコードするステップとを有しており、前記量子化きざみが上記の方法に従って局所的に調整される方法にも関する。
【０００９】
本発明はまた、少なくとも一つの関心領域および一つの有力マスキング領域を有するn枚の画像の系列を符号化する符号化装置に関する。該装置は：
・n枚の画像のそれぞれを一組の係数に変換する手段と；
・前記係数を、設定点の量子化きざみ（QP*）に関して前記系列の各画像において局所的に調整された量子化きざみを用いて量子化し、その際、関心領域および有力マスキング領域は設定点の量子化きざみ（QP*）で量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるような、量子化手段と；
・量子化された係数を符号化する符号化手段とを有している。
【００１０】
本発明によれば、前記量子化手段は：
・当該系列の各画像について、第二のビット数と、設定点の量子化きざみ（QP*）以上の第一の量子化きざみ（QP_POT_MAXj）で量子化された有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ（QP*）以下の第二の量子化きざみ（QP_ROI_MINj）で量子化された関心領域をエンコードするために使われるビット数と、第一のビット数との間の第二のビット差を計算する手段と；
・当該系列の各画像において、有力マスキング領域に第一の量子化きざみを割り当て、当該系列のn枚の画像にわたってn個の第一のビット差の和（GPOT）がn個の第二のビット差の和（DROI）より大きい場合には、関心領域に第二の量子化きざみを割り当て、それ以外の場合には第二の量子化きざみ以上の第三の量子化きざみを関心領域に割り当て、それにより前記n個の第一のビット差の和が、各画像について計算された再構成品質基準に従って、当該系列の画像の関心領域の間で分配されるようにする手段とを有する。
【００１１】
有利には、前記符号化装置はさらに、設定点の量子化きざみ（QP*）による量子化手段を提供するレート制御手段を有する。
【００１２】
本発明は、付属の図面を参照しつつ、決して限定するものではない例示的な実施形態および有利な実装によってよりよく理解され、例解されるであろう。
【発明を実施するための最良の形態】
【００１３】
本発明は、画像の関心のある各領域または区域（すなわち、より注目を引く領域）について、量子化きざみを設定点の量子化きざみ（QP*）に対して局所的に調整する方法に関する。いくつかの画像からなる系列の一部である画像は、ピクセルのブロックからなる。量子化きざみを局所的に適応させる方法において、画像の他の領域を犠牲にして関心のある空間領域を厚遇することによって、与えられた全体的なビットレートについて、関心領域の視覚的な品質が向上する。画像中における関心領域の選択に基づいて、量子化きざみはこれらの領域の関心に従って局所的に調整される。この調整は、重要性の低い領域をより強く圧縮して、使われないことがありうるエンコード資源（すなわち、ビット数）を系列に沿って関心領域に再分配する。ある画像から別の画像へのビットのこの再分配により、関心領域についてより安定した再構成品質（すなわち復号後品質の）を得ることが可能になる。本発明に基づく方法は、画像系列事前解析ステップを使って、特に、当該系列中の関心領域のビット数の点での要件を特徴付け、その結果として系列全体にわたって関心領域の再構成品質をなめらかにする。
【００１４】
より具体的には、本発明に基づく方法は、非関心領域から関心領域にビットレートを移転するために使われることができる。このために、提案される解決策は、画像中の各領域について量子化きざみQPの変動すなわち量子化きざみの局所的調整を用いる。この調整は、QP*と表される量子化きざみの値の初期設定点（たとえば、各画像についてのビットレート制御から導出される）に対してなされる。この量子化きざみQP*は設定点のビットレートD*に対応する。この量子化きざみの値は、必要なら、系列の間に画像から画像へと変わってもよい。より具体的には、本発明によれば、画像の各領域についての量子化きざみは、領域の視覚的関心に従って修正される。量子化きざみの正方向の変動は、品質低下を代償としてより強い圧縮、すなわちビットレートの利得を与える。負方向の変動は、エンコード・コストの上昇を代償としてより細かな圧縮、すなわち向上した再構成品質を与える。
【００１５】
したがって、本方法はコンテンツについての先験的な情報を知ることを要求する。本発明に基づく方法によって使用されるこの先験的情報は二つのカテゴリーにはいる。コンテンツについての先験的情報の第一のカテゴリーは、系列の各画像において、より多くの注目を集める領域すなわち関心領域の位置に関するものである。この領域は、離散した諸グループのピクセル・ブロックからなっていてもよいが、それでも同一の領域として定義される。この情報は、画像中の各ブロックbiについて人間の視覚系にとっての関心のレベルを示す二値の関心マップIによって与えられることができる：関心のあるブロックbiについてはI(bi)＝1であり、関心のないブロックbiについてはI(bi)＝0である。このマップは、たとえば、顕著性マップを閾値処理することによって得ることができる。顕著性マップとは、画像中の各ピクセルについてその知覚的関心を示すマップである。このマップは、動き情報などの多様な情報を考慮して構築できる。ピクセルに関連付けられる値が大きいほど、そのピクセルは目を引くことになる。各ブロックについての顕著性値を得るためには、所与のブロックについて、そのブロックに属するピクセルに関連付けられた値を平均することが考えられる。あるいはそれらの顕著性値の中央値を取るのでもよい。より一般的にいえば、本発明は、各ブロックbiについてその関心レベルを特徴付ける関心の二値でないマップの場合にも適用できる。コンテンツについての先験的情報の第二のカテゴリーは、系列の各画像において、視覚的アーチファクトに対する強いマスキング機能を有する画像の領域の位置に関するものである。この領域は、離散した諸グループのピクセル・ブロックからなっていてもよい。デジタル・ビデオ・システムにおいて使用される非可逆圧縮法はアーチファクトを生じるが、その可視性は処理される画像の内容に強く依存する。コントラスト・マスキング効果は、信号の可視性のこの修正を別の信号の存在に変換する。この修正は、可視性閾値の低下の方向に行く（容易化［facilitation］）こともできるし、可視性閾値の増加の方向に行く（マスキング）ことさえできる。非関心領域の部分であるブロックにおける新たなアーチファクトの出現を制限するために、コンテンツに対する先験的情報は、各ブロックbiについてその視覚的なマスキング能力を示す二値のマップPによっても与えられる：マスキング能力の強いブロックについてはP(bi)＝1であり、マスキング領域の弱いブロックbiについてはP(bi)＝0である。このマップは、たとえば、活動性マップを閾値処理することによって得ることができる。活動性マップとは、所与のブロックについてその活動性のレベルを示すマップである。このレベルは、たとえばブロックの分散を測定することによって計算できる。本稿では、以下、強いマスキング能力をもつ画像中の非関心領域のブロックbiの集合は「有力マスキング領域（potential  masking  region）」と呼ばれる。有力マスキング領域に属さない非関心領域のブロックbiの集合は「中立領域（neutral  region）」と呼ばれる。関心領域の位置およびマスキング能力が強い領域にそれぞれ関係する二つの二値マップは結合されて単一のマップIfinalが得られ、これが、量子化きざみを局所的に調整するために���用されるものであり、画像中の各ブロックbiに次のように値0、1または2を関連付ける：
【００１６】
【数１】
2008535423.tif 000003
ここで：
・IFinalはエンコーダに送信される新しいマップであり、関心領域および有力マスキング領域をも示し、このマップからビットの移転が適用されることになる；
・Pは有力マスキング領域を定義する二値マップ；
・Iは関心領域および非関心領域を定義する二値マップ。
【００１７】
本方法は、PSNR(QP)曲線（ピーク信号対雑音比［peak  signal-to-noise  ratio］を量子化きざみの関数として表す曲線）およびNbBit(QP)曲線（ビット数［the  number  of  bits］を量子化きざみの関数として表す曲線）をも使用する。これらの曲線は、系列の各画像における関心領域および有力マスキング領域のそれぞれに固有であり、関連付けられている。PSNRは、画像品質を特徴付けるのに使われる基準である。この場合、PSNRは、画像、ブロックまたは画像中の領域を復号した後の再構成品質を特徴付けるために使用される。そこで、PSNRは次のように定義される：
【００１８】
【数２】
2008535423.tif 000004
ここで、SSEは平方誤差和（sum  of  the  squared  errors）である。SSEは、あるブロックについて、源画像中のピクセルに関連付けられた値と再構成された画像、すなわち復号画像中の対応するピクセルに関連付けられた値とのピクセルごとの差の当該ブロック上での和によって定義される。
【００１９】
本発明によれば、他の品質基準も使うことができる。画像のある領域から他の領域にビットを再分配する前に、値QP*のまわりで上に定義した曲線の部分を構築するために、系列の各画像jについての学習ステップが必要とされる。これらの曲線部分は、データ・ファイルを通じてなど、外的手段によって提供されてもよい。それは、三つの異なる量子化きざみ：QP*−L、QP*＋KおよびQP*を使って、画像jの関心領域または有力マスキング領域のいずれかに属する各ピクセル・ブロック（たとえば、16×16ピクセルの大きさのマクロブロック）をエンコードすることからなる。関心領域に属するエンコードされたブロックの再構成（すなわち復号）後、所与の量子化きざみの値（QP*−L、QP*＋KまたはQP*）についてこれらのブロックに関係するデータ（PSNRおよびNbBit）が平均されて、画像j中の該関心領域について、かつ三つの量子化きざみの値それぞれについて、PSNR値（PSNRjROI）およびビット数の値（NbBitjROI）が得られる。同様に、有力マスキング領域に属するブロックに関係するデータが平均されて、画像j中の該有力マスキング領域について、かつ三つの量子化きざみの値それぞれについて、PSNR値（PSNRjPOT）およびビット数の値（NbBitjPOT）が得られる。すると、三つの値QP*−L、QP*＋KおよびQP*の間の線形補間によって、曲線PSNRj(QP)およびNbBitj(QP)が補間され、画像jについて、関心領域については曲線PSNRjROI(QP)およびNbBitjROI(QP)が、有力マスキング領域については曲線PSNRjPOT(QP)およびNbBitjPOT(QP)が得られる。
【００２０】
ビットの移転または再分配の原理は、有力マスキング領域に属するブロックはより強く（設定点の量子化きざみQP*に基づく初期エンコードを基準として）圧縮し、有力マスキング領域のエンコードに使用されない（NbBitjPOT(QP*)を基準として）ビットを関心領域のエンコードのために使用することにある。本方法によれば、有力マスキング領域のブロックを量子化するためには、有力マスキング領域に関連した再構成品質の最低限の所定の値PSNRminPOT（たとえば20dB）が尊重される限りにおいて、より強い量子化きざみが使われることができる。同様に、関心領域については、再構成品質の最大の所定の値PSNRmaxROIが設定される（たとえば35dB）。これらの値は自動的に設定されることもできるし、手動で（たとえばオペレーターによって）設定されることもできる。本発明に基づく方法は、当該系列について設定点ビットレートD*とほぼ同様の全体的なビットレートを維持するよう注意しつつ、有力マスキング領域から関心領域にビットを移転させることによって、量子化きざみを局所的に適応させることにある。本発明に基づく方法は、第一の系列事前解析ステップを使用する。このステップでは、有力マスキング領域に割り当てられた量子化きざみを大きくすることによって系列全体にわたって回収または節約できるビット数が計算され、同様に、関心領域をより細かい量子化きざみでエンコードするために系列全部にわたって要求される追加的なビット数が計算される。この目的に向け、本選択的圧縮システムに関わる各領域（すなわち関心領域および有力マスキング領域）について、そして系列の各画像jについて、量子化きざみについてのいわゆる有効な値の集合が定義される。これらの値は、有力マスキング領域および関心領域においてそれぞれ最小PSNR要件および最大PSNR要件を満足する再構成品質を尊重するよう、PSNR(QP)曲線（各領域についておよび各画像についてモデル化される）から決定される。画像jにおける有力マスキング領域について、有力マスキング領域に割り当てられることのできる量子化きざみの値は、QP*で表される設定点の値と、最低限の再構成品質PSNRminPOTを保証できるようにする最高値（QP_POT_MAXjと記す）との間で変動する。同じ原理は関心領域に適用される。画像jにおける関心領域に割り当てられることのできる量子化きざみの値は、目標再構成品質PSNRmaxPOTを達成できるようにする量子化きざみの最小値（QP_ROI_MINjと記す）と設定点の値QP*との間で変動する。
【００２１】
本発明によれば、事前解析ステップはまず、系列の各画像について、関心領域のビット数に関する要求と、有力マスキング領域が提供できるビット数とを収集することを含む。第二に、ビットの移転は、系列を通じて有力マスキング領域によってもたらされる可能性に基づく。二つの結末が考えられる：有力マスキング領域が要求を満たすことができるか、できないかである。後者の場合、ビットの再分配は、PSNRベースの品質の設定点に対する関心領域のPSNR不足分に比例して実行される。
【００２２】
事前解析においては、系列の各画像jについて、有力マスキング領域をQP_POT_MAXjでエンコードするときに節約できるビット数が、該領域に関連付けられた曲線NbBitjPOT(QP)から決定される。目標再構成品質PSNRmaxROIを達成するための追加的なビットに関する関心領域の要求も評価される。最低限の再構成品質を提供する最大量子化きざみを用いたエンコードについて画像jの有力マスキング領域から節約されるビット数を表すのに項gainj(QP_POT_MAXj)を使うとすると、
gainj(QP_POT_MAXj)＝NbBitjPOT(QP*)−NbBitjPOT(QP_POT_MAXj)
ここで：
・NbBitjPOT(QP)は画像jの有力マスキング領域に関連付けられた曲線NbBit(QP)。
・QP_POT_MAXjは、有力マスキング領域の最低限の再構成品質を提供するために使うことのできる量子化きざみの値。
【００２３】
目標再構成品質を満足する画像jの関心領域によって要求されるビット数を表すのに項requirementj(QP_ROI_MINj)を使うとすると、
requirementj(QP_ROI_MINj)＝NbBitjROI(QP_ROI_MINj)−NbBitjROI(QP*)
ここで：
・NbBitjROI(QP)は画像jの関心領域に関連付けられた曲線NbBit(QP)。
・QP_ROI_MINjは、目標再構成品質に近い関心領域の再構成品質を保証するために使うことのできる量子化きざみの値。
【００２４】
この画像解析では、有力マスキング領域で節約されるビット数（GPOTと記す）および関心領域によって要求されるビット数（DROIと記す）が系列を通じて集約される。
【００２５】
【数３】
2008535423.tif 000005
ここで、Nはエンコードされるべき画像の数である。
【００２６】
さらに、設定点のきざみで量子化される関心領域の再構成品質と目標再構成品質PSNRmaxROIとの間の品質差（我々のアプローチではPSNRによって評価されるが、これに制約されない）が、図１によって示されるように系列の各画像jについて計算される。ΔPSNRROIを、系列を通じたこれらの品質差の集約値とする。よって
【００２７】
【数４】
2008535423.tif 000006
ここで：
・δPSNRjROI＝MAX(0,PSNRmaxROI−PSNRjROI(QP*))は画像jの関心領域の品質差であり；
・Nはエンコードされるべき系列の画像数であり；
・PSNRjROI(QP*)は画像jの関心領域のPSNRの値である。
【００２８】
この事前解析の最後には、次の値が知られる：
・画像レベルでは：
・関心領域の目標再構成品質からの品質距離；
・それぞれ最低再構成品質PSNRminPOTおよび目標再構成品質PSNRmaxROIを達成するためにそれぞれ有力マスキング領域および関心領域に適用できる量子化きざみQP_POT_MAXjおよびQP_ROI_MINj；
・系列レベルでは：
・関心領域の、目標再構成品質に比べた品質差の集約値ΔPSNRROI；
・有力マスキング領域GPOT上で節約される総ビット数
・目標再構成品質を達成するために関心領域によって要求される総ビット数DROI。
【００２９】
本方法の第二のステップのねらいは、量子化きざみQP_POT_MAXjを用いた有力マスキング領域のエンコードから導かれる、系列を通じて節約されるビット数を、適宜、関心領域の目標再構成品質を満たすために再分配することによって、系列の各画像中の各領域について量子化きざみを割り当てることである。この分配は、実際上、有力マスキング領域が提供する能力、すなわち有力マスキング領域が要求を満たすことができるか（場合１）、できないか（場合２）に従ってなされる。
【００３０】
場合１：GPOT≧DROI
系列を通じて節約される総ビット数が、目標再構成品質を達成するために関心領域によって要求される総ビット数以上である。有力マスキング領域から節約されたビットの、系列を通じての関心領域への再分配ができる。この場合、全体としてのビットレートを下げることができる。
【００３１】
関心領域および有力マスキング領域の量子化きざみの局所的調整は、各画像jについて、それぞれの値QP_ROI_MINjおよびQP_POT_MAXjに基づいて直接実行される。すなわち、QP_ROI_MINjが有力マスキング領域に割り当てられ、QP_POT_MAXjが関心領域に割り当てられる。
【００３２】
場合２：GPOT＜DROI
系列を通じて集約されたビットレート節約が関心領域の要求を完全には満たすことができない。
【００３３】
量子化きざみの局所的調整後に設定点のビットレート（設定点の量子化きざみによって得られる）とほぼ同様の全体としてのビットレートを保持するために、現在の値QP_ROI_MINjより大きい、関心領域についての新たな量子化きざみの値QP_ROIjを各画像jについて評価しなければならない。その際、ビットの再分配は、PSNRベースの品質設定点に対する関心領域のPSNR不足分に比例してなされる。各画像jについて、現在の関心領域のエンコードのために追加される追加ビット数NbAdditionalBitsjROIは、現在の品質差δPSNRjROIに比例するように、有力マスキング領域から得られる総ビット数から、次のように計算される：
【００３４】
【数５】
2008535423.tif 000007
曲線NbBitjROI(QP)から、新たな目標ビット数NbBitjROI(QP*)＋NbAdditionalBitsjROIに近づくために使うことのできる関心領域の量子化きざみQP_ROIjの値が推定される。
【００３５】
関心領域および有力マスキング領域の量子化きざみの局所的調整は、各画像jについて、それぞれの値QP_ROIjおよびQP_POT_MAXjに基づいて実行される。中立領域のブロックについては、選択的エンコード方針に関して中立的であると考えられる。すなわち、これらのブロックに割り当てられる量子化きざみは、設定点の量子化きざみQP*に対応する、すなわち量子化きざみの局所的適応はない。
【実施例】
【００３６】
本発明はまた、本発明に基づく量子化方法を実装するn枚の画像の系列を符号化するための符号化方法にも関する。該符号化方法は、前記系列のn枚の画像を一組の係数に、たとえばDCTを使って変換するステップと、前記係数を上記の方法に従って前記系列のn枚の画像内で局所的に適応された量子化きざみによって量子化するステップと、前記量子化された係数を（たとえばエントロピー符号化プロセスを使って）エンコードするステップとを有する。
【００３７】
本発明はまた、図２に描かれている、画像の系列を符号化する符号化装置１０にも関係する。図２には本質的なモジュールのみが描かれており、これから述べる。本符号化装置は、本符号化装置の入力の源画像を一組の係数（たとえばDCT係数）に変換するモジュール１１０を有する。モジュール１１０はたとえばDCT変換を実装するものである。次いで前記係数は、量子化モジュール１２０で量子化され、量子化された係数が得られる。量子化モジュール１２０は、本発明に基づく量子化きざみの局所的調整の方法を実装するよう適応されている。より具体的には、量子化モジュール１２０は系列の各画像の関心領域に量子化きざみを割り当てる。その際、節約されるビット数GPOTが十分であれば再構成品質を保証するように、あるいはこの節約されたビット数GPOTが系列全体にわたる関心領域の間で、目標再構成品質と設定点再構成（すなわち当該関心領域をQP*で量子化するときに得られる品質）との間の差に比例して分配されるようにする。次いで量子化された係数は、当業者に知られている符号化モジュール１３０、たとえばエントロピー・エンコーダによってエンコードされる。ある個別的な実施形態によれば、符号化装置１０はレート制御モジュール１４０を有する。モジュール１４０は、量子化モジュール１２０に設定点の量子化きざみQP*を提供することもできる。
【００３８】
もちろん、本発明は上述した実施形態に限定されるものではない。特に、当業者は、開示された実施形態にいかなる変形をも加えることができ、それらを組み合わせてさまざまな利点から裨益することができる。従来式のPSNR以外の基準を、画像の、ピクセルのブロックのあるいは画像中のある領域の再構成品質を特徴付けるために使うこともできる。たとえば、分散に基づいて重み付けされたPSNR、視覚心理学的モデリングに基づいた基準などである。同様に、PSNR(QP)およびNbBit(QP)の曲線は、記載した以外の手段で得ることもできる。よって、曲線を補間するために三つよりも多い量子化きざみを使うこともできる。同様に、たとえば多項式補間のような別の種類の補間を使うこともできる。
【００３９】
関心マップは、画像中の各ブロックについて関心レベルの高低を特徴付ける、二値でないマップであることもできる。これらのマップは、画像中でいくつかの関心領域を定義し、各領域のためにその関心レベルに従ってビットが再割り当てされるようにするために使うことができる。
【図面の簡単な説明】
【００４０】
【図１】エンコードされるべき系列の各画像についての関心領域のPSNRの傾向を示す図である。
【図２】本発明に基づく符号化装置を描く図である。
【図１】
2008535423.tif 000008
【図２】
2008535423.tif 000009
【手続補正書】
【提出日】平成19年10月10日(2007.10.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
設定点の量子化きざみ（QP*）に対して、n画像からなる系列の画像中の量子化きざみを局所的に調整するための方法であって、前記画像は少なくとも一つの関心領域および一つの有力マスキング領域を有し、該領域のそれぞれは可能性としてはいくつかの離散したグループのピクセルを有しており、前記関心領域および有力マスキング領域は、前記設定点の量子化きざみで量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるものであり、当該方法は：
・当該系列の各画像について、前記第二のビット数と、設定点の量子化きざみ（QP*）以上の第一の量子化きざみ（QP_POT_MAXj）で量子化された前記有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ（QP*）以下の第二の量子化きざみ（QP_ROI_MINj）で量子化された前記関心領域をエンコードするために使われるビット数と、前記第一のビット数との間の第二のビット差を計算し；
・当該系列の各画像において、有力マスキング領域に前記第一の量子化きざみを割り当て、当該系列のn枚の画像にわたってn個の第一のビット差の和（GPOT）がn個の第二のビット差の和（DROI）より大きい場合には、前記関心領域に前記第二の量子化きざみを割り当て、それ以外の場合には前記第二の量子化きざみ以上の第三の量子化きざみを前記関心領域に割り当て、それにより前記n個の第一のビット差の和が、当該系列の諸画像の関心領域の間で、各画像について計算された再構成品質基準に従って、分配されるようにする、
ステップを有することを特徴とする方法。
【請求項２】
前記第一の量子化きざみ（QP_POT_MAXj）は、該第一の量子化きざみが前記有力マスキング領域を符号化するために使われるときに該有力マスキング領域の第一の所定の再構成品質（PSNRminPOT）を保証するよう決定される、請求項１記載の方法。
【請求項３】
前記第二の量子化きざみ（QP_ROI_MINj）は、該第二の量子化きざみ（QP_ROI_MINj）が前記関心領域を符号化するために使われるときに該関心領域の第二の所定の再構成品質（PSNRmaxROI）を保証するよう決定される、請求項１または２記載の方法。
【請求項４】
当該系列の前記n枚の画像にわたって、前記n個の第一のビット差の和（GPOT）が前記n個の第二のビット差の和（DROI）より小さい場合には、前記n個の第一のビット差の和（GPOT）は、前記第二の所定の再構成品質（PSNRmaxROI）と、前記設定点の量子化きざみ（QP*）を前記関心領域の符号化に使うときの前記関心領域の再構成品質との間の差に基づいて、当該系列の前記n枚の画像の関心領域の間で比例配分される、請求項３記載の方法。
【請求項５】
前記画像がさらに中立領域を有しており、該中立領域は可能性としては離散した諸グループのピクセルを有しており、該中立領域には設定点の量子化きざみ（QP*）が割り当てられる、請求項１ないし４記載のうちいずれか一項記載の方法。
【請求項６】
n枚の画像の系列を符号化する方法であって、前記n枚の画像を一組の係数に変換するステップと、前記係数のそれぞれを量子化きざみによって量子化するステップと、前記量子化された係数をエンコードするステップとを有しており、前記量子化きざみが請求項１ないし５のうちいずれか一項記載の方法に従って局所的に調整される方法。
【請求項７】
少なくとも一つの関心領域および一つの有力マスキング領域を有する画像n枚の系列を符号化する符号化装置（１０）であって、該領域のそれぞれは可能性としてはいくつかの離散したグループのピクセルを有しており、当該装置（１０）は：
・前記n枚の画像のそれぞれを一組の係数に変換する手段（１１０）と；
・前記係数を、設定点の量子化きざみ（QP*）に関して前記系列の各画像において局所的に調整された量子化きざみを用いて量子化し、その際、前記関心領域および有力マスキング領域は前記設定点の量子化きざみ（QP*）で量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるような、量子化手段（１２０）と；
・前記量子化された係数を符号化する符号化手段（１３０）とを有しており；
前記量子化手段（１２０）が：
・当該系列の各画像について、前記第二のビット数と、設定点の量子化きざみ（QP*）以上の第一の量子化きざみ（QP_POT_MAXj）で量子化された前記有力マスキング領域をエンコードするために使われるビット数との間の第一のビット差、ならびに、設定点の量子化きざみ（QP*）以下の第二の量子化きざみ（QP_ROI_MINj）で量子化された前記関心領域をエンコードするために使われるビット数と、前記第一のビット数との間の第二のビット差を計算する手段と；
・当該系列の各画像において、有力マスキング領域に前記第一の量子化きざみを割り当て、当該系列の前記n枚の画像にわたってn個の第一のビット差の和（GPOT）がn個の第二のビット差の和（DROI）より大きい場合には、前記関心領域に前記第二の量子化きざみを割り当て、それ以外の場合には前記第二の量子化きざみ以上の第三の量子化きざみを前記関心領域に割り当て、それにより前記n個の第一のビット差の和が、各画像について計算された再構成品質基準に従って、当該系列の諸画像の関心領域の間で分配されるようにする手段とを有する、
ことを特徴とする装置。
【請求項８】
前記設定点の量子化きざみ（QP*）による前記量子化手段（１２０）を提供するレート制御手段（１４０）をさらに有する、請求項７記載の符号化装置。
【国際調査報告】
2008535423.tif 000010
2008535423.tif 000011
2008535423.tif 000012