(57)【要約】本発明は、設定点の量子化きざみに対して画像の各領域について量子化きざみを局所的に調整する方法に関する。本方法は：・前記関心領域に、前記設定点の量子化きざみ（QP*）以下の第一の量子化きざみ（QP_ROI_MINj）を割り当て（２０）、・前記設定点の量子化きざみ（QP*）以上で第三の量子化きざみ（QP_POT_MAXj）以下の第二の量子化きざみ（QP_POTj）を決定し（２２）、その際、前記関心領域によって必要とされるビット数が前記有力マスキング領域上で節約されるビット数より少なくなるようにし；・そのような第二の量子化きざみが存在するとき、前記第二の量子化きざみ（QP_POTj）を前記有力マスキング領域に割り当て（２２）、そのような第二の量子化きざみが存在しないときには、前記第三の量子化きざみ（QP_POT_MAXj）を前記有力マスキング領域に割り当てる、ステップを含む。
2008535344.tif 000002
【特許請求の範囲】
【請求項１】
設定点の量子化きざみ（QP*）に対して画像中の量子化きざみを局所的に調整する方法であって、前記画像は少なくとも一つの関心領域および一つの有力マスキング領域を有し、該領域のそれぞれは可能性としてはいくつかの離散した諸グループのピクセルを有しており、前記関心領域および有力マスキング領域は、前記設定点の量子化きざみ（QP*）で量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるものであり、当該方法は：
・前記関心領域に、前記設定点の量子化きざみ（QP*）以下の第一の量子化きざみ（QP_ROI_MINj）を割り当て（２０）、該第一の量子化きざみで量子化されるときに前記領域は第三のビット数でエンコードされるものとし；
・前記設定点の量子化きざみ（QP*）以上で第三の量子化きざみ（QP_POT_MAXj）以下の第二の量子化きざみ（QP_POTj）を決定し（２２）、その際、第四のビット数を前記第二の量子化きざみで量子化される前記有力マスキング領域をエンコードするために使われるビット数に等しいとして、前記第三のビット数と前記第一のビット数の差が前記第二のビット数と前記第四のビット数の差以下になるようにし；
・そのような第二の量子化きざみが存在するとき、前記第二の量子化きざみ（QP_POTj）を前記有力マスキング領域に割り当て、そのような第二の量子化きざみが存在しないときには、前記第三の量子化きざみ（QP_POT_MAXj）を前記有力マスキング領域に割り当てる、
ステップを有することを特徴とする方法。
【請求項２】
前記第一の量子化きざみ（QP_ROI_MINj）は、該第一の量子化きざみ（QP_ROI_MINj）が前記関心領域の符号化に使われるときに該関心領域の所定の再構成品質（PSNRmaxROI）を保証するよう事前決定される、請求項１記載の方法。
【請求項３】
前記第三の量子化きざみ（QP_ROI_MAXj）は、該第三の量子化きざみ（QP_ROI_MAXj）が前記有力マスキング領域の符号化に使われるときに該有力マスキング領域の所定の再構成品質（PSNRminPOT）を保証するよう事前決定される、請求項１または２記載の方法。
【請求項４】
前記画像はさらに中立領域を有しており、該中立領域は可能性としては離散した諸グループのピクセルを有しており、前記中立領域には設定点の量子化きざみ（QP*）が割り当てられる、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
前記画像は画像の系列に属しており、当該方法が該系列の各画像に適用される、請求項１ないし４のうちいずれか一項記載の方法。
【請求項６】
請求項５記載の方法であって、前記系列のある現在の画像について、前記有力マスキング領域に割り当てられる第二の量子化きざみの値はある条件が成り立つ間増加させられ、該条件とは：
・増加させられた第二の量子化きざみで前記有力マスキング領域をエンコードするのに使われるビット数を第五のビット数として、第四のビット数と第五のビット数との比が所定の閾値より低く；
・前記の増加させられた第二の量子化きざみが前記第三の量子化きざみ（QP_POT_MAXj）以下である、
というものである（STATE  1）方法。
【請求項７】
第四のビット数と第五のビット数の間の差に等しいビット数が、前記系列の別の画像における関心領域をエンコードするために、部分的または全体的に使用される（STATE  2）、請求項６記載の方法。
【請求項８】
画像の系列を符号化する方法であって、前記画像を一組の係数に変換するステップと、前記係数のそれぞれをある量子化きざみによって量子化するステップと、前記の量子化された係数をエンコードするステップとを有しており、前記量子化きざみが請求項５ないし７のうちいずれか一項記載の方法に従って局所的に調整される方法。
【請求項９】
少なくとも一つの関心領域および一つの有力マスキング領域を有する画像n枚の系列を符号化する符号化装置（１０）であって、前記領域のそれぞれは可能性としてはいくつかの離散した諸グループのピクセルを有しており、当該装置が：
・前記画像を一組の係数に変換する手段（１１０）と；
・前記係数を、設定点の量子化きざみ（QP*）に関して前記系列の各画像において局所的に調整された量子化きざみを用いて量子化し、その際、前記関心領域および有力マスキング領域は前記設定点の量子化きざみ（QP*）で量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるような、量子化手段（１２０）と；
・前記の量子化された係数を符号化する符号化手段（１３０）とを有しており；
前記量子化手段（１２０）が：
・前記関心領域に、前記設定点の量子化きざみ（QP*）以下の第一の量子化きざみ（QP_ROI_MINj）を割り当て、該第一の量子化きざみで量子化されるときに該領域は第三のビット数でエンコードされるような手段と；
・前記設定点の量子化きざみ（QP*）以上で事前決定された第三の量子化きざみ（QP_POT_MINj）以下の第二の量子化きざみ（QP_POTj）を決定し、その際、第四のビット数を前記第二の量子化きざみで量子化される前記有力マスキング領域をエンコードするために使われるビット数に等しいとして、前記第三のビット数と前記第一のビット数の差が前記第二のビット数と前記第四のビット数の差以下になるようにする手段と；
・そのような第二の量子化きざみが存在するとき、前記第二の量子化きざみ（QP_POTj）を前記有力マスキング領域に割り当て、そのような第二の量子化きざみが存在しないときには、前記第三の量子化きざみ（QP_POT_MINj）を前記有力マスキング領域に割り当てる手段とを有する。
【請求項１０】
前記設定点の量子化きざみ（QP*）による前記量子化手段（１２０）を提供するレート制御手段（１４０）をさらに有する、請求項９記載の符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の各領域または区域ごとに量子化きざみを局所的に調整する方法に関する。
【背景技術】
【０００２】
本発明はビデオ圧縮、特に選択的圧縮の分野に適用される。関心領域をもつ画像の選択的圧縮のいかなる方法も二つの機構に関わる：先験的選択機構および先験的圧縮機構である：
・情報の選択は視覚的な注意機構であり、画像中に含まれる関心のあるイベントの位置およびこれらのイベントの互いとの関係での相対的な重要性を定義する；
・先験的圧縮機構は、画像の性質およびエンコードならびにエンコード資源すなわちビットレートまたは品質の割り当ての基準を特徴付ける。
【０００３】
いかなる圧縮方法もエンコードされるべきデータを量子化するための量子化方法に関わる。本発明は、より詳細には、画像中の各領域についての量子化きざみの局所的な調整に関する。従来式のアプローチでは、量子化きざみの局所的調整は各マクロブロックについて（あるいは各ピクセル・ブロックについて）画像内でのその視覚心理学的重要性に基づいて実行される。こうしたアプローチは特に、それほど重要でないマクロブロックをより強く量子化し、逆に重要なマクロブロック（目を引くマクロブロック）は関連する量子化きざみを小さくすることによって保存するために使用される。しかしながら、こうしたアプローチでは、重要なマクロブロックの再構成品質（すなわちデコード後の）は、ある画像と次の画像とで強く変動することがあり、観察者にとって問題となる。さらに、再構成品質は関心領域内でも変動しうる。
【発明の開示】
【課題を解決するための手段】
【０００４】
本発明の目的は、従来技術の欠点の少なくとも一つを解決することである。本発明は、設定点の量子化きざみ（QP*）に対して画像中の量子化きざみを局所的に調整するための方法に関する。画像は少なくとも一つの関心領域（region  of  interest）および一つの有力マスキング領域を有し、該領域のそれぞれは可能性としてはいくつかの相異なるグループのピクセルを有している。関心領域および有力マスキング領域は、設定点の量子化きざみ（QP*）で量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされる。本発明によれば、本方法は以下のステップを有する：
・関心領域に、設定点の量子化きざみ（QP*）以下の第一の量子化きざみ（QP_ROI_MINj）を割り当て、該第一の量子化きざみで量子化されるときに該領域は第三のビット数でエンコードされ；
・設定点の量子化きざみ（QP*）以上で第三の量子化きざみ（QP_POT_MAXj）以下の第二の量子化きざみ（QP_POTj）を決定し、その際、第四のビット数を第二の量子化きざみで量子化される有力マスキング領域をエンコードするために使われるビット数に等しいとして、第三のビット数と第一のビット数の差が第二のビット数と第四のビット数の差以下になるようにし；
・そのような第二の量子化きざみが存在するとき、第二の量子化きざみ（QP_POTj）を有力マスキング領域に割り当て、そのような第二の量子化きざみが存在しないときには、第三の量子化きざみ（QP_POT_MAXj）を有力マスキング領域に割り当てる。
【０００５】
ある個別的な実施形態によれば、第一の量子化きざみ（QP_ROI_MINj）は、該第一の量子化きざみ（QP_ROI_MINj）が関心領域の符号化に使われるときに該関心領域の所定の（predefined）再構成品質（PSNRmaxROI）を保証するよう事前決定される。第三の量子化きざみ（QP_ROI_MAXj）は、該第三の量子化きざみ（QP_ROI_MAXj）が有力マスキング領域の符号化に使われるときに該有力マスキング領域の所定の（predefined）再構成品質（PSNRminPOT）を保証するよう事前決定される。
【０００６】
もう一つの実施形態によれば、前記画像はさらに中立領域を有しており、該中立領域は可能性としては離散した（disjoint）諸グループのピクセルを有しており、該中立領域には設定点の量子化きざみ（QP*）が割り当てられる。
【０００７】
ある個別的な実施形態によれば、前記画像は画像の系列に属しており、本方法は該系列の各画像に適用される。
【０００８】
好ましくは、前記系列のある現在の画像について、有力マスキング領域に割り当てられる第二の量子化きざみの値はある条件が成り立つ間増加させられ、該条件とは：
・増加させられた第二の量子化きざみで有力マスキング領域をエンコードするのに使われるビット数を第五のビット数として、第四のビット数と第五のビット数との比が所定の閾値より低く；
・増加させられた第二の量子化きざみが第三の量子化きざみ（QP_POT_MAXj）以下である、
というものである。
【０００９】
有利には、第四のビット数と第五のビット数の間の差に等しいビット数が、前記系列の別の画像における関心領域をエンコードするために、部分的または全体的に使用される。
【００１０】
本発明は、画像の系列を符号化する方法であって、画像を一組の係数に変換するステップと、前記係数のそれぞれを量子化きざみによって量子化するステップと、量子化された係数をエンコードするステップとを有しており、前記量子化きざみが上記の方法に従って局所的に調整される方法に関する。
【００１１】
本発明はまた、少なくとも一つの関心領域および一つの有力マスキング領域を有するn枚の画像の系列を符号化する符号化装置に関する。該装置は：
・画像を一組の係数に変換する手段と；
・前記係数を、設定点の量子化きざみ（QP*）に関して前記系列の各画像において局所的に調整された量子化きざみを用いて量子化し、その際、関心領域および有力マスキング領域は設定点の量子化きざみ（QP*）で量子化されるときにそれぞれ第一のビット数および第二のビット数でエンコードされるような、量子化手段と；
・量子化された係数を符号化する符号化手段とを有している。
【００１２】
本発明によれば、前記量子化手段は：
・関心領域に、設定点の量子化きざみ（QP*）以下の第一の量子化きざみ（QP_ROI_MINj）を割り当て、該第一の量子化きざみで量子化されるときに該領域は第三のビット数でエンコードされる手段と；
・設定点の量子化きざみ（QP*）以上で事前決定された第三の量子化きざみ（QP_POT_MINj）以下の第二の量子化きざみ（QP_POTj）を決定し、その際、第四のビット数を第二の量子化きざみで量子化される有力マスキング領域をエンコードするために使われるビット数に等しいとして、第三のビット数と第一のビット数の差が第二のビット数と第四のビット数の差以下になるようにする手段と；
・そのような第二の量子化きざみが存在するとき、第二の量子化きざみ（QP_POTj）を有力マスキング領域に割り当て、そのような第二の量子化きざみが存在しないときには、第三の量子化きざみ（QP_POT_MINj）を有力マスキング領域に割り当てる手段とを有する。
【００１３】
好ましくは、前記符号化装置はさらに、設定点の量子化きざみ（QP*）による量子化手段を提供するレート制御手段を有する。
【００１４】
本発明は、付属の図面を参照しつつ、決して限定するものではない例示的な実施形態および有利な実装によってよりよく理解され、例解されるであろう。
【発明を実施するための最良の形態】
【００１５】
本発明は、画像の関心のある各領域または区域（すなわち、より注目を引く領域）について、量子化きざみを設定点の量子化きざみ（QP*）に対して局所的に調整する方法に関する。いくつかの画像からなる系列の一部である画像は、ピクセルのブロックからなる。量子化きざみを局所的に適応させる方法において、画像の他の領域を犠牲にして関心のある空間領域を厚遇することによって、与えられた全体的なビットレートについて、関心領域の視覚的な品質が向上する。画像中における関心領域の選択に基づいて、量子化きざみはこれらの領域の関心に従って局所的に調整される。この調整は、重要性の低い領域をより強く圧縮して、使われないことがありうるエンコード資源（すなわち、ビット数）を系列に沿って関心領域に再分配する。ある画像から別の画像へのビットのこの再分配により、関心領域についてより安定した再構成品質の（すなわち復号後品質の）レベルを得ることが可能になる。
【００１６】
より具体的には、本発明に基づく方法は、非関心領域から関心領域にビットレートを移転するために使われることができる。このために、提案される解決策は、画像中の各領域について量子化きざみQPの変動すなわち量子化きざみの局所的調整を用いる。この調整は、QP*と表される量子化きざみの値の初期設定点（たとえば、各画像についてのビットレート制御から導出される）に対してなされる。このQP*は設定点のビットレートD*に対応する。より具体的には、本発明によれば、画像の各領域についての量子化きざみは、領域の視覚的関心に従って修正される。量子化きざみの正方向の変動は、品質低下を代償としてより強い圧縮、すなわちビットレートの節約を与える。負方向の変動は、エンコード・コストの上昇を代償としてより細かな圧縮、すなわち向上した再構成品質を与える。
【００１７】
したがって、本方法はコンテンツについての先験的な情報を知ることを要求する。本発明に基づく方法によって使用されるこの先験的情報は二つのカテゴリーにはいる。コンテンツについての先験的情報の第一のカテゴリーは、系列の各画像において、関心領域と呼ばれる、より多くの注目を集める領域の位置に関するものである。この領域は、離散した諸グループのピクセル・ブロックからなっていてもよい。この情報は、画像中の各ブロックbiについて人間の視覚系にとっての関心のレベルを示す二値の関心マップIによって与えられることができる：関心のあるブロックbiについてはI(bi)＝1であり、関心のないブロックbiについてはI(bi)＝0である。このマップは、たとえば、顕著性マップを閾値処理することによって得ることができる。顕著性マップとは、画像中の各ピクセルについてその知覚的関心を示すマップである。このマップは、動き情報などの多様な情報を考慮して構築できる。ピクセルに関連付けられる値が大きいほど、そのピクセルは目を引くことになる。各ブロックについての顕著性値を得るためには、所与のブロックについて、そのブロックに属するピクセルに関連付けられた値を平均することが考えられる。あるいはそれらの顕著性値の中央値を取るのでもよい。より一般的にいえば、本発明は、各ブロックbiについてその関心レベルを特徴付ける二値でない関心マップの場合にも適用できる。コンテンツについての先験的情報の第二のカテゴリーは、系列の各画像において、視覚的アーチファクトに対する強いマスキング機能を有する領域の位置に関するものである。この領域は、離散した諸グループのピクセル・ブロックからなっていてもよい。デジタル・ビデオ・システムにおいて使用される非可逆圧縮法はアーチファクトを生じるが、その可視性は処理される画像の内容に強く依存する。コントラスト・マスキング効果は、信号の可視性のこの修正を別の信号の存在に変換する。この修正は、可視性閾値の低下の方向に行く（容易化［facilitation］）こともできるし、可視性閾値の増加の方向に行く（マスキング）ことさえできる。非関心領域の部分であるブロックにおける新たなアーチファクトの出現を制限するために、コンテンツに対する先験的情報は、各ブロックbiについてその視覚的なマスキング能力を示す二値のマップPによっても与えられる：マスキング能力の強いブロックについてはP(bi)＝1であり、マスキング領域の弱いブロックbiについてはP(bi)＝0である。このマップは、たとえば、活動性マップを閾値処理することによって得ることができる。活動性マップとは、所与のブロックについてその活動性のレベルを示すマップである。このレベルは、たとえばブロックの分散を測定することによって計算できる。本稿では、以下、強いマスキング能力をもつ画像中の非関心領域のブロックbiの集合は「有力マスキング領域（potential  masking  region）」と呼ばれる。有力マスキング領域に属さない非関心領域のブロックbiの集合は「中立領域（neutral  region）」と呼ばれる。関心領域の位置およびマスキング能力が強い領域にそれぞれ関係する二つの二値マップは結合されて単一のマップIfinalが得られ、これが、量子化きざみを局所的に調整するために使用されるものであり、画像中の各ブロックbi��次のように値0、1または2を関連付ける：
【００１８】
【数１】
2008535344.tif 000003
ここで：
・IFinalはエンコーダに送信される新しいマップであり、関心領域および有力マスキング領域をも示し、このマップからビットの移転が適用されることになる；
・Pは有力マスキング領域を定義する二値マップ；
・Iは関心領域および非関心領域を定義する二値マップ。
【００１９】
本方法は、PSNR(QP)曲線（ピーク信号対雑音比［peak  signal-to-noise  ratio］を量子化きざみの関数として表す曲線）およびNbBit(QP)曲線（ビット数［the  number  of  bits］を量子化きざみの関数として表す曲線）をも使用する。これらの曲線は関心領域および有力マスキング領域のそれぞれに固有である。PSNRは、画像品質を特徴付けるのに使われる基準である。この場合、PSNRは、画像、ブロックまたは画像中の領域を復号した後の再構成品質を特徴付けるために使用される。そこで、PSNRは次のように定義される：
【００２０】
【数２】
2008535344.tif 000004
ここで、SSEは平方誤差和（sum  of  the  squared  errors）である。SSEは、あるブロックについて、源画像中のピクセルに関連付けられた値と再構成された画像、すなわち復号画像中の対応するピクセルに関連付けられた値とのピクセルごとの差の当該ブロック上での和によって定義される。
【００２１】
本発明によれば、他の品質基準も使うことができる。画像のある領域から他の領域にビットを再分配する前に、値QP*のまわりで上に定義した曲線の部分を構築するために、系列の各画像jについての学習ステップが必要とされる。これらの曲線部分は、データ・ファイルを通じてなど、外的手段によって提供されてもよい。それは、三つの異なる量子化きざみ：QP*−L、QP*＋KおよびQP*を使って、画像の関心領域または有力マスキング領域のいずれかに属する各ピクセル・ブロック（たとえば、16×16ピクセルの大きさのマクロブロック）をエンコードすることからなる。関心領域に属するエンコードされたブロックの再構成（すなわち復号）後、所与の量子化きざみの値（QP*−L、QP*＋KまたはQP*）についてこれらのブロックに関係するデータ（PSNRおよびNbBit）が平均されて、画像j中の該関心領域について、かつ三つの量子化きざみの値それぞれについて、PSNRjROIの値およびビット数の値（NbBitjROI）が得られる。同様に、有力マスキング領域に属するブロックに関係するデータが平均されて、画像j中の該有力マスキング領域について、かつ三つの量子化きざみの値それぞれについて、PSNRjPOTの値およびビット数の値（NbBitjPOT）が得られる。すると、三つの値QP*−L、QP*＋KおよびQP*の間の線形補間によって、曲線PSNRj(QP)およびNbBitj(QP)が補間され、画像jについて、関心領域については曲線PSNRjROI(QP)およびNbBitjROI(QP)が、有力マスキング領域については曲線PSNRjPOT(QP)およびNbBitjPOT(QP)が得られる。
【００２２】
ビットの移転または再分配（画像「内」再分配）の原理は、有力マスキング領域に属するブロックはより強く（設定点の量子化きざみQP*に基づく初期エンコードに比べて）圧縮し、有力マスキング領域のエンコードに使用されない（ビット数NbBitjPOT(QP*)を基準として）ビットを関心領域のエンコードのために使用することにある。本方法によれば、有力マスキング領域のブロックを量子化するためには、有力マスキング領域に関連した再構成品質の最低限の所定の値PSNRminPOT（たとえば20dB）が尊重される限りにおいて、より強い量子化きざみが使われることができる。同様に、関心領域については、再構成品質の最大の所定の値PSNRmaxROIが設定される（たとえば35dB）。これらの値は自動的に設定されることもできるし、手動で（たとえばオペレーターによって）設定されることもできる。本発明に基づく方法は、当該系列について設定点ビットレートD*とほぼ同様の全体的なビットレートを維持するよう注意しつつ、有力マスキング領域から関心領域にビットを移転させることによって、量子化きざみを局所的に適応させることにある。ビットの再分配は、必然的に一つ一つの画像に依存する。本発明によれば、系列の画像間でのビットの時間的な移転（画像「間」再分配）も実行されうる。ビットの時間的な移転は、ある画像をエンコードするのに使われなかったビットを、その後の画像の関心領域をエンコードするために必要なら使うために、時間的な備蓄として保持することに関わる。時間的な備蓄は、ビットのカウンタと考えてもよい。有利には、画像レベルで割り当てられるビットレートは画像によって変動できる。実際上、時に、有力マスキング領域からのビットで同じ画像の関心領域をエンコードするのに使われないビットを時間的備蓄として保持することが可能である。逆に、有力マスキング領域からのビット数の節約が関心領域の品質制約条件に応えるのに不十分なときは、現在画像をエンコードするために外部ビット（時間的備蓄から発するもの）を使うことが許される。これは必然的に画像ビットレートを上げる。実際上は、ある画像が全部の外部ビットを使うのを避けるため、画像レベルのビットレートは、該画像に対応する設定点ビットレート（すなわち、量子化きざみQP*でエンコードされるときの画像に関連するビットレート）に対してある割合（たとえば20%）でのみ変動が許される。本選択的圧縮システムに関わる各領域（すなわち関心領域および有力マスキング領域）について、量子化きざみについてのいわゆる有効な値の集合が定義される。これらの値は、有力マスキング領域および関心領域においてそれぞれ最小PSNR要件および最大PSNR要件を満足する再構成品質を尊重するよう、PSNR(QP)曲線（各領域についてモデル化される）から決定される。画像jにおける有力マスキング領域について、有力マスキング領域に割り当てられることのできる量子化きざみの値は、設定点の値QP*と、最低限の再構成品質PSNRminPOTを保証できるようにする最高値（QP_POT_MAXjと記す）との間で変動する。同じ原理は関心領域に適用される。画像jにおける関心領域に割り当てられることのできる量子化きざみの値は、現在の最高再構成品質PSNRmaxPOTを達成できるようにする量子化きざみの最小値（QP_ROI_MINjと記す）と設定点の値QP*との間で変動する。
【００２３】
したがって、本発明に基づく方法は二つのステップを有する。第一のステップでは、有力マスキング領域QP_POTjおよび関心領域QP_ROIjの量子化きざみの現在画像j内での調整（すなわち画像「内」再分配）が、品質およびビットレートの制約条件に達するために実行される。この分配の結果に依存して、第二のステップでは、過去の画像のエンコードで使われなかったビットの移転（画像「間」再分配）が構想されることができる。有力マスキング領域および関心領域について再構成品質制約条件を満たすために使うことのできる量子化きざみの値の範囲を決定したのち、有力マスキング領域の量子化きざみおよび関心領域の量子化きざみは連帯的に調整される：
・関心領域について：量子化ステップの最小値QP_ROI_MINjが使われ、そして必要なら、有力マスキング領域からおよび適切な場合には時間的備蓄から発するビットの移転によって、生成できる品質レベルが得られるまで増加させられる、
・有力マスキング領域について：関心領域からのビットの需要が補償できるまで、そして適切な場合には時間的備蓄が充填できるまで、量子化きざみの値が徐々に増加させられる。
【００２４】
以下に、画像「内」ビット再分配法について説明し、図１および図２によって図解する。本方法は、本稿で後述する二つの個別的な再分配状態において完結できる。OKまたはnot  OKの二つの値を取れる二つの変数Redistribution〔再分配〕およびCollection〔収集〕が使われる。
【００２５】
ステップ２０：初期化
Redistribution＝not  OK
Collection＝not  OK
//曲線NbBitjROI(QP)の経路
QP_ROIj＝QP_ROI_MINj
QP_POTj＝QP*
While  Redistribution＝not  OK  AND  QP_ROIj＜QP*
Do
ステップ２１：関心領域によるビット資源需要
D_ROI(QP_ROIj)＝NbBitjROI(QP_ROIj)−NbBitjROI(QP*)
ステップ２２：画像内再分配（ビットレート制約条件を満たす）
//曲線NbBitjPOT(QP)の経路
QP_POTj＝QP*＋1
While  Collection＝not  OK  AND  QP_POTj≦QP_POT_MAXj
Do
ステップ２２０：有力マスキング領域上でのビット資源節約
G_POT(QP_POTj)＝NbBitjPOT(QP*)−NbBitjPOT(QP_POTj)
If(G_POT(QP_POT  j)≧D_ROI(QP_ROI  j))
Then  Collection＝OK
Else  QP_POT  j＝QP_POT  j＋1（より高い圧縮を探索）
End  Do
End  While
If  Collection＝OK
Then  STATE  1
Else  STATE  2
End  Do
End  While
状態１（STATE  1）：状態１に達するのは、各領域についての調整によって、有力マスキング領域が関心領域からのビットの需要に応えることを許容する、あるいは最高再構成品質レベルPSNRmaxROIの値に達するための有効な量子化きざみ（すなわちQP*とQP_POT_MAXjの間の）を得ることが可能になるときである。換言すれば、有力マスキング領域で節約されたビット数が関心領域を向上させるために使われることができる。
【００２６】
さらに、ビットの時間的な移転を実行するために、可能なときには常に時間的備蓄にビットを供給しておくことが必要である。よって、有力マスキング領域の量子化きざみは、当該画像をエンコードするために必要とされるビット数を20%しか減らさないよう、以前に決定されたより高い値に強制される。
【００２７】
状態２（STATE  2）：状態２に達するのは、関心領域の所与の品質レベルについて、有力マスキング領域の量子化きざみを最大値にしても、関心領域に再分配するために十分なビットの回収が可能にならないときである。有力マスキング領域から移転されるビット数に加えて追加される必要のあるビット数は、ある種の条件のもとで、時間的なビットの備蓄から回収されることができる。
【００２８】
図１に図解される時間的移転によるビットの再分配は、有力マスキング領域上で期待されるビットレートの最大限の節約でも関心領域の品質需要に応えることが可能にならないときに起こる。すると、現在の有力マスキング領域によって供給されないビット数を、可能性として以前に処理された画像のエンコードにおいて使用されず、時間的備蓄に供給されたビットで補償することが必要である。時間的備蓄からのビットの移転は、次の条件が観察される場合に許可される（２３）：
・関心領域によって要求される「外部」ビット数D_ROIが時間的備蓄として利用可能である；
・「外部」ビットの需要は、画像ビットレート変動制約条件を遵守するため、当該画像の初期ビットレートの20%（当該画像のQP*による量子化に対応）を超えてはならない。
【００２９】
これら二つの条件が満たされる場合、時間的なビット備蓄へのアクセスが許容され、関心領域のために高い品質レベルを提供することが可能になる。それ以外の場合には、再分配プロセスはそっくりやり直されるが、関心領域についての現在の最高再構成品質レベル、すなわちQP_ROIjよりも低い最高再構成品質制約条件がたとえば1増加させられる。量子化きざみを局所的に調整する方法は、関心領域からの需要が、画像「内」分配に基づいて、あるいは画像「間」分配に基づいて満たされたときに停止する。時間的なビットレート再配分により、純粋に画像「内」の再分配から得られるのに比べてより高い品質レベルを達成することが可能になる。有力マスキング領域の選択的圧縮からのビットを時間的に再分配できることにより、関心領域についてのより安定した品質レベルを得ることも可能になる。
【００３０】
中立領域のブロックまたはマクロブロック（MB）については、選択的エンコード方針に関して中立的であると考えられる。すなわち、これらのブロックに割り当てられる量子化きざみは、設定点の量子化きざみQP*に対応する、すなわち量子化きざみの局所的適応はない。
【実施例】
【００３１】
本発明はまた、本発明に基づく量子化方法を実装するn枚の画像の系列を符号化するための符号化方法にも関する。該符号化方法は、前記系列のn枚の画像を一組の係数に、たとえばDCTを使って変換するステップと、前記係数を上記の方法に従って前記系列のn枚の画像内で局所的に適応された量子化きざみによって量子化するステップと、前記量子化された係数を（たとえばエントロピー符号化プロセスを使って）エンコードするステップとを有する。
【００３２】
本発明はまた、図３に描かれている、画像の系列を符号化する符号化装置１０にも関係する。図３には本質的なモジュールのみが描かれており、これから述べる。本符号化装置は、本符号化装置の入力の源画像を一組の係数（たとえばDCT係数）に変換するモジュール１１０を有する。モジュール１１０はたとえばDCT変換を実装するものである。次いで前記係数は、量子化モジュール１２０で量子化され、量子化された係数が得られる。量子化モジュール１２０は、本発明に基づく量子化きざみの局所的調整の方法を実装するよう適応されている。次いで量子化された係数は、当業者に知られている符号化モジュール１３０、たとえばエントロピー・エンコーダによってエンコードされる。ある個別的な実施形態によれば、符号化装置１０はレート制御モジュール１４０を有する。モジュール１４０は、量子化モジュール１２０に設定点の量子化きざみQP*を提供することもできる。
【００３３】
もちろん、本発明は上述した実施形態に限定されるものではない。特に、当業者は、開示された実施形態にいかなる変形をも加えることができ、それらを組み合わせてさまざまな利点から裨益することができる。従来式のPSNR以外の基準を、画像の、ピクセルのブロックのあるいは画像中のある領域の再構成品質を特徴付けるために使うこともできる。たとえば、分散に基づいて重み付けされたPSNR、視覚心理学的モデリングに基づいた基準などである。同様に、PSNR(QP)およびNbBit(QP)の曲線は、記載した以外の手段で得ることもできる。よって、曲線を補間するために三つよりも多い量子化きざみを使うこともできる。同様に、たとえば多項式補間のような別の種類の補間を使うこともできる。現在画像における関心領域およびマスキング領域に関連付けられた曲線を推定するために、以前にエンコードされた画像を使うことを構想することも可能である。
【００３４】
関心マップは、画像中の各ブロックについて関心レベルの高低を特徴付ける、二値でないマップであることもできる。これらのマップは、画像中でいくつかの関心領域を定義し、各領域のためにその関心レベルに従ってビットが再割り当てされるようにするために使うことができる。
【００３５】
符号化装置１０は、動き推定器、符号化モード決定モジュール……といった他のモジュールをも有していてもよい。
【図面の簡単な説明】
【００３６】
【図１】本発明に基づく、各領域の量子化きざみを適応させる方法を示す図である。
【図２】本発明に基づく、同一の画像の種々の領域の間でビットを再分配する方法を示す図である。
【図３】本発明に基づく方法を実装するビデオ符号化装置を表す図である。
【図１】
2008535344.tif 000005
【図２】
2008535344.tif 000006
【図３】
2008535344.tif 000007
【国際調査報告】
2008535344.tif 000008
2008535344.tif 000009
2008535344.tif 000010