(57)【要約】  ビデオ符号化イントラ・リフレッシュが使用された場合（イントラ符号化ブロックが、先行してインター符号化されたピクチャに挿入される）、効率的に適応されたレート制御手法が、誤り耐性ビデオ符号化のために必要である。ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法は、ピクチャの群のピクチャそれぞれを事前解析する工程（３１）であって、相対計算量係数（３５）がピクチャ毎に算出される工程と、ビットをピクチャにその相対計算量係数（３５）に基づいて割り当てる工程（３２）と、ピクチャそれぞれを、割り当てられた数のビットで符号化する工程（３３、３４）とを含む。事前解析（３１）は、イントラ・リフレッシュ符号化のためのピクチャを選択する工程（４２）と、選択されたピクチャから注目領域情報（４７）を抽出する工程（４１）と、イントラ・モ―ドを使用して少なくとも、注目領域のマクロブロックを符号化する工程と、計算量係数（４４）をピクチャ毎に算出する工程と、ピクチャ毎の相対計算量係数（３５）を群のピクチャの計算量係数（４４）から算出する工程とを含む。よって、主観的により良好なビデオ品質が達成される。
2009540636.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・ピクチャの符号化のためにビット・バジェットを適応的に求める方法であって、
ピクチャ群を選択する工程と、
前記選択されたピクチャ群についてビット・バジェットを選択する工程と、
前記ピクチャそれぞれを事前解析する工程（３１）であって、前記ピクチャ毎に、周波数領域内の予測された残差が生成される工程と、
前記事前解析の結果に基づいて前記ピクチャにビットを割り当てる工程（３２）と、
割り当てられたビット数で前記ピクチャそれぞれを符号化する工程（３３、３４）とを含み、
前記事前解析する工程（３１）は、
イントラ・リフレッシュがピクチャについて使用されるか否かを判定する工程（４２）であって、イントラ・リフレッシュが、特定されたピクチャ部分の強制されたイントラ符号化を意味する工程と、
イントラ・リフレッシュを使用する前記ピクチャ毎にブロック又はマクロブロックのレベルの注目領域情報（４７）を抽出する工程（４１）と、
インター符号化されるか、又はイントラ符号化されるかをブロック又はマクロブロック毎に示すイントラ・リフレッシュ・マップ（４８）を、少なくとも、選択されたピクチャ毎に、前記抽出された注目領域情報（４７）に基づいて生成する工程（４２）であって、注目領域内のブロック又はマクロブロックについてイントラ符号化が示される工程と、
ピクチャ毎に、予測された残差（４９）を生成する工程（４３、４４）であって、前記イントラ・リフレッシュ・マップ（４８）により、選択されたピクチャの前記注目領域内の前記ブロック又は前記マクロブロックがイントラ予測される工程と、
離散コサイン変換（ＤＣＴ）、及び一定の量子化パラメータによる量子化を行う工程（４５）と、
周波数領域における計算量係数（４１１）を前記ピクチャ毎に算出する工程（４６）と、
個別のピクチャの計算量係数、及び前記ピクチャ群の計算量係数に基づいて各ピクチャの計算量の割合を算出する工程（３２）と、
各ピクチャにビット量を、その計算量の割合、及び群のビット・バジェットによって割り当てる工程（３２）とを含む方法。
【請求項２】
請求項１記載の方法であって、前記計算量係数（４１１）は、前記量子化後のビット数に対応する値である方法。
【請求項３】
請求項１又は２に記載の方法であって、特定のピクチャの前記計算量の割合は、個別のピクチャ群の計算量係数の和に対する前記ピクチャの前記計算量係数（４１１）の割合である方法。
【請求項４】
請求項１乃至３の何れか一項に記載の方法であって、前記イントラ・リフレッシュ・マップ（４８）により、ピクチャ毎に予測残差（４９）を生成する工程について、選択されたピクチャの前記注目領域外のブロック又はマクロブロックは、通常のモード決定処理を使用する方法。
【請求項５】
請求項１乃至４の何れか一項に記載の方法であって、ピクチャにイントラ・リフレッシュを使用するか否かを判定する工程（４２）は、イントラ・リフレッシュを使用するためにＮ個毎のピクチャを求める工程を含む方法。
【請求項６】
請求項５記載の方法であって、Ｎは、チャネル品質情報に適応的に依存し、チャネル品質がより良好である場合、Ｎが増加する方法。
【請求項７】
請求項５記載の方法であって、Ｎが、所要のビデオ・フレーム・レートに依存する方法。
【請求項８】
請求項１乃至７の何れか一項に記載の方法であって、注目領域情報（４７）を抽出する工程は、動き、輝度及び色の解析に基づく方法。
【請求項９】
請求項１乃至８の何れか一項に記載の方法であって、注目領域情報（４７）を抽出する工程は、時間的コヒーレンスの解析に基づき、時間的コヒーレンスは、隣接する選択されたピクチャから現在の選択されたピクチャに注目領域情報を予測する工程を含む方法。
【請求項１０】
請求項１乃至９の何れか一項に記載の方法であって、前記イントラ予測及び前記インター予測は、高速動き推定及び／又は単純化されたインター予測若しくはイントラ予測を使用する工程を含む方法。
【請求項１１】
ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める装置であって
前記ピクチャ群を選択する手段と、
選択されたピクチャ群についてビット・バジェットを選択する手段と、
ピクチャそれぞれを事前解析する手段（３１）であって、前記ピクチャ毎に、周波数領域における予測残差が生成される手段と、
前記事前解析の結果に基づいて前記ピクチャにビットを割り当てる手段（３２）と、
前記割り当てられたビット数で前記ピクチャそれぞれを符号化する手段（３３、３４）とを備え、
前記事前解析する手段（３１）は、
イントラ・リフレッシュがピクチャについて使用されるか否かを判定する手段（４２）であって、イントラ・リフレッシュは、特定されたピクチャ部分の強制されたイントラ符号化を意味する手段と、
イントラ・リフレッシュを使用するピクチャ毎にブロック又はマクロブロックのレベルの注目領域情報（４７）を抽出する手段（４１）と、
イントラ・リフレッシュ・マップ（４８）を、少なくとも、選択されたピクチャ毎に、前記抽出された注目領域情報（４７）に基づいて生成する手段（４２）であって、インター符号化されるか、又はイントラ符号化されるかを、ブロック又はマクロブロック毎に示し、注目領域内のマクロブロックについてイントラ符号化が示される手段と、
ピクチャ毎に、予測された残差（４９）を生成する手段（４３、４４）であって、前記イントラ・リフレッシュ・マップ（４８）により、選択されたピクチャの注目領域内のブロック又はマクロブロックがイントラ予測される手段と、
ＤＣＴを行う手段（４５）と、
一定の量子化パラメータによる量子化を行う手段（４５）と、
周波数領域における計算量係数（４１１）を前記ピクチャ毎に算出する手段（４６）と、
個別のピクチャの計算量係数、及びピクチャ群の計算量係数に基づいて各ピクチャの計算量の割合を算出する手段（３２）と、
各ピクチャにビット量を、その計算量の割合及び群のビット・バジェットによって割り当てる手段とを含む装置。
【請求項１２】
請求項１１記載の装置であって、選択されたピクチャの前記注目領域外の前記ブロック又は前記マクロブロックの従来のモード決定処理を行う手段を更に備える装置。
【請求項１３】
請求項１１又は１２に記載の装置であって、ピクチャにイントラ・リフレッシュを使用するか否かを判定する手段（４２）は、イントラ・リフレッシュを使用するためにＮ個毎のピクチャを求める手段を備える装置。
【請求項１４】
請求項１１乃至１３のうちの何れか一項に記載の装置であって、前記注目領域情報（４７）を抽出する手段は、隣接する選択されたピクチャから現在の選択されたピクチャに注目領域情報を予測する手段を更に備える装置。
【請求項１５】
請求項１１乃至１４のうちの何れか一項に記載の装置であって、予測残差（４９）をピクチャ毎に生成する手段（４３、４４）は、高速動き推定を行う手段及び／又は単純化されたインター予測若しくはイントラ予測を行う手段を備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法及び装置に関する。
【背景技術】
【０００２】
既存のブロック・ベースのビデオ符号化手法では、基本的に、２つのタイプの符号化モード（すなわち、イントラ・モード及びインター・モード）が存在している。イントラ・モードは、現在のピクチャ内で情報を使用するに過ぎない一方、インター・モードは、他のピクチャ（前方又は後方）内の情報を参照として使用することが可能である。
【０００３】
符号化ビデオが、誤りを犯しやすいネットワークを介して伝送されると、一ピクチャ内に生じた誤りは、インター・モードの予測が理由でインター・モードを使用した場合、後続ピクチャに伝播する一方、イントラ・モ―ドにおける符号化は、先行データを参照しないので、非常にうまく誤りの伝播を抑制することが可能である。したがって、強制されたイントラ符号化（イントラ・リフレッシュとも呼ばれる）は、誤り耐性ビデオ符号化の最も基本的であり、かつ有用なツールの１つであり、ビデオの主観品質をすばやく回復することができる。しかし、ピクチャ全体をイントラ・モード（Ｉピクチャ）で符号化すると、生成されるビット量が大量になり、レート変動が生じてしまう。ハイブリッド・ビデオ符号化フレームワークでは、他の多くのイントラ・リフレッシュ手法が提案されており、これらは、特定の特別な規則により、イントラ・モードになる対象の画像の一部のみをリフレッシュする。
【０００４】
既存のイントラ・リフレッシュ手法の大半は、ランダムなリフレッシュ、周期的リフレッシュ、動き情報ベースのリフレッシュ、レート歪み（ＲＤ）モデル・ベースのリフレッシュ、パケット喪失レート（ＰＬＲ）ベースのリフレッシュ、フィードバック・ベースのリフレッシュ、又は前述の手法の組合せを使用する。
【０００５】
Ｐ．Ｈａｓｋｅｌｌ及びＤ．Ｍｅｓｓｅｒｓｃｈｍｉｔｔによる「Ｒｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  ｏｆ  ｍｏｔｉｏｎ  ｃｏｍｐｅｎｓａｔｅｄ  ｖｉｄｅｏ  ａｆｆｅｃｔｅｄ  ｂｙ  ＡＴＭ  ｃｅｌｌ  ｌｏｓｓ，  ＩＣＡＳＳＰ−  ９２，  Ｍａｒ．１９９２」では、最もすばやい変動を最も頻繁に、ランダムな周期的イントラ・リフレッシュ及び動き情報ベースの条件付イントラ・リフレッシュを使用してイントラ・リフレッシュすべきである。ＭＰＥＧ−４は、ブロックが動領域内にあるか否かを連続ピクチャ内の同じ位置に配置されたブロックの絶対差（ＳＡＤ）の合計を算出してブロックが動領域内にあるか否かを知る適応的イントラ・リフレッシュ（ＡＩＲ）としてこの考えを採用している。Ｇ．  Ｃｏｔｅ、  Ｆ．Ｋｏｓｓｅｎｔｉｎｉによる「Ｏｐｔｉｍａｌ  ｉｎｔｒａ  ｃｏｄｉｎｇ  ｏｆ  ｂｌｏｃｋｓ  ｆｏｒ  ｒｏｂｕｓｔ  ｖｉｄｅｏ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｏｖｅｒ  ｔｈｅ  Ｉｎｔｅｒｎｅｔ，  Ｉｍａｇｅ  Ｃｏｍｍｕｎ．  Ｓｅｐｔ．１９９９」では、エンドツーエンドＲＤモデル・ベースのイントラ・リフレッシュが提案されており、この提案では、誤り隠蔽が考慮に入れられており、推定エンドツーエンド歪み及び仮定されたＰＬＲをＲＤ最適化基準に組み合わせる。このことに基づいて、Ｙ．Ｚｈａｎｇ、Ｗ．Ｇａｏ、Ｈ．  Ｓｕｎらによる「Ｅｒｒｏｒ  Ｒｅｓｉｌｉｅｎｔ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｉｎ  Ｈ．２６４  Ｅｎｃｏｄｅｒ  ｗｉｔｈ  Ｐｏｔｅｎｔｉａｌ  Ｄｉｓｔｏｒｔｉｏｎ  Ｔｒａｃｋｉｎｇ，  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｏｃｔ  ２００４」には、ブロック・ベースの歪みマップを使用して、潜在的な誤り伝播をシミュレートする単純かつ効率的なＲＤモデルが開示されている。
【０００６】
Ｙ．Ｗａｎｇ、Ｍ．Ｈａｎｎｕｋｓｅｌａ、Ｍ．Ｇａｂｂｏｕｊによる「Ｅｒｒｏｒ−ｒｏｂｕｓｔ  ｉｎｔｅｒ／ｉｎｔｒａ  ｍａｃｒｏｂｌｏｃｋ  ｍｏｄｅ  ｓｅｌｅｃｔｉｏｎ  ｕｓｉｎｇ  ｉｓｏｌａｔｅｄ  ｒｅｇｉｏｎｓ，  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  １３ｔｈ  Ｐａｃｋｅｔ  Ｖｉｄｅｏ  Ｗｏｒｋｓｈｏｐ，  Ａｐｒｉｌ  ２００３」における隔離領域ベースのイントラ・リフレッシュなどの他の手法も提案されている。この提案では、隔離領域と呼ばれる漸進的に大きくなる領域が導入されており、隔離領域内のブロックについての予測領域は制限されている。
【０００７】
上記イントラ・リフレッシュ手法と違って、欧州特許第０５３００９７５号明細書では、同じビット・レート及びパケット喪失条件の下で、従来のイントラ・リフレッシュ手法よりもずっと良好な主観品質が達成されるように、主観的な人間の視覚特性を考慮に入れた、誤り耐性ビデオ符号化のための注目ベースの適応的イントラ・リフレッシュが提案されている。注目ベースのイントラ・リフレッシュのフローチャートを図１に示す。注目領域抽出器１１は、注目領域情報１４を抽出し、これをイントラ・リフレッシュ・コントローラ１２に供給し、イントラ・リフレッシュ・コントローラ１２は、イントラ・モードにおいてより高い優先度で符号化される（１３）よう、注目領域内のブロックをセットする。
【０００８】
しかし、前述の従来のイントラ・リフレッシュ手法全てにおいて考慮に入れられていない重要な一問題が存在し、このことが実際のアプリケーション・システムにおける使用を制限したが、これは、特にイントラ・リフレッシュの場合、利用可能なレート制御手法が存在しないということである。一方では、イントラ・リフレッシュ手法は全て、元々、誤り耐性の目的で企図されており、一定の量子化パラメータ（ＱＰ）によって検討される。これにより、指定されたビット・レートを達成することが困難になり、バッファ・オーバフロー及びバッファ・アンダーフローを阻止することが可能でない。しかし、実際のアプリケーション・システムでは、特定のビット・レートが必要であり、バッファ占有量を制御し、なめらかなビデオ品質を得るようレート制御を行わなければならない。
【０００９】
他方では、イントラ符号化の特性及びインター符号化の特性が異なるので、イントラ・リフレッシュは、レート歪みモデルを大きく変える。これは、レート制御の主要要因である。例えば、イントラ符号化は、同じＱＰの下では、インター符号化よりもずっと多くのビットを生成する。同じビット量が、イントラ符号化及びインター符号化に割り当てられた場合、イントラ符号化の主観品質は大きく劣化する。したがって、各インター・ピクチャにビットを一様に割り当てる、レート制御における通常のビット割り当て手法により、イントラ・リフレッシュとともに使用すると主観品質の大幅な変動が生じる。よって、誤り耐性ビデオ符号化におけるイントラ・リフレッシュに対して、より適切なレート制御手法が必要である。
【００１０】
ビデオ符号化のレート制御は通常、ＧＯＰ（ピクチャ群）層、ピクチャ層（フレーム又はフィールド）、スライス層、及びマクロブロック（ＭＢ）層に分類することが可能である。それぞれの場合には、レート制御のフレームワークは主に、ビット割り当て（特定量のビットが、特定の基準により、目標ビットとして処理ユニットに割り当てられる）、及びＱＰ決定（適切な量子化パラメータを特定の手法によって計算して、割り当てられた目標ビットでユニットを符号化する）という２つの工程を有する。レート制御に関する研究の大半は、第２の工程について行われており、レート、歪み、及びＱＰの間の関係を明らかにするために種々のレート歪みモデルが提案されている。例には、ＭＰＥＧ−４のＶＭＳ、及びＨ．２６３のＴＭＮ８における二次レート歪みモデル、並びにＭＰＥＧ−２のＴＭ５における線形レート歪みモデルがある。
【００１１】
注目モデル及び主観品質も考慮に入れて、欧州特許出願第０６３００１８４号明細書には、コンテンツ・ベースの歪み駆動ビット割り当て手法が提案されている。この提案により、ピクチャ内の別々の注目領域に対する合理的なビット割り当て手法が提供され、各ピクチャ内のずっと良好な主観品質が達成される。
【００１２】
レート制御は、ビデオ符号化について長く調査されているが、伝統的なビデオ系列であるＩＢＢＰ．．．やＩＢＢＰＢＢＰ．．．の構成のみが考慮に入れられている。しかし、イントラ・リフレッシュが導入された場合、多くのイントラ符号化ブロックが、先行してイントラ符号化されたピクチャ（Ｐピクチャ又はＢピクチャ）内に挿入され、ＲＤモデルは、イントラ符号化の特性及びインター符号化の特性が異なることによって変わる。よって、既存のレート制御手法は、イントラ・リフレッシュを伴う誤り耐性ビデオ符号化についてあまりうまく機能しない。更に、イントラ・リフレッシュされたブロックの位置及び割合は通常、可変であり、ビデオ・コンテンツ及びイントラ・リフレッシュ手法に依存する。これにより、レート制御がより困難になる。
【００１３】
上記理由により、効果的なイントラ・リフレッシュ手法の多くは、制限され、実際のアプリケーションにおいてうまく使用できないことがあり得る。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本発明が解決しようとする課題は、ビデオ・データを符号化するための効果的なレート制御方法であって、符号化が、ブロック又はＭＢについてイントラ・リフレッシュ・モードを使用する方法を提供することである。考慮に入れるべき局面の１つは、通常、イントラ・リフレッシュされたブロック／ＭＢの位置及び割合が可変であるということである。
【課題を解決するための手段】
【００１５】
本発明によれば、ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法は、ピクチャの群のピクチャそれぞれを事前解析する工程であって、相対計算量係数がピクチャ毎に算出される工程と、ビットをピクチャにその相対計算量係数に基づいて割り当てる工程と、ピクチャそれぞれを、割り当てられた数のビットで符号化する工程とを含む。
【００１６】
事前解析は、イントラ・リフレッシュ符号化のためのピクチャを選択する工程と、選択されたピクチャから注目領域情報を抽出する工程と、イントラ・モ―ドを使用して少なくとも、注目領域のマクロブロックを符号化する工程と、計算量係数をピクチャ毎に算出する工程と、ピクチャ毎の相対計算量係数を群のピクチャの計算量係数から算出する工程とを含む。
【００１７】
本発明の一局面によれば、ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法は、ピクチャ群（例えば、ＧＯＰ）を選択する工程と、選択されたピクチャ群についてビット・バジェットを選択する工程と、ピクチャそれぞれを事前解析する工程であって、ピクチャ毎に、周波数領域における予測残差が生成される工程と、事前解析の結果に基づいてピクチャにビットを割り当てる工程と、割り当てられたビット数でピクチャそれぞれを符号化する工程とを含み、事前解析する工程は、イントラ・リフレッシュがピクチャについて使用されるか否かを判定する工程であって、イントラ・リフレッシュが、特定されたピクチャ部分の強制されたイントラ符号化を意味する工程と、イントラ・リフレッシュを使用するピクチャ毎にブロック又はＭＢのレベルの注目領域情報を抽出する工程と、インター符号化されるか、又はイントラ符号化されるかをブロック又はＭＢ毎に示すイントラ・リフレッシュ・マップを少なくとも、選択されたピクチャ毎に、抽出された注目領域情報に基づいて生成する工程であって、注目領域内のブロック／ＭＢについてイントラ符号化が示される工程と、ピクチャ毎に、予測された残差を生成する工程であって、イントラ・リフレッシュ・マップにより、選択されたピクチャの注目領域内のブロック／ＭＢがイントラ予測される工程と、一定の量子化パラメータによる量子化及び離散コサイン変換（ＤＣＴ）を行う工程と、周波数領域における計算量係数をピクチャ毎に算出する工程と、個別のピクチャの計算量係数、及びピクチャ群の計算量係数に基づいて各ピクチャの計算量の割合を算出する工程と、各ピクチャにビット量を、群のビット・バジェット及びその計算量の割合によって割り当てる工程とを含む。
【００１８】
計算量係数は、量子化後のビット数に対応する値であり得る。特定のピクチャの計算量の割合は、群の合計計算量に対するピクチャの計算量、又は、個別のピクチャ群の計算量係数の和に対するピクチャの計算量係数の割合であり得る。
【００１９】
イントラ・リフレッシュ・マップによってピクチャ毎に予想残差を生成する工程では、選択されたピクチャの注目領域外のブロック／ＭＢは、通常のモード決定処理を使用することができる。よって、一実施例では、イントラ・リフレッシュ・マップがピクチャ毎に生成されるが、注目領域の抽出は、一部の（例えば、数個毎の）ピクチャについてのみ行われる。注目要域が抽出されるピクチャの場合、注目領域内のブロック／ＭＢは、イントラ・リフレッシュ・マップにおいてイントラ・モードで符号化されるよう規定され、その他のピクチャの場合、イントラ・リフレッシュ・マップは、ピクチャ内のブロック全てをインター・モードで符号化すべきであることを規定する。更に、イントラ・リフレッシュ・マップは、注目領域の強制されたイントラ符号化ブロック／ＭＢが変更されない限り、特定の他の情報によって更に修正することが可能である。
【００２０】
ピクチャについてイントラ・リフレッシュを使用するか否かを判定するために、周期的に、Ｎ個毎のピクチャを、イントラ・リフレッシュを使用するために求めることができる。Ｎは、定数（例えば、Ｎ＝４、Ｎ＝８）であっても、チャネル品質情報に適応的に依存してもよい。チャネル品質がより良好な場合、Ｎは増加する。Ｎは、所要ビデオ・フレーム・レートにも依存し得る。
【００２１】
本発明の一局面によれば、ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める装置は、ピクチャ群を選択する手段と、選択されたピクチャ群についてビット・バジェットを選択する手段と、ピクチャそれぞれを事前解析する手段であって、ピクチャ毎に、周波数領域における予測残差が生成される手段と、事前解析の結果に基づいてピクチャにビットを割り当てる手段と、割り当てられたビット数でピクチャそれぞれを符号化する手段とを備え、ピクチャそれぞれを事前解析する手段は、イントラ・リフレッシュがピクチャについて使用されるか否かを判定する手段（イントラ・リフレッシュは、特定されたピクチャ部分の強制されたイントラ符号化を意味する）と、イントラ・リフレッシュを使用するピクチャ毎にブロック／ＭＢのレベルの注目領域情報を抽出する手段と、イントラ・リフレッシュ・マップを、少なくとも、選択されたピクチャ毎に、抽出された注目領域情報に基づいて生成する手段であって、インター符号化されるか、又はイントラ符号化されるかを、ブロック又はＭＢ毎に示し、注目領域内のブロック／ＭＢについてイントラ符号化が示される手段と、ピクチャ毎に、予測された残差を生成する手段であって、イントラ・リフレッシュ・マップにより、選択されたピクチャの注目領域内のブロック／ＭＢがイントラ予測される手段と、ＤＣＴを行う手段と、一定の量子化パラメータによる量子化を行う手段と、周波数領域における計算量係数をピクチャ毎に算出する手段と、個別のピクチャの計算量係数、及びピクチャ群の計算量係数に基づいて各ピクチャの計算量の割合を算出する手段と、各ピクチャにビット量を、群のビット・バジェット及びその計算量の割合によって割り当てる手段とを備える。
【００２２】
効果的には、本発明は、誤り耐性ビデオ符号化のために適応的（例えば、注目ベースの）イントラ・リフレッシュ・モードとともに使用可能な単純なレート制御方法を提供する。特定の利点は、より一定であり、したがって、主観的により良好な品質がピクチャ群内で達成される。
【００２３】
提案された方法は、他のイントラ・リフレッシュ手法について、かつ、別々の符号化モードを含むピクチャ群についてのレート制御について（ピクチャ・レベル（Ｉフレーム、Ｐフレーム、Ｂフレーム）であっても、フレーム・レベル（イントラ符号化又はインター符号化）であっても、予測レベル（双方向、前方、後方）であっても）機能するよう一般化することが可能である。
【００２４】
本発明は通常、ＭＢレベルで使用されるが、基本的には、ブロック・レベルでも使用することが可能である。
【発明を実施するための最良の形態】
【００２５】
本発明の効果的な実施例は、従属請求項、以下の説明、及び図面に記載している。
【００２６】
本発明の例示的な実施例は、添付図面を参照して説明する。
【実施例】
【００２７】
図１は、前述のように、注目領域ベースのイントラ・リフレッシュを伴う従来の符号化器を示す。レート制御は、イントラ・リフレッシュ領域が局所的にかつ時間的に可変である理由で考慮に入れられておらず、よって、予測することが難しい。一場面における一連の連続ピクチャにおいて量子化ステップが不変の符号化ビット・ストリームにより、品質のむらが比較的少なくなる。よって、適切な不変の量子化ステップを求めなければならない。これにより、ピクチャ群内の目標ビット・レートをもたらすことが可能である。しかし、量子化ステップがほぼ一定の場合、もたらされたビット・レートはピクチャ毎に一定でなく、よって、同じ数のビットを群内の各ピクチャに割り当てないほうがよい。
【００２８】
しかし、異なるビット・レートを反映する別々の一定の量子化パラメータ（ＱＰ）で符号化した場合、各ピクチャのビットの割合は、別々のＱＰで符号化された周知の「フォアマン」系列について図２に示すようにほぼ同じである。考慮に入れられた群は、長さが、３０個のピクチャであるＧＯＰである。y座標は、対応するＧＯＰにおける各ピクチャのビット割合である。４つの曲線（別々のＱＰに対応する）のビット・レートは大きく異なり、各ピクチャの割合は大きく類似している。これは、ビットの割合が、群内の各ピクチャの計算量である、各ピクチャの内部特性に依存するからである。よって、本発明は、事前解析されたピクチャの所定の群内の事前解析されたピクチャのビット割合を、ピクチャを実際に符号化するためにビットを割り当てる尺度として採用することが可能である。
【００２９】
特に、本発明は、ビットを各ピクチャにその相対計算量情報によって割り当てる工程を含む。上記相対計算量は、周波数領域における単純な事前解析処理、及び計算量を推定するための一定のＱＰの下での予備量子化の後の、ピクチャについて必要な相対量のデータで反映される。
【００３０】
本発明による、ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法のフローチャートを図３及び図４に示す。図３はレート制御工程の概要を示し、図４は、図３に示す事前解析モジュールに関する更なる詳細を表す。先行するレート制御手法におけるように、提案された手法は、ビット割り当て及びＱＰ決定という２つの工程を有する。一方、ピクチャ・レベル・ビット割り当ては、事前解析モジュール３３の出力パラメータ３５、３８に依存する。事前解析モジュール３１は、注目領域抽出４１及びイントラ・リフレッシュ決定４２のみならず、周波数領域計算量解析４６も行う。
【００３１】
詳細には、各モジュールの方法及び機能は、以下に説明する。
【００３２】
図３の第１の工程では、事前解析３１を行う。連続ピクチャ群３０が、第１のピクチャを符号化する前に、まず、事前解析モジュール３１に入力される。よって、事前解析モジュール３１は、ピクチャ群を記憶するためのバッファ（図示せず）を含み得る。ピクチャ４０毎に、事前解析モジュール３１はイントラ・リフレッシュ決定を行い、イントラ・リフレッシュ・マップ４８を出力する。イントラ・リフレッシュ・マップ４８は、ＭＢ毎に、後に符号化処理における量子化パラメータ選択のためにイントラ符号化を使用すべきか、インター符号化を使用すべきかをＭＢ毎に示す。イントラ・リフレッシュ決定によれば、事前解析モジュール３１は更に、単純なイントラ予測４３又はインター予測４４、単純な変換４５（例えば、単純化されたＤＣＴ）、及び周波数領域解析４６を行い、最後に、各ピクチャの計算量係数３５をビット割り当て器３２に出力する。
【００３３】
図４は、事前解析モジュール３１の更なる詳細を示す。事前解析モジュール３１は、注目領域抽出器モジュール４１と、イントラ・リフレッシュ・コントローラ・モジュール４２と、イントラ／インター予測器モジュール４３、４４と、変換器モジュール４３と、周波数領域解析器４６とを備える。イントラ・リフレッシュ・コントローラ４２は、比較的単純なアルゴリズム（例えば、ＧＯＰ内のＮ個のピクチャ毎）により、ピクチャの一部を選択する。Ｎが定数であってもよいが、（例えば、チャネル品質及び／又はビデオ・フレーム・レートによる）変数であり、一定の（例えば、２とＧＯＰＳｉｚｅ／２との間の）範囲内にあってもよい。前述のピクチャは次いで、（部分的に、すなわち、少なくともその注目領域内で）イントラ・リフレッシュされる。イントラ・リフレッシュ・コントローラ４２は、選択されたピクチャから注目領域を抽出するよう注目領域抽出器４１に通知する。注目領域抽出器４１は、例えば、動き、強度、色、残差、テクスチャ、及び／又は時間的コヒーレンスの情報を使用することにより、注目領域をピクチャから選び、少なくともイントラ・リフレッシュ・コントローラ４２に注目領域情報４７（例えば、注目領域に属するＭＢのリスト）を供給する。しかし、注目領域抽出器４１は、注目領域情報４７を、事前解析器３１外の他のモジュール（例えば、量子化パラメータ算出器３３及び／又は符号化器３４）にも供給することができる。
【００３４】
次の工程では、イントラ・リフレッシュ・コントローラ４２は、注目ベースのイントラ・リフレッシュ・マップ４８を、選択されたピクチャ毎に注目領域情報４７に基づいて生成する。実際には、イントラ・リフレッシュ・コントローラ４２は、所要のフレーム・レート、ネットワークから供給される情報（例えば、品質情報）、視覚注目情報等で、イントラ・モードの決定を行うことが可能である。しかし、本発明によれば、イントラ符号化のために、選択されたピクチャ内の注目領域ＭＢが常にマーキングされる。
【００３５】
イントラ・リフレッシュ・マップ４８は、予測された残差４９を得るためにインター予測器４３を使用するか、又はイントラ予測器４４を使用するかをＭＢ毎に示す。イントラ・リフレッシュ・マップ４８が、符号化モードが「インター」であるべき旨を示した場合、インター予測器４３は、高速動き推定を行い、時間予測された残差を生成する。イントラ・リフレッシュ・マップ４８が、符号化モードが「イントラ」であるべき旨を示した場合、イントラ予測器４４は、単純化されたイントラ予測を行い、空間予測された残差を生成する。
【００３６】
その後、変換器４５は、個別に予測された残差４９に対して変換を行い、周波数領域残差４１０を生成する。インター予測モジュール４３内の高速動き推定は更に、欧州特許出願公開第０５３００９７４号明細書に開示されたような、時間平滑化（すなわち、動きベクトルを使用した、ピクチャ間の注目領域の予測）による注目領域抽出の結果を更に向上させることが可能である。
【００３７】
周波数領域解析器４６は、（単純化された）量子化を行い、ＭＢ毎に計算量係数４１１を出力する。次いで、ＭＢの計算量係数４１１全てを累算して（図示せず）、ピクチャ・レベル３５の計算量係数を得る。周波数領域解析器４６によって使用される量子化ステップは、ＭＢ／ブロック及びピクチャ全てについて一定であってよく、イントラ・モード又はインター・モードで調節することもできる。例えば、イントラ・モードの量子化ステップは、インター・モードの量子化ステップよりもわずかに小さいことがあり得るので、イントラ符号化について達成される多少高い品質により、後続の予測が恩恵を受け得る。計算量係数４１１は、実際の符号化ビット数であり得るか、若しくは（例えば、Ｑｕｑｉｎｇ、Ｃｈｅｎ、及びＹｕｎ  Ｈｅによる「Ａ  Ｆａｓｔ  Ｂｉｔ  Ｅｓｔｉｍａｔｉｏｎ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｒａｔｅ−  Ｄｉｓｔｏｒｔｉｏｎ  Ｏｐｔｉｍｉｚａｔｉｏｎ  ｉｎ  Ｈ．２６４／ＡＶＣ，  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ  ２００５）」によって開示された方法を使用した）推定された符号化ビット数であり得るか、又は、量子化後の非ゼロ係数の数であり得る（符号化ビットの数は、量子化後のゼロ係数の割合に対して線形であるからである）。計算量係数４１１は、各ＭＢ／ブロックの計算量を示す他の値も含み得る。計算量係数４１１、３５の絶対値（及び出力される形式）はあまり重要でない。各ピクチャの計算量の割合を得るために使用されるに過ぎないからである。
【００３８】
第２の工程はビット割り当て３２である。ピクチャ群の事前解析３１の後、各ピクチャの計算量３５を得ることが可能である。Ｎ個の入力ピクチャが群内に存在しており、各ピクチャの出力計算量がＣ１、Ｃ２、…、ＣＮであると仮定する。ピクチャ群全てに割り当てられる対象のビット数の合計はＲＧＯＰである。そうすると、ピクチャｉの場合、割り当てられるビットは、
【数１】
2009540636.tif 000003
になる。すなわち、この群内のピクチャ毎に割り当てられるビットは、各ピクチャの計算量係数に比例する。ビット割り当て器３２は次いで、量子化パラメータ算出器３３に対する目標ビットとして、割り当てられた数のビット３６を出力する。
【００３９】
第３の工程では、第２の工程で割り当てられた各ピクチャの目標ビット・レートを達成するために、量子化パラメータ算出器３３における各ピクチャ及び各ブロックについて量子化パラメータ（ＱＰ）を決定する。ここでは、既存のレート制御手法（例えば、Ｚｈｉｈａｊ  Ｈｅ、Ｓａｎｊｉｔ  Ｋ．、Ｍｉｔｒａによる「Ａ  ｌｉｎｅａｒ  ｓｏｕｒｃｅ  ｍｏｄｅｌ  ａｎｄ  ａ  ｕｎｉｆｉｅｄ  ｒａｔｅ  ｃｏｎｔｒｏｌ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ＤＣＴ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＣＳＶＴ，  ｖｏｌ．  １２，  ｎｏ．  １１，  Ｎｏｖ．２００２」に開示されたρ領域レート制御、又は前述の欧州特許第０６３００１８４号明細書におけるコンテンツ・ベースの歪み駆動ビット割り当て手法）を使用することが可能である。この第３の工程の出力は、符号化器３４における符号化処理のためのレート制御の最終量子化パラメータ３７である。
【００４０】
よって、本発明は、事前解析された計算量情報３５、３８による、ピクチャ毎のビットの割り当てに基づき、事前解析処理３１は注目ベースのイントラ・リフレッシュを考慮に入れる。
【００４１】
本発明の一実施例では、注目領域抽出処理は、特定の画像の視覚入力から階調における特徴マップの組を最初に抽出する工程を含む。上記特徴は、強度、色、向き等を含む。次いで、各特徴マップにおいて、最も顕著な領域が選ばれる。最後に、特徴マップ全てが、純粋にボトムアップでマスタ「突極性マップ」に統合化される。マスタ「突極性マップ」は、画像の注目情報とみなされる。注目突極性に基づいて、ＭＢ／ブロック・ベースの注目領域マスクは、ピクチャ内のどのＭＢ／ブロックが注目領域内にあるかを示すよう生成することが可能である。しかし、対象（すなわち、顔）の認識は一切必要でない。
【００４２】
本発明の一実施例では、伝送チャネル品質を示す値は、低チャネル品質の場合、注目領域内のイントラ・リフレッシュ符号化ＭＢを有するピクチャには、更なる追加の量のビットが与えられるように、単一のピクチャの計算量係数の算出に影響を及ぼし得る。この手法では更に、イントラ・リフレッシュ符号化注目領域を使用するピクチャが好適であり、よって、非常に低いチャネル品質においてその正しい伝送のより高い機会につながる。
【００４３】
例示的な実施例では、イントラ・リフレッシュ・コントローラは、以下のやり方で機能することが可能である。ピクチャ・レベルで、イントラ・リフレッシュを行うために一部のピクチャを（例えば、５フレーム毎に）選択し、次いで、選択されたピクチャ内のブロック・レベルで、ブロックが注目領域内にある場合、符号化するためにイントラ・モードとしてセットし、さもなければ、伝統的なモード決定手法（最も一般的な手法はＲＤＯであり、改良された手法にはエンドツーエンドＲＤＯがある）を使用してイントラ又はインターを決定する。非選択ピクチャでは、イントラ・リフレッシュ・コントローラは、通常のモード決定手法も行う。よって、イントラ・リフレッシュ・マップが、イントラ・リフレッシュ・コントローラによって生成される。帰還パケット喪失レートが増加した場合、エンドツーエンドＲＤＯ手法により、自動的に、イントラ・リフレッシュがより頻繁に行われる。フレーム・レートがより高い場合、イントラ・リフレッシュ周期はより長いことがあり得る。これは、実際のアプリケーションにより、適応的であり得る。
【００４４】
一実施例では、事前解析器の変換器４５及びインター／イントラ予測器４３、４４では、高速動き推定（ＭＥ）及び単純なＤＣＴが行われる。高速ＭＥ手法にはいくつか存在しており、とりわけ、一般的なものとして、Ｚｈｉｂｏ  Ｃｈｅｎによって提案され、ＪＶＴ参照ソフトウェアによって使用されている「ＵＭＨｅｘｇｏｎＳ」手法が存在している。別の可能性には、空間分解能がより低いＭＥがある。単純なＤＣＴは、限定量の係数（例えば、３次元高速ＤＣＴ）を備えたＤＣＴであり得る。
【００４５】
本発明によれば、割り当てられたビットは、イントラ・リフレッシュ手法の影響を考慮に入れているので、提案したレート制御手法は、イントラ・リフレッシュ・モードが使用される場合にも相対的に平滑な主観品質を提供することが可能である。
【００４６】
本発明の利点は、ピクチャ毎のビットの量が、ピクチャ・レベルの従来の強制されたイントラ符号化の場合よりも小さいということである。更に、主観的なピクチャ品質は、従来のイントラ・リフレッシュ・モードの場合よりも良好である。利用可能なビットがより賢明に利用されるからである。
【００４７】
本発明の別の利点は、計算量、及び、よって、所要処理能力が、最も計算量が大きな算出、すなわち、注目領域の抽出を、ピクチャ全てについてではなく、特定の選択されたピクチャについてのみ行うことにより、低いことである。
【００４８】
本発明は、符号化器、特にビデオ符号化器に使用することが可能である。符号化ビデオが非可逆性ネットワークを介して伝送される場合、パケット喪失の確率が高く、よって、参照フレーム又は参照ＭＢの喪失が、予測誤りのために後続予測ピクチャにおける目に見えるアーチファクトにつながる場合に特に効果的である。本発明を使用することにより、実際に利用可能な帯域と無関係に、ピクチャの主観的に最も重要な部分をすばやく更新するよう、利用可能な帯域を最適に使用することが可能である。
【図面の簡単な説明】
【００４９】
【図１】注目領域ベースのイントラ・リフレッシュを伴う従来の符号化器の構造を示す図である。
【図２】別々のＱＰの下でのピクチャ群の各ピクチャのビット割合を示す図である。
【図３】事前解析を伴うレート制御の概要を示す図である。
【図４】事前解析のモジュールの詳細を示す図である。
【図１】
2009540636.tif 000004
【図２】
2009540636.tif 000005
【図３】
2009540636.tif 000006
【図４】
2009540636.tif 000007
【手続補正書】
【提出日】平成20年12月10日(2008.12.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ビデオ・ピクチャの符号化のためにビット・バジェットを適応的に求める方法であって、
ピクチャ群と、選択されたピクチャ群についてのビット・バジェットとを選択する工程と、
前記ピクチャそれぞれを事前解析する工程（３１）であって、周波数領域内の個別の予測された残差が生成される工程と、
前記事前解析の結果に基づいて前記ピクチャにビットを割り当てる工程（３２）と、
割り当てられたビット数で前記ピクチャそれぞれを符号化する工程（３３、３４）とを含み、
前記事前解析する工程（３１）は、
イントラ・リフレッシュを使用する前記ピクチャ毎にブロック又はマクロブロックのレベルの注目領域情報（４７）を抽出する工程（４１）であって、イントラ・リフレッシュが、特定されたピクチャ部分の強制されたイントラ符号化を意味する工程と、
インター符号化されるか、又はイントラ符号化されるかをブロック又はマクロブロックについて示すイントラ・リフレッシュ・マップ（４８）を、選択されたピクチャ毎に、前記抽出された注目領域情報（４７）に基づいて生成する工程（４２）と、
ピクチャ毎に、予測された残差（４９）を前記イントラ・リフレッシュ・マップ（４８）によって生成する工程（４３、４４）と、
残差を周波数領域に変換する工程（４５）と、
周波数領域における計算量係数（４１１）を前記ピクチャ毎に算出する工程（４６）と、
計算量係数に基づいて各ピクチャの計算量の割合を算出する工程（３２）と、
各ピクチャにビット量を、その計算量の割合、及び群のビット・バジェットによって割り当てる工程（３２）とを含む方法。
【請求項２】
請求項１記載の方法であって、前記計算量係数（４１１）は、周波数領域の残差の量子化後のビット数に対応する値である方法。
【請求項３】
請求項１又は２に記載の方法であって、特定のピクチャの前記計算量の割合は、個別のピクチャ群の計算量係数の和に対する前記ピクチャの前記計算量係数（４１１）の割合である方法。
【請求項４】
請求項１乃至３の何れか一項に記載の方法であって、前記イントラ・リフレッシュ・マップ（４８）により、ピクチャ毎に予測残差（４９）を生成する工程について、選択されたピクチャの前記注目領域外のブロック又はマクロブロックは、通常のモード決定処理を使用する方法。
【請求項５】
請求項１乃至４の何れか一項に記載の方法であって、
イントラ・リフレッシュを使用するか否かをピクチャ毎に判定する工程（４２）であって、少なくともＮ個毎のピクチャがイントラ・リフレッシュを使用するよう判定される工程を更に含む方法。
【請求項６】
請求項５記載の方法であって、Ｎは、チャネル品質情報に適応的に依存し、チャネル品質がより良好である場合、Ｎが増加する方法。
【請求項７】
請求項５記載の方法であって、Ｎが、所要のビデオ・フレーム・レートに依存する方法。
【請求項８】
請求項１乃至７の何れか一項に記載の方法であって、注目領域情報（４７）を抽出する工程は、動き、輝度及び色の解析に基づく方法。
【請求項９】
請求項１乃至８の何れか一項に記載の方法であって、注目領域情報（４７）を抽出する工程は、時間的コヒーレンスの解析に基づき、時間的コヒーレンスは、隣接する選択されたピクチャから現在の選択されたピクチャに注目領域情報を予測する工程を含む方法。
【請求項１０】
請求項１乃至９の何れか一項に記載の方法であって、前記イントラ予測及び前記インター予測は、高速動き推定及び／又は単純化されたインター予測若しくはイントラ予測を使用する工程を含む方法。
【請求項１１】
ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める装置であって
前記ピクチャ群を選択する手段と、
選択されたピクチャ群についてビット・バジェットを選択する手段と、
ピクチャそれぞれを事前解析する手段（３１）であって、周波数領域内の個別の予測された残差が生成される手段と、
前記事前解析の結果に基づいて前記ピクチャにビットを割り当てる手段（３２）と、
前記割り当てられたビット数で前記ピクチャそれぞれを符号化する手段（３３、３４）とを備え、
前記事前解析する手段（３１）は、
イントラ・リフレッシュを使用するピクチャ毎にブロック又はマクロブロックのレベルの注目領域情報（４７）を抽出する手段（４１）であって、イントラ・リフレッシュは、特定されたピクチャ部分の強制されたイントラ符号化を意味する手段と、
イントラ・リフレッシュ・マップ（４８）を、少なくとも、選択されたピクチャ毎に、前記抽出された注目領域情報（４７）に基づいて生成する手段（４２）であって、前記イントラ・リフレッシュ・マップ（４８）が、インター符号化されるか、又はイントラ符号化されるかを、ブロック又はマクロブロックについて示す手段と、
ピクチャ毎に、予測された残差（４９）を前記イントラ・リフレッシュ・マップ（４８）によって生成する手段（４３、４４）と、
残差を周波数領域に変換する手段（４５）と、
周波数領域における計算量係数（４１１）を前記ピクチャ毎に算出する手段（４６）と、
計算量係数に基づいて各ピクチャの計算量の割合を算出する手段（３２）と、
各ピクチャにビット量を、その計算量の割合及び前記ピクチャ群のビット・バジェットによって割り当てる手段とを含む装置。
【請求項１２】
請求項１１記載の装置であって、選択されたピクチャの前記注目領域外の前記ブロック又は前記マクロブロックの従来のモード決定処理を行う手段を更に備える装置。
【請求項１３】
請求項１１又は１２に記載の装置であって、
ピクチャにイントラ・リフレッシュを使用するか否かを判定する手段（４２）であって、少なくともN個のピクチャ毎にイントラ・リフレッシュが求められる手段を更に備える装置。
【請求項１４】
請求項１１乃至１３のうちの何れか一項に記載の装置であって、前記注目領域情報（４７）を抽出する手段は、隣接する選択されたピクチャから現在の選択されたピクチャに注目領域情報を予測する手段を更に備える装置。
【請求項１５】
請求項１１乃至１４のうちの何れか一項に記載の装置であって、予測残差（４９）をピクチャ毎に生成する手段（４３、４４）は、高速動き推定を行う手段及び／又は単純化されたインター予測若しくはイントラ予測を行う手段を備える装置。
【国際調査報告】
2009540636.tif 000008
2009540636.tif 000009
2009540636.tif 000010