(57)【要約】      （修正有）【課題】ビデオのフレームシーケンスにおけるマクロブロックの符号化モードを選択する方法及びシステムを提供する。【解決手段】各フレーム内の各現マクロブロックについて、前の対応する基準マクロブロックに関連する符号化モードに従って符号化された対応する基準マクロブロックとの相関量が測定される。次に、相関量が所定の閾値よりも大きい場合、対応する基準マクロブロックに関連する符号化モードが、現マクロブロックを符号化するためのモードとして選択され、そうでない場合、新たなモードが選択される。【選択図】図３
2007235944.tif 000002
【特許請求の範囲】
【請求項１】
ビデオのフレームシーケンスにおけるマクロブロックの符号化モードを選択する方法であって、
各イントラフレーム内のそれぞれの現在のマクロブロックについて、前の対応する基準マクロブロックに関連する符号化モードに従って符号化された前記対応する基準マクロブロックとの相関量を測定するステップと、
前記相関量が所定の閾値よりも大きい場合、前記対応する基準マクロブロックに関連する前記符号化モードを、前記現在のマクロブロックを符号化するためのモードとして選択し、そうでない場合、新たなモードを選択するステップと
を含む、ビデオのフレームシーケンスにおけるマクロブロックの符号化モードを選択する方法。
【請求項２】
前記新たなモードは、従来のモード決定プロセスを用いて選択される、請求項１に記載の方法。
【請求項３】
前記新たなモードは、最適なモード決定プロセスを用いて選択される、請求項１に記載の方法。
【請求項４】
前記選択されたモードに従って前記現在のマクロブロックを符号化すること
をさらに含む、請求項１に記載の方法。
【請求項５】
比較的小さな所定の閾値は前記現在のマクロブロックに低品質で高速なモード決定をもたらす、請求項４に記載の方法。
【請求項６】
１番目のフレームは従来のモード決定プロセスに従うことによって、前記１番目のフレーム内の前記マクロブロックについてモードの最初の組をもたらす、請求項１に記載の方法。
【請求項７】
前記モード組をモードバッファに格納すること、及び
各新たなモードを前記モードバッファに格納すること
をさらに含む、請求項６に記載の方法。
【請求項８】
前記新たなモードが選択される場合にのみ、前記現在のマクロブロックをフレームバッファに格納すること
をさらに含む、請求項１に記載の方法。
【請求項９】
前記相関量は、前記現在のマクロブロックｂ２と前記前の対応する基準マクロブロックｂ１との間の差測度Ｄ：
【数１】
2007235944.tif 000007
であり、ここで、ｐ２及びｐ１は、前記マクロブロックｂ２及びｂ１を含むフレームであり、ｂｙ及びｂｘは、前記マクロブロックｂ２及びｂ１の縦及び横の座標であり、ｉ及びｊは指数である、請求項１に記載の方法。
【請求項１０】
前記差測度は、前記現在のマクロブロックのイントラ予測に用いられる全てのピクセル及びイントラ予測に用いられる空間近傍ピクセルを含む、請求項１に記載の方法。
【請求項１１】
ビデオのフレームシーケンスにおけるマクロブロックの符号化モードを選択するシステムであって、
各フレーム内の現マクロブロックについて、前の対応する基準マクロブロックに関連する符号化モードに従って符号化された前記対応する基準マクロブロックとの相関量を測定する手段と、
前記相関量が所定の閾値よりも大きい場合、前記対応する基準マクロブロックに関連する前記符号化モードを、前記現在のマクロブロックを符号化するためのモードとして選択し、そうでない場合、新たなモードを選択するように構成される選択器と
を備える、ビデオのフレームシーケンスにおけるマクロブロックの符号化モードを選択するシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはイントラビデオ符号化に関し、特に、イントラビデオ符号化のためのモード決定に関する。
【背景技術】
【０００２】
イントラのみのビデオ符号化は、部分的にはその編集のし易さから、専門用途及び監視ビデオ用途において広く用いられている符号化方法である。Ｈ．２６４／ＡＶＣビデオ圧縮規格（ITU-T Rec. H.264 | ISO/IEC 14496-10「高度なビデオ符号化（Advanced Video Coding）」（2003）（参照により本明細書中に援用される）を参照）は、ＪＰＥＧ２０００（ISO/IEC 15444-1「情報技術−ＪＰＥＧ２０００画像符号化方式−第Ｉ部：基本符号化方式（Information technology - JPEG 2000 image coding system - Part 1: Core coding system）」（2000）を参照）等の最新式の静止画符号化方式と比べて、イントラのみの符号化を用いて優れた符号化効率を示している。
【０００３】
このような応用を相互運用可能にサポートするために、ISO及びITU-Tの両方からのビデオ符号化の専門家から成る合同ビデオチーム（ＪＶＴ）が現在、イントラのみの４：４：４のプロファイルの標準化仕様に取り組んでいる（Yu及びLiu著「ＭＰＥＧ−４−第１０部／Ｈ．２６４のための高度な４：４：４プロファイル（Advanced 4:4:4 Profile for MPEG-4-Part10/H.264）」（JVT-P017, July 2005）（参照により本明細書中に援用される）を参照）。
【０００４】
図１は、このような標準的な従来技術のイントラのみのビデオエンコーダの基本的な符号化プロセスを示す。入力ビデオの各フレーム１０１がマクロブロック１０２に分割される。本明細書中で定義されるように、対応するマクロブロック１０２及び１０３は、異なるフレーム１０１及び１０４において空間的に同じ位置にある。
【０００５】
各マクロブロックは、変換／スケーリング１１０及びエントロピー符号化１２０を施されて、出力ビットストリーム１２１を生成する。変換／スケーリングの出力は、逆のスケーリング及び変換１３０を施される。ピクセルバッファ１５０の内容及び予測モードの候補組を考慮して符号化モードの決定１４０が行われる。符号化モードの決定により、選択された符号化モード１４１が生成される。次に、決定の結果（イントラ予測）１６０が入力信号から減算されて（１７０）、誤差信号が生成される。この予測結果はまた、逆のスケーリング及び変換１３０の出力に加算されて（１８０）、ピクセルバッファ１５０に格納される。
【０００６】
一般に、入力ビデオの各フレームは、空間的にマクロブロックに分割され、各マクロブロックはより小さなサイズのブロックを含む。マクロブロックは符号化の基本単位であり、ブロックは通常、変換のディメンションに相当する。
【０００７】
マクロブロック分割の概念は、共通の予測を共有するマクロブロック内のピクセル群を指して用いられることが多い。マクロブロック、ブロック及びマクロブロック分割の寸法は必ずしも等しくない。許容可能なマクロブロック分割の組は通常、符号化方式により変化する。例えば、Ｈ．２６４／ＡＶＣのＩスライスにおいて、１６×１６のマクロブロックは、１つの１６×１６のブロックとして、又は８×８のマクロブロック分割及び４×４のマクロブロック分割の混合として符号化される場合がある。次に、各マクロブロック分割について個別に予測を行うことができる。イントラ１６×１６又はイントラ４×４が用いられる場合、符号化は４×４のブロックに基づく。イントラ８×８が用いられる場合、符号化は８×８のブロックに基づく。
【０００８】
エンコーダは、ビデオ符号化性能が最適化されるように、マクロブロックの符号化モード（最良のマクロブロック分割及び各マクロブロック分割の予測モードを含む）を選択する。この選択プロセスは従来、「マクロブロックのモード決定」と呼ばれている。
【０００９】
イントラのみのビデオ符号化の場合、マクロブロックは、現フレームからの情報のみを用いるイントラマクロブロックとして符号化される。Ｈ．２６４／ＡＶＣ仕様書によれば、イントラ符号化マクロブロックの予測プロセスは、現マクロブロックの左及び／又は上にあるマクロブロック内の以前に復号化されたピクセルから空間予測信号を形成することによって規定される。全ての利用可能な候補予測モードの組が与えられると、モード決定プロセスは、各マクロブロックにつき１つの符号化モードを選択する。
【００１０】
Ｈ．２６４／ＡＶＣビデオ符号化規格では、マクロブロックには多くの利用可能な符号化モードがある。Ｉスライスにおけるマクロブロックに利用可能な符号化モードとしては、ルマサンプルの場合にイントラ４×４予測、イントラ８×８予測及びイントラ１６×１６予測、並びにクロマサンプルの場合にイントラ８×８予測がある。予測ブロックサイズ及びその予測がルマサンプル又はクロマサンプルのどちらを対象とするかに応じて、いくつかの予測モードがある。
【００１１】
イントラ４×４予測を用いる場合（ルマのみ）、Ｈ．２６４／ＡＶＣ規格が規定する９つの予測モードのうちの１つを用いて各４×４マクロブロック分割を符号化することができる。イントラ１６×１６予測を用いる場合（ルマのみ）、４つの予測モードのうちの１つを用いて１６×１６マクロブロックを予測することができる。ルマに対してイントラ８×８予測を用いる場合、９つの予測モードのうちの１つを用いて各８×８マクロブロック分割を符号化することができる。クロマに対してイントラ８×８予測を用いる場合、４つの予測モードのうちの１つを用いて各８×８マクロブロック分割を符号化することができる。どのマクロブロック符号化モードも、異なるレート歪み（ＲＤ）トレードオフを与える。
【００１２】
本発明の目的は、レート（Ｒ）及び歪み（Ｄ）の両方に関して性能を最適化するマクロブロック符号化モードを選択することである。
【００１３】
通常、レート歪みの最適化は、ラグランジュ乗数を用いてマクロブロックのモード決定を行う。レート歪みの最適化は、マクロブロックの各候補符号化モードについてラグランジュコストを評価し、ラグランジュコストの最も小さいモードを選択する。
【００１４】
マクロブロックを符号化するための候補モードがＮ個ある場合、ｎ番目の候補モードのラグランジュコストＪｎは、マクロブロック分割のラグランジュコストの和である。
【００１５】
【数１】
2007235944.tif 000003
【００１６】
ここで、Ｐｎは、ｎ番目の候補モードのマクロブロック分割の数である。マクロブロック分割は、予測モードによって異なるサイズであり得る。例えば、分割サイズはイントラ４×４予測の場合に４×４であり、イントラ１６×１６予測の場合に１６×１６である。
【００１７】
ｎ番目のマクロブロックのｉ番目の分割の候補符号化モードの数がＫｎ，ｉである場合、このマクロブロック分割のコストは次のように表される。
【００１８】
【数２】
2007235944.tif 000004
【００１９】
ここで、Ｒ及びＤはそれぞれレート及び歪みであり、λはラグランジュ乗数である。ラグランジュ乗数は、マクロブロック符号化のレート歪みトレードオフを制御するものであり、量子化パラメータから導出することができる。
【００２０】
上記の式は、ｎ番目のマクロブロックのｉ番目の分割のラグランジュコストＪｎ，ｉが、この分割の候補符号化モードによって得られるＫｎ，ｉ個のコストの最小数となるように選択されることを示している。したがって、この分割の最適な符号化モードはＪｎ，ｉをもたらすものである。マクロブロックの最適な符号化モードは、次式のような最小コストをもたらす候補モードとなるように選択される。
【００２１】
【数３】
2007235944.tif 000005
【００２２】
図２は、マクロブロック分割の符号化モードのラグランジュコスト、すなわちＪｎ，ｉ，ｋを求めるための従来のプロセスを示す。入力マクロブロック分割２１１とその予測２１２との差２１０が変換／スケーリング２２０を施され、次に、レートが求められる（２３０）。結果として得られた係数はまた、逆のスケーリング及び変換２４０、並びにイントラ予測２７１、ピクセルバッファ２７２及び候補予測モード２７３を用いた予測の補償を施されて、マクロブロック分割が再構成される。歪み（Ｄ）２５１は次に、再構成されたマクロブロック分割と入力マクロブロック分割との間で求められる（２５０）。最終的に、レート及び歪みを用いてラグランジュコスト２６１が求められる（２６０）。その場合、最適な符号化モード２６２は、コストが最小のモードに相当する。
【００２３】
ラグランジュコストを求めるこのプロセスは、Ｈ．２６４／ＡＶＣ規格に従ってマクロブロックを符号化するために利用可能なモードは多数あるため、何度も行う必要がある。したがって、レート歪みが最適化された符号化モード決定の計算は複雑で時間がかかる可能性がある。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
したがって、Ｈ．２６４／ＡＶＣビデオ符号化において効率的な、レート歪みが最適化されたマクロブロックのモード決定を行う必要がある。
【００２５】
特にイントラモード決定プロセスの計算量を低減することを目的とするいくつかの従来技術の方法がある。しかし、従来技術の方法はどれも、最適に近い品質で計算量の大幅な低減を提供しない。
【００２６】
１つの方法は、入力マクロブロックデータの事前分析に基づいて候補モード２７３の数を低減する（例えば、Pan他著「イントラ予測のための高速なモード決定（Fast Mode Decision for Intra Prediction）」（JVT-G013, March 2003）、Meng他著「Ｈ．２６４における４×４ブロックの効率的なイントラ予測モードの選択（Efficient Intra-Prediction Mode Selection for 4x4 Blocks in H.264）」（Proc. IEEE International Conference on Multimedia and Expo, July 2003）、Zhang他著「Ｈ．２６４のための高速な４×４イントラ予測モードの選択（Fast 4x4 Intra-prediction Mode Selection for H.264）」（Proc. IEEE International Conference on Multimedia and Expo, June 2004）、及びPan他著「Ｈ．２６４ビデオ符号化のための方向場に基づく高速イントラモード決定アルゴリズム（A Directional Field Based Fast Intra Mode Decision Algorithm for H.264 Video Encoding）」（IEEE International Conference on Multimedia and Expo, June 2004）を参照）。
【００２７】
代替的な方法は、Xin他により２００４年６月１日付で出願された米国特許出願第１０／８５８，１６２号「ビデオ符号化のためのマクロブロック符号化モードの選択（Selecting Macroblock Coding Modes for Video Encoding）」に記載されているように、モード決定機構を修正するとともに、変換領域において歪みを計算することによって、計算量を低減する。
【課題を解決するための手段】
【００２８】
本発明は、時間的に隣接するフレームのモード決定間の相関を利用する、現マクロブロックについてモード決定を行う方法を提供する。
【発明の効果】
【００２９】
この方法を用いて、品質の低下を最小限に抑えて計算の削減が達成される。
【発明を実施するための最良の形態】
【００３０】
本発明は、イントラのみのビデオ符号化のための、レート歪みの点でほぼ最適な符号化モードを決めるシステム及び方法を提供する。
【００３１】
方法及びシステムの概要
図３は、本発明の一実施の形態による、イントラフレームシーケンスすなわちビデオの各マクロブロックについて、複数の利用可能な候補符号化モードの中からほぼ最適な符号化モードを選択する方法及びシステムを示す。
【００３２】
ビデオの１番目のフレームに従来のモード決定プロセスを施して、最初のモード組を得る。各マクロブロックに１つの符号化モードを関連付ける。本発明では、この目的のために、図２について説明したような最適な符号化モードの決定を用いる。この最初のステップにおいて、１番目の（基準）フレームのマクロブロックをフレームバッファ３１０に格納し、モード組をモードバッファ３２０に格納する。
【００３３】
各連続イントラフレームについて、各入力マクロブロック（ＭＢ）３０１をまず、フレームバッファ３１０に格納されている、対応する（同じ位置にある）基準マクロブロックと比較して、相関量３３１を測定する（３３０）。この相関量は選択器３４０に渡される。相関メトリックに関する詳細は後述する。
【００３４】
相関量が所定の閾値よりも大きい場合、選択器３４０は、モードバッファ３２０に格納されている、前のフレーム中の対応する同じ位置にあるマクロブロックの符号化モードを再利用する（３５０）。選択されたモードは、現マクロブロックを符号化するために再利用される。そうでない場合、選択器は、従来のモード決定プロセス又は最適なモードの決定プロセスを用いて現入力マクロブロックのための新たなモードを決める（３６０）。
【００３５】
所定の閾値は、品質と計算量との間のトレードオフを制御するために用いられる。比較的大きな閾値は、低品質ではあるが高速なモード決定、よって低い計算量をもたらす。
【００３６】
上記プロセスの出力はほぼ最適なモード３６１であり、このほぼ最適なモードは次に、図１について説明したように、選択された符号化モード１４１として用いられる。
【００３７】
現フレームの全てのマクロブロックについてほぼ最適なモードをモードバッファ３２０に格納する。相関度の低いマクロブロック、すなわち、新たなマクロブロックのモード決定の対象となるマクロブロックの場合、現入力マクロブロックのピクセルによりフレームバッファを更新する（３０５）。新たなモード決定に対応するマクロブロックデータのみがバッファに更新されることに留意されたい。バッファの更新に関するさらなる詳細を後述する。
【００３８】
相関の測定
モード決定を再利用する（３５０）目的で２つのマクロブロック間の相関量を測定するために、本発明では、２つのマクロブロックｂ２及びｂ１の間の差測度を次のように定義する。
【００３９】
【数４】
2007235944.tif 000006
【００４０】
上記の式において、ｐ２及びｐ１は、ｂ２及びｂ１を含む２つのフレームであり、ｂｙ及びｂｘはそれぞれ、ｂ２及びｂ１の縦及び横の座標である。この差測度は、現マクロブロックのイントラ予測に用いられ得る全てのピクセルを含む。具体的には、差測度は、同じ位置にあるマクロブロックのピクセルからの寄与だけでなく、イントラ予測に用いられ得るその空間近傍からの寄与も含む。
【００４１】
図４は、現マクロブロック４１０を予測するために使用され得る、隣接する近傍ピクセル４０１を示し、現マクロブロックのピクセル４１１（黒丸）及びその隣接する、イントラ予測に必要な空間近傍ピクセル（白丸）４０１を含む。
【００４２】
バッファの更新
上述のように、新たなモード決定がある場合にのみ、現入力マクロブロックのピクセルによりフレームバッファ３１０を更新する（３０５）。この戦略は、特定の符号化モードを決めるために用いられた元のマクロブロックに基づいて相関３１１を測定する（３３０）ことを可能にする。直前のフレームについて差をとる場合、経時的な、閾値未満の小さな差は検出されなくなる可能性がある。その場合、経時的なマクロブロック特性が大きく変化していても符号化モードは再利用され続けることになる。
【００４３】
この問題を克服するために、マクロブロック符号化モードを再利用するという決定は常に、特定の符号化モードを決めるために使用された元のマクロブロックに基づく。
【００４４】
図５は、それぞれ４つのマクロブロックを含むいくつかのフレームのバッファ更新プロセスを示す。
【００４５】
フレーム０では、４つ全てのマクロブロックのモード決定が新たに決められ、Ｎで示される。フレーム０からのマクロブロックデータ｛ＭＢ０（０，０），ＭＢ０（０，１），ＭＢ０（１，０），ＭＢ０（１，１）｝を次にフレームバッファに格納する。フレーム１では、マクロブロック（０，０）及び（０，１）の符号化モードは再利用し（Ｒで示される）、マクロブロック（１，０）及び（１，１）の符号化モードは新たに決められ、Ｎで示されるというモード決定が決まっている。結果として、バッファは、フレーム１からの対応するマクロブロックデータ｛ＭＢ１（１，０），ＭＢ１（１，１）｝により更新され、他のマクロブロックのデータは変更されない。フレーム２では、マクロブロック（０，１）のみが新たに決められているため、フレームバッファへの更新は｛ＭＢ２（０，１）｝のみである。
【００４６】
上記の例から、フレームバッファ３１０が異なるフレームからのマクロブロックデータの混合から成ることは明白である。各マクロブロックのデータ源は、符号化モードの決定が決められたフレームを表す。フレームバッファ内のデータは、現入力マクロブロックが十分に相関しているかどうか、及びマクロブロック符号化モードを再利用できるかどうかを判定するための基準として用いられる。
【００４７】
本発明を好ましい実施の形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行ってもよいことが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び修正をすべて網羅することである。
【図面の簡単な説明】
【００４８】
【図１】モード決定を含む従来技術のビデオ符号化システムのブロック図である。
【図２】従来技術の最適なモードの決定のブロック図である。
【図３】本発明の一実施の形態によるほぼ最適なモードの決定のブロック図である。
【図４】本発明の一実施の形態による、相関を測定するために用いられるピクセルのブロック図である。
【図５】本発明の一実施の形態によるほぼ最適なモードの決定におけるバッファ更新のブロック図である。
【図１】
2007235944.tif 000008
【図２】
2007235944.tif 000009
【図３】
2007235944.tif 000010
【図４】
2007235944.tif 000011
【図５】
2007235944.tif 000012
【外国語明細書】
2007235944.tif 000013
2007235944.tif 000014
2007235944.tif 000015
2007235944.tif 000016
2007235944.tif 000017
2007235944.tif 000018
2007235944.tif 000019
2007235944.tif 000020
2007235944.tif 000021
2007235944.tif 000022
2007235944.tif 000023
2007235944.tif 000024
2007235944.tif 000025
2007235944.tif 000026
2007235944.tif 000027
2007235944.tif 000028
2007235944.tif 000029