(57)【要約】映像における局部的な輝度変化を扱う圧縮方法が提供される。この圧縮方法は、ソースピクチャにおける現在のブロックの以前に符号化及び再構成をされた隣接ピクセルと、基準ピクチャにおけるそれらの対応する動き予測をされた（又は連結された）ピクセルとから、重みを推定する。このような重みを導き出すためにエンコーダ及びデコーダの両方で情報は利用可能であるから、送信されるべき付加ビットは不要である。
2009527186.tif 000002
【特許請求の範囲】
【請求項１】
局部的な輝度変化を考慮するよう映像を符号化する方法であって、
局部的な輝度変化を伴う映像にインター符号化を行うようブロック状の追加の重み付けオフセットを生成する段階と、
前記ブロック状の追加の重み付けオフセットを符号化する段階と
を有する方法。
【請求項２】
前記生成段階は、現在のピクチャと基準ピクチャとの間のダウンサンプリングをされた差分画像を用いて前記オフセットを生成する段階を更に有する、請求項１記載の方法。
【請求項３】
前記符号化段階は、明示的に実行される、請求項１記載の方法。
【請求項４】
前記差分画像は、ＤＣ差分画像を有する、請求項２記載の方法。
【請求項５】
前記差分画像をエンコーダで構成する段階と、
前記エンコーダでの前記構成の間に動き推定及び動き補正を考慮する段階と
を更に有する、請求項２記載の方法。
【請求項６】
前記差分画像の使用される部分のみを送信する段階を更に有する、請求項２記載の方法。
【請求項７】
容易に符号化される値を用いて前記差分画像の未使用部分を符号化する段階を更に有する、請求項２記載の方法。
【請求項８】
アップサンプリングをされたＤＣ差分画像を、復号化された基準ピクチャへ付加することによって、新しい基準ピクチャを生成する段階と、
前記新しい基準ピクチャをフィルタリングする段階と
を更に有する、請求項１記載の方法。
【請求項９】
前記フィルタリング段階は、Ｈ．２６４におけるデブロッキングフィルタを有する、請求項８記載の方法。
【請求項１０】
前記フィルタリング段階は、前記新しい基準ピクチャからブロッキネスを取り除く段階を有する、請求項８記載の方法。
【請求項１１】
前記生成段階及び前記符号化段階を映像コーデックに一体化する段階と、
前記符号化段階の間に信号ヘッダにある付加ビットを用いる段階と
を更に有する、請求項１記載の方法。
【請求項１２】
前記生成段階及び前記符号化段階を前記映像におけるＹ成分へ適用する段階を更に有する、請求項１記載の方法。
【請求項１３】
前記生成段階及び前記符号化段階を前記映像における全ての色成分へ適用する段階を更に有する、請求項１記載の方法。
【請求項１４】
前記適用段階は、暗示的に定義される、請求項１３記載の方法。
【請求項１５】
前記符号化段階は、イントラ符号化方法を用いて前記ブロック状の追加の重み付けオフセットを明示的に符号化する段階を更に有する、請求項１記載の方法。
【請求項１６】
局部的な輝度変化を考慮するよう映像を符号化する方法であって、
現在のピクチャを基準ピクチャから減ずることによってＤＣ差分画像を生成する段階と、
前記生成されたＤＣ差分画像を加えることによって前記基準ピクチャを再構成する段階と、
前記映像に対して前記再構成された基準ピクチャに動き補正を施す段階と、
前記動き補正からの残差を符号化する段階と
を有する方法。
【請求項１７】
Ｈ．２６４エンコーダで局部的な輝度変化を考慮する方法であって、
Ｈ．２６４インター符号化が映像に存在するかどうか及びいつＨ．２６４符号化が存在しないかを決定する段階と、
前記映像において現在のピクチャに関して差分画像を計算する段階と、
前記差分画像を符号化する段階と、
前記差分画像を復号化し、アップサンプリングする段階と、
新しい基準ピクチャを形成する段階と、
前記新しい基準ピクチャに動き補正を施す段階と、
動き補正を施された残差画像情報のＤＣ係数を計算する段階と、
前記動き補正を施された残差画像情報の前記ＤＣ係数を符号化する段階と
を有する方法。
【請求項１８】
ブロッキネスを取り除くよう前記復号化及びアップサンプリングをされた差分画像をフィルタリングする段階を更に有する、請求項１７記載の方法。
【請求項１９】
Ｈ．２６４デコーダで、Ｈ．２６４インター符号化をされていない受信映像を復号化する段階を更に有し、
前記復号化段階は、
前記符号化された差分画像を復号化する段階と、
前記復号化された差分画像をアップサンプリングする段階と、
前記アップサンプリングされた画像及び基準ピクチャ記憶から新しい基準ピクチャを形成する段階と、
前記残差画像情報を復号化する段階と、
前記現在のピクチャを生成するよう前記復号化された残差画像情報により前記新しい基準ピクチャに動き補正を施す段階と
を有する、請求項１７記載の方法。
【請求項２０】
局部的な輝度変化を考慮するよう映像を符号化する符号化装置であって、
現在のピクチャを基準ピクチャから減ずることによってＤＣ差分画像を生成する手段と、
前記生成されたＤＣ差分画像を加えることによって前記基準ピクチャを再構成する手段と、
前記映像に対して前記再構成された基準ピクチャに動き補正を施す手段と、
前記動き補正手段からの残差を符号化する手段と
を有する符号化装置。
【請求項２１】
局部的な輝度変化を考慮するよう映像を符号化する符号化装置であって、
現在のピクチャを基準ピクチャから減ずることによってＤＣ差分画像を生成する手段と、
前記生成されたＤＣ差分画像を加えることによって前記基準ピクチャを再構成する手段と、
前記映像に対して前記再構成された基準ピクチャに動き補正を施す手段と、
前記動き補正手段からの残差を符号化する手段と
を有する符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化に関する。より具体的には、本発明は、局部的な重み付け予測（ＬＷＰ；Localized  Weighted  Prediction）を用いて映像における局部的な輝度変化を扱う方法に関する。
【背景技術】
【０００２】
映像圧縮コーデックは、符号化されるべきピクチャの基準ピクチャ予測を形成して、動き補正（すなわち、インターフレーム予測）を用いて現在のピクチャと予測との間の差のみを符号化することによって、その圧縮効率を高めることができる。予測が現在のピクチャのより近くに相関付けられると、そのピクチャを圧縮するのに必要とされるビットはますます少なくなる。
【０００３】
従来の映像コーデックでは、基準ピクチャは、以前に復号化されたピクチャを用いて形成される。あいにく、深刻な一時的な輝度変化が、例えば照射変化、フェードイン／アウト効果、カメラフラッシュ等に起因して、生ずる場合には、従来の動き補正は機能しなくなる。
【０００４】
ＪＶＴ／Ｈ．２６４／ＭＰＥＧ４  ＡＶＣ映像圧縮規格は、重み付け予測（ＷＰ；Weighted  Prediction）ツールを含む最初の国際的な規格である。このＷＰツールは、広範囲の輝度変化については効果があるが、使用され得る異なった重み付けパラメータの数の制限により、有意な局部的輝度変化の存在下ではほとんど効果が得られない。
【０００５】
Ｈ．２６４における重み付け予測（ＷＰ）ツールは、従来の映像圧縮規格により符号化能力を改善するために使用されてきた。ＷＰは、例となる式（１）：
I(x,y,t)=a・I(x+mvx,y+mvy,t-1)+b      （１）
において見られるように、乗法重み付け係数ａ及び加法重み付けオフセットｂによって、輝度変化を推定する。ここで、Ｉ（ｘ，ｙ，ｔ）は時間ｔにおけるピクセル（ｘ，ｙ）の輝度であり、ａ及びｂは測定領域での一定値であり、（ｍｖｘ，ｍｖｙ）は運動ベクトルである。
【０００６】
重み付け予測は、Ｈ．２６４規格のメイン及び拡張プロフィールで支持される。重み付け予測の使用は、weighted_pred_flagフィールドを用いるＰ及びＳＰスライスに関するピクチャパラメータセット、及びweighted_bipred_idcフィールドを用いるＢスライスに関するピクチャパラメータセットにおいて示される。Ｐ、ＳＰ及びＢスライスで支持される明示モード（explicit  mode）、及びＢスライスのみで支持される暗示モード（implicit  mode）の２つのＷＰモードが存在する。
【０００７】
ＷＰでは、使用される重み付け係数は、現在のマクロブロック又はマクロブロックパーティションのための基準ピクチャインデックス（又は２進予測（bi-prediction）におけるインデックス）に基づく。基準ピクチャインデックスは、ビットストリームで符号化されても、あるいは、（例えば、スキップ又は直接モードマクロブロックに関して）導出されても良い。単一の重み付け係数及び単一のオフセットは、現在のピクチャの全てのスライスに関して各基準ピクチャインデックスに関連付けられる。明示モードに関し、これらのパラメータは、スライスヘッダで符号化される。暗示モードに関し、これらのパラメータは導出される。重み付け係数及びオフセットパラメータ値は、また、インタープレディケーション（inter-predication）工程で１６ビット算術演算を可能にするよう制約される。
【０００８】
図１は、Ｈ．２６４規格における幾つかのマクロブロック（ＭＢ）パーティション及びサブマクロブロックパーティションの例を示す。Ｈ．２６４は、ツリー構造の階層マクロブロックパーティションを使用する。この場合に、１６×１６マクロブロックは、更に、１６×８、８×１６、又は８×８のサイズのマクロブロックパーティションに分割可能である。８×８マクロブロックパーティションは、更に、８×４、４×８、及び４×４のサイズのサブマクロブロックパーティションに分割可能である。マクロブロックパーティションごとに、基準ピクチャインデックス、予測タイプ、及び運動ベクトルは、独立して選択されて、符号化され得る。サブマクロブロックパーティションごとに、運動ベクトルは、独立して符号化され得るが、サブマクロブロックの基準ピクチャインデックス及び予測タイプは、サブマクロブロックパーティションの全てに使用される。
【０００９】
明示モードは、Ｐ又はＳＰスライスで１に等しいweighted_pred_flagによって、又はBスライスで１に等しいweighted_bipred_idcによって示される。上述されたように、このモードでは、ＷＰパラメータはスライスヘッドで符号化される。色成分ごとの乗法重み付け係数及び加法オフセットは、num_ref_idx_10_active_minus1によって示されるリスト０での許容基準ピクチャの夫々について符号化され得、一方、（Ｂスライスに関する）リスト１については、これは、num_ref_idx_11_active_minus1によって示される。同じピクチャにおける全てのスライスは、同じＷＰパラメータを使用しなければならないが、それらは、エラー回復力のために各スライスで再伝送される。
【００１０】
ピクチャ全体にわたって一様に適用される広範囲な輝度変化に関しては、同じ基準ピクチャから予測されるピクチャ内の全てのマクロブロックを効果的に符号化するには、単一の重み付け係数及びオフセットで十分である。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、非一様に適用される輝度変化に関しては、例えば、照射変化又はカメラフラッシュに関しては、１よりも多いピクチャインデックスが、基準ピクチャ再順序づけを使用することによって、特定の基準ピクチャ記憶に関連付けられ得る。これは、同じピクチャ内の異なるマクロブロックが、同じ基準ピクチャ記憶から予測される場合でさえ異なる重み付け係数を使用することを可能にする。それにも関わらず、Ｈ．２６４で使用され得る基準ピクチャの数は、現在のレベル及びプロフィールによって制限されたり、あるいは、動き推定の複雑さによって制約を受けたりする。これは、局部的な輝度変化の間に、ＷＰの効率を著しく制限しうる。
【００１２】
従って、Ｈ．２６４でのＷＰツールに関連した上記の欠点を伴うことなく、局部的な輝度変化を扱う圧縮方法が必要とされることは明白である。
【課題を解決するための手段】
【００１３】
従って、本発明の態様において、先行技術の欠点を解消し且つより効果的に局部的な輝度変化を扱うことが可能な符号化方法が提供される。
【００１４】
本発明の他の態様において、Ｈ．２６４規格により実現される局部的な重み付け予測が提供される。
【００１５】
本発明の一実施例に従って、映像における局部的な輝度変化を扱う方法は、局部的な輝度変化を伴う映像にインター符号化を行うようブロック状の追加の重み付けオフセットを生成して、用いる段階と、前記ブロック状の追加の重み付けオフセットを符号化する段階とを有する。前記生成段階は、現在のピクチャと基準ピクチャとの間のダウンサンプリングをされた差分画像を用いる段階を有しうる。また、前記符号化段階は、明示的に実行され得る。前記符号化段階は、また、利用可能なイントラ符号化方法を用いても実行され得る。
【００１６】
他の実施例で、当該方法は、前記差分画像をエンコーダで構成する段階と、前記エンコーダでの前記構成の間に動き推定及び動き補正を考慮する段階とを更に有する。前記差分画像はＤＣ差分画像であっても良く、前記差分画像の使用される部分のみで送信段階が実行される。前記差分画像の未使用部分は、容易に符号化される値を用いて符号化され得る。
【００１７】
本発明の更なる実施例では、新しい基準ピクチャは、アップサンプリングをされたＤＣ差分画像を、復号化された基準ピクチャへ付加することによって生成され、また、前記新しい基準ピクチャはフィルタリングされる。フィルタは、前記新しい基準ピクチャからブロッキネスを取り除き、例えば、Ｈ．２６４におけるデブロッキングフィルタでありうる。前記新しい基準ピクチャの生成及び符号化は映像コーデックに一体化され得、一方、信号ヘッドにある付加ビットは前記符号化段階の間に使用される。
【００１８】
本発明の一実施例に従って、前記生成段階及び前記符号化段階は、前記映像におけるＹ成分（又はルーマ（luma））へ適用される。他の実施例では、前記生成段階及び前記符号化段階は、前記映像における全ての色成分（例えば、Ｕ及びＶ（クロマ（chroma））成分）へ適用される。かかる段階における適用は、暗示的に定義／示唆され得る。
【００１９】
本発明の更なる他の実施例に従って、局部的な輝度変化を扱うための映像符号化方法は、現在のピクチャを基準ピクチャから減ずることによってＤＣ差分画像を生成する段階と、前記生成されたＤＣ差分画像を加えることによって前記基準ピクチャを再構成する段階と、前記映像に対して前記再構成された基準ピクチャに動き補正を施す段階と、前記動き補正からの残差を符号化する段階とを有する。
【００２０】
Ｈ．２６４エンコーダで局部的な輝度変化を扱う方法は、Ｈ．２６４インター符号化が映像に存在するかどうか及びいつＨ．２６４符号化が存在しないかを決定する段階と、前記映像において現在のピクチャに関して差分画像を計算する段階と、前記差分画像を符号化する段階と、前記差分画像を復号化し、アップサンプリングする段階と、新しい基準ピクチャを形成する段階と、前記新しい基準ピクチャに動き補正を施す段階と、動き補正を施された残差画像情報のＤＣ係数を計算する段階と、前記動き補正を施された残差画像情報の前記ＤＣ係数を符号化する段階とを有する。次いで、前記復号化及びアップサンプリングをされた差分画像は、ブロッキネスを取り除くようフィルタリングされ得る。
【００２１】
更なる実施例に従って、局部的な輝度変化を扱う方法は、Ｈ．２６４デコーダで、Ｈ．２６４インター符号化をされていない受信映像を復号化する段階を有する。この復号化段階は、前記符号化された差分画像を復号化する段階と、前記復号化された差分画像をアップサンプリングする段階と、前記アップサンプリングされた画像及び基準ピクチャ記憶から新しい基準ピクチャを形成する段階と、前記残差画像情報を復号化する段階と、前記現在のピクチャを生成するよう前記復号化された残差画像情報により前記新しい基準ピクチャに動き補正を施す段階とを更に有する。
【００２２】
本発明の他の態様及び特徴は、添付の図面に関連して検討される以下の詳細な記載から明らかになるであろう。しかし、当然、図面は、本発明を説明する目的で表されており、添付の特許請求の範囲を参照して定義される本発明の技術的範囲を限定することを意図したものではない。また、当然、図面は、特に記されない限りは必ずしも実寸ではなく、単に、ここに記載される構造及び手順を概念上説明することを意図したものである。
【発明を実施するための最良の形態】
【００２３】
図面中で、同じ参照番号は同一の又は対応する構成要素を表す。
【００２４】
本発明の一実施例に従って、局部的な輝度変化を扱う新たな圧縮方法が提供される。この実施例では、ＤＣ差分画像は、現在のピクチャ及び基準ピクチャを引き算することによって生成され、基準ピクチャは、生成されたＤＣ差分画像を加えることによって再構成される。
【００２５】
上記の式（１）から、局部的な輝度変化を有効に扱うことが出来るよう、重み付けパラメータａ及びｂの大きな組を符号化する必要がありうることが知られる。あいにく、これは２つの問題、すなわち、１）多数のビットが、これらのパラメータを符号化するのに必要とされること、及び２）主にエンコーダでの計算の複雑性が、ａ及びｂの全ての可能な組を用いて、必要とされる基準を生成し、動き推定／補正（ＭＥ）を実行する必要があることを考慮すると、むしろ高くなりうること、が起こりうる。
【００２６】
本発明の一実施例に従って、領域内の強度の空間的変化が小さいとすると、重み付けオフセット項ｂを用いることによってのみ、すなわち、ａ＝１を設定することによってのみ、小さな領域内の輝度変化を近似的に表すことができる。１つの既知の方法に従って、このオフセットは、空間的に無相関であると仮定されるので、動き補正をされた残差のＤＣ係数に吸収される。この場合に、このような仮定は必ずしも真であるわけではないので、符号化効率を制限する。動き推定／補正におけるオフセットを扱うために、ｍｒＳＡＤが通常のＳＡＤマトリクスよりもむしろ用いられる。絶対差の和（ＳＡＤ；the  Sum  of  Absolute  Differences）は：
【数１】
2009527186.tif 000003
として定義される。ここで、ｍｒＳＡＤは：
【数２】
2009527186.tif 000004
である。ここで、ｃは現在のピクチャを示し、ｒは基準ピクチャに関し、Ｂｋはブロックｋに関する。
【００２７】
本発明の実施例に従って（、図２の例となる図に示されるように）、重み付けオフセット項を符号化するための方法が提供される。現在のピクチャｃと基準ピクチャとの間では動きが小さいとすると、ｂ（ｘ，ｙ）＝ｃ（ｘ，ｙ）−ｒ（ｘ，ｙ）を定義することができる。また、輝度変化が小さなブロック内では小さいとされる場合には、ｂ（Ｂｋ）＝Ｄ（ｃ（Ｂｋ）−ｒ（Ｂｋ））が得られる。ここで、Ｄは、現在のピクチャ及び基準ピクチャから特定のブロックＢｋのオフセットを取り出す演算子を示す。Ｄは、例えば、全ての又はデシメートされた（decimated）ブロックの平均のような、いずれかの既知のサブサンプリング方法でありうる。この方法を用いて、新しいサブサンプリングをされたピクチャはｓＤである（平均がＤに使用される場合には、ｓＤは、ｃとｒとの間のＤＣ差分画像に等しい。）。概して、ｓＤ画像は、ｓＤ＝Ｇ（ｃ−Ｈ（ｒ））として生成され得る。ここで、Ｈ（）は、例えば、動き補正処理であり、一方、Ｇ（）は、ｓＤに（すなわち、符号化効率に関して）より良い描写を提供可能な他の演算子（例えばＮ×Ｍ平均）でありうる。
【００２８】
新しい基準ピクチャｒ’は、ｒ’＝Ｆ（ｒ＋Ｕ（ｓＤ））によって形成される。ここで、Ｕは、ｓＤ画像をフルサイズにアップサンプリングする演算子を示し、Ｆは、ｓＤによって生ずるブロッキー・アーティファクトを取り除くフィルタである。これは、例えば、Ｈ．２６４で使用されるデブロッキングフィルタ、又はその他の適切なデブロッキングフィルタと同様のものでありうる。次いで、動き補正はｒ’で実行される。使用され得ないので、ｓＤにある全てのピクセルを有する必要はないことが知られる。例えば、イントラ符号化をされたブロックに関し、非参照ピクセルは、それらの実際の値とは無関係に、零へ又は、例えば、隣接ピクセルの値のような、いずれかの容易に圧縮される値へされる。代替的に、マップは、どれがｓＤの使用される領域を示すかを提示しうる。いずれにしても、このような処理は、動き推定／補正の後にのみ行われ得、ｓＤは、基準領域の値を変化させないような方法で再符号化を要求しうる。
【００２９】
また、相当により複雑ではあるが、現在のピクチャとその基準との間の幾らかの動き情報を考慮した後にｓＤ画像を生成することも可能である。これは、位置ごとの必要なオフセットのより良い推定を可能にし、ｓＤ画像ばかりでなく、最終的に再構成される画像の符号化効率を改善する。
【００３０】
いわゆる当業者には明らかなように、本発明の方法は、いずれかのブロックベースの動き補正コーデックと組み合わされ得る。一例として、Ｈ．２６４が本開示では使用される。
【００３１】
本発明の方法を実施するに際して、考慮されなければならないことが幾つかある：
１）ブロックサイズ・・・ブロックサイズＢｋが小さすぎる場合には、より多くのビットがｓＤを符号化するために必要である。サイズが大きすぎる場合には、局部的な輝度変化を実際に捕らえることができないことがある。適切なトレードオフ（trade-off）を提供する試験が示されている場合には、８×８のブロックサイズを使用することが提案される；
２）演算子の項・・・簡単のために、本開示は、Ｄの平均（故に、ｓＤは、原則的に、ＤＣ差分画像である。）及びＵの一次サンプリング（単純循環）を使用する。代替の方法は、特別にブロック境界を考慮しながら、Ｉをアップサンプリングすることである。このとき、代わりに、隣接ブロックからの平均値が使用される。最終的に、Ｆに関し、マクロブロックをデブロッキングするためにＨ．２６４で使用されるデブロッキングフィルタが使用される；
３）ｓＤのための符号化方法・・・Ｈ．２６４は、イントラピクチャを符号化するに際して非常に有効であるから、ｓＤ画像は、Ｈ．２６４イントラピクチャとして符号化され得る；
４）シンタックス変化・・・本発明の方法は、現在のＨ．２６４コーデック及びシンタックスと組み合わされ得る。例えば、この方法が現在のピクチャ／スライスについて使用されるべきかどうかを伝える（すなわち、ピクチャパラメータセット内の）１つのパラメータを有することが可能である。更に、基準ごとに、別個のパラメータは、（すなわち、スライスパラメータセットの中で）送信され、差動ＤＣ画像が新たな基準ピクチャを形成するために使用され得るかどうかを示す。最終的に、符号化の間に、全ての可能な変化が試験され、既存の包括的なラグラジアン（Langragian）レートひずみ最適化（ＲＤＯ；Rate  Distortion  Optimization）方法を用いて、元の（非差動ＤＣ）方法に比べ、基準ピクチャごとに最も適した方法を選択することができる；
５）色成分一般化・・・同じ方法は、Ｙ（又はルーマ）成分に関してのみ、あるいは選択的に全ての成分（例えば、Ｕ及びＶ（クロマ）成分）に関して使用され得る。ピクチャ又はスライスパラメータの使用により明示的に又は暗示的に選択が行われ得る。
【００３２】
いわゆる当業者には明らかなように、多種多様な記号表示及びブロックサイズが、本発明の適用範囲を逸脱することなく使用され得る。
【００３３】
図３ａは、エンコーダ端での本発明の方法の実施例のブロック図を示す。入力画像又は現在のピクチャｃが入力され、差動ＤＣ画像ｓＤ（Ｂｋ）＝ｍｅａｎ（ｃ（Ｂｋ）−ｒ（Ｂｋ））が全てのブロック（Ｂｋ）について計算される（３０４）。差動ＤＣ画像ｓＤ（Ｂｋ）は、Ｈ．２６４と同様に、イントラスライス方法を用いて符号化される（３０６）。次いで、ＤＣ画像ｓＤ（Ｂｋ）は（ｓＤ’）として復号化され（３０８）、次いで、ｕＤ’へとアップサンプリングされる（３１０）。新しい基準ピクチャｒ’は、アップサンプリングされた画像ｕＤ’を、基準ピクチャ記憶（３０３）からの基準ピクチャｒへ加えて、それを、ブロックアーティファクトを取り除くべくフィルタリングする（３１２）こと（すなわち、ｒ’＝ｕＤ’＋ｒ）によって、形成される（３１４）。動き補正（３１６）は、この新しい基準ピクチャｒ’において実行され、動き補正をされた残差のＤＣ係数は符号化される（３１８）。
【００３４】
動き推定／補償の結果に基づき、ｓＤの更なる圧縮が望まれる場合には、この段階で、ｓＤは、１）この動き推定／補正の結果を考慮し、且つ、２）動き補正が同一の結果（例えば、特定の基準に関して、より低い又は右の領域にあるいずれかのピクセルが参照されない場合に、かかる領域の値は、復号化処理に影響を及ぼさずに零に設定され得る。）をもたらすことを確実にしながら、ピクチャｓＤ’’へ再圧縮される必要がある。
【００３５】
図３ｂ及び４ｂを参照して後に説明されるように、本発明の局部的な重み付け予測（ＬＷＰ）方法は、Ｈ．２６４規格に導入され得る。
【００３６】
図４ａを参照して、デコーダで、差動ＤＣ画像が、以前に復号化された基準ｒに関して受け取られる場合に、ＤＣ画像ｓＤ’は復号化され（４０２）、ｕＤ’へアップサンプリングされる（４０４）。新しい基準ピクチャ（４１０）は、アップサンプリングされた画像ｕＤ’を基準ｒに加え、ブロッキー・アーティファクトを取り除くべくフィルタリングすること（すなわち、ｒ’＝ｕＤ’＋ｒ）によって、形成される。残差は復号化され（４１２）、動き補正（４１４）は、現在のピクチャｃ’を生成するためにｒ’において実行される（４１６）。
【００３７】
図３及び４ｂは、夫々、エンコーダ及びデコーダにおいてＨ．２６４規格と組み合わされた本発明のＬＷＰ方法の実施を示す。一実施例に従って、本方法は、Ｈ．２６４と組み合わされるために、単純なシンタックス変更を必要とする。より具体的には、単一ビットは、この方法が現在のピクチャ／スライスについて使用されるべきかどうかを示すよう、Ｈ．２６４のピクチャパラメータセット内で付加される。代替の方法は、更なる柔軟性を可能にしうるスライスヘッダ内の付加的な信号を加える（すなわち、異なる領域に関してＬＷＰの使用を有効又は無効にすることによる）ことである。
【００３８】
図３ｂに示されるように、処理３５０は、初期化３５２と、ピクチャがインター符号化されるかどうかに関する第１の判断（３５４）とを有する。インター符号化をされない場合には、イントラ符号化が実行され（３５６）、データは出力される（３６４）。インター符号化をされる場合には、Ｈ．２６４インター符号化が使用されるべきかどうかの次なる判断がされる（３５８）。最初に、Ｈ．２６４インター符号化方法を用いて現在のピクチャを符号化し、歪みを計算する（３６０）。次いで、本発明のＬＷＰ方法（３００）を用いて現在のピクチャを符号化し、歪みを計算する（３００）。最良の方法は、より少ない歪みを伴う方法を用いて選択され、通知される（３６２）。データは出力される（３６４）。
【００３９】
図４ｂは、本発明の実施例に従う組み合わされたＬＷＰ及びＨ．２６４のデコーダ処理４５０を示す。初期化（４５２）の後、構文解析ヘッダ４５４が読み出され、現在のピクチャがインター符号化されるかどうかの判断（４５６）がされる。インター符号化をされない場合には、エンコーダと同様に、イントラ符号化が行われ（４５８）、データは出力される（４６４）。現在のピクチャがインター符号化される場合には、次に、それはＨ．２６４インター符号化であるかどうかが決定される（４６０）。Ｈ．２６４インター符号化である場合には、現在のピクチャは、Ｈ．２６４を用いて復号化され（４６２）、出力される（４６４）。Ｈ．２６４インター符号化でない場合には、現在のピクチャは、本発明のＬＷＰ方法を用いて復号化される（４００）。
【００４０】
本発明の基本となる新規の特徴を、その好ましい実施形態に適用しながら、図示、記載及び説明してきたが、記載される方法及び図示される装置の形態及び詳細における様々な削除、置換及び変更が、本発明の精神を逸脱することなく当業者によって行われることは明らかである。例えば、同じ結果を実現するよう実質的に同じ方法で実質的に同じ機能を実行するそれらの要素及び／又は方法段階の全ての組み合わせは、本発明の適用範囲内にあることが明示的に意図される。更に、当然、本発明のいずれかの開示される形態又は実施例に関連して図示及び／又は記載される構造及び／又は要素及び／又は方法段階は、設計選択の一般的な事項として、その他の開示、記載又は示唆される形態又は実施例に組み込まれ得る。従って、本発明は、ただ添付の特許請求の範囲の適用範囲によって示されるように限定される。
【図面の簡単な説明】
【００４１】
【図１】Ｈ．２６４規格に従うマクロブロック分割を示すブロック図である。
【図２】本発明の実施例に従う局部重み付け予測法における動き補正の図表示である。
【図３ａ】本発明の実施例に従うエンコーダで実施される、局部的な輝度を扱う符号化方法のフロー図である。
【図３ｂ】エンコーダにおけるＨ．２６４規格との本発明の符号化方法の組み合わせのフロー図である。
【図４ａ】本発明の実施例に従うデコーダで実施される、局部的な輝度を扱う符号化方法のフロー図である。
【図４ｂ】デコーダにおけるＨ．２６４規格との本発明の符号化方法の組み合わせのフロー図である。
【図１】
2009527186.tif 000005
【図２】
2009527186.tif 000006
【図３ａ】
2009527186.tif 000007
【図３ｂ】
2009527186.tif 000008
【図４ａ】
2009527186.tif 000009
【図４ｂ】
2009527186.tif 000010
【手続補正書】
【提出日】平成19年5月11日(2007.5.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
局部的な輝度変化を考慮するよう映像を符号化する方法であって、
局部的な輝度変化を伴う映像を符号化するようブロック状オフセットを生成する段階と、
前記ブロック状オフセットを符号化する段階とを有し、
前記生成段階は、
現在のピクチャと基準ピクチャとの間のダウンサンプリングをされた差分画像を生成する段階と、
アップサンプリングをされたＤＣ差分画像を得るよう前記ダウンサンプリングをされた差分画像をアップサンプリングして、該アップサンプリングをされた差分画像を前記基準ピクチャに付加することによって、新しい基準ピクチャを形成する段階と
を有する方法。
【請求項２】
前記符号化段階は、明示的に実行される、請求項１記載の方法。
【請求項３】
前記差分画像は、ＤＣ差分画像を有する、請求項１記載の方法。
【請求項４】
前記差分画像をエンコーダで構成する段階と、
前記エンコーダでの前記構成の間に動き推定及び動き補正を考慮する段階と
を更に有する、請求項１記載の方法。
【請求項５】
前記差分画像の使用される部分のみを送信する段階を更に有する、請求項１記載の方法。
【請求項６】
容易に符号化される値を用いて前記差分画像の未使用部分を符号化する段階を更に有する、請求項１記載の方法。
【請求項７】
前記新しい基準ピクチャをフィルタリングする段階を更に有する、請求項１記載の方法。
【請求項８】
前記局部的な輝度変化は、乗法重み付け係数を用いずに、前記ブロック状オフセットのみを用いて考慮される、請求項７記載の方法。
【請求項９】
前記フィルタリング段階は、前記新しい基準ピクチャからブロッキネスを取り除く段階を有する、請求項７記載の方法。
【請求項１０】
前記生成段階及び前記符号化段階を映像コーデックに一体化する段階と、
前記符号化段階の間に信号ヘッダにある付加ビットを用いる段階と
を更に有する、請求項１記載の方法。
【請求項１１】
前記生成段階及び前記符号化段階を前記映像におけるＹ成分へ適用する段階を更に有する、請求項１記載の方法。
【請求項１２】
前記生成段階及び前記符号化段階を前記映像における全ての色成分へ適用する段階を更に有する、請求項１記載の方法。
【請求項１３】
前記適用段階は、暗示的に定義される、請求項１２記載の方法。
【請求項１４】
前記符号化段階は、イントラ符号化方法を用いて前記ブロック状オフセットを明示的に符号化する段階を更に有する、請求項１記載の方法。
【請求項１５】
局部的な輝度変化を考慮するよう映像を符号化する方法であって、
現在のピクチャを基準ピクチャから減ずることによってＤＣ差分画像を生成する段階と、
前記生成されたＤＣ差分画像を前記基準ピクチャへ加えることによって前記基準ピクチャを再構成する段階と、
前記映像に対して前記再構成された基準ピクチャに動き補正を施す段階と、
前記動き補正からの残差を符号化する段階と
を有する方法。
【請求項１６】
Ｈ．２６４エンコーダで局部的な輝度変化を考慮する方法であって、
前記映像において現在のピクチャに関して、前記現在のピクチャ及び基準ピクチャを引き算することによって差分画像を計算する段階と、
前記差分画像を符号化する段階と、
前記差分画像を復号化し、アップサンプリングする段階と、
前記アップサンプリングされた差分画像を前記基準ピクチャへ加えることによって新しい基準ピクチャを形成する段階と、
前記新しい基準ピクチャに動き補正を施す段階と、
動き補正を施された残差画像情報のＤＣ係数を計算する段階と、
前記動き補正を施された残差画像情報の前記ＤＣ係数を符号化する段階と
を有する方法。
【請求項１７】
ブロッキネスを取り除くよう前記復号化及びアップサンプリングをされた差分画像をフィルタリングする段階を更に有する、請求項１６記載の方法。
【請求項１８】
Ｈ．２６４デコーダで、Ｈ．２６４インター符号化をされていない受信映像を復号化する段階を更に有し、
前記復号化段階は、
前記符号化された差分画像を復号化する段階と、
前記復号化された差分画像をアップサンプリングする段階と、
前記アップサンプリングされた画像及び基準ピクチャ記憶から新しい基準ピクチャを形成する段階と、
前記残差画像情報を復号化する段階と、
前記現在のピクチャを生成するよう前記復号化された残差画像情報により前記新しい基準ピクチャに動き補正を施す段階と
を有する、請求項１６記載の方法。
【請求項１９】
局部的な輝度変化を考慮するよう映像を符号化する符号化装置であって、
現在のピクチャを基準ピクチャから減ずることによってＤＣ差分画像を生成する手段と、
前記生成されたＤＣ差分画像を前記基準ピクチャへ加えることによって前記基準ピクチャを再構成する手段と、
前記映像に対して前記再構成された基準ピクチャに動き補正を施す手段と、
前記動き補正手段からの残差を符号化する手段と
を有する符号化装置。
【請求項２０】
局部的な輝度変化を考慮するよう映像を符号化する装置であって、
前記映像において現在のピクチャに関して差分画像を計算する手段と、
前記差分画像を符号化する手段と、
前記差分画像を復号化し、アップサンプリングする手段と、
前記アップサンプリングされた差分画像及び前記基準ピクチャを足し算することによって新しい基準ピクチャを形成する手段と、
前記新しい基準ピクチャに動き補正を施す手段と、
動き補正を施された残差画像情報のＤＣ係数を計算する手段と、
前記動き補正を施された残差画像情報の前記ＤＣ係数を符号化する手段と
を有する装置。
【手続補正書】
【提出日】平成21年2月2日(2009.2.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
局部的な輝度変化を考慮するよう映像を符号化する方法であって、
局部的な輝度変化を伴う映像を符号化するようブロック状オフセットを生成する段階と、
前記ブロック状オフセットを符号化する段階とを有し、
前記生成段階は、
現在のピクチャと基準ピクチャとの間のダウンサンプリングをされた差分画像を生成する段階と、
アップサンプリングをされた差分画像を得るよう前記ダウンサンプリングをされた差分画像をアップサンプリングして、該アップサンプリングをされた差分画像を前記基準ピクチャに付加することによって、新しい基準ピクチャを形成する段階と
を有する方法。
【請求項２】
前記符号化段階は、明示的に実行される、請求項１記載の方法。
【請求項３】
前記差分画像は、ＤＣ差分画像を有する、請求項１記載の方法。
【請求項４】
前記差分画像をエンコーダで構成する段階と、
前記エンコーダでの前記構成の間に動き推定及び動き補正を考慮する段階と
を更に有する、請求項１記載の方法。
【請求項５】
前記差分画像の使用される部分のみを送信する段階を更に有する、請求項１記載の方法。
【請求項６】
容易に符号化される値を用いて前記差分画像の未使用部分を符号化する段階を更に有する、請求項１記載の方法。
【請求項７】
前記新しい基準ピクチャをフィルタリングする段階を更に有する、請求項１記載の方法。
【請求項８】
前記局部的な輝度変化は、乗法重み付け係数を用いずに、前記ブロック状オフセットのみを用いて考慮される、請求項７記載の方法。
【請求項９】
前記フィルタリング段階は、前記新しい基準ピクチャからブロッキネスを取り除く段階を有する、請求項７記載の方法。
【請求項１０】
前記生成段階及び前記符号化段階を映像コーデックに一体化する段階と、
前記符号化段階の間に信号ヘッダにある付加ビットを用いる段階と
を更に有する、請求項１記載の方法。
【請求項１１】
前記生成段階及び前記符号化段階を前記映像におけるＹ成分へ適用する段階を更に有する、請求項１記載の方法。
【請求項１２】
前記生成段階及び前記符号化段階を前記映像における全ての色成分へ適用する段階を更に有する、請求項１記載の方法。
【請求項１３】
前記適用段階は、暗示的に定義される、請求項１２記載の方法。
【請求項１４】
前記符号化段階は、イントラ符号化方法を用いて前記ブロック状オフセットを明示的に符号化する段階を更に有する、請求項１記載の方法。
【請求項１５】
局部的な輝度変化を考慮するよう映像を符号化する方法であって、
現在のピクチャを基準ピクチャから減ずることによってＤＣ差分画像を生成する段階と、
前記生成されたＤＣ差分画像を前記基準ピクチャへ加えることによって前記基準ピクチャを再構成する段階と、
前記映像に対して前記再構成された基準ピクチャに動き補正を施す段階と、
前記動き補正からの残差を符号化する段階と
を有する方法。
【請求項１６】
局部的な輝度変化を考慮するよう映像を符号化する符号化装置であって、
現在のピクチャを基準ピクチャから減ずることによってＤＣ差分画像を生成する手段と、
前記生成されたＤＣ差分画像を前記基準ピクチャへ加えることによって前記基準ピクチャを再構成する手段と、
前記映像に対して前記再構成された基準ピクチャに動き補正を施す手段と、
前記動き補正手段からの残差を符号化する手段と
を有する符号化装置。
【国際調査報告】
2009527186.tif 000011
2009527186.tif 000012