(57)【特許請求の範囲】
【請求項１】
少なくとも１つのデジタル画像の系列をビデオ符号化するビデオ符号化方法であって、
前記デジタル画像の系列は、中間画像、又は該中間画像の動き補償による符号化のための参照として使用されるキーピクチャからなり、
当該ビデオ符号化方法は、
前記中間画像が、前記キーピクチャから前方向及び後方向におけるグローバル動き補償（GMC）に基づいて領域毎に符号化され、
前記中間画像の領域が、グローバル動き補償されたキーピクチャの領域の結合、又は従来の符号化により構築され、
前記結合と前記従来の符号化との間の選択が、グローバル動き補償されたキーピクチャの領域の信号間の一致の測定結果に従って行われる、
ことを特徴とするビデオ符号化方法。
【請求項２】
前記キーピクチャは、前記中間画像の前に符号化され、
前記キーピクチャに関連する少なくとも１つのセグメント化マップは、前記キーピクチャの他の画素からGMCタイプの画素を区別するために計算される、
ことを特徴とする請求項１記載のビデオ符号化方法。
【請求項３】
グローバル動きパラメータは、前記中間画像の符号化の前に予測され、符号化される、
ことを特徴とする請求項１又は２記載のビデオ符号化方法。
【請求項４】
動き補償されたキーピクチャは、少なくとも前記グローバル動きパラメータを使用して前記キーピクチャから導出される、
ことを特徴とする請求項３記載のビデオ符号化方法。
【請求項５】
前記動き補償されたキーピクチャに関連されるセグメント化マップは、前記キーピクチャに関連される前記セグメント化マップから推定される、少なくとも前記動き予測パラメータを使用した置き換えにより導出される、
ことを特徴とする請求項４記載のビデオ符号化方法。
【請求項６】
符号化される前記中間画像と、その符号化のために使用される動き補償されたキーピクチャとは、複数の処理領域に分割され、符号化される前記中間画像の処理領域は、動き補償されたキーピクチャの処理領域と対応する、
ことを特徴とする請求項４又は５記載のビデオ符号化方法。
【請求項７】
前記動き補償されたキーピクチャの処理領域は、GMC画素の割合に応じて分類され、
前記割合は、０と１との間に含まれる閾値ηと比較され、前記割合がηよりも大きい場合に領域は“GMC”と分類され、前記割合がη以下である場合に領域は“non-GMC”と分類される、
ことを特徴とする請求項１乃至６の何れか記載のビデオ符号化方法。
【請求項８】
動き補償されたキーピクチャの領域毎のGMC画素の割合は、セグメント化マップから導出される、
ことを特徴とする請求項７記載のビデオ符号化方法。
【請求項９】
前記中間画像の符号化される領域の符号化のための参照として使用される前記動き補償されたピクチャのうちの１つの少なくとも１つの領域が“non-GMC”と分類された場合、前記領域の従来の符号化が実行される、
ことを特徴とする請求項７又は８記載のビデオ符号化方法。
【請求項１０】
前記中間画像の領域の符号化のために参照として使用される動き補償されたピクチャの領域が“GMC”と分類された場合、グローバル動き補償されたキーピクチャの領域の信号を比較することで前記領域の一致が調べられる、
ことを特徴とする請求項７乃至９の何れか記載のビデオ符号化方法。
【請求項１１】
符号化されるべき領域の平均二乗誤差が計算され、計算された平均二乗誤差は、高い局所的な勾配をもつ領域から低い局所的な勾配をもつ領域を区別するために予め定義された閾値と比較され、
前記計算された平均二乗誤差が前記予め定義された閾値未満である場合に領域は低い局所的な勾配を有すると判定され、「一致」に分類され、
前記計算された平均二乗誤差が前記予め定義された閾値以上である場合に領域は高い局所的な勾配を有すると判定される、
ことを特徴とする請求項１０記載のビデオ符号化方法。
【請求項１２】
少なくとも１つのデジタル画像の系列をビデオ符号化するビデオ符号化装置であって、
前記デジタル画像の系列は、中間画像、又は該中間画像の動き補償による符号化のための参照として使用されるキーピクチャからなり、
当該ビデオ符号化装置は、
前記キーピクチャから前方向及び後方向におけるグローバル動き補償（GMC）に基づいて領域毎に前記中間画像を符号化する手段と、前記中間画像の領域は、キーピクチャの対応する領域の結合、又は従来の符号化により符号化され、
グローバル動き補償されたキーピクチャの領域の信号間の一致の測定結果に従って前記結合又は前記従来の符号化を選択する手段と、
を備えることを特徴とするビデオ符号化装置。
【請求項１３】
請求項１乃至１１の何れか記載の方法を使用して以前に符号化された少なくとも１つのデジタル画像の系列をビデオ復号化するビデオ復号化装置であって、
前記デジタル画像の系列は、中間画像、又は該中間画像の動き補償による復号化のための参照として使用されるキーピクチャからなり、
当該ビデオ復号化装置は、
復号化されたキーピクチャから前方向及び後方向におけるグローバル動き補償（GMC）に基づいて領域毎に前記中間画像を復号化する手段を備え、
前記中間画像の領域は、グローバル動き補償されたキーピクチャの領域の結合、又は従来の復号化により再構成され、
前記結合又は前記従来の復号化の間の選択は、グローバル動き補償されたキーピクチャの領域の信号間の一致の測定結果に従って行われる、
ことを特徴とするビデオ復号化装置。
【請求項１４】
前記後方向及び前記前方向のそれぞれにおける前記グローバル動き補償の実現のため、ある画像又はある中間画像の一部の後方向のグローバル動きパラメータのベクトルθ0＝(M0,T0)及び前方向のグローバル動きパラメータのベクトルθ1＝(M1,T1)の予測は、以下の式
【数１】
0005512696.tif 000028
を満たす２つのパラメータα0，α1からθ0及びθ1を導出することで２つの自由度に制限される、
ことを特徴とする請求項１記載のビデオ符号化方法。
【請求項１５】
前記後方向及び前記前方向のそれぞれにおける前記グローバル動き補償の実現のため、ある中間画像の後方向のグローバル動きパラメータのベクトルθ0＝(M0,T0)及び前方向のグローバル動きパラメータのベクトルθ1＝(M1,T1)の予測は、以下の式
【数２】
0005512696.tif 000029
を満たすパラメータαからθ0及びθ1を導出することで１つの自由度に制限される、
ことを特徴とする請求項１記載のビデオ符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオピクチャの系列のグローバル動きパラメータを予測及び符号化する方法、及びグローバルな動き圧縮に基づいてビデオピクチャを符号化する方法及び装置に関する。本発明は、映像の伝送、分析、復号化及びトランスコードの領域に特に適用される。
【背景技術】
【０００２】
ビデオ系列は、その性質上、時間領域と空間領域の両者において高い統計的な冗長度を含んでいる。これらの系列が通過する伝送媒体の帯域幅を常に効率的に使用する要求及びそれらの記憶のコストを低減するという課題は、ビデオ圧縮に関する問題を非常に早期に提示している。標準的なビデオ圧縮技術は、２つのステップに一般的に分割することができる。第一のステップは、空間的な冗長度を低減し、これにより静止画像を圧縮することを狙いとする。画像は、（たとえばMPEG-1/2/4規格に従って4×4又は8×8の）画素のブロックにはじめに分割され、続いて人間の目の感度が低い高周波の近似又は削除を可能にする量子化が続き、最後に量子化データは、エントロピーの方式で符号化される。第二のステップの目的は、時間的な冗長度を低減することである。この技術は、本明細書の残りにおいて中間画像と呼ばれる、あるピクチャが、同じ系列内で以前に復号化された１以上の他の参照画像から予測されるのを可能にする。言い換えれば、動きの予測が実行される。この技術は、これらの参照画像において、予測されるべきブロックに最も対応するブロックをサーチすることを含み、視覚的なレンダリングが改善されるのを可能にする残差誤差と同様に、２つのピクチャ間のブロックのずれに対応する動き予測ベクトルのみが保持される。
【０００３】
特に低速のビットレート及び中速のビットレートでの符号化効率を改善し、復号化されたビデオの良好な視覚的な品質を等価なビットレートについて取得するため、GMC（Global  Motion  Compensation）により本明細書で以下に示されるグローバル動き補償と呼ばれる技術が提案されている。ビデオ圧縮のブローバル動きの様々なモデルが当該技術分野において存在する。このモデルのタイプは、DivX又はDirac規格におけるのと同様に、“MPEG-4  Part2”とも呼ばれる“MPEG-4  Visual”において特に導入された。
【０００４】
この開発されたアプローチにおいて、特定のピクチャについて、ピクチャ全体を通して又は領域当たり、当該ピクチャとその参照画像との間のグローバル動きが予測される。関連するグローバル動きにより補償される参照画像は、グローバルでない動き、つまり標準的な符号化方法により補償された参照画像と同じやり方で時間予測のための可能性のある候補となる。標準的な符号化方法は、時関予測が多次元であるとき、ブロック当たり又は幾つかのブロック当たりの動きベクトルの使用に通常依存し、すなわち幾つかの参照画像に依存している。GMCの使用における関心は、GMCが適用されるピクチャのゾーンに関する動き情報のコストの著しい低減である。ブロック当たりの並進ベクトルに基づいた動きの表現に関して、時間的な予測も改善される（ブロック当たりでなく画素当たり１つの動きベクトル）。
【０００５】
映像符号化スキームは、GMCモデルを使用する。“Using  multiple  global  motion  models  for  improved  block-based  video  coding”，ICIP1999,  vol.2,  pp.56-60,  Oct.1999と題されたSteinbach,  Wiegand及びGirodによる文献は、このモデルタイプを開示している。これらのモデルが適用されるそれぞれのピクチャについて、グローバルな動きパラメータの予測及び符号化が実行される。これは、Bピクチャ及び中間画像と呼ばれるタイプの双方向ピクチャにおいて特に当てはまり、この場合、予測及び符号化は、前方向及び後方向において連続的に実行される。
【０００６】
このアプローチは、幾つかの問題点を提示する。パラメータのセットの予測はある方向において行われ、次いで別の方向において行われるので、かなりの計算の複雑度である。予測は、一般に、最小自乗への解に進みつつ、現在のピクチャ（又はこのピクチャのある領域）と参照画像（又はこのピクチャのある領域）との間の平均二乗誤差を最小にするグローバル動きを識別することを含む。この予測は、パラメータのセット、又はギリシャ文字θにより示されるベクトルにつながる。パラメータのベクトルθの予測
［外１］
0005512696.tif 000002
は、以下の式
【数１】
0005512696.tif 000003
を使用して得ることができる。ここでp=(x,y)はピクチャにおけるある画素の位置を示し、Rは処理領域であり、Bは符号化されるべき現在のピクチャであり、Irefは参照画像であり、（uθ,vθ）はグローバル動きパラメータのベクトルθの関数である動きベクトルの成分である。
【０００７】
たとえばリファインされたモデルの場合、θは６つのパラメータからなるベクトルを表し、従ってグローバル動き当たり２×６のパラメータが予測され、すなわち前方予測のために６つのパラメータ及び後方予測のために６つのパラメータが予測される。
【０００８】
通常、最小にされる関数は、Taylor展開に基づく近似により線形化される。これは、以下の式により記載される。
【０００９】
【数２】
0005512696.tif 000004
Bt，Bx及びByは、信号Bの水平空間及び垂直空間の時間勾配をそれぞれ示す。最小自乗に対する解は、N個の式での線形システムの解に戻り、Nは、グローバル動きモデルのサイズに対応する。
【００１０】
グローバル動きに対応しない画像サンプルの問題を解決するため、加重最小自乗に対する繰り返し解が通常適用され、前記サンプルは、用語「外れ値“outlier”」により通常指定される。表現“M-estimator”により示されるこのタイプの予測器の説明は、J.W.Tukeyによる“Explorary  Data  Analysis”，1977，Addison-Wesley，  Reading，  MAと題された文献で発見することができる。
【００１１】
別の問題点は、予測がある方向で実行され、次いで別の方向で実行されることである。結果的に、前方向で予測された動きパラメータと後方向で予測された動きパラメータとの間に不一致が存在する場合がある。柔軟性のないテクスチャ（rigid  texture）を動き補償するため、フロントインジケータ又はバックインジケータの何れかが中間画像の符号化のためにローカルに選択される。これは、Hdjiki-Nya，  Hinz，  Stuber及びWiegandによる“A  content  based  video  coding  approach  for  rigid  and  non-rigid  textures”，  ICIP’06，  Atlanta，  Ga，  USA，  pp.3169-3172，  Oct.  2006と題された文献で提案されるアプローチにおいて発見することができる。僅かな動きの不一致は、信号の時間的な変動のために不愉快な視覚的な効果を有する。
【００１２】
第三の問題点は、動きパラメータは前方向及び後方向の両者について符号化される事実の結果である。階層的なタイプBのGOP（Group  of  Picture）構造が採用される場合、これらのパラメータの符号化コストは、顕著になる。これは、低い伝送ビットレート又は非常に低い伝送ビットレートが所与の応用について目標とされるときに問題となる。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ブローバル動き補償（GMC）を使用したビデオピクチャの符号化に関連して、従来のスキーマでは、前方向予測と後方向予測とが混成されたものと使用した双方向予測の場合でさえ、補償は、前方向及び／又は後方向といったある方向においてのみ通常適用され、これにより、前方向の補償されたバージョンと後方向の補償されたバージョンとの間の時間的な不一致を生じる可能性があり、関連する領域での時間的な変動を通して画像表示の品質を低下させる。さらに、グルーバル動きから再構成された参照領域として使用する中間画像は、前方向予測と後方向予測との間のこの時間の不一致情報を実際に使用しない。
【００１４】
既存の符号化スキームの別の問題は、グローバル動きを使用した領域が信号伝達される必要があることである。これは、典型的に、ピクチャのそれぞれのブロックについて情報のアイテムを符号化する要件を課す。さらに、符号化の残差が一般に符号化され、そうでなければ、デコーダに信号伝達される必要がある。また、GMC技術に基づいた復号化方法は全体として決定され、ビデオストリームの復号化を実行する端末の複雑度に適合することができないことを述べることは重要である。  
本発明の目的は、特に、上述された問題点を克服することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明は、グループオブピクチャGOPから構成されるビデオピクチャの系列の動きパラメータを予測及び符号化する方法を提供する。ここで、GOPは、少なくとも２つの参照画像及び少なくとも１つの中間ピクチャを含んでおり、あるピクチャの動きベクトルの場、又は少なくとも１つのピクチャに関する特定のピクチャ部分の動きベクトルの場、或いはあるGOP内の参照画像の部分の動きベクトルの場の計算は、グローバル動きパラメータのベクトルの計算に基づく。「後方向“backward”」パラメータのベクトルは、あるピクチャ又は特定のピクチャ部分と、あるピクチャ又はそれに先行する既に符号化された参照画像との間の動きベクトルの場を表し、「前方向“forward”」パラメータのベクトルは、あるピクチャ又は特定のピクチャと、あるピクチャ又はそれに後続する既に符号化された参照画像の部分との間の動きベクトルの場を表す。そのピクチャ又は中間ピクチャ部分に関連する「前方向」及び「後方向」パラメータのベクトルは、２つのピクチャ又は参照画像の部分との間の動きを表す、パラメータのベクトルに従って表される。
【００１６】
グローバル動きパラメータの特定のベクトルは、ペアM，Tから構成することができ、ペアの第一の項Mは、２×２次元のマトリクスに対応し、ペアの第二の項Tは、２×１次元のマトリクスに対応する。
【００１７】
グローバルな動き予測は、２つのピクチャ又は特定のGOPの参照画像の部分の間で、式XA＝（I−M）XC−Tに従ってピクチャ又は参照画像の部分の画素にリンクするグローバル動きパラメータのベクトルθ＝（M,T）を予測するやり方で実行される。ここで、XAは、座標xA及びyAでの第一の参照画像の画素の位置を表し、XCは、座標xC及びyCでの第二の参照画像（C）の画素の位置を表す。
【００１８】
あるピクチャ、又は２つのピクチャに関して所与のGOPの中間ピクチャの一部、或いは前記GOPの参照画像の部分のグローバル動き「後方向」パラメータのベクトルθ0＝（M0,T0）及び「前方向」パラメータのベクトルθ1＝（M1,T1）の予測は、たとえば以下の式に従って、ピクチャ又は中間ピクチャ部分の画素をピクチャ又は参照画像の部分に接続するように実行される。
【００１９】
【数３】
0005512696.tif 000005
本発明の態様によれば、あるピクチャ又は中間ピクチャの部分の「後方向」グローバル動きパラメータのベクトルθ0＝（M0,T0）及び「前方向」グローバル動きパラメータのベクトルθ1＝（M1,T1）の予測は、以下の式を満足する２つのパラメータα0及びα1からθ0及びθ1を導出することで２つの自由度に制約される。
【００２０】
【数４】
0005512696.tif 000006
パラメータα0の予測値
［外２］
0005512696.tif 000007
は、以下の式を使用して得ることができる。  
【００２１】
【数５】
0005512696.tif 000008
ここでSθ(p)＝uθ(p)・Bx[p]＋vθ(p)・By[p]であり、Bx[p]及びBy[p]は、中間ピクチャの信号の水平方向の空間的な勾配及び垂直方向の空間的な勾配であり、uθ及びvθは、グローバル動きパラメータのベクトルθに従う動きベクトルの成分である。
【００２２】
たとえば、グローバルパラメータのベクトルθ0及びθ1を表現するため、２つのパラメータα0及びα1のみが符号化される。
【００２３】
本発明の別の態様によれば、中間ピクチャの「後方向」のグローバル動きパラメータθ0＝（M0,T0）及び「前方向」のグローバル動きパラメータθ1＝（M1,T1）は、以下の式を満足するパラメータαからθ0及びθ1を推定することで１つの自由度に制約される。
【００２４】
【数６】
0005512696.tif 000009
パラメータα0の予測値
［外３］
0005512696.tif 000010
は、以下の式を使用して得ることができる。  
【００２５】
【数７】
0005512696.tif 000011
ここでSθ(p)＝uθ(p)・Bx[p]＋vθ(p)・By[p]，Sθ””(p)＝uθ”(p)・Bx[p]＋vθ’”(p)・By[p]である。θ”はパラメータのペア（(I−M)-1×M，(I-M)-1×T）であり、uθ”及びvθ”は、グローバル動きパラメータのベクトルθ”に従う動きベクトルの成分である。
【００２６】
たとえば、グローバルパラメータベクトルθ0及びθ1を表現するため、パラメータαのみが符号化される。
【００２７】
また、本発明は、少なくとも１つのビデオ系列の符号化装置であり、前記系列は、グループオブピクチャGOPから構成され、GOPは、少なくとも２つの参照画像及び少なくとも１つの中間ピクチャを備える。あるピクチャの動きベクトルの場又はあるGOP内の参照画像の部分の少なくとも１つのピクチャに関する特定のピクチャ部分の動きベクトルの場は、グローバル動きパラメータのベクトルを計算することで予測される。ピクチャ又は中間ピクチャに関連する「前方向」及び「後方向」のパラメータのベクトルは、本発明に係る符号化方法を実現することで符号化される。
【００２８】
また、本発明は、グループオブピクチャから構成されるビデオピクチャの系列を復号化する装置であり、GOPは、少なくとも２つの参照画像及び少なくとも１つの中間ピクチャを有する。あるピクチャの動きベクトルの場、又は少なくとも１つのピクチャに関する特定のピクチャの動きベクトルの場、或いはあるGOP内の１つの参照画像の部分の動きベクトルの場が再構成され、ピクチャ又は中間ピクチャ部分に関連する前記場の「前方向」パラメータのベクトルθ1＝（M1,T1）及び「後方向」パラメータのベクトルθ0＝（M0,T0）は、これらのベクトルを、２つのピクチャ又は参照画像の部分間の動きを表す少なくとも１つのパラメータのベクトルにリンクさせる少なくとも１つのパラメータから推定される。前記パラメータは、本発明に係る符号化方法を使用して前に符号化されている。
【００２９】
また、本発明は、少なくとも１つのデジタル画像の系列のビデオ符号化方法であり、前記デジタル画像の系列は、中間画像、又は中間画像の動き補償による符号化の参照として使用されるキーピクチャである。中間画像は、キーピクチャから前方向及び後方向においてグローバル動き補償GMCに基づいて領域毎に符号化され、中間画像の領域は、グローバル動き補償されたキーピクチャの領域の結合、又は従来の符号化の何れかにより構成され、結合と従来の符号化との間の選択は、グローバル動き補償されたキーピクチャの領域の信号間の一致の測定結果に従って行われる。
【００３０】
たとえば、参照画像は、中間画像の前に符号化され、前記ピクチャに関連する少なくとも１つのセグメント化マップは、これらのピクチャの他の画素からGMCタイプの画素を区別することができるように計算される。  
グローバル動きパラメータは、中間画像の符号化前に予測され、符号化される。
【００３１】
本発明の態様によれば、動き補償されたキーピクチャは、少なくともグローバル動きパラメータを使用してキーピクチャから導出される。
【００３２】
動き補償されたピクチャに関連されるセグメント化マップは、少なくとも動き予測パラメータを使用したトランスポジションによる、キーピクチャに関連されるセグメント化マップから導出される。
【００３３】
符号化されるべき中間画像及びその符号化に使用される動き補償されたキーピクチャは、たとえば、動き補償されたキーピクチャの処理領域に対応する処理領域に分割される。
【００３４】
本発明の実施の形態によれば、動き補償されたキーピクチャの処理速度は、それらのGMC画素の割合に従って分類され、前記割合は、０と１との間に含まれる閾値ηに比較され、前記割合がηよりも大きいときに“GMC”に分類され、反対の場合には“non-GMC”に分類される。
【００３５】
本発明の別の実施の形態によれば、動き補償されたピクチャの領域毎のGMC画素の割合は、セグメント化マップから導出される。
【００３６】
中間画像の符号化される領域の符号化のための参照として使用される動き補償されたピクチャのうちの１つの少なくとも１つの領域が“non-GMC”と分類された場合、前記領域に対して従来の符号化が実行される。
【００３７】
本発明の別の態様によれば、中間画像の領域の符号化のための参照として使用される動き補償されたピクチャの領域が“GMC”と分類された場合、グローバル動き補償されたキーピクチャの領域の信号の比較により、前記領域の一貫性が分析される。
【００３８】
一貫性が分析される必要があるグローバル補償パラメータを考慮することで動き補償されたキーピクチャの領域は、たとえば最も近い画素に対する精度の動きベクトルを使用して２度動き補償される。
【００３９】
第二の動き補償の動きベクトルは、「ブロックマッチング」タイプの予測器を使用して計算することができる。
【００４０】
実施の形態によれば、符号化される領域の平均二乗誤差（average  quadratic  error）Dが計算され、高い局所的な勾配をもつ領域から低い局所的な勾配をもつ領域を区別するように、予め定義された閾値λに比較され、Dがλ未満である場合に、前記領域は低い局所的な勾配を有すると考えられ、「一致“coherent”」と分類され、その他の場合は、高い局所的な勾配を有すると考えられる。
【００４１】
たとえば現在の領域の局所的な勾配の値を使用して、平均二乗誤差Dよりも高い上限Sが計算され、平均二乗誤差Dが前記上限Sと比較され、Dがこの上限未満であるときに、現在の領域は「一致“coherent”」と分類され、その他の場合には「不一致“non-coherent”」と分類される。
【００４２】
符号化される領域が「一致“coherent”」に分類されたとき、動き補償されたキーピクチャの対応する領域の結合を実行することができる。  
結合は、たとえば「グラフカット“Graph  Cut”」タイプのアルゴリズムを使用して実行される。
【００４３】
実施の形態によれば、処理されている領域が「不一致“non-coherent”」に分類されるとき、前記領域の従来の符号化が実行される。
【００４４】
また、本発明は、少なくとも１つのデジタル画像の系列のビデオピクチャ符号化の装置であり、前記系列のピクチャは、中間画像、又は中間画像の動き補償による符号化の参照として使用されるキーピクチャである。符号化装置は、キーピクチャから前方向及び後方向におけるグローバル動き補償GMCに基づいて処理領域毎に中間画像を符号化する手段を有する。中間画像の処理領域は、キーピクチャの対応する領域の結合又は従来の符号化の何れかを、符号化される領域の分析により結合と従来の符号化との間で自動的に選択することで符号化される。
【００４５】
また、本発明は、本発明に係る符号化方法を使用して以前に符号化された少なくとも１つのデジタル画像の系列のビデオピクチャの復号化装置であり、前記デジタル画像の系列のピクチャは、中間画像、又は中間画像の動き補償による復号化の参照として使用されるキーピクチャである。中間画像は、デコードされたキーピクチャから前方向及び後方向におけるグローバル動き補償GMCに基づいて領域毎にデコードされる。中間画像の領域は、グローバル動き補償されたキーピクチャエリアの結合、又は従来の復号化の何れかにより再構成され、結合と従来の復号化との間の選択は、グローバル動き補償されたキーピクチャエリアの信号間の一致の測定結果に従って行われる。
【００４６】
本発明は、符号化／復号化されたビデオ系列の表示品位を潜在的に改善しつつ、必要とされるビットレートの低減により、符号化効率を改善するという利点を有する。幾つかの前景のオブジェクトのみがシーンにおいて動くシーケンスにおいて、本方法の使用は、既存の技術に関して圧縮されたビデオストリームのビットレートの大幅な低減をもたらす。さらに、これらの領域における信号の時間的変動による視覚的なアーチファクトは、本方法を採用することで制限される。
【００４７】
本発明の他の特性及び利点は、添付図面に対応して行われ、限定するものではない例として提供される以下の記載により明らかとなるであろう。
【図面の簡単な説明】
【００４８】
【図１】２つの参照画像に基づく３つの中間画像を含むGOPの例を示す図である。
【図２】本発明の実施の形態を提供するように使用される、符号化が２つの参照画像に基づく中間画像の場合を示す図である。
【図３】キーピクチャと中間画像の間の時間依存性の原理を示す図である。
【図４】本発明に係る符号化方法の実施の形態を提供する図である。
【図５】２つの異なるピクチャ上の領域の一致を調べる方法を示す図である。
【発明を実施するための形態】
【００４９】
図１は、２つの参照画像に基づく３つの中間画像を含むGOPの例を示す。言い換えれば、この例は、階層的なGOPを３つのレベルで表している。２つのP0及びP4は、中間画像B1，B2及びB3を符号化するための参照として使用される。次いで、GOP毎に符号化すべきパラメータからなる７つのセットがあり、これらは、ピクチャB1のθ10及びθ14、ピクチャB2のθ20及びθ24、ピクチャB3のθ30及びθ34及びピクチャB4のθ40である。この例では、参照画像P0とP4の間でグローバル動き予測が行われ、この動き予測により、パラメータのセットθ40が得られる。
【００５０】
本発明の範囲において、異なるグローバル動きパラメータのセットを予測及び符号化するとき、動きパラメータの自由度を制限することが提案される。これは、２つの参照画像間のグローバル動きに基づいて実現することができる。この制限は、１又は２のパラメータを使用して表現され、次いでこれらのパラメータは、前方向動きパラメータと後方向動きパラメータの両者を表すために予測及び符号化されるパラメータである。  
本発明は、特にこれらのパラメータの予測方法を提案する。
【００５１】
図２は、本発明の実施の形態を提供するように使用される、符号化が２つの参照画像に基づく中間画像の場合を示す。
【００５２】
中間画像Bは、参照画像AとCとの間に位置され、これらの間でグローバル動きの「後方向」予測が行われ、関連するパラメータのベクトルθが符号化される。使用される動きのモデルは、改善されたモデルとも呼ばれるリニアモデルであり、以下の式により表される。
【００５３】
【数８】
0005512696.tif 000012
ここでXK＝(xK,yK)は、ピクチャKの画素の位置を表し、Kは、A，B又はCの値であり、Iは、２×２の次元のマトリクスのアイデンティティであり、Mは、２×２の次元のマトリクスであり、Tは、エレメントがグローバル動きパラメータに対応する２×１次元の行列である。
【００５４】
さらに、以下の式を使用してXA及びXCを表現することが可能である。
【００５５】
【数９】
0005512696.tif 000013
以前に予測及び符号化されたθ＝(M,T)を知ることで、目標とすることは、符号化コストを制限しつつ、「後方向の」グローバル動きパラメータθ0＝（M0,T0）及び「前方向の」グローバル動きパラメータθ1＝（M1,T1）を識別することである。別の目的は、中間画像Bにおける動き補償の良好な時間の一致を保証するため、θ0，θ1及びθの間の一致（coherency）を保証することである。
【００５６】
先に述べたこれらの目的を達成知るため、たとえば２つのソリューションのタイプを実現することが可能であり、一方は、２つの自由度によるものであり、他方は、１つの自由度によるものである。これら２つの例は、本実施の形態において以下に記載される。
【００５７】
２つの自由度による本発明の第一の実施の形態は、パラメータθ0及びθ1に独立の制約を課すものである。これらの制約は、ペア（M0,T0）及び（M1,T1）がペア（M,T）に比例するような制約を課すものである。これは、以下の表現に変換される。
【００５８】
【数１０】
0005512696.tif 000014
ここでθ’＝（M’,T’）は、AからCへのグルーバル動きに対応する。次いで、M＝I−(I−M)-1及びT’＝−(I-M)-1×Tであることを式（３）から示すことは容易である。この場合、前方項グローバル動き及び後方向グローバル動きを特徴付けるため、２つのスカラーパラメータα0及びα1のみが予測及び符号化される必要がある。
【００５９】
コーダレベルで、α0の動き予測は、α0の予測である以下の表現
［外４］
0005512696.tif 000015
を解くことに戻る。
【００６０】
【数１１】
0005512696.tif 000016
ここでBt,θ0[p]は、現在のピクチャと、グローバル動きθ0により補償された先行するピクチャとの間の勾配であり、現在のピクチャと動き補償された参照画像との間の差に基づく。
【００６１】
この式の解は、以下の式となる。
【００６２】
【数１２】
0005512696.tif 000017
ここでSθ(p)＝uθ(p)・Bx[p]＋vθ(p)・By[p]である。
【００６３】
加重最小自乗のタイプの反復的な解では、時間的な勾配Bt,θ0[p]のみがαに依存する。他の項は、第一の繰返しでのみ計算される。動き予測は、１つのパラメータが、動きモデルの次元であるNの代わりに予測されるので、式（２）に従って完全な予測に関して明らかに簡略化される。
【００６４】
α1の予測について、式（７）において、θをθ’で置き換え、θ0をθ1で置き換えることで十分である。
【００６５】
コーダ又はデコーダのレベルで、θが以前に符号化（又は復号化）されていることを知っていると、ベクトルのパラメータθ0及びθ1のセットの代わりに、パラメータ
［外５］
0005512696.tif 000018
のみを符号化（又は復号化）することで十分であり、これにより、グローバル動き情報を符号化するコストを大幅に低減することができる。次いで、θ0及びθ1は、式（５）を使用して
［外６］
0005512696.tif 000019
から導出される。
【００６６】
１つの自由度による本発明の第二の実施の形態は、パラメータM0及びT0に制約を課し、それらからM1及びT1の値を推定する。この場合、前方向及び後方向グローバル動きを特徴付けするため、１つのスカラーパラメータαのみが推定及び符号化（又は復号化）される必要がある。
【００６７】
次いで、M0及びT0は、M及びTに比例するように拘束される。これは、以下の式により変換される。
【００６８】
【数１３】
0005512696.tif 000020
式（３），（４）及び（８）を結合することで、以下の式によりペア（M1，T1）をペア（M,T）に接続することは容易である。
【００６９】
【数１４】
0005512696.tif 000021
αを符号化（又は復号化）し且つθ1，θ0を知ることは、式（８）及び（９）のため、θ1により推定される。
【００７０】
コーダで、αの予測について、準最適なソリューションは、式（７）に基づく一方で、１方向のみを考慮する間に進むことである。最適化は、たとえば、以下の式に従って、２つの前方向動き補償ピクチャ（パラメータθ0）及び後方向動き補償ピクチャ（パラメータθ1）を考慮することで行われる。
【００７１】
【数１５】
0005512696.tif 000022
ここでθ”＝（(I-M)-1×M，(I-M)-1×T）である。次いで、この式の解により、以下の式が得られる。
【００７２】
【数１６】
0005512696.tif 000023
ここでSθ(p)＝uθ(p)・Bx[p]＋vθ(p)・By[p]、Sθ”(p)＝uθ”(p)・Bx[p]＋vθ”(p)・By[p]である。
【００７３】
図３は、本実施の形態の残りではキーピクチャと呼ばれる参照画像と、中間画像との間の時間依存性の原理を示す。この図の例は、通常は略記GOP（Group  Of  Picture）により示され、２つのキーピクチャIC0，IC1から構成され、１以上の中間画像INTを形成するグループオブピクチャを考える。本発明に係る符号化方法は、たとえば１以上のブロック又はマクロブロックに対応することができる処理領域で動作する。
【００７４】
はじめに、GOPのIC0及びIC1のキーピクチャが符号化される。符号化は、従来のアプローチに従って実行され、GMCに基づく符号化ツールを実現することもできる。従って、幾つかのキーピクチャの領域は、GMC予測により、符号化され、参照（reference）としての役割を果たし、他の領域は、符号化されない。コーダ及びデコーダレベルで、ある領域及び従ってある領域を構成する画素がGMCタイプのものであるか否かを示す２値セグメント化マップを導出することができる。
【００７５】
本発明は、特に、中間画像INTの符号化に関する。特定の中間画像の符号化される領域について、GM0及びGM1として示される前方向及び後方向グローバル動きパラメータが以前に予測及び符号化されていることが本実施の形態において以下に想定される。また、参照画像としての役割を果たすため、キーピクチャIC0及びIC1が再構成され、既に符号化された中間画像が参照画像として利用可能であることが前提として考慮される。最後に、２値セグメント化マップは、エンコーダの判定モジュールによりそれぞれのピクチャについて計算され、それぞれのピクチャがGMCタイプのものであるか否かを参照画像のそれぞれの画素について示す。
【００７６】
図４は、本発明に係る符号化方法の実施の形態を提供する。  
第一のステップ２００は、キーピクチャIC0及びIC1のグローバル動き補償GMCを実行する。エンコーダの判定モジュールにより前に決定されたか、又はデコーダでの符号化モードのデコーディングにより前に決定されたそれらの関連するセグメント化マップS0及びS1は、動きパラメータ予測モジュール２０８により前に決定された動きパラメータGM0及びGM1と同様に、入力として使用される。次いで、ピクチャIG0及びIG1が取得され、これらは、動きモジュールGM0及びGM1に従って動き補償されたピクチャIC0及びIC1にそれぞれ対応する。さらに、ピクチャIG0及びIG1に関連する２つのセグメント化マップSG0及びSG1は、動きモジュールGM0及びGM1に従って動き補償によりセグメント化マップS0及びS1から変換される。
【００７７】
符号化される中間画像は、処理領域に分割される。この分割は、自動的又は適応的とすることができる。たとえば、処理領域は、符号化されるピクチャのマクロブロックに対応する。次いで、一連のステップが符号化すべき中間画像の領域のそれぞれについて適用される。本実施の形態の残りでは、処理されている領域は、「現在の領域」と呼ばれる。
【００７８】
対応する領域の分類２０１は、セグメント化マップSG0及びSG1に基づいて実行される。それぞれの領域は、たとえば２つの可能性のある分類のうちの１つの分類と関連付けされる。前記分類のそれぞれは、“GMC”領域又は“non-GMC”領域をそれぞれ識別する。従って、現在の領域について、IG0と関連する変数C0は、この分類情報に関連する。同様に、変数C1は、IG1と関連付けされる。たとえば、２つの分類は、考慮される領域におけるピクチャの“GMC”と分類された画素の割合をカウントし、この割合を０と１との間に含まれる特定の閾値ηと比較することで定義される。
【００７９】
また、マップS0，S1，SG0及びSG1を使用しないことも可能である。この場合、C0及びC1は、たとえば“GMC”として体系的に考慮される。
【００８０】
次いで、C0及びC1はGMCタイプからなるかが確認される。本実施の形態では、C0及びC1が“GMC”タイプでない場合、領域の従来の符号化２０３が実行される。この従来の符号化は、たとえば空間予測、単一方向の時間予測、双方向の時間予測のタイプとすることができる。従来の符号化は、GMC予測を採用することができるが、これは特に２進ストリームでデコーダに信号伝達される必要がある１つのモードである。
【００８１】
C0及びC1が“GMC”タイプが“GMC”タイプからなるとき、ピクチャIG0及びIG1の考慮される領域おける一致が調べられる（２０４）。ピクチャの領域間の一致の概念は、本実施の形態において後に説明される。
【００８２】
前記ピクチャのコンテンツが一致すると考えられる場合、IG0及びIG1の処理された領域を結合することで（２０５）、情報が符号化される必要がないことを意味する信号が生成される。結合により構築される領域は、更なる情報の符号化を必要とせず、従って符号化コストはゼロであり、このことは、前記領域が多数ある場合に明らかに非常に有利である。このように実現された符号化モードは、信号伝達（signaling）の情報を必要としない暗黙的なモードである。コーダ側で調べられるこの符号化モードは、デコーダ側でも調べられる。次いで、デコーダは、情報を信号伝達することなしに、現在の領域がこの暗黙のGMC符号化モードに従って構築されているか否かを知ることができる。
【００８３】
コンテンツが著しく異なる場合、従って一致が確認されず、領域の従来の符号化２０３が実行される。GMC予測は、可能性のある予測モードのうちの１つとして使用される。本発明に係る方法を使用して符号化された中間画像は、他の中間画像の符号化のための参照として使用することができない予測された領域２０７から構成され、再構成された領域２０６は、他のピクチャの符号化のために参照として使用される。
【００８４】
エンコーダ側で上述された符号化方法は、デコーダに対称的に適用することができる。GOPのIC0及びIC1のキーピクチャがはじめにデコードされる。デコーダは、キーピクチャからデコードされた符号化モードから、それぞれのキーピクチャIC0及びIC1について、ある領域及び従ってある領域を構成する画素がGMCタイプであるか否かを示す２値セグメント化マップS0及びS1を構築する。
【００８５】
本発明は、特に中間画像のデコードに関する。特定の中間画像のデコードされるべき領域について、GM0及びGM1として示される前方向及び後方向のグローバル動きパラメータは、前にデコードされる。
【００８６】
復号化方法は、幾つかのステップに分解することができる。  
第一のステップは、キーピクチャIC0及びIC1グローバル動き補償GMCを実行する。次いで、ピクチャIG0及びIG1が得られ、これらのピクチャは、動きモデルGM0及びGM1に従って動き補償されたピクチャIC0及びIC1にそれぞれ対応する。さらに、ピクチャIG0及びIG1に関連する２つのセグメント化マップSG0及びSG1は、動きモデルGM0及びGM1に従う動き補償によりセグメント化マップS0及びS1から変換される。
【００８７】
デコードされた中間画像は、処理領域に分割される。この分割は、自動的又は適応的とすることができる。たとえば、処理領域は、符号化されたピクチャのマクロブロックに対応する。一連のステップは、符号化される中間画像の領域のそれぞれについて適用される。
【００８８】
対応する領域の分類は、セグメント化マップSG0及びSG1に依存して実行される。  
次いで、C0及びC1がGMCタイプからなるかが調べられる。本実施の形態では、C0及びC1が“GMC”タイプからなるものではない場合、現在の領域の符号化情報（符号化モード、たとえばイントラ予測の方向、動きベクトルといった関連するパラメータ、予測残差）の復号化が実行される。次いで、この情報は、２値ストリームに存在する必要がある。
【００８９】
C0及びC1が“GMC”タイプからなるとき、ピクチャの考慮される領域IG0及びIG1における一致が調べられる。
【００９０】
前記ピクチャのコンテンツが一致すると考えられる場合、IG0及びIG1の処理された領域を結合することで、情報がデコードされる必要がないことを意味する信号が生成される。結合により構築される領域は、更なる情報のデコードを必要としない。
【００９１】
コンテンツが著しく異なる場合、従って一致が確認されない場合、符号化情報の復号化が実行される。次いで、この情報は、２値ストリームに存在する必要がある。
【００９２】
図５は、２つの異なるピクチャ上のある領域の一致を調べる方法を示す。ピクチャ間の一致の概念は、前の図と共に導入された。現在の領域における２つの信号IG0及びIG1の一致の測定は、平均二乗誤差のような標準的な歪みの測定により行うことができる。しかし、グローバル動きパラメータの符号化の間に必要とされるグローバル動き予測及び量子化の可能性のある制限のため、信号IG0及びIG1は、決して完全に合致せず、２つの信号が一致していると判定されたとしても、僅かなずれが現れる可能性が非常に高い。このずれは、動きモデルが変換モデル、すなわちある領域の全ての画素が同じベクトルに従って変位するモデルとは異なるので一層重要である。この場合、動きは、画素の位置に依存する。原点から離れているとき、モデルの移動のない成分（non-translational  component）の小さな誤差がモデルからの動きベクトルの僅かなずれにより変換される。平均二乗誤差は、この可能性のあるずれを考慮することができない。
【００９３】
このずれを考慮するため、本発明の範囲におけるアプローチが提案される。  
第一のステップ３００の目的は、特に、IG0に関してIG1の局所的な動き補償によりIG1の画素の画素のレジストレーションである。この補償は、画素のある精度からなる変換ベクトルにより、及び制限された最大レンジの値excmaxで行われる。このレンジの値は、たとえば２又は３画素である。これを可能にするため、標準的な「ブロックマッチング」タイプの予測器を使用することができる。このアルゴリズムタイプの目的は、平均二乗誤差を最小にするベクトルをサーチすることである。これは、動きモデルの誤差による重要なずれを補正するために実現される。
【００９４】
第二のステップの間、平均二乗誤差は、現在の領域にわたり計算される（３０１）。この誤差Dは、以下の式で表現することができる。
【００９５】
【数１７】
0005512696.tif 000024
ここでZは考慮されている領域を示し、ｐは画素を示し、IG1mcはIG1の動き補償されたピクチャである。
【００９６】
式（１）の平均の変動を統合することができ、以下の式となる。
【００９７】
【数１８】
0005512696.tif 000025
ここでμ0及びμ1は現在の領域Zを通したIG0及びIG1mcのそれぞれの輝度の予測される平均である。
【００９８】
この予測に続いて、低い局所的な勾配の領域の信号について直接的な比較が行われる。ステップ３０２で、Dが予め定義された閾値λ未満である場合、IG0及びIG1は、その領域にわたり一致していると考えられる。閾値λは、たとえば値52×NZであり、NZは、現在の領域Zのポイントの数である。これは、この場合、５という平均の信号間のずれが許容されることを意味する。
【００９９】
先のステップ３０２においてDがλ以上である場合、ステップ３０３で、高い局所的な勾配の領域についてである、局所的な勾配の測定が行われる。Dの高い値は、たとえば僅かなずれのため、質感を持たせた（textured）領域であって従って高い勾配を有する領域の画素未満からなる。２つの信号が一致する場合、IG1mcは、以下の式により現在の領域における任意の画素ｐについて表現される。
【０１００】
【数１９】
0005512696.tif 000026
ここでδ＝(δx,δy)は、画素に対する再設定が既に行われているので、２つの成分δx及びδyが１未満の振幅からなるベクトルである。
【０１０１】
次いで、式（３）のテイラー展開の後に式（２）を考慮して、以下の式についてDよりも大きなSの値を決定することができる。
【０１０２】
【数２０】
0005512696.tif 000027
従って局所的な勾配が計算され（３０３）、次いで合計SがDと比較される（３０４）。DがS未満であるか又はSに等しい場合、IG0及びIG1は、現在の領域Zを通して一致していると考えられ、DがSを超える場合、IG0及びIG1は、現在の領域を通して一致していないと考えられる。アルゴリズムに介入するexcmax及びλのような幾つかのパラメータは、符号化されてデコーダに送出される。
【０１０３】
比較される領域が一致すると考えられるとき、２つの信号IG0及びIG1の結合が考慮されることが、図４の例から分かる。結合アルゴリズムは、２つの信号を満足のいくやり方で、すなわち先に述べたように僅かな空間のずれによるエコーの出現を生じさせることなしに、混合することを狙いとする。１つのソリューションは、「グラフカット」タイプのアルゴリズムを縫い合わせることなしにパイリング（piling）を使用することである。このタイプの技術の１例は、Vivek  Kwatra等による“Graphcut  Textures:  Image  and  Video  Synthesis  Using  Graph  Cuts”,  Proc.  ACM  Transactions  on  Graphics,  Siggraph’03と題された文献に記載される。これらのアルゴリズムは、明らかなステッチタイプの視覚的なアーチファクトを制限しつつ、テクスチャのフラグメントが組み立てられるのを可能にする。
【図１】
0005512696.tif 000030
【図２】
0005512696.tif 000031
【図３】
0005512696.tif 000032
【図４】
0005512696.tif 000033
【図５】
0005512696.tif 000034