(57)【要約】本発明は、各画像をブロックに細分し、シフトされたブロックを現在のブロックの予測として決定するため各ブロックにブロックマッチングアルゴリズムを適用するステップを有する、画像のシーケンスに関連する動き情報を符号化する方法に関する。ここで、前記シフトされたブロックと現在のブロックとの間の動きベクトルは前記現在のブロックに関連する予測されたベクトルであり、全ての動きベクトルは前記現在の画像に関連する動きベクトル場を構成する現在の画像全体について同様に予測される。各現在の画像について、前記関連する動きベクトル場によって構成される前記動き情報が最終的に符号化される。本発明によれば、符号化されるべき動きベクトルＣは、Ｐ＝α・Ｓ＋β・Ｔのタイプの関係によって定義される空間−時間予測子Ｐによって見積もられる。ここでＳ及びＴはそれぞれ空間及び時間予測子であり、（α，β）はそれぞれ前記空間及び時間予測子に関連する重み係数である。本発明は対応する復号化方法にも関する。【特許請求の範囲】
【請求項１】
現在のフレームを２次元のブロックに細分するステップと、
前記現在のフレームの各現在のブロックについて、ブロックマッチングアルゴリズムによって、前のフレームにおいて、前記現在のブロックの予測としてシフトされたブロックを選択するステップと、
を有し、ここでシフトされたブロックと現在のブロックとの間の動きベクトルは前記現在のブロックに関連して予測されたベクトルであり、全ての動きベクトルは前記現在のフレームに関連する動きベクトル場を構成する現在のフレーム全体について同様に予測され、更に、
各前記現在のフレームについて、符号化されるべき各動きベクトルについてそれに関連する予測子を含む差分符号化手法によって、前記関連する動きベクトル場によって構成される動き情報を符号化するステップと、
を有する、連続するフレームに分割されたビデオシーケンスに関連する動き情報を符号化する方法であって、
各前記現在のブロックについて、前記差分符号化手法の減算演算において利用される予測子は、
Ｐ＝α・Ｓ＋β・Ｔ
のタイプの関係によって定義される線形結合によって得られる空間−時間予測子Ｐであって、ここでＳ及びＴはそれぞれ空間及び時間予測子であり、（α，β）はそれぞれ前記空間及び時間予測子に関連する重み係数であることを特徴とする方法。
【請求項２】
前記重み係数の選択の基準は、符号化されるべき動きベクトルＣとその予測子Ｐとの間の歪みを、最小平均二乗の点で最小化すること、即ち演算子：
Ｆ＝Σ〔Ｃ−（α・Ｓ＋β・Ｔ）〕２
を最小にすることであり、ここでこの合計は前記動きベクトル場の全体、即ち前記現在のフレームの全てのブロックについて実行されることを特徴とする、請求項１に記載の方法。
【請求項３】
前記空間予測子は、前記現在のブロックの近隣において選択された動きベクトル候補のセットに中央値フィルタリングを適用することによって得られることを特徴とする、請求項２に記載の方法。
【請求項４】
前記動きベクトル候補のセットは、ＭＰＥＧ−４規格に準拠する空間予測を持つために、３つの動きベクトル候補を有することを特徴とする、請求項３に記載の方法。
【請求項５】
前記時間予測子は、前に送信された動きベクトル場内のブロックを指すため、前記現在のブロックの動きベクトルについて既に決定された空間予測子を再利用することにより決定されることを特徴とする、請求項２に記載の方法。
【請求項６】
前記時間予測子は、前記空間予測子の算出の間に利用された空間予測子の候補をメモリに保持し、該候補を用いて前記現在の画像中の対応するブロックから、動きベクトルが決定されるべき時間予測子についての空間予測子としても示される前の画像のブロックを指し、前記前の動きベクトル場内のこれらの空間予測子の中央値フィルタリングを実施することにより決定され、得られる結果は前記決定されるべき時間予測子であることを特徴とする、請求項２に記載の方法。
【請求項７】
現在の画像を２次元のブロックに細分するステップと、
前記現在の画像の各現在のブロックについて、ブロックマッチングアルゴリズムによって、前の画像において、前記現在のブロックの予測としてシフトされたブロックを選択するステップと、
を有し、ここでシフトされたブロックと現在のブロックとの間の動きベクトルは前記現在のブロックに関連して予測されたベクトルであり、全ての動きベクトルは前記現在の画像に関連する動きベクトル場を構成する現在の画像全体について同様に予測され、更に、
各前記現在の画像について、前記関連する動きベクトル場によって構成される動き情報を符号化するステップとを有し、ここで各現在のブロックについて符号化されるべき動きベクトルＣは、
Ｐ＝α・Ｓ＋β・Ｔ
のタイプの関係によって定義される線形結合によって得られる空間−時間予測子によって見積もられ、ここでＳ及びＴはそれぞれ空間及び時間予測子であり、（α，β）はそれぞれ前記空間及び時間予測子に関連する重み係数である符号化方法によって、送信及び／又は保存の前に前もって符号化された画像シーケンスに対応する動き情報を復号化する方法であって、前記復号化方法は、
前記シーケンスの最初の動きベクトル場について、空間予測子にのみ基づく第１のタイプの復号化ステップと、
他の動きベクトル場について、既に復号化された前の動きベクトル場の動きベクトル、復号化されるべき現在の動きベクトルの近隣において定義された空間予測子、並びに送信された重み係数α及びβに基づいて、空間−時間予測子Ｐを算出するステップを有する第２のタイプの復号化ステップと、
の２つのタイプの復号化ステップを有することを特徴とする方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、現在のフレームを２次元のブロックに細分するステップと、
前記現在のフレームの各現在のブロックについて、ブロックマッチングアルゴリズムによって、前のフレームにおいて、前記現在のブロックの予測としてシフトされたブロックを選択するステップと、
を有し、ここでシフトされたブロックと現在のブロックとの間の動きベクトルは前記現在のブロックに関連して予測されたベクトルであり、全ての動きベクトルは前記現在のフレームに関連する動きベクトル場を構成する現在のフレーム全体について同様に予測され、更に、
各前記現在のフレームについて、符号化されるべき各動きベクトルについてそれに関連する予測子を含む差分符号化手法によって、前記関連する動きベクトル場によって構成される動き情報を符号化するステップと、
を有する、連続するフレームに分割されたビデオシーケンスに関連する動き情報を符号化する方法に関する。
【０００２】
本発明は、対応する符号化装置、該符号化方法によって符号化された動き情報を復号化する方法、及び対応する復号化装置にも関する。後に説明する本発明の一実施化の詳細な説明において、前記２次元ブロックは例えば、ＭＰＥＧファミリーの規格において定義されるようなマクロブロックである。
【０００３】
【従来の技術】
デジタルビデオ圧縮のために提案される符号化方式は一般に、処理されるビデオシーケンスの連続するフレーム間の時間的な冗長を減少するために、動き推定及び補償を利用する。かような方法においては、動きベクトルのセットが符号化側で決定され、復号化器に送信される。殆どのビデオ符号化規格は前記動き推定演算のため、例えばＳ．Ｒ．Ｅｌｙによる「ＭＰＥＧ ｖｉｄｅｏ ｃｏｄｉｎｇ： ａ ｂａｓｉｃ ｔｕｔｏｒｉａｌ ｉｎｔｒｏｄｕｃｔｉｏｎ」（「ＢＢＣ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｒｅｐｏｒｔ」、１９９６年）と題された文献に記載されている所謂ブロックマッチングアルゴリズム（ＢＭＡ）を利用する。図１に示された前記アルゴリズムは、現在の画像Ｉｔの各ブロックＢｃについて、最もマッチする前のリファレンス画像Ｉｔ−１のブロックＢｒを見つけようと試みる。ここで前記前のブロックは該前の画像のブロックＢｃの位置の周囲の限られた領域（即ち探索窓ＳＷ）中のみ探索される。符号化器において現在のフレームの各ブロックＢｃについてかくして決定された動きベクトルのセットは、復号化器に送られる必要がある。
【０００４】
前記動きベクトルの送信に必要とされるビットレートを最小化するために、これらのベクトルは一般に予め決定される動きベクトル（即ち予測子（ｐｒｅｄｉｃｔｏｒ））に対して差分的に符号化される。より正確には、前のブロックＢｒから現在のものＢｃへの動きを記述する動きベクトルの符号化は、以前に送信された空間的に近接するものに基づく予測手法によって実現される。前記動きベクトルは予測値に対して差分を計算され、可変長符号を利用して符号化される。
【０００５】
【発明が解決しようとする課題】
本発明の第１の目的は、これらの動きベクトルの改善された予測を含む、動きベクトルを符号化する方法を提案することにある。
【０００６】
【課題を解決するための手段】
この目的のため、本発明は本明細書の導入部分で規定したような符号化方法であって、更に、各前記現在のブロックについて、前記差分符号化手法の減算演算において利用される予測子は、
Ｐ＝α・Ｓ＋β・Ｔ
のタイプの関係によって定義される線形結合によって得られる空間−時間予測子Ｐであって、ここでＳ及びＴはそれぞれ空間及び時間予測子であり、（α，β）はそれぞれ前記空間及び時間予測子に関連する重み係数であることを特徴とする符号化方法に関する。
【０００７】
本発明の有利な実施化においては、前記重み係数の選択の基準は、符号化されるべき動きベクトルＣとその予測子Ｐとの間の歪みを、最小平均二乗の点で最小化すること、即ち演算子：
Ｆ＝Σ〔Ｃ−（α・Ｓ＋β・Ｔ）〕２
を最小にすることであり、ここでこの合計は前記動きベクトル場の全体、即ち前記現在のフレームの全てのブロックについて実行される。
【０００８】
好ましくは、前記空間予測子は、前記現在のブロックの近隣において選択された動きベクトル候補のセットに中央値フィルタリングを適用することによって得られ、前記動きベクトル候補のセットは、ＭＰＥＧ−４規格に準拠する空間予測が必要とされる場合に、３つの動きベクトル候補を有する。
【０００９】
前記時間予測子は、前に送信された動きベクトル場内のブロックを指すため、前記現在のブロックの動きベクトルについて既に決定された空間予測子を再利用することにより決定されても良いし、又は前記空間予測子の算出の間に利用された空間予測子の候補をメモリに保持し、該候補を用いて前記現在の画像中の対応するブロックから、動きベクトルが決定されるべき時間予測子についての空間予測子としても示される前の画像のブロックを指し、前記前の動きベクトル場内のこれらの空間予測子の中央値フィルタリングを実施することにより決定され、得られる結果は前記決定されるべき時間予測子であっても良い。
【００１０】
本発明の他の目的は、前記符号化方法によって符号化された動き情報を復号化する方法を提案することにある。
【００１１】
この目的のため本発明は、
現在の画像を２次元のブロックに細分するステップと、
前記現在の画像の各現在のブロックについて、ブロックマッチングアルゴリズムによって、前の画像において、前記現在のブロックの予測としてシフトされたブロックを選択するステップと、
を有し、ここでシフトされたブロックと現在のブロックとの間の動きベクトルは前記現在のブロックに関連して予測されたベクトルであり、全ての動きベクトルは前記現在の画像に関連する動きベクトル場を構成する現在の画像全体について同様に予測され、更に、
各前記現在の画像について、前記関連する動きベクトル場によって構成される動き情報を符号化するステップとを有し、ここで各現在のブロックについて符号化されるべき動きベクトルＣは、
Ｐ＝α・Ｓ＋β・Ｔ
のタイプの関係によって定義される線形結合によって得られる空間−時間予測子によって見積もられ、ここでＳ及びＴはそれぞれ空間及び時間予測子であり、（α，β）はそれぞれ前記空間及び時間予測子に関連する重み係数である符号化方法によって、送信及び／又は保存の前に前もって符号化された画像シーケンスに対応する動き情報を復号化する方法であって、前記復号化方法は、
前記シーケンスの最初の動きベクトル場について、空間予測子にのみ基づく第１のタイプの復号化ステップと、
他の動きベクトル場について、既に復号化された前の動きベクトル場の動きベクトル、復号化されるべき現在の動きベクトルの近隣において定義された空間予測子、並びに送信された重み係数α及びβに基づいて、空間−時間予測子Ｐを算出するステップを有する第２のタイプの復号化ステップと、
の２つのタイプの復号化ステップを有することを特徴とする方法に関する。
【００１２】
本発明は、添付する図を参照しながら例として以下説明される。
【００１３】
【発明の実施の形態】
図１を参照しながら上述したように、動き推定は前のフレームにおける限られた探索領域ＳＷ内のブロックの最も良いマッチング位置を見つけ出そうとする探索方式に基づく。ここで前記マッチング位置は各ブロック（即ち、ＭＰＥＧ規格の場合には「マクロブロック」）について、予測子の減算及び可変長符号化（ＶＬＣ）の後、符号化器から復号化器へと送信される動きベクトルによって記述されている。
【００１４】
本発明の原理は、（各現在の動きベクトルに対応する差分値の可変長符号化（ＶＬＣ）の前に提供される）前記予測に、２つの連続する動きベクトル場の間に観測される時間的な相関性を考慮に入れる付加的な演算を導入することにある。時間（ｔｅｍｐｏｒａｌ）予測子を利用するブロックベースの動き推定は、既に例えばＧ．ｄｅ Ｈａａｎらによる「Ｔｒｕｅ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ ３Ｄ ｒｅｃｕｒｓｉｖｅ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ」（「ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ」、Ｖｏｌ．３、Ｎｏ． ５、１９９３年１０月、３６８−３７９頁）において記載されている。３Ｄ再帰的探索に基づくこの手法は、図２に示されたその可能な実装の中の１つにおいて、現在のブロックＢｃの隣接するブロックの中から選択された３つの空間（ｓｐａｔｉａｌ）予測子Ｐ１、Ｐ２及びＰ３、Ｐ１と前に処理されたブロックの最良の候補との線形結合である１つの付加的な空間予測子、並びに時間予測子Ｐ４を利用する（「時間（ｔｅｍｐｏｒａｌ）」は対応する動きベクトルが前の動きベクトルの場に属することを意味する）。
【００１５】
通常、以前の研究は現在の動きベクトルを差分的に符号化するために空間予測子のみを考慮していた。１６ｘ１６ピクセルの動きベクトルの場合（４つのブロックを含むマクロブロックについて１つの動きベクトル）、現在のマクロブロックの近隣における幾つかの（ＭＰＥＧ−４の場合は３つ）動き候補の選択から成る空間予測である。例えば、かような候補ＭＶ１、ＭＶ２及びＭＶ３のとり得る位置（現在の動きベクトルについての空間予測子は次いで、これら３つの動きベクトルの候補に中央値（ｍｅｄｉａｎ）フィルタリング操作を実行することによって得られる）を示す図３において図示される。動きベクトルの符号化を改善するためにここでは、符号化されるべき現在のマクロブロックの動きベクトルをより良く予測するために、動きの軌道に沿った動きベクトルの間に存在する相関性を利用することが提案される。
【００１６】
図４に図示されるように、現在の動きベクトル場ＣＭＶＦについて、適切な時間予測子Ｐを決定する第１の解法は、前に送信された動きベクトル場ＰＭＶＦ内のマクロブロックを指すために現在のマクロブロックの動きベクトルについて既に決定された空間予測子を再利用することたり得る。更に、悪質な予測の影響を減少するため、選択されたマクロブロックの隣接する８個のマクロブロックにおいて中央値フィルタリング操作がもう一度実行されても良い。
【００１７】
予測子Ｐの決定のための第２の解法は、図５に示されるように、前記空間予測子の算出の間に利用された空間予測子候補ＳＰＣをメモリに保持することである。これらの動きベクトル候補は、現在のフレーム中のマクロブロックから、その動きベクトルが決定される必要がある前記時間予測子のための空間予測子としても示され得る前のフレームのマクロブロックを指す。現在の動きベクトルについてのこの時間予測子はこのとき、前の動きベクトル場内のこれらの空間予測子の中央値フィルタリングの結果である。
【００１８】
どの解法が選択されても、空間−時間と呼ばれる予測子Ｐが、以下のタイプの線形結合によって得られる：
Ｐ＝α・Ｓ＋β・Ｔ
ここでＳ及びＴはそれぞれ、上述したように決定された付加的な空間予測子及び時間予測子であり、（α，β）はそれぞれ前記空間及び時間予測子に関連する重み係数である。α及びβの選択についての考え得る基準は、最小平均二乗の点において元の動きベクトルＣとその予測子Ｐとの間の歪みを最小化すること、即ち以下の演算子Ｆを最小化することである：
Ｆ＝Σ〔Ｃ−（α・Ｓ＋β・Ｔ）〕２
合計Σは動きベクトル場全体、即ち現在のフレームの全てのマクロブロックを含むことにより行われる（これらの重み係数α及びβは復号化側に送信される必要がある。なぜなら復号化装置がそれらを計算するために対称演算が実行できないからである。全体的な送信コストに対して、前記時間予測子によってもたらされる伝送利得と、各動きベクトル場についての２つの値（α，β）の付加的な送信コストとの間の良いトレードオフがそれ故達せられる必要がある）。
【００１９】
前記動きベクトルは一般にＤＰＣＭ（差分パルス符号変調）手法を用いて符号化される。本手法においては、入力とローカルに復号化された前の出力に基づく予測との間の差分のみが量子化及び送信され、ＶＬＣテーブルを利用し前記動きベクトルに対応する符号化されたデータを生成するエントロピー符号化ステップによって後続される。上述したような符号化方法がビデオ符号化方式内で利用された場合、前記動きベクトルに対応して符号化され符号化側で受信されたデータは、特別に復号化される必要がある。前記動きベクトルの再構成が次いで、以下の処理ステップに従って実行される：
−最初の動きベクトル場（即ち前のものを持たないもの）については、空間予測子にのみ基づく従来の復号化ステップが実施される。
−その他の動きベクトル（即ち時間的に前のものを持つもの）については、復号化器において提供される操作が同様に実施される。動きベクトル時間予測子（既に符号化された前の動きベクトルの場の動きベクトル）、空間予測子（符号化されるべき現在の動きベクトルの近隣における動きベクトル）並びに（送信された）重み係数α及びβを知ることにより、既に復号化側で利用されている最終的な予測子Ｐ＝α・Ｓ＋β・Ｔが算出され、このことは次いで復号化器のＶＬＣテーブル中に確立された対応により現在の動きベクトルを異なるように復号化することを可能にする。
【００２０】
上述した符号化手法は、例えばＭＰＥＧ−４ビデオ符号化器のような多くの符号化方式において実行され得る。図６はかような符号化器の説明を与える。入力ビデオ情報ＶＩＦは分割回路６１によってビデオオブジェクト（ＶＯｓ）に分割され、符号化制御回路６２は（例えばユーザの要求又は復号化器の能力に基づいて）どのＶＯｓが送信されるべきかを決定し、選択されたＶＯｓが次いで符号化回路６３ａ乃至６３ｎにおいて（それぞれ他のものから独立に）符号化され、多重化器６４はかくして得られた（異なるＶＯｓを表す）ｎ個のビットストリームを単一のビデオストリームに併合する。各ＶＯはその形、テクスチャ及び動き成分によって定義されており、各符号化回路の符号化機構は形、テクスチャ及び動きの符号化操作を実行する必要がある。形及びテクスチャ操作は、例えばＴ．Ｅｂｒａｈｉｍｉらによる「ＭＰＥＧ−４ ｎａｔｕｒａｌ ｖｉｄｅｏ ｃｏｄｉｎｇ − Ａｎ ｏｖｅｒｖｉｅｗ」（「Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ： Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ」、Ｖｏｌ．１５、Ｎｏ．４−５、２０００年１月、３６５−３８５頁）に記載されるように実行される。動き操作は本発明によって、即ち上述した動き情報符号化方法を実施することによって実行される。
【００２１】
同様に、上述した及び本発明による符号化方法に対応する復号化方法は、同一の文献に記載されるような復号化方式によって実行されても良い。図７は、かような復号化方法を実行する場合に得られるもののような符号化されたビットストリームを受信し復号化することを可能にする復号化器の説明を与える。入力ビットストリームは最初に多重分離回路７１において多重分離され、かくして生成された、異なるＶＯｓに対応する多重分離された基本ストリーム（ｅｌｅｍｅｎｔａｒｙ ｓｔｒｅａｍ）は、パースされ適切な復号化器（形復号化器７２、テクスチャ復号化器７３、動き復号化器７４）に送られ、ＶＯｓを含む元のシーン（ｓｃｅｎｅ）を再構成するためにシーン記述情報と共に復号化されたデータを用いて、再構成回路７５が表示されるビデオ画像を最終的に得ることを可能にする。本発明による動き情報復号化方法は前記回路７４において実行される。
【００２２】
本発明の好適な実施例の前述の説明は、例示及び解説の目的のために提示された。本説明は網羅的であることを意図したものではなく、開示されたそのままの形態に本発明を限定することを意図したものでもなく、当業者には明確で本発明の範囲に含まれることを意図された多くの修正及び変形が、明らかに上述の手法に照らして可能である。
【００２３】
例えばここで説明された装置は、単一のハードウェア又はソフトウェア製品が幾つかの機能を実行できること、又はハードウェアとソフトウェアとの製品のセット又はこれら両方が単一の機能を実行できることを除外することなく、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組み合わせによって実施化されても良いことは理解されよう。上述の方法及び装置は、ここで説明された方法を実行するために、いずれのタイプのコンピュータシステム又は他の装置によって実施化されても良い。ハードウェアとソフトウェアとの典型的な組み合わせは、ロードされ実行される場合にコンピュータシステムがここで説明された方法を実行するように該コンピュータシステムを制御するコンピュータプログラムを持つ、汎用コンピュータシステムであっても良い。代わりに、１つ以上の本発明の機能的なタスクを実行する専用のハードウェアを含む、専用コンピュータも利用されることができる。
【００２４】
本発明は、ここで説明された方法及び機能の実施化を可能とする全ての特徴を有し、コンピュータシステムにロードされた場合にこれらの方法及び機能を実行することが可能なコンピュータプログラム製品に埋め込まれることもできる。コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品又はソフトウェアは、本文脈においては、いずれの言語、コード又は記号による、情報処理能力を持つシステムに、直接に又は以下のいずれか又は両方の後に、特定の機能を実行させることを意図された命令のセットのいずれの表現をも意味する。
（ａ）他の言語、コード又は記号への変換、及び／又は
（ｂ）異なるマテリアル形式による再生
【図面の簡単な説明】
【図１】従来のブロックマッチングアルゴリズムを示す。
【図２】既知の３次元（３Ｄ）動き推定方法において利用される予測子の位置を示す。
【図３】予測的手法による動きベクトルの符号化のための空間的な候補の可能な位置を示す。
【図４】動きベクトル時間予測子の決定のための第１の解法を示す。
【図５】かような決定のための第２の解法を示す。
【図６】本発明による符号化方法を実行することを可能とする符号化器の実装を示す。
【図７】本発明による復号化方法を実行することを可能とする復号化器の実装を示す。
【国際公開パンフレット】
2004519167.tif 000002
2004519167.tif 000003
2004519167.tif 000004
2004519167.tif 000005
2004519167.tif 000006
2004519167.tif 000007
2004519167.tif 000008
2004519167.tif 000009
2004519167.tif 000010
2004519167.tif 000011
2004519167.tif 000012
2004519167.tif 000013
2004519167.tif 000014
2004519167.tif 000015
2004519167.tif 000016
【国際調査報告】
2004519167.tif 000017
2004519167.tif 000018
2004519167.tif 000019