(57)【特許請求の範囲】
【請求項１】
現在のビデオ画像を画像ブロックへセグメント化することと、前記現在の画像の動きベクトルフィールドを得るための画像ブロックごとの動き推定と、Ｎの支配的なベクトルから１つの動きベクトルを選択することにより、
ブロックへのベクトルの再割り当てを行う段階とを含む画像のシーケンスに対する動き推定方法であって、
支配的なベクトルは、前記現在の画像の動きベクトルフィールドと少なくとも前の画像の動きベクトルフィールドに属するベクトルのグループの１つであり、ベクトルは対応する時間距離に従ってスケーリングされることを特徴とする方法。
【請求項２】
支配的なベクトルに関して、他の支配的なベクトルの選択中に考慮されないように、２次の局部の最大値が検出されることを特徴とする請求項１に記載の方法。
【請求項３】
支配的なベクトルは４つの方向の各々に選択されることを特徴とする請求項１に記載の方法。
【請求項４】
再割り当てされるベクトルの選択は、移動された画像間の差（ＤＦＤ）の値に基づくことを特徴とする請求項１に記載の方法。
【請求項５】
前記再割り当てされるベクトル、及び他の支配的なベクトルが基準画像以外を指し示す場合には、ゼロベクトルが採用されることを特徴とする請求項４に記載の方法。
【請求項６】
Ｎの支配的なベクトルに関連するＤＦＤが、もとのベクトルに関連する重み付けされたＤＦＤよりも大きい場合には、もとのベクトルが保持されることを特徴とする請求項４に記載の方法。
【請求項７】
再割り当てされるベクトルの選択は、画像間差ブロック（現在のブロック−推定されたブロック）内の活性度（空間グラディエント）の計算に基づいていることを特徴とする請求項１に記載の方法。
【請求項８】
前記再割り当てされるベクトル、及び他の支配的なベクトルが基準画像以外を指し示す場合には、ゼロベクトルが採用されることを特徴とする請求項７に記載の方法。
【請求項９】
Ｎの支配的なベクトルに対応する活性度が、もとのベクトルに対応する重み付けされた活性度よりも大きい場合には、もとのベクトルが保持されることを特徴とする請求項７に記載の方法。
【請求項１０】
ＤＦＤ計算中に使用されるベクトルの成分は空間的にフィルタされた成分であることを特徴とする請求項４に記載の方法。
【請求項１１】
空間グラディエント計算中に使用されるベクトルの成分は空間的にフィルタされた成分であることを特徴とする請求項７に記載の方法。
【請求項１２】
前の画像のベクトルは、スケーリングされているのに加えて、時間距離の関数として重み付けされていることを特徴とする請求項１に記載の方法。
【請求項１３】
動きの中断が検出されたときには、前の画像のベクトルは考慮されないことを特徴とする請求項１に記載の方法。
【発明の詳細な説明】
【０００１】
本発明は、ＭＰＥＧ形式のビデオ符号化に適用される動き推定の方法に関する。
【０００２】
ビデオ符号化で使用されている動き推定アルゴリズムの多くは、”ブロック一致”の技術を使用する。
【０００３】
この画像はサイズＮ＊Ｎのブロックに分割され、そして、推定器は、現在の画像のブロックと基準画像のブロックの間の差を最小化するベクトルを検索する。この差は、一般的には、輝度画素に対して計算される、ＭＳＥ（二乗平均差）又は、ＭＡＥ（絶対値平均差）である。
【０００４】
この種の推定器は、輝度の変化に基づきそして、シーケンスの実際の動きに基づいていないので、均一な動きフィールドを供給できる。これは、符号化器によるベクトルの符号化に対してオーバーヘッドを必要とし、符号化は、一般的には、差分形式であり、そして、性能の減少となる。本発明の目的は、上述の欠点を修復することである。
【０００５】
主題は、ビデオ画像を画像ブロックへセグメント化することと、動きベクトルフィールドを得るための画像ブロックごとの動き推定と含む動き推定方法であって、ベクトルフィールドに属するＮの支配的なベクトルから１つの動きベクトルを選択することにより、ブロックへのベクトルの再割り当てを行う段階を含むことを特徴とする方法。
【０００６】
１つの特別の実行に従って、支配的なベクトルに関して、他の支配的なベクトルの選択中に考慮されないように、２次の局部の最大値が検出される。
【０００７】
他の１つの特定の実行に従って、支配的なベクトルは４つの方向の各々に選択される。
【０００８】
方法の１つの特別の実行に従って、再割り当てされるベクトルの選択は、移動された画像間の差（ＤＦＤ）の値に基づく。
【０００９】
本発明の特別の特徴は、Ｎの支配的なベクトルに関連するＤＦＤが、もとのベクトルに関連するＤＦＤよりも大きい場合には、ゼロベクトルが採用され、又は、Ｎの支配的なベクトルに関連するＤＦＤが、もとのベクトルに関連する重み付けされたＤＦＤよりも大きい場合には、もとのベクトルが保持される。
【００１０】
方法の他の実行に従って、再割り当てされるベクトルの選択は、画像間差ブロック（現在のブロック−推定されたブロック）内の活性度（空間グラディエント）の計算に基づいている。Ｎの支配的なベクトルに対応する活性度が、もとのベクトルに対応する活性度よりも大きい場合には、ゼロベクトルが採用される。Ｎの支配的なベクトルに対応する活性度が、もとのベクトルに対応する重み付けされた活性度よりも大きい場合には、もとのベクトルが保持される。
【００１１】
方法の他の特別の実行に従って、各画像に対して、支配的なベクトルは、現在の画像のベクトルのフィールド及び、少なくとも１つの前の画像のベクトルのフィールドから選択される。
【００１２】
本発明によって、”ブロック一致”形式の推定器により計算された動きベクトルフィールドを、均一化できる。
【００１３】
本発明の特徴と優位点は、図を参照し、以下の記載から明らかとなろう。
【００１４】
ベクトルフィールドの均一化は、条件付の再割り当ての方法を介して得られる。
【００１５】
シーケンスの画像に関連するベクトルは、推定器により計算され且つ蓄積される。
【００１６】
ベクトルに関する処理を実行するために、２次元ヒストグラムが、座標がこれらのベクトルの水平及び垂直成分の値である値（ｄｘ，ｄｙ）を表す、５１２＊５１２の寸法で構成される。
【００１７】
図１は、左の部分は、動きベクトルが割り当てられたマクロブロックを構成する画像であり、右側は、対応するヒストグラムである。
【００１８】
支配的なベクトルの選択
動きフィールドを更に均一にするために、アイデアは、ある数のベクトルに採用され、ユーザにより第１の場所に固定される。この数は動きの不均一性に比例して大きくなる。
【００１９】
第１の解決方法は、外観の最も高い周波数に対応するＮベクトルを採用するように構成する。
【００２０】
他の可能性は、アルゴリズムが、４つの向きの面の各々にＮ／４の支配的なベクトルを選択することを規定することである。この解決方法は、シーケンス内のズームの検出に関する出力基準として、オプションとして採用できる。これは、そのような現象は、ベクトルフィールドの全ての方向の分散を必要とするためである。
【００２１】
考えられる最後の解決方法は、局部の最大値の検出である。これは、第１の解決方法では、問題は、いくつかの連続する最大値を有することが可能であり、それは、少ない数の最大値を適用することと比較して非常に大くの優位点を与えない。
【００２２】
従って、ヒストグラムが走査され、他の更に支配的なベクトルの付近に現れるＮの支配的なベクトルの中のそれらのベクトルを除去する。このように、これらの２次最大値の存在は、例えば、寸法３＊３の同じ窓内に２つの最大値があるか否かを見るためにヒストグラムを検索することにより識別される。
【００２３】
図２は、そのような窓を示し、局部の最大値を検索するために、参照番号１のこの窓は（ｄｘ，ｄｙ）が採用される支配的なベクトルの付近に中心が合わされ、その発生数はｎである。
【００２４】
マクロブロックＭＢに割り当てられたベクトルの選択。再割り当て。
【００２５】
−ＤＦＤ法
一旦、支配的なベクトルが抽出されると、基準は、これらの各ベクトルを各ＭＢへ再割り当てするために見つけられるために残る。動き推定器は動きベクトルを計算するために最小ＤＦＤ(移動したフレーム差)の基準を使用するので、採用されたベクトルと処理されるべき画像のマクロブロック間の最も可能な対応をみつけるこの基準を採用することは有益である。外観の周波数の昇順にベクトルを整列後に、これらのベクトルの各々に関連するＤＦＤの計算が各ＭＢに対して行われる。これらの計算は以下の式で単純に表現できる。
【００２６】
【数１】
0004443767.tif 000002
ここで、（ｉ，ｊ）は処理されるＭＢの座標である。
【００２７】
Ｎ（＝１６）はＭＢのサイズである。
【００２８】
（ｄｘ，ｄｙ）はテストされるベクトルの成分であり、[−１２８；＋１２７．５]に属する。
【００２９】
この式を適用する前に、テストされるベクトルが基準信号（ＦＲＡＲ）画像の外側の点でないことをチェックすることが重要である。適するベクトルがない場合には、ゼロベクトルが割り当てられる。
【００３０】
これゆえ、最小ＤＦＤに対応するベクトルは、各ＭＢへ割り当てられる。
【００３１】
−グラディエント法
これは、予測された基準画像と現在の画像からなる”差分”画像の各ＭＢに対して、（水平及び垂直グラディエント形式の）ＭＢの局部活性度に関する情報を与える最小グラディエントに対応するベクトルを探すことよりなる。
【００３２】
【数２】
0004443767.tif 000003
ここで、
【００３３】
【数３】
0004443767.tif 000004
である。
【００３４】
再割り当ての向上
ＤＦＤ／グラディエント基準
小サイズの物体に関する特定の動きを保持するために、以下の基準が定義される。
【００３５】
ＤＦＤ法の適用後に、ＭＢに対して採用されたベクトルが、重み付けられたＤＦＤより大きいＤＦＤを発生する場合には、もとのベクトルが保持される。
【００３６】
同様に、グラディエントの方法に関しても、画像間差後に得られた各ＭＢに対して、再割り当てにより得られたグラディエントがもとのベクトルのグラディエントと比較される。重み付けられたもとのグラディエントが新たなグラディエントよりも小さい場合には、もとのベクトルが保持される。
【００３７】
動きベクトルに適用されるフィルタリング
ベクトルフィールドを更に均一化するために、他の基準、即ち、空間又は時間フィルタリングが使用できる。
【００３８】
−空間フィルタリング
採用されるフィルタは２次元３＊３メディアンフィルタである。
【００３９】
原理を、参照番号２のフィルタ前の画像と参照番号３のフィルタ後の画像を表す図３により説明する。参照番号４のベクトルは処理されるベクトルである。
【００４０】
問題のＭＢの成分の垂直及び水平隣接成分は、各方向（ｄｘ，ｄｙ）に沿って順序付けされ、そして、各成分の中央値がとられる。次に各ＭＢに関連する種々のＤＦＤが比較され、いずれか１つの成分又は、両方ががフィルタされるか、又は、全くフィルタされない。これゆえ、最小ＤＦＤに対応するベクトルが選択され、もとのＤＦＤは明らかに重み付けされる。
【００４１】
−時間フィルタリング
時間的な結合の強さの考えは、画像のベクトルの再割り当てで、前の画像の動きフィールドを考慮することであり、これは、１つの画像から他の画像への動きの不均衡を制限する考慮とともになされる。
【００４２】
最初に、前向きベクトル（据え置きの動きベクトル）の時間フィルタリングの原理の詳細を説明する。
【００４３】
前向きベクトルの空間−時間ヒストグラム：
種々のヒストグラムを考慮するために、最初の段階でベクトルのスケーリングが行われ、そして、処理されるヒストグラムに関する種々のヒストグラムの位置の関数である発生の重み付けが行われる。
【００４４】
これゆえ、図４のＰ画像に対して、もとのベクトルのヒストグラムへ、ファクタ３により重み付けされたその発生、ファクタ１により重み付けされた最初のＢのベクトル（振幅が３で乗算されている）の発生と、ファクタ２により重み付けされた２番目のＢのベクトル（振幅が３／２で乗算されている）の発生が加えられる。
【００４５】
時間的な結合の強さは、均一の動きが存在するときにはそして、動きの中断（シーン変化）が存在しないときには、関連すべきである。
【００４６】
後方ベクトルの場合（予想された動きベクトル）
１つの画像から次の画像へ、均一な”前方”の動きがある場合には、その場合にはＢ画像に関連する”後方”ベクトルも存在するであろうと考えるのが論理的である。後者をフィルタするために、後方ベクトルは問題のＢに続くＰ又は、Ｉに基づいているということを忘れてはならない。これゆえ、最初のＢに対して、後方ベクトルは第２のＢに関連する後方ベクトルの２倍であると考えられ得る。後者のベクトルに関してファクタ２によりスケーリングが行われ、そして、最初のＢに関連するヒストグラムに、重み付けされた発生が加えられる。
【００４７】
均一フィールドの検出
例えば、ズームのような他方向の動きを伴なうシーケンスにＮベクトルの再割り当てを適用する考えは適切でない。これは、この特定の場合には、Ｎの支配的なベクトルのみを採用することは複数のベクトルよりなるフィールドを便利に処理することを可能としないためである。
【００４８】
図５は、ズーム中のベクトルの画像を表す。フィールド内の不均一はそのような均一性を許さないことが簡単にわかる。
【００４９】
従って、最初に、単一の方向へ、又は、全ての方向（ズーム）のいずれかへ、ベクトルが均一に分散されているフィールドを検出することが決定される。この検出は、Ｎの支配的なベクトルから計算された平均標準偏差に近い第１の支配的なベクトルの標準偏差により行われる。これは、次のように表現される。
【００５０】
σ１≦しきい値＊σ平均の場合には、＝＞均一フィールドが存在。ここで、しきい値はユーザにより固定される（例えば、しきい値＝１．３４である）。
【００５１】
成功的に検出された動きの形式に関連する例は、図６ａ，ｂ，ｃ，ｄに示されている。
【００５２】
目的は、現在は、場合（ｃ）と（ｄ）が存在するときにはアルゴリズムを適用しないことである。これらの場合は、場合（ａ）と（ｂ）から区別される。このために、採用されたＮの中から、ｄｘとｄｙ動きの平均値が検査され、そして、それらがゼロに近い否かが判断される。これは、均一方向の動きと対照的に、それらが加算されると、ズームの動きは相殺されるように観測され得るためである。５つの画素の最大差を、ｄｘ，ｄｙの対して設定することが可能である。
【００５３】
時間フィルタリングの制限
動きの中断がある場合には、時間的にヒストグラムをフィルタしないのは有益である。以下が可能である。
【００５４】
−Ｐ形式画像に対する初期又は再割り当てされたベクトルのヒストグラムを蓄積すること。
【００５５】
−次のＰ形式画像で、Ｐ（ｔ）、新たな”画像”ベクトルが比較される。それらが、Ｐ（ｔ−ｎ）から生じるそれらの対の片方と非常に異なる場合には、もとのベクトルが保持される。
【００５６】
支配的なベクトルの数の選択
必要なベクトルの数は、（例えば、スポーツシーンのような）ランダムな動きのシーケンスに対しては、均一の動き（”トレイン”）を伴なうシーケンスよりも更に多くのベクトルがあるように、自動的に且つ動的に決定され得る。
【図面の簡単な説明】
【図１】  動きベクトルのヒストグラムを示す図である。
【図２】  局部の最大値検索窓を示す図である。
【図３】  メディアンフィルタの例を示す図である。
【図４】  考慮される先行する画像ベクトルの例を示す図である。
【図５】  ズーム中の動きベクトルフィールドを示す図である。
【図６】  検出され得る種々の形式の動きを示す図である。
【図１】
0004443767.tif 000005
【図２】
0004443767.tif 000006
【図３】
0004443767.tif 000007
【図４】
0004443767.tif 000008
【図５】
0004443767.tif 000009
【図６】
0004443767.tif 000010