(57)【特許請求の範囲】
【請求項１】
動きを推定および／または補償するステップを有する、ビデオ画像のシーケンスをエンコードする方法であって、前記動きの推定及び／又は補償は、
所与のビデオ画像の画像セグメントを選択するステップと、
前記画像セグメント周辺で検索領域を規定するステップと、
前記検索領域に関する画像データを取得するステップと、
を有する方法において、
前記検索領域は、前記検索領域が水平および垂直方向に前記画像セグメントを囲み、当該検索領域の中心が前記画像セグメントの中心からオフセットを有するように規定され、前記オフセットはグローバル動きパラメータによって決定され、前記オフセットの表示はエンコードされたビデオ信号に予測情報として組み込まれることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記オフセットは、常に、前記ビデオ画像の水平方向にのみ存在する方法。
【請求項３】
請求項１に記載の方法において、前記オフセットは、前記ビデオ画像内の前記画像セグメントの全位置について同じ値を有する方法。
【請求項４】
請求項１に記載の方法において、前記グローバル動きパラメータは、少なくとも１つの先行するビデオ画像の動きベクトル場の特性に依存する方法。
【請求項５】
請求項１に記載の方法において、前記グローバル動きパラメータは、前記動きベクトル場の動きベクトルの最大値に依存する方法。
【請求項６】
請求項１に記載の方法において、前記グローバル動きパラメータは、前記動きベクトル場の動きベクトルの平均値に依存する方法。
【請求項７】
動きを推定および／または補償するための手段を有する、ビデオ画像のシーケンスをエンコードするためのエンコーダであって、前記動きを推定および／または補償するための手段が、
所与のビデオ画像の画像セグメントを選択するための手段と、
前記画像セグメント周辺で検索領域を規定するための手段と、
前記検索領域に関連する画像データを取得するための手段と、
を有するエンコーダにおいて、
前記規定するための手段は、前記検索領域を、前記検索領域が水平および垂直方向に前記画像セグメントを囲み、当該検索領域の中心が前記画像セグメントの中心からオフセットを有するように規定する手段を有し、前記オフセットはグローバル動きパラメータにより決定され、前記エンコーダは、前記オフセットの表示をエンコードされたビデオ信号に予測情報として組み込むための手段を更に有する
ことを特徴とするエンコーダ。
【請求項８】
ビデオ画像のシーケンスを得るための手段と、
エンコードされたデジタルビデオ信号を得るべく前記ビデオ画像のシーケンスをエンコードするための請求項７に記載のエンコーダと、
前記エンコードされたビデオ信号を出力するための出力ユニットと
を有する配信システム。
【請求項９】
再生装置において、
エンコードされたビデオ画像のシーケンスを含むエンコードされたデジタルビデオ信号を得るための入力装置であって、前記エンコードされたデジタル信号はエンコードされたビデオ信号の予測情報としてグローバル動きパラメータによって決定されるオフセットの表示を含むものである、入力装置と、
処理されたビデオ画像を得るべく、少なくとも所与のビデオ画像を動き補償及び／又は推定するための装置であって、
所与のビデオ画像の画像セグメントを選択するための手段と、
前記エンコードされた画像信号に含まれる前記オフセットの表示により決定される画像セグメントに関するオフセットを有する検索領域を、前記画像セグメント周辺で前記検索領域が水平および垂直方向に前記画像セグメントを囲むように規定するための手段と、
前記検索領域に関連する画像データを取得するための手段と
を備えた装置と、
前記処理されたビデオ画像を出力する出力手段と
を有する再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像の動きの補償及び/又は推定のための方法に関する。
【０００２】
【従来の技術】
Herve Benoitによる「Digital Television, MPEG-1, MPEG-2 and principles of the DVB system」、ロンドン、(1997)、ページ40〜42は、P及びBピクチャが、動き推定を使用して先行するおよび／または引き続きの画像から予測されることを開示している。動き推定は、動きベクトルを規定することから成り、この動きベクトルは、ブロックマッチングとして知られている技術を用いて第2の画像上の「到着」領域と第1の画像上の「出発」領域との間の相関を保証する。これは、マクロブロックレベル（16x16ピクセル）で、小さな検索ウィンドウ内で現在の画像のマクロブロックを前の画像から移動することと、当該マクロブロックを前記ウィンドウの全ての可能なマクロブロックと比較して最も類似したマクロブロックを見つけることとにより行われる。エンコードされるべき実際のブロックと、マッチするブロックとの間の差（または予測誤差）が計算されて、Iピクチャのブロックと類似した手段でエンコードされる。このプロセスは、動き補償と呼ばれるものである。
【０００３】
動き推定および／または補償の他の応用例は、ビデオ信号処理システムの出力画像速度が入力画像速度と異なるビデオスキャン速度変換である。また、この種のアプリケーションは、Gerard de Haan他による"True-motion Estimation with 3-D Recursive Search block Matching", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 3, No. 5(1993年10月)及び"IC for Motion-compensated De-interlacing, Noise Reduction and Picture-rate conversion", IEEE Transactions on Consumer Electronics, Vol. 45, No. 3(1999年8月)に説明されるように、動きベクトルから利する。
【０００４】
このようなエンコーディングまたはスキャン速度変換方法については、更に、動き推定および／または動き補償の他の実際的なアプリケーションについては、動きベクトルの決定は、通常はブロックマッチングに基づくものである。このブロックマッチングにより、エンコードされた画像の16x16または8x8ピクセルを典型的に含む、一般に正方形の選択されたピクセルブロックについて、周囲のサブ領域が、該サブ領域の中心に位置するピクセルブロックにより規定され、典型的には例えば88x40のピクセルを含む。このサブ領域は、先行する画像において同じ空間位置にあるピクセルブロックの周りの検索領域またはウィンドウとして適用され、これにより、該検索領域またはウィンドウ内に位置する、選択されたピクセルブロックのビデオ信号情報にマッチするビデオ信号情報を有するピクセルブロックが検索される。Hentschelによる「Video-Signalverarbeitung」,B.G.Teubner Stuttgart 1998、ページ214-217も参照されたい。
【０００５】
現在のシステムにおいては、この検索領域またはウィンドウの画像データは、かなり極端な帯域幅要求がなされるローカルバッファまたはオンチップメモリに通常記憶される。
【０００６】
この検索領域は、その画像セグメントについて可能な動きベクトル範囲に亘って動かされる画像セグメント（例えばマクロブロック）の全ての可能な位置を含む領域と関連する。したがって、検索領域の大きさと動きベクトル領域との間には直接的な関係がある。より大きい検索領域は通常、動き推定および／または補償を改良する。しかし、より大きい検索領域は、シリコン領域に関するより多くの資源を、特にバッファメモリの量として必要とする。これは、品質と実現経費との間の折り合いである。
【０００７】
【発明が解決しようとする課題】
本発明の目的は、改良された動き推定および／または補償を提供することである。
【０００８】
このために、本発明は独立請求項に記載の動き推定及び/又は補償、エンコーディング、エンコードされたデジタルビデオ信号、ストレージ製品、配信システムおよび再生装置を提供する。有利な実施例は、従属請求項において規定される。
【０００９】
【課題を解決するための手段】
本発明の第1の態様によれば、検索領域は、該検索領域の中心が画像セグメントの中心からオフセットを有するように規定される。オフセットを導入することによって、検索領域は有利な位置に規定されることができる。例えば、動きが所与の方向に予期される場合、検索ウィンドウは同じ方向にオフセットを有するように規定されてもよく、これにより、予想される動きの方向により大きな動きベクトル領域が可能になる。実際は、検索ウィンドウは、反対方向の検索領域の減少を犠牲にして、有利な方向に拡大される。8x8ピクセルブロック等の実際に処理されている画像セグメント（選択された画像セグメント）の中心から、検索領域またはウィンドウの中心をオフセットすることによって、該ローカル検索領域またはウィンドウの位置は、前記画像セグメントに対して非対称になる。検索領域のためのオフセットを規定するために、（グロ―バル）動きの代わりに他の画像特性も用いられてもよい。バッファメモリに一時的に記憶されていた、検索領域に関連した画像データが、画像メモリから取得されるというアプリケーションにおいて、本発明のこの態様は特に有利である。
【００１０】
実際的な実施例において、オフセットはビデオ画像の水平方向にのみ存在する。
ビデオにおいては水平方向の動きが最も一般的であるので、これは有利である。
【００１１】
実際的な実施例において、オフセットはグロ―バル動きパラメータによって決定される。このパラメータは、画像のシーケンス内のグローバル動きから抽出されてもよく、または画像の部分の動き特性に局所的に適応してもよい。グローバル動きの方向の動きベクトルの最大範囲は増加し、グローバル動きの補償が提供される。
【００１２】
本発明の実施例による動き推定および／または補償は、デジタルビデオ信号のエンコーディング/圧縮の動き補償予測、ノイズリダクションの動き補償フィルタリング、ビデオフォーマット変換の動き補償補間、及び、インタレースしたビデオ信号の動き補償デインタレース等、動き推定および／または動き補償の使用を伴う全てのデジタルビデオ信号処理機能に適用されてもよい。
【００１３】
以下で、本発明は添付の図面を参照して更に詳細に説明される。
【００１４】
【発明の実施の形態】
図1において、シーケンスの前の画像に基づいた、連続したビデオ画像のシーケンスにおける画像の補間に対する動きベクトルVの適用の例が与えられる。このような補間は、画像フォーマットの例えば50Hzから100Hzへのビデオスキャン速度変換において典型的に使用される。
【００１５】
各動きベクトルVは、第1の画像P1の画像セグメントB1と第2の画像P2のマッチする画像セグメントB2との間の位置の差を記述する。一方向予測において、第2の画像P2は、通常先行する画像であるが、この第2の画像P2は、引き続きの画像であってもよい。この説明によれば、動きベクトルは二次元平面において規定されており、X成分およびY成分を有する。
【００１６】
実際的な実施例において、画像セグメントB1およびB2は例えば8x8ピクセルのブロックである。動きベクトル決定は、当技術分野で既知のいわゆるブロックマッチング技術に基づく。第2の画像P2において、選択されたブロックB12は、第1の画像P1の選択されたブロックB1に対応して規定される。検索領域Sは、B1/B12について可能な動きベクトルの範囲に従ってブロックB12の周りで規定される。典型的に、検索領域Sは、水平および垂直方向にピクセルブロックB12を囲む多くのピクセルブロックを有してもよく、8x8ピクセルのブロックの検索領域Sの大きさは、例えば88x40のピクセルであってもよい。ブロックB1/B12に割り当てられるべき動きベクトルVは、検索領域またはウィンドウS中でピクセルブロックB1に最もマッチしているブロックB2を検索することによって決定される。
【００１７】
この検索プロセスは、ブロックマッチング技術を用いて、動き推定の実際の適用の程度にある程度は依存して、異なる複雑さのレベルで実施することができるが、予測メモリに記憶されたいわゆる候補ベクトルの組からの最良のベクトルの選択を典型的に伴う。検索プロセスの詳細はここで説明されないが、種々の選択肢の総合的な分析が、Gerard de Haan他による"True-motion Estimation with 3-D Recursive Search Block Matching", IEEE transactions on Circuits and Systems for Video Technology, Vol.3, No. 5 (1993年10月)及びGerard de Haanによる"IC for Motion-compensated De-interlacing, Noise Reduction and Picture-rate conversion", IEEE Transactions on Consumer Electronics, Vol. 45, No. 3 (1999年8月)に与えられる。
【００１８】
このようにして、動きベクトルは画像P1の全てのブロックについて決定されてもよい。動きベクトルは、所望のビデオフォーマット変換において得るべき画像を補間するのに用いてもよい。
【００１９】
動きベクトルVの最大範囲は検索領域またはウィンドウSの大きさに関連し、実際のピクセルブロックは当該検索領域又はウィンドウの中心に存在するので、
最大動きベクトルVの水平及び垂直成分の最大範囲は、説明された例では水平及び垂直方向にそれぞれ40及び16ピクセルになり、それぞれ8及び5ピクセルブロックに対応する。
【００２０】
図2は、本発明の1つの実施例による動き推定および／または動き補償を示し、画像P2のピクセルブロックB12に割り当てられた検索領域またはウィンドウSは、中心がピクセルブロックB12の位置からオフセットCOだけオフセットするように規定される。オフセットは、グローバル動きパラメータによって有利に決定され、このパラメータは典型的にパンニングまたはティルティングの形でカメラ移動によって生じ得るように、例えば処理中の画像を含む画像のシーケンス中のグローバル動きから抽出される。このことにより、検索領域またはウィンドウSはブロックB12に関して非対称に配置され、動きベクトルの決定のための最大範囲は1つの水平方向および／または1つの垂直方向に延長されてもよい。図2に示される例において、検索領域またはウィンドウSの中心のオフセットCOは、水平方向に10ピクセル、及び垂直方向に8ピクセルになり、これは水平方向に(右に)50ピクセルの最大領域及び垂直方向に(上に)24ピクセルの最大領域を生じる。
【００２１】
ブロックB12に関する検索領域またはウィンドウSの非対称変位の単純な実現例において、中心オフセットCOを決定するグローバル動きパラメータは、1つ以上の先行する画像について特定される動きベクトルの平均ベクトルから決定されてもよい。
【００２２】
より高度なシステムにおいては、中心オフセットCOを決定するための最大ベクトル値の算出のために、前もって計算されたベクトル場の統計値を用いてもよい。
【００２３】
例えばビデオスキャン速度変換における使用のための可能な動き推定器アーキテクチャの図3の簡略ブロック図において、入って来る画像は画像メモリ1に供給され、動きベクトルが決定されるべき画像セグメントの群を有する実際の画像対P1およびP2は、前記画像メモリ1からブロック照合器(matcher)2へ移動される。ブロック照合器2において、画像P1の選択された画像ブロックにマッチした画像P2の画像セグメント群またはブロックの検索は、ローカルバッファまたは検索領域メモリ3からブロック照合器2へ移動された検索領域Sの適用によって、また、ベクトルメモリ4からブロック照合器2へ移動された候補動きベクトルCVの組を用いて、遂行される。
【００２４】
バッファメモリ3に一時的に記憶される検索領域Sは、画像メモリ1'に記憶されていた画像P2から得られる。画像メモリ1および1'は、1つの画像メモリで実現されてもよい。
【００２５】
ベクトルメモリ4は、第2の画像P2のセグメント群またはブロックに対して決定される全ての動きベクトルおよび画像P1中で検索されるべき画像ブロックを記憶する。候補ベクトルの組は、典型的に、先行する画像の同じ位置または実際の画像の隣接した画像ブロックを有する画像ブロックに対して決定される動きベクトルを有してもよい。
【００２６】
本発明によれば、検索領域Sの所与の大きさに対して可能な動きベクトルの範囲の拡大は、調査中のセグメント群の画像またはブロックの位置から検索領域の中心をオフセットするために検索領域の定義を修整することによって可能にされる。
【００２７】
単純な実現例において、この修正は、ベクトルアナライザ5のベクトルメモリ4から、前もって得られていたベクトルの分析による動き補償パラメータCPの決定で示されるように遂行されてもよい。ブロック照合器2において遂行されるブロックマッチングプロセスは、従来技術において周知であり、候補ベクトルの適用によってローカライズされるブロックの比較またはマッチングを伴う。
【００２８】
このプロセスを通じて各マッチエラーMは、最高のマッチを選択するベクトル選別器6に転送されて、引き続きの動きベクトルの決定のために、ベクトルメモリ4の対応する候補ベクトルを記憶する。
【００２９】
図3に示される単純な動き推定器アーキテクチャは、本発明の実現例の例の1つに過ぎない。代替可能性として、前に処理された画像ブロックまたは先行する画像からの動き補償パラメータはグローバル動き推定メモリに記憶されてよく、ここから、実際の使用のための動き補償パラメータは適切な選択手段によって格納されることができる。
【００３０】
図４は、本発明の１つの実施例による配信システム１０を示す。配信システム１０は、ビデオ画像のシーケンスを得るための手段１００を有する。手段１００はカメラであってよいが、ビデオ画像のシーケンスを保持する信号を受信するためのアンテナ等の入力ユニットであってもよい。手段１００は更に、記録担体の読出ユニットであってもよい。配信システムは、エンコードされたデジタルビデオ信号Ｓを得るためにビデオ画像のシーケンスをエンコードするためのエンコーダ１０１を更に有する。エンコーダ１０１は、非対称検索領域（例えば図３の装置）を使用する動き推定および／または補償装置を有する。配信システム１０は、例えば信号Ｓをストレージ製品２０に保存することによりエンコードされたビデオ信号Ｓを出力するための出力ユニット１０２を更に有する。好適には、出力ユニット１０２は、非対称検索領域のオフセットの表示をエンコードされたビデオ信号Ｓの予測情報として組み込む。オフセットは、明示的に信号に含まれてもよいが、暗示的に動きベクトル範囲に含まれてもよい。
【００３１】
図5は、本発明の1つの実施例によるテレビジョンまたはデジタルレシーバ等の再生装置300を示す。再生装置300は、エンコードされたビデオ画像のシーケンスを有するエンコードされたデジタルビデオ信号を得る入力装置301を有する。入力装置301は、エンコードされたビデオ画像を受信するように適切に構成される配信システムの入力装置101と類似していてもよい。エンコードされたビデオ画像のシーケンスは、ストレージ製品20'から得られてもよい。再生装置30は、更に、なかでも、非対称検索領域を使用して動き補償および／または推定を実行するプロセッサ302を有する。それに対して、プロセッサ302は図3に与えられた装置を有してよい。出力ユニット303（例えばディスプレイ）は、処理されたビデオ画像を出力する。装置302において実行される処理は、非対称検索領域で動き推定および／または動き補償を実行しているスキャン速度変換であってもよい。再生装置が図4の配信システム10から得られる信号Sを処理する場合には、検索領域は、信号Sに含まれる動きベクトル情報によって決定されてもよい。
【００３２】
上記の実施例は本発明を制限するのではなく説明しているのであり、当業者は、添付の請求項の範囲から逸脱することなく多くの代替実施例を設計することができることに注意されたい。請求項において、括弧内の参照符号は請求項を制限するものと解釈されない。「有する」なる用語は、請求項に記載されていない他の要素又はステップの存在を排除するものではない。本発明は、幾つかの異なった要素を有するハードウェアによって、また、適切にプログラムされたコンピュータによって、実現することができる。幾つかの手段を列挙している装置クレームにおいて、これらの手段のいくつかは1つの同一のハードウェアの部品により実現されることができる。特定の手段が互いに異なった従属請求項に記載されているという事実だけでは、これらの手段の組み合わせを有利に用いることができないということを示さない。
【図面の簡単な説明】
【図１】  従来技術で知られているようなベクトル制限のある検索領域を示す。
【図２】  本発明の1つの実施例によるグローバル動きに対する補償を有する検索領域を示す。
【図３】  例えばビデオスキャン速度変換における使用のための本発明の実施例による可能な動き推定器アーキテクチャの簡略ブロック図である。
【図４】  本発明の1つの実施例による配信システムを示す。
【図５】  本発明の1つの実施例による再生装置を示す。
【図１】
0004472986.tif 000002
【図２】
0004472986.tif 000003
【図３】
0004472986.tif 000004
【図４】
0004472986.tif 000005
【図５】
0004472986.tif 000006