(57)【要約】【課題】時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンする方法及び装置及び参照フレームに関して現在のフレームの動きを推定するための方法及び装置を提案することである。【解決手段】上記課題は、時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンする方法及び装置において同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされることによって解決され、参照フレームに関して現在のフレームの動きを推定するための方法及び装置においてピクセルのスキャニングの順番は正反対の方向のスキャンから導出される空間及び時間プレディクタを得るように同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされること又はラインのスキャニングの順番は１フレームごとにリバースされることに従うことによって解決される。【選択図】図２
2006216052.tif 000002
【特許請求の範囲】
【請求項１】
時間リカレンス（time recurrence）を表す画像のシーケンスにおけるピクセルをスキャンする方法において、同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされることを特徴とする、時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンする方法。
【請求項２】
ラインのスキャニングの順番は１フレームごとにリバースされることを特徴とする、請求項１記載のピクセルをスキャンする方法。
【請求項３】
参照フレームに関して現在のフレームの動きを推定するための方法であって、
画像の各ピクセルに対する次のステップ、すなわち、
空間プレディクタの推定、
時間プレディクタの推定
を含む、参照フレームに関して現在のフレームの動きを推定するための方法において、
ピクセルのスキャニングの順番は、正反対の方向のスキャンから導出される空間及び時間プレディクタを得るように請求項１又は２記載の方法に従うことを特徴とする、参照フレームに関して現在のフレームの動きを推定するための方法。
【請求項４】
各ピクセルに対して、３つの空間プレディクタ及び１つの時間プレディクタが計算されることを特徴とする、請求項３記載の動きを推定するための方法。
【請求項５】
時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンするための装置において、
同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされることを特徴とする、時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンするための装置。
【請求項６】
参照画像に関して現在のフレームの動きを推定するための装置であって、
画像の各ピクセルに対して空間プレディクタを推定するための手段、
画像の各ピクセルに対して時間プレディクタを推定するための手段
を含む、参照画像に関して現在のフレームの動きを推定するための装置において、
ピクセルのスキャニングの順番は、正反対の方向のスキャンから導出される空間及び時間プレディクタを得るように請求項１又は２記載の方法に従うことを特徴とする、参照画像に関して現在のフレームの動きを推定するための装置。
【請求項７】
ラインのスキャニングの順番は１フレームごとにリバースされることを特徴とする、請求項６記載のピクセルをスキャンする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間リカレンス（time recurrence）を表す画像のシーケンスにおけるピクセルをスキャンする方法及び装置に関し、さらに、参照フレームに関して現在のフレームの動きを推定するための方法であって、画像の各ピクセルに対する次のステップ、すなわち、空間プレディクタの推定、時間プレディクタの推定を含む、参照フレームに関して現在のフレームの動きを推定するための方法及び参照画像に関して現在のフレームの動きを推定するための装置であって、画像の各ピクセルに対して空間プレディクタを推定するための手段、画像の各ピクセルに対して時間プレディクタを推定するための手段を含む、参照画像に関して現在のフレームの動きを推定するための装置に関する。特に本発明はビデオフレームにおけるピクセルをスキャンする装置及び方法に関する。本発明は画像又はビデオ処理の分野において適用可能であり、とりわけ動き推定の分野において適用可能である。
【背景技術】
【０００２】
多くの画像処理アルゴリズムは、連立方程式における曖昧さを排除するために又は収束のスピードを改善するために又は単に収束のために空間・時間リカレンスを仮定している。これは、例えば現在のピクセルに関連する結果を計算するために直接的空間隣接性（ビデオにおける現在のピクセルに隣接するピクセル）から導出される結果を考慮に入れること（時間プレディクタ（time predictors）の概念）、又は、前の画像の間に計算された結果を考慮に入れること（空間プレディクタ（space predictors）の概念）によって反映される。
【０００３】
ビデオ処理のケースでは、後者は通常は受信されるとおりに、つまり画像において左から右へと、ライン毎に及びトップからボトムへと処理される。
【０００４】
Thomson Consumer Electronics社によるEuropean patent 0360698 filed on 22 September 1998 の”Method and device for estimating motion in a sequence of animated images”は同一フレームのラインにおける交替スキャニング（alternate scanning）を提案する方法を提示している。このような方法は主に空間リカレンスにあてはまり、最良の動作のためには、現在の計算ラインにおける少なくとも１つの空間プレディクタを必要とする。
【特許文献１】European patent 0360698 filed on 22 September 1998
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンする方法及び装置及び参照フレームに関して現在のフレームの動きを推定するための方法及び装置を提案することである。
【課題を解決するための手段】
【０００６】
上記課題は、時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンする方法及び装置においては、同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされることによって解決され、
さらに、参照フレームに関して現在のフレームの動きを推定するための方法及び装置においては、ピクセルのスキャニングの順番は、正反対の方向のスキャンから導出される空間及び時間プレディクタを得るように、同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされること又はラインのスキャニングの順番は１フレームごとにリバースされることに従うことによって解決される。
【発明を実施するための最良の形態】
【０００７】
この方法は、１フレームごとにスキャニング方向を交替させることを提案する。フレームスキャニングをリバースすることは時間リカレンスに作用し、この場合、時間プレディクタは空間プレディクタとは直接的に「正反対のフェーズ（phase opposition）」にある。なぜなら、これらは正反対のスキャンから導出されるからである。
【０００８】
本発明は、時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンする方法を提案する。本発明によれば、同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされる。
【０００９】
有利には、ラインのスキャニングの順番は１フレームごとにリバースされる。
【００１０】
本発明の第２の局面によれば、本発明は参照フレームに関して現在のフレームの動きを推定するための方法であって、画像の各ピクセルに対する次のステップ、すなわち、
空間プレディクタの推定、
時間プレディクタの推定
を含む、参照フレームに関して現在のフレームの動きを推定するための方法に関する。本発明によれば、正反対の方向のスキャンから導出される空間及び時間プレディクタを得るように同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされる。もしくは、正反対の方向のスキャンから導出される空間及び時間プレディクタを得るようにラインのスキャニングの順番は１フレームごとにリバースされる。
【００１１】
有利な実施形態によれば、各ピクセルに対して、３つの空間プレディクタ及び１つの時間プレディクタが計算される。
【００１２】
本発明の第３の局面によれば、本発明は、時間リカレンスを表す画像のシーケンスにおけるピクセルをスキャンするための装置に関する。同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされる。
【００１３】
本発明の第４の局面によれば、本発明は、参照画像に関して現在のフレームの動きを推定するための装置であって、
画像の各ピクセルに対して空間プレディクタを推定するための手段、
画像の各ピクセルに対して時間プレディクタを推定するための手段
を含む、参照画像に関して現在のフレームの動きを推定するための装置に関する。本発明によれば、ピクセルのスキャニングの順番は、正反対の方向のスキャンから導出される空間及び時間プレディクタを得るように請求項１又は２記載の方法、すなわち同一ラインにおけるピクセルのスキャニングの順番は１フレームごとにリバースされること又はラインのスキャニングの順番は１フレームごとにリバースされることに従う。
【００１４】
特に本発明はビデオフレームにおけるピクセルをスキャンする装置及び方法に関する。  本発明は画像又はビデオ処理の分野において適用可能であり、とりわけ動き推定の分野において適用可能である。
【実施例】
【００１５】
本発明を実施例及び有利なインプリメンテーションによって、図面を参照しつつ説明し、添付される図面は、
図１は本発明の実施例による装置を示す線図であり、
図２は異なるフレームにおけるスキャニングの方向の第１の例を示す線図であり、
図３は異なるフレームにおけるスキャニング方向の第２の例を示す線図であり、
図４ａは図２及び３のスキャニングモードにおいて使用される偶数フレームの空間及び時間プレディクタを示す線図であり、
図４ｂは図２のスキャニングモードにおいて使用される奇数フレームの空間及び時間プレディクタを示す線図であり、
図４ｃは図３のスキャニングモードにおいて使用される奇数フレームの空間及び時間プレディクタを示す線図である。
【００１６】
以下の記述は動き推定アプリケーションに基づく。もちろん、他の画像処理動作を考慮することも可能であり、本発明のコンテキストに含まれうる。他の例示的な実施形態の中でも、フィルタリング、重み付け等々を想定することが可能である。
【００１７】
信号が格納される前に、インターレースされていないビデオ信号Ｖinがフォーマッティング手段４によって受信される。これらの手段４は到着するビデオ信号に対するフィルタリング、ルミナンス又はクロミナンス成分の抽出及び計算のような処理動作を実施するようにデザインされている。
【００１８】
メモリ３が変換されたビデオ信号を格納するために手段４の出力側に設けられている。
【００１９】
メモリ３は有利には高速アクセスＳＤＲＡＭ又はＤＤＲＡＭ型メモリである。メモリ３は多数のビデオフレームを格納するための十分な容量を有する。
【００２０】
メモリ３はメモリ３よりも少ない容量を有する内部メモリ２に接続されており、現在のデータフレームの少なくとも１つのライン及び前のデータフレームのラインを格納するようになっている。このメモリ２は有利には内部レジスタの形式でインプリメントされている。この内部レジスタは現在のピクセルが配置されているライン及び現在のポイントからＤＦＤ（displaced frame differences）を計算するのに必要なラインの個数を格納する。ビデオが左-右方向に受信され、動きベクトル計算のためのピクセルのスキャニングが右から左へと行われると、このラインは続いて空間プレディクタ計算に使用されるようにメモリ２に格納される。
【００２１】
メモリ２は入力として前のフレームから導出され時間プロジェクションモジュール５により生成される時間情報も受信する。
【００２２】
モジュール１は現在のフレームの各ピクセルに対して動きベクトルを計算する。このモジュールは入力として現在のライン及び前のライン上の現在のピクセル及び隣接ピクセルのルミナンス値及び時間プレディクタ及び空間プレディクタを受信する。
【００２３】
処理方向とも呼ばれるフレームのスキャニングの方向は図２に示されている。
【００２４】
偶数フレームはビデオの到着する方向に処理され、奇数フレームは別の方向に処理され、ラインはフレームの第１のラインからフレームの最終ラインへと処理される。
【００２５】
このビデオ処理は情報のトップからボトムへのプロパゲーションを保持する。しかし、１画像おきのスキャニングの方向の逆転は２つの効果を有する：
時間リカーシブ・ループにおけるスキャニングの逆転、時間及び空間プレディクタは正反対の方向におけるスキャンから導出される、
空間リカーシブ・ループにおけるスキャニングの逆転、計算の方向は画像ごとにリバースされる。
【００２６】
これは、従来のスキャンの左/右プロパゲーションを全く大事にしないことによって処理の正確さを向上する：水平方向「平均時間スキャン」はゼロである。
【００２７】
リカレンスは動き値をスキャニングの方向にプロパゲートする傾向を持つ。これはオブジェクトに関する動き値の僅かな空間的オフセットに反映される。１画像おきに計算の方向をリバースすることはこの水平方向平均オフセットを制限する。
【００２８】
現在の各ピクセルに対して、１つの時間プレディクタ及び３つの空間プレディクタが図４ａ及び４ｂに示されているように計算される。
【００２９】
時間プレディクタ（time predictors）の位置はＰ１により表される現在のピクセルの位置に相応する。
【００３０】
空間プレディクタ（space predictors）はＰ２、Ｐ３及びＰ４により表される。
【００３１】
モジュール１は次の関数：
Res(current_pixel)=Function(Spacepredictors,Timepredictors)
を計算する。
【００３２】
この動き推定アプリケーションでは、Res(current_pixel)は現在のピクセルに対する動きベクトルに相応する。
【００３３】
この関数はルミナンス値に対して適用される。
【００３４】
現在の各ピクセルに対して、当業者にとっては公知の方法に従って、グラジエント値と同様に、ＤＦＤ値が計算される。最良のプレディクタがセレクトされ、補正項がＤＦＤ及びグラジエントに基づいて計算され、モジュール１の出力側に動きベクトルを発生する。
【００３５】
時間プロジェクションモジュール５は次のフレームにおける動きベクトルの時間プロジェクションを実行する。この時間プロジェクションは次のフレームのピクセルの動きベクトルを計算する場合に使用するためにメモリ２に伝達される。
【００３６】
有利には、最良のプレディクタの選択の順番は１フレームごとに逆転される。もしＤＦＤ値がマッチするならば、最も左のプレディクタが偶数フレームに対して選択され、最も右のプレディクタが奇数フレームに対して選択される。これは収束の有利な方向も制限する。これは一定の計算時間アドバンテージを与える。なぜなら、現在のピクセルと同一のライン上に配置された空間プレディクタにアクセスすることは困難であるからである。
【００３７】
図３は偶数フレームと奇数フレームのスキャニングが交替されているが、図２で提案されるスキャニングとは異なるやり方で交替されている実施例を表す。実際、本発明によりカバーされるこの実施例では、奇数フレームがラインレベルでビデオの受信の逆方向にスキャンされ、ラインの処理はフレームの最終ラインから始まり、第１のラインへとさかのぼってゆく。
【００３８】
この実施例に対する時間及び空間プレディクタは、奇数フレームの場合は図４ｃに、偶数フレームの場合は図４ａに記述されている。
【００３９】
本発明は、偶数フレームがビデオの到着する方向の逆方向に又は右から左へと処理され、奇数フレームが左から右へと処理される実施例もカバーする。
【００４０】
他の実施例では、時間及び空間プレディクタの個数はアプリケーション又はビデオコンテンツに応じて異なりうる。
【００４１】
他の実施例では、ビデオ処理はビデオの色成分に適用される。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施例による装置を示す線図である。
【図２】異なるフレームにおけるスキャニングの方向の第１の例を示す線図である。
【図３】異なるフレームにおけるスキャニング方向の第２の例を示す線図である。
【図４】図４ａは図２及び３のスキャニングモードにおいて使用される偶数フレームの空間及び時間プレディクタを示す線図であり、図４ｂは図２のスキャニングモードにおいて使用される奇数フレームの空間及び時間プレディクタを示す線図であり、図４ｃは図３のスキャニングモードにおいて使用される奇数フレームの空間及び時間プレディクタを示す線図である。
【符号の説明】
【００４３】
１  動きベクトル計算モジュール
２  内部メモリ
３  メモリ
４  フォーマッティング手段
５  時間プロジェクションモジュール
Ｐ１  時間プレディクタ
Ｐ２〜４  空間プレディクタ
【図１】
2006216052.tif 000003
【図２】
2006216052.tif 000004
【図３】
2006216052.tif 000005
【図４】
2006216052.tif 000006