(57)【特許請求の範囲】
【請求項１】
両側ブロック突合せを用いる動き評価の方法であって、補間されるべき現在のフィールド又はフレームは、該補間されるべきフィールド又はフレームを覆う、隣接する重ならない画素ブロックの規則的なグリッドに分割され、
前方フィールド又はフレームの探索ウィンドウ内の夫々の候補画素ブロックは、該補間されるべきフィールド又はフレームにおける現在の画素ブロックについて動きベクトルを選択するため、後方フィールド又はフレームにおける探索ウィンドウ内の夫々の候補画素ブロックと突き合わされ、
該現在の画素ブロックに対する該動きベクトルの第一の部分が、該後方フィールド又はフレームの探索ウィンドウの中の最も良く合うブロックの位置を示し、該動きベクトルの第二の部分が、該前方フィールド又はフレームの探索ウィンドウの中の最も良く合うブロックの位置を示し、該動きベクトルの該第一の部分と第二の部分が、１つの候補となる動きベクトルを形成するように該両側ブロック突合せが行われ、
該候補となる動きベクトルの全ては、該補間されるべき現在のフィールド又はフレームにおける同一の点を通過する、
ことを特徴とする方法。
【請求項２】
該動きベクトルの該第一の部分と第二の部分は、該動きベクトルの二分の一のベクトルをそれぞれ形成する、
請求項１記載の方法。
【請求項３】
該後方及び該前方フィールド又はフレームの該ブロック突合せは、補間された半画素の値を使用して行われる、
請求項１又は２記載の方法。
【請求項４】
該動きベクトルのうちの該第一の二分の一のベクトルと、該第二の二分の一のベクトルは、結果的に得られる該動きベクトルの合計が適正となるように丸め処理がなされる、
請求項２又は３記載の方法。
【請求項５】
フィールドレート又はフレームレートのアップコンバージョン、スローモーションの発生のために使用される、
請求項１乃至４のいずれか記載の方法。
【請求項６】
両側ブロック突合せを用いる動き評価の装置であって、補間されるべき現在のフィールド又はフレームは、該補間されるべきフィールド又はフレームを覆う、隣接する重ならない画素ブロックの規則的なグリッドに分割され、
該補間されるべきフィールド又はフレームにおける現在の画素ブロックについて、前方フィールド又はフレームの予め選択された幅を有する探索ウィンドウの要求された画素位置の画素を提供するフィールド又はフレーム遅延手段、ライン遅延手段及びサンプル遅延手段と、
該補間されるべきフィールド又はフレームにおける該現在の画素ブロックについて、後方フィールド又はフレームの該予め選択された幅を有する探索ウィンドウの要求された画素位置の画素を提供する更なるフィールド又はフレーム遅延手段、ライン遅延手段及びサンプル遅延手段と、
２つの入力をそれぞれ有し、該フィールド又はフレーム遅延手段、該ライン遅延手段及び該サンプル遅延手段、若しくは該更なるフィールド又はフレーム遅延手段、該更なるライン遅延手段及び該サンプル遅延手段に接続され、該２つの入力で得られる画素間の誤差を累積することで、該前方フィールド又はフレームの探索ウィンドウ内の夫々の候補画素ブロックを該後方フィールド又はフレームの探索ウィンドウ内の夫々の候補画素ブロックと突き合わせ、各ブロックの総誤差を得るため一部分の結果を記憶する処理要素と、
該補間されるべきフィールド又はフレームにおける該現在の画素ブロックについて１つの動きベクトルを選択するため、該前方フィールド又はフレーム及び後方フィールド又はフレームから最も良く合うブロックの対の位置に関連する動きベクトルを選択する検出手段とを備え、
該動きベクトルの第一の部分は、該後方フィールド又はフレームの探索ウィンドウにおいて最も良く合うブロックの位置を示し、該動きベクトルの第二の部分は、該前方フィールド又はフレームの探索ウィンドウにおいて最も良く合うブロックの位置を示し、該動きベクトルの該第一の部分と該第二の部分は、１つの候補となる動きベクトルを形成し、該候補となる動きベクトルの全ては、該補間されるべき現在のフィールド又はフレームにおける同一の点を通過する、
ことを特徴とする装置。
【請求項７】
該動きベクトルの該第一の部分と該第二の部分は、該動きベクトルの二分の一のベクトルをそれぞれ形成する、
請求項６記載の装置。
【請求項８】
該検出手段は、該動きベクトルの該第一の二分の一のベクトルと該第二の二分の一のベクトルに対して、結果的に得られる該動きベクトルの合計が適正となるように丸め処理を行う、
請求項７記載の装置。
【発明の詳細な説明】
本発明はブロック突合せを用いる動き評価の方法及び装置に係る。
背景
ブロック突合せは、ロバスト性があり、かつ、直観的に簡便なテレビジョン画像の動き評価の方法として周知である。
図７には、整数の精度で水平方向及び垂直方向に１フィールド当たり±２画素のレンジを有する片側ブロック突合せ動き評価器の実現可能なアーキテクチャーが示されている。上記アーキテクチャーは、候補動きベクトル当たり１個ずつの処理素子に基づいている。各処理素子ＰＥは、二つの入力に得られる（候補ブロック位置及びベクトルに夫々関係するグループを形成する）画素間の誤差を累積し、各ブロックの総誤差を得るため一部分の結果を記憶する。上記処理素子は、各ブロックの最小誤差を生じる処理素子を検出するため図示しない手段によって相互に接続されている。処理素子は最小絶対値又は最小自乗誤差を計算する。
図７の片側動き評価器において、全ての処理素子ＰＥは、現在のブロックに対応する共通の入力ＩＮＰを有する。探索ウィンドウの画素間の相対移動は、入力ＩＮＰに接続されたフィールド遅延ＦＤの後に続くラインＬＤ及びサンプルＳＤの遅延回路によって与えられる。
米国特許出願第5162907号明細書には、基準画像は補間されるべき画像ではない片側ブロック突合せが示されている。
しかし、動き評価が画像間に正確な補間を提供することを目的とするとき、例えば、５０Ｈｚから１００Ｈｚのアップコンバータにおいて、従来のブロック突合せは、ブロックが補間されるべきフィールドではなく元のフィールドにあるので、計算された動きフィールドに誤差が生じる可能性があるという問題を欠点とする。
発明
本発明の一つの目的は、上記問題を解決するブロック突合せの方法を開示することである。かかる目的は請求の範囲の第１項に記載された方法によって達成される。
本発明の他の目的は、本発明の方法を利用する装置を開示することである。かかる目的は請求の範囲の第６項に記載された装置によって達成される。
本発明は両側ブロック突合せを使用する。両側ブロック突合せの利点は、５０Ｈｚから１００Ｈｚのアップコンバージョンに限定されることはなく、例えば、５０Ｈｚから６０Ｈｚ又は５０Ｈｚから７５Ｈｚの標準的な変換のようなあらゆる時間の補間に適用され、そのため、動きベクトルは時間的に入力フィールド間の点にあることが要求される。
図１に示されたような従来又は「片側」のブロック突合せにおいて、画像の中の現在のフィールド（又はフレーム）ＣＦは、典型的に矩形状のブロックに分割される。現在のブロックＣＢの各々に対し、現在のフィールドブロックＣＢに最も良く合うブロックを見つけるため、探索は、通常、ブロック内の画素に亘って合計された平均自乗又は平均絶対値誤差基準を用いて、前のフィールド（又はフレーム）ＰＦ内の同一寸法の重なり合うブロックの間で行なわれる。前のフレーム内の最も良く合うブロックの相対位置は、選択された移動、又は、現在のブロックに対する動きベクトルＭＶを与える。所定の現在のブロックＣＢに対し、前のフレームに含まれる画像の組は、そのブロックに対応する探索ウィンドウＳＷとして周知である。かくして、ブロック突合せ処理は、現在のブロックと探索ウィンドウを利用する。
フィールドレートのアップコンバージョンに適用された場合、片側ブロック突合せの問題は、動きベクトルの探索を行ったブロックが補間されるべきフィールドＩＦ内ではなく入力フィールド内にあることである。これにより、図２の（現在のブロックの位置ＰＣＢに関し）位置的誤差ＰＥが、動きの速度につれて増大する動きベクトルを評価するために使用される情報に生じる。本出願人による欧州特許第93 402188号に記載されているように、動いている領域の間の境界を局部制限するためブロック突合せを適用する場合、上記誤差はより重要性を増す。
位置的誤差ＰＥは、補間されたフィールドＩＦのブロックを動きベクトルに従って適当に移動させることにより訂正可能であるが、これにより、図３に示したように、ギャップＧＰ（動きベクトルが存在しない補間されたフィールド内の領域）と、同時に、少なくとも二つの動きベクトルが衝突する領域ＣＴとが発生する。
上記問題に対する本発明の解決法は、図４を参照して説明する両側ブロック突合せを使用することである。ここで、探索ウィンドウ（ＢＳＷ及びＦＳＷ）は、（候補画素ブロックＣＰＢＢとＣＰＢＦに関係する）候補動きベクトルの全てが補間されるべきフィールドＩＦの同一点を通るように二つの入力フィールドＢＦとＦＦの間で共有されている。かくして、「現在のブロック」は補間されるべきフィールドの仮想領域になり、二つの新しい探索ウィンドウＢＳＷとＦＳＷの各々は、各方向の最大動きベクトルの半分まで延びる。各動きベクトルは、その値の半分で前方（動きベクトルの前方半部ＦＨＭＶ）を前方フィールドＦＦに向け、その値の半分で後方（動きベクトルの後方半部ＢＨＭＶ）を後方フィールドに向ける。両方のベクトルは同一の候補動きベクトルに依存している。
現在のブロックＩＦＢは、補間されたフィールドを覆い、補間されたフィールド内に正確に置かれているので、両側ブロック突合せは位置的誤差問題を解決し、図５に示したように補間されたフィールド内のあらゆる点はその点に割り当てられた厳密に一つの動きベクトルを有するので、両側ブロック突合せはギャップと衝突の問題を解決する。
両側ブロック突合せの一つの問題は、所定の動きベクトルの精度に対し、画素の座標が片側ブロック突合せの２倍の正確さで表現されることを要求されることである。動きベクトルに整数精度が要求されている場合、動きベクトルの半分の前方及び後方への位置決めは最も近い半整数に関し表わされるので、上記問題は特に難しくなる。上記問題は：
（ｉ）（単純な双一次補間で十分に足りる）半画素の点を得るためフィールドを補間すること、又は、
（ii）合計を正しいままにしておくよう前方及び後方の半分のベクトルを丸めることの何れかによって解決することができる。
方法（ｉ）にはハードウェアの複雑さの増大が含まれ、方法（ii）は半画素の補間の必要性を回避するが、動きベクトルを評価するため使用される情報に半画素までの僅かな位置的誤差（即ち、ベクトルは正確な位置で計算されないが、現在のベクトル位置は要求される位置に非常に近いので、理想的なベクトルの方向は計算されたベクトルの方向と非常に類似している）を再び取り込み、この誤差が最終的な画質に及ぼす影響は無視できることが分かった。これら２通りの方法は図６に（１次元だけに対し）示されている。図６Ａは方法（ｉ）の補間された画素ＩＰの場合の両側の例を示し、図６Ｂは方法（ii）の僅かな位置的誤差ＳＰＥ（最大の例）のある両側の例を示している。
原理的に、本発明の方法は、予め選択された探索ウィンドウの幅の範囲内でブロック突合せを使用する動き評価に適当な方法であって、現在のフィールド又はフレームの連続的な各画素ブロックは、後方フィールド又はフレームの中の最も良く合うブロックの場所に関係し、かつ、前方フィールド又はフレームの中の最も良く合うブロックの場所に関係する動きベクトルを選択するため、上記予め選択された幅の半分を有する上記後方フィールド又はフレームの探索ウィンドウ内の夫々の候補画素ブロック、及び、上記予め選択された幅の半分を有する上記前方フィールド又はフレームの対応する探索ウィンドウ内の対応する画素ブロックと突合わされ、これにより、上記探索ウィンドウの現在の位置は、上記現在のフィールド又はフレームの上記現在の画素ブロックの位置に関係する。
本発明の方法の有利な他の実施例は請求の範囲の各従属項から得られる。
原理的に本発明の装置は、予め選択された探索ウィンドウの幅の範囲内でブロック突合せを使用する動き評価に適当な装置であって：
−  現在のフィールド又はフレームの連続的な各画素ブロックに、上記予め選択された幅の半分を有する後方フィールド又はフレームの探索ウィンドウの画素位置と、上記予め選択された幅の半分を有する前方フィールド又はフレームの対応する探索ウィンドウの画素位置とを提供するフィールド又はフレーム遅延手段、ライン遅延手段及びサンプル遅延手段と；
−  上記遅延手段と夫々の順序に配置され、二つの入力に得られる上記画素の間の誤差を累積することにより、現在のフィールド又はフレームの上記連続的な各画素ブロックを上記探索ウィンドウ内の対応する候補画素ブロックと突き合わせ、各ブロックの総誤差を得るため一部分の結果を記憶する処理素子と；
−  上記処理素子に接続され、第１の部分は上記後方フィールド又はフレームに関係し、第２の部分は上記前方フィールド又はフレームに関係し、最も良く合っている前方及び後方ブロックの対の場所に関係した動きベクトルを選択する検出手段とからなり、これにより、上記探索ウィンドウの上記現在の位置は上記現在のフィールド又はフレームの上記現在の画素ブロックの上記位置に関係する。
本発明の装置の有利な他の実施例は、請求の範囲の夫々の従属項から得られる。
図面
以下、添付図面を参照して本発明の好ましい実施例を説明する。
添付図面において：
図１は片側ブロック突合せの説明図であり、
図２は片側ブロック突合せの位置誤差の説明図であり、
図３は片側ブロック突合せにおける動きベクトルのギャップと衝突の説明図であり、
図４は両側ブロック突合せの説明図であり、
図５は両側ブロック突合せにおけるギャップと衝突の回避の説明図であり、
図６は精度問題の解決の説明図であり、
図７は片側ブロック突合せの一つのアーキテクチャーの説明図であり、
図８は両側ブロック突合せの一つのアーキテクチャーの説明図である。
好ましい実施例
図８には、整数の精度で水平方向及び垂直方向に１フィールド当たり±２画素のレンジを有する両側ブロック突合せ動き評価器の実現可能なアーキテクチャーが示されている。上記アーキテクチャーは、候補動きベクトル当たり１個ずつの処理素子に基づいている。各処理素子ＰＥは、二つの入力に得られる（候補ブロック位置及びベクトルに夫々関係するグループを形成する）画素間の誤差を累積し、各ブロックの総誤差を得るため一部分の結果を記憶する。上記処理素子は、各ブロックの最小誤差を生じる処理素子を検出するため図示しない手段によって相互に接続されている。
処理素子は最小絶対値又は最小自乗誤差を計算する。
図８の両側動き評価器は、精度問題を解決するため上記の方法（ii）を使用する。相対的な探索ウィンドウの移動を発生するため使用されるラインＬＤ及びＳＤサンプル遅延は二つのフィールドの間で共有され、各処理素子ＰＥの両方の入力はテストされている動きベクトルに依存し、これにより、一方の入力は入力ＩＮＰに接続されたフィールド遅延ＦＤを含んでいる。
上記アーキテクチャーによれば、両側形の装置は図７の片側形の装置よりも僅かに単純化される利点がある。
本発明の動き補償は、主観的な画像の品質を改善し、更に、スローモーションの発生、ノイズ低減、標準的な変換と、ＬＣＤディスプレイの制御とに使用することが可能である。
【図１】
0003852861.tif 000002
【図２】
0003852861.tif 000003
【図３】
0003852861.tif 000004
【図６】
0003852861.tif 000005
【図４】
0003852861.tif 000006
【図５】
0003852861.tif 000007
【図７】
0003852861.tif 000008
【図８】
0003852861.tif 000009