(57)【要約】本発明は、第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用することによる、ビデオ信号をデインタレースするための、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰り返しパターンを供給するための方法に関する。フィールド繰り返しパターンを考慮する動き補償を提供するため、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にし、最小化されたエラー基準を提供する候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成することが提案される。
2008504786.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号をデインタレースするため、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰り返しパターンを供給するための方法であって、
当該方法は、
第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用するステップと、
少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により前記動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間の誤差基準を最小にするステップと、
最小にされた誤差基準を提供する前記候補となる動きパラメータセット及び／又は前記ピクチャ繰り返し値を生成するステップとを含む、
ことを特徴とする方法。
【請求項２】
前記動きパラメータのセットは、動きベクトル、スケーリングの値及び／又は回転の値
を含む、
請求項１記載の方法。
【請求項３】
前記第一の画像及び前記第二の画像は時間的に隣接する、
請求項１記載の方法。
【請求項４】
前記誤差基準は絶対差分である、
請求項１記載の方法。
【請求項５】
前記画像は、グループオブピクセルにセグメント化され、第二の画像のグループオブピクセルと第一の画像の動き補償されたグループオブピクセルとの間の誤差基準が最小にされる、
請求項１記載の方法。
【請求項６】
第二の画像の少なくとも１つの画素値と時間的に前の画像の少なくとも１つの動き補償された画素値との間の誤差基準が最小にされる、
請求項１記載の方法。
【請求項７】
第二の画像の少なくとも１つの画素値と時間的に後の画像の少なくとも１つの動き補償された画素値との間の誤差基準が最小にされる、
請求項１記載の方法。
【請求項８】
時間的に前の画像からの画素の動き補償について、少なくとも第一及び第二の重み付けされた動きパラメータのセットの間で繰り返すステップを含む、
請求項１記載の方法。
【請求項９】
時間的に後の画像からの画素の動き補償について、少なくとも第三及び第四の重み付けされた動きパラメータのセットの間で繰り返すステップを含む、
請求項１記載の方法。
【請求項１０】
時間的に前の画像からの画素の動き補償について、少なくとも第一及び第二の重み付けされた動きパラメータのセットの間で繰り返すステップと、時間的に後の画像からの画素の動き補償について、少なくとも第三及び第四の重み付けされた動きパラメータのセットの間で繰り返すステップを含む、
請求項１記載の方法。
【請求項１１】
前記第一及び第三の動きパラメータの重み付け値はゼロに選択される、
請求項１０記載の方法。
【請求項１２】
前記第二及び第四の動きパラメータの重み付け値は絶対値に等しいように選択される、
請求項１０記載の方法。
【請求項１３】
少なくとも１つの候補となる動きパラメータのセット及び／又は少なくとも２つのピクチャの繰り返し値により動き補償された画素の計算を繰り返すことで、ａ）現在の画像の少なくとも１つの画素から計算された画素値と時間的に前の画像の少なくとも１つの動き補償された画素値との間の差、及び、ｂ）現在の画像の少なくとも１つの画素から計算された画素値と時間的に後の画像の少なくとも１つの動き補償された画素値との間の差を最小にするステップを含む、
請求項１記載の方法。
【請求項１４】
少なくとも２つの候補となる動きパラメータのセット及び／又は少なくとも２つのピクチャの繰り返し値により動き補償された画素の計算を繰り返すことで、ａ）現在の画像の少なくとも１つの画素からの補間された画素値と時間的に前の画像の少なくとも１つの動き補償された画素値との間の差、及び、ｂ）現在の画像の少なくとも１つの画素からの補間された画素値と時間的に後の画像の少なくとも１つの動き補償された画素値との間の差を最小にするステップを含む、
請求項１記載の方法。
【請求項１５】
空間−時間的な近接で検出されたフィールド繰り返しパターンに依存して、計算された誤差基準にペナルティを課すステップを含む、
請求項１記載の方法。
【請求項１６】
空間−時間的な近接で検出されていないピクチャ繰り返しパターンに対応するピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットから計算された誤差基準にペナルティを課すステップを含む、
請求項１記載の方法。
【請求項１７】
請求項１の方法に係る、ビデオ信号をデインタレースするための、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰り返しパターンを供給するためのコンピュータプログラムであって、
当該プログラムは、プロセッサに、
第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用させ、
少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間の誤差基準を最小にさせ、
最小にされた誤差基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成させる、
ために作用する命令を含むことを特徴とするコンピュータプログラム。
【請求項１８】
請求項１の方法に係る、ビデオ信号をデインタレースするための、入力ビデオ信号からの動きパラメータセット及び／又はピクチャ繰り返しパターンを提供するコンピュータプログラムを記録した記録媒体であって、
前記プログラムは、プロセッサに、
第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用させ、
少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間の誤差基準を最小にさせ、
最小にされた誤差基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成させる、
ために作用する命令を含むプログラムを記録した記録媒体。
【請求項１９】
請求項１記載の方法に係る、ビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータを提供するコンピュータであって、
当該コンピュータは、
ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用して第一の画像の画素値から動き補償された画素を計算するための動き補償手段と、
少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間の誤差基準を最小にする計算手段と、
最小にされた誤差基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成するための選択手段と、
を有することを特徴とするコンピュータ。
【請求項２０】
請求項１記載の方法に係る、ビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータセット及び／ピクチャ繰り返しパターンを提供する集積回路であって、
当該集積回路は、
ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用して第一の画像の画素値から動き補償された画素を計算するための動き補償手段と、
少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間の誤差基準を最小にする計算手段と、
最小にされた誤差基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成するための選択手段と、
を有することを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰返しパターンを供給する方法に関し、より詳細には、第一の画像の画素値から動き補償された画素を計算するためのピクチャ繰返しパターン値で重み付けされた候補となる動きパラメータのセットを使用することで、ビデオ信号をデインタレースするための方法に関する。
【０００２】
また、本発明は、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰返しパターンを供給するコンピュータプログラムに関し、より詳細には、第一の画像の画素値から動き補償された画素を計算するためのピクチャ繰返しパターン値で重み付けされた候補となる動きパラメータのセットをコンピュータに使用させるために作用する命令を含むコンピュータプログラムに関する。
【０００３】
さらに、本発明は、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰返しパターンを供給するコンピュータ又は集積回路に関し、より詳細には、ピクチャ繰返しパターン値で重み付けされた候補となる動きパラメータのセットを使用して、第一の画像の画素値から動き補償された画素を計算するための動き補償手段を有する、ビデオ信号をデインタレースするためのコンピュータ又は集積回路に関する。
【背景技術】
【０００４】
ビデオ処理の分野における新たな技術の出現により、動き補償ビデオアルゴリズムは、高品質のビデオ処理の必要性と同様に手ごろな値段になってきている。高品質ビデオ処理を提供するため、異なる動き補償アプリケーションが提供される。雑音低減用の動き補償（ＭＣ）フィルタリング、符号化用のＭＣ予測、インタレースからプログレッシブフォーマットへの変換用のＭＣデインタレーシング、又はＭＣピクチャレート変換のようなアプリケーションが知られている。これらのアプリケーションは、動き予測（ＭＥ）アルゴリズムからの利益を得るものであり、それらについて様々な方法が知られている。
【０００５】
ブロックベースの動き予測器である、ビデオフォーマット変換における動き予測アルゴリズムの１つの例は、３次元再帰型サーチ（３Ｄ  ＲＳ）ブロックマッチャとして知られている。
【０００６】
動き予測アルゴリズムは、画素のルミナンス値又はクロミナンス値が位置の線形関数により近似される場合があるという仮定に基づいている。この仮定は、小さな移動の補正について正しい場合がある。しかし、画素ベースに動き予測方法（ＰＥＬ再帰型方法）により制約が解決される。動き予測の実現は、ブロック予測を含む。ブロックマッチング動き予測アルゴリズムでは、移動ベクトル
（外１）
2008504786.tif 000003
は、サーチエリア
（外２）
2008504786.tif 000004
で類似のブロックを探すことで、現在のフィールドｎにおける画素ブロック
（外３）
2008504786.tif 000005
のセンター
（外４）
2008504786.tif 000006
に割り当てられ、たとえばｎ−１，ｎ＋１といった時間的に隣接するフィールドにおいて
（外５）
2008504786.tif 000007
でセンタリングされる。類似のブロックは、移動
（外６）
2008504786.tif 000008
にわたり
（外７）
2008504786.tif 000009
に関してシフトされるセンターを有する。
（外８）
2008504786.tif 000010
を発見するため、多数の候補となるベクトル
（外９）
2008504786.tif 000011
が評価され、ブロックの類似性を限定するエラー測定値
（外１０）
2008504786.tif 000012
を与える。
【０００７】
図１は、かかるブロックマッチング動き予測アルゴリズムを示す。図示されるのは、画像系列２の２つの時間的な瞬間ｎ−１，ｎである。画像系列２で、水平方向の位置Ｘと垂直方向の位置Ｙでの様々なブロック４が決定される。ブロック４の移動
（外１１）
2008504786.tif 000013
を決定するため、様々な候補となるベクトル
（外１２）
2008504786.tif 000014
が評価され、上述されたエラー測定値
（外１３）
2008504786.tif 000015
を与える。１つの可能性のあるエラー測定値は、想定される絶対差（absolute  difference）（ＳＡＤ）基準であり、以下に示される。
【数１】
2008504786.tif 000016
ここで
（外１４）
2008504786.tif 000017
はブロック４での画素値のルミナンス値である。移動ベクトル
（外１５）
2008504786.tif 000018
は、サーチエリア
（外１６）
2008504786.tif 000019
６で類似のブロック１０を探すことで、現在の画像における画素の位置
（外１７）
2008504786.tif 000020
のブロック４のセンター
（外１８）
2008504786.tif 000021
に割り当てられ、たとえば前又は後の画像において
（外１９）
2008504786.tif 000022
でセンタリングされる。これは、時間的に前又は後の画像又はフィールドである。２つのブロック４，１０の間の補正の測定値は、移動ベクトル
（外２０）
2008504786.tif 000023
を識別するために最適化される。
【０００８】
最小二乗誤差、正規化された相互相関関数のような更なるエラー基準が使用される場合がある。特に、正規化された相互相関は、フーリエ領域における計算のケースで使用される。更なるエラー基準の例は、著しく異なる画素の数である場合がある。
【０００９】
画素又はブロックについて動きベクトルを予測するよりはむしろ、画像を大きな領域に分割し、個々の領域について動きを予測する、オブジェクトベースの動き予測と呼ばれることがある動き予測器が知られている。さらに、水平方向及び垂直方向の移動に加えて、スケーリング（又はズーミング）、回転等を記述する動きパラメータを有する動きパラメータセットを予測することが知られている。これは、大きなブロックについて、及び領域又はオブジェクトベースの動き予測において特に有効である。以下では、用語「動きパラメータセット」は、全てのケースにおいて、すなわち動きベクトルとも呼ばれる変換のみによるパラメータセット、４（変換及びズーム）、６（回転を更に含む）、８、１２による動きパラメータセット、又は他の動きパラメータの整数値を含めて全てのケースで使用される。
【００１０】
しかし、フィルムで生成されているマテリアルを含む様々なビデオマテリアルに対処するため、動き補償されたビデオ処理アルゴリズムは、動きパラメータに加えて、ピクチャ繰返しパターンに関する仕様を必要とする。現在の動き予測は、ブロック当たり又は画素当たりの動きベクトルのような動きパラメータを提供するのみであり、ピクチャ繰返しパターを説明していない。２つの連続する時間的な画像間の移動は、ビデオ信号における動きに関する全体的な知識を提供しない。ピクチャ繰返しパターンを説明しないことで、特に動き予測器が再帰的なサーチ方式を有しない場合に、誤った移動ベクトルが得られる場合がある。さらに、たとえばデインタレーシングといた幾つかのアプリケーションは、それらのタスクを適切に実行するため、ピクチャ繰返しパターンに関する更なる情報を必要とする。
【００１１】
一般に、既存のビデオマテリアルのうちで、少なくとも３つの異なるビデオモードを区別することができる。いわゆる５０Ｈｚのフィルムモードは、同じ画像から生成する２つの連続するフィールドのペアを有する。このフィルムモードは、２−２プルダウンモードとも呼ばれる。このモードは、２５ピクチャ／秒のフィルムが５０Ｈｚテレビジョンについてブロードキャストされるときに生じる。たとえば、アルゴリズムが動き補償されたデインタレーシングを示す場合、どのフィールドが同じ画像に属するかが知られている場合、デインタレーシングがフィールドの挿入に低減する。
【００１２】
６０Ｈｚ電源による国では、フィルムは毎秒２４ピクチャで実行される。かかるケースでは、いわゆる３−２プルダウンモードがテレビジョン用のフィルムをブロードキャストすることが必要とされる。かかるケースでは、連続する単一のフィルム画像は３又は２フィールドでそれぞれ繰り返され、平均で６０／２４＝２．５の割合となる。さらに、繰返しパターンが既知である場合には、デインタレーシングのためにフィールドの挿入が適用される。
【００１３】
ビデオ系列の何れか２つの連続するフィールドが異なる画像に属する場合、系列はビデオモードにあり、デインタレーシングは、プログレッシブシーケンスを得るために特定のアルゴリズムで適用される必要がある。
【００１４】
また、フィルムモードとビデオモードとの組み合わせが系列で現れることが知られている。かかる、いわゆるハイブリッドモードでは、異なるデインタレース方法は、異なるフィールドに適用される必要がある。ハイブリッドモードでは、系列の幾つかの領域はビデオモードに属し、相補的な領域はフィルムモードにある場合がある。フィールドの挿入がハイブリッドシーケンスをデインタレースするために適用される場合、結果的に得られる系列は、ビデオモード領域において、いわゆるティースアーチファクトを示す。他方で、ビデオデインタレースアルゴリズムが適用される場合、フィルムモード領域で、フリッカのような望まれないアーチファクトを導入する。
【００１５】
ＵＳ６，３４０，９９０では、ハイブリッドシーケンスのデインタレースが記載されている。各種モード間で判別し、これに応じてデインタレースを適合させるために多数の動き検出器を使用するのを提案する方法が開示されている。提案される方法は動き補償を使用するものではないが、ビデオ部分を移動することにおける結果が乏しい。
【００１６】
同様に、動き予測が別のアルゴリズムでの、すなわちピクチャアップコンバージョン、雑音低減等のような用途について設計されるとき、動きベクトルに加えて、ピクチャの繰返しパターンが同様にきられていることが本質的である。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
したがって、本発明の１つの目的は、フィールド繰返しパターンを考慮した、動き予測を提供することにある。本発明の更なる目的は、改善された動き予測を提案することにある。本発明の別の目的は、オリジナルのビデオマテリアルにおけるフィールド繰り返しパターンにより乱されない、動き予測を提供することにある。
【課題を解決するための手段】
【００１８】
本発明のこれらの目的及び他の目的は、入力ビデオ信号から動きパラメータセット及び／又はピクチャ繰り返しパターンを供給するための方法により解決され、当該方法は、第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターンで重み付けされた候補となる動きパラメータのセットを使用するステップ、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にするステップ、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成するステップを含む。
【００１９】
本発明は、たとえば、デインタレース、ピクチャレートコンバージョン、又はピクチャ繰り返しモード検出に関する情報から利益を得る何れか他のアプリケーション用に使用される。
【００２０】
本発明は、ピクチャ繰り返しパターンを考慮する、動き予測を提供する。時間的に連続するフィールドにおけるピクチャ繰り返しに関する更なる情報は、ピクチャ繰り返す値を使用するために考慮される。ビデオにおける異なるモードを考慮し、これら異なるモードを決定するのを可能にするため、少なくとも３つの時間的な瞬間の画像から最小化されたエラー基準を決定するために特に有効な場合がある。動きパラメータセットは、何れか２つの画像の異なるピクチャ繰り返し値で重み付けされ、異なる可能なピクチャ繰り返しパターンが考慮される。これにより、最も可能性のあるピクチャ繰り返しパターンが検出される場合がある。候補となる動きパラメータセット及びピクチャ繰り返し値による動き補償された画素の計算の繰り返しは、結果を速く提供するためにパラレルに行われる場合がある。
【００２１】
このピクチャ繰り返し値は、フィールド繰り返し値とも呼ばれ、移動ベクトルの係数である。この係数は、連続するビデオのフィールドにおけるフィールド繰り返しが考慮されるように選択される。候補となる動きパラメータを重み付けすることは、選択された候補とナル動きパラメータセット又は動きベクトルのようなその何れかの値をピクチャクリ返しパターンの値で乗算することで行われる。ピクチャ繰り返しパターン値を計算するため、２を超える時間的な瞬間のフィールド間の動きを考慮することが必要である。これは、たとえば現在、前及び後のフィールドである。
【００２２】
さらに、前のフィールドに関する動きパラメータのセットと次のフィールドに関する動きパラメータのセットとの間の関係は、ブロック又はオブジェクトレベルでのピクチャ繰り返しパターンに依存する場合があるので、ピクチャ繰り返しパターンは、たとえばフィールド繰り返しが画像全体で行われるといった画像レベルで考慮されるだけでなく、ブロック及び／又はオブジェクトレベルで考慮される。
【００２３】
差の最小化は、絶対差分総和（ＳＡＤ：Ｓｕｍｍｅｄ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）基準、平均二乗誤差基準、正規化された相互相関関数基準、又は他の適切なエラー関数を使用して実行される。
【００２４】
請求項３及び請求項４に係る実施の形態も好適である。  
実施の形態によれば、動きパラメータセットから動きベクトルを選択することは、良好なデインタレース結果を提供するために適している。動きベクトルは、候補となる動きベクトルである。異なる候補となる動きベクトルが検査され、最小の差を生じる候補となるベクトルが、特にデインタレースについて移動ベクトルとして選択される。
【００２５】
動き予測は、画像が画素のグループにセグメント化され、第二の画像の画素のグループと第一の画像の動き補償されたグループの間のエラー基準が最小化される。また、第三の画像が使用され、エラー基準は３つの画像で計算される場合がある。繰り返しパターンは、画像におけるグループ及びオブジェクトで空間的に考慮される。これは、繰り返しパターンが画像全体だけでなく、画像における空間的に特定のエリア又はフィールドに適用されることを考慮することになる。
【００２６】
後の画像と現在の画像の間と同様に、前の画像と現在の画像との間のエラー基準を考慮するため、請求項６及び請求項７の方法は、実施の形態に従って提供される。
【００２７】
異なるビデオモードを考慮するため、動き補償のための第一及び第二の重み付けされた動きパラメータは、候補となる動きパラメータのセットとして使用される。また、第三及び第四の重み付けされた動きパラメータセットは、候補となる動きパラメータのセットとして使用される。これらは、前、現在及び後の時間的な瞬間の画像間で区別するために使用される。
【００２８】
フィルムモード又はゼロモードを考慮するため、第一及び第三の動きパラメータのセットは、ゼロと選択されたピクチャ繰り返しパターンによる重み付けから得られる。
【００２９】
ビデオモードを考慮するため、第二及び第四の動きパラメータセットは、等しい絶対値を有するように選択されたピクチャ繰り返しパターン値による重み付けから得られる場合がある。たとえば、重み付けされた動きパラメータセットは、等しい長さを有するが反対方向を有する動きベクトルとして選択される。
【００３０】
少なくとも３つの時間的な瞬間を通して動きパターンを考慮するため、請求項１３記載の方法は、実施の形態に従って提供される。
【００３１】
動き予測基準は、画像のある瞬間からの既存の画素値を画像の別の時間的な瞬間の既存の画素値と比較するので、インタレースマテリアルにおいて、これらの画素が全ての時間で提供されないということが生じる。これは、インタレーシングフェーズに依存する。これまで、補間アルゴリズムにより所定の位置で計算される失われた画素によるものと考えられている。これは、たとえば一般化されたサンプリング理論（ＧＳＴ）補間フィルタを使用して失われた画素値を補間することで達成される場合がある。
【００３２】
局所的な動きの加速、すなわち２つのピクチャ期間を通して一様ではない動きは、動き検出及び動き予測でエラーを提供するので、ペナルティシステムは、実施の形態に従って提供される。このペナルティシステムは、隣接するフィールド又はフレームにおけるマジョリティモードを考慮するものであり、このマジョリティモードは、現在のフィールド又はフレームで検出された代替モードに与えられるペナルティ値を考慮する。現在のフィールド又はフレームｎでビデオモードがマジョリティモードとして確立された場合、ペナルティは、後続するフィールド又はフレームｎ＋１のモードを決定するとき、フィルムモード又はゼロモードに与えられる。現在のフィールド又はフレームｎについてフィルムモードがマジョリティモードとして検出された場合、ペナルティは、後のフィールド又はフレームにおける代替フィルム又はビデオモードに与えられる。
【００３３】
本発明の別の態様は、特にビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータセット及び／又はピクチャ繰り返しパターンを提供するコンピュータプログラムであり、当該プログラムは、プロセッサに、第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターンで重み付けされた候補となる動きパラメータのセットを使用させ、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にさせ、最小にされたエラー基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成させるために作用する命令を含む。
【００３４】
本発明の更なる態様は、そこに記憶されたコンピュータプログラムをもつ、特にビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータセット及び／又はピクチャ繰り返しパターンを提供するコンピュータプログラムプロダクトであり、当該プログラムは、プロセッサに、第一の画像の画素値から動き補償された画素を計算するため、ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用させ、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にさせ、最小にされたエラー基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成させるために作用する命令を含む。
【００３５】
本発明の更なる態様は、特にビデオ信号をデインタレースするため、入力ビデオ信号からの動きパラメータを提供するコンピュータであり、当該コンピュータは、ピクチャ繰り返しパターン値で重み付けされた候補となる動きパラメータのセットを使用して第一の画像の画素値から動き補償された画素を計算するための動き補償手段、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にする計算手段、及び、最小にされたエラー基準を提供する、候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成するための選択手段を有する。
【００３６】
本発明のこれらの態様及び他の態様は、以下の実施の形態を参照して明らかになるであろう。
【発明を実施するための最良の形態】
【００３７】
図１に示されるようなブロックマッチャ（block-matcher）は、先に記載されている。現在の画像ｎにおけるブロック４及び前の画像ｎ−１におけるサーチエリア６のテストブロック１０は、候補となるベクトル
（外２１）
2008504786.tif 000024
８を使用して接続される。相関の測定値である、２つのブロック４，１０間の整合誤差は、最良の候補となるベクトル
（外２２）
2008504786.tif 000025
８を識別するために最適化される。それにより、異なる候補となるベクトル
（外２３）
2008504786.tif 000026
８を使用した異なるテストブロック１０が検査され、整合誤差は、最良に整合する候補となるベクトルについて最小にされる。
【００３８】
ブロックマッチャにおける最小の整合基準をサーチすることは、多くのソリューションがリ湯可能な二次元の最適化問題である。１つの可能性のある実現は、３ステップのブロックマッチャ、二次元の対数の、又はクロスサーチ方法、若しくはone-at-a-timeサーチブロックマッチングを使用する。異なるブロックマッチング方式は、G.de  Haan  “Progress  in  Motion  Estimation  for  Consumer  Video  Format  Conversion”，IEEE  transaction  on  consumer  electronics,  vol.46,  no.3,  August  2000,  pp.449-459に開示されている。
【００３９】
最適化方式の１つの可能性のある実現は、３次元の再帰型サーチブロックマッチャ（３Ｄ  ＲＳ）である。この３Ｄ  ＲＳは、ブロックよりも大きなオブジェクトについて考慮するものであり、最良に候補となるベクトルは、空間的に隣接するピクセル又はブロックで生じる。
【００４０】
図２ａで示されるように、左から右に、上から下にスキャニング方向を仮定しており、因果関係は、現在のブロックＤｃ４ａの右下である、空間的な予測ベクトル４  Ｄｓの使用を示している。代わりに、時間的な予測ベクトルＤ  ４ｃが使用される必要がある。現在のブロックＤｃ  ４ａに関して、サーチエリア２で、空間的な予測ベクトルＤｓ  ４ｂ及び時間的な予測ベクトルＤｔ  ４ｃが利用可能である。既にスキャニングされたブロックのみが現在のブロックＤｃ  ４ａの空間予測について使用されるので、空間予測は、ブロックＤｓ  ４ｂで可能である。サーチエリア２の前の時間的な瞬間から、ブロックＤｔ  ４ｃに関する情報が利用可能であるので、時間予測は、ブロックＤｔ  ４ｃで可能である。
【００４１】
図２ｂは、現在のブロック４ａを予測するために２つの空間予測ベクトルＤｓ  ４ｂと１つの時間予測ベクトルＤｔ  ４ｃの使用を示している。
【００４２】
サーチレジでの全ての可能なベクトルを評価することは意味がないことが分かっている。以下のような空間的に隣接するブロックから取られたベクトルを評価するのが十分である。
【００４３】
【数２】
2008504786.tif 000027
ここで、ＣＳｍａｘは、
【数３】
2008504786.tif 000028
として、前の画像におけるサーチエリア
（外２４）
2008504786.tif 000029
での
（外２５）
2008504786.tif 000030
に関する全ての可能性のある移動（画素グリッドでの整数、又は非整数）を記述する候補となるベクトル
（外２６）
2008504786.tif 000031
のセットとして定義される。ここでｎ及びｍは
（外２７）
2008504786.tif 000032
を制限する定数である。計算のオーバヘッドを低減するため、空間的に隣接するブロックから取られたベクトル
（外２８）
2008504786.tif 000033
を評価するために十分である。Ｘ，Ｙは、ブロックの幅及び高さのそれぞれを定義する。実現においてパイプライン化するための因果関係及び必要性は、全ての隣接するブロックが利用可能であり、初期では全てのベクトルがゼロであることを保持する。
【００４４】
ベクトルの可用性を考慮するため、現在の画像で未だ計算されていないベクトルは、前のベクトルフィールドにおける対応する位置から取られる。図２ａは、現在のブロックＤｃ  ４ａと、結果のベクトルが候補となるベクトルＤｓ  ４ｂ，Ｄｔ  ４ｃとして取られるブロックとの相対的な位置を例示している。ブロックが左上から右下にスキャンされるケースでは、候補となるセットは、以下のように定義される。
【数４】
2008504786.tif 000034
【００４５】
この候補のセットＣＳは、空間的及び／又は時間的な一貫性を暗黙的に想定している。初期化でのゼロベクトルの問題は、アップデートベクトルを追加することで考慮される。候補となるセットから幾つかの空間−時間予測を省略する１つの可能性のある実現は、図２ｂに示されており、ここで候補となるセット
（外２９）
2008504786.tif 000035
が
【数５】
2008504786.tif 000036
により定義される。ここで、アップデートベクトル
（外３０）
2008504786.tif 000037
は代替的に利用可能であり、
【数６】
2008504786.tif 000038
のような、制限され、固定された整数又は非整数、アップデートセットから取られる。
【００４６】
たとえば回転、又はスケーリングといった変換のみよりも複雑なオブジェクトの動きを記述可能なモデルは、個々のオブジェクトにおける画像をセグメント化すること、これらのオブジェクトのそれぞれについて動きパラメータを予測することを使用する。ブロックの数は通常振幅のオーダを超えるオーダをもつオブジェクトの数を超えるので、画像当たり計算される必要がある動きパラメータの数が低減される。しかし、計算上の複雑度は増加する。
【００４７】
本実施の形態によれば、グループオブピクセルと呼ばれる、画素ブロックオブジェクトが決定される。たとえばそれぞれのグループオブピクセルの動きベクトルといった動きパラメータが決定される。候補となるベクトルは、現在の画像におけるグループオブピクセルのルミナンス値と、第二の時間的に隣接する画像における対応する動き補償されたルミナンス値との間の合計された絶対差を計算することで検査される場合がある。２つの時間的な瞬間は、ピクセルのローカルグループの動きパラメータのセットを予測するために使用される。  
ビデオフォーマット変換における幾つかのアプリケーションのため、連続する画像におけるピクチャの繰り返しパターンに関する更なる情報が必要である。
【００４８】
図３は、画素４のブロックの２つの連続する時間的な画像間の、異なる移動ベクトルＤ  ８を示している。これらのベクトル８の１つは、シーケンスにおける動きに関する全体の情報を提供しない。移動ベクトル８は、画像の２つの瞬間ｎとｎ−１又はｎ＋１との間の移動を表すのみである。しかし、画像ｎとｎ−１及びｎとｎ＋１との間の移動は異なる場合がある。これまで、実施の形態は、たとえば現在のフレーム／フィールドｎ、前のフレーム／フィールドｎ−１及び次のフレーム／フィールドｎ＋１といった、２つの時間的な瞬間を超える間の動きを考慮することを提供する。前のフィールド
（外３１）
2008504786.tif 000039
と次のフィールド
（外３２）
2008504786.tif 000040
とに関する異なる動きベクトル８の間の関係は、ブロック又はオブジェクトレベルでのピクチャ繰り返しパターンに依存する。異なるピクチャ繰り返しパターンは、以下のようにモデル化されるビデオ及びフィルムのような異なるソースにより引き起こされる。
【００４９】
シーケンスがビデオモードにあるケースでは、ベクトル８は、図３ａに示されるような、２つのフィールド期間にわたる線形の動きを仮定して、
（外３３）
2008504786.tif 000041
である。かかるケースでは、繰り返しが起こらない。これは、（１，−１）モードと呼ばれ、１及び−１は、それぞれの動きベクトルが重み付けされるピクチャ繰り返しパターンの値である。
【００５０】
シーケンスが２−２プルダウンフィルムモードにある場合、移動ベクトル８は、
（外３４）
2008504786.tif 000042
のいずれかである。かかるケースでは、移動ベクトルの異なる値は、画像の連続する時間的な例に適用される必要がない。これら異なる移動ベクトルは、図３ｂに示されている。モードは（０，−１）又は（１，０）モードと呼ばれ、ここで０，−１，１は、それぞれの動きベクトルが重み付けされるピクチャ繰り返しパターンの値である。
【００５１】
２−３プルダウンモード、又はシーケンスが移動しないオブジェクトを含むケースでは、移動ベクトル
（外３５）
2008504786.tif 000043
が得られる。これは、（０，０）モードである。
【００５２】
各種ビデオモードフェーズにおける移動ベクトルＤ間の関係が与えられると、ビデオモードは（１，−１）モードと呼ばれ、フィルムモードは（１，０）及び（０，−１）モードと呼ばれ、静止フェーズは（０，０）モードと呼ばれ、ここで、０，−１及び１は、それぞれの動きベクトルが重み付けされるピクチャ繰り返しパターン値である。
【００５３】
移動ベクトル
（外３６）
2008504786.tif 000044
を一般化するため、時間インターバル
（外３７）
2008504786.tif 000045
での２つの時間的に隣接する画像間の動きベクトルを示すことが可能である。時間インターバルのコンポーネントは、下のインデックスｎ，ｎ−１により示される、２つの画像の相対的な時間的な位置を表す。ピクチャ繰り返しパターンの値ｃi,j∈（０，１，−１）は、時間的なインターバルコンポーネント
（外３８）
2008504786.tif 000046
等の間の異なる関係を考慮して確立される。
【００５４】
移動ベクトルは定数ファクタＣi,jにまで等しいので、移動ベクトルは、
（外３９）
2008504786.tif 000047
として表現される。この関係により、２つの連続するフィールド又はフレーム間のピクチャ繰り返しパターンは、一様な動きについてｃj＝１であり、全く動きがない場合にｃj＝０について考慮される。ピクチャ繰り返しパターン係数としてこの係数を使用して、ブロック又はオブジェクトベースの動き予測アルゴリズムが使用され、ここで、フィールド繰り返しパターンが既に考慮される。かかる最小化の基準は、以下に示される。
【００５５】
【数７】
2008504786.tif 000048
ここでｃpは移動ベクトル
（外４０）
2008504786.tif 000049
の係数であり、これについて最適化の基準が満足される。これにより、異なるフィールド繰り返しパターンは、最良に整合している移動ベクトルとピクチャ繰り返しパターンの両者を発見するために考慮される。
【００５６】
全体のシーケンスはビデオモードにあるケースでは、動きが非一様に局所的に加速されるケースでは、局所的な動きは、フィルムフェーズの１つに類似するために高い変化を有する。たとえば、局所的な動きが
（外４１）
2008504786.tif 000050
が小さく、
（外４２）
2008504786.tif 000051
が大きいような場合、ＳＡＤはビデオモードについてよりもフィルムモードについて小さく、実際のピクチャ繰り返しパターンはビデオモードである。この状況は、動き検出及び動き予測の両者に影響を及ぼすエラーとなる。
【００５７】
実施の形態によれば、このタイプのエラーは、ペナルティシステムを供給することで回避される場合がある。かかるペナルティシステムは、以下のように、ペナルティ値Ｐをエラー関数に追加することで適合される。
【００５８】
【数８】
2008504786.tif 000052
ここで
（外４３）
2008504786.tif 000053
はペナルティ値である。ペナルティ値は、モード（１，−１），（１，０）又は（０，−１）の１つにあるようにフィールド又はフレームｎで検出されるマジョリティモードに従って選択される。マジョリティモードペナルティＰnは、以下のようなフィールドｎ＋１における代替のモードに与えられる。
【００５９】
ビデオモードが現在のフレームでマジョリティモードとして検出されるケースでは、ペナルティＰnは、時間的に次のフレームｎ＋１のモードを決定するとき、フェーズ（１，０）及び（０、−１）について与えられる。
【００６０】
現在のフレームｎにおいてモード（１，０）がマジョリティモードとして検出されるケースでは、ペナルティＰｎは、時間的に次のフレームｎ＋１のモードを決定するとき、フェーズ（１，０）及び（１、−１）について与えられる。
【００６１】
現在のフレームｎにおけるマジョリティモードが（０，−１）として検出されるケースでは、ペナルティＰnは、時間的に後のフレームｎ＋１におけるモードを決定するのに、フェーズ（０，−１）及び（１，−１）について与えられる。
【００６２】
ペナルティ値のアプリケーションは、図３ａ〜図３ｃに既に決定される。図３ａで見ることができるように、ビデオモードが現在のフレームについて決定されるケースでは、次のフレームもビデオモードにあり、したがってフィルムモード（１，０）及び（０，−１）は、フィルムモードが生じる可能性が低いので、ペナルティが課される必要がある。
【００６３】
図３ｂから、フィルムモード（１，０）が検出されたケースでは、以下のフレームがフィルムモード（１，０）又はビデオモード（１、−１）にはなく、したがってこれらのモードはペナルティが課される場合があることが分かる。
【００６４】
図３ｃから、フィルムモード（０，−１）が検出されたケースでは、ペナルティは、後続のフレームで生じる可能性が低いので、フェーズ（０，−１）又はビデオモード（１，−１）に与えられる。
【００６５】
ローカルのピクチャ繰り返しモードの認識を考慮した本発明の動き予測器は、高品質のビデオフォーマット変換アルゴリズムを提供する。動き予測基準は、フィルム、ビデオ及びハイブリッドシーケンスで遭遇される、非一様な動きパラメータに適用される。
【００６６】
特に請求項１の方法に係る、特にビデオ信号をデインタレースするための、入力ビデオ信号から動きパラメータを提供するコンピュータは、ピクチャ繰り返しパターン値で重み付けされた候補とナル動きパラメータのセットを使用して第一の画像の画素値から動き補償された画素を計算する動き補償手段、少なくとも２つの候補となる動きパラメータセット及び／又は少なくとも２つのピクチャ繰り返し値により動き補償された画素の計算を繰り返すことで、第二の画像の少なくとも１つの画素値と少なくとも動き補償された画素値との間のエラー基準を最小にする計算手段、及び、最小にされたエラー基準を提供する候補となる動きパラメータセット及び／又はピクチャ繰り返し値を生成する選択手段を有する。
【００６７】
動き補償手段、計算手段及び選択手段は、１つのプロセッサを使用して実現される場合がある。通常、これらの機能は、ソフトウェアプログラムプロダクトの制御下で実行される。実行の間、通常、ソフトウェアプログラムプロダクトは、ＲＡＭのようなメモリにロードされ、そこから実行される。プログラムは、ＲＯＭ、ハードディスク、又は、磁気及び／又は光ストレージのようなバックグランドメモリからロードされるか、又はインターネットのようなネットワークを介してロードされる場合がある。任意に、特定用途向け集積回路は、開示された機能を提供する。
【００６８】
先に記載された実施の形態は、本発明を制限するよりは例示するものであり、当業者であれば、特許請求の範囲から逸脱することなしに代替の実施の形態を設計することができる。請求項では、括弧間に配置される参照符号は、請求項を限定するものとして解釈されるべきではない。単語「有する“comprising”」は、請求項で列挙されていないエレメント又はステップの存在を排除するものではない。エレメントに先行する単語“ａ”又は“ａｎ”は、複数のかかるエレメントの存在を排除しない。本発明は、幾つかの個別のエレメントを有するハードウェアにより、適切にプログラムされたコンピュータにより実現することができる。幾つかの手段を列挙している装置の請求項では、これらの手段の幾つかは、同一アイテムのハードウェアにより実現される。単語「第一」、「第二」及び「第三」等の使用は、何れかの順序付けを示すものではない。これらの単語は名前として解釈されるべきである。
【図面の簡単な説明】
【００６９】
【図１】ブロックマッチングを例示する図である。
【図２】図２ａ及び図２ｂは、再帰的なサーチブロックマッチャのベクトルの候補となるセットを例示する図である。
【図３】同じ動きパラメータをもつ異なるピクチャ繰り返しパターンを例示する図である。
【図１】
2008504786.tif 000054
【図２】
2008504786.tif 000055
【図３】
2008504786.tif 000056
【国際調査報告】
2008504786.tif 000057
2008504786.tif 000058
2008504786.tif 000059