(57)【特許請求の範囲】
【請求項１】
動きベクトルをインターレースビデオ信号から、特にインターレース解除のために、算出する方法において、
・第１の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第２集合の一般的サンプリング定理補間から第１のピクセルサンプルを算出するステップと、
・第２の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第３集合の一般的サンプリング定理補間から第２のピクセルサンプルを算出するステップと、
・前記ピクセルの第１集合のフィールド補間から第３のピクセルサンプルを算出するステップと、
・前記第１のピクセルサンプルと前記第２のピクセルサンプルとの間の第１の差分を算出するステップと、
・前記第２のピクセルサンプルと前記第３のピクセルサンプルとの間の第２の差分を算出するステップと、
・前記第３のピクセルサンプルと前記第１のピクセルサンプルとの間の第３の差分を算出するステップと、
・前記第１及び第２の動きベクトルを含む動きベクトルの集合から、前記第１、前記第２および前記第３の差分の和を最小にする、出力動きベクトルを選択するステップと、
を具え、
前記ピクセルの第１集合、前記ピクセルの第２集合および前記ピクセルの第３集合は、インターレースビデオ信号からの画像系列の連続的な時点から得られたものであって、前記ピクセルの第２集合は時間的に前記ピクセルの第１集合の前方であり、前記ピクセルの第３集合は時間的に前記ピクセルの第１集合の後方であることを特徴とする動きベクトル算出方法。
【請求項２】
前記第３のピクセルサンプルを、前記ピクセルの第１集合内の少なくとも２つの垂直方向に隣接するピクセルの平均として算出するステップを具えることを特徴とする請求項１に記載の方法。
【請求項３】
前記第１、第２および第３の差分の加重和を最小にすることによって、前記動きベクトルの集合から前記出力動きベクトルを選択するステップを具えることを特徴とする請求項１に記載の方法。
【請求項４】
前記第１、第２および第３の差分は、ピクセルサンプル値間の絶対差分であることを特徴とする請求項１に記載の方法。
【請求項５】
前記第１、第２および第３の差分は、ピクセルサンプル値の二乗差分であることを特徴とする請求項１に記載の方法。
【請求項６】
前記第１のピクセルサンプルは、前記ピクセルの第１集合および前記ピクセルの第２集合からピクセルの加重和として補間され、少なくとも一部のピクセルの重みが動きベクトルの値に依存することを特徴とする請求項１に記載の方法。
【請求項７】
前記第２のピクセルサンプルは、前記ピクセルの第１集合および前記ピクセルの第３集合からピクセルの加重和として補間され、少なくとも一部のピクセルの重みが動きベクトルの値に依存することを特徴とする請求項１に記載の方法。
【請求項８】
前記第１および第２の動きベクトルは、前記ピクセルの第１集合と前記ピクセルの第２集合との間、あるいは、前記ピクセルの第１集合と前記ピクセルの第３集合との間のピクセルの動きから算出されることを特徴とする請求項１〜７のいずれかに記載の方法。
【請求項９】
前記第２および第３の差分は、垂直動き成分の値に依存する係数で重みづけされることを特徴とする請求項１に記載の方法。
【請求項１０】
動きベクトルをインターレースビデオ信号から、特にインターレース解除のために、算出する補間装置において、
・第１の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第２集合の一般的サンプリング定理補間から第１のピクセルサンプルを算出する第１算出手段であって、前記ピクセルの第２集合は時間的に前記ピクセルの第１集合の前方である第１算出手段と、
・第２の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第３集合の一般的サンプリング定理補間から第２のピクセルサンプルを算出する第２算出手段であって、前記ピクセルの第３集合は時間的に前記ピクセルの第１集合の後方である第２算出手段と、
・前記ピクセルの第１集合のフィールド補間から第３のピクセルサンプルを算出する第３算出手段と、
・前記第１のピクセルサンプルと前記第２のピクセルサンプルとの間の第１の差分を算出する第１部分誤差算出手段と
・前記第１のピクセルサンプルと前記第３のピクセルサンプルとの間の第２の差分を算出する第２部分誤差算出手段と、
・前記第２のピクセルサンプルと前記第３のピクセルサンプルとの間の第３の差分を算出する第３部分誤差算出手段と
・前記第１及び第２の動きベクトルを含む動きベクトルの集合から、前記第１、前記第２および前記第３の差分の和を最小にする、出力動きベクトルを選択する選択手段と
を具え、
前記ピクセルの第１集合、前記ピクセルの第２集合および前記ピクセルの第３集合は、インターレースビデオ信号からの画像系列の連続的な時点から得られたものであることを特徴とする補間装置。
【請求項１１】
請求項１０に記載の補間装置を具えていることを特徴とするディスプレイデバイス。
【請求項１２】
動きベクトルをインターレースビデオ信号から、特にインターレース解除のために、算出するコンピュータプログラムであって、請求項１〜９のいずれかに記載の方法の動きベクトルを算出する動作を、プロセッサに実行させる命令を具えることを特徴とするコンピュータプログラム。
【請求項１３】
請求項１２に記載のコンピュータプログラムが格納されたコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターレースビデオ信号から動きベクトルを算出する方法、デバイスおよびコンピュータプログラム製品に関するものであり、この方法は、第１の動きベクトルを使用して、ピクセルの第１集合とピクセルの第２集合から第１のピクセルサンプルを算出するステップと、第２の動きベクトルを使用して、ピクセルの第１集合とピクセルの第３集合から第２のピクセルサンプルを算出するステップとを具える。
【背景技術】
【０００２】
インターレース解除は、有力な新しい非線形スケーリング技術でさらに高精細にできるのみであるハイエンドのビデオディスプレイシステムの主な解像度決定手段である。ＬＣＤおよびＰＤＰのような新技術の出現により、解像度の制限は、もはやディスプレイデバイス自体ではなく、むしろソースあるいは伝送システムに存在する。これらのディスプレイは、同時に、順次走査ビデオ入力を必要とする。従って、高品質なインターレース解除が、このようなディスプレイデバイスにおける優れた画像品質のための重要な前提条件である。
【０００３】
インターレース解除の第１ステップは、P. Delongeおよびその他の者による、「"Improved Interpolation, Motion Estimation and Compensation for Interlaced Pictures", IEEE Tr. on Im. Proc., Vol. 3, no. 5, Sep. 1994, pp 482-491」で知られている。
【０００４】
この方法は、一般的サンプリング定理（ＧＳＴ）インターレース解除方法としても知られている。その方法を図１Ａに示す。図１Ａは、縦軸にy+4からy-4の偶数座標に、横軸に時間的に連続するフィールドn-1とnのピクセル2を示す。
【０００５】
インターレース解除のためには２つの独立したピクセルサンプルの集合が必要とされる。ピクセルサンプルの第１集合は、１つ前のフィールドn-1のピクセル2を、動きベクトル4に亘って現在時のフィールドnへシフトさせて動き補償ピクセルサンプル6を得ることにより生成される。第２集合のピクセル8は、画像の現在時のフィールドnの縦軸の奇数点y+3からy-3に存在する。動きベクトル4がいわゆる「臨界速度」、すなわち２つの連続するピクセルフィールド間における奇数ピクセルの移動に相当する速度でない限り、ピクセルサンプル6およびピクセル8は独立であることを意味する。現在のフィールドでピクセルサンプル6およびピクセル8を重みづけすることによって、出力ピクセルサンプル10は、サンプルの加重和（ＧＳＴフィルタ）となる。現在の画像は、奇数行のピクセル8と補間出力ピクセルサンプル10とを用いて表示することによって、ディスプレイの解像度を高めることができる。
【０００６】
動きベクトルはビデオ信号内のピクセルの運動成分から導出することができる。動きベクトルはビデオ画像内のピクセルの運動方向を示す。現在のフィールドの入力ピクセルは、ビデオ信号内の現在表示されるあるいは受信されるピクセルの集合とすることができる。入力ピクセルの加重和は、補間パラメータに従って入力ピクセルのルミナンス値またはクロミナンス値を重みづけすることによって得られる。
【０００７】
出力ピクセルサンプル10は、数学的に、以下のように書き表せる。ｎ番画像内の位置
0005464803.tif 000002
のピクセルのルミナンス値
0005464803.tif 000003
および、欠落ライン（例えば奇数ライン）の補間ピクセルのルミナンス値Fiを使用すると、ＧＳＴインターレース解除方法の出力は、
0005464803.tif 000004
と定義され、ここでh1およびh2はＧＳＴフィルタ係数を定めている。第１項は現在のフィールドnを表し、第２項は１つ前のフィールドn-1を表す。動きベクトル
0005464803.tif 000005
は、
0005464803.tif 000006
で定義され、ここでRound（）は最も近い整数に丸めることを表し、垂直動き成分δｙは、
0005464803.tif 000007
で定義される。
【０００８】
線形ＧＳＴフィルタh1およびh2からなるＧＳＴフィルタは、垂直動き成分
0005464803.tif 000008
とサブピクセル補間タイプとに依存する。
【０００９】
ビデオアプリケーションのためには、垂直および水平の両動き成分
0005464803.tif 000009
および
0005464803.tif 000010
に依存する、h1およびh2からなる分離不可能のＧＳＴフィルタの方が適切であるが、垂直成分
0005464803.tif 000011
のみを使用してもよい。
【００１０】
Delongeは、垂直補間、すなわちy方向のみの補間を利用することを提案した。プログレッシブ画像Fpが利用できる場合、偶数ラインの画像Feは、z領域において奇数ラインの画像Foのルミナンス値から次のように決定できる。
0005464803.tif 000012
これから、Foは、
0005464803.tif 000013
と書き直すことができ、その結果、
0005464803.tif 000014
となる。
線形補間は、
0005464803.tif 000015
と書くことができる。
【００１１】
フィルタ係数を導出するためにsinc波形補間を使用すると、線形補間Ｈ1（ｚ）およびＨ2（ｚ）は、k領域において、
0005464803.tif 000016
と書くことができる。
【００１２】
P. Delonge他は、図２に示すような補間も提案した。この補間は、２つの連続するフィールド間の動きが均一であるという仮定に基づく。この方法は、共通の動きベクトル4に亘りシフトされた前々フィールドサンプルn-2のピクセル2aと、前フィールドサンプルn-1のピクセル2bを使用する。動き補償ピクセル値6a、6bを用いてピクセルサンプル値10を推定できる。しかし、サンプル間の時間的距離が大きいので、現在フィールドと前々フィールドn-2との間の相関は小さい。
【００１３】
例えば、不正確な動きベクトルの場合に改善された補間を提供するために、メジアンフィルタを使用することが提案された。メジアンフィルタは、ＧＳＴインターレース方法により生成される出力信号の輪郭の除去を可能にする。
【００１４】
しかし、ＧＳＴ補間の性能は、メジアンフィルタを適用すると、正しい動きベクトルを有する領域では劣化する。この劣化を低減するために、選択的な保護を適用することが提案された（E.B.Bellers and G. de Haan, "De-interlacing a key technology for scan rate conversion", Elsevier Science book series "Advances in Image Communications", vol. 9, 2000）。ほぼ臨界速度を有する領域ではメジアンフィルタを用い、他の領域ではＧＳＴ補間を用いる。ＧＳＴインターレース解除は、臨界速度に近い動きベクトルを有する領域においてアーチファクトを生じる。従って、提案されたメジアン保護は、以下のように、ほぼ臨界速度に対して適用される。
0005464803.tif 000017
ここで、FGSTはＧＳＴインターレース解除の出力を表す。
【００１５】
この方法の欠点は、現在のＧＳＴインターレース解除では、利用可能な情報のわずか一部分のみを用いて欠落ピクセルの補間をする点にある。ビデオ信号では時間−空間情報を利用できるので、ビデオ信号の異なる時点および異なるセクションからの情報を用いて欠落ピクセルサンプルを補間できるようにすべきである。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
それゆえ、本発明の目的は、よりローバストなインターレース解除方法を提供することにある。本発明の他の目的は、補間のためにビデオ信号内に提供される利用可能な情報をより多く使用することにある。本発明のさらに他の目的は、より良好なインターレース解除の結果を提供することにある。本発明のさらに他の目的は、インターレースビデオ信号から改善された動きベクトルを高機能画像処理のために提供することにある。
【課題を解決するための手段】
【００１７】
本発明の実施例は、これらの欠点を解決するために、
動きベクトルをインターレースビデオ信号から算出する方法において、
第１の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第２集合から第１のピクセルサンプルを算出するステップと、
第２のピクセルサンプルを、第２の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第３集合から算出するステップと、
第３のピクセルサンプルを前記ピクセルの第１集合から算出するステップと、
前記第１のピクセルサンプルと前記第２のピクセルサンプルとの間の第１の関係を算出するステップと
前記第１のおよび／または前記第２のピクセルサンプルと前記第３のピクセルサンプルとの間の第２の関係を算出するステップと、
動きベクトルの集合を使用して、前記第１および前記第２の関係を最小にすることによって、前記動きベクトルの集合から出力動きベクトルを選択するステップと
を具えることを特徴とする方法を提供する。
【００１８】
前記ピクセルサンプルの算出は、それぞれのピクセルを補間することによって行うことができる。
【００１９】
実施例では、算出された動きベクトルを、インターレース解除、動き補償ノイズ低減、あるいは他の画像エンハンスメントのために用いることができる。
【００２０】
第３のピクセルサンプルは、ピクセルの第１集合のピクセルをピクセルの第１集合内の少なくとも２つのピクセルの平均として補間することによって算出することができる。
【００２１】
実施例では、補間中に現在のフィールドを用いる。実施例によれば、正しい動きベクトルの選択を現在のインターレースフィールドのピクセルにも依存させることができる。実施例では、正しい動きベクトルを得るために、前フィールドおよび次フィールドからの動き補償ピクセルサンプルを比較することができ、さらに、これらのピクセルサンプルを現在フィールドのピクセルサンプルと比較することもできる。
【００２２】
模範的には、これは、現在フィールドのライン平均を算出し、このライン平均と第１および第２のピクセルサンプルとの関係を算出することにより行うことができる。このように、動き推定基準として、第１のピクセルサンプルと第２のピクセルサンプルと第３のピクセルサンプルとの関係を最小にすることによって、正しい動きベクトルを選択できる。
【００２３】
実施例では、前フィールドおよび次フィールドの２つのＧＳＴ予測を用いる動き推定と、フィールド内最小化基準とを組み合わせることによって、ベクトルの不正確さに対する動き推定の影響されやすさが考慮され、より強力な推定器とすることができる。
【００２４】
実施例では、前記第１のピクセルサンプルと前記第２のピクセルサンプルとの間の第３の関係を算出するステップと、動きベクトルの集合を使用して、前記第１、第２、第３の関係を最小にすることによって、前記動きベクトルの集合から出力動きベクトルを選択するステップとを具える方法が提供される。この場合、現在、前、および次フィールドのピクセルサンプル値の間の関係が考慮される。
【００２５】
実施例では、第３の関係を、ピクセルの第１集合内の少なくとも２つの垂直方向に隣接するピクセルの平均として算出するステップを具える方法を提供する。これにより、偶数ピクセルの垂直方向移動を有する動きベクトルによるエラーを考慮することができる。
【００２６】
実施例では、出力動きベクトルを、動きベクトルの集合を用いて前記関係の和を最小にすることによって前記動きベクトルの集合から選択する。前記和を最小化することは、動きベクトルの良好な予測を生ずる１つのエラー基準とすることができる。前記和は加重和の方がよく、関係は値によって、重みづけされてもよい。
【００２７】
実施例では、ピクセルの第１集合、ピクセルの第２集合およびピクセルの第３集合を、画像系列の連続する時点から得る。この画像系列は、インターレースビデオ画像とすることができる。
【００２８】
ピクセルの第２集合が時間的にピクセルの第１集合に先行する場合、および／または、ピクセルの第３集合が時間的にピクセルの第１集合に追従する場合、実施例では、時間的に連続する少なくとも３つのフィールドに亘るピクセルの動きを考慮することができる。
【００２９】
１つの可能な誤差基準として、第１、第２および／または、第３の関係はピクセルサンプル値間の絶対差分とすることができる。他の可能な誤差基準として、第１、第２および／または、第３の関係はピクセルサンプル値の二乗差分としてもよい。
【００３０】
実施例では、第１のピクセルサンプルがピクセルの第１集合およびピクセルの第２集合からのピクセルの加重和として補間される場合には、少なくとも一部のピクセルの重みを動きベクトルの値に依存させる。実施例によれば、第２のピクセルサンプルは、ピクセルの第１集合およびピクセルの第３集合からのピクセルの加重和として補間され、この場合には少なくとも一部のピクセルの重みを動きベクトルの値に依存させる。
【００３１】
実施例では、第１および／または第２の関係の値の重みづけに垂直成分を考慮することができる。
【００３２】
本発明の他の様態は、インターレースビデオ信号から動きベクトルを供給する補間装置において、
第１のピクセルサンプルを、第１の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第２集合から算出する第１算出手段と、
第２のピクセルサンプルを、第２の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第３集合から算出する第２算出手段と、
第３のピクセルサンプルを前記ピクセルの第１集合から算出する第３算出手段と、
前記第１のピクセルサンプルと前記第２のピクセルサンプルとの間の第１の関係を算出する第１算出手段と
前記第１のおよび／または前記第２のピクセルサンプルと前記第３のピクセルサンプルとの間の第２の関係を算出する第２算出手段と、
動きベクトルの集合を使用して、前記第１および前記第２の関係を最小にすることによって、前記動きベクトルの集合から出力動きベクトルを選択手段と
を具える補間器である。
【００３３】
本発明の更に他の態様は、この種の内挿器を具えているディスプレイデバイスである。
【００３４】
本発明の更に他の態様は、動きベクトルをインターレースビデオ信号から、特にインターレース解除のために、算出するコンピュータプログラムにおいて、プロセッサが
第１のピクセルサンプルを、第１の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第２集合から算出し、
第２のピクセルサンプルを、第２の動きベクトルを使用して、ピクセルの第１集合およびピクセルの第３集合から算出し、
第３のピクセルサンプルを前記ピクセルの第１集合から算出し、
前記第１のピクセルサンプルと前記第２のピクセルサンプルとの間の第１の関係を算出し、
前記第１のおよび／または前記第２のピクセルサンプルと前記第３のピクセルサンプルとの間の第２の関係を算出し、
動きベクトルの集合を使用して、前記第１および前記第２の関係を最小にすることによって、前記動きベクトルの集合から出力動きベクトルを選択するように、
動作させる命令を具えるコンピュータプログラムおよびコンピュータプログラム製品である。
【００３５】
本発明のこれらのおよびその他の態様を、以下の図を参照して説明して明らかにする。
【発明を実施するための最良の形態】
【００３６】
現在フィールド（前フィールドでもよい）と次時点のフィールドの等間隔に位置しているサンプルに基づく動き推定方法は改善された結果をもたらす。動き推定基準は、ピクセルのルミナンスまたはクロミナンス値が前フィールドn-1からの推定に基づくだけでなく、現在フィールドnに存在するピクセルおよび次フィールドn+1からシフトされたサンプルにも基づくという事実に基づくものとすることができる。
【００３７】
ＧＳＴフィルタの出力は、
0005464803.tif 000018
と書ける。
【００３８】
動きベクトルが２つのフィールドにわたって線形であるという仮定のもとでは、対応する垂直および水平動き成分
0005464803.tif 000019
を有する動きベクトルは、最適化基準
0005464803.tif 000020
を用いて、１ブロックのピクセル、例えば８×８ブロックに属している全（x,y）に対して算出できる。
【００３９】
２つのフィールド間における偶数ピクセル分の移動を有する動きベクトルの場合、すなわち、
0005464803.tif 000021
のとき、前あるいは次フィールドからの動き推定の出力は、
0005464803.tif 000022
になる。
【００４０】
この場合には、前フィールドn-1および次フィールドn+1からシフトされたピクセルのみが考慮され、２フィールド動き推定器になる。従って、上記の最小化は、図３に示すように、現在フィールドnのピクセルを含まずに、隣接するピクセルを考慮し得るのみである。
【００４１】
図３は、現在および次フレームから推定されたピクセル値のみを使用する現在の動き推定の脆弱性を示す。最小化基準は、前フレームn-1からシフトされたピクセル2aと、次フレームn+1からシフトされたピクセル2bを考慮することができる。ピクセル値6の推定は、動きベクトル4を使用して算出できる。動きベクトル4が１画像につき偶数ピクセル分の移動に対応する場合には、最小化基準
0005464803.tif 000023
は、細い移動物体に対して極小になりうるが、本当の動きベクトルには対応しない。
【００４２】
このような極小を図４に示すことができる。図４は、画像10a、10b、10cの３つの時点n-1、n、n+1を示す。１画像につき偶数ピクセル分の移動の場合には、比較されるピクセル12の補間は、実画像に一致しない画像14になりうる。P. Delongeが提案するように、前画像と次画像または前画像と前々画像のみを考慮する推定基準は、このように、補間なしの実画像に一致しない画像になりうる。
【００４３】
P. Delogneの提案は、動き推定における偶数ベクトルの問題に対する解決策を提供する。この解決策（P. Delogne他による「Improved Interpolation, Motion Estimation and Compensation for Interlaced Pictures, IEEE Tr. On Im. Proc., Vol. 3, no. 5, Sep. 1994, pp 482-491」に記載されている）は、図１Ｂに示され、連続する４つのフィールドn-3〜nの動き推定および動き補償に基づいている。従って、３フィールド方式が偶数動きベクトル4bに沿ってnとn-2のサンプルのみを比較するとき、この４フィールド方式は、動きベクトル4cを用いて、n-1フィールドとn-3フィールドとを比較することによって、必然的に中間のn-1フィールドも含む。
【００４４】
この方法の第１の欠点は、均一動きの要件が２つの連続するフレーム、すなわち、３つの連続するフィールドに拡大することである。これは、かなり不均一な動きを有する実際のビデオシーケンス（画像系列）の場合には大きな制限である。
【００４５】
第２に、この方法は余分のフィールドメモリ（n-3フィールド）を必要とするため、ハードウェア実装に欠点がある。さらに、サンプルをn-3フィールドからnフィールドまでシフトする動きベクトル4cが、２つの連続するフィールドに亘りサンプルをシフトする動きベクトルより３倍大きいために、より大きいキャッシュが必要とされる。
【００４６】
図５において同一の数字は同一の要素を表し、図５は本実施例に従う補間を示す。図５に見られるように、同一画像10がフレームnに対し補間される。しかし、この実施例によれば、画像14の補間に前画像10aおよび次画像10cのピクセル12を用いるだけでなく現画像10bも用いる。
【００４７】
一貫性のない動きベクトル推定による不連続の影響を防止するために、現在フィールド16のピクセルも考慮する。加えて、次あるいは前フィールドからの各ＧＳＴ予測を、現在フィールドのライン平均LAの結果と比較することができる。動き推定基準は、
0005464803.tif 000024
とすることができ、ここで、Nは次画像10cからの推定ピクセル値12であり、Pは前画像10aからの推定ピクセル値12であり、LA（x,y,n）は単純なライン平均（LA）を使用した現画像10aの位置（x,y）のフィールド内補間ピクセル16である。その結果生じる画像14を図５に示す。
【００４８】
現在フィールド内のライン平均LAを含む上記の最小化基準における追加の項は、動きベクトルのエラーに対するローバスト性の増大を可能にする。これらの追加の項は、図５の実施例においてスポークの両側で黒と黒が一致することを防止可能にする。ライン平均LAの項により、不正確な動きベクトルについても黒とスポークとが一致する。
【００４９】
ライン平均項は、垂直成分の値に依存する重み係数を有することもできる。この係数は、これらの項が、偶数値に近い動きベクトルに対して選択的に大きく貢献するようにしなければならない。このとき、最小化基準は、
0005464803.tif 000025
と書ける。
【００５０】
図６は、インターレース解除方法を実現するためのブロック図を示す。入力信号40、第１フィールドメモリ20、第２フィールドメモリ22、第１ＧＳＴ補間回路24、第２ＧＳＴ補間回路26、フィールド内補間回路28、第１部分誤差計算機30、第２部分誤差計算機32、第３部分誤差計算機34、選択手段36および出力信号38を示す。
【００５１】
入力信号40の少なくとも１セグメントがピクセルの第２集合と理解される。フィールドメモリ20の出力の少なくとも１セグメントがピクセルの第２集合と理解され、フィールドメモリ22の出力の少なくとも１セグメントがピクセルの第３集合と理解される。ピクセルの集合は、ピクセルのブロック、例えば８×８ピクセルのブロックとすることができる。
【００５２】
新しい画像がフィールドメモリ20に供給されるとき、前の画像がすでにフィールドメモリ20の出力に存在し得る。フィールドメモリ20の画像出力より前の画像は、フィールドメモリ22の出力に存在し得る。この場合、３つの時間的に連続するフィールドを用いてＧＳＴフィルタで補間した出力信号を算出できる。
【００５３】
入力信号40はフィールドメモリ20に供給される。動きベクトルはフィールドメモリ20内で算出される。この動きベクトルは、入力信号のピクセルの集合内のピクセルの動きに依存する。動きベクトルはＧＳＴ補間回路24に供給される。入力信号40はＧＳＴ補間回路24にも供給される。
【００５４】
第１フィールドメモリ20の出力は第２フィールドメモリ22に供給される。第２の動きベクトルは第２フィールドメモリに内で算出される。この動きベクトルの時点は、第１フィールドメモリ20の時点と時間的に後続している。従って、フィールドメモリ22により算出される動きベクトルは、フィールドメモリ20で使用される画像の次の画像内のピクセルの集合内の動きを表す。この動きベクトルはＧＳＴ補間回路26に供給される。フィールドメモリ20の出力はＧＳＴ補間回路26にも供給される。
【００５５】
フィールドメモリ20の出力は現在のフィールドを表す。この出力はフィールド内補間回路28に供給できる。フィールド内補間回路28内で、垂直方向に隣接するピクセルのライン平均を算出できる。
【００５６】
ＧＳＴ補間回路24は、入力信号40であるＧＳＴ補間回路24の入力信号と、フィールドメモリ20からの動きベクトルと、フィールドメモリ20の出力とに基づいてＧＳＴフィルタ処理された補間ピクセル値を算出する。それゆえ、補間は、画像の２つの時点、すなわち、入力信号40から直接の第１時点の情報と、ある特定の時間、特に１つの画像の時間だけ先行する第２時点の情報とを用いる。さらに、動きベクトルを用いる。
【００５７】
ＧＳＴ補間回路26は、フィールドメモリ20の出力であるＧＳＴ補間回路26の入力信号と、フィールドメモリ22の出力とに基づいてＧＳＴフィルタ処理された補間ピクセル値を算出する。さらに、ＧＳＴフィルタ26は、フィールドメモリ22内で算出される動きベクトルを使用する。ＧＳＴフィルタ処理された補間出力は、ＧＳＴフィルタ24の出力より時間的に先行している。さらに、動きベクトルを用いる。
【００５８】
ライン平均化手段28において、垂直線上の２つの隣接するピクセル値の平均が求められる。これらのピクセル値は補間ピクセル値に隣接する。
【００５９】
ＧＳＴフィルタ24の出力は、
0005464803.tif 000026
と書ける。
【００６０】
ＧＳＴフィルタ26の出力は、
0005464803.tif 000027
と書ける。
【００６１】
ＧＳＴ補間回路24、26の出力間の絶対差分が、第１エラー計算機30内で算出される。
【００６２】
ＧＳＴ補間回路24とライン平均計算機28の出力間の絶対差分が、第２エラー計算機32内で算出される。
【００６３】
ＧＳＴ補間回路26とライン平均計算機28の出力間の絶対差分が、第３エラー計算機34内で算出される。
【００６４】
第１、第２、第３のエラー計算機30、32、34の出力は、選択手段36に供給される。この選択手段内で、
0005464803.tif 000028
から、最小エラー値を有する動きベクトルが選択される。
【００６５】
一組の動きベクトルをＧＳＴ補間回路24、26にフィードバックして、種々の動きベクトルに対して種々の部分誤差を算出することができる。これらの種々の動きベクトルに対して、最小化基準を用いて、最良の結果、例えば最小エラーを生じる動きベクトルを選択できる。
【００６６】
こうして、補間画像を算出するために最小エラーを生じる動きベクトルを選択できる。その結果生じる動きベクトルは、出力信号38として出力される。
【００６７】
本発明の方法、コンピュータプログラムおよびディスプレイデバイスによれば、画像品質を向上できる。
【図面の簡単な説明】
【００６８】
【図１】（Ａ）は、前フィールドを使用するＧＳＴ補間を、（Ｂ）は、４つの連続するフィールドを使用するＧＳＴ補間を図式的に示す。
【図２】前々フィールドと前フィールドを使用するＧＳＴ補間を図式的に示す。
【図３】１画像につき偶数ピクセル分の移動を有する動きベクトルによる動き推定を図式的に示す。
【図４】従来のエラー基準を用いる動き推定を示す。
【図５】現在のフィールドに基づく付加的基準を用いる改善された動き推定を示す。
【図６】動き推定器のブロック図を示す。
【図１】
0005464803.tif 000029
【図２】
0005464803.tif 000030
【図３】
0005464803.tif 000031
【図４】
0005464803.tif 000032
【図５】
0005464803.tif 000033
【図６】
0005464803.tif 000034