(57)【要約】時間領域の入力フィールド（１，４）の対の対応ピクチャ領域間での位相相関（１０）を用いて、画像フィールド（０〜５）シーケンスの動き補償が、周波数領域で実行される。これにより、先行し後続する、シーケンスの入力フィールド（０，２；３，５）の対応領域で補間することによって、対となる各フィールド（１，４）の関連領域をフィルタリングするために用いられる動きベクトル予測値セットを生成する。この結果、個々にフィルタリングされた領域を組合わせて、フィールド（１，４）のフレーム近似を生成する。各場合のフィルタリングは、３枚のフィールドの関連ピクチャ領域の対応する空間周波数成分に対する重み係数の適用（２４〜２６）、重み付けられた成分の加算（２８）を伴う。この係数は、各ピクチャ領域に関連する動きベクトル予測に従って、計算又は選択（２７）される。フレーム近似を用いる位相相関ステップ（１３）を繰り返して、よりよいフレーム近似を得るように３フィールド補間処理（１４，１５）を繰返すための動きベクトル予測を精密化する。周波数領域から空間領域への変換（３４）は、２以上の繰り返し処理の後、又はすべての構成ピクチャ領域で収束した場合に、実行される。
2004513546.tif 000002
【特許請求の範囲】
【請求項１】
画像が、空間周波数成分が振幅と位相で表現される周波数領域の表現に変換されるステップと、重み係数が、連続する画像表現の対応空間周波数成分に適用されるステップと、結果として生じる重み付けられた成分がともに組合わされた後、空間領域でフィルタリングされた出力画像を得るために、逆変換を受けるステップとを有する入力画像シーケンスの動き補償フィルタリング方法。
【請求項２】
各空間周波数成分に対して用いられる前記重み係数は、前記個々の空間周波数及び入力画像の動きベクトルの関数として計算される請求項１に記載の方法。
【請求項３】
画像シーケンスの前記フィルタリング及び前記シーケンスの画像の補間に依存する動き予測処理が、出力画像の改善に向けて、周波数領域において、相互に依存しあって、ともに繰り返し実行される請求項１又は２に記載の方法。
【請求項４】
前記結果として生じる重み付けられた成分を組合わせるステップは、連続する画像の予め定められた群の中の、前記対応空間周波数成分の前記周波数領域表現を、これらの表現それぞれに重み係数を適用した後、加算するステップを含み、出力画像の前記空間周波数成分を表わす重み付けられた周波数領域成分のアレイをそこから得る請求項１又は２に記載の方法。
【請求項５】
前記群は３画像フィールドを含む請求項４に記載の方法。
【請求項６】
前記アレイの周波数領域表現は、第２の前記アレイの対応する周波数領域表現との位相相関に提供され、該第２の前記アレイは、前記シーケンスの連続画像のより後の第２の群の重み付けられ加算された空間周波数成分から得られる請求項４又は５に記載の方法。
【請求項７】
前記動きベクトルの予測は、前記２つの画像群のそれぞれの画像の空間周波数成分に適用するための重み係数をさらに得るために使用され、前記２つの群の画像の周波数領域表現のより正確なアレイをそこから得るようにした請求項６に記載の方法。
【請求項８】
前記より正確なアレイの導出が、前記空間領域への前記逆変換の前に、前記画像の周波数領域表現の改善に向けて、所定の回数繰返されるか、又は所定の収束条件に達するまで繰返される請求項７に記載の方法。
【請求項９】
画像の空間周波数成分が、周波数領域において複素数として表現され、重み係数が、空間周波数成分に乗算される複素数である請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
入力画像シーケンスはインターレースフィールド・シーケンスを含む請求項１〜９のいずれか１項に記載の方法。
【請求項１１】
入力画像シーケンスの個々のフィールド内に含まれるエイリアス周波数成分が、個々の空間周波数と動きベクトルに関連する一時周波数成分を減衰させることによって、出力画像に含まれるものからフィルタリングされて除去される請求項１０に記載の方法。
【請求項１２】
前記入力画像シーケンスは、変調された画像信号及び／又はランダムノイズ成分を含み、重み係数は、これらの成分が前記出力画像に含まれるものからフィルタリングされて除去されるようなものである請求項１〜１１のいずれか１項に記載の方法。
【請求項１３】
画像が、空間周波数成分が振幅と位相で表現される周波数領域の表現に変換され、重み係数が、連続する画像表現の対応空間周波数成分に適用され、結果として生じる重み付けられた成分がともに組合わされた後、空間領域でフィルタリングされた出力画像を得るために逆変換を受ける入力画像シーケンスの動き補償フィルタリング装置。
【請求項１４】
各空間周波数成分に対して用いられる前記重み係数は、前記個々の空間周波数と入力画像の動きベクトルとの関数として計算される請求項１３に記載の装置。
【請求項１５】
画像シーケンスの前記フィルタリング及び前記シーケンスの画像の補間に依存する動き予測処理が、出力画像の改善に向けて、周波数領域において、相互に依存しあって、ともに繰り返し実行される請求項１３又は１４に記載の装置。
【請求項１６】
前記結果として生じる重み付けられた成分を組合わせるステップを形成する手段が、連続する画像の予め定められた群の中の、前記対応空間周波数成分の前記周波数領域表現を、これらの表現それぞれに重み係数を適用した後、加算する手段を含み、出力画像の前記空間周波数成分を表わす重み付けられた周波数領域成分のアレイをそこから得る請求項１３又は請求項１４に記載の装置。
【請求項１７】
前記群は３画像フィールドを含む請求項１６に記載の装置。
【請求項１８】
前記アレイの周波数領域表現は、第２の前記アレイの対応する周波数領域表現との位相相関に提供され、該第２の前記アレイは、前記シーケンスの連続画像のより後の第２の群の重み付けられ加算された空間周波数成分から得られる請求項１６又は１７に記載の装置。
【請求項１９】
前記動きベクトルの予測は、前記２つの画像群のそれぞれの画像の空間周波数成分に適用するための重み係数をさらに得るために使用され、前記２つの群の画像の周波数領域表現のより正確なアレイをそこから得るようにした請求項１８に記載の装置。
【請求項２０】
前記より正確なアレイの導出が、前記空間領域への前記逆変換の前に、前記画像の周波数領域表現の改善に向けて、所定の回数繰返されるか、又は所定の収束条件に達するまで繰返される請求項１９に記載の装置。
【請求項２１】
画像の空間周波数成分が、周波数領域において複素数として表現され、重み係数が、空間周波数成分に乗算される複素数である請求項１３〜２０のいずれか１項に記載の装置。
【請求項２２】
入力画像シーケンスはインターレースフィールド・シーケンスを含む請求項１３〜２１のいずれか１項に記載の装置。
【請求項２３】
入力画像シーケンスの個々のフィールド内に含まれるエイリアス周波数成分が、個々の空間周波数と動きベクトルに関連する一時周波数成分を減衰させることによって、出力画像に含まれるものからフィルタリングされて除去される請求項２２に記載の装置。
【請求項２４】
前記入力画像シーケンスは、変調された画像信号及び／又はランダムノイズ成分を含み、重み係数は、これらの成分が前記出力画像に含まれるものからフィルタリングされて除去されるようなものである請求項１３〜２３のいずれか１項に記載の装置。
【発明の詳細な説明】
【０００１】
本発明は、画像の動き補償方法及び装置に関する。
【０００２】
本発明は特に、例えばテレビ画像のようなサンプリング動画像の、動き補償をともなうフィルタリング及びプロセッシングを実行する方法及び装置に関する。
【０００３】
テレビ画像シーケンスのための標準の５２５本及び６２５本の走査線フォーマットは、インターレース走査を用いている。これによると、画像シーケンスの各フィールドの走査線の数は半分になり、垂直方向の完全な画像を規定するに必要な情報の半分を捨てることになる。例えば、垂直帰線を除くと、全欧州の６２５本のテレビ画像又はフレームは、５７５本の走査線からなる。しかしながらフレームは、２８７本又は２８８本の走査線をもつ２つの別のフィールドとして送信される。ここで、１フィールドは奇数本の走査線からなり、次のフィールドは偶数本の走査線からなっている。したがって、一般に、２つのフィールドは異なる瞬間を表現するので、２つのフィールドを合わせて容易に一つの完全なフレームを構成する唯一の機会は、テレビの場面が完全に静止画であるときにかぎられる。完全な垂直解像度をもつ出力画像を形成するためには、画像シーケンスが動きを表わしているもっと一般的な場合に、失われた走査線を再生できることが求められる。しかし、各入力フィールドを、完全な垂直解像度をもつ対応するフレームに変換することは、困難な問題をもたらす。
【０００４】
かねてから認識されているのは、テレビやその他の画像形成方法及びシステムにおいて、最適画像再生のための画像再構成の方法は、画像における動きを補償する技術を必要とすることである。また、動き補償を使用して、標準の変換及びノイズ抑制のようなその他の通常使用される処理を実行すると、簡単な固定型又は適応型補間方法と比較して高品質な結果を得ることも認められている。
【０００５】
第一に、画像シーケンスにおける種々の動的対象に関連する動き補償は、対応する動きベクトルの正確な測定を必要とする。これは一般に動き予測として知られている方法である。従来技術の動き予測方法を用いて得られる値より、より正確な動きベクトルの予測値を与えることは、本発明の目的の一つである。
【０００６】
本発明によれば、入力画像シーケンスの動き補償フィルタリングを行うための方法及び装置が、それぞれ一態様及び他の態様として提供され、そこでは、画像は、空間周波数成分が振幅と位相で表現される周波数領域における表現へ変換され、重み係数が、連続する画像表現の対応する空間周波数成分に適用され、重み付けられた結果である成分は、組合わされた後、逆変換に供され、フィルタリングされた出力画像を空間領域で得る。
【０００７】
各空間周波数成分に用いられる重み係数は、個々の空間周波数及び入力画像の動きベクトルの関数として計算することができる。より具体的には、重み係数は、１つの一時周波数を通過させ、他の１つ以上の周波数を減衰させるように選択される。これらの周波数は、入力画像シーケンスからプログレッシブスキャン出力フレームを生成するために、前記空間周波数と動きベクトルの関数として計算される。入力画像シーケンスは、インターレースフィールド又はプログレッシブスキャンフレームからなるとともに、入力画像における変調されたカラーサブキャリア及び／又はランダムノイズによってもたらされる不必要な信号成分を含む場合がある。重み係数は、実質的にそのような成分及び／又はノイズのないフィルタリング出力フレームを作成するように選択することができ、任意の時点を表わすフィルタリング出力を生成するように修正することもできる。
【０００８】
ある環境では、動きベクトルの２つの予測値が示されることがあり得る。可能性のある２つの値のうちのどちらが有効であるかは、最も近接した臨界値における収束ベクトル結果の垂直成分を考慮し、次に前記臨界値からの２つの収束解の絶対値の相対的偏差に従って、前記収束ベクトル結果、又は前記考慮後到達する最終収束ベクトル結果のいずれかを選択することによって得ることができる。
【０００９】
本発明による方法と装置は、動き補償が、空間領域ではなく周波数領域で実行される点で、従来例と異なる。この手法の有利な点は、従来例と比較して計算量を削減する可能性を有していることであるが、さらに重要な利点は、動き予測と動き補償との両者を一つの複合繰り返し処理に統合する機会である。この複合処理は周波数領域で行われる。
【００１０】
動き補償は、従来空間領域で線形補間を用いて実行されていた。従来の動き予測技術については、空間領域方法を用いるものと、周波数領域方法を用いるものとがあった。概略、動き予測に通常用いられる３つの技術がある。すなわち、（１）ブロック又は特徴マッチングアルゴリズム、（２）空間時間勾配分析、（３）位相補償である。最初の二つは、完全に空間領域で行われ、３番目のものは、空間周波数成分から相関面を計算する。
【００１１】
従来、前記技術の１つは、動き画像シーケンスのある領域及びそのシーケンス内のある点での動きベクトルの予測に用いられる。得られた動きベクトルは、ピクセルごとの動き補償された補間手段に適用され、補間された各点で、ベクトルに対して妥当性のテストを行う整合技術が用いられていた。予測技術が使用されるときはいつでも、インターレースフォーマットに由来する画像シーケンス内に含まれる動きを解析するには困難な点が見出される。これにより、インターレース解除（ｄｅ−ｉｎｔｅｒｌａｃｉｎｇ）処理は、良くても困難なものとなり、悪ければ不可能となる。動きベクトルが見つけることができるとしても、二つの明らかに可能性のある解決手段があり、有効な１つを決定することが困難となる場合がある。本発明による方法及び装置を用いると、一般にこの困難が避けられることが分かる。
【００１２】
本発明による画像の動き補償フィルタリング方法及び装置は、以下に、添付の図面を参照して例を用いて説明される。
【００１３】
以下に説明されるように、本発明の方法は、動き予測と動き補償の統合システムの一部として公知の位相相関技術を用いる。既に述べたように、この技術はテレビ画像のような画像シーケンス中の対象の動きを測定するために用いられている。動きベクトルの測定を局所化するために、画像の小領域が、２以上の隣接入力フィールドから選択され、領域内の画像内容の比較を可能にする。この明細書ではタイルと呼ぶ領域の最適サイズを決定するに際して、いくつかの考慮すべきことがある。タイルサイズはより小さく又はより大きくすることが可能であるが、代表的なタイルサイズとして、任意の窓関数が適用される以前に、６４ピクセル×６４ラインを採用することができる。タイル座標は、シーケンスでの入力画像全てに対して同一とすることもできるし、画像シーケンスにおける移動対象を追跡するために、相対的にシフトしてもよい。
【００１４】
位相相関方法によると、まず、画像タイルが離散フーリエ変換を用いて周波数領域に変換されることを必要とする。この変換を効率的に実行するいくつかの技術が公知である。次に、２以上の隣接入力フィールド内のタイル領域の周波数領域表現の結果を用いて、フィールドのタイル内の対象にあてはまる支配的な動きベクトルを決定する。位相相関方法の理論的な基礎は、多くのテキストにカバーされているが、本質的には、２つの変換画像における類似の空間周波数成分間の位相関係を基にしている。様々な空間周波数成分の振幅と位相は変換画像アレイの複素数値として表わせる。まず、比較される２つの画像間の位相の増加が、各空間周波数に対して、２つの変換画像アレイ中の複素数値の一つを他のもので除算することによって計算される。変換結果であるアレイのすべての空間周波数成分の振幅は、正規化される。この正規化アレイの逆変換は、タイル内の支配的なベクトル（又は複数のベクトル）を示す量によって、原画像からシフトしたピーク（又は複数のピーク）を表示する相関面を与える。
【００１５】
さらに正確な結果を得るために、３以上の入力フィールドを用いることが可能である。例えば、異なる入力フィールド期間を用いて、いくつかの位相相関面を組合わせることができる。しかしながら、インターレース走査の入力フォーマットを処理する場合、垂直動きベクトル成分を正確に決定するには、基本的な限界がある。これは、インターレース走査の特徴、すなわち、インターレース走査フィールドフォーマットにおける消失ラインによって、入力画像情報のすべての第２列がそうなるのと同様に、相関面自体が、すべての第２の列のデータが零となる、という特徴をもつことに起因する。この結果は、隣接画像から得られた相関面をプロットした図１及び図２に示されている。ここで、垂直方向次元は左から右に、水平方向次元は前から後ろにとってある。図１は、入力画像が完全なフレーム（すなわち、インターレースによる消失ラインがない）で表現されているときに得られた面を示し、図２は、同一の入力画像がインターレースフォーマットで表現されているときに得られた対応結果を示す。
【００１６】
図３に高解像度で示すように、一般に頂点は、置換された２次元「シンク」関数の形状となる。しかし、図１及び図２に示すように、位相相関プロセスは、比較的粗い画素レート及びラインレートでサンプリングされる結果となる。これらのアレイから頂点の正確な位置を見つけるためには、「不可視の」頂点の周囲に並ぶサンプリング値から証拠を集める頂点探索アルゴリズを使用することが必要である。図２に示されるように、現に現われている、列における頂点の相対的な大きさは、頂点の水平方向位置を適切に指示している。したがって、水平方向動きベクトル成分を推定することは適切に行われる。しかし、垂直方向成分を正確に得ることは、列が失われていることからきわめて困難である。
【００１７】
このようなアレイを用いると、位置している頂点は、動きベクトル水平成分の正確な評価を与えることがわかる。しかし、回復された垂直成分は一般に不正確である。図４に示されるように、真の垂直方向速度（ＴＶＳ）は、位相相関推定方法（ＰＣＥ）によって、実際のものより何らかの積分値により近く表現される傾向があり、これは、動きベクトルの垂直成分は、最も近接する「臨界的」垂直速度に「引き寄せられている」と考えられる。垂直方向速度のこれらの値が「臨界的」と呼ばれるのは、連続するインターレースフィールドの走査線が、画像に相対的に、各フィールドに関して移動する画像の同じ垂直位置に位置するような垂直方向移動速度を表現しているからである。言い換えれば、これらの垂直移動速度でも、動画像は、単一フィールドから得られるものより高い垂直解像度で走査されるものではない。これらの場合に、完全な解像度をもつフレームを再現することは不可能なことである。なぜなら、走査されない領域に存在するどのような細部も現われることがないからである。フレーム再現は、これらの臨界垂直速度に達しているときにはますます困難である。これらの臨界値に近い速度では、動きベクトルの垂直成分を正確に決定することはますます困難となる。
【００１８】
近臨界垂直移動速度であってもまだかなり正確に再構成できることを示すことができる。ただし、動きベクトルの垂直成分の正確な予測が利用できることが条件である。説明として、図５ａには、原フレームの一例を示し、図５ｂには、３つの連続インターレースフィールドからの再構成結果を示す。ここでは、画像は、７．１フレームライン／フィールドの垂直速度成分で動いており、この速度は、臨界速度である７フレームライン／フィールドに非常に近接している。原画像と再構成画像との差異（すなわち誤差）は、図５ｃに示されている。この差異フレームは、これらの画像が窓処理されていないという事実を反映している（この妥当性については以下に説明する）。図５ｂの境界の周りの誤差は予想されるものであり、それらはフレームを出入りする画像の動きからくるが、他方中央領域はかなり良好に表現されている。
【００１９】
対照的に、図５ｄ（わずか１．４％の誤差）に示されているように、７．２フレームライン／フィールドの垂直速度値を用いて画像再構成が実現される場合、その再構成フレームは質が低下している。図５ｄの再構成フレームと図５ａの原フレームとの差異は、図５ｅに示されている。図５ｃと図５ｅに表現された差異を比較すると、画像劣化の程度が分る。
【００２０】
これは、公開されている動き補償方法から十分な利益を得ようとするなら、正確な動きベクトルを求める必要があることを示している。しかしながら、すでに説明したように、正確な垂直ベクトル成分を従来の位相相関技術を用いて見出すことは、簡単ではない。位相相関が、全フレームが処理されているときうまく動作することがわかっていて、動き補償補間はフィールドからフレームを再生することができるとすると、位相相関処理に対する入力として再構成フレームを用いる可能性がでてくる。困難なのは、動きベクトルが知られているときにのみ、動き補償フレームの再構成が機能することである。したがって、この問題は、問題が解決される前に、解答を要求するようにみえる。
【００２１】
この問題には、図６に示す繰り返し処理を用いて、本発明に従って取り組まれる。
【００２２】
図６を参照すると、その方法は次の処理段階を有する。
【００２３】
１．　図６に入力フィールド０〜５として示されている、入力原画像フィールドシーケンスから、そのシーケンスの２枚のフィールドの関連領域又は「タイル」を用いる。その２枚のフィールドは、入力フィールド１及び４で、お互いに（本例では）３フィールド期間隔たっている。そして、従来の位相相関ステップ１０を利用して、そのタイルの動きベクトルの初期予測を生成する。これによると、水平成分はかなり正確な結果が得られるが、垂直成分の予測は、インターレース入力フォーマットの影響により概して不正確なものとなる。
【００２４】
２．　ステップ１０で得られた動きベクトルの初期予測を用いて、相関処理された２枚のフィールド１及び４の関連タイルをフィルタリングする。フィルタリングは、それぞれ３フィールド補間処理ステップ１１及び１２（３は望ましい数であるが、もっと大きな数を用いてもよい。）において、原フィールド１及び４の周波数領域で実行される。ステップ１１では、フィールド１の補間がフィールド０及び２で行われ、ステップ１２では、フィールド４の補間がフィールド３及び５で行われる。ステップ１１及びステップ１２では、２枚の原フィールドに置き換える各フレームの第１近似を生成する。
【００２５】
３．　段階１の位相相関ステップ１０は次に、第２位相相関ステップ１３において、段階２で得られたフレーム近似を用いて第２の精細な動きベクトルの予測を得る。
【００２６】
４．　段階３で得られた動きベクトルの精細予測は、段階２のステップ１１及び１２を繰返す３フィールド補間ステップ１４及び１５に用いられる。これにより、入力フィールド１及び４のさらに正確なフレーム表現が生成される。
【００２７】
５．　入力フィールド１及び４のさらに正確なフレーム表現は次に、より以上に正確な表現を得るために用いられる。まず、さらに高精細な動きベクトルを得るために、位相相関ステップ１０の繰り返しにそれらが提供され、次に、そのさらに高精細な動きベクトルを用いる３フィールド補間ステップ１１及び１２の繰り返しにそれらが使用される。
【００２８】
所定の反復回数に達するまで、又は、これに代えてある収束指標に達するまで、この処理は、得られたフレーム表現を用いて段階５を繰り返して継続し、しだいにより正確になる結果を与えることができる。通常２、３回の反復により、十分に正確な結果が得られることが分っている。また、収束が簡単に見分けられるときには、この状態を処理を終了させるために用いてもよい。
【００２９】
図６に示された本発明方法は、すべて周波数領域で実行され、図７に示されるような装置（ハードウエア動作及び／又はソフトウエア動作）で実現される。
【００３０】
図７を参照すると、空間領域における、フレームタイル又はフィールドの入力シーケンスは、順ＤＦＴ部２０によって周波数領域にマッピングされる。３枚の連続するフレーム０〜２の画素の輝度は、当該画像を構成する周波数成分の振幅と位相を表現する複素数のアレイに変換される。これらの複素数のアレイは、順にバッファ２１〜２３に入力する。バッファ２１〜２３内にある、３枚のフィールド０〜２の対応する空間周波数（ｆｘ，ｆｙ）からの周波数成分を表現する複素数は、それぞれ複素数乗算器２４〜２６に読み出され、複素数補間係数発生器２７によって与えられる重み係数を用いて処理される。３個の乗算器２４〜２６の出力は、複素数加算器２８で加算され、バッファ２９に複素数周波数アレイを得る。乗算及び加算演算は、異なる空間周波数成分について次々に実行される。
【００３１】
最初にバッファ２９に入力する周波数アレイは、バッファ２２に入力されるフィールド１のものと同じで、そのアレイの空間周波数成分（ｆｘ、ｆｙ）の複素数表現は、直列に（又は並列に）バッファ２９から位相相関動き予測器３０への２入力の１つとして与えられる。予測器３０への他の入力は、入力画像シーケンスのフィールド４を表現する周波数アレイの空間周波数成分（ｆｘ、ｆｙ）の複素数表現であって、バッファ２９と対になるバッファ（図示せず）に記憶されている。その内容は、入力画像シーケンスの３枚のフィールド３〜５から、フィールド１と同じ方法で同じ重み係数を使用して得られる。予測器３０は、図６を参照して前述した方法の段階１に従って動作し、各タイル内の動きベクトルの水平及び垂直動きベクトル成分Ｖｈ及びＶｖの初期予測を得て、ベクトル記憶部３１に供給する。
【００３２】
ベクトル記憶部３１は成分Ｖｈ及びＶｖ表現を、各タイルのシーケンサ部３３からの対応空間周波数座標ｆｘ及びｆｙ表現とともに、一時周波数計算機３２に供給する。以下に説明するように、応答する計算機３２によって、エイリアス及びベースバンドの一時周波数表現ｆａ及びｆｂとが得られ、これらは乗算器２４〜２６に与えられる複素数補間係数の計算のための発生器２７に入力する。これらの重み係数は、ベクトル記憶部３１内の動きベクトルの初期予測に基づくものであるが、乗算器２４〜２６及び加算器２８を通して有効に機能して、図６を参照して前記した方法の段階２の３フィールド補間フィルタリングを実現し、バッファ２９及びこれと対となるものに、原フィールド１及び４に対するより正確な置換すべきものを表現する、周波数アレイを生成する。
【００３３】
重み係数は、２個の一時周波数変数ｆａ及びｆｂによりアドレスされる予め算出済のルックアップテーブルに記憶されている。一時周波数が量子化される精度及び係数それ自体のワード長は、テーブルのサイズを決定する。精細に量子化されたテーブルは、より正確な補間を可能にするが、記憶に必要なものが増大する。この処理は、７６８×７６８のテーブルでテストされた。ただし、補間の正確さを大幅に損なうことなくこのサイズを減少させることは可能である。現在実施しているものでは、係数は、浮動小数点の値として計算され、記憶されている。ただし、この正確さの程度は実際に保障されているというわけではない。係数を記憶することに代えて、必要となったとき、「その場で」（’ｏｎ ｔｈｅ ｆｌｙ’）計算するようにしてもよい。
【００３４】
より正確なアレイの周波数成分の複素数表現が、位相相関予測器３０に供給され、図６を参照して先に説明した段階３に従って、動きベクトルの精細予測を導出する。各タイル用のベクトル記憶部３１に記憶されたこの精細予測は、次に計算機３２及び発生器２７を通して利用され、乗算器２４〜２６を通して実行されるフィルタリング処理のための新たな重み係数を導出して、結果として、図６を参照して先に説明した方法の段階４に従って、フィールド１及び４のより正確な表現を得る。
【００３５】
装置は、引き続き繰り返して、図６を参照して先に説明した方法の段階５に従って、バッファ２９及びこれと対になるものとに、フィールド１及び４のより以上に正確な表現を生成する。正確さをそれ以上精細にすることが、繰り返しの数又は収束のいずれかによって終了すると、得られた周波数アレイは、出力となる動き補償ビデオを提供するために、空間領域へ逆変換する逆ＤＦＴ部３４に伝送される。
【００３６】
画像内に含まれるすべての領域あるいは「タイル」についてすべての垂直移動速度が、数回の繰り返しにわたってプロットされると、その初期値は臨界速度の周辺に束になっていることがよくみられる。さらに繰り返しが続くと、個々のタイルの臨界速度が真の値の近傍の一点に収束するにつれて、その束は、広がってゆく。
【００３７】
適切なアパーチャ関数を用いる空間領域における線形補間により、入力画像シーケンスにおける画素と空間的には一致しない新たな画素の輝度を予測することが知られている。一般的に、新たな位置に作成される画素を必要とする応用例はいくつかあって、例えば、インターレース解除、画像サイズの変更、及び標準変換がある。
【００３８】
テレビジョン応用に用いられる補間プロセスのもっとも一般的な形態は、水平、垂直、及び時間の次元に中間の画素値を見出す３次元的なものである。変換先の標準で動作させるとすれば、またピクチュアサイズの変更では、カメラレンズによって光学的にサイズ変更を行うとすれば、変換元によって生成されていたであろう出力画素値を作成することを目的とする。実際には、この目標は達成するに困難である。この理想の追求の中で、初期には固定の動き適応型補間技術に動き補償が加わったのである。
【００３９】
図８ａ〜８ｄに示す４枚のテスト画像は、画像処理及びサンプリング信号処理一般で周知のエイリアシング現象を示すものである。図８ａ及び８ｂの画像は、それぞれ垂直周波数（ｆｙ）が５２（サイクル／画像高さ）で、それぞれ全フレーム（２５６ライン）フォーマット及び単一フィールド（１２８ライン）フォーマットで走査されたものである。これに対して、図８ｃ及び８ｄのものはこれに対応して、垂直周波数が７６（サイクル／画像高さ）であって、それぞれ全フレーム及び単一フィールドフォーマットに関する。
【００４０】
原画像信号の再現に要するサンプリング（ナイキスト）レートは、その信号に含まれる最高周波数成分の２倍を必要とする。この要請は、全フレームレート、すなわち本例では２５６ラインで走査される両方の例に当てはまり、単一フィールドの１２８ラインで走査される場合では、垂直周波数が５２である例のみ当てはまる。
【００４１】
１２８ラインのみをより高周波で走査する図８ｄに示される結果によると、実際にはより低い周波数での走査によって生成される図８ｂのものと区別がつかない。１２８本の走査線に含まれるデータを見ることによっては、垂直周波数の元の値が５２であったか７６であったかを知ることはできない。それゆえ、原画像を明確に再現することは不可能である。
【００４２】
図８ａ〜８ｄの２つの周波数は、図９にサンプリング点を付して、実線及び点線の正弦波としてプロットされている。サンプリング値は両方の信号で同一であることがわかる。原信号の帯域幅がサンプリング周波数に関連してナイキスト限界内にあれば、より高い周波数は存在しないといえるし、曖昧さはないことが知られている。
【００４３】
サンプリング定理はまた、サンプリング信号は、周波数領域でベースバンド帯域の無限の繰り返しとして観察されることを教える。これらの繰返される帯域は、図１０に示されるように、サンプリング周波数の倍数に中心をもつ。ここでは正の周波数のみを示した。このように帯域は無限に広がるが、零周波数とサンプリング周波数ｆｓと間の区間が、本発明の目的のために唯一の興味のある領域である。
【００４４】
図１０の点線は、単一信号周波数ｆｓｉｇの周波数領域の位置、及びサンプリング処理で生成される関連エイリアス周波数ｆａｌｉａｓの位置を示す。
【００４５】
ｆａｌｉａｓ　＝　ｆｓ　−　ｆｓｉｇ
【００４６】
この関係から、第１繰り返し帯域の低周波数部分は、零からｆｓにおけるベースバンド帯域の折り返し（ｒｅｆｌｅｃｔｉｏｎ）である。信号周波数が零から高くなるにつれて、対応するエイリアス周波数はサンプリング周波数から低くなってゆき、ついには（１／２）ｆｓの信号周波数（再現可能な最大周波数）に至る。実際、ベースバンド帯域の最大点と第１繰り返し帯域の最小点との間には有限の間隙が必要であり、これによりサンプリング信号が連続信号に再構成されることを可能にしている。この再構成処理は、無限に広がる帯域をフィルタリングすることによって、ベースバンド信号のみを残すようにする。
【００４７】
インターレースフォーマットビデオの場合、各フィールドは垂直方向では「アンダーサンプリング」されたフレームであるという事実に起因して、エイリアシングが入力フィールドに存在していることがよくある。
【００４８】
全フレームとして走査された画像の垂直周波数帯域は、図１１に示されている。これは、平坦なスペクトルが、「フレームナイキスト周波数」（１／２）ｆｓの約８０％の垂直周波数まで続くことを仮定したもので、「フレームナイキスト周波数」（１／２）ｆｓとは、全フレームにおける走査線の数で裏付けられる最大周波数である。第１繰り返し帯域の下位部分もまた示されている。
【００４９】
単一フィールド、すなわちフレームラインの半数により走査された、同一画像のスペクトルが図１２に示されている。先に説明したように、第１繰り返し帯域はサンプリングレートにおいて折り返されたベースバンドである。サンプリングレートは半分になっているので、ベースバンドと第１繰り返し帯域とは、応答がロールオフする領域を除いて、完全にオーバーラップする。
【００５０】
ベースバンドと折り返されたベースバンドスペクトルとの重複に起因して、フィールド走査スペクトルの個々の周波数は、原画像の２つの異なる垂直周波数が寄与している可能性を含む。先に与えた例では、選択された２つの周波数は、ｆｙ＝５２及びｆｙ＝７６であった。１２８本のフィールド走査線があり、対応するエイリアス周波数は、
【００５１】
１２８−５２＝７６　及び　１２８−７６＝５２
であった。
【００５２】
したがって、原画像にこれらの垂直周波数のいずれかが存在すると、フィールド走査スペクトルにおける両周波数を生み出す。２つの周波数のうちどちらが原画像に存在するかを、フィールド走査スペクトルに含まれる証拠から決定することはできない。
【００５３】
個々のフィールドから必要な情報を引き出すことが困難であるにもかかわらず、多くの場合、動き画像を表現するいくつかの隣接フィールドを用いて、完全なフレームを正確に再構成することができる。直観的に言えば、動き画像に対して連続フィールドの走査線の相対的位置が考慮されるときに、可能であるように思われる。臨界的垂直速度の場合を除いて、一般に走査線は、連続フィールドにおいて画像細部に関して異なる垂直位置上にあり、これにより各単一フィールドで失われる細部の証拠を組み立てることができる。
【００５４】
画像が静止していれば、２枚の連続するフィールドから１フレームを組み立てる方法を知ることはたやすい。しかし、画像がフィールドごとに異なる位置にある場合、複数のフィールドから情報を組合わせる最良の方法は明らかとはとうていいえない。しかしながら、このようなことは、「動き補償補間」として知られている技術を用いて、いろいろな精度をもって空間領域で行われてきた。この技術は、以前の動き補償されない線形補間方法の拡張である。
【００５５】
空間領域での線形補間により、隣接して存在するセットから、それらの輝度値を重み付け加算して、新たな画素を生成することができる。寄与する各画素に割り当てられる重みは、その値に寄与する画素から新たな画素までのオフセットを考慮する「アパーチャ関数」によって得られる。このオフセットは、垂直成分、水平成分、ある場合には時間成分を有する。動き補償補間が用いられるときは、寄与画素及び関連アパーチャ関数の選択は、画像シーケンスの局所的動きをも考慮に入れなければならない。最も厳しい用途では、最適結果を得るために、３，４枚の連続画像から数百の寄与画素をカバーする非常に複雑なアパーチャ関数を用いる必要がある。
【００５６】
本発明は、動き補償補間に対する新たなアプローチであって、所望の結果の取得への負担の少ない道を与えるものを提供する。前記のようにアパーチャ関数を用いて空間領域で補間処理を行う代わりに、入力フィールド又はフレームを変換した後、周波数領域で補間処理を実行する。この新方法を用いると、特にインターレースされている入力源が用いられるときに、現存する動き予測技術によって改良された結果を得ることができる。
【００５７】
前記した位相相関のような、周波数領域の動き予測方法は、標準的な処理の一部として入力画像上で実行される順ＤＦＴを必要とする。したがって、新たな方法はこれら既存の技術と一体化される場合、順ＤＦＴは追加される作業負担ではない。
【００５８】
インタレース解除の問題が周波数領域の観点からいかにアプローチするかを示すために、４枚の連続するフィールドにわたる特定の空間周波数成分の進行がここで考察される。これに関して、図１３ａ〜１３ｄは、一連の完全なフレームとして走査された４枚の画像を示す。そして、図１４は、これら４枚のフレームに見出される同一空間周波数の４つの値を示す。これらは複素平面にプロットされ、直線で連結されている。このプロットは、ｆｘ＝２、ｆｙ＝４で与えられる空間周波数の進行を記述している。
【００５９】
注意すべきは、１フレームから次のフレームへの位相の増加は、他のどのような画像に対しても同じ可能性があり、空間周波数と動きベクトルにのみ依存している。１フレームから次のフレームへの理論的な位相増加は、周波数ｆｘ、ｆｙに関する水平変位及び垂直変位δｙによって起こり、次の式で与えられる。
【００６０】
【数１】
2004513546.tif 000003
ここで、δｘ、δｙは、それぞれ画像幅単位と画像高さ単位であり、ｆｘは、サイクル／画像幅であり、ｆｙは、サイクル／画像高さであり、φは、フレームからフレームへの位相増分であり、度をあらわす。
【００６１】
したがって、各空間周波数成分の位相と振幅を予測することはできない（なぜならこれらはその画像を規定するものである）が、各成分がフレームからフレームへ進行する経過は、ある程度の正確さをもって予測可能である。これは次のことを示唆している。すなわち、もし動きベクトルが知られるなら、連続する画像にわたって各単一空間周波数成分を表わす複素数値の各アレイをフィルタリングすることによって、その画像をフィルタリングすることが可能であるはずである。
【００６２】
所与の動きベクトルと空間周波数に対する、フィールド又はフレーム毎の位相増分φは、知られており、アレイが提示することが期待される位相増分である。しかしながら、現実の画像シーケンスから得られるアレイを考慮する場合、特に画像がインターレースフォーマットにおけるフィールドとして取り込まれる場合には、この理想から離れることになる。
【００６３】
単一フィールドとして走査された画像の垂直スペクトルについての先の説明で示したように、フィールド走査スペクトルにおける各空間周波数成分は、エイリアシングに起因して、原画像における２つの異なる垂直周波数からの寄与の可能性を含む。干渉を引き起こす可能性のある原画像における垂直周波数ｆａｌｉａｓ成分は、先に説明した次の式によって求められる。
【００６４】
ｆａｌｉａｓ　＝　ｆｓ　−　ｆｓｉｇ
【００６５】
正負両方の周波数を扱う場合には、２５６フレームラインの画像では「共役」垂直周波数が次のように与えられる。
【００６６】
ｆｙ＿ｃｏｎｊ　＝　ｆｙ　−　１２８
【００６７】
したがって、（ｆｘ＝２４，ｆｙ＝１００）のような高い正の垂直周波数をもつ周波数ビンは、原画像の成分、すなわち次の周波数、
【００６８】
（ｆｘ＝２４，ｆｙ＝１００）及び（ｆｘ＝２４，ｆｙ＝−２８）
からの寄与の可能性を有する。
【００６９】
この寄与を「可能性」として述べたのは、どちらか一方又は両方の成分が、認められ得る振幅で存在するかどうか不明だからである。同様にそれらの位相もまた分らない。なぜなら、振幅も位相も画像内容に依存するからである。
【００７０】
単一の変換フィールドで見ると、第２の「共役」周波数成分は、この周波数ビンにおいて、第１のものと区別がつかない影響を及ぼす。しかしながら、複素数値のアレイへの影響を複数の変換フイールドにわたって見ると、その振る舞いは異なる。このような干渉は、異なるｆｙ値をもつ原画像周波数に由来し、したがって異なる一時周波数を生成することによる。
【００７１】
連続フィールドを通して起こる単一の空間周波数成分の位相の歳差運動が、一時周波数（ｆｔ）を規定する。フレーム走査画像を扱うとき、各空間周波数に対する単一の一時周波数の形跡、換言すれば、フレームごとにほぼ一定の振幅と一定の位相で回転する点が認められることが期待できる。変換画像が、インターレースフィールドで走査されている場合は、複数の連続するフィールドに対応する点列は、変換された全フレームに由来する必要な点列に加えて、フィールドとして画像を走査することによるエイリアスの影響に由来する不必要な点列を含むものとして考えられる。
【００７２】
したがって、必要な成分を不必要な成分から切り離すために用いられる特徴は、一時周波数である。全フレーム「ベースバンド」成分の一時周波数ｆｂは、
【００７３】
ｆｂ＝ｆｘ・Ｖｈ＋ｆｙ・Ｖｖ
である。ここで、ｆｂは、サイクル／フィールドであり、Ｖｈは、動きベクトルの水平成分で、画像幅／フィールドであり、Ｖｖは、動きベクトルの垂直成分で、画像高さ／フィールドであり、ｆｘはサイクル／画像幅、ｆｙはサイクル／画像高さである。
【００７４】
同様に、「エイリアス」成分の一時的周波数ｆａは、
【数２】
2004513546.tif 000004
【００７５】
である。ここで、ｆｙ＿ｃｏｎｊ（ｆｙ）は、ｆｙが正の値のとき（ｆｙ−ｆｙ＿ｍａｘ）であり、ｆｙが負の値のとき（ｆｙ＋ｆｙ＿ｍａｘ）である。付加的な修正ｆｔ＿ｃｏｎｊ（ｆｔ）、これは、インターレースフォーマットの振動ライン構成の影響を考慮するために用いられ、ｆｔが正の値のとき（ｆｔ−０．５）であり、ｆｔが負の値のとき（ｆｔ＋０．５）である。
【００７６】
未知の振幅と位相をもつが、一時周波数が既知である２つの周波数があるとすると、それらを区別する方法が求められる。使用方法を説明するために、図１５及び図１６を参照する。
【００７７】
図１５は、５枚のフィールドにわたる２つの成分を示すとともに、フィールド番号をある空間周波数に関して各フィールドに関連する複素数値に隣接して示すもので、仮定の、必要な「ベースバンド」列及び不必要な「エイリアス」列の典型例を示す。ここで、不必要な「エイリアス」列は、インターレースフィールドとして走査された画像を変換する結果として付加されるものである。他方、図１６は、（実際に起こるような）２つの列がともに行う各々のフィールドへの寄与を加えて得られた、組合わされた列を示す。
【００７８】
図１５では、実線は、単位の振幅であり、反時計（正）方向に５４．５度／フィールドづつ位相を増加させている。その内側の点線は、０．７の振幅で、位相を８１．８度／フィールドづつ減少させている。したがって、これは、負の一時的周波数であり、時計方向に進行し、フィールド番号が増加している。参考のために単位円が示されている。
【００７９】
図１５に示されるように、２つの列は分離されており、一点と次の点とを結ぶベクトルの長さは両方の列でおおよそ等しい。したがって、フィールド１とフィールド２との間のように、ベクトルの向きが反対であれば、組合わされた列は、これら２つのフィールドに対してほぼ同一の複素数値を示し、したがって、２つのフィールドの点はほとんど一致する。この組合わされた点列は、本発明の方法により、不必要な「エイリアス」列を除去する一方「ベースバンド」列を維持するよう、フィルタリングされる。この処理はすべての空間周波数に対して実行され、フィルタリングされた周波数列を空間領域に戻す変換を行って元の全フレーム画像を再生する。
【００８０】
前記のフィルタリングプロセスは、再構成されるべきフィールドでの組合わされた列の値に加えて２枚の隣接フィールドの値をそのフィルタ「タップ」（’ｔａｐｓ’）として用いる。一般的に、多くのフィールドからの寄与を用いるとさらに正確な結果が得られ、特に以下に説明するように、垂直移動がある臨界速度に近いものであるときには、そうである。しかしながら、これは動き補償方法であるので、多くのフィールドを用いることは、より遠いフィールドが、それに比例してより大きな量だけシフトされなければならないことを意味する。
【００８１】
ピクチュアは、周波数領域に変換されるべきより小さなタイルに分割されることによって、異なる動きベクトルが、映像の異なる領域に発見され適用されることを可能にする。より多くのフィールドを用いると、無効な画像情報がエッジから内側にシフトすることに起因して、タイルの有効面積が減少する。さらに、映像中のさまざまな対象は、一様な速度での純粋な並進のように正確に形成されて動くことはほとんどない。さらにまた、対象が他の対象の前を通り過ぎて、それらを見えなくする。しばしば、これら全ての影響はともに、３又は４枚より多くのフィールドから得られる情報を用いることを困難にする。再構成画像の質と前記の影響とをうまく妥協させることは、フィルタリング処理用に３枚のフィールド、すなわち、インターレース解除されるべきフィールドと、その前の１枚、及びその後の一枚、を使用することによって得られる。
【００８２】
入力シーケンスに存在する動き補償は、図５ｂにより明らかなように、出力タイルにエッジ効果を引き起こす。一般に、出力タイルの中央領域しか表示されず、タイルの鋭いエッジは窓関数によってソフトにされる。最終画像はこれらのソフトエッジタイルのアレイから再構成される。
【００８３】
中央のフィールド周波数ビンの内容は、必要なアレイと不必要なアレイ両方からの寄与を含む。そのフィールド画像の全フレーム対応バージョンを変換することによって得られたであろう値に近づくためには、「エイリアス」アレイからの寄与が除去される必要がある。
【００８４】
図１５を検討するために再び参照すると、図１５は区別された２つの列を示し、内側の点線は不必要なエイリアス成分を表現している。
【００８５】
特定の周波数を除くために、３個以上のタップをもつ線形位相「ＦＩＲ」（有限インパルス応答）フィルタを設計することが可能である。除去「ノッチ」周波数は、より多くのタップ付加すると、より正確に規定することができる。わずか３個のタップでは、可能性は限られる。しかし、外側のフィールドの寄与をシフトさせ、３枚のフィールドの値の和を零にするようにして、任意の不必要な一時的周波数成分を除去するように、フィルタを構成することができる。１７図には、そのようなフィルタリング処理であって、前記例における中央の３つの値に適用して、フィルタリングされた中央の値を生成するフィルタリング処理が示されている。外側の原エイリアス列の２つの値に複素数の係数が適用され、３つの値を１２０度離れて位置するために必要な量だけ、原のものについて、一方を時計回りに回転させ、他方を反時計回りに回転させる。２つの修正された値が無修正の中央の値に加算されると、その対称性から、３つの寄与分の和は零になることが分る。このように、簡単なフィルタでもこの特定の一時周波数に関して零応答を実現している。
【００８６】
しかしながら、このフィルタは組合わされた値のアレイに適用されるのであって、必要な「ベースバンド」アレイの値を歪めてはならないことを忘れてはいけない。同じ係数のセットを、「ベースバンドアレイ」の中央の３枚のフィールドに適用すると、それぞれ通過し除去される二つの周波数の間の相違に依存して、一般にはゲインの変化が起きる。したがって、係数は、「ベースバンド」ゲインを１（ｕｎｉｔｙ）に補正するために、スケールアップ又はスケールダウンさせることができる。
【００８７】
前記フィルタとしては、一つの周波数を除去し、他の修正されていないものを通過させる、多くの可能な係数のセットのうちの一つを用いる。３フィールド補間用に採用されるフィルタの係数は、実際には次の形式をとる。
【００８８】
【数３】
2004513546.tif 000005
【００８９】
ここで、ｆｂ及びｆａは、先に示したように、それぞれベースバンド及びエイリアスの一時周波数であり、ｆｐｋは、これら２つの周波数の平均のオフセットバージョンであり、実係数Ｂはｆｂ及びｆａの関数として調整される。
【００９０】
ベースバンドとエイリアスが組合わされたアレイである先の例では、５枚のフィールドが示されているので、中央の３つの値が前記３フィールド係数を用いてフィルタリングされることができる十分な数のフィールドがある。この方法でフィルタリングされた場合、これらの３つの中央の値は図１８に示す結果を生成する。図１８では、実線はフィルタリングされた結果を表わし、期待通り、５フィールド「ベースバンド」アレイの３つの中央の値を示す。
【００９１】
図１９ａ〜１９ｃに示す３フィールドシーケンスに対して、この一時周波数フィルタリング方法を適用すると、図５ｂに示す再構成フレームが得られる。
【００９２】
前記したフィルタリング処理を行っている間に、変換された入力フィールドに適用される複素係数は、前述のように、効果的に、シーケンスの外側の画像を中央の画像に合わせるようにシフトする。これにより、３つの入力フィールドすべてが、一貫して出力画像に寄与することができる。周波数領域で画像にこのようなシフトを与えることは、先の表現に従って各周波数成分に位相シフトを与えることによって、比較的簡単にできる。したがってまた、最終画像を任意の原フィールドと一致させるようにタイル内の所望の位置に、又は他の中間的な位置に配置するために、係数を修正することができる。例えば、図１９ａ〜１９ｃのような３枚の入力画像のシーケンスから、図示のいずれかのフィールド内の画像の位置と一致させるように、フィルタリングされた１枚の画像を生成することは可能である。
【００９３】
図６に示された繰り返し処理で、各動き予測段階で比較される２枚のフィルタリングされた画像は、入力フィールド１及び４に対してシフトを与えない係数セットでフィルタリングされ、それらの真の相対位置を測定することができるようにする。この段階では逆変換を行う必要がないことに注意されたい。収束に至ると、修正された係数セットが、記憶されている周波数アレイに適用され、フィルタリングされた画像のシフト・バージョンを生成する。例えばこれは、３枚の入力フィールドの１枚と一致する出力フレームを生成するために行われる。他の一致出力フレームが、異なるグループの３枚の入力フィールドから生成されることもできる。これらの結果は原フィールドと比較され、よりよく一致しているものが各ピクチュアポイントにおける出力のために選択されることができる。
【００９４】
再構成される領域内に見出されるすべての動きベクトルのための出力画像を生成することもまた必要である。様々な動きベクトルの形跡がある程度等しくバランスしていて、より「強力な」ベクトルによって隠されていなければ、繰り返される動き予測処理によって、解析対象の領域の２以上のベクトルを正確に識別できる。適切な動き予測アルゴリズムを用いて、出力画像を再構成するために使用可能な役に立つベクトルを抽出することができる。ここで、各出力画像は当該領域の動きの一要素を正確に補償している。識別が容易でない他の動きベクトルを正確に補償する出力画像をさらに生成するために、解析対象領域に隣接する領域で識別される動きベクトルを用いることも必要になる場合がよくある。したがって、最終出力画像には、複数の競争相手（ｃｏｎｔｅｎｄｅｒ）が存在する可能性がある。一般に、画像中の異なる点は、異なる動きベクトルをもって動くので、ある点はある出力画像で正確に再構成される一方、他の点は他の出力画像で表現される。入力画像の「前期」（’ｅａｒｌｙ’）グループ及び「後期（’ｌａｔｅ’）」グループから生成される画像を使用すると、共通した情報がフィールド群の一つで利用できないような位置に置かれた出力画素に対して、適切な画像を選択できる。これは例えば、あるものが関心領域の前を通過することに起因して細部が隠される場合に起る。細部の不明瞭さは、入力画像の前期グループ又は後期グループのいずれかにのみ共通して現われることが多い。
【００９５】
ただ１つの入力フィールドを参照すると最良一致を選択することができる。ただし、もちろん失われた走査線のために生成された情報が実際に妥当であることを立証する方法はない。補間処理で使用する他の係数のセットを生成し、逆変換が行われたときに「一致する」画像を生成することも可能である。この画像は、平坦な中央領域値を仮定することにより、寄与する複数のフィールドにわたって特定の動きベクトルに一致する領域を示すが、他の値が存在する個所で不一致を示す。
【００９６】
図５ｂに示す結果は、原フレームと比較すると、誤差が目立つ。最も多くのずれは、フレームの縁に近接しているが、中央領域に広がる歪みも存在する。垂直方向の細部が多いこと及び臨界速度に動きベクトル垂直成分が近接していることから、このフレームは再構成が特に困難なフレームである。しかしながら、これほど困難ではない例を調べてみても、同様の影響による形跡がなお存在している。
【００９７】
フィルタリングされたフレームを生成するために用いられる動きベクトルが零ではないとすると、画像の縁で歪みが明らかとなる境界がある。これは、ピクチャ内容が、画像シーケンスにおける動き補償処理によって、前期フィールド及び後期フィールドの画像境界の外側から内側に実質的にシフトされるからである。画像が周波数領域成分の位相を変えることによってシフトされる場合、一方側に導入されるピクチャ内容は、フレームの反対側から引出される。換言すれば、図２０ａと図２０ｂとを対比することによって示されるように、ピクチャはフレームを回る。
【００９８】
１枚の出力画像は、変位した複数の入力画像から構成される場合、無関係なピクチャ情報が境界に導入される結果となる。これは避けがたいことであり、これにより、結果として生じる画像の利用できる領域が限定される。動き補償の量が大きくなればなるほど、画像の多くの領域が利用できないものになる。前記シフト画像はまた、周波数領域の表現で、原画像の左手側の縁の画素は、右手側の縁の画素の近傍として見られ、同様に、上部の画素は事実上底部の画素に隣接して配置されているという事実を示す。このように、周波数表現では、垂直及び水平の境界に対応するピクチャの２つの鋭いエッジ（縁）があり、該境界のステップの大きさは、画像の向かい合う縁の画素値間の相違に依存する。これが、周波数領域での画像の表現に、無関係な望ましくない特徴を導入する。
【００９９】
これらの影響は画像処理に関連してよく知られており、一般に窓関数を用いて克服される。これらは、画像に有効に適用されると、境界において一定のレベルまで画像細部を滑らかにフェードしてエッジ部分を隠す。窓関数が適用されると、タイル境界近くでは画像内容は、ほとんどあるいは全く強調されない。これは動き予測及び画像再構成の両方に適用される。
【０１００】
種々の形状の窓関数が使用可能である。図２１ａに、一例として、先の単一フィールド画像の一つに、図２１ｂに示すように適用された簡単な２次元２乗コサイン関数を示す。より複雑な窓関数が、解析と補間のために重複領域を調整するために使用可能であり、そこでは、窓関数は、完全な出力画像を形成するように隣接領域間でクロスフェードするためにも用いられる。これらの重複領域のサイズの選択及び一般的構成は、いくつかの対立する要請間の妥協を必要とする。ピクチャを横切って変化する動きベクトルを識別し正確に補償するためには、あるベクトルが小さな「開口」内でしか決定できないと観察される場合や、あるいは、それらがより明りょうな物体によって隠されている場合には、その領域は小さいことが要請される。他方、大きな動きベクトル、すなわち高速移動対象は、大きな補償量を必要とし、すでに説明したように、ピクチャタイルの使用可能な領域を大きく減少させる。解析及び補償、両機能に関して、小領域の有効性には実際上の限界がある。１つの入力画像期間に、領域の大きさよりさらに大きく動く高速移動対象は全く見逃されることは明らかである。
【０１０１】
この矛盾を解決するための１つのアプローチは、２以上のサイズの窓タイル（ｗｉｎｄｏｏｗｅｄ ｔｉｌｅ）を使用することである。高速移動対象があり、共通するベクトル場がある場合には大きなタイルが有用である。大きなタイルフォーマットはまた、「開始」ベクトルを得るために用いられる。これは、通常期間においても、場面転換によりベクトルリストの再初期化が求められる場合でも、同様である。これらの「開始」ベクトルは、連続する入力画像内により小さなタイルの位置を規定するためにもまた使用可能で、このタイル軌跡がおおよそ移動対象の動きを追跡することになる。このようにすると、各出力画像内に窓タイルの不規則なアレイを生じるが、出力アレイはさらに、画素位置に重みを付ける複合窓関数を補償するために、各出力画素の利得を修正することによって完全なフレームを形成するために加算される。
【０１０２】
不規則なタイルアレイの代替物として、固定アレイが限定的に使用されることができる。どちらの場合も、適用される窓関数は、補間処理で生成されるシフト画像がタイルエッジを越えて広がらないことを保証するように、その範囲を十分に限定しなければならない。補間画像のどのような成分も、先の例に示したように、タイルを回り、最終画像では妥当ではない位置に配置される。各タイルの有効領域はこのように限定されるので、カバーに際して隙間がないように、複数のオフセット・タイルアレイを重複させる必要が生じる。
【０１０３】
固定アレイの場合には、どのような動きでも、画像を補間後の出力タイルにおいて動き方向に広がらせる。動的に配置されるアレイでは、最終ベクトルがタイル軌跡を規定するために用いられる第１近似と異なる程度までしか画像は広がらない。
【０１０４】
図２２は、Ａ、Ｂ、Ｃ、及びＤと表示されたタイルセットを有する４枚の重なるタイルアレイを示す。窓関数によって、各タイルは、図２３ａにはっきり示すように、実質上タイル領域の中心部にのみ働く。窓の１次元形状は図２３ｂに示されている。図２２に示すように、４枚のオフセット配置されたタイルセットによって全フレームがカバーされている。各タイルの中心の寄与領域と隣接寄与領域との間の変わり目には、図が示唆するように、はっきりと分割する線があるのではなく、実際には滑らかな遷移がある。遷移関数は、図２３ａ及び２３ｂの窓関数の形状によって規定される。
【０１０５】
窓関数は、関数の値がすべてのアレイのすべてのタイルに関して加算されるとき、その結果は一定で１（ｕｎｉｔｙ）となるように、選択されなければならない。換言すれば、隣接窓関数はすべて相補的に２次元でお互いに一体となっていなければならない。さしあたって、固定のタイルセットが用いられ、全ピクチャ内容が静止状態であるとすると、加算された場合、４枚のタイルセットは完全に有効な出力画像を生成することは明らかである。しかしながら、画像シーケンスが動きを含む場合は、各タイルにより、例えば、３枚の入力フィールドからシフトされた入力寄与分を有効に組合わせて、局所的動きベクトルを補償することができる。
【０１０６】
動きは補償されるかもしれないが、各タイルの寄与分に適用された窓関数もまた、補償ベクトルによってシフトされ、それによりその結果はばらばらになる。事実上、複数の窓がかけられた寄与分（ｗｉｎｄｏｗｄ ｃｏｎｔｒｉｂｕｔｉｏｎ）があり、そこでは、フィールド動きベクトルの値によって、その窓は、お互いにオフセットされずれている。
【０１０７】
同じ動きベクトルがフレームの全てのタイルに作用しているなら、問題はない。なぜなら、ある入力フィールドからシフトされたすべての寄与分は相補的な関数として一体となっているからである。しかしながら、ベクトルが隣接タイルで一致していない場合、隣接する寄与分は、相対的に変位した窓関数で重み付けられ、領域を通じて利得を１に戻すために、画素ごとにゲイン調整を要する。
【０１０８】
動的配置タイルが用いられる場合、タイルアレイが組合わされて妥当な出力画像になるように、さらに画素ごとのゲイン調整が必要である。動的アレイでは、タイル密度が大きく変化するので、追加的管理を要する。画像シーケンスを通じてタイルの付加及び削除を行って、出力画像のすべての領域で適切なレベルの密度を維持することが必要である。しかしながら、ベクトルの近似が最初に見出されると仮定すると、補償可能なベクトルの大きさには限界がない。より広い窓関数を用いることも可能であり、これにより空白データの変換に関連するオーバヘッド量を減少させることができる。
【０１０９】
静的アレイの場合、採用される補償ベクトルの大きさには限界がある。先に説明した窓関数についていえば、タイル境界の外側へ窓領域をシフトすることを避けるために、タイル幅又はタイル高さの１／８だけ寄与フィールド画像をシフトすることが許されている。示されている例では、最大移動は、垂直に±８走査線及び水平に±８画素に限られており、これは、３フィールド開口ａｐｅｒｔｕｒｅの場合、動きベクトルが、フィールド毎に垂直に±８走査線及びフィールド毎に水平に±８画素に限定される。「前期」及び「後期」３フィールド補間が含まれている場合、シフトされないフィールドはもはや中央にないので、可能なベクトルの最大値はさらに小さくなる。このようにして、ベクトルの大きさは受け入れがたいほど小さな範囲になる。他の固定タイルセットを用いると、この範囲は広がるが、動的配置タイルを用いる前記の構想が好ましい。
【０１１０】
これまで説明したように、全解像度フレームを形成するために用いられるフィルタリング処理は、すべての空間周波数成分に対して、同じ型の一時的な周波数フィルタを適用する。実際に分っていることだが、補間性能は、異なる係数セットをもつ２つの異なるフィルタを用いることによって向上する。第１セットは、先に説明したようにして得られ、最大値の約１０％より高い絶対値をもつ垂直周波数に対して使用される。第２セットは、その最小の１０％に対して用いられる。実際、一方のセットは他方に「クロスフェード」され、それらの間に急激なスイッチングは発生しない。
【０１１１】
第２係数セットは、特定の一時周波数を通過させないということはなく、予想される「ベースバンド」一時周波数をゲイン１で通過させ、他のすべての周波数を相対的に減衰する。これらの垂直周波数に対してこれらの単純化された係数を用いるのは、インターレースビデオのたいていのソースで見出される垂直スペクトルは、全フレーム垂直サンプリングレートによって支持される「フレームナイキスト」周波数より少し低い点でロールオフするということによって正当化される。これは、そうでなければ零に近接する垂直周波数で見出されるエイリアス周波数が、多くの場合、実際に存在しないことを意味する。したがって、それらを除去しようとすることはほとんどむだである。そうすることによって、補間性能が落ちる場合には、特にそうである。高垂直周波数（最大値の９０％より上）はまた同じ理由で減衰される。
【０１１２】
繰り返し動き予測処理は一般に正確な結果に収束するが、あるタイルの動きベクトルが、ときには２つの異なる解に収束することが見られる。これが生じる場合には、ベクトルの２つの解の垂直成分は、臨界速度に近接して、おおよそ臨界速度の上下等距離に位置することが見出される。最初の位相相関結果が臨界速度より上の場合には、より高い解が通常見出され、それより下の場合には、その処理は通常より低い解に収束する。一例を図２４に示す。一見するとこれは変則的に見える。しかしさらに解析すると、この結果が生じる理由が明らかになる。
【０１１３】
画像が１つの臨界速度に近接する速度で垂直に動き、かつ３フィールド補間が用いられると、フィールド走査ピッチの間隙を、３本の走査線の密集する群で実質上走査される。６フィールドが解析のために用いられるときでも、６本の有効走査線は、フィールド走査線間の間隙の大半をカバーするほど十分の範囲をもつものではない。したがって、これらの走査線セットの束の間の画像に含まれる細部は、補間によって再構築しなけければならない。しかし、正確な動きベクトルが知られている場合にのみ、正確に補間を行うことができる。最初は、垂直移動速度がある臨界速度に近いことだけが知られている。繰り返し処理が真の値に収束しそのとき（複数の）補間フレームの逆変換が、真の画像の良好な近似を与えるはずである。しかしながら、先に説明した、代替的速度で垂直に動くわずかに異なる画像もまた、利用可能な解を与えるかもしれない。この異なる画像は、各群の３本の有効走査線の各々に同じ情報を含んでいる。しかし、走査線群は、臨界値から逆にずれた動きオフセットのために、逆の順で細部を描くとみなされている。これらの「代替的」画像が観察される場合、人間である観察者がどちらが「真の」ものかを決定することができないと言う理由で、これらはときには視覚上利用可能である。しかし、実世界の対象がどのように見えるかについての知識により、観察者は簡単にどちらが正しくてどちらが誤っているかを知ることができる場合もある。
【０１１４】
この問題は、非常に局所的なフィールドによる補間の必要性から、生じるように思われ、最初は重大な限界があるように思われた。しかしながら、収束値を比較すると、「真の」解は、対応する「幻の」解と比較して、局所的臨界値からずっと離れている垂直速度に収束することが注目された。この観点によって、アルゴリズムが開発可能となり、ほとんどの場合、処理を終了する前に正しい解を選択できる。
【０１１５】
前述の繰り返し処理は、「真の」解又は「幻の」解のいずれかに収束する動きベクトルを与える。収束が示されるのは、繰り返し処理によって、動きベクトルの垂直成分の変化が閾値より小さくなる場合である。この場合には、垂直成分は、局所的臨界値の他の側から等距離にある値によって置き換わる、次の解が臨界値に近づくか又は離れるかを知るためにテストをすることによって、その解が「真の」ものか「幻の」ものかを確定するように、繰り返し処理がさらに実行される。それが臨界値から離れるように動く場合、最終の繰り返し結果が解である。しかし、それがより近くに動く場合は、最後から２番目の繰り返し結果が用いられる。この「反転」垂直成分アルゴリズムは、その解が臨界値に相対的に近づくことが分る場合にのみ適用される必要がある。このアルゴリズムは、経験的に導かれたもので、理論的根拠は知られていない。
【０１１６】
先に説明した繰り返しフィルタリング処理は、インタレース解除機能及び動き予測機能を提供する一方、不要な信号成分を除去するために使用されることができる。このような応用の１つは、ＰＡＬ又はＮＴＳＣ標準、もしくはそれらの変形に従って符号化された複合カラービデオ信号を、３つのコンポーネント信号に復号することである。
【０１１７】
後者について、ＰＡＬ及びＮＴＳＣ標準は、副搬送波信号の直交変調を用いて、ピクチャの色の内容に関連する２つのチャネル情報を搬送する。カラー復号処理は満足に実行することが非常に難しいことが一般に認識されており、その処理には、複合ビデオ信号を輝度信号（Ｙ）及び色信号（Ｃ）成分に分離すること、色差信号を得るために変調副搬送波を復調することが含まれる。これら２つの処理はどちらかの順で行われる。
【０１１８】
Ｙ／Ｃ分離処理は、過去には様々なレベルの技術的精妙さをもって実行されてきた。最も単純な方法は、１次元ローパス又はノッチフィルタで、水平周波数スペクトルを輝度及び色周波数帯に分離するものである。次の改良レベルは、２次元くし型フィルタを用いるもので、これは、隣接走査線からの寄与を含み、そのフィルタが垂直周波数を基礎にして信号成分間を区別することを可能にしている。しかしながら、一般に認識されているように、完全なＹ成分とＣ成分の分離は、「３次元」設計、すなわち、いくつかの隣接入力フィールドからの寄与を含むものによってのみ得られることができる。このような復号器は、静止状態の符号化された入力画像が復号されるときには、完全な結果を生むことが示される。しかし、画像の動きがある場合には、うまくいかなくなる。これは、画像シーケンス内の情報が一貫しないことによって生じる。
【０１１９】
ある種の復号器は、局所的な動きに応じて２次元モード又は１次元モードに戻る。これは、動き適応として知られる技術である。これは動画像に対する折衷的な解決策である。なぜなら、小さな動きであるとしても、真のピクチャシーケンスで全く動きを欠くというものは、ほとんどないからである。残念なことには、簡単な動き適応型技術を用いると、動きの速度を判断することは困難で、画像中の最小の動きで、復号器を単純モードに切り替えてしまう傾向がある。真に必要とされるものは、静止しているものであるかのように、動画を復号する能力である。これは動き補償技術が用いられるときにのみ可能である。
【０１２０】
本明細書に記載した一時周波数フィルタリング技術は、輝度及び色（Ｙ／Ｃ）成分に関連して信号成分を受容又は拒絶するように拡張することができる。これにより、複合（Ｙ＋変調副搬送波）信号に関して実行されるか、又は干渉する高周波輝度成分による「クロスカラー」成分を含む変調色差信号に関して実行される、Ｙ／Ｃ分離処理が提供される。
【０１２１】
本明細書に記載した動き補償補間処理は、入力信号のランダムノイズを減少させる有用な性質を有する。これは、組合わされる画像は、それらの内容が一貫しているところから強め合うのに対して、個々別々の入力画像に見られるノイズ間には一般に何ら相関性がないからである。インターレース解除及びカラー復号の場合には、静止画像におけるノイズを除去することは比較的簡単である。しかしながら、より一般的な動画像の場合にこの処理を拡張することには、非常に困難なステップがある。入力画像シーケンスがインターレースフォーマットで表わされているときには特にそうである。
【０１２２】
多くの現存するノイズリデューサは、「動き適応」型である。これらは、検出された動きの有無に従って処理のモードを適応させる。しかしながら、適応型色復号の場合には、２つのモード間をなめらかに移行させることが困難であり、より重要なことには、画像シーケンスにおける一時的冗長さは、いったん「動き」モードに入ると、利用できなくなる。本明細書で説明したような、マルチフィールドの正確な補間処理を行うと、静止画及び動画の細部が全く同じ方法で扱うことができ、結果的に同程度のノイズ除去が達成される。
【０１２３】
カラー復号処理、ノイズ除去処理及びインターレース解除処理は、任意の組合わせで用いられ、出力画像は、フィールドレート又はフレームレート間の変換時に要求されるように、任意の中間時点で表現される。
【０１２４】
３フィールド補間用に考えられる３係数セットの形式は、先に述べたように、
【数４】
2004513546.tif 000006
である。周波数ｆｂ及びｆａは、それぞれ通過する周波数及び除去される周波数である。
【０１２５】
任意の一時的周波数ｆｓｉｇに対するフィルタ応答は、図２５ａにグラフとして示すように、次の表現形をとる。
【数５】
2004513546.tif 000007
Ａの値すなわち中央の係数は、例えば０．５である。図２５ａに示す場合は、ｆｐｋの値は０．２であり、Ｂの値は０．２５である。ｆｓｉｇの軸は、−０．５サイクル／フィールドから＋０．５サイクル／フィールドである。周波数スペクトルの周期性によって、これらの両端の周波数は実際には同一（ナイキスト周波数）である。
【０１２６】
図２５ａに見られるように、ピーク応答は、
ｆｓｉｇ＝ｆｐｋ
の場合に起こり、これは、この例では、ｆｓｉｇは０．２の場合である。
【０１２７】
要求されるすべてが、１つの一時的周波数を通過させ、０．５サイクル／フィールド高くまた低く位置する第２の周波数を除去することであれば、これは、ｆｐｋをｆｂの値にセットすることによって簡単に達成することができる。しかしながら、もっと一般の場合には、二つの周波数は、それほど都合よく位置してはいない。この場合ｆｐｋの値は、ｆｂとｆａのオフセット平均に等しく、これらの２つの周波数は、正弦波応答の最大勾配の点から等距離に、一方の側に配置されている。図２５ｂは、要求された通過周波数ｆｂが０．２であり、要求された除去周波数ｆａが０．３である場合の全般的応答を示す。
【０１２８】
この２つの周波数は、要求どおり通過し除去されるが、簡単な正弦波関数を用いてこの要求に適合させると、他の周波数で広い範囲にわたって振れる応答が生じる。この場合、ｆｐｋを０．５にＢを−０．８０９にセットすることによってこの適合が達成される。２つの周波数がお互いにより接近すると、Ｂの値は、通過除去要求に適合させるためには、非常に大きなものとならざるを得ない。しかしながら、その結果である大きなピーク応答は望ましくなく、両方の周波数を５０％に近い振幅で通過させるために、Ｂの値を制限しｆｐｋを調整することによって、この要求ができないことを認めるほうがよい。これは、係数表を予め計算しておく手順の一部として行われる。
【０１２９】
低垂直周波数に用いられる修正フィルタ係数によって、特定の通過周波数をもつが、特定の除去周波数はもたないフィルタが実現される。この型のフィルタは、最初の例のような応答を与えるように、ｆｐｋをｆｂの値にセットし、Ｂを０．２５にセットすることにより容易に実現される。その係数は次のより簡単な形式をもつ。
【数６】
2004513546.tif 000008
【０１３０】
本明細書に開示する方法により、適切なサイズの補間係数のセットを適用することによって、任意数のフィールドを補間することが可能である。先に示した、定数の中央係数をもつ３フィールド補間手法を用いると、ただ２つのパラメータｆｐｋ及びＢが、外側の２係数を特定するために用いられる。したがって、一般に応答は２つの周波数で規定される。ときには、３つ以上の周波数で応答を規定する必要もある。例えば、複合ＰＡＬ信号のインターレス解除とカラー復号を組合わせる場合、１つの通過周波数と５つの除去周波数が特定される必要がある。ただこの６つの周波数は４つの変数によって特定されることができるという制約が適用される。
【０１３１】
より大きな開口を用いると、適切な応答が得られる。ただし、より大きな開口とは、すなわち４フィールド以上のフィールドを用いることであり、復号処理のための高水平周波数の色帯域にのみ適用される。論理的な出発点は次の一般形をもつ５フィールド開口である。
【数７】
2004513546.tif 000009
【０１３２】
この形式に関連する応答は、
【数８】
2004513546.tif 000010
である。図２５ｃに示す応答は、Ａ＝０．３４、Ｂ＝０．２５及びＣ＝０．０８のときに得られる。
【０１３３】
予想されるように、より多くのフィールドを付加すると、その応答はより正確に規定できる。非常に多くのフィールドを用いると、狭い帯域の一時的周波数を通過させ、それ以外のすべてを除去することが可能である。しかしながら、補間処理に非常に多くのフィールドを使用することは、一般的に、必要でもなく望ましくもない。
【０１３４】
カラー復号処理に関連するフィルタリング処理には、特定周波数の大振幅信号を除去することが求められる。この要求に適合する１つの手法は、複数の３フィールドフィルタをカスケードすることにより、多フィールド係数のより大きなセットを導くことである。
【０１３５】
３フィールドフィルタ応答の一般形を再度参照すると、ｆｐｋの値及びＡの値を調整し、正弦波を水平及び垂直に有効にシフトさせてゼロクロスを適切に位置するようにすることによって、任意の２つの除去周波数を規定することができる。それからＡとＢの値をスケーリングし（反転することも可能である）、先に説明した近接位置の周波数点に関連する制限の下で、第３周波数の所望の成分をゲイン１で通過させるようにする。複合ＰＡＬ信号復号処理の場合、合計６個の一時周波数が特定され、そのうちの５個の周波数は、零応答を示すべきもので、第６の周波数は、ゲインは１で位相ひずみがないものである。この要求は、カスケードされた３つの３フィールドフィルタによって満たされる。これらの２つのフィルタは、通過周波数でゲイン１をもつ、２つの「ノッチ」除去周波数を提供し、最後のものは、１つの通過ノッチ周波数であって、その通過周波数のゲインは１であるものを提供する。
【０１３６】
一例として、標準複合ＰＡＬ信号の単一空間周波数は、以下に示す一時周波数ｆｔの表による６個の信号成分をもつ。
【表１】
2004513546.tif 000011
【０１３７】
ここで、Ｕは、（Ｂ−Ｙ）色差信号によって変調された色副搬送波による単一成分を示し、Ｖは、（Ｒ−Ｙ）色差信号によって変調された色副搬送波による単一成分を示し、Ｙは、輝度信号を示し、添え字「ｉｎｔ」は、インターレース走査の影響により現われるエイリアス成分を示す。
【０１３８】
さまざまな一時周波数が、各種方法の各フィルタセクション用周波数対として選択され得る。次に示す例では、３つのセクションが、Ｕ、Ｖ及びＹのＰＡＬ信号成分それぞれに関連する周波数対を基に設計されている。インターレース解除されたＹ信号は、この例ではフィルタを通過する１つの成分である。３つのカスケードセクションの全体応答は、図２５ｄに示される。
【０１３９】
先の周波数表を参照すると、ｆｓｉｇが−０．４の場合に不要な応答ローブがあるものの、応答要求は全て満たされていることが分る。通過及び除去周波数が近接すると常に問題が生じるから、全体応答は妥協する必要がある。ある場合には除去周波数を優先して扱うことがき、ある周波数成分が大きな振幅をもつことがよくあることが分っている場合には、それにより全体応答形状を最適化することができる。
【０１４０】
実際、フィルタリング処理は、各々が３フィールドフィルタを用いて、３つの切り離された段階として行われるのではなく、単一フィルタで一体として処理される。この場合、３つの３フィールドセットから得られる７フィールド係数のセットを構築することによって、同一結果が達成されることができる。
【０１４１】
先に規定したように、複合色信号のＹ、Ｕ及びＶ信号成分はそれぞれ、その信号の輝度及び２つの色成分を表現する。前記７フィールドフィルタは、インターレース解除ベースバンドＹ信号を再現するために用いられ、一方より簡単な３フィールドフィルタは、低水平周波数のＹ信号用に用いられる。これは、空間周波数スペクトルのこの部分は、色エネルギーはほとんどないかまったくないからである。
【０１４２】
フィルタリング処理によって回復されたインターレース解除されたＵ及びＶ信号は、まだ色副搬送波によって変調されており、ベースバンドのＢ−Ｙ及びＲ−Ｙ信号が再現される以前に復調される必要がある。これは、周波数領域にある間に行われるか、あるいは標準的な技術を用いて逆変換された空間領域結果を復調しフィルタリングすることによって行われる。
【０１４３】
複合カラー信号が、色副搬送波の水平周波数に関連するレートで、水平方向にサンプリングされる場合、復調処理は周波数領域で容易に実行される。しかしながら、共通標準レートである１３．５ＭＨｚでサンプリングされている場合、復調処理はより複雑になり、水平方向には無関係の周波数で復調するために、周波数アレイの複雑な補間を必要とする。
【０１４４】
色復号器の代替構成では、複合入力信号を復調して、順方向ＤＦＴ変換が実行される前に（Ｂ−Ｙ）及び（Ｒ−Ｙ）ベースバンド信号を得ることができる。この場合、得られた（Ｂ−Ｙ）及び（Ｒ−Ｙ）信号は、水平周波数スペクトルの色部分に輝度成分が存在することによって「クロスカラー」で悪影響を受けている。複合入力信号すなわち（Ｂ−Ｙ）及び（Ｒ−Ｙ）信号はすべて、適合する７フィールド係数セットでフィルタリングするために、３つの個別の周波数アレイに変換される。複合入力信号に対するフィルタリング処理は、変調された色成分の除去を可能にし、輝度信号を残す。（Ｂ−Ｙ）及び（Ｒ−Ｙ）信号への対応するフィルタリング処理は、これらの信号から「クロスカラー」成分を除去する。フィルタはまた、第１構成と同様に、空間領域に戻ったときには、インターレース解除されたアレイを提供する。
【０１４５】
どちらの構成でも、説明した繰り返し動き予測及び補償処理は、輝度データのみに関して実行される。まず、唯一の利用可能な輝度成分データは、副搬送波変調された色成分を含む、複合カラー信号に見出される。これらの変調された成分は、フィルタリング処理が適用された後にのみ完全に除去される。次に、フィルタリング処理は、うまく動作するために正確な動きベクトルを必要とする。したがって、複合信号が、簡単なローパスフィルタ又はノッチフィルタを通って、色信号帯域に対応する水平周波数スペクトル部分を除去してから、最初の動き予測が該複合信号を用いて実行される必要がある。ある程度正確なベクトルが見出された後には、以前の繰り返しの結果である、フィルタリングされた高周波輝度成分の増加分がローパス信号に付加され、さらに繰返すうちにより正確度を増すことができる。
【図面の簡単な説明】
【図１】
従来例及び本発明方法及び装置に用いられる位相相関技術の態様を示す図である。
【図２】
従来例及び本発明方法及び装置に用いられる位相相関技術の態様を示す図である。
【図３】
本発明方法及び装置に適用される準備的な説明のために、位相相関一般に関連する特徴をさらに示す図である。
【図４】
本発明方法及び装置に適用される準備的な説明のために、位相相関一般に関連する特徴をさらに示す図である。
【図５ａ】
動きを含む画像の原フレームを示す図である。
【図５ｂ】
垂直の動きの第１の値を用いて、原フレームを再現するために再構成されたフレームを示す図である。
【図５ｃ】
図５ａの原フレームと図５ｂの再構成されたフレームとの間の差異を示す図である。
【図５ｄ】
垂直の動きの第２の値を用いて、原フレームを再現するために再構成されたフレームを示す図である。
【図５ｅ】
図５ａの原フレームと図５ｄの再構成されたフレームとの間の差異を示す図である。
【図６】
本発明による画像の動き補償方法を示す略図である。
【図７】
図６の方法を用いる、本発明による画像の動き補償装置を示す略図である。
【図８ａ】
エイリアシング効果を説明するために、４つの異なる環境に適用されるテスト画像を示す図である。
【図８ｂ】
エイリアシング効果を説明するために、４つの異なる環境に適用されるテスト画像を示す図である。
【図８ｃ】
エイリアシング効果を説明するために、４つの異なる環境に適用されるテスト画像を示す図である。
【図８ｄ】
エイリアシング効果を説明するために、４つの異なる環境に適用されるテスト画像を示す図である。
【図９】
エイリアシングに関連してさらに説明するために用いられるグラフ表示を示す図である。
【図１０】
エイリアシングに関連してさらに説明するために用いられるグラフ表示を示す図である。
【図１１】
エイリアシングに関連してさらに説明するために用いられるグラフ表示を示す図である。
【図１２】
エイリアシングに関連してさらに説明するために用いられるグラフ表示を示す図である。
【図１３ａ】
インターレース解除に本発明の方法及び装置を適用することの説明中に言及される４つの画像フレームのシーケンスを示す図である。
【図１３ｂ】
インターレース解除に本発明の方法及び装置を適用することの説明中に言及される４つの画像フレームのシーケンスを示す図である。
【図１３ｃ】
インターレース解除に本発明の方法及び装置を適用することの説明中に言及される４つの画像フレームのシーケンスを示す図である。
【図１３ｄ】
インターレース解除に本発明の方法及び装置を適用することの説明中に言及される４つの画像フレームのシーケンスを示す図である。
【図１４】
図１３ａ〜１３ｄの４つのフレームの空間周波数成分のグラフ表示を示す図である。
【図１５】
画像フィールドのシーケンスを超える一時周波数成分を説明するグラフ表示を示す図である。
【図１６】
画像フィールドのシーケンスを超える一時周波数成分を説明するグラフ表示を示す図である。
【図１７】
図１５、１６に示された環境に本発明に従って適用されるフィルタ処理を説明するグラフ表示を示す図である。
【図１８】
図１５、１６に示された環境に本発明に従って適用されるフィルタ処理を説明するグラフ表示を示す図である。
【図１９ａ】
図５ｂのフレームが再構成される３つのフィールドのシーケンスを示す図である。
【図１９ｂ】
図５ｂのフレームが再構成される３つのフィールドのシーケンスを示す図である。
【図１９ｃ】
図５ｂのフレームが再構成される３つのフィールドのシーケンスを示す図である。
【図２０ａ】
説明中に言及される効果を示す図である。
【図２０ｂ】
説明中に言及される効果を示す図である。
【図２１ａ】
説明中に言及される画像処理の例による、窓関数を示す図である。
【図２１ｂ】
説明中に言及される画像処理の例による、窓関数の適用の結果を示す図である。
【図２２】
さらに画像処理を説明することに関連して言及される、重なったタイルアレイを示す図である。
【図２３ａ】
説明中に言及される、２次元遷移関数を示す図である。
【図２３ｂ】
説明中に言及される、１次元遷移関数を示す図である。
【図２４】
画像処理で起こる収束効果を説明するグラフ表示を示す図である。
【図２５ａ】
本発明方法及び装置の適用の結果得られるフィルタ応答特性を示す図である。
【図２５ｂ】
本発明方法及び装置の適用の結果得られるフィルタ応答特性を示す図である。
【図２５ｃ】
本発明方法及び装置の適用の結果得られるフィルタ応答特性を示す図である。
【図２５ｄ】
本発明方法及び装置の適用の結果得られるフィルタ応答特性を示す図である。
【図６】
2004513546.tif 000012
【図７】
2004513546.tif 000013
【図１０】
2004513546.tif 000014
【図１１】
2004513546.tif 000015
【図１２】
2004513546.tif 000016
【図２２】
2004513546.tif 000017
【図２４】
2004513546.tif 000018
【国際公開パンフレット】
2004513546.tif 000019
2004513546.tif 000020
2004513546.tif 000021
2004513546.tif 000022
2004513546.tif 000023
2004513546.tif 000024
2004513546.tif 000025
2004513546.tif 000026
2004513546.tif 000027
2004513546.tif 000028
2004513546.tif 000029
2004513546.tif 000030
2004513546.tif 000031
2004513546.tif 000032
2004513546.tif 000033
2004513546.tif 000034
2004513546.tif 000035
2004513546.tif 000036
2004513546.tif 000037
2004513546.tif 000038
2004513546.tif 000039
2004513546.tif 000040
2004513546.tif 000041
2004513546.tif 000042
2004513546.tif 000043
2004513546.tif 000044
2004513546.tif 000045
2004513546.tif 000046
2004513546.tif 000047
2004513546.tif 000048
2004513546.tif 000049
2004513546.tif 000050
2004513546.tif 000051
2004513546.tif 000052
2004513546.tif 000053
2004513546.tif 000054
2004513546.tif 000055
2004513546.tif 000056
2004513546.tif 000057
2004513546.tif 000058
2004513546.tif 000059
2004513546.tif 000060
2004513546.tif 000061
2004513546.tif 000062
2004513546.tif 000063
2004513546.tif 000064
2004513546.tif 000065
2004513546.tif 000066
2004513546.tif 000067
2004513546.tif 000068
2004513546.tif 000069
2004513546.tif 000070
2004513546.tif 000071
2004513546.tif 000072
2004513546.tif 000073
2004513546.tif 000074
2004513546.tif 000075
2004513546.tif 000076
2004513546.tif 000077
2004513546.tif 000078
2004513546.tif 000079
2004513546.tif 000080
2004513546.tif 000081
2004513546.tif 000082
2004513546.tif 000083
2004513546.tif 000084
2004513546.tif 000085
2004513546.tif 000086
2004513546.tif 000087
【国際公開パンフレット（コレクトバージョン）】
2004513546.tif 000088
2004513546.tif 000089
【国際調査報告】
2004513546.tif 000090
2004513546.tif 000091