(57)【要約】  本発明は、既存の１組の関連画像内、例えば、異なる時刻に撮影されたシーンのビュー（フィルムフレーム若しくはビデオフィールドのシーケンス等）又は異なるカメラ位置から同時又は時間的に連続して撮影されたシーンのビュー内での新たな中間画像の補間に関する。少なくとも１つの既存画像内の画素又は領域に関して構築される動きベクトルを用いて、それらの画素又は領域が新たな画像の出力位置にシフトされる。シフトされた画素又は領域は、それぞれの動きベクトルの精度の確率の測度に基づいて結合される。精度の確率の測度は、移動フィールド差分の測定値から形成されてもよい。物体の遮蔽が求められて、精度の確率の測度を形成する際に用いられる。
2010507268.tif 000002
【特許請求の範囲】
【請求項１】
新たな画像を関連画像の既存のシーケンス内で、該既存のシーケンス内の画像の画素に適用可能な動きベクトルを用いて補間する方法であって、前記新たな画像に隣接する少なくとも１つの既存の画像の前記画素が該新たな画像に寄与し、該新たな画像における該寄与の位置は、それぞれの寄与画素に適用可能なスケーリングされた動きベクトルに依存し、該方法は、
２つ又はそれ以上の動きベクトルが、少なくとも２つの画素を含む既存の画像の領域に関して導出され、該導出されたベクトルを用いて該既存の画像領域のそれぞれのシフトされた領域が作成され、該シフトされた領域が加重和に結合されて、重みが、既存画像の比較に依存する前記それぞれのベクトルの精度の確率の測度に依存する新たな画像を形成することを特徴とする、方法。
【請求項２】
新たな画像を関連画像の既存のシーケンス内の出力位置において補間する方法であって、
前記シーケンス内の既存の画像の画素又は画素領域に関連付けされる動きベクトルを求めるステップと、
前記それぞれの動きベクトルの精度の確率の測度を前記シーケンスの既存の画像の比較に基づいて求めるステップと、
前記既存の画像の画素を関連付けされる前記動きベクトル又は各動きベクトルに従って前記出力位置へシフトさせるステップと、
シフトされたピクチャ情報を結合するステップであって、前記それぞれの動きベクトルの前記精度の確率の測度に基づいて新たな画像を形成する、結合するステップと、
を含む、方法。
【請求項３】
既存の画像からの画素が前記新たな画像の２つ又はそれ以上の位置に寄与し得る、請求項１又は２に記載の方法。
【請求項４】
それぞれの前記寄与の重みは、前記寄与する画素と、該それぞれの寄与の前記位置を求めるためにスケーリングされた前記それぞれのベクトルとに関連付けされる精度の確率の測度に依存する、請求項１乃至３のいずれか一項に記載の方法。
【請求項５】
前記精度の確率の測度は、前記寄与する既存画像と、１つ又は複数の隣接する既存画像との間の１つ又は複数の移動フィールド差分から導出される、請求項１乃至４のいずれか一項に記載の方法。
【請求項６】
前記精度の確率の測度は、フィルタリングされた移動フィールド差分の滑らかな関数を用いて求められる、請求項１乃至５のいずれか一項に記載の方法。
【請求項７】
前記フィルタリングされた移動フィールド差分は、整流された移動フィールド差分と、振幅が制限され空間ローパスフィルタリングされ整流された移動フィールド差分との加重和から形成される、請求項６に記載の方法。
【請求項８】
前記滑らかな関数は負の指数関数である、請求項６又は７に記載の方法。
【請求項９】
前記新たな画像は、前記新たな画像位置に先行する前記画像からの寄与の正規化された加重和と、前記新たな画像位置に後続する前記画像からの寄与の正規化された加重和とから補間され、２つの該加重和が前記先行する画像及び前記後続する画像のそれぞれに対する前記新たな画像位置の近接度に比例して結合される、請求項１乃至８のいずれか一項に記載の方法。
【請求項１０】
補間される新たな画像の画素の前記比率は、前記先行する既存画像からその画素への寄与に適用可能なベクトルの全確率と、前記後続する既存の画像からその画素への寄与に適用可能なベクトルの全確率とに基づいて修正される、請求項９に記載の方法。
【請求項１１】
１つの寄与につき精度の確率の少なくとも２つの測度、すなわち、前記それぞれの寄与する画素が前記既存の画像シーケンスにおいて新たに現れる確率を記述する第１の測度と、該それぞれの寄与する画素が該既存の画像シーケンスにおいてまもなく隠れる確率を記述する第２の測度とが導出される、請求項１乃至１０のいずれか一項に記載の方法。
【請求項１２】
前記先行する既存のフィールドから新たな画像画素への前記寄与の全確率が評価され、該全確率が閾値を超えないようにまもなく隠れる画素の前記寄与が低減される、請求項１１に記載の方法。
【請求項１３】
前記後続する既存のフィールドから新たな画像画素への前記寄与の全確率が評価され、該全確率が閾値を超えないように新たに現れる画素の寄与が低減される、請求項１１に記載の方法。
【請求項１４】
新たな画像を既存の画像シーケンス内で、該シーケンス内の既存の画像間の比較から導出される動きベクトルを用いて補間する方法であって、前記新たな画像の画素は前記シーケンス内の既存の画像からの画素の加重結合から形成され、前記新たな画像に描写される物体の遮蔽に対処するように既存の画像からの１つ又は複数の寄与が低減され、該低減は前記シーケンス内の既存の画像間の少なくとも１つの比較に依存する、方法。
【請求項１５】
前記低減は、前記既存の画像シーケンス内の前記寄与するフィールドと隣接フィールドとの間の少なくとも移動フィールド差分に依存する、請求項１４に記載の方法。
【請求項１６】
前記低減は、前記既存の画像シーケンス内の前記寄与する画像の前及び後の画像間の少なくとも移動フィールド差分に依存する、請求項１４又は１５に記載の方法。
【請求項１７】
請求項１乃至１６のいずれか一項に記載の方法を実施するように適応されているコードを含むコンピュータプログラム製品。
【請求項１８】
請求項１乃至１６のいずれか一項に記載の方法を実施するように適応及び構成されている装置。
【請求項１９】
関連画像の既存のシーケンス内の出力位置における新たな画像を補間する装置であって、
前記シーケンス内の既存の画像の画素又は画素領域に関連付けされる動きベクトルを求める動きベクトル算出手段と、
前記それぞれの動きベクトルの精度の確率の測度を前記シーケンスの既存画像の比較に基づいて求めるベクトル確率算出手段と、
前記既存画像の画素を関連付けされる前記動きベクトル又は各動きベクトルに従って前記出力位置にシフトさせる動き補償器と、
シフトされたピクチャ情報を結合する結合手段であって、前記それぞれの動きベクトルの前記精度の確率の測度に依存する新たな画像を形成する、結合手段と、
を備える、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、既存の１組の関連画像内での新たな中間画像の補間に関する。関連画像の組の例として、異なる時刻に撮影されたシーンのビュー、例えばフィルムフレーム又はビデオフィールドのシーケンス、及び、異なるカメラ位置から同時又は時間的に連続して撮影されたシーンのビューがある。補間画像は、シーケンスの表示時に動きの描写を改善するため、又は、本来のカメラ若しくは撮像装置の位置以外の位置からのビューを取得するために用いることができる。別の応用はテレビのフレームレート変換である。
【背景技術】
【０００２】
シーケンスにおける中間画像の良く知られた補間方法は、画像間の画像特徴の位置変化を解析し２次元の「動きベクトル」として表す「動き補償」の使用である。通常、ベクトルは画像内の一領域と関連付けされており、ベクトルは、その領域内におけるシーケンス内の画像間の画像特徴の位置変化の方向及び大きさを記述する。次に補間画像が、シーケンス内の２つ以上の画像からの情報の加重和を取ることによって作成され、動き又は視点の変化による複数画像を避けるために総和前の関連する動きベクトルに基づいてピクチャの領域が動かされる。
【０００３】
本明細書では「動き」及び「動きベクトル」という用語が用いられるが、これらの用語は画像シーケンス内の特徴の位置の違いに関連することが意図され、これらの違いは必ずしも動きによるものではなく、視点の変化又は画像シーケンス内の画像間の違いの他の原因によるものである可能性も等しくあることを理解すべきである。
【０００４】
領域は２つ以上の可視物体を含む場合があり、同一の画像領域に対して２つ以上の動きベクトルが作成されることも珍しくない。動きベクトル作成の位相相関法は特に、同一ピクチャ領域内のいくつかの動きベクトルを特定することができる。画像シーケンスが進むにつれて物体が互いを遮蔽し新たな特徴が現れる場合、又は以前は見えていた特徴が隠れてしまう場合、動き補償補間プロセスはより難しくなる。
【０００５】
特定のピクチャ領域においていくつかのベクトルが特定される場合、その領域の各画素にどのベクトルを適用するかを決めることが必要となることが多い。例えば、いくつかの従来技術のシステムは、適用可能な動きベクトルの中から１つを選択して、入力画素の読み出し又は書き込みを行う記憶装置のアドレスを決めるが、選択が不適切である場合、大きな問題につながり得る。動き補償補間は、測定された動きベクトルに応じた画像中の特徴の位置変更を伴うため、動き測定における誤差は非常に目立つアーティファクトを生じる可能性があり、これらは、画像特徴に対する不自然な強いエッジを含み得る。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明者は、画素への動きベクトルの適用に関して難しく素早い判断を必要とせず、よって「より滑らか」でより視覚的に快い補間を、特に動き測定システムでは確かなベクトルを得ることができない場合に行う新規の画像補間方法があることを見出した。
【０００７】
本発明は、新たな画像を関連画像の既存のシーケンス内で、当該既存のシーケンス内の画像の画素に適用可能な動きベクトルを用いて補間する方法及び装置であって、新たな画像に隣接する少なくとも１つの既存の画像の画素が新たな画像に寄与し、新たな画像における当該寄与の位置は、それぞれの寄与画素に適用可能なスケーリングされた動きベクトルに依存し、当該方法及び装置は、
２つ又はそれ以上のベクトルが、少なくとも２つの画素を含む既存の画像の領域に関して導出され、導出されたベクトルを用いて当該既存の画像領域のそれぞれのシフトされた領域が作成され、シフトされた領域が加重和に結合されて、重みが、既存画像の比較に依存するそれぞれのベクトルの精度の確率の測度に依存する新たな画像を形成することを特徴とする、方法及び装置である。
【０００８】
一実施の形態において、
既存の画像からの画素が新たな画像の２つ又はそれ以上の位置に寄与してもよく、
それぞれの上記寄与の重みは、寄与する画素と、それぞれの寄与の位置を求めるためにスケーリングされたそれぞれのベクトルとに関連する精度の確率の測度に依存し、
上記精度の確率の測度は、寄与する既存画像と、１つ又は複数の隣接する既存画像との間の１つ又は複数の移動フィールド差分から導出される。
【０００９】
一実施の形態において、上記精度の確率の測度は、フィルタリングされた移動フィールド差分の滑らかな関数である。
【００１０】
適切には、上記フィルタは、整流された移動フィールド差分と、振幅が制限され空間ローパスフィルタリングされ整流された移動フィールド差分との加重和を形成する。
【００１１】
一実施の形態において、上記滑らかな関数は負の指数である。
【００１２】
新たな画像は、新たな画像位置に先行する画像からの寄与の正規化された加重和と、新たな画像位置に後続する画像からの寄与の正規化された加重和とから補間されてもよく、２つの当該加重和が先行画像及び後続画像のそれぞれに対する新たな画像位置の近接度に比例して結合される。
【００１３】
補間される新たな画像の画素の上記比率は、先行する既存画像からその画素への寄与に適用可能なベクトルの全確率と、後続する既存画像からその画素への寄与に適用可能なベクトルの全確率に基づいて修正されてもよい。
【００１４】
さらなる実施の形態において、１つの寄与につき精度の確率の少なくとも２つの測度、すなわち、それぞれの寄与する画素が既存の画像シーケンスにおいて新たに現れる確率を記述する第１の測度と、それぞれの寄与する画素が既存の画像シーケンスにおいてまもなく隠れる確率を記述する第２の測度とが導出される。
【００１５】
先行する既存のフィールドから新たな画像画素への寄与の全確率が評価されてもよく、当該全確率が閾値を超えないようにまもなく隠れる画素の寄与が低減される。
【００１６】
後続する既存のフィールドから新たな画像画素への寄与の全確率が評価されてもよく、当該全確率が閾値を超えないように新たに現れる画素の寄与が低減される。
【００１７】
次に、本発明の一例を、図面を参照して説明する。
【図面の簡単な説明】
【００１８】
【図１】画像補間システムを示す図である。
【図２】遮蔽がある場合における動き補償の問題を表す図である。
【図３】本発明による画像補間器の一例を示す図である。
【図４】動きベクトル確率情報の算出を示す図である。
【図５】移動フィールド差分信号用の非線形フィルタを示す図である。
【図６】先行フィールド用の移動フィールド差分／確率変換システムを示す図である。
【図７】後続フィールド用の移動フィールド差分／確率変換システムを示す図である。
【図８】現れる・隠れる領域制限システムを示す図である。
【図９】フィールドＡベクトルの「隠れる」確率及び「その他」確率を取得するシステムを示す図である。
【図１０】フィールドＢベクトルの「現れる」確率及び「その他」確率を取得するシステムを示す図である。
【発明を実施するための形態】
【００１９】
図１を参照すると、入力画像（１）の所与のシーケンス内で新たな画像Ｉ（８）が作成される。以下の説明では、これらの画像をインターレーステレビの時間補間の場合と同様に「フィールド」と呼ぶが、当業者には明らかなように、本方法は、画像シーケンス全般に適用され得る。
【００２０】
入力フィールドＡと入力フィールドＢとの間で新たなフィールドが作成される。これは、これら２つの既存の画像間の或る「位置」（例えば、時間又は視点）に作成される。この位置は既知であるものと仮定し、「補間位相」値Φで表す。この値が０に近い場合、新たな画像はＡに近く、よってＡとほぼ同じであり、１に近い場合、新たな画像はＢに近く、よってＢとほぼ同じである。
【００２１】
入力シーケンス（１）からの２つの他のフィールド、すなわち、Ａの前のフィールドＰ及びＢの後に続くフィールドＮも用いられる。動き推定器（２）、（３）及び（４）においてフィールドＡ及びＢがそれぞれの隣接フィールドと比較され、動きベクトル（５）が出力される。各動き推定器は１つ又は複数の動きベクトルを出力してもよく、各ベクトルは画像の或る領域と関連付けされる。通常、ベクトルは、画素「ブロック」に適用可能であるか、又は画像領域全体に適用可能な「グローバル」ベクトルである。（従来技術のシステムにおいて、これらのベクトルは「試験ベクトル」又は「未割当ベクトル」と呼ばれることがある。）
動き推定器（２）（３）（４）は、例えば位相相関又はブロックマッチングを含む既知の動き測定方法のいずれかを用い得る。３つの別個の動き推定器を示すが、通常、各フィールド対を順番に測定する単一の動き推定器を用いるほうが便利である。動き推定器（２）及び（４）を省き、動き推定器（３）からフィールドＡ及びＢ間で測定されるベクトルのみを用いることによってシステムを単純化することも可能である。
【００２２】
補間器（６）は、入力フィールドＡ及びＢ、動きベクトル（５）、並びに補間位相値Φ（７）から新たなフィールドＩ（８）を作成する。
【００２３】
しばしば、画像内の物体が互いを遮蔽し、画像シーケンスが進むに従ってこの遮蔽は変化する。フィールドＰ及びＮからの情報を補間器（６）に与えることによって遮蔽の処理が可能になる。シーケンスが進むに従って現れる領域では、後のフィールドとの比較から適切な「順方向」ベクトルを特定することができ、シーケンスが進むに従って隠れる領域では、前のフィールドとの比較により「逆方向」ベクトルを特定することができる。したがって、補間器（６）は、フィールドＰ、Ａ、Ｂ及びＮ間の比較を用いて、その入力ベクトル（５）から適切な動きベクトルを選択し、それらを入力フィールドの異なる部分に適用する。
【００２４】
これを図２に示す。図２では、画像シーケンスが縦に示され、物体の動きが横に示される。（なお、同図のフィールドＡ及びＢの一部の網掛けはここでの説明とは関係なく、後に言及する。）同図では、入力画像Ｐ、Ａ、Ｂ及びＮのシーケンスが進むに従い、前景物体が背景領域を横切って右から左へ移動する。簡略化の目的で、背景は静止していると仮定するが、そうである必要はない。
【００２５】
フィールドＡ及びＢから新たなフィールドＩが構築され、以下の５つの異なる部分を含む。  
−フィールドＡ及びＢの異なる場所に存在する前景物体（２０１）。  
これは、フィールドＡ及びＢの比較から導出される動きベクトルを用いてフィールドＡ及びＢから補間することができる。  
−フィールドＡ及びＢに存在する背景部分（２０２）。  
これも、フィールドＡ及びＢの比較から導出される動きベクトルを用いてフィールドＡ及びＢから補間することができる。  
−フィールドＡには存在するがフィールドＢには存在しない、まもなく隠れる背景部分（２０３）。  
フィールドＢを用いてこの部分を構築することはできないが、フィールドＡを用いることができる。  
動きがある場合、フィールドＰ及びＡの比較から導出されるベクトルがおそらく関係する。  
−フィールドＢには存在するがフィールドＡには存在しない、現れる背景部分（２０４）。  
フィールドＡを用いてこの部分を構築することはできないが、フィールドＢを用いることができる。  
動きがある場合、フィールドＢ及びＮの比較から導出されるベクトルがおそらく関係する。  
−フィールドＡ及びＢに存在する背景部分（２０５）。  
これは、フィールドＡ及びＢの比較から導出される動きベクトルを用いてフィールドＡ及びＢから補間することができる。
【００２６】
新たなフィールドＩの構築には、３つの異なるフィールド間の比較からの適切な動きベクトルの選択が必要であること、並びにフィールドＡ及びＢの両方の使用が常に補間に役立つ訳ではないことが分かる。
【００２７】
図３は、本発明の一実施形態による画像補間システムを示す。このシステムは、ベクトル及び補間重み係数の選択を確率的に行い、動き測定プロセスにおける誤差の影響及び誤りを最小化することによって優れた補間を達成する。
【００２８】
図３を参照すると、入力フィールドＡが動き補償器（３０１）に入力され、入力フィールドＢが第２の動き補償器（３０２）に入力される。ブロック（３０１）及び（３０２）はそれぞれ、それぞれのフィールド入力に対して動作し、動きベクトル（３０３）及び（３０４）のそれぞれの組に応答してそれぞれのフィールド入力のシフトされたフィールド組を生成する並列な１組の画像シフタを表す。このｎ個のベクトル（３０３）から成る組は、フィールドＡに関連するベクトル、すなわち、フィールドＡ及びＢ間の動き測定から導出されるベクトルを含み、フィールドＡ及びＰ間の動き測定から導出されるベクトルも含み得る。上述したように、ベクトル（３０３）の組には任意の便宜的な数のベクトルｎがあってもよく、定義済みのピクチャ領域は１つ又は複数の関連ベクトルを有し得る。同様に、ｍ個のベクトル（３０４）から成る組はフィールドＢに関連し、その構成ベクトルはフィールドＢ及びＡ間の動き測定から導出され、フィールドＢ及びＮ間の動き測定から導出されるベクトルも含み得る。
【００２９】
動き補償器（３０１）及び（３０２）を構成する画像シフタは、それぞれの入力フィールドをそれぞれの入力動きベクトルに従って、新たなフィールドＩにおける期待位置にシフトさせる。これには、ベクトルの大きさが動き補償器（３０１）の場合にはΦに比例して、動き補償器（３０２）の場合には（１−Φ）に比例してスケーリングされることが必要である。
【００３０】
ｎ個のシフトされたフィールドＡは正規化加重総和ブロック（３０５）に入力される。この正規化加重総和ブロック（３０５）はｎ個の動きベクトル確率信号（３０７）から成る組も受け取る。これらの信号の導出は後述するが、ｎ個のベクトル（３０３）の各々は関連する確率信号を有する。各確率信号は、補間画像Ｉの全画素に関して、それぞれのベクトルがフィールドＡの画素をシフトしてフィールドＩのそれぞれの補間出力画素を構築するのに適切である確率を示す。個々の確率信号は便宜的に、関連するベクトルが適用可能である確率が１００％であるピクチャ領域が「白」であり、確率が０であるピクチャ領域が「黒」であり、中間値が灰色の階調で表されるビデオ信号として扱うことができる。
【００３１】
ブロック（３０５）は、ブロック（３０１）からのｎ個のシフト出力の各々をｎ個の動きベクトル確率信号（３０７）の各々に応じて重み付けし、その結果の正規化和を形成して、単一のシフトされたフィールドＡ信号（３０９）を与える。この文脈において、「正規化」とは、任意の画素に適用可能な確率の和が１となるようにベクトル確率がスケーリングされることを意味する。これは、確率を総和し、各確率をその結果で割ることによって達成することができる。この正規化の効果は、加重和ビデオ信号（３０９）が入力フィールドＡ信号と同じ振幅になるようにすることである。
【００３２】
シフトされたフィールドＢ信号（３１０）が、ブロック（３０６）によって動き補償器（３０２）のｍ個の出力から同様に、フィールドＢ（３０４）に適用可能なベクトルから導出されるベクトル確率を用いて作成される。図３に示すように、ベクトル確率信号（３０７）及び（３０８）の算出は、隣接フィールドからのビデオ信号の使用を伴う。これは以下で詳述する。
【００３３】
補間出力フィールドＩは、シフトされたフィールド信号（３０９）及び（３１０）間をフェードするクロスフェーダ（３１１）により生成される。クロスフェーダ（３１１）は、修正補間位相信号Φにより制御される。この修正は、加算器（３１３）により導出される、特定の画素に関するフィールドＡベクトル確率（３０７）の和と、加算器（３１４）により導出される、その画素に関するフィールドＢベクトル確率（３０８）の和とにより制御されるブロック（３１２）において行われる。補間位相は２つの総和の比により、フィールドＡの全確率がフィールドＢの全確率を上回ると、その画素に対するクロスフェードにおけるフィールドＡの割合が増え、フィールドＢの全確率がフィールドＡの全確率を上回ると、その画素に対するクロスフェードにおけるフィールドＢの割合が増えるように重み付けされる。
【００３４】
次に、それぞれのベクトル（３０３）及び（３０４）の組並びに入力フィールドＰ、Ａ、Ｂ及びＮからのベクトル確率値（３０７）及び（３０８）の組の算出を、図４を参照して説明する。上で説明したように、ベクトルは、既存のフィールドシーケンスにおける対のフィールド間の動き測定の結果を記述する。確率は、移動フィールド差分信号（ＤＦＤ）から導出される。各ベクトルは、フィールドの１つにおけるそのベクトルが与えられる画素をシフト（移動）させるために用いられ、結果として得られる移動フィールド（又は、関連ベクトルが特定領域のみに適用可能である場合はフィールド内の領域）が対の他方のフィールド（又は他方のフィールドの関連領域）から引かれて、ＤＦＤが得られる。画像内の画素におけるＤＦＤの大きさは、その画素における関連ベクトルの有効性を示し、動きベクトルが正しい場合、差分信号は小さくなる。
【００３５】
図４を参照すると、フィールドＡに関連するｎ個のベクトルが２つの動き補償器（４０１）及び（４０２）に与えられ、各動き補償器は、ベクトルにつき１つずつ設けられるｎ個の画像シフタから成る組を含む。ブロック（４０１）において、ベクトルの各々は、フィールドＰをフィールドＡの方へシフトするために用いられ、ブロック（４０２）において、ベクトルの各々は、フィールドＢをフィールドＡの方へシフトするために用いられる。いずれの場合も、ｎ個の移動フィールド差分（ＤＦＤ）から成る組は、フィールドＡを関連するシフトされたフィールドから引くことによって作成される。ｎ個の減算器（４０３）から成る組は、ｎ個のフィールドＡベクトルから成る組の各々に対して「逆方向」ＤＦＤを作成し、ｎ個の減算器（４０４）から成る組は、ｎ個のベクトルの各々に対して「順方向」ＤＦＤを作成する。
【００３６】
各ベクトルから得られる２つのＤＦＤは、ブロック（４０５）及び（４０６）において非線形フィルタリングされ、誤一致の影響を低減する。これらは、画像の細部の欠如、又は正及び負の差分値間のゼロクロスによるものであり得る。単一の画素に対するＤＦＤの値が低くても、ＤＦＤを作成するために用いられる動きベクトルが、関連フィールド間の動きの正確な表現であるという保証はないが、ＤＦＤの値が高い場合、不正確なベクトルの確かな証拠となる。特定の画素に対するより確かな結果は、ベクトル評価プロセスにおいて他の近傍画素を使用することによって得ることができ、これらの近傍画素は、関心画素を中心とする空間フィルタの開口に入れることによって組み込むことができる。適切なフィルタが図５に示され、図４のブロック（４０５）及び（４０６）に適している。
【００３７】
図５を参照すると、入力ＤＦＤ信号（５０）が整流器（５１）において整流され、結果として得られる大きさの信号が制限器（５２）に入力される。この制限器（５２）は、小さな信号に対して利得が１であるが、制限値を超える全ての入力に対して一定出力を与える。これは、画素のＤＦＤがノイズにより一旦その値を超えると、評価している画素間に一致がない（すなわち、動きベクトルが有効でない）ことを示し、より高い差分値ではそれ以上の情報が得られないために行われる。
【００３８】
制限器（５２）からの出力は２次元空間ローパスフィルタ（５３）に入力され、この２次元空間ローパスフィルタ（５３）は、その開口内の全ての画素を加重和に結合する。開口は、入力画素の周囲のいくつかの画素を含む（好ましくは入力画素を除く）。フィルタ（５３）からの出力の利得は、固定乗算器（５４）によって調節され、加算器（５５）において、第２の固定乗算器（５６）において利得が調整された、制限器（５１）のフィルタリングされていない出力と結合される。加算器（５５）の出力は、フィルタリングされたＤＦＤ出力（５７）を与える。乗算器（５４）及び（５６）の利得の比は、加算器（５５）の２つの入力において（制限器（５２）による制限を受けない）ＤＦＤ画素からほぼ等しい寄与を与えるように選択される。
【００３９】
フィルタリングされた出力（５７）が与えるＤＦＤは、近傍画素を用いるため誤一致を示す可能性が少なく、また、フィルタリングされていない経路が出力に寄与するため良好な空間周波数応答を維持する。
【００４０】
ＤＦＤをフィルタリングする前に局所信号勾配の関数としてスケーリングすることにより、さらなる改良が可能である。これにより、差分の誤りの可能性が低くなる。
【００４１】
図４を参照すると、ブロック（４０５）及び（４０６）からの２組のフィルタリングされたＤＦＤが、差分／確率変換ブロック（４０７）により２組のベクトル確率信号に変換される。（これは、図６を参照して以下で詳述する）。特定画素の特定動きベクトルに対応する入力ＤＦＤ値が大きい場合、その画素にその動きベクトルが適切である可能性は低いため、その精度の確率は低い値に設定することができる。画素のＤＦＤ値が低い場合、ベクトルは正しい可能性があるが、確実ではない。この関係は、各ＤＦＤ値の負の指数を取り、その結果を確率値として用いることによって便宜的に得ることができる。
【００４２】
他の滑らかに変化するＤＦＤ関数を用いてこの確率値を求めることもできる。重要なのは、（高いＤＦＤ値を含む）広範囲の入力ＤＦＤ値にわたって確率値を求め、新たな補間画素に対する寄与を求めるプロセスからベクトルが不要に除去されないようにすることである。
【００４３】
ブロック（４０７）はこの原理を用いると共に、順方向及び逆方向のＤＦＤ値を解析して、フィールドＡの画素毎に３つの異なる確率を特定する。これらは以下の通りである。
−画素が、フィールドＰ（先行フィールド）及びフィールドＢ（後続フィールド）の両方で見える物体の一部である確率。これを「通常」確率と呼ぶ。
−画素が、フィールドＰには存在するがフィールドＢでは遮蔽される物体の一部である確率。（すなわち、まもなく隠れる物体。）これを「隠れる」確率と呼ぶ。
−画素が、フィールドＰでは遮蔽されているがフィールドＢでは見える物体の一部である確率。（すなわち、現れたばかりの物体。）これを「現れる」確率と呼ぶ。
【００４４】
ブロック（４０７）は、ｎ個の「隠れる」確率から成る組を動き補償器（４１５）に出力し、「通常」確率と「現れる」確率とをｎ個の「その他」確率から成る組に結合して動き推定器（４１６）に入力する。このプロセスの適切な実装を図６に示す。図６は、差分／確率変換ブロック（４０７）の動作を示す。
【００４５】
図６を参照すると、（ｎ個のフィールドＡベクトルの各々によるシフト後のフィールドＡからのフィールドＰの減算に対応する）ｎ個の「逆方向」のフィールドＡのＤＦＤ（６０１）が最大値算出ブロック（６０３）において（ｎ個のフィールドＡベクトルの各々によるシフト後のフィールドＡからのフィールドＢの減算に対応する）ｎ個の「順方向」のフィールドＡのＤＦＤ（６０２）から成る組と結合される。結果として得られる最大値の各々の負の指数は、１組の累乗器（６０４）により計算される。結果として得られるｎ個の信号（６０５）から成る組は、それぞれのフィールドＡベクトル毎に、ベクトルがフィールドＡの「通常」（すなわち「隠れる」でもなく「現れる」でもない）領域に相当する確率を表す。確率信号（６０５）は、「明るい」領域が正確な通常領域のベクトルである確率が高いことを示し、「暗い」領域がその確率が低いことを示すピクチャ信号と同様である。
【００４６】
「通常」領域では、正確なベクトルが隣接フィールドの両方に関して低いＤＦＤを与えるため、最大値ブロック（６０３）の出力も低い値となり、この値は、関連する負指数ブロック（６０４）により、１に近い値に変換される。
【００４７】
ｎ個の逆方向ＤＦＤ（６０１）から成る組は、全てのＤＦＤに小さく一定の順方向バイアスを加算するｎ個の加算器（６０６）から成る組にも入力される。１組の累乗器（６０７）によって結果の各々の負の指数が取られる。結果として得られるｎ個の信号（６０８）から成る組は、それぞれのベクトルがフィールドＡの「隠れる」領域に対応する確率を表す。
【００４８】
「隠れる」領域において、正確なベクトルは、「逆方向」ＤＦＤの場合に低い値を、「順方向」ＤＦＤの場合に高い値を与える。図６のシステムでは、逆方向の値のみを用いてこの条件を検出する。加算器（６０６）により加算されるバイアスにより、両方のＤＦＤが小さい場合、ブロック（６０７）への入力はブロック（６０４）への入力よりも大きくなるため、「通常」確率信号（６０５）は「隠れる」確率信号（６０８）よりも大きくなる。このバイアスは、「隠れる」領域である可能性の低さを表すものと考えることができる。
【００４９】
「順方向」ＤＦＤ（６０２）の組もまた１組のバイアス加算器（６０９）に入力され、その結果の負の指数が１組の累乗器（６１０）において計算され、１組の「現れる」確率信号（６１１）が得られる。このプロセスは、「隠れる」確率（６０８）の導出にちょうど類似する。「現れる」確率（６１１）がｎ個の加算器（６１２）から成る組において「通常」確率（６０５）に加算される。「隠れる」確率信号（６０８）の組と加算器（６１２）からの「その他」確率の組とを用いて、端子（６１３）及び（６１４）における出力が作成される。
【００５０】
図６からの出力（すなわち、図４のブロック（４０７）からの出力）は、フィールドＡの画素のベクトル確率の組を表すことになるため、各画素の全確率は１になるはずである。画素毎に、加算器（６１５）は確率信号（６０８）の組と加算器（６１２）からの組とを総和し、その画素の単一の正規化係数（６１６）に到達するようにする。除算器（６１７）及び（６１８）は、端子（６１３）及び（６１４）におけるそれぞれの出力の前に、その画素に適用可能な確率信号の組の各々の各成員を正規化係数（６１６）の値で割る。これらの出力は図４の差分／確率変換ブロック（４０７）の出力を与える。
【００５１】
図４の後半は、フィールドＡ、Ｂ及びＮの内容に依存するフィールドＢベクトルの、確率値を得るための処理を示す。この処理は、（フィールドＡベクトルの場合の「隠れる」確率に対して）「現れる」ベクトル確率が別個に特定されることを除いて、フィールドＡベクトルに関して上述した処理に類似する。
【００５２】
動き補償器（４０８）及び（４０９）はそれぞれ、フィールドＢに関連するｍ個のベクトルの各々を用いてフィールドＡ及びフィールドＮの内容をシフトさせ、減算器（４１０）及び（４１１）の組はそれぞれ逆方向ＤＦＤ及び順方向ＤＦＤを形成する。これらのＤＦＤは、フィルタ（４０５）及び（４０６）と同じフィルタ（４１２）及び（４１３）において非線形フィルタリングされる。結果として得られるフィルタリングされたＤＦＤは、差分／確率変換ブロック（４１４）において処理され、ｍ個のフィールドＢベクトルの各々に関して「現れる」及び「その他」の確率が得られる。
【００５３】
差分／確率変換ブロック（４１４）の動作を図７に示す。図６に示す処理といくらか類似する点が見られる。これらの図において類似する機能は、参照符号の下２桁が同じである。
【００５４】
図７を参照すると、ｍ個の「順方向」のフィールドＢのＤＦＤ（７０１）から成る組には、加算器（７０６）の組において一定のバイアスが加算され、累乗器（７０７）の組においてその結果のそれぞれの負の指数が取られ、１組の除算器（７１７）においてその結果が正規化されて、ｍ個のフィールドＢの「現れる」ベクトル確率（７１３）から成る組が得られる。「通常」確率及び「隠れる」確率が求められ、結合され、正規化されて、１組のフィールドＢの「その他」ベクトル確率（７１４）として出力される。
【００５５】
図４に戻ると、差分／確率変換ブロック（４０７）及び（４１４）からの４組のベクトル確率信号が、新たなフィールドＩの時点で占めるであろう位置にシフトされる。これは、４組の動き補償器（４１５）、（４１６）、（４１７）及び（４１８）により行われる。これらの動き補償器は各確率信号をそれが参照するベクトルの方向にシフトさせる。シフトの大きさは、新たなフィールドＩの位置を定義する位相値Φに基づいてスケーリングされるベクトルの大きさに等しい。
【００５６】
動き補償器（４１５）及び（４１６）は、ベクトルの大きさをΦによりスケーリングすることにより、新たなフィールドがフィールドＡに近ければシフトの大きさを小さくし、新たなフィールドがフィールドＢに近ければシフトを関連ベクトルの完全な大きさに近づける。
【００５７】
動き補償器（４１７）及び（４１８）は、ベクトルの大きさを（１−Φ）によりスケーリングすることにより、新たなフィールドがフィールドＡに近ければシフトの大きさを関連ベクトルの完全な大きさに近づけ、新たなフィールドがフィールドＢに近ければシフトを小さくする。
【００５８】
動き補償器（４１５）、（４１６）、（４１７）及び（４１８）からのシフトされたベクトル確率信号の組は次に、隠れる領域制限ブロック（４１９）及び現れる領域制限ブロック（４２０）において、「隠れる」領域及び「現れる」領域のそれぞれの確率の寄与を制限するように処理される。これらの制限プロセスの必要性を説明するには、図２に戻る必要がある。
【００５９】
図２のフィールドＢを検討する。このフィールドに関連する動きベクトルは上述するようにＤＦＤに基づいて、フィールドＡ及びＮに対して分類されている。フィールドＢの部分（２０７）及び（２０８）からのベクトルは、フィールドＡ及びＮにも存在するため「通常」に分類される。部分（２０６）は「隠れる」領域及び「通常」領域の両方を含む。したがって、これらの領域は全てフィールドＢの「その他」確率に含まれる。
【００６０】
網掛け部分（２０９）及び（２１０）に関連するベクトルは、フィールドＮには存在するがフィールドＡには存在しないため「現れる」に分類される。しかし、新たなフィールドＩの部分（２０４）の構築には、フィールドＢの部分（２０９）からのベクトルが必要であり、フィールドＢの部分（２１０）からのベクトルは必要ないことが分かる。これは、部分（２１０）の内容がフィールドＩではまだ見えないためである。
【００６１】
図４におけるブロック（４２０）の機能は、部分（２１０）に関するフィールドＢの確率値を下げることである。そうしないと、移動する前景物体に誤った透明の後縁が現れてしまう。
【００６２】
フィールドＡでも隠れにより同様の状況が生じる。これも図２を参照して説明する。部分（２１１）及び（２１２）に関連するベクトルは「通常」となり、部分（２１３）及び（２１４）に関連するベクトルは「隠れる」となる。部分（２１３）からのベクトルは、新たなフィールドＩの部分（２０３）を構築するのに役立つが、フィールドＡの部分（２１４）はフィールドＩでは見えなくなるため、部分（２１４）からのベクトルは役立たない。
【００６３】
図４のブロック（４１９）は、フィールドＡの部分（２１４）に関連するベクトルの確率を下げて、移動する前景物体に誤った透明の前縁が現れるのを防ぐ。
【００６４】
ブロック（４１９）及び（４２０）の動作を図８に示す。図８を参照すると、プロセス（８００）は図４のフィールドＡの隠れる領域制限ブロック（４１９）に対応する。フィールドＡの「隠れる」ベクトル確率信号の利得は、隠れる領域利得設定ブロック（８０６）によって利得が決定される乗算器（８０５）によって特定画素に関して低減される。乗算器（８０５）からの「隠れる」確率の各々は、加算器（８０８）において（同一ベクトルに対応する）それぞれの「その他」確率（８０７）に加算され、その結果として得られるｎ個のフィールドＡの確率（８０９）から成る組は、図３のベクトル確率信号（３０７）の組に対応する。
【００６５】
隠れる領域利得設定ブロック（８０６）は、加算器（８０３）からのｎ個のフィールドＡの「隠れる」確率信号の合計と、加算器（８０１）からのｎ個のフィールドＡの「その他」確率信号の合計とを利用する。個々のベクトル確率は、（図４の動き補償器（４１５）により）新たなフィールドＩの時刻に事前にシフトされている。これにより、移動する前景物体の前縁において（正しい）「通常」ベクトル確率に加算されている（図２において特定される）フィールドＡの部分（２１４）から（不要な）「隠れる」ベクトル確率が得られる。この異常に高い確率が検出され、乗算器（８０５）の利得を制御するために用いられる。
【００６６】
加算器（８０３）からの「隠れる」確率の和と、加算器（８０１）からの全「その他」確率とが１よりも大きい場合、乗算器利得が以下のように低減される。  
・全「その他」確率を１から引き、
−その減算結果が０よりも大きい場合、結果を（加算器（８０３）からの）全「隠れる」確率で割り、乗算器（８０５）の利得を得る。  
−その減算結果が０であるか、又は０未満である場合、乗算器（８０５）の利得は０に設定される。
【００６７】
この効果として、１組のｎ個のフィールドＡの確率（８０９）の和を正規化したものが１を超えないようにする。
【００６８】
図４のフィールドＢの現れる領域制限ブロック（４２０）の動作は図８のプロセス（８１０）に対応する。１組のｍ個のフィールドＢの「検出」ベクトル確率信号の各々の利得が、現れる領域利得設定ブロック（８１６）によって利得が決定される乗算器（８１５）において低減される。乗算器（８１５）からの利得調整された「現れる」確率の各々は、加算器（８１８）においてそれぞれの「その他」確率（８１２）に加算され、その結果として得られるｍ個のフィールドＢの確率（８１９）から成る組は、図３のベクトル確率信号（３０７）の組に対応する。
【００６９】
現れる領域利得設定ブロック（８１６）は、ブロック（８０６）と同様に動作して、（図２において特定される）フィールドＢの部分（２１０）から「余分な」ベクトル確率を検出し、１組のｍ個のフィールドＢの確率（８１９）の和を正規化したものが１を超えないようにする。
【００７０】
上記説明から分かるように、新たな補間画像は、既存画像間の動き測定から生じる動きベクトルに基づいて既存画像から構築される。したがって、新たな画像の構築に用いられる原画像の画素毎にベクトル情報が利用可能であることが重要である。これは、各ベクトル組に「グローバル」ベクトル（全画素に適用可能）を含めることによって保証することができる。「０」のグローバルベクトルを含めることができる。動きがない場合、このベクトルは低いＤＦＤを与え、確率が高く評価される。
【００７１】
ベクトルの使用を、それらが計算された領域に限定することも必要である。これは、ベクトル毎に導出された確率信号を「消去」し、動き測定が関係ない画素に関してこれらの信号を０に設定することによって行うことができる。この要件は、ベクトルに関連するそれぞれの領域が小さ過ぎなければ負担にならない。
【００７２】
本発明の上述の例では、寄与する入力画素及びそれらの関連ＤＦＤが同時に出力画素の構築に利用可能である、すなわち、いくつかの入力画素に関連する情報が出力の作成と並行して記憶装置から読み出されるものと仮定した。同様に、関連情報が利用可能になるとすぐに各入力画素から出力画素への各寄与を求めて記憶する（「書き込む」）「書き込み側」処理により本発明を実施することも可能である。この場合、各出力画像は全ての寄与の蓄積から得られ、それを構成する出力画素は２回以上「書き込まれる」。
【００７３】
動き補償（画像シフト）の解像度が１画素に満たない場合、出力への（１つの入力画素及び１つの関連するベクトル確率による）１つの寄与は出力画像の２つ以上の画素に影響し得ることにも留意されたい。すなわち、サブピクセル補間フィルタの開口内の全ての画素が寄与を受けることになる。
【００７４】
上述の補間システムにおいて、遮蔽がないことは、フィールドＡ及びフィールドＢに関して別々に検出される。いずれの場合も、関連フィールドの順方向ＤＦＤ及び逆方向ＤＦＤが（最大関数（６０３）又は（７０３）において）結合され、両方の関連ＤＦＤが小さい場合に遮蔽がないことが仮定される。これらの決定はそれぞれ３つのフィールド、すなわち、フィールドＡの場合はフィールドＰ、Ａ及びＢ、フィールドＢの場合はフィールドＡ、Ｂ及びＮを要する。
【００７５】
しかし、遮蔽がないことは、適切な「外側フィールド」、すなわち、フィールドＡの場合はフィールドＰ及びＢ、及びフィールドＢの場合はフィールドＡ及びＮ間のＤＦＤを検討することによっても検出することができる。この代替方法は２つのフィールドのみを要するため、３つのフィールドからの情報の結合よりもノイズによる影響を受け難い。
【００７６】
この原理を用いてフィールドＡベクトルの「隠れる」確率及び「その他」確率を得るシステムを図９に示す。
【００７７】
フィールドＡに隣接するフィールドであるフィールドＰ（９０１）及びフィールドＢ（９０２）がそれぞれの動き補償器（９０４）及び（９０５）においてフィールドＡベクトル（９０３）によりシフトされ、減算器（９０６）及び（９０７）において順方向ＤＦＤ及び逆方向ＤＦＤが形成される。ＤＦＤは非線形フィルタ（９０８）及び（９０９）において整流及び非線形フィルタリングされる。これらの結果は、それぞれバイアス加算器（９１２）及び（９１３）並びに累乗器（９１４）及び（９１５）により「隠れる」確率（９１０）及び「現れる」確率（９１１）に変換される。これらのプロセスは図４のシステムと同じである。
【００７８】
フィールドＰ及びＢ間の１組のＤＦＤが減算器（９１６）により形成され、これが非線形フィルタ（９１７）において非線形フィルタリング及び整流される。結果として得られる信号は、フィールドＰ及びフィールドＢの間の変化が動きベクトルにより記述される動きのみから生じるものであり、遮蔽から生じるものでない場合に小さくなる。これらの信号は、それらの負の指数を取ることによって「通常」確率信号に変換することができる。しかし、フィールドＡに対する順方向ＤＦＤ及び逆方向ＤＦＤからの情報を利用することも役立つため、最大関数（９１８）からのこれらのＤＦＤの最大値の組が加算器（９１９）において、非線形フィルタ（９１７）からの出力の組に加算される。和の負の指数は累乗器（９２０）において形成され、１組の「通常」確率信号（９２１）を形成する。これらの「通常」確率は、加算器（９２２）においてそれぞれの「現れる」確率（９１１）に加算され、１組の「その他」確率（９１２）を形成する。２組のベクトル確率（９１０）及び（９１２）は正規化関数（９２３）及び（９２４）において正規化され、「隠れる」確率（９２５）及び「その他」確率（９２６）の組として出力される。正規化関数（９２３）及び（９２４）は共に、図６のシステムと同様に、各画素の全確率の総和が１になるように動作する。
【００７９】
フィールドＢベクトルの組を求める同様のシステムを図１０に示す。同図の等価要素の参照番号は図９の参照番号と同じであるが、上の桁は９が１０になっている。
【００８０】
順方向ＤＦＤ、逆方向ＤＦＤ及び外側ＤＦＤを結合する他の方法、例えば、加重和、又は何らかの他の非線形結合を用いてもよい。また、上記のように、負の指数以外の関数を用いてベクトルＤＦＤ値をベクトル確率値に変換することができる。
【００８１】
説明した本発明の概念内で他の変形が可能である。例えば、いくつかの動き測定プロセスが各動きベクトルに関連付けされる「信頼」値（例えば、相関面におけるピークの高さ）を与えてもよく、これを関連ベクトルに関連付けされる確率値の導出に用いることもできる。
【００８２】
上記説明ではストリーミングのリアルタイムプロセスを仮定したが、当業者は、処理ステップのタイミングの自由度が高く、処理のタイミングが意図された画像の表示又は取得タイミングに無関係であり得るファイル又は記憶されている画像データに本発明を適用できることを理解するであろう。画像を３つ以上又は１つだけ用いて新たな補間画像を構築することも可能である。上述したステップを全て含める必要はなく、例えば、クロスフェーダをΦにより直接制御してもよく、全確率に依存するフェードパラメータの修正を省略してもよい。
【００８３】
当業者には理解されるように、本発明はハードウェア又はソフトウェアで実装され得る。
【図１】
2010507268.tif 000003
【図２】
2010507268.tif 000004
【図３】
2010507268.tif 000005
【図４】
2010507268.tif 000006
【図５】
2010507268.tif 000007
【図６】
2010507268.tif 000008
【図７】
2010507268.tif 000009
【図８】
2010507268.tif 000010
【図９】
2010507268.tif 000011
【図１０】
2010507268.tif 000012
【国際調査報告】
2010507268.tif 000013
2010507268.tif 000014
2010507268.tif 000015
2010507268.tif 000016
2010507268.tif 000017