(57)【要約】補間ユニット（４００）は、第１の入力画像（１０４）の第１のオリジナルのピクセル（１１４）の第１の値を、新規ピクセル（１２２）に利用可能な第１の動きベクトル（１１８）に基づきフェッチングするためのフェッチングユニット（４０２）、第２の入力画像（１００）の第２のオリジナルの画像（１１０）の第２の値を、前記第２のオリジナルのピクセル（１１０）に利用可能な第２の動きベクトル（１１６）に基づき投影するための投影ユニット（４０４）及び前記第１の値を前記第２の値と比較することにより前記新規ピクセル（１１２）の値を割り当てるための選択ユニット（４０６）を有する。
2005519498.tif 000002
【特許請求の範囲】
【請求項１】
連続する入力画像間の時間位置における新規画像の新規ピクセルの値を、前記新規ピクセルに利用可能な第１の動きベクトルに基づき前記入力画像の第１の画像から第１のオリジナルのピクセルの第１の値をフェッチングすることに基づいて割り当てることによりアップコンバージョンする方法において、
−前記入力画像の前記第１の画像又は前記入力画像の他の画像から選択される第２のオリジナルのピクセルの第２の値を前記第２のオリジナルの画像に利用可能な第２の動きベクトルに基づいて投影する投影ステップ、及び
−前記新規ピクセルの値を前記第２の値と比較することにより当該新規ピクセルの値を条件付きで更新する更新ステップ、
をさらに有することを特徴とする方法。
【請求項２】
前記更新ステップにおいて、前記新規ピクセルの値と前記第２の値との間の絶対差が既定のしきい値より大きい場合、前記新規ピクセルの値は更新され、更新された値となり、次いで、前記更新された値は前記第２の値に等しくされることを特徴とする請求項１に記載の方法。
【請求項３】
別々の入力画像に属する前記第２のオリジナルのピクセル及び第３のオリジナルのピクセルを用いて、前記入力画像の前記第１の画像又は前記入力画像の前記他の画像から選択される前記第３のオリジナルのピクセルの第３の値を投影する第２の投影ステップであって、投影は前記第３のオリジナルのピクセルに利用可能な第３の動きベクトルに基づく第２の投影ステップをさらに有し、前記新規ピクセルの値を条件付きで更新する更新ステップは、前記新規ピクセルの値を前記第２の値及び前記第３の値と比較することに基づいていることを特徴とする請求項１に記載の方法。
【請求項４】
前記更新ステップにおいて、前記新規ピクセルの値が当該新規ピクセルの値、前記第２の値及び前記第３の値を含む値の組のメジアン値と異なる場合、前記新規ピクセルの値は更新され、更新された値となり、次いで前記更新された値は前記組のメジアン値に等しくされることを特徴とする請求項３に記載の方法。
【請求項５】
前記新規ピクセルの値は、前記第１の値を、前記新規ピクセルに利用可能な前記動きベクトルに基づき前記入力画像の前記他の画像からフェッチングされる他のオリジナルのピクセルの他の値と組み合わせることに基づいて決められることを特徴とする請求項１に記載の方法。
【請求項６】
連続する入力画像間の時間位置における新規画像の新規ピクセルの値を、前記新規ピクセルに利用可能な第１の動きベクトルに基づき前記入力画像の第１の画像から第１のオリジナルのピクセルの第１の値をフェッチングすることに基づいて割り当てることによりアップコンバージョンするための補間ユニットにおいて、前記補間ユニットは、
−前記入力画像の前記第１の画像又は前記入力画像の他の画像から選択される第２のオリジナルのピクセルの第２の値を前記第２のオリジナルの画像に利用可能な第２の動きベクトルに基づいて投影する投影ユニット、及び
−前記新規ピクセルの値を前記第２の値と比較することにより当該新規ピクセルの値を条件付きで更新する更新ユニット、
を有することを特徴とする補間ユニット。
【請求項７】
連続する入力画像をアップコンバージョンするためのアップコンバージョンユニットであって、
−前記連続する入力画像に基づいて動きベクトルフィールドを計算するための動き推定ユニット、及び
−前記連続する入力画像間の時間位置における新規画像の新規ピクセルの値を、前記動きベクトルフィールドの１つからなり、前記新規ピクセルに利用可能な第１の動きベクトルに基づき前記入力画像の第１の画像から第１のオリジナルのピクセルの第１の値をフェッチングすることに基づいて割り当てることによりアップコンバージョンするための補間ユニット、
を有するアップコンバージョンユニットにおいて、前記補間ユニットは、
−前記入力画像の前記第１の画像又は前記入力画像の他の画像から選択される第２のオリジナルのピクセルの第２の値を前記第２のオリジナルの画像に利用可能な第２の動きベクトルに基づいて投影する投影ユニット、及び
−前記新規ピクセルの値を前記第２の値と比較することにより当該新規ピクセルの値を条件付きで更新する更新ユニット、
を有することを特徴とするアップコンバージョンユニット。
【請求項８】
−連続する入力画像を入力するための入力手段、及び
−前記連続する入力画像間の時間位置における新規画像の新規ピクセルの値を、前記新規ピクセルに利用可能な第１の動きベクトルに基づき前記入力画像の第１の画像から第１のオリジナルのピクセルの第１の値をフェッチングすることに基づいて割り当てることによりアップコンバージョンするための補間ユニット、
を有する画像処理装置において、前記補間ユニットは、
−前記入力画像の前記第１の画像又は前記入力画像の他の画像から選択される第２のオリジナルのピクセルの第２の値を、前記第２のオリジナルのピクセルに利用可能な第２の動きベクトルに基づいて投影するための投影ユニット、及び
−前記新規ピクセルの値を前記第２の値と比較することにより前記新規ピクセルの値を条件付きで更新するための更新ユニット、
を有することを特徴とする画像処理装置。
【請求項９】
前記新規画像を表示するための表示手段をさらに有することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置において、前記装置がＴＶであることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続する入力画像間の時間位置における新規画像の新規ピクセルの値を、この新規ピクセルに利用可能な第１の動きベクトルに基づき前記入力画像の第１の画像から第１のオリジナルのピクセルの第１の値をフェッチング(fetching)することに基づいて割り当てることによりアップコンバージョン(up-conversion)する方法に関する。
【０００２】
本発明はさらに、連続する入力画像間の時間位置における新規画像の新規ピクセルの値を、この新規ピクセルに利用可能な第１の動きベクトルに基づき前記入力画像の第１の画像から第１のオリジナルのピクセルの第１の値をフェッチングすることに基づいて割り当てることによりアップコンバージョンする補間ユニットにも関する。
【０００３】
本発明はさらに、連続する入力画像をアップコンバージョンするためのアップコンバージョンユニットにも関し、このユニットは、
−前記連続する入力画像に基づいて動きベクトルフィールドを計算する動き推定ユニット、及び
−前記連続する入力画像間の時間位置における新規画像の新規ピクセルの値を、この新規ピクセルに利用可能であり、動きベクトルフィールドの１つである第１の動きベクトルに基づき前記入力画像の第１の画像から第１のオリジナルのピクセルの第１の値をフェッチングすることに基づいて割り当てるアップコンバージョンするための補間ユニット、
を有する。
【０００４】
本発明はさらに、
−連続する入力画像を入力するための入力手段、及び
−前記連続する入力画像をアップコンバージョンするための上記アップコンバージョンユニット、
を有する画像処理装置に関する。
【背景技術】
【０００５】
冒頭の段落に記載される種類のユニットは、O. Ojo及びG. de Haan著の文献”Robust motion-compensated video upconversion” IEEE Transcations on Consumer Electronics, Vol. 43, No.4, Nov. 1997, pp.1045-1056から知られている。この文献は、連続する入力画像間の時間位置に補間されるべき画像に対し決められる動きベクトルフィールドの動きベクトルに基づいて、ピクセルの値が前記連続する入力画像からフェッチングされることを記載している。これらフェッチングされる値を組み合わせることにより、補間されるべき画像の新規ピクセルの値が決められる。この組み合わせは、これら値の組の平均値又は組からメジアン値(median value)を取ることでよい。この既知のユニットに関し、アーチファクトはいわゆる閉塞エリア、つまりキャプチャされる場面の背景物体が前景物体を移動させることにより隠れたり又は出てきたりするような閉塞フィールドに挿入される。この閉塞エリアにおいて観測され得るアーチファクトの典型的な形式は、いわゆるハロ(halo)であり、背景が局部的に歪んでしまう。これは、フェッチングに使用される動きベクトル及びそれ故の補間が正しくないという事実により生じてしまう。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、僅かなアーチファクトしか備えないアップコンバージョンされた画像を供給する冒頭の段落に記載された種類の方法を提供することである。
【０００７】
本発明の目的は、この方法がさらに、
−入力画像の第１の画像又は入力画像の他の画像から選択される第２のオリジナルのピクセルの第２の値を、第２のオリジナルのピクセルに利用可能な第２の動きベクトルに基づいて投影する投影ステップ、及び
−新規ピクセルの値を第２の値と比較することによりこの新規ピクセルの値を条件付きで更新する更新ステップ、
を有することにより達成される。アップコンバージョンに利用されるべき動きベクトルフィールドは、補間されるべき新規画像の時間位置、補間されるべき新規画像より先行するオリジナルの画像に対応する時間位置、及び補間されるべき新規画像に後続する他のオリジナルの画像に対応する時間位置、のような時間位置において計算される。上記引用される従来技術に記載されるユニットにおいて、使用されている動きベクトルフィールドは、補間されるべき新規画像の時間位置に対し計算される。このような動きベクトルフィールドの主な利点は、補間されるべき新規画像のピクセル各々に対する動きベクトルが存在すること、すなわち穴（ホール）が無いことである。オリジナルのピクセルの値は、これらの動きベクトルに基づいてフェッチングされることができる。それ故に、補間は単刀直入である。補間された画像に達するための他の方法は、オリジナルの画像の時間位置に対応する動きベクトルフィールドを利用することである。この場合、このオリジナルの画像のピクセルの値が補間されるべき新規画像に投影される。しかしながら、投影が行われない補間されるべき新規画像のピクセルが存在する、すなわち割り当てたところにホールが存在する可能性が高い。また言い換えると、新規画像のピクセル各々に対し値が投影されない。それに加え、補間されるべき新規画像のピクセルの幾つかに二重の割り当てが存在する。オリジナルの画像に対応する動きベクトルフィールドを利用する利点は、多くの場合において、補間されるべき新規画像に対応する動きベクトルフィールドよりも物体の実際の移動をよりよく表していることである。
【０００８】
それ故に、本発明の方法は、補間されるべき新規画像に対応する動きベクトルフィールドに基づく少なくとも１つのオリジナルの画像からピクセルの値をフェッチングすることを、前記オリジナルの画像に対応する動きベクトルフィールドに基づく少なくとも１つのフィールドの画像からピクセルの値を投影することとを組み合わせる。
【課題を解決するための手段】
【０００９】
本発明による方法の実施例は、新規ピクセルの値と前記第２の値との間の絶対差(absolute difference)が既定のしきい値より大きい場合、新規ピクセルの値は更新され、更新された値となり、次いで、この更新された値は第２の値と等しくされる更新ステップを特徴とする。第２の値とフェッチングに基づく値との差が既定のしきい値より大きい場合、新規ピクセルの値は、この第２の値の値に対応する。この第２の値とフェッチングに基づく値との差が規定のしきい値より小さい場合、すなわちこれらの値が略互いに等しい場合、これら２つの値のどちらかが新規ピクセルの値となるために選択されるかは適切ではない。この場合、フェッチングに基づいた値が選択される。適切な第２の値が存在しない場合も、フェッチングに基づく値が選択される。
【００１０】
本発明による方法の他の実施例は、別々の入力画像に属する第２のオリジナルのピクセル及び第３のオリジナルのピクセルを用いて、入力画像の第１の画像又は入力画像の他の画像から選択される第３のオリジナルのピクセルの第３の値を投影する第２の投影ステップであり、この投影は第３のオリジナルのピクセルに利用可能な第３の動きベクトルに基づいている第２の投影ステップを更に有し、新規ピクセルの値を条件付きで更新する更新ステップが新規ピクセルの値を第２の値及び第３の値と比較することに基づいている。この新規ピクセルの値は少なくとも１つのフェッチングされた値に基づき、且つ後続する画像のピクセル値からの第１の投影値及び先行する画像の他のピクセルからの第２の投影値に基づいて決められる。
【００１１】
本発明による方法の実施例は、新規ピクセルの値が当該新規ピクセルの値、第２の値及び第３の値を含む値の組のメジアン値とは異なる場合、この新規ピクセル値の値は更新され、更新された値となり、そして、この更新された値は前記組のメジアン値に等しくされる更新ステップを特徴とする。メジアン演算子(median operator)の利点は、この演算子はかなり大まかなことである。ハロを除けば、アップコンバートされた画像において非常に一般的である他の形式のアーチファクトは、前景物体と背景物体とを混合することにより生じる。他の形式のアーチファクトは、アップコンバートされた画像における前景画像がオリジナルの画像における前景物体よりも小さいことを特徴とする。本発明によるこの実施例を利用することにより、これらアーチファクトは殆ど起こらない。
【００１２】
本発明による方法の他の実施例は、新規ピクセルの値が前記第１の値を、前記新規ピクセルに利用可能な動きベクトルに基づき入力画像の他の画像からフェッチングされる他のオリジナルのピクセルの他の値と組み合わせることに基づいて決められることを特徴とする。このフェッチングは単一方向又は双方向とすることができる。ピクセルの値は先行するオリジナルの画像又は後続するオリジナルの画像からフェッチングされることができる。
【００１３】
本発明の他の目的は、僅かなアートファクトしか持たないアップコンバートされた画像を供給する冒頭の段落に記載の種類の補間ユニットを供給することである。本発明の目的は、前記補間ユニットが
−入力画像の第１の画像から又は前記入力画像の他の画像から選択される第２のオリジナルのピクセルの第２の値を、前記第２のピクセルに応用可能である第２の動きベクトルに基づいて投影するための投影ユニット、及び
−新規ピクセルの値を第２の値と比較することによりこの新規ピクセルの値を条件付きで更新するための更新ユニット、
を有することで達成される。補間ユニットの修正版及びこれらユニットの変形体は、修正版及び記載される方法並びに記載される画像処理装置の変形体に一致する。
【発明を実施するための最良の形態】
【００１４】
本発明による補間ユニット、アップコンバージョンユニット、方法及び画像処理ユニットのこれら及び他の利点は、以下に説明される用具及び実施例並びに添付の図から明らかでありこれらを参照して説明される。一致する参照番号は全ての図において同じ意味を持っている。
【００１５】
図１Ａは、適切なピクセル１１０の第１の値が投影され、適切なピクセル１１４の第２の値がフェッチングされる方法を概略的に示す。図１Ａにおいて３つの画像１００、１０２及び１０４は、それぞれの時間位置ｔ0、ｔ1及びｔ2に対応して表されている。これら３つの画像のうちの２つの画像１００及び１０４はオリジナルの画像であり、第３の画像１０２はこれら２つのオリジナルの画像１００及び１０４に基づいて補間される画像である。これら画像１００、１０２及び１０４は、静止する背景１０８の前で上方向に移動する前景物体１０６を表す。動きベクトルフィールドはオリジナルの画像１００に対し決められる。この動きベクトルフィールドの１つの動きベクトル１１６が表されている。この動きベクトルは、時間位置ｔ0とｔ1との間の時間間隔における前景物体１０６の動きに対応している。他の動きベクトルフィールドは、補間されるべき画像１０２に対し決められる。この後者の動きベクトルフィールドの１つの動きベクトル１１８が表されている。この動きベクトル１１８は正しくない、すなわちこのベクトルは前景物体１０６の移動に対応していない。しかし、この動きベクトルは零ベクトル(null vector)に等しい、すなわち動きに対応していない。
【００１６】
本目的は、補間すべき画像のピクセル（例えば１１２）の値を決めることである。これは、本発明による方法を利用することにより達成される。これは、オリジナルの画像１０４からのピクセル１１４の値がフェッチングされることを意味する。ピクセル１１２は前景１０６に対応し、ピクセル１１４は背景１０８に対応するので、ピクセル１１４の値がピクセル１１２に使用されることが適切である可能性は低い。このとき、他のオリジナルの画像１００のピクセル１１０の値が投影される。ピクセル１１２が前景１０６に対応し、ピクセル１１０も前景１０６に対応するので、ピクセル１１０の値がピクセル１１２に使用されることが適切である可能性は高い。次のステップは、ピクセル１１４の値と１１０の値とを比較することである。つまり、これらピクセル１１４と１１０との間の差が計算され、既定のしきい値と比較されることである。絶対差が既定のしきい値よりも高いので、ピクセル１１０の値はピクセル１１２用の値として選択される。本実施例において、“フェッチングされる(fetched)”ピクセル１１４及び“投影される(projected)”ピクセル１１０は同じオリジナルの画像には属していないことに注意されたい。しかしながら、逆もまた成り立つ。
【００１７】
図１Ｂは、適切なピクセル１１０の第１の値が投影され、適切なピクセル１２０の第２の値がフェッチングされる方法を概略的に示している。図１Ｂに示される実施例は、図１Ａに関連して記載された実施例と全く同じである。しかしながら、本場合では、ピクセル１２０の値も適切である。この値は、動きベクトル１２２に基づいてフェッチングされる。ピクセル１２０の値をフェッチングして、ピクセル１１０の値を投影した後、これら２つの値の間の比較が行われる。これら値は互いに略等しいので、これら２つの値のどちらがピクセル１１２に割り当てられるために選択されるのかは実際の問題ではない。本実施例では、ピクセル１２０の値が選択される。しかしながら、ピクセル１１０の値を選択することも適している。ピクセル１１２に割り当てる値を計算するためにこれら２つの値の平均を取ることが第３の代替案である。
【００１８】
図１Ｃは、適切なピクセルの値が投影されずに、適切なピクセルの値１２８だけがフェッチングされる方法を概略的に示している。本場合、本目的は補間すべき画像１０２のピクセル１２６の値を決めることである。ピクセル１２６は、ｔ0からｔ1の時間間隔内は遮蔽されない(non-covering)背景１０８の一部に対応する。結果として、ピクセル１２６に投影するオリジナルの画像１００に対応する動きベクトルフィールドに動きベクトルは存在しない。それ故に、ピクセル１２６に割り当てられるべき値は、動きベクトル１２４に基づいてオリジナルの画像１０４からフェッチングされるピクセル１２８の値に等しい。ピクセル１２６及び１２８が共に背景に対応しているので、ピクセル１２８の値が適切である可能性は高いことに注意されたい。この場合、“投影される”ピクセル及び“フェッチングされる”ピクセル１２８からの値の間に比較ステップはない。
【００１９】
図２は、適切なピクセル１１０の第１の値Ｐ1が第１の画像１００から投影され、適切なピクセル１１４の第２の値Ｆがフェッチングされ、そして適切なピクセル２０２の第３の値Ｐ2が第２の画像１０４から投影される方法を概略的に示している。図２に示される実施例は、図１Ａに関連して記載された実施例と全く同じである。しかしながら、本場合では、第２のオリジナルの画像１０４に利用可能である第２の動きベクトルフィールドがある。動きベクトル２００は、この第２の動きベクトルフィールドの動きベクトルの１つのである。ピクセル１１２に割り当てられるべき値は、３つの値Ｐ1、Ｆ及びＰ2を比較することにより決められる。これは、メジアン演算子を利用することにより行われる。ピクセル１１２に割り当てられるべき値Ｐ0は、等式（１）
P0=Median(P1, P2, F)                            （１）
を利用することにより計算される。メジアン演算子は、外れ値レジェクタ(outlier rejector)と見なすことができる。３つの要素の場合、メジアン演算子は極小又は互いに対して差が無い２つの要素の一方を選択する。この場合、ピクセル１１０又はピクセル２０２の値はピクセル１１２に割り当てられる。
【００２０】
図１Ｃに関連して、補間されるべき画像のピクセルの各々１０２に対する投影値が無いことが記載されている。等式１を利用可能にするために、ダミー値が用いられる。仮に有効な第１の値Ｐ1が存在しないとすると、このときこの値は既定の最小値に設定される。この結果は、この第１の値Ｐ1がメジアン演算子を用いて選択されていないことである。同様なアプローチが第３の値Ｐ2にも行われる。第１の値Ｐ1及び第３の値Ｐ2が共に無効である可能性はさほど重要なことではない。しかし、これら値が共に無効である場合、フェッチングされる値が使用される。
【００２１】
図３Ａは、２つの時間位置に対する動きベクトルフィールドが正しい場合における画像３００、３０２、３０４の２次元表示による方法を概略的に示している。実際に、図１Ａ及び１Ｃに関連して記載される場合は、他の表示を用いて説明されている。オリジナルの画像３００は静止する背景の前を移動する物体の場面をキャプチャした一連のオリジナルの画像の一部である。画像３００の一部３０６は前記物体に対応している。オリジナルの画像３０４も一連のオリジナルの画像の一部であり、オリジナルの画像３００の後の画像である。オリジナルの画像３０４の一部３１０は、前記物体に対応している。本目的は、オリジナルの画像３００及び３０４それぞれの時間位置の間にある時間位置での新規画像３０２を計算することである。これは本発明による方法を利用することにより実現される。この方法は、
【００２２】
−オリジナルの画像３００の第１のピクセルがこのオリジナルの画像３００に利用可能である動きベクトルフィールドに基づいて投影される。その結果が補間ピクセル行列３２０である。このピクセル行列３２０の大部分のピクセル３１３は、背景に対応する値を持つ。前記ピクセルの一部３１２は、移動する物体に対応する値を持つ。さらに、ピクセルの第３の部分３１６は有効な投影ピクセル値が無いので設定されたダミー値を持つ。
【００２３】
−次に、オリジナルの画像３０４のピクセルが新規画像３０２に利用可能である動きベクトルフィールドに基づいてフェッチングされる。その結果が補間ピクセル行列３２４である。このピクセル行列３２４の大部分のピクセル３１５は、背景に対応する値を持つ。前記ピクセルの一部３２４は、移動する物体に対応する値を持つ。
【００２４】
−補間されるべき画像３０２のピクセルの値を割り当てるために、前記２つのピクセル行列３２０及び３２４の対応するピクセルが比較される。これは図１Ａに関連して記載されるように行われる。部分３１６に対応するピクセルに対し例外が設けられる。これらピクセルに対し、図１Ｃに関連して記載されたようなアプローチが行われる、すなわち“フェッチングされた”ピクセルの値が得られる。
【００２５】
図３Ｂ及び３Ｃは、動きベクトルフィールドがある時間位置では正しく、他の時間位置では誤っている場合における、画像３００、３０２及び３０４の２次元表示を用いた前記方法を概略的に示す。図３Ｂにおいて、画像３０２に利用可能である動きベクトルフィールドに基づいてピクセルの値をフェッチングすることにより作成される補間ピクセル行列３２４が正しくない、つまり一部３３０が不規則な形状であることがわかる。これは、画像３０２に利用可能である動きベクトルフィールドが正しくないという事実により生じている。部分３３０が小さすぎるのである。しかしながら、本発明による方法を利用することにより、正しい新規画像３０２が作成される。
【００２６】
図３Ｃにおいて、再び補間ピクセル行列３２４が正しくない、つまり部分３３２が不規則な形状であることがわかる。これも画像３０２に利用可能である動きベクトルフィールドが正しくないという事実により生じている。ここでは部分３３２が大きすぎるのである。本発明による方法を利用することにより、正しい新規画像３０２が作成される。
【００２７】
図４Ａはある入力画像からの投影及びフェッチングに基づいて、補間ユニット４００の実施例を概略的に示す。補間ユニット４００の第１の入力接続部４０８において、一連の連続した画像が供給される。補間ユニット４００の第２の入力接続部４１０において、一連の動きベクトルフィールドが供給される。この補間ユニット４００は、当該ユニットの出力接続部において一連の出力画像を供給する。これら出力画像の幾つかは、入力画像の全くの写し（コピー）である。他の出力画像は、アップコンバージョン(up-conversion)を用いて入力画像に基づいて計算される。アップコンバージョンにより、これら連続する入力画像間の時間位置における新規画像の新規ピクセルの値は、入力画像のピクセルの少なくとも１つの値に基づいて割り当てられる。この補間ユニット４００は、
−第１のオリジナルのピクセルの第１の値を新規ピクセルに利用可能な第１の動きベクトルに基づいて、入力画像の第１の画像からフェッチングするフェッチングユニット４０２、
−第２のオリジナルのピクセルに利用可能な第２の動きベクトルに基づいて、入力画像の前記第１の画像又は入力画像の他の画像から選択される第２のオリジナルのピクセルの第２の値を投影する投影ユニット４００、及び
−前記第１の値を前記第２の値と比較することにより新規ピクセルの値を割り当てる選択ユニット４０６、
を有する。補間ユニット４００の働きは、図１Ａ、１Ｂ及び１Ｃに関連して記載された方法に対応している。
【００２８】
図４Ｂは２つの入力画像からの投影に基づく補間ユニット４０１の実施例を概略的に示す。この補間ユニット４０１は、
−割り当てられるべき新規ピクセルに利用可能な第１の動きベクトルに基づいて、入力画像の第１の画像から第１のオリジナルのピクセルの第１の値をフェッチングするフェッチングユニット４０２、
−第２のオリジナルのピクセルに利用可能な第２の動きベクトルに基づいて、入力画像の第１の画像の第２のオリジナルのピクセルの第２の値を投影する第１の投影ユニット４０４、
−第３のオリジナルのピクセルに利用可能な第３の動きベクトルに基づいて、入力画像の第２の画像の第３のオリジナルの画像の第３の値を投影する第２の投影ユニット４１４、及び
−前記第１の値を前記第２の値及び第３の値と比較することにより新規ピクセルの値を割り当てる選択ユニット４０６、
を有する。補間ユニット４０１の働きは、図２に関連して記載された方法に対応している。
【００２９】
随意に、これら図に関連して記載された実施例において、多数のピクセルの値がフェッチングされる。これは、例えば入力画像の第２の画像からも値がフェッチングされることを意味している。これらの多数の値は、O. Ojo及びG. de Haan著の論文”Robust motion-compensated video upconversion” IEEE Transactions on Consumer Electronics, Vol. 43, No.4, Nov. 1997, pp. 1045-1056に記載されるように組み合わされることができる。
【００３０】
随意に、本発明による補間ユニット４００、４０１は閉塞検出器(occlusion detector)を有する。動きベクトルが正しい可能性は、この閉塞検出器を用いて決められることができる。おそらくは正しくないであろう動きベクトルに関するピクセルの値は無視される。これは、例えばフェッチング、つまり後続又は先行する画像からフェッチングするように制御可能にする。動きベクトルフィールドに基づいて閉塞マップを計算するためのアプローチは、”Problem area location in an image signal”と言う名称で、国際公開番号WO0011863で公開された特許出願に記載されている。この特許出願は、閉塞マップが動きベクトルフィールドの隣接する動きベクトルを比較することにより決められると記載されている。隣接する動きベクトルが略等しい、すなわち隣接する動きベクトル間の絶対差が既定のしきい値よりも低い場合、動きベクトルが対応するピクセルの集合は遮断されないエリア(non-covering area)に置かれると仮定される。しかしながら、これら動きベクトルの１つが隣接する動きベクトルよりかなり大きい場合、これらピクセルの集合は、遮蔽されるエリア又は遮蔽されないエリアのどちらかに置かれると仮定される。これら隣接する動きベクトルの方向は、２つの型式のエリアのどちらかを決める。
【００３１】
図５は、画像処理装置５００の実施例を概略的に示す。この装置は、
−何らかの処理が行われた後に表示されるべき画像を表す信号を入力するための入力手段５０２であり、この信号はアンテナ又はケーブルにより入力される放送信号でもよいし、ＶＣＲ(Video Cassette Recorder)又はＤＶＤ(Digital Versatile Disk)のような記憶装置からの信号でもよく、この信号は入力接続部５１２において供給される入力手段５０２、
−アップコンバータユニット５０４であり、このユニットは、
−動きベクトルフィールドを計算するための動き推定ユニット５０８であり、この動き推定ユニットは、G. de Haan他著の文献”True-Motion Estimation with 3-D Recursive Search Block Matching” IEEE Transactions on circuits and systems for video technology, vol.3, no.5, October 1993, pp. 368-379から知られる動き推定ユニットでもよい動き推定ユニット、及び
−図４Ａ又は４Ｂに関連して記載された補間ユニット５１０、
を有するアップコンバータユニット５０４、並びに
−アップコンバージョンユニット５０４の出力画像を表示するための表示装置５０６であり、この表示装置５０６は任意である表示装置５０６、
を有する。
【００３２】
上述される実施例は本発明を制限するのではなく、説明しているのであり、添付される特許請求の範囲から外れること無く当業者が他の実施例を設計することが可能であることに注意すべきである。本請求項において、括弧の間に置かれる如何なる参照符号もこの請求項を限定することを構成するのではない。“有する”という言葉は、この請求項に挙げられていない要素又はステップの存在を排除するものではない。要素を単数で表すことがこのような要素が複数あることを排除するものではない。本発明は、幾つかの別個な要素を有するハードウェア又は適当にプログラムされたコンピュータにより実施されることができる。幾つかの手段を列挙したユニットの請求項において、これら手段の幾つかがハードウェアの１つ且つ同じ項目により具現化されることができる。
【図面の簡単な説明】
【００３３】
【図１Ａ】適当なピクセルの第１の値が投影され、不適当なピクセルの第２の値がフェッチングされる方法を概略的に示す。
【図１Ｂ】適当なピクセルの第１の値が投影され、適当なピクセルの第２の値がフェッチングされる方法を概略的に示す。
【図１Ｃ】適当なピクセルの第１の値が投影されず、適当なピクセルの第２の値だけがフェッチングされる方法を概略的に示す。
【図２】適当なピクセルの第１の値が第１の画像から投影され、適当なピクセルの第２の値がフェッチングされ、適当なピクセルの第３の値が第２の画像から投影される方法を概略的に示す。
【図３Ａ】２つの時間位置に対する動きベクトルが正しい場合における方法を画像の２次元表示により概略的に示す。
【図３Ｂ】動きベクトルフィールドがある時間位置に対しては正しいが、他の時間位置に対しては正しくない場合の方法を画像の２次元表示を用いて概略的に示す。
【図３Ｃ】動きベクトルフィールドがある時間位置に対しては正しいが、他の時間位置に対しては正しくない場合の方法を画像の２次元表示を用いて概略的に示す。
【図４Ａ】１つの入力画像からの投影に基づく補間ユニットの実施例を概略的に示す。
【図４Ｂ】２つの入力画像からの投影に基づく補間ユニットの実施例を概略的に示す。
【図５】画像処理装置の実施例を概略的に示す。
【図１Ａ】
2005519498.tif 000003
【図１Ｂ】
2005519498.tif 000004
【図１Ｃ】
2005519498.tif 000005
【図２】
2005519498.tif 000006
【図３Ａ】
2005519498.tif 000007
【図３Ｂ】
2005519498.tif 000008
【図３Ｃ】
2005519498.tif 000009
【図４Ａ】
2005519498.tif 000010
【図４Ｂ】
2005519498.tif 000011
【図５】
2005519498.tif 000012
【国際調査報告】
2005519498.tif 000013
2005519498.tif 000014
2005519498.tif 000015