(57)【要約】本発明は、第１の周波数をもつ第１の画像シーケンスを含んでいる第１のビデオ信号を、第２の周波数をもつ第２の画像シーケンスを含んでいる第２のビデオ信号へ動きベクトルを用いて変換する方法および装置に関するものであり、第１の画像シーケンスの画像に対して位相ずれしている第２の画像シーケンスの少なくともいくつかの画像は、第２の画像シーケンスの１つの画像の１つの画素について第１の画像シーケンスの少なくとも１つの第１の画像と第２の画像の画素がメジアンフィルタによってフィルタリングされるように、第１の画像シーケンスの画像の補間によって形成され、メジアンフィルタは適応的に重みづけされたメジアンフィルタである。
2004528741.tif 000002
【特許請求の範囲】
【請求項１】
第１の周波数（ｆｏｒｇ）をもつ第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）を含んでいる第１のビデオ信号を、第２の周波数（ｆｉｎｔ）をもつ第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）を含んでいる第２のビデオ信号へ動きベクトルを用いて変換する方法であって、第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）の画像に対して位相ずれしている第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）の少なくともいくつかの画像は、第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）の１つの画像（ζ１）の１つの画素について第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）の少なくとも１つの第１の画像（Ａ３）と第２の画像（Ｂ３）の画素がメジアンフィルタによってフィルタリングされるように、第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）の画像の補間によって形成される形式の方法において、
前記メジアンフィルタが、適応的に重みづけされたメジアンフィルタであることを特徴とする方法。
【請求項２】
前記メジアンフィルタが、第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）の補間されるべき画像（ζ１）と、第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）の第１および／または第２の画像（Ａ３，Ｂ３）との間の補間位相に依存して適応的に重みづけされる、請求項１に記載の方法。
【請求項３】
前記メジアンフィルタが、第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）の補間されるべき画像（ζ１）と、第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）の第１および／または第２の画像（Ａ３，Ｂ３）との間の補間位相に依存して、および動きベクトルに依存して適応的に重みづけされる、請求項１に記載の方法。
【請求項４】
前記メジアンフィルタが局所的な画像内容に依存して適応的に重みづけされる、請求項１，２または３に記載の方法。
【請求項５】
前記メジアンフィルタが、動きベクトル（ＶＡｎＢｎ）の局所的な特性に依存して適応的に重みづけされる、先行する請求項のうちいずれか１項に記載の方法。
【請求項６】
複数の異なる補間位相の各々について、第１の画像（Ａ３）の画素の選択と重みづけを規定する第１のフィルタマスク（ＷＡ）と、第２の画像（Ａ３）の画素の選択と重みづけを規定する第２のフィルタマスク（ＷＢ）とが生成され、これらの生成されたフィルタマスクが、目下の補間位相に依存してメジアンフィルタリングのために選択される、先行する請求項のうちいずれか１項に記載の方法。
【請求項７】
フィルタマスクによって選択された中央の画素が、周囲に位置する画素よりも強く重みづけされ、中央の重みの合計はその他の重みの合計よりも多い、請求項６に記載の方法。
【請求項８】
その都度フィルタマスクによって考慮される第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）の画像（Ａ３，Ｂ３）の画素の数が、その都度の投影係数（ｐｌｅｆｔ，ｐｒｉｇｈｔ）が小さくなればなるほど多くなるように、フィルタマスク（ＷＡ，ＷＢ）が選択されており、投影係数は、第１および第２の画像（Ａ３，Ｂ３）の間の時間的距離に対して標準化された、補間された画像（ζ１）と第１の画像（Ａ３）との間の時間的距離であり、ないしは補間された画像（ζ１）と第２の画像（Ｂ３）との間の時間的距離である、請求項６または７に記載の方法。
【請求項９】
両方のフィルタマスクのうち、小さいほうの投影係数（ｐｌｅｆｔ，ｐｒｉｇｈｔ）に付属しているほうのフィルタマスクにフィルタの重みの過半数があるように、フィルタマスク（ＷＡ，ＷＢ）が選択されている、請求項６から８までのいずれか１項に記載の方法。
【請求項１０】
各々の補間位相について、１つを超える第１のフィルタマスクと、１つを超える第２のフィルタマスクとが準備され、これらのフィルタマスクは、異なる構造化がなされた画像領域のフィルタリングにそれぞれ適しており、このような種類の画像領域の検知に依存してフィルタマスクが選択される、請求項６から９までのいずれか１項に記載の方法。
【請求項１１】
各々の補間位相について、１つを超える第１のフィルタマスクと、１つを超える第２のフィルタマスクとが準備され、これらのフィルタマスクは、異なる信頼度の動きベクトルに関連するフィルタリングにそれぞれ適しており、見積もられた動きベクトルの信頼度に依存してフィルタマスクが選択される、請求項６から１０までのいずれか１項に記載の方法。
【請求項１２】
第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）の補間された画像（ζ１）のすでに生成されている画素が同じくメジアンフィルタに供給される、先行する請求項のうちいずれか１項に記載の方法。
【請求項１３】
第１の画像信号が線形または非線形の帯域分割によって少なくとも２つの部分帯域信号に分解され、これらの部分帯域信号の各々について本方法が実施される、先行する請求項のうちいずれか１項に記載の方法。
【請求項１４】
第１のビデオ信号がインターレース信号である、先行する請求項のうちいずれか１項に記載の方法。
【請求項１５】
第１のビデオ信号がプログレッシブ信号である、請求項１から１３までのいずれか１項に記載の方法。
【請求項１６】
先行する請求項のうちいずれか１項に記載の方法の利用法において、合成によるスローモーション信号を生成するための利用法。
【請求項１７】
第１の周波数（ｆｏｒｇ）をもつ第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）を含んでいる第１のビデオ信号（Ｓｉｎ）を、第２の周波数（ｆｉｎｔ）をもつ第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）を含んでいる第２のビデオ信号（Ｓｏｕｔ）へ動きベクトルを用いて変換する装置において、前記装置が次の各構成要件を有しており、すなわち、
動きベクトル（ｖｘ、ｖｙ）を準備する動き見積手段（２０；２０１，２０２）と、
第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）の１つの画像（ζ１）の１つの画素について第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）の少なくとも１つの第１の画像（Ａ３）と第２の画像（Ｂ３）の画素がフィルタリングされるようにように、第１の画像シーケンス（Ａ１，Ｂ１，Ａ２，Ｂ２，Ａ３，Ｂ３，．．．）の画像に対して位相ずれしている第２の画像シーケンス（α１，β１，γ１，δ１，ε１，ζ１，．．．）の画像を形成するために構成されたメジアンフィルタを備える補間機構（１０；１０１，１０２）と、
投影係数（ｐｌｅｆｔ，ｐｒｉｇｈｔ）を準備する手段（３０；３０１，３０２）であって、投影係数は、第１および第２の画像（Ａ３，Ｂ３）の間の時間的距離に対して標準化された、補間された画像（ζ１）と第１の画像（Ａ３）との間の時間的距離であり、ないしは補間された画像（ζ１）と第２の画像（Ｂ３）との間の時間的距離であるものと、
少なくとも投影係数（ｐｌｅｆｔ）が入力信号として供給され、入力信号に依存するフィルタマスクを補間機構（１０；１０１，１０２）に提供する、補間機構に結合されたフィルタマスク選択ユニット（４０；４０１，４０２）とを有している、装置。
【請求項１８】
ベクトル投影ユニットを有しており、このベクトル投影ユニットには投影係数（ｐｌｅｆｔ）と動きベクトル（ｖｘ、ｖｙ）が供給され、前記ベクトル投影ユニットは、フィルタマスク選択ユニット（４０；４０１，４０２）に供給される投影された動きベクトル（ｖｐｘ、ｖｐｙ）を準備する、請求項１７に記載の装置。
【請求項１９】
次の各構成要件を有しており、すなわち、
第１のビデオ信号（Ｓｉｎ）から少なくとも１つの第１の帯域信号と少なくとも１つの第２の帯域信号を準備する帯域分割手段（６０；６０１，６０２）と、
第１のフィルタマスク選択ユニット（４０１）に接続された第１の補間機構（１０１）、および第２のフィルタマスク選択ユニット（４０２）に接続された第２の補間機構（１０２）であって、少なくとも１つの第１の帯域信号が第１の補間機構（１０１）に供給され、少なくとも１つの第２の帯域信号が第２の補間機構（１０２）に供給されるものと、
第１の補間機構（１０１）の出力信号と、第２の補間機構（１０２）の出力信号とが供給され、第１の補間機構（１０１）の出力信号と、第２の補間機構（１０２）の出力信号とから第２のビデオ信号（Ｓｏｕｔ）を準備する組合せ回路（７０）とを有している、請求項１７または１８に記載の装置。
【発明の詳細な説明】
【０００１】
本発明は、ビデオ信号を変換する方法および装置に関する。
画像でビデオ信号を最善に表現するためには、時間的および場所的な走査ラスタにおいて、結像の表現に用いられるディスプレイもしくはその基礎をなすマルチメディア環境に合わせて適合化された画像フォーマットが必要である。そのために、さまざまなビデオフォーマットの間で時間的および／または場所的な変換を行うことがしばしば必要となる。この場合、時間的な変換には、特に、変換されるべき当初のビデオ信号の画像周波数とは異なる画像周波数を有する画像の生成が含まれる。場所的な変換は、特に、フレームを生成するためのフィールドの中間ラインについての画像情報の生成を含むことができる。
動画シーケンスのための補間法の開発にあたっては、特に、流れるような移動表現や、補間の人工性、解像損失を避けることに重きが置かれる。
【０００２】
（背景技術）
ビデオ信号を変換する方法および装置に関しては、以下において本発明のより良い理解に資するために説明する広範な従来技術が存在している。本明細書では読みやすさに配慮して、それぞれの参考文献を四角い括弧に入れて示すにとどめる。引用した参考文献の完全な記載を含むリストは、明細書の最後に掲げている。
時間的および／または場所的な変換をするには、静止方式、動き適応方式、および動きベクトルを用いた方式に実質的に分類することができる多数のアルゴリズムがあり、それぞれ線形補間技術または非線形補間技術を用いることができる。
以下、場所的／時間的なフォーマット変換をするためのさまざまな既存の方式について手短に紹介することにする。まず、静止方式と動き適応方式について説明する。次いで、本発明による方法の出発点をなしている動きベクトルを用いた方式について考察する。
【０００３】
「静止方式と動き適応方式」
フォーマット変換をするための複数の静止方式ないし線形方式があるが、これらの方式の多くは例えば解像損失や移動の不明瞭化といった欠点があるので、概略的にのみ説明することにする。
時間的なフォーマット変換をするもっとも単純な方法は画像を反復することであるが、画像の反復は、時間的に正確でない移動表現のために、多重輪郭や「ぎくしゃくした」移動経過を伴う満足のできない移動再現につながってしまうので、移動領域の補間にも同じくあまり適していない。
インターレース信号（すなわち、連続するラインくし形のフィールドが伝送される信号）の、プログレッシブな画像信号（すなわち、フレームを含んでいる信号）への場所的な変換、いわゆるプロスキャン変換のためには、垂直方向または時間的なフィルタリングに依拠する静止線形法がある。
垂直方向のローパスフィルタリングは垂直方向の解像損失につながり、時間的なローパスフィルタリングは移動画像領域における移動の不明瞭化を引き起こすため、非移動画像領域における時間的なフィルタリングと、移動画像領域における垂直方向のフィルタリングとを動き適応的に混ぜ合わせる方式が開発されている。このような種類の方式は文献［９］に解説されている。
【０００４】
線形補間技術の欠点に基づき、非線形のメジアンフィルタを補間に利用する方式が開発されている。メジアンフィルタの原理的構造と機能については、例えば文献［１１］に説明されている。画像処理のためのメジアンフィルタは例えば文献［１２］に記載されている。
メジアンフィルタでは、フィルタの入力値が大きさに従って分類され、分類された列の中央に位置する値が選択される。この場合、列は奇数の値で構成されるのが普通である。
例えば文献［１］にはプロスキャン変換をする方法が紹介されており、この方法は、ビデオ信号を高域チャネルと低域チャネルへ直線的に垂直方向で帯域分割し、高域チャネルと低域チャネルで相補的なメジアンフィルタを適用することに依拠している。
場所的な帯域分割を採用することは、人間の知覚感覚を２チャネルモデルによって表すことができるという事実に基づいている。この場合、場所的な解像度は低いが時間的な解像度は高い低域チャネルと、時間的な解像度は低いが場所的な解像度は高い高域チャネルとが存在する。
【０００５】
文献［１］には、フィールドで欠けている中間ラインが生成される、図１を参照して説明するこのような種類の帯域分割を伴う場所的な変換方式が解説されている。図１は、低域チャネルと高域チャネルへの帯域分割に基づいて、それぞれ連続する３つのフィールドＡ１，Ｂ１，Ａ２を図示しており、この場合、連続する２つのフィールドであるＡ１とＢ１ないしＢ１とＡ２は相互にオフセットされた画像ラスタを有している。それぞれについて画像情報が伝送される走査線は、枠線によって図示されている。公知の方法は、中間ラインに位置している画素（ｘ，ｙ）の画像情報を、低域チャネルのフィールドＢ１で、すなわち時点Ｔｎにおけるフィールドで、メジアンフィルタリングにより、垂直方向で隣接する同一フィールドの画素（ｘ，ｙ−１）および（ｘ，ｙ＋１）から、および後続するフィールドＡ２すなわち時点Ｔｎ＋１におけるフィールドでの位置（ｘ，ｙ）の画素から、生成することを意図している。つまり、Ｐ（．）がそれぞれの画素の画像情報を表すとすると、低域チャネルのフィールドＢ１における画素（ｘ，ｙ）の画像情報については次式が成り立つ。
【０００６】
【数１】
2004528741.tif 000003
【０００７】
このとき、Ｍｅｄ｛．｝はメジアンフィルタリングを表している。
同様に、高域チャネルのフィールドＢ１の中間ラインにある画素（ｘ，ｙ）の画像情報は次式によって生成される。
【０００８】
【数２】
2004528741.tif 000004
【０００９】
低域チャネルの画素（ｘ，ｙ）の画像情報の補間には、ただ２つのフィールド、すなわち、図１ではフィールドＢ１およびＡ２の画素の画像情報しか考慮されないのに対して、実質的に画像ディテールを含んでいる高域チャネルの画素（ｘ，ｙ）の画像情報の補間には、３つのフィールド、すなわち、フィールドＡ１，Ｂ２およびＡ２の画像情報が利用される。
【００１０】
低域チャネルのフィルタリングは、考慮される３つの画素のうち２つが、１つの画像で垂直方向に相上下して位置しているので、垂直方向（イントラフィールド）が優位である。高域チャネルのフィルタリングは、フィルタリングについて考慮される３つの画素が時間的に相前後するフィールドに由来しているので、時間的（インターフィールド）ないしラスタが優位である。
低域チャネルにおける垂直方向が優位なメジアンフィルタは、例えば水平方向に運動する垂直方向のエッジなどの場合、かなり優れた移動表現を可能にする。しかしこのようなメジアンフィルタは、垂直方向で高周波の、すなわち急速に変化する画像領域では解像損失につながるが、このような画像領域は低域チャネルでは副次的な意義しかない。それに対して、高域チャネルで用いられるラスタが優位なメジアンフィルタは、高域チャネルで求められる高い垂直解像度を有しているが、このチャネルでは劣った移動表現につながる。これ以外の改良型のメジアンフィルタまたはエッジ方向指向のメジアンフィルタに依拠する方式については、文献［１］に紹介されている。
【００１１】
場所的な変換のために、すなわち中間ラインを生成するために、サブ帯域をベースとする信号処理を行う上述した方式は、５０Ｈｚのインターレース信号を１００Ｈｚのインターレース信号へ時間的にアップコンバージョンする方式に拡張されており、すなわち、５０Ｈｚの画像シーケンスで存在しているフィールドから、１００Ｈｚの画像シーケンスをもつフィールドが生成される変換方式へと拡張されている。
時間的にちょうど２つのオリジナルフィールドＡ１およびＢ１の間に位置する記号βを付した中間フィールドを補間するための、上記によって得られる低域チャネルの補間図式が図２に示されており、特に文献［１］や［４］に解説されている。この静止補間図式は、一定の速度範囲内で移動するエッジまたはその他の大きなオブジェクトの、位置的に正確な補間を可能にする。その基礎をなしているのは、後でまた詳しく説明するメジアンフィルタのエッジスライド特性である。
高域チャネルでは、中間画像補間のために５タップのメジアンフィルタが用いられる。その様子を図３に示す。図からわかるように、ここでは低域チャネルとは異なり、高域チャネルでクリティカルとなる垂直方向の解像損失を予防するために、ラスタで補間された点はメジアンフィルタに供給されない。この場合には、入力シーケンスの１つおきのフィールドが、出力画像シーケンスのフィールドとして直接引き継がれる。
さらに、中間画像補間をするための静止方式と動き適応方式のより詳細な概要については、文献［９］を参照されたい。
【００１２】
「動きベクトルを用いた方式」
先ほど説明した誤差を許容する補間コンセプトを適用した場合でさえ、補間マスクサイズに依存する一定の速度範囲までしか、静止補間方式で中間画像で正確な移動表現を得ることはできない。しかも、高域チャネルで移動する画像内容の場合には、ラスタ優位のメジアンフィルタでも解像損失が発生する可能性がある。
そこで、移動画像シーケンスの高品質な補間のために、動きベクトルを用いて補間を行う方式が開発されている。この場合には、適当な動き見積法によってそれぞれの画素に１つの動きベクトル（ｖｘ，ｖｙ）が割り当てられ、この動きベクトルは、所与の画素が１つの画像／フィールドから次の画像／フィールドまでに、どれだけ多くのラスタ位置をｘ方向とｙ方向へ移動したかを表すものである。１つの画素ないし１つの画素群に動きベクトルを割り当てるための適当な動き見積法の概要については、例えば文献［９］に記載されており、これをもって同文献を本明細書に流用する。
補間の際にこのような動きベクトルを考慮することにより、ないしは図４に模式的に図示しているような補間フィルタの動きベクトルを用いたアドレシングにより、誤差のない動き見積と純粋な並進移動という前提条件の下で、急速に移動する画像領域でも正確な補間を行うことができる。
図４に見られるように、動きベクトルを用いた補間の基本理念は、連続する画像／フィールドＡｎ（Ｔ−１０ｍｓ）およびＢｎ（Ｔ−１０ｍｓ）で、移動する画素の位置から動きベクトルＶＡｎＢｎを求め、この動きベクトルは、その画素がどれだけ多くのラスタ点だけ動いたかを表しており、動く画素と動きベクトルの画像情報を知ったうえで、時間的に、連続する画像／フィールドＡｎ（Ｔ−１０ｍｓ）およびＢｎ（Ｔ−１０ｍｓ）の間に位置する１つまたは複数の中間画像で、動きベクトルの経路上で画像／フィールドＡｎ（Ｔ−１０ｍｓ）およびＢｎ（Ｔ−１０ｍｓ）の間にある画素を補間することにある。
【００１３】
静止補間や動き適応補間の場合と同じく、動きベクトルを用いた補間についても線形方式と非線形方式がある。
移動する画素の位置、すなわち動きベクトルの始点と終点が画像／フィールドＡｎ（Ｔ−１０ｍｓ）およびＢｎ（Ｔ＋１０ｍｓ）で既知であり、それによって動きベクトルが正確に既知であると仮定すると、単純な線形法の場合、単純なスライドまたは線形平均化を行えば十分である。文献［５］には、低域チャネルで、動きベクトルの始点と目標点によってアドレシングされる両方の画素の間の平均化が行われる、サブ帯域をベースとする補間法が紹介されており、すなわち、中間画像の画素（ｘ，ｙ）の画像情報については次式が成り立つ。
Ｐβ（ｘ，ｙ，Ｔ０）＝（１／２）・［Ａｎ（ｘ−ｖｘ／２，ｙ−ｖｙ／２，Ｔ−１０ｍｓ）＋Ｂｎ（ｘ＋ｖｘ／２，ｙ＋ｖｙ／２，Ｔ＋１０ｍｓ）］
このときＡｎ（ｘ−ｖｘ／２，ｙ−ｖｙ／２，Ｔ−１０ｍｓ）は、動きベクトルの出発点となる、時点Ｔ−１０ｍｓのときのフィールドシーケンスＡｎにおける画素の画像情報を表しており、Ｂｎ（ｘ＋ｖｘ／２，ｙ＋ｖｙ／２，Ｔ＋１０ｍｓ）は、動きベクトルの終点となる、時点Ｔ＋１０ｍｓのときのフィールドシーケンスにおける画素の画像情報を表している。ｖｘとｖｙは、フィールドＡｎ（Ｔ−１０ｍｓ）における画素（ｘ−ｖｘ／２，ｙ−ｖｙ／２）について見積もられた動きベクトルＶＡｎＢｎの成分である。
【００１４】
文献［５］では、高域チャネルでは中間画像の画像情報がベクトルを用いたシフトによって求められ、すなわち、中間画像βｎにおける画素（ｘ，ｙ）の画像情報については次式が成り立つ。
Ｐβ（ｘ，ｙ，Ｔ０）＝Ａｎ（ｘ−ｖｘ／２，ｙ−ｖｙ／２，Ｔ−１０ｍｓ）
または
Ｐβ（ｘ，ｙ，Ｔ０）＝Ｂｎ（ｘ＋ｖｘ／２，ｙ＋ｖｙ／２，Ｔ＋１０ｍｓ）
しかしこの方法は、動きベクトルに誤差がある場合、つまり正確に見積もられていない場合には、わずかな誤差許容範囲しか有していない。
そこで文献［６］には、３タップのメジアンフィルタをベースとする非線形の補間法が紹介されている。この場合には、図４に示すようにして補間されるべき中間画像βの画素（ｘ，ｙ）の画像情報が、次式のように、動きベクトルの始点と終点の画像情報のメジアンフィルタリングと、始点および終点の画像情報の平均値のメジアンフィルタリングとによって求められる。
【００１５】
【数３】
2004528741.tif 000005
【００１６】
ベクトルが正確に見積もられている場合、画像Ａｎと画像Ｂｎで動きベクトルによって選択される画素（動きベクトルの始点と終点）は同一であり、したがってメジアンフィルタの初期値を形成する。動き見積に誤差が含まれている場合、すなわち動きベクトルの始点と終点が同一の画像情報を含んでいない場合には、フォールバックモードとして線形の画像平均化が行われ、それに伴って移動の不鮮明化が生じる。
【００１７】
以上に説明してきたベクトルを用いた中間画像補間法は、誤差が含まれている動きベクトルの見積に対して、つまりベクトル誤差に対して、十分な許容範囲を有していない。補間された画像の画質向上は、例えば文献［１，２，３］に説明されている方法で記述されるような、重みづけされるベクトルを用いたメジアンフィルタによって可能である。
この場合、文献［４］に記述されているベクトルを用いた方式でない方法と同じく、場所的な帯域分割が行われる。
低域チャネルについての補間図式を図５に示す。この場合、フィールドＡｎ（Ｔ−１０ｍｓ）における動きベクトルＶＡｎＢｎの開始画素と、フィールドＢｎ（Ｔ＋１０ｍｓ）における動きベクトルＶＡｎＢｎの終了画素との周囲に位置する複数の画素の画像情報が、メジアンフィルタに供給される。さらに、いわば再帰的な要素として、中間画像βｎのすでに求められている隣接する画素の画像情報も、メジアンフィルタに供給される。図５では理解に資するため、フィールドＡｎ（Ｔ−１０ｍｓ）の９つの画素の画像情報と、フィールドＢｎ（Ｔ＋１０ｍｓ）の９つの画素の画像情報と、中間画像βｎ（Ｔ０）の３つの画素の画像情報とがメジアンフィルタに供給されている。メジアンフィルタに供給された画像情報は異なる重みづけがなされていてよく、この重みづけ係数は、１つの画素の画像情報がどれくらいの頻度でメジアンフィルタに供給されるかを表している。
低域チャネルの補間されるべき画素は次式によって算出される。
【００１８】
【数４】
2004528741.tif 000006
【００１９】
このとき、ＷＡｎ，ＷＢｎおよびＷβｎは、それぞれベクトルでアドレシングされた画素の周囲のマスクを表しており、◇は、走査値がフィルタマスクにどれくらいの頻度で通されるかを表す重複演算子を意味している。フィルタマスクが周囲に置かれている、フィールドＡｎ（Ｔ−１０ｍｓ）およびＢｎ（Ｔ＋１０ｍｓ）の画素は、中間画像βｎ（Ｔ０）の補間されるべき画素（ｘ，ｙ）に対して、それぞれ動きベクトルの割合だけ変位しており、この割合は、図５では動きベクトルの半分に相当している。補間されるべき中間画像βｎ（Ｔ０）は、時間的に、フィールドＡｎ（Ｔ−１０ｍｓ）およびＢｎ（Ｔ＋１０ｍｓ）のちょうど中心に位置しているからである。
フィールドのうちの一方の動きベクトルが、対応するフィールドには存在していない画像ラインを指示しているときは、文献［９］に述べられているように、線形補間が行われる。
【００２０】
ベクトルを用いて重みづけされるメジアンフィルタの利点は、誤りを含んでいる動きベクトルを、一定の大きさの誤差までは修正できるという点にある。このことは、自然な画像シーケンスではベクトル誤差を回避することができないので、大きな意義がある。
ベクトル誤差の修正の特性について、明るい画素と暗い画素の間で水平方向に移動する理想的な垂直方向エッジのモデルを例にとって、図６を参照しながら説明する。ここでは、誤差を含んだ動きベクトルが見積もられている。図６では、フィールドＡｎ，Ｂｎおよび中間画像βｎのそれぞれのライン、ならびに、それぞれ誤差を含んだ状態で見積もられているベクトルが図示されている。
この例については、モデルエッジはｖｘｒｅａｌ＝４画素／フィールドの速度で移動するが、この速度が誤ってｖｘｍｅａ＝０画素／フィールドと見積もられているために、先行画像と後続画像におけるメジアンマスクは同じ地点に位置決めされており、それに対して、正しくはマスクが４つの画素だけ相互に変位した状態で位置決めされていなければならないものと想定する。
【００２１】
図６に示す例では、選択マスクの範囲内に位置する、エッジの後の暗い領域の開始部にマーキングする画素ｘ０を含めたフィールドＡｎの７つの画素の画像情報が、メジアンフィルタに供給され、このマスクは、画像ラインの下に太線で囲んで図示されている。さらに、画像ラインの下に太線で囲んで図示した選択マスクの範囲内にある、フィールドＢｎの７つの画素の画像情報がメジアンフィルタに供給され、これらの画素の位置は、フィールドＡｎの考慮される画素の位置に対応している。なぜなら、動き見積が正しくないために選択マスクが変位していないからである。図から明らかなように、エッジの後の８つの暗い画素と、エッジの前の６つの明るい画素との画像情報ないし輝度情報が、メジアンフィルタに供給される。これらの画素のメジアンフィルタリングの結果は、選択マスクが統一的に重みづけされている場合でさえ、中間画像の位置ｘで補間される１つの暗い画素となる。
【００２２】
メジアンフィルタによって、時間的にフィールドＡｎ，Ｂｎの中央に位置する中間画像βｎのエッジは、動きベクトルに誤差が含まれているにも拘わらず、フィールドＡｎのエッジとフィールドＢｎのエッジとの間の区間の半分に相当する位置へ正しく補間され、このことは、明るい画素と暗い画素の間で輝度の収支をとってみれば確認することができる。
それに対して線形補間フィルタを使うと、中程度の輝度をもつ領域が画素４つ分だけ広くなり、したがってエッジが明らかに不明瞭になる［９］。
例えばエッジや面のように画像信号が修正されている場合の挙動に加えて、画像情報が未修正の場合（例えば不規則なテクスチャー）の挙動も調べることができる。重みづけされたメジアンフィルタは、フィルタの重みづけが適切に選択されていれば、動き見積が正しい場合、未修正の画像内容のディテールも維持することができることが示されている。ベクトルの見積が誤っている場合には細かいディテールの消去が行われ、文献［１］によれば、５０Ｈｚから１００Ｈｚへの変換については、位置が誤っている表現よりもこのような消去のほうを優先すべきである。
【００２３】
低域チャネルのメジアンマスクとしては、文献［１，２，３］に記載の方法では、図８に示すようなマスクが用いられる。この場合、フィールドＡｎおよびＢｎから選択されるべき画素については星形の選択マスクが用いられ、動きベクトルＶＡｎＢｎの始点と終点は、周囲に位置する値（係数１）よりも強く、それぞれ係数５で重みづけされている。さらに、中間画像のすでに求められている画素の画像情報もメジアンフィルタに供給される。
露出している画像列では、低域チャネルで３タップのメジアンフィルタリングが行われる［３］。
高域チャネルについては、文献［１，２，３］による方法の場合、すでに文献［４］の静止法のところで述べたようにラスタが優位なメジアンフィルタが適用され、このときには、メジアンフィルタがベクトルアドレシングされるという点だけが異なっている。この方式は、文献［３］から引用した図８に図示されている。
【００２４】
文献［１０］には、重みづけされたメジアンフィルタに基づく中間画像補間法のＩＣによる具体化が説明されている。信頼性制御されるメジアンフィルタに依拠するフォーマット変換のためのＩＣは、文献［７］に記載されている。
文献［８］には、同じく重みづけされるメジアンフィルタに基づく補間法が紹介されている。ただしこの場合には高域／低域の分離は行われず、ベクトルが、フィールド内に存在しないラインをアドレシングする場合には、線形補間も行われない。その代わりに、存在するラインをベクトルがアドレシングする場合には図９ａ）に示すメジアンマスクが用いられ、それ以外の場合には図９ｂ）に示すメジアンマスクが用いられる。フィルタの重みづけの合計が偶数であれば、追加的に、最新の位置の左上にある、すでに算定されている中間画像の画素がメジアンフィルタに供給される。
【００２５】
文献［３］に紹介されている補間法は、５０Ｈｚのインターレース信号を１００Ｈｚのインターレース信号へ変換する場合、すでに非常に優れた補間品質を実現しており、その理由は、重みづけされるメジアンフィルタの誤差修正特性にも帰することができる。
入力画像率と出力画像率の比率が上述の５０：１００という比率と異なっているフォーマット変換に着目してみると、ベクトル投影について別の周辺条件が生じる。このことは、さまざまな出力画像率についての出力画像の時間的な位置が５０Ｈｚの入力シーケンスとの比較で図示されている図１０を見れば明らかである。
すでに考察した１００Ｈｚへの変換の場合、出力シーケンスの画像が時間的に入力シーケンスの画像と一致するか、または、補間されるべき中間画像が、再生時に時間的に２つの入力画像のちょうど間に位置するかのいずれかである。後者の場合には図４に示すベクトル投影が生じ、このベクトル投影では、測定ないし見積が行われた動きベクトルＶＡｎＢｎが、中間画像のそれぞれの画素を起点として、それぞれ０，５の投影係数で先行ないし後続するオリジナル画像に投影され、すなわち、中間画像における画素の画像情報は、それぞれ０，５を乗じた動きベクトルの分だけ、補間されるべき点から離れて位置しているような入力画像の領域にある画素を用いて補間される。
しかしこれ以外の画像率の比率のときには、２つの入力画像のちょうど中央に位置するのではない時間的な位置で中間画像を補間しなければならないので、補間されるべき中間画像について、０，５とは異なるさまざまな投影係数が生じる。
【００２６】
さらに、時間的にちょうど入力画像と一致する２つの出力画像の間には、明らかに１つよりも多い、時間的に補間されるべき中間画像が存在する場合があることを認識しておかねばならない。例えば入力周波数の周波数ｆｏｒｇ＝５０Ｈｚ、補間されるシーケンスの出力周波数ｆｉｎｔ＝６０Ｈｚの場合、それぞれ６番目の出力画像しか入力画像と時間的に一致しない。したがって、オリジナル画像に対する、補間される画像の比率は、ｆｉｎｔ＝１００Ｈｚの場合によりも明らかに高くなるので、補間法に対する品質要求も同じく明らかに高くなる。
一般に、ｆｏｒｇからｆｉｎｔへ変換するときに生じるすべての可能な投影係数は、次式に従って規定される。
ｐｌｅｆｔ＝ｋ・ｆｏｒｇ／ｆｉｎｔ−［ｋ・ｆｏｒｇ／ｆｉｎｔ］            （５）
および
ｐｒｉｇｈｔ＝１−ｐｌｅｆｔ
＝１−ｋ・ｆｏｒｇ／ｆｉｎｔ＋［ｋ・ｆｏｒｇ／ｆｉｎｔ］      （６）
このとき、ｋ＝０，１，２，．．．、（ｋｍａｘ−１）かつｋｍａｘ＝ｆｉｎｔ／ｇｇＴ（ｆｏｒｇ，ｆｉｎｔ）であり、［ｋ・ｆｏｒｇ／ｆｉｎｔ］はｋ・ｆｏｒｇ／ｆｉｎｔの整数を表しており、ｇｇＴは共通する最大の約数を求めるための演算を表している。
【００２７】
つまり、投影係数ｐｌｅｆｔは、補間されるべき中間画像と、それぞれこれに先行する画像／フィールドとの間の、オリジナル信号の周期時間に標準化された時間的距離を表しており、この周期時間は、オリジナル画像シーケンスの連続する２つの画像／フィールドの間の時間的距離を表している。同様にｐｒｉｇｈｔは、補間されるべき中間画像と、その都度これに後続する画像／フィールドとの間の、オリジナル信号の周期時間に標準化された時間的距離を表している。
両方の投影係数ｐｌｅｆｔおよびｐｒｉｇｈｔは、補い合って１になる。
ｆｏｒｇからｆｉｎｔへの画像率変換の場合、それぞれ左と右の投影係数を有する、ちょうどｋｍａｘだけ異なる補間位相ないし投影係数ペアが生じるのは明らかである。その後、投影係数の周期的な反復が行われる。
投影係数が異なるときのベクトル誤差の影響は、投影位相が異なる場合に誤差を含む動きベクトルが及ぼす影響について詳しく考察する以下の叙述で説明するように、さまざまに大きさが異なっている。
【００２８】
説明をわかりやすくするため、５０Ｈｚから６０Ｈｚへの変換時に、図１０に示す６０Ｈｚシーケンスの画像ζ１が、５０ＨｚシーケンスのフィールドＡ３およびＢ３から補間されるものと仮定する。先行するオリジナル画像Ａ３への付属の投影係数ｐｌｅｆｔ、および後続するオリジナル画像Ｂ３への投影係数ｐｒｉｇｈｔは、それぞれｐｌｅｆｔ＝１／６、ｐｒｉｇｈｔ＝５／６と算定される。
以下においては、説明をわかりやすくするためにプログレッシブな画像表示を前提としているが、ここで検証する問題は、インターレース表示（＝フィールドでの表示）についても同様の形で生じるものである。
説明をわかりやすくするため、測定される速度はｖｍｅａ＝（１２，１２）であると仮定し、したがって先行する画像Ａ３へは、投影される速度
ｖｐｌｅｆｔ＝ｐｌｅｆｔ・ｖｍｅａ
＝１／６・（１２，１２）＝（２，２）              （７）
が生じるとともに、後続する画像Ｂ３へは、投影される速度
ｖｐｒｉｇｈｔ＝ｐｒｉｇｈｔ・ｖｍｅａ
＝５／６・（１２，１２）＝（１０，１０）          （８）
が生じる。先行および後続する画像Ａ３，Ｂ３の補間フィルタは、補間されるべき画素を起点として、これらの速度でアドレシングないし位置決めされる。補間されるべき点を起点としてｖｐｒｉｇｈｔないしｖｐｌｅｆｔだけ変位する、補間されるべき画素の位置、ならびにフィルタのアドレシング位置は、図１１に中間画像ζで図示されている。このときのアドレシング点は、フィルタリングされるべき画素を選択するためにフィルタマスクが置かれる、オリジナル画像における画素の位置を表している。動きベクトルの見積が修正されている場合、アドレシング位置は、画像Ａから画像Ｂに向かって移動する画素の始点と終点に一致する。
【００２９】
ここで、見積もられた動きベクトルがｘ方向とｙ方向に±６の最大誤差を含んでいると仮定すると、それによってベクトル投影後には図１１にグレーで図示している誤差範囲が生じ、このとき、オリジナル画像Ｂにおけるフィルタマスクの位置は、オリジナル画像Ａにおけるフィルタの位置決めよりも著しく大きくベクトル誤差に左右されている。
ベクトル誤差の影響をわかりやすく説明する別の例を挙げるために、再び５０Ｈｚから６０Ｈｚへの変換時に、図１０の画像ζ１がオリジナル画像Ａ３およびＢ３から補間されるものとし、投影係数については式ｐｌｅｆｔ＝１／６かつｐｒｉｇｈｔ＝５／６が成り立つものとする。
図１２に示すように、水平方向へ速度ｖｒｅａｌ＝６画素／画像で移動する理想的な垂直方向エッジに着目してみる。ただし見積もられている速度はｖｍｅａ＝０なので、画像ＡのフィルタマスクＷＡと、画像ＢのフィルタマスクＷＢは同じ位置に位置決めされている。
文献［３］に解説されている方法に準じて、画像Ａおよび画像Ｂについて同一のフィルタマスクを使用すると、画像Ａのエッジと画像Ｂのエッジの距離の半分に相当する位置で、中間画像ζにおける移動するエッジの補間が得られる。補間されるべき中間画像は、時間的に画像Ａと画像Ｂの間の中央に位置しているのではないから、この位置は正しくない。
【００３０】
（発明の開示）
したがって、本発明の目的は、入力画像シーケンスに対する出力画像シーケンスの周波数比率が１００：５０と異なっている場合、特に整数でない値をとる場合でも、中間画像の正確な補間を供給することができるような、ビデオ信号を変換する方法および装置を提供することである。
この目的は、請求項１の構成要件を備える方法および請求項１６の構成要件を備える装置によって解決される。本発明の有利な実施形態は、従属請求項の対象となっている。
【００３１】
本発明は、第１の周波数をもつ第１の画像シーケンスを含んでいる第１のビデオ信号を、第２の周波数をもつ第２の画像シーケンスを含んでいる第２のビデオ信号へ動きベクトルを用いて変換する方法に関するものであり、第１の画像シーケンスの画像に対して位相ずれしている第２の画像シーケンスの少なくともいくつかの画像は、第２の画像シーケンスの１つの画像の１つの画素について第１の画像シーケンスの少なくとも１つの第１の画像と第２の画像の画素がメジアンフィルタによってフィルタリングされるように、第１の画像シーケンスの画像の補間によって形成され、本発明によれば、メジアンフィルタは適応的に重みづけされたメジアンフィルタである。
１つの実施形態では、メジアンフィルタは、第２の画像シーケンスの補間されるべき画像と、第１の画像シーケンスの第１および／または第２の画像との間の補間位相に依存して、すなわち投影係数に依存して、適応的に重みづけされる。
別の実施形態では、局所的な画像内容に依存して、または動きベクトルのベクトル場の特性に依存して、メジアンフィルタを適応的に重みづけすることが意図される。
本方法を具体化するための実施形態では、複数の異なる補間位相の各々について、メジアンフィルタリングのための第１の画像の画素の選択と重みづけを規定する第１のフィルタマスクと、メジアンフィルタリングのための第２の画像の画素の選択と重みづけを規定する第２のフィルタマスクとが生成される。これらのフィルタマスクが、目下の補間位相に依存してフィルタリングのために選択、利用される。
【００３２】
フィルタマスクないしフィルタを生成するにあたっては、次の各基準を考慮するのが好ましい：
・フィルタマスクは、移動する理想的な水平方向または垂直方向のエッジが、見積の誤差にも拘わらず、それぞれの補間位相について正確なエッジ位置に補間されるように選択される。
・動きベクトルが正しく見積もられている場合には微妙な画像ディテールも維持されるのが望ましく、このことは、両方のフィルタマスクの中心の重みの合計が、その他の重みの合計よりも大きいことによって達成することができる。
・重みづけされるメジアンフィルタの修正能力は、一般に、その広さに伴って上昇する。したがってフィルタマスクの面積は、付属の投影係数が大きければ大きいほど、それによって生じる広い誤差範囲を修正できるように、広くするのが好ましい。
・投影係数が低い画像に由来する情報は、信頼性が高いのが普通であるので、フィルタ重みの過半数が、投影係数の低いフィルタマスクに割り当てられるのが好ましく、この効果は、投影係数が大きく異なっていればいるほど、いっそう強く発揮される。
・１つのマスクが複数のオブジェクトを覆い、その結果、モデル想定（移動するエッジ）への違反によって補間誤差が生じてしまう確率は、マスク面積が増えるにつれて増大する。クリティカルな領域を認識することによって、例えばエッジの検知によって、フィルタ面積を相応に適応させることが可能である。したがって１つの実施形態では、各々の補間位相について、１つを超える第１のフィルタマスクと、１つを超える第２のフィルタマスクとが準備され、これらのフィルタマスクは、異なる構造化がなされた画像領域のフィルタリングにそれぞれ適しており、このような種類の画像領域の検知に依存してフィルタマスクを選択することが意図される。
・動きベクトルの信頼度は、画像のどの部分でも同じわけではない。例えば、動き見積はブロックごとに行われるのが通常であるため、異なるベクトルの移行領域では、均一なベクトル領域の内部よりも信頼度が低いと考えられる。さらに、動きベクトルを求める基礎である類似性の程度を、信頼度の判定に利用することができる。同様に、通常はベクトル値が大きくなれば不正確さも大きくなると予想される。したがって１つの実施形態では、フィルタマスクの広さと重みが動きベクトルの信頼度に合わせて適合化される。
【００３３】
以上に加えて、フィルタマスクを生成するときには、動きベクトルを用いて求めた速度も考慮され、それにより、最大限修正されるべき動きベクトルのベクトル誤差をフィルタの設計時に考慮することができるので、投影係数によって規定される補間位相について、速度および最大限修正されるべきベクトル誤差に依存して、複数の異なるフィルタマスクを誘導ないし生成することができる。
上記の基準を考慮したうえで、十分に公知となっている適当なフィルタ設計法により、上述の設定事項や理想的な水平方向または垂直方向のエッジについて所定の誤差値の範囲内で見積誤差の完全な補償を可能にする、一次元または二次元の重みづけされたメジアンフィルタを設計することができる。
見積誤差の完全な補償とは、ここでは、例えば±６の所定の見積誤差のときにフィルタが全誤差範囲｛−６，−５，．．．，−１，０，１，．．．，５，６｝を（正確な画素のフィルタアドレシングを得るためのその都度の周辺条件を考慮したうえで）修正できることを意味している。
【００３４】
次に、図面を参照しながら本発明について実施例で詳しく説明する。
各図面には、別段の断りがない限り、同じ符号は同じ意味をもつ同じ部分を表している。
以下においては、図６に図示して上に説明した補間法に依拠しながら、図１２を参照して説明したような従来技術の場合に発生する問題が起こらない本発明の方法について、図１３を参照しながら説明する。
図１３には、連続する画像ＡおよびＢのそれぞれのラインと、本発明の方法によって生成された中間画像ζのラインとが図示されている。本例については、明るい画素と暗い画素の間のエッジがｖｘｒｅａｌ＝６画素／画像の速度で移動するが、動きベクトルは不正確にｖｍｅａ＝０画素／画像と見積もられているものと想定する。
【００３５】
本例では、中間画像ζは図１０に示す６０Ｈｚ画像シーケンスの中間画像であるものとし、画像ＡおよびＢは図１０に示す５０Ｈｚ画像シーケンスであるものとし、画像ＡおよびＢはフィールドまたはフレームであってよい。左側の投影係数については、本例ではｐｌｅｆｔ＝１／６を適用しており、それに応じて右側の投影係数ｐｒｉｇｈｔ＝１−ｐｌｅｆｔ＝５／６である。
画像Ａのラインの下にはフィルタマスクＷＡが図示されており、このフィルタマスクは、ラインのどの画素が、どれだけの重みでメジアンフィルタにかけられるかを表している。画像Ｂのラインの上には第２のフィルタマスクＷＢが図示されており、このフィルタマスクは、ラインのどの画素が、どれだけの重みでメジアンフィルタにかけられるかを表している。この両方のフィルタは、動きベクトルの始点を画像Ａで選択し、ないしは動きベクトルの終点を画像Ｂで選択するように位置決めされており、これらの点は本例では点ｘ０で一致している。なぜなら、動きベクトルがゼロと見積もられているからである。動きベクトルがｖｘｒｅａｌと正しく見積もられていれば、フィルタマスクＷＢは画素６つ分だけ右側にずれているはずである。
【００３６】
図示しているフィルタマスクでは、動きベクトルの始点と終点を規定する中央の画素のほうが周囲の画素よりも強く重みづけされており、フィルタの重みは（図示しているのとは異なり）中央の画素を起点として外方に向かって、中央の画素からの間隔が増すにつれて減るようになっていてもよい。中間画像の補間されるべき画素は、ｖｐｌｅｆｔ＝ｐｌｅｆｔ・ｖｍｅａ画素の分だけ、動きベクトルの始点に対して右側に位置するとともに、ｖｐｒｉｇｈｔ＝ｐｒｉｇｈｔ・ｖｍｅａ画素の分だけ、動きベクトルの終点に対して左側に向かって変位しており、本例で想定している動きベクトルの正しくない見積の場合、これらの位置は画素ｘ０の位置に相当している。
図１３に示す投影係数ｐｌｅｆｔは、画像Ａと中間画像ζとの間の標準化された時間的距離を表す目安であり、投影係数ｐｒｉｇｈｔは、中間画像ζと画像Ｂとの間の標準化された時間的距離を表す目安であり、これらの投影係数は、時間的距離が短くなればなるほど少なくなる。したがって投影係数は、その都度の補間位相を表す目安であり、すなわち、オリジナル画像Ａ，Ｂに対する中間画像ζの時間的な位置を表す目安であり、この補間位相は、ｆｏｒｇ（例えば５０Ｈｚ）からｆｉｎｔ（例えば６０Ｈｚ）への変換の場合、これらの周波数の比率によって規定される周期の範囲内で中間画像ごとに変化する。
【００３７】
本発明によれば、フィルタマスクを補間位相に依存して適応的に重みづけし、すなわち、投影係数ｐｌｅｆｔ，ｐｒｉｇｈｔに依存して重みづけすることが意図される。この場合、投影係数ｐｌｅｆｔに付属するフィルタマスクＷＡのほうが少ない面積を有している。なぜなら、中間画像に時間的に近く位置しているほうの画像Ａの画像情報の信頼度は、中間画像から時間的に離れて位置しているほうの画像Ｂの信頼度よりも高く等級付けすることができ、フィルタの面積は、すでに述べたように、画像情報の信頼度が減るにつれて広くなるからである。フィルタＷＡは、ｐｌｅｆｔ＝１／６ないしｐｒｉｇｈｔ＝５／６である図示した投影位相については３つの画素の面積を有しており、フィルタマスクＷＢは１１の画素の面積を有している。フィルタの重みの過半数は、合計の重みが１＋１＋１＋１＋１＋８＋１＋１＋１＋１＋１＝１８であるフィルタマスクＷＢよりも、画像Ａの信頼度の高い画像情報を重みづけする、４＋１３＋４＝２１のフィルタＷＡのほうにある。
【００３８】
中間ラインの画素は、マスクＷＡおよびＷＢを用いた画像ＡおよびＢの画素のメジアンフィルタリングによって生成されたものであり、図から明らかなように、フィルタマスクＷＡ，ＷＢの補間位相依存的な重みづけのおかげで、中間画像のエッジは、画像ＡおよびＢに対する中間画像の位相位置に応じて、画像Ａのエッジに対して正確に１つの画素分だけ変位するとともに、画像Ｂのエッジに対しては５つの画素分だけ変位している。このようにして、ベクトルが誤って見積もられているにも拘わらず、図１３に示す適応的なフィルタマスクを適用することによって、移動するエッジの移動に適合した補間を行うことができる。移動するエッジは、ここではＶｒｅａｌ／６に正しい位置で補間されるのは明らかである。
投影係数が少ないほうの画像（図１３では画像Ａ）に由来する補間は、ベクトル誤差に対する依存度が明らかに低く、したがって、投影係数が大きいほうの画像（図１３では画像Ｂ）に由来する情報よりも高い信頼度で等級付けされる。さらに、投影係数が少ないほうの画像は、補間されるべき中間画像に対して相関性が高いのが普通である。この両方の画像は互いに近く位置しているからである。最新の補間位相およびこれに伴うその都度の投影係数に適応させたフィルタマスク、いわば多相補間フィルタを、補間のために本発明に基づいて使用することは、動き見積が正しくない場合でも、このような事情を中間画像の正しい補間のために活用するものである。
【００３９】
本発明の方法では、１セットのフィルタが設計され、そのうち少なくとも１つのフィルタは補間位相に割り当てられており、補間位相および場合によりその他の基準に依存して、これらのフィルタの間で切換を行うことが意図される。フィルタという用語は、以下においては特に２つまたはそれ以上のフィルタマスクのグループを指すものとし、これらのフィルタマスクが、フィルタプロセスすなわち画素の補間のために、オリジナル画像の画素の選択と重みづけを規定し、および場合によっては、補間されるべき中間画像のすでに算出されている画素の選択と重みづけを規定する。
図１４は、第１の周波数ｆｏｒｇをもつ第１の画像シーケンスを含んでいる第１のビデオ信号Ｓｉｎを、第２の周波数ｆｉｎｔをもつ第２の画像シーケンスを含んでいる第２のビデオ信号Ｓｏｕｔへ、動きベクトルを用いて変換するための本発明の方法を実施する装置の実施例を示している。第１のビデオ信号Ｓｉｎは本装置の入力部に供給され、第２のビデオ信号Ｓｏｕｔは本装置の出力部で取り出される。
本装置は、図１４の例ではｘ成分ｖｘとｙ成分ｖｙを有する動きベクトルを準備する動き見積手段２０を有している。動き見積をするために、図１４では一般に符号Ｓ（ｎ）とＳ（ｎ−１）を付している、入力画像シーケンスの少なくとも２つの画像が動き見積機構２０に供給され、このときＳ（ｎ）は入力画像シーケンスの最新の画像を表しており、Ｓ（ｎ−１）は、画像記憶装置５０に蓄えられている入力画像シーケンスの先行する画像を表している。
さらに本装置は、目下の補間位相に依存する投影係数ｐｌｅｆｔを準備する機構３０を有しており、この機構３０は、式（５）および（６）に基づく入力周波数ｆｏｒｇから出力周波数ｆｉｎｔへの所定の変換のために、考えられるすべての投影係数ｋｍａｘを求めて周期的に準備するように構成されており、その結果、２つの入力画像から１つの出力画像が補間されるたびに正確な補間係数が提供される。
【００４０】
さらに本装置はフィルタマスク選択機構４０を有しており、少なくとも、算出された投影係数ｐｌｅｆｔがこのフィルタマスク機構に供給され、このフィルタマスク機構は適応型の補間器１０に接続されており、この補間器が、入力画像シーケンスの２つの画像Ｓ（ｎ），Ｓ（ｎ−１）から、出力画像シーケンスのそれぞれ１つの画像を準備するためのメジアンフィルタリングを行う。その都度のメジアンフィルタリングに用いられるべきフィルタマスクは、投影係数ｐｌｅｆｔに依存してフィルタマスク選択機構４０により選択され、適応型の補間器１０に供給される。フィルタマスク選択ユニットには、各々の補間位相について、すなわち各々の投影係数ｐｌｅｆｔについて、２つのフィルタマスクからなる少なくとも１つのグループが蓄えられており、これらのフィルタマスクが、画素Ｓ（ｎ）からフィルタリング時に考慮されるべき画素の選択と重みづけを規定するとともに、画像Ｓ（ｎ−１）から考慮されるべき画素の選択と重みづけを規定する。さらに、各々の補間位相について、すでに算出されている中間画像の画素を同じくフィルタリング時に考慮するために、これらの画素の選択と重みづけをメジアンフィルタリング時に規定するフィルタマスクを設けることもできる。
図１４に図示している実施例では、フィルタマスクの選択は、上記に加えて、式（７）および（８）に従って投影される速度ｖｐｌｅｆｔおよびｖｐｒｉｇｈｔに依存して行われ、それにより、見積もられた動きベクトルの誤差を修正することが可能なフィルタマスクを選択できるようになっている。フィルタマスクは、所定の最大の見積誤差を修正できるようにするために、見積もられた速度に依存して異なる面積ないし異なる重みづけを有していることができるので、本実施形態では補間位相ごとに、すなわち投影係数ｐｌｅｆｔごとに、フィルタマスクの複数のグループが存在しており、各々の補間位相について、投影される速度速度ｖｐｘおよびｖｐｙに依存して１つのグループのフィルタマスクが選択され、適応型の補間器に供給される。
【００４１】
さらに、各々の補間位相について異なるフィルタないしフィルタマスクを設けるという可能性もあり、これらのフィルタないしフィルタマスクはそれぞれの修正能力に加えて、それぞれの見積誤差修正特性および／またはディテール維持特性に関しても、例えば局所的な画像内容（例えばエッジ、周期的構造など）、見積もられている動きベクトルの値、ベクトル誤差の均一性、またはその他の画像関連基準や動きベクトル関連基準などに応じて異なっている。フィルタマスク選択機構４０でこのような種類のフィルタを選択するためには、図１４に破線で図示している機構８０で行われるさらに別の画像評価が必要であり、この場合、フィルタマスク選択機構４０で補間位相の間に適当なフィルタマスクを選択する役目をする出力信号が、このフィルタマスク選択機構４０に供給される。本発明の方法に基づいて実施される、適応的に重みづけされたメジアンフィルタを用いたフィルタリングは、画像全体に適用するか、または帯域分割との関連で個々のサブ帯域に適用することができ、その様子は図１５に示す装置に図示されている。
この装置は、適応的に重みづけされるメジアンフィルタを備える適応型の高域補間器１０１と、適応的に重みづけされるメジアンフィルタを備える適応型の低域補間器１０２とを有しており、補間器１０１，１０２の各々にフィルタマスク選択機構４０１，４０２が付属しており、これらのフィルタマスク選択機構には、投影係数ｐｌｅｆｔ、投影される速度ＶｐｘおよびＶｐｙ、ならびに追加的にいわゆる露出・遮蔽フラッグが供給され、この露出・遮蔽フラッグは、投影される速度ｖｐｘおよびｖｐｙと同じく、機構５０でベクトル投影ないし露出・遮蔽検知のために生成されるものであり、この機構５０には動きベクトルｖｘ，ｖｙと投影係数ｐｌｅｆｔとが供給される。
この機構は、直列につながれた３つの画像記憶装置５０１，５０２，５０３を有しており、それにより、入力画像シーケンスの連続する４つの画像／フィールドＳ（ｎ），Ｓ（ｎ−１），Ｓ（ｎ−２），Ｓ（ｎ−３）を利用することができる。これらの画像／フィールドは、それぞれ装置６０１，６０２，６０３，６０４に帯域分割のために供給され、本実施例では、装置６０１，６０４は適応型の高域補間器に供給される高域信号だけを準備するのに対して、装置６０２，６０３はそれぞれ高域信号と低域信号を準備し、これらの低域信号は適応型の低域補間器に供給され、高域信号は適応型の高域補間器に供給される。
【００４２】
補間器１０１，１０２のためのフィルタマスク選択機構４０１，４０２によるフィルタマスクの選択は、図１４との関連で説明したようにして行われ、この場合には、それぞれ個々の補間位相についてメジアンフィルタないしフィルタマスクは一定であってよいが、それぞれ個々の補間位相について、修正能力やディテール維持特性の点で区別される複数の異なるメジアンフィルタないしフィルタマスクが設けられていてもよい。高域補間器と低域補間器のために選択されたフィルタマスクは、個々の補間位相の各々について異なっているのが普通である。フィルタマスクは、投影係数に依存して、および／または投影される速度ｖｐｘおよびｖｐｙに依存して、および場合により追加的に露出・遮蔽フラッグに依存して選択される。
機構５０で行われるベクトル投影および露出・遮蔽検知は、文献［３］に記載されているように実行され、ここでは任意の投影係数への一般化を行わなければならない。
【００４３】
高域チャネルと低域チャネルについては異なる補間が行われるので、これについて以下に説明する。
連続するフィールドＳ（ｎ−１），Ｓ（ｎ−２）からの、低域チャネルについての中間画像Ｓ（Ｚ）の補間が図１６に図示されている。オリジナルフィールドＳ（ｎ−２），Ｓ（ｎ−２）および中間画像からフィルタリングにより取り出される画素が太字で囲んで示されており、重みづけ係数（画素が考慮されるべきでないとき、重みづけ係数はゼロである）は、フィルタマスク選択ユニット４０１，４０２から補間器１０１，１０２に通知される。例えば各々の補間位相について、オリジナルフィールドＳ（ｎ−２），Ｓ（ｎ−１）において長方形の配置または十字形の配置で動きベクトルの始点と終点の回りに位置し、中間画像Ｓ（Ｚ）では、ちょうど補間されるべき画素の左または上に位置している同じ数の画素の重みづけ係数が、常に補間器１０１，１０２に通知され、このとき、異なる補間位相についての個々のフィルタマスクは、重みづけ係数の値や、重みづけ係数がゼロに等しくない位置で区別される。当然ながら、重みづけ係数によってゼロに等しくなく重みづけられるべき画素についての重みづけ係数だけを、補間器に供給することもできる。
【００４４】
フィールドＳ（ｎ−２），Ｓ（ｎ−１）でも位置を太字で示している、図１６に丸で囲んで図示している補間されるべき画素を起点として、アドレシングが行われ、すなわち、中間画像に先行する画像Ｓ（ｎ−２）と後続する画像におけるフィルタマスクの位置決めが行われる。
先行する画像Ｓ（ｎ−１）の太字で強調している画素についてそれぞれ補間位相に依存して算出されたフィルタ重みＷ［ｎ−２］（ｉ，ｊ）、および後続する画素Ｓ（ｎ−２）の太字で強調している画素についてのフィルタ重みＷ［ｎ−１］（ｉ，ｊ）、ならびに再帰的な割合を規定する、中間画像の太字で強調している画素ＷＺ（ｉ，ｊ）についてのフィルタ重みを基本として、重みづけされたメジアンフィルタの初期値が次式によって決定される。
【００４５】
【数５】
2004528741.tif 000007
【００４６】
このとき、補間されるべき画素（ｘ，ｙ）を起点として先行画像Ｓ（ｎ−２）および後続画像Ｓ（ｎ−１）に投影されるフィルタ位置が、正確に１つの画素位置に一致しないときは、図１６に示すように、付属の画素が双線形補間によって次式により算定される。
Ｓ（ｘ＋ｄｘ，ｙ＋ｄｙ）＝ｄｘ・ｄｙ・Ｓ（ｘ＋１，ｙ＋１）＋
（１−ｄｘ）・ｄｙ・Ｓ（ｘ，ｙ＋１）＋
ｄｘ・（１−ｄｙ）・Ｓ（ｘ＋１，ｙ）＋
（１−ｄｘ）・（１−ｄｙ）・Ｓ（ｘ，ｙ）      （１０）
プログレッシブな出力画像を生成するために、中間画像Ｓ（Ｚ）のすべての画像ライン（０，１，２，３，．．．，２Ｒ−１）が図１６および式（１５）に従って処理される。出力画像をインターレースで生成したいときは、補間されるべき中間フィールドのラスタ位置に依存して、中間画像Ｓ（Ｚ）の奇数の画像ライン（１，３，．．．，２Ｒ−１）または偶数の画像ライン（０，２，．．．，２Ｒ−２）を処理するだけでよい。
【００４７】
高域チャネルでの補間は、次に説明するやり方で行われる。
補間されるべき画素を起点として、同じく高域チャネルでも、中間画像に先行ないし後続する画像Ｓ（ｎ−２）ないしＳ（ｎ−１）でフィルタマスクのアドレシングが行われる。ただし垂直方向での解像損失を防ぐために、ベクトルが正確に１つの画素位置に一致しない場合の双線形補間は行われない。その代わりに、水平方向と垂直方向とで異なる処理が行われる。
水平方向では、図１８と次式に従って単純な線形補間が行われる。
Ｓ（ｘ＋ｄｘ，ｙ）＝ｄｘ・Ｓ（ｘ＋１，ｙ）＋
（１−ｄｘ）・Ｓ（ｘ，ｙ）          （１１）
垂直方向では、先行および後続する画像でのフィルタのアドレシング位置は、フレームラインの精度に丸められる。丸められたアドレシング位置が、フィールドに含まれていないライン上にあるときは、その上と下に位置する（場合により水平方向で補間された）画素がメジアンフィルタに供給される。しかし、丸められたアドレシング位置が、フィールドに含まれているライン上にあるときは、相応の（場合により水平方向で補間された）画素がメジアンフィルタに２度供給される。
この考えられる両方のケースを図１９に示している。本例では、中央のフィルタの重みＷ０，０による寄与だけに着目している。
中央の重みのアドレシングが点Ｓ（ｘ，２）を指示しており、すなわちフィールドに含まれているラインを指示している図１９ａに図示するケースでは、位置（ｘ，２）の輝度値がフィルタに２度供給されている。
Ｓ（ｘ，ｙ，Ｔｚ）＝Ｍｅｄ（．．．，２・Ｗ［Ｎ−２］（０，０）◇Ｓ（ｘ，２，Ｔ［Ｎ−２］），．．．）                    （１２）
【００４８】
それに対して図１９ｂに示すケースｂ）では、中央の重みのアドレシングは点Ｓ（ｘ，１．５）を指示しており、すなわち存在しない中間ラインを指示している。したがってフィルタには次式
Ｓ（ｘ，ｙ，Ｔｚ）＝Ｍｅｄ（．．．，Ｗ［Ｎ−２］（０，０）◇Ｓ（ｘ，１，Ｔ［Ｎ−２］），Ｗ［Ｎ−２］（０，０）◇Ｓ（ｘ，２，Ｔ［Ｎ−２］），．．．）        （１３）
が供給される。他のフィルタ位置でも同様の手順を踏む。奇数のフィルタ重みを維持するために、さらに以前の画像Ｓ（Ｎ−３）または以後の画像Ｓ（Ｎ）から、動き補償されていない追加の値をさらに供給することができ、その様子は図１５に示されている。この場合、両方の追加の画像のうち、その点が補間されるべきラスタ位置にあるほうの画像が用いられる。
【００４９】
図示している補間法は、当然ながら、帯域分割をせずに実行することも可能である。この場合には画像全体について、上述した低域チャネルの信号処理方式を用いるのが好ましい。
プログレッシブな入力画像フォーマットの場合には、二次元の帯域分割を行うことができ、もしくは、帯域分割を行わずに画像全体について低域チャネルの信号処理方式を用いる。
ラインのインターレースがないことによって、高域チャネルと低域チャネルで垂直方向に異なる処理が行われないので、図面に示している同一の補間図式を両方のチャネルについて適用することができる。ただし、この場合にはマスクの重みは異なっており、それぞれのチャネルの実測特性に合わせて適合化される。あらゆる帯域分割は、線形の帯域分割として設計されていても、非線形の帯域分割として設計されていてもよい。非線形の帯域分割の場合、「高域帯／高域チャネル」および「低域帯／低域チャネル」という概念は、この場合には位置周波数帯への分割が生じないので、意味に即して理解されるべきである。
【００５０】
本発明の方法は、重みづけされたベクトルを用いたメジアンフィルタを用いることに依拠するものであり、従来の方法とは異なり、その都度の補間位相および／またはその都度の局所的な画像内容ないし局所的なベクトル場特性に依存して、補間フィルタの適応的な切換をすることが意図されている。それにより、本方法をさまざまな画像率の状況に合わせて適合化することも可能である。既存の補間法と比べたときの本発明による補間法の利点は、補間される画像の数が、入力シーケンスから直接またはラスタ補間により引き継ぐことができる画像の数に比べて多い場合に、特に大きくなる。このことは、例えば５０Ｈｚから６０Ｈｚへの変換の場合や、合成によるスローモーションが具体化される場合に当てはまる。
【００５１】
付録
従来技術
［１］Ｈ．ブルーメ（Ｂｌｕｍｅ，Ｈ．）著，「誤差許容性のある非線形の中間画像補間（Ｎｉｃｈｔｌｉｎｅａｒｅ ｆｅｈｌｅｒｔｏｌｅｒａｎｔｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎ ｖｏｎ Ｚｗｉｓｃｈｅｎｂｉｌｄｅｒｎ）」，ドルトムント大学学位請求論文、ＶＤＩ技術進歩報告、ＶＤＩ出版社，１９９７年
［２］Ｈ．ブルーメ（Ｂｌｕｍｅ，Ｈ．）著，「中央加重メジアンによる非線形ベクトルベースのアップコンバージョンのための新たなアルゴリズム（Ａ ｎｅｗ Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｎｏｎｌｉｎｅａｒ Ｖｅｃｔｏｒｂａｓｅｄ Ｕｐｃｏｎｖｅｒｓｉｏｎ ｗｉｔｈ Ｃｅｎｔｅｒ Ｗｅｉｇｈｔｅｎｄ Ｍｅｄｉａｎｓ）」，ＳＰＩＥ電子画像ジャーナル（ＳＰＩＥ Ｊｏｕｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ），Ｖｏｌ．６，Ｎｏ．３，ｐ．３６８−３７８，１９９７年
［３］Ｈ．ブルーメ（Ｂｌｕｍｅ，Ｈ．）；Ｋ．ヨストシュルテ（Ｊｏｓｔｓｃｈｕｌｔｅ，Ｋ．），「ビデオ信号処理をする装置のためのフリッカ低減をする方法および回路構造（Ｖｅｒｆａｈｒｅｎ ｕｎｄ Ｓｃｈａｌｔｕｎｇｓａｎｏｒｄｎｕｎｇ ｚｕｒ Ｆｌｉｍｍｅｒｒｅｄｕｋｔｉｏｎ ｆｕｒ ｅｉｎ Ｇｅｒａｔ ｚｕｒ Ｖｉｄｅｏｓｉｇｎａｌｖｅｒａｒｂｅｉｔｕｎｇ）」，ドイツ国特許出願公開第ＤＥ１９０５７５８Ａ１号明細書，１９９６年
［４］１９９４年９月２８日付けドイツ国特許第４４１４１７３号明細書。発明の名称：「ビデオ信号処理をする装置のためのフリッカ低減をする方法および回路構造（Ｖｅｒｆａｈｒｅｎ ｕｎｄ Ｓｃｈａｌｔｕｎｇｓａｎｏｒｄｎｕｎｇ ｚｕｒ Ｆｌｉｍｍｅｒｒｅｄｕｋｔｉｏｎ ｆｕｒ ｅｉｎ Ｇｅｒａｔ ｚｕｒ Ｖｉｄｅｏｓｉｇｎａｌｖｅｒａｒｂｅｉｔｕｎｇ）」
【００５２】
［５］Ｍ．ボテック（Ｂｏｔｔｅｃｋ，Ｍ．）著「ビデオ信号の改善された再生のための多次元補間技術（Ｍｅｈｒｄｉｍｅｎｓｉｏｎａｌｅ Ｉｎｔｅｒｐｏｌａｔｉｏｎｓｔｅｃｈｎｉｋｅｎ ｆｕｒ ｅｉｎｅ ｖｅｒｂｅｓｓｅｒｔｅ Ｗｉｅｄｅｒｇａｂｅ ｖｏｎ Ｖｉｄｅｏｓｉｇｎａｌｅｎ）」，ドルトムント大学学位請求論文、シェイカー出版社（Ｓｈａｋｅｒ Ｖｅｒｌａｇ），１９９３年
［６］Ｇ．デ・ハーン（ｄｅ Ｈａａｎ，Ｇ．）；Ｐ．ビーツェン（Ｂｉｅｚｅｎ，Ｐ．）；Ｏ．オーヨ（Ｏｊｏ，Ｏ．）著「動き補償された１００Ｈｚテレビジョンのためのエボリューショナリーアーキテクチャ（Ａｎ Ｅｖｏｌｕｔｉｏｎａｒｙ Ａｒｃｈｉｔｅｃｔｕｒｅ ｆｏｒ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ １００ Ｈｚ Ｔｅｌｅｖｉｓｉｏｎ）」，ビデオテクノロジーの回路とシステムに関するＩＥＥＥトランザクションズ（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ），Ｖｏｌ．５，Ｎｏ．３，ｐ２０７−２１７，１９９５年６月
［７］Ｍ．ハーン（Ｈａｈｎ，Ｍ．）；Ｃ．ルック（Ｒｕｃｋ，Ｃ．）；Ｋ．リュムラー（Ｒｕｍｍｌｅｒ，Ｋ．）；Ｍ．タルミ（Ｔａｌｍｉ，Ｍ．）；Ｓ．ヴォルフ（Ｗｏｌｆ，Ｓ．）著「マルチメディアディスプレイ用のシングルチップビデオコンバータ’Ｈｉｃｏｎ’（Ｓｉｎｇｌｅ−Ｃｈｉｐ Ｖｉｄｏｋｏｎｖｅｒｔｅｒ ’Ｈｉｃｏｎ’ ｆｕｒ Ｍｕｌｔｉｍｅｄｉａ−Ｄｉｓｐｌａｙｓ）」，ＩＴＧ専門会議，第８回ドルトムント・テレビセミナー，ｐ２１７−２２２，１９９９年
［８］Ｊ．−Ｒ．オーム（Ｏｈｍ，Ｊ．−Ｒ．）；Ｍ．ブラウン（Ｂｒａｕｎ，Ｍ．）；Ｋ．リュムラー（Ｒｕｍｍｌｅｒ，Ｋ．）；Ｈ．ブルーメ（Ｂｌｕｍｅ，Ｈ．）；Ｍ．シュー（Ｓｃｈｕ，Ｍ．）；Ｃ．ツシェン（Ｔｕｓｃｈｅｎ，Ｃ．）著「汎用型ビデオフォーマット変換のための低コストシステム（Ｌｏｗ−Ｃｏｓｔ Ｓｙｓｔｅｍ ｆｕｒ ｕｎｉｖｅｒｓｅｌｌｅ Ｖｉｄｅｏ−Ｆｏｒｍａｔｋｏｎｖｅｒｓｉｏｎ）」，ＩＴＧ専門会議，第７回ドルトムント・テレビセミナー，ｐ２５１−２５６，１９９７年
【００５３】
［９］Ｈ．シュレーダー（Ｓｃｈｒｏｄｅｒ，Ｈ．）；Ｈ．ブルーメ（Ｂｌｕｍｅ，Ｈ．）著「多次元信号処理、第２巻：画像と画像シーケンスのアーキテクチャと応用（Ｍｅｈｒｄｉｍｅｎｓｉｏｎａｌｅ Ｓｉｇｎａｌｖｅｒａｒｂｅｉｔｕｎｇ，Ｂａｎｄ２：Ａｒｃｈｉｔｅｋｔｕｒｅｎ ｕｎｄ Ａｎｗｅｎｄｕｎｇｅｎ ｆｕｒ Ｂｉｌｄｅｒ ｕｎｄ Ｂｉｌｄｓｅｑｕｅｎｚｅｎ）」，トイブナー出版社シュツットガルト（Ｔｅｕｂｎｅｒ Ｖｅｒｌａｇ Ｓｃｈｔｕｔｔｇａｒｔ），２０００年
［１０］シュー（Ｓｃｈｕ，Ｍ．）；Ｇ．シェフラー（Ｓｃｈｅｆｆｌｅｒ，Ｇ．）；Ｃ．ツシェン（Ｔｕｓｃｈｅｎ，Ｃ．）；Ａ．シュトルツェ（Ｓｔｏｌｚｅ，Ａ．）著「動き補償スキャンレートコンバージョン、ピクチャ・イン・ピクチャ・プロセシング、スプリット・スクリーン・アプリケーションズ、ディスプレイ・プロセシングのためのシリコンＩＣシステム（Ｓｙｓｔｅｍ ｏｎ Ｓｉｌｉｃｉｏｎ−ＩＣ ｆｏｒ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｅｄ Ｓｃａｎ Ｒａｔｅ Ｃｏｎｖｅｒｓｉｏｎ， Ｐｉｃｔｕｒｅ−ｉｎ−Ｐｉｃｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｓｐｌｉｔ Ｓｃｒｅｅｎ Ａｐｐｌｉｃａｔｉｏｎｓ ａｎｄ Ｄｉｓｐｌａｙ Ｐｒｏｃｅｓｓｉｎｇ）」，消費者電子機器に関するＩＥＥＥトランザクションズ（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ），Ｖｏｌ．４５，Ｎｏ．３，ｐ８４２−８５０，１９９９年
［１１］ヘルムート・シェーンフェルダー（Ｈｅｌｍｕｔ Ｓｃｈｏｎｆｅｌｄｅｒ）著「ビデオ技術におけるデジタルフィルタ（Ｄｉｇｉｔａｌｅ Ｆｉｌｔｅｒ ｉｎ ｄｅｒ Ｖｉｄｅｏｔｈｅｃｈｎｉｋ）」，ドライ・Ｒ・フェアラーク出版社（Ｄｒｅｉ−Ｒ−ｖｅｒｌａｇ），ベルリン，１９９８年，ｐ１２５−１２７
［１２］カク・ローゼンフェルト（Ｒｏｓｅｎｆｅｌｄ，Ｋａｋ）著「デジタル画像プロセシング（Ｄｉｇｉｔａｌ Ｐｉｃｔｕｒｅ Ｐｒｏｃｅｓｓｉｎｇ）」，アカデミックプレス，Ｉｎｃ．（Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，Ｉｎｃ．），第２版，１９８２年，ｐ２６１−２６３
【図面の簡単な説明】
【図１】
従来技術に基づき、メジアンフィルタを用いて中間ラインの画素を生成する方法を示す図である。
【図２】
従来技術に基づき、低域チャネルについてのメジアンフィルタリングを用いて、５０Ｈｚ画像信号から１００Ｈｚ画像信号を生成する方法を示す図である。
【図３】
従来技術に基づき、高域チャネルについてのメジアンフィルタリングを用いて、５０Ｈｚ画像信号から１００Ｈｚ画像信号を生成する方法を示す図である。
【図４】
補間フィルタを用いて、オリジナル画像シーケンスの２つのフィールドから、中間画像を動きベクトルを用いて生成する方法を示す模式図である。
【図５】
重みづけされたメジアンフィルタを補間フィルタとして用いて、オリジナル画像シーケンスの２つのフィールドから、中間画像を動きベクトルを用いて生成する方法を示す模式図である。
【図６】
中間画像の選択されたラインを用いて、オリジナル画像シーケンスの２つのフィールドから、中間画像を動きベクトルを用いて生成する方法を示す図である。
【図７】
従来技術に基づき、文献［１，２，３］による補間法のための高域チャネルの補間法を示す図である。
【図８】
従来技術に基づき、文献［１，２，３］による補間法のためのフィルタマスクを示す図である。
【図９】
従来技術に基づき、文献［８］に記載されている方法のための補間マスクを示す図である。
【図１０】
補間された画像シーケンスの画像の時間的な位置を５０Ｈｚオリジナル画像との比較で示す図である。
【図１１】
さまざまな投影係数のときの見積誤差の影響を示す図である。
【図１２】
適応されていないフィルタの場合における、オリジナルシーケンスの第１および第２の画像のラインと、補間された中間画像のラインとを示す図である。
【図１３】
本発明に基づいて補間フィルタとして使用される適応的に重みづけされたメジアンフィルタの場合における、オリジナルシーケンスの第１および第２の画像のラインと、補間された中間画像のラインとを示す図である。
【図１４】
帯域分割をしない適応的に重みづけされたメジアンフィルタを用いて、第１のビデオ信号から第２のビデオ信号を生成するための本発明による装置である。
【図１５】
帯域分割をする適応的に重みづけされたメジアンフィルタを用いて、第１のビデオ信号から第２のビデオ信号を生成するための本発明による装置である。
【図１６】
第１のビデオ信号を高域チャネルと低域チャネルへ帯域分割した場合における、低域チャネルについての補間を示す図である。
【図１７】
第１のビデオ信号を高域チャネルと低域チャネルへ帯域分割した場合における、低域チャネルでの双線形補間を示す図である。
【図１８】
第１のビデオ信号を高域チャネルと低域チャネルへ帯域分割した場合における、高域チャネルでの水平方向の線形補間を示す図である。
【図１９】
第１のビデオ信号を高域チャネルと低域チャネルへ帯域分割した場合における、高域チャネルでの補間を示す図である。
【図２０】
プログレッシブな入力画像シーケンスの場合における、本発明に基づく補間を示す図である。
【図１】
2004528741.tif 000008
【図２】
2004528741.tif 000009
【図３】
2004528741.tif 000010
【図４】
2004528741.tif 000011
【図５】
2004528741.tif 000012
【図６】
2004528741.tif 000013
【図７】
2004528741.tif 000014
【図８】
2004528741.tif 000015
【図９】
2004528741.tif 000016
【図１０】
2004528741.tif 000017
【図１１】
2004528741.tif 000018
【図１２】
2004528741.tif 000019
【図１３】
2004528741.tif 000020
【図１４】
2004528741.tif 000021
【図１５】
2004528741.tif 000022
【図１６】
2004528741.tif 000023
【図１７】
2004528741.tif 000024
【図１８】
2004528741.tif 000025
【図１９】
2004528741.tif 000026
【図２０】
2004528741.tif 000027
【国際公開パンフレット】
2004528741.tif 000028
2004528741.tif 000029
2004528741.tif 000030
2004528741.tif 000031
2004528741.tif 000032
2004528741.tif 000033
2004528741.tif 000034
2004528741.tif 000035
2004528741.tif 000036
2004528741.tif 000037
2004528741.tif 000038
2004528741.tif 000039
2004528741.tif 000040
2004528741.tif 000041
2004528741.tif 000042
2004528741.tif 000043
2004528741.tif 000044
2004528741.tif 000045
2004528741.tif 000046
2004528741.tif 000047
2004528741.tif 000048
2004528741.tif 000049
2004528741.tif 000050
2004528741.tif 000051
2004528741.tif 000052
2004528741.tif 000053
2004528741.tif 000054
2004528741.tif 000055
2004528741.tif 000056
2004528741.tif 000057
2004528741.tif 000058
2004528741.tif 000059
2004528741.tif 000060
2004528741.tif 000061
2004528741.tif 000062
2004528741.tif 000063
2004528741.tif 000064
2004528741.tif 000065
2004528741.tif 000066
2004528741.tif 000067
2004528741.tif 000068
2004528741.tif 000069
2004528741.tif 000070
2004528741.tif 000071
2004528741.tif 000072
2004528741.tif 000073
2004528741.tif 000074
2004528741.tif 000075
2004528741.tif 000076
2004528741.tif 000077
2004528741.tif 000078
2004528741.tif 000079
2004528741.tif 000080
2004528741.tif 000081
【国際公開パンフレット（コレクトバージョン）】
2004528741.tif 000082
2004528741.tif 000083
【国際調査報告】
2004528741.tif 000084
2004528741.tif 000085
2004528741.tif 000086
2004528741.tif 000087
2004528741.tif 000088
2004528741.tif 000089