(57)【要約】ノイズ減少は消費者テレビジョンにおいて重要な特徴である。これは、空間的、時間的、即ち、空間−時間フィルタにより実現される。空間フィルタは１つの画像内からの画素を必要とし、時間フィルタは２つ以上の連続する画像からのサンプルを必要とする。本発明の空間−時間フィルタユニット（１００）は、時間的、且つ、間接的な動き補償される時間的ノイズ減少を１つのフィルタにまとめる。動き補償に対し、動きベクトルは必要でない。空間−時間フィルタユニットには、現在の画像と時間的に再帰フィルタリングされた画像である空間−時間フィルタユニットの出力の両方からの画素に働きかけるよう設計される１つのフィルタカーネル（１０７）を含むシグマフィルタ（１１２）が設けられる。空間−時間フィルタユニットの動作は、シグマフィルタの閾値と画素の選択を変えることにより調節することができる。調節は、動き推定器（２２２）、動き検出器（２２４）、及び、ノイズ推定器（２２０）によって制御できる。
2004518360.tif 000002
【特許請求の範囲】
【請求項１】
シグマフィルタが設けられ、画像におけるノイズを減少する空間−時間フィルタユニットであって、
上記シグマフィルタは、現在の画像と、時間的に再帰フィルタリングされた画像である上記空間−時間フィルタユニットの出力との両方からの画素に働きかけるよう設計される１つのフィルタカーネルを含むことを特徴とするユニット。
【請求項２】
上記現在の画像の画素を格納する空間画素バッファと、
上記空間画素バッファから画素を選択する空間画素セレクタと、
時間的に再帰フィルタリングされた画像である上記空間−時間フィルタユニットの上記出力からの画素をバッファする時間画素バッファと、
上記時間画素バッファから画素を選択する時間画素セレクタと、
上記空間画素セレクタ及び上記時間画素セレクタの両方からの画素に働きかけるよう設計される１つのフィルタカーネルを含む上記シグマフィルタとを含むことを特徴とする請求項１記載の空間−時間フィルタユニット。
【請求項３】
適応シグマフィルタを含むことを特徴とする請求項２記載の空間−時間フィルタユニット。
【請求項４】
上記時間画素セレクタ及び上記空間画素セレクタである少なくとも１つの画素セレクタにおいて、アパーチャを調節可能であることを特徴とする請求項３記載の空間−時間フィルタユニット。
【請求項５】
上記時間画素セレクタ及び上記空間画素セレクタである少なくとも１つの画素セレクタは、上記選択した画素間の距離が調節可能であるよう設計されることを特徴とする請求項４記載の空間−時間フィルタユニット。
【請求項６】
動きを検出し、検出した動きに基づいて上記時間画素セレクタの上記アパーチャを制御するよう設計される動き検出器を含むことを特徴とする請求項４記載の空間−時間フィルタユニット。
【請求項７】
動きベクトルを供給し、供給される上記動きベクトルに基づいて、上記時間画素バッファに関連する上記時間画素セレクタの位置を制御するよう設計される動き推定器を含むことを特徴とする請求項４記載の空間−時間フィルタユニット。
【請求項８】
上記現在の画像におけるノイズレベルを推定し、上記推定されるノイズレベルに基づいて、上記時間画素セレクタ及び上記空間画素セレクタである少なくとも１つの画素セレクタの上記アパーチャを制御するよう設計されるノイズ推定器を含むことを特徴とする請求項４記載の空間−時間フィルタユニット。
【請求項９】
上記現在の画像におけるノイズレベルを推定し、上記推定されたノイズレベルに基づいて、上記適応シグマフィルタの閾値を制御するよう設計されるノイズ推定器を含むことを特徴とする請求項４記載の空間−時間フィルタユニット。
【請求項１０】
画像を表す信号を受信する受信手段と、
上記画像を表示する表示装置と、
シグマフィルタが設けられ、上記画像におけるノイズを減少する空間−時間フィルタユニットとを含む画像表示装置であって、
上記シグマフィルタは、現像の画像と、時間的に再帰フィルタリングされた画像である上記空間−時間フィルタユニットの出力との両方からの画素に働きかけるよう設計される１つのフィルタカーネルを含むことを特徴とする装置。
【請求項１１】
画像を表す信号を受信する受信手段と、
上記画像を表示する表示装置と、
シグマフィルタが設けられ、上記画像におけるノイズを減少する空間−時間フィルタユニットとを含む画像表示装置であって、
現在の画像の画素を格納する空間画素バッファと、
上記空間画素バッファから画素を選択する空間画素セレクタと、
時間的に再帰フィルタリングされた画像である上記空間−時間フィルタユニットの出力からの画素をバッファする時間画素バッファと、
上記時間画素バッファから画素を選択する時間画素セレクタと、
上記空間画素セレクタ及び上記時間画素セレクタの両方からの画素に働きかけるよう設計される１つのフィルタカーネルを含む適応シグマフィルタである上記シグマフィルタとを含むことを特徴とする画像表示装置。
【発明の詳細な説明】
【０００１】
本発明は、シグマフィルタが設けられ、画像におけるノイズを減少する空間−時間フィルタユニットに関する。
【０００２】
本発明は更に、そのような空間−時間フィルタユニットを含む画像表示装置に関連する。
【０００３】
冒頭段落に説明したような種類のユニットは、Ｇ． ｄｅ Ｈａａｎ外による「Ｍｅｍｏｒｙ ｉｎｔｅｇｒａｔｅｄ ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ ｆｏｒ ｔｅｌｅｖｉｓｉｏｎ」（ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ， Ｖｏｌ． ４２， Ｎｏ． ２， Ｍａｙ １９９６， ｐｐ． １７５−１８１）から公知である。この記事では、ユニットは、２つのフィルタ、即ち、空間フィルタと時間フィルタがカスケード接続されたシステムとして説明される。空間フィルタと時間フィルタは一緒にされると効果的なノイズ減少をもたらすはずである。一般的に、空間フィルタは、１つの画像からの画素を必要とし、一方、時間フィルタは、２つ以上の連続画像からのサンプルを必要とする。
【０００４】
空間フィルタは、再帰型のシグマフィルタである。空間フィルタは、シグマ最近傍選択プロセス（ｓｉｇｍａ ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｓｅｌｅｃｔｉｏｎ ｐｒｏｃｅｓｓ）の変形に基づいている。組合せプロセスには、付加白色ガウシャンノイズに最適である加重平均が関連する。説明されるシグマフィルタの加重には３つの可能な値を有することができ、これは、ノイズレベルに適応される閾値に基づいて選択される。この記事ではノイズレベルを推定するノイズ推定器も説明される。
【０００５】
時間フィルタは、動き補償される一次の時間再帰型フィルタとして実現される。従って、この時間フィルタは、動く推定及び動く補償システムを必要とし、このユニットを高価にする。更に、動く検出手段も動きが発生する場合にフィルタリングの強度を適応するために必要である。強度が適応されなければ、画像は歪んでしまう。
【０００６】
本発明は、空間的及び間接的に動き補償された時間的ノイズ減少を１つのフィルタにまとめる、冒頭段落に説明した種類のような空間−時間フィルタユニットを提供することを第１の目的とする。動き補償に対して、動きベクトル、又は、動作の量及び方向を表現する他の手段は必要でない。
【０００７】
本発明は、そのような空間−時間フィルタユニットを含む画像表示装置を提供することを第２の目的とする。
【０００８】
本発明の第１の目的は、空間−時間フィルタユニットは、現在の画像、及び、時間的に再帰フィルタリングされた画像である空間−時間フィルタユニットの出力の両方からの画素に働きかけるよう設計される１つのフィルタカーネルを含むことにより達成される。フィルタリングは、シグマ最近傍選択に基づいている。オリジナルの画素と相関性の乏しい画素は自動的に切り捨てられ、他の画素は、その相関性に比例して出力に寄与する。フィルタリングには、水平方向、垂直方向、及び、時間方向を含む所定の３次元窓から選択された画素の加重平均が関連する。この空間−時間フィルタユニットの主な特徴は、空間及び時間フィルタリングが同一のフィルタカーネル内で行われる点である。これは、実行費用をかなり削減し、容易に最適化されるユニットをもたらす。更に、いわゆる「ダーティ・ウィンドウ」影響又はフローズン・ノイズ、「コメット・テール」等といった問題は自動的に解決される。というのは、時間フィルタは分離可能ではなくなるからである。エッジにおける又は動く対象の周りのノイズブレークスルーも、空間フィルタと時間フィルタが互いを補完するので排除される。
【０００９】
本発明の空間−時間フィルタユニットの実施例は、
−現在の画像の画素を格納する空間画素バッファと、
−空間画素バッファから画素を選択する空間画素セレクタと、
−時間的に再帰フィルタリングされた画像である空間−時間フィルタユニットの出力からの画素をバッファする時間画素バッファと、
−時間画素バッファから画素を選択する時間画素セレクタとを含み、シグマフィルタは、空間画素セレクタ及び時間画素セレクタの両方からの画素に働きかけるよう設計される１つのフィルタカーネルを含む。
【００１０】
空間画素バッファでは、２次元空間画素セレクタが決められて、空間フィルタリングを可能にするよう画素を選択する。時間的に再帰フィルタリングされた画素をシグマフィルタのフィルタカーネルに付加するために、第２の２次元時間画素セレクタが、ピクチャメモリから取られた画素で満たされる時間画素バッファ内で決められる。このようにして、１つのフィルタアパーチャ内において３次元の空間−時間フィルタリングが実現される。シグマフィルタの出力は、ピクチャメモリに格納され、後続のフィルタリングに使用される。これが、処理の時間的な再帰的な部分である。動き検出は、フィルタリングにおいて固有のものである。各画素は最初にオリジナルの画素と比較されて、各画素の出力への貢献が決定される。動きがある場所では、画素は、グレイレベルにおいて大きい差を有する。従って、その画素は自動的に切り捨てられる。更に、動き補償も固有である。これは、時間的に再帰フィルタリングされた画素を選択する時間画素セレクタと、閾値を使用する差別化平均化フィルタ（ｄｉｓｃｒｉｍｉｎａｔｉｎｇ ａｖｅｒａｇｉｎｇ ｆｉｌｔｅｒ）とにより実現される。動きがない場合、中央の入力画素に対するグレイレベルの相関性は、前の画像の中心画素の周りで高くなる。動きが発生すると、この相関性は、動きの軌道に自動的に倣う位置にシフトされる。動きが十分に低いときに時間フィルタリングが行われるが、これは、相関される画素は、時間窓、即ち、時間画素セレクタ内のどこかに見つけることができるからである。つまり、動き補償は間接的に行われるので、直接的な動き補償は必要でなくなる。
【００１１】
本発明の空間−時間フィルタユニットの実施例は、適応シグマフィルタを含む。シグマフィルタのフィルタ閾値は調節可能である。これは、フィルタリングの度合いは、空間−時間フィルタユニット又はそのような空間−時間フィルタユニットを含む画像表示装置の実施例のユーザの好みに合わせて増加したり減少したりすることができることを意味する。空間フィルタリング及び時間フィルタリングの閾値は別個に決めることができ、それにより、空間フィルタリングと時間フィルタリングに所望のバランスを達成することができる。
【００１２】
本発明の空間−時間フィルタユニットの実施例は、時間画素セレクタ及び空間画素セレクタである少なくとも１つの画素セレクタにおいて、アパーチャが調節可能であることを特徴とする。アパーチャは、フィルタリングの強度と出力の特徴を決定する。画像の交替と共の狭いアパーチャ及び大きいアパーチャの組合せは、良好な結果を与える。
【００１３】
本発明の空間−時間フィルタユニットの実施例は、時間画素セレクタ及び空間画素セレクタである少なくとも１つの画素セレクタは、選択した画素間の距離は調節可能であるよう設計されることを特徴とする。その結果、セレクタのアパーチャは、選択した画素の数を多少一定に保ちながら調節することができる。画素セレクタの費用は、その記憶容量、即ち、一度に格納できる画素の数に基づいている。本発明のこの実施例の利点は、画素を処理するための費用が比較的低い点である。
【００１４】
本発明の空間−時間フィルタユニットの実施例は、動きを検出し、検出した動きに基づいて時間画素セレクタのアパーチャを制御するよう設計される動き検出器を含む。アパーチャは、静止画像のフィルタリングの強度と、動くシーケンスの動き補償の範囲を決定する。このような実施例の利点は、間接的な動き補償が最適化される点である。動き検出器は、大域又は局所の動きを検出してもよい。アパーチャをフィールド毎に決定することができるので、一旦動きの活動の度合いが既知となると、各シーケンスに対し最適な設定を見つけることができる。検出器は、動きの方向について情報を供給する必要はない。尚、外部の動き推定器が、推定される動きについての情報を提供することも可能である。
【００１５】
本発明の空間−時間フィルタユニットの実施例は、動きベクトルを供給し、供給される動きベクトルに基づいて時間画素バッファに関連する時間画素セレクタの位置を制御するよう設計される動き推定器を含む。このような実施例の利点は、時間的な近似性が増加する点である。これは特に、対象物の速度が速いときに有益である。尚、外部の動き推定器が動きベクトルを供給することも可能である。
【００１６】
本発明の空間−時間フィルタユニットの実施例は、現在の画像におけるノイズレベルを推定し、推定されたノイズレベルに基づいて、時間画素セレクタ及び空間画素セレクタである少なくとも１つの画素セレクタのアパーチャを制御するよう設計されるノイズ推定器を含む。上述したように、フィルタリングの強度は、画素セレクタのアパーチャに関連する。比較的高く推定されるノイズレベルの場合、比較的多くのフィルタリングが可能にされる。従って、最適なノイズフィルタリングが、全てのノイズレベルにおいて達成される。尚、外部のノイズ推定器が推定されるノイズレベルを供給することも可能である。
【００１７】
本発明の空間−時間フィルタユニットの実施例は、現在の画像におけるノイズレベルを推定し、推定されるノイズレベルに基づいて適応シグマフィルタの閾値を制御するよう設計されるノイズ推定器を含む。閾値は、比較的高く推定されるノイズレベルの場合に増加され、比較的低く推定レベル場合に減少される。従って、全てのノイズレベルにおいて最適なノイズフィルタリングが達成される。
【００１８】
本発明の空間−時間フィルタユニット及び画像表示装置の上述及び他の面は、以下に説明する実施例の実施と添付図面を参照しながら、説明し明らかにする。
【００１９】
図１は、空間−時間フィルタユニット１００と空間−時間フィルタユニット１００によって使用される２つのメモリユニットとからなる実施例を概略的に示す。これらのメモリユニットは、空間−時間フィルタユニット１００を含むシステムにおける他のユニットと共に共有されてもよい。第１のメモリユニットは、ピクチャユニット１１４であり、時間的に再帰フィルタリングされた画像である空間−時間フィルタユニットの出力を格納する。第２のメモリユニットはキャッシュ１１６である。画像を表す信号は、接続１０２において、空間−時間フィルタユニット１００に入る。フィルタリングされた信号は、接続１１８において空間−時間フィルタユニット１００を出る。このフィルタリングされた信号からの画素もピクチャメモリ１１４に格納される。空間−時間フィルタユニット１００に入る画像からの画素は、空間画素バッファ１０４にバッファされる。空間画素セレクタ１０６が空間画素バッファ１０４から画素を選択し、選択した画素をシグマフィルタ１１２のフィルタカーネル１０７に供給する。ピクチャメモリ１１４からの画素は、性能の理由からキャッシュ１１６に入れられる。キャッシュ１１６からは、画素は、時間画素バッファ１０８にバッファされる。時間画素セレクタ１１０は空間画素バッファ１０８から画素を選択し、選択した画素をシグマフィルタ１１２のフィルタカーネル１０７に供給する。このようにして、フィルタカーネル１０７は空間画素セレクタ１０６と時間画素セレクタ１１０の両方からの画素に働きかける。
【００２０】
図２は、空間−時間フィルタ２００の比較的高度な実施例を概略的に示す。図２中の白いボックスは空間−時間フィルタ２００の一部である。図２中の斜線のつけられたボックスは空間−時間フィルタ２００の一部ではない。これらの斜線がつけられたボックスはメモリユニットを表す。メモリユニットは、空間−時間フィルタユニット２００を有するシステムにおける他のユニットと共に共有されてもよい。第１のメモリユニットはピクチャメモリ２１４であり、時間的に再帰フィルタリングされた画像である空間−時間フィルタユニットの出力を格納する。第２のメモリユニットはキャッシュ２１６である。画像を表す信号は、接続２０２において空間−時間フィルタユニット２００に入る。フィルタリングされた信号は、接続２１８において空間−時間フィルタユニット２００を出る。このフィルタが施された信号からの画素もピクチャメモリ２１４に格納される。空間−時間フィルタユニット２００に入る画像からの画素は、空間画素バッファ２０４にバッファされる。空間画素セレクタ２０６は、空間画素バッファ２０４から画素を選択し、選択した画素をシグマフィルタ２１２のフィルタカーネル２０７に供給する。ピクチャメモリ２１４からの画素は、性能の理由からキャッシュ２１６に入れられる。キャッシュ２１６からの画素は、時間画素バッファ２０８にバッファされる。時間画素セレクタ２１０は、時間画素バッファ２０８から画素を選択し、選択した画素をシグマフィルタ２１２のフィルタカーネル２０７に供給する。このようにして、フィルタカーネル２０７は、空間画素セレクタ２０６及び時間画素セレクタ２１０の両方からの画素に働きかける。空間−時間フィルタ２００は、動きを検出し、検出した動きに基づいて時間画素セレクタ２０８のアパーチャを制御するよう設計される動き検出器２２４を含む。空間−時間フィルタ２００は、動きベクトルを供給し、供給される動きベクトルに基づいて時間画素バッファ２０８に関連して時間画素セレクタ２１０の位置を制御するよう設計される動き推定器２２２を含む。空間−時間フィルタ２００は、現在の画像におけるノイズレベルを推定し、推定されたノイズレベルに基づいて時間画素セレクタ２１０及び空間画素セレクタ２０６である少なくとも１つの画素セレクタのアパーチャを制御するノイズ推定器２２０を含む。ノイズ推定器２２０は上述以外に、推定されたノイズレベルに基づいて適応シグマフィルタ２１２の閾値を制御する。
【００２１】
図３は、本発明の画像表示措置３００の構成要素を示す。画像表示装置３００は、表示されるべき画像を表すビデオ信号を受信する受信手段３０２を有する。ビデオ信号は、アンテナ又はケーブルを介して受信した放送信号であっても、ＶＣＲ（ビデオ・カセット・レコーダ）又はＤＶＤ（デジタル・バーサトル・ディスク）といった記録装置からの信号であってよい。画像表示装置３００は更に、ビデオ信号をフィルタリングする空間−時間フィルタユニット３０４と、フィルタリングされたビデオ信号によって表される画像を表示する表示装置３０６を有する。空間−時間フィルタユニット３０４は、図１又は図２に説明したように実施される。
【００２２】
尚、上述の実施例は、本発明を説明するものであって制限するものではなく、当業者は特許請求の範囲から逸脱することなく代替の実施例を設計することが可能である。特許請求の範囲において、括弧内の参照符号はその請求項を制限するものではない。「含む」という用語は、請求項に列挙する構成要素又は段階以外の構成要素又は段階の存在を排除するものではない。単数で示される構成要素は、そのような要素が複数存在することを排除するものではない。本発明は、幾つかの別個の構成要素を含むハードウェア、及び、好適にプログラムされるコンピュータによって実施可能である。幾つかの手段を列挙する装置の請求項において、これらの手段のうち幾つかは、１つのハードウェアアイテムとして具現化することができる。
【図面の簡単な説明】
【図１】
空間−時間フィルタユニットの実施例を示す略図である。
【図２】
ノイズ推定器、動き推定器、及び、動き検出器を含む空間−時間フィルタユニットの実施例を示す略図である。
【図３】
画像表示装置の構成要素を示す図である。
【国際公開パンフレット】
2004518360.tif 000003
2004518360.tif 000004
2004518360.tif 000005
2004518360.tif 000006
2004518360.tif 000007
2004518360.tif 000008
2004518360.tif 000009
2004518360.tif 000010
2004518360.tif 000011
2004518360.tif 000012
2004518360.tif 000013
2004518360.tif 000014
2004518360.tif 000015
【国際調査報告】
2004518360.tif 000016
2004518360.tif 000017
2004518360.tif 000018