(57)【要約】【課題】格納済み画素Ｓ（ｘ，ｙ）の第１のイメージを格納するためのメモリ１４を含む、ビデオ・イメージ用の再帰的フィルタ・システム１０を提供すること。【解決手段】格納済み画素Ｓ（ｘ，ｙ）の輝度及びクロミナンスの重み付き値Ｗ（ｘ，ｙ）は、画素及び隣接画素の輝度及びクロミナンスの重み付き値Ｂ（ｘ，ｙ）．Ｓ（ｘ，ｙ）を合計することによって得られる。第１の割合パラメータＡ（ｘ，ｙ）は、格納済み画素及び周囲の画素の輝度とクロミナンスとの差のモジュール合計に基づいて、格納済み画素に関して生成される。第１の割合パラメータＡ（ｘ，ｙ）は、格納済み画素Ｓ（ｘ，ｙ）の割合及び重み付き値Ｗ（ｘ，ｙ）の相補的割合から重み付き画素Ｍ（ｘ，ｙ）を生成するために使用される。【選択図】図１
2007325253.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・イメージ用の再帰的フィルタ・システムであって、
ａ．格納済み画素Ｓ（ｘ，ｙ）の第１のイメージを格納するように配置構成された格納手段と、
ｂ．画素及び隣接画素の輝度及びクロミナンスの重み付き値Ｂ（ｘ，ｙ）．Ｓ（ｘ，ｙ）を合計することによって、格納済み画素Ｓ（ｘ，ｙ）の輝度及びクロミナンスの重み付き値Ｗ（ｘ，ｙ）を生成するように配置構成された重み付け手段と、
ｃ．前記格納済み画素及び周囲の画素の輝度とクロミナンスとの差のモジュール合計に基づいて、前記格納済み画素に関する第１の割合パラメータＡ（ｘ，ｙ）を生成するように配置構成された生成手段と、
ｄ．前記格納済み画素Ｓ（ｘ，ｙ）の割合Ａ（ｘ，ｙ）及び前記重み付き値Ｗ（ｘ，ｙ）の相補的割合１−Ａ（ｘ，ｙ）から重み付き画素Ｍ（ｘ，ｙ）を生成するために、前記第１の割合パラメータＡ（ｘ，ｙ）を使用するように配置構成された第１の組み合わせ手段と、
ｅ．次のイメージ及び第２の割合パラメータＫの画素を入力するように配置構成された入力手段と、
ｆ．前記次のイメージの各入力画素Ｃ（ｘ，ｙ）の割合Ｋと前記第１のイメージの重み付き格納済み画素Ｍ（ｘ，ｙ）の相補的割合１−Ｋとを組み合わせることによって、フィルタリング済みイメージＲ（ｘ，ｙ）を生成するため、及び前記フィルタリング済みイメージを格納手段に格納するために、前記第２の割合パラメータＫを使用するように配置構成された第２の組み合わせ手段と、
を備える再帰的フィルタ・システム。
【請求項２】
請求項１に記載の再帰的フィルタ・システムであって、前記重み付け手段は、重み付け値のアレイを使用して隣接する画素を重み付けするように配置構成される、再帰的フィルタ・システム。
【請求項３】
請求項１又は２に記載の再帰的フィルタ・システムであって、前記生成手段は、前記画素及び周囲の画素のクロミナンスと輝度との絶対差の合計を計算するための手段を備える、再帰的フィルタ・システム。
【請求項４】
請求項１又は２に記載の再帰的フィルタ・システムであって、前記生成手段は、前記画素及び周囲の画素のクロミナンスと輝度との差の２乗の合計を計算するための手段を備える、再帰的フィルタ・システム。
【請求項５】
請求項４に記載の再帰的フィルタ・システムであって、前記生成手段は、前記画素及び周囲の画素のクロミナンスと輝度との差の２乗の合計の正の平方根を計算するための手段を備える、再帰的フィルタ・システム。
【請求項６】
請求項１から５の何れか一項に記載の再帰的フィルタ・システムであって、前記生成手段は、前記格納済み画素及び周囲の画素の輝度とクロミナンスとの差のモジュール合計と、前記格納済み画素の輝度及びクロミナンスとを、それぞれ掛け合わせるための乗算手段を備える、再帰的フィルタ・システム。
【請求項７】
請求項１から６の何れか一項に記載の再帰的フィルタ・システムであって、前記生成手段は、前記割合パラメータＡ（ｘ，ｙ）の正規化された値を生成するためのスカラ手段を備える、再帰的フィルタ・システム。
【請求項８】
請求項１から７の何れか一項に記載の再帰的フィルタ・システムであって、
プログラム可能空間低域通過フィルタ手段と、
検出されたノイズに比例して前記入力イメージがフィルタリングされるように前記低域通過フィルタ手段を制御するために、前記入力イメージ内の空間ノイズを推定するための手段と、
を更に備える再帰的フィルタ・システム。
【請求項９】
請求項８に記載の再帰的フィルタ・システムであって、空間ノイズを推定するための前記手段からの出力は、処理中のイメージのある領域内で検出される細密度に応じて調整することができる、再帰的フィルタ・システム。
【請求項１０】
請求項８又は９に記載の再帰的フィルタ・システムであって、
前記組み合わせ手段に適用される割合係数が、処理中の画素の近傍での前記ノイズと動きの程度との関数であるように、処理中のイメージのある区域内での動きの程度を示す係数Ｋによって制御可能な論理ブロックを、
更に備える再帰的フィルタ・システム。
【請求項１１】
ビデオ・イメージの再帰的フィルタリングにおいてノイズ減衰を機能強化する方法であって、
ａ．格納済み画素Ｓ（ｘ，ｙ）を含むために第１のイメージを格納するステップと、
ｂ．前記画素及び隣接画素の輝度及びクロミナンスの重み付き値Ｂ（ｘ，ｙ）．Ｓ（ｘ，ｙ）を合計することによって、格納済み画素の輝度及びクロミナンスの重み付き値Ｗ（ｘ，ｙ）を生成するステップと、
ｃ．前記格納済み画素及び周囲の画素の輝度とクロミナンスとの差の合計に基づいて、前記格納済み画素に関する第１の割合パラメータＡ（ｘ，ｙ）を生成するステップと、
ｄ．前記格納済み画素Ｓ（ｘ，ｙ）の割合Ａ（ｘ，ｙ）及び前記重み付き値Ｗ（ｘ，ｙ）の相補的割合１−Ａ（ｘ，ｙ）から重み付き画素Ｍ（ｘ，ｙ）を生成するために、前記第１の割合パラメータＡ（ｘ，ｙ）を使用するステップと、
ｅ．次のイメージ及び第２の割合パラメータＫの画素Ｃ（ｘ，ｙ）を入力するステップと、
ｆ．前記次のイメージの各入力画素Ｃ（ｘ，ｙ）の割合Ｋと前記第１のイメージの重み付き格納済み画素Ｍ（ｘ，ｙ）の相補的割合１−Ｋとを組み合わせることによって、フィルタリング済みイメージを生成するために、前記第２の割合パラメータＫを使用するステップと、
ｇ．続くイメージとの対応する組み合わせのために前記フィルタリング済みイメージを格納するステップと、
を含む方法。
【請求項１２】
請求項１１に記載の方法であって、前記重み付き値を生成するステップは、隣接する画素を重み付けするために重み付け値のアレイを使用するステップを含む、方法。
【請求項１３】
請求項１１又は１２に記載の方法であって、前記重み付き値を生成するステップは、前記画素及び周囲の画素のクロミナンスと輝度との絶対差の合計を計算するステップを含む、方法。
【請求項１４】
請求項１１又は１２に記載の方法であって、前記重み付き値を生成するステップは、前記画素及び周囲の画素のクロミナンスと輝度との差の２乗の合計を計算するステップを含む、方法。
【請求項１５】
請求項１４に記載の方法であって、前記重み付き値を生成するステップは、前記画素及び周囲の画素のクロミナンスと輝度との差の２乗の合計の正の平方根を計算するステップを含む、方法。
【請求項１６】
請求項１１から１５のうちの何れか一項に記載の方法であって、前記重み付き値を生成するステップは、前記格納済み画素及び周囲の画素の輝度とクロミナンスとの差のモジュール合計と、前記格納済み画素の前記輝度及びクロミナンスとを、それぞれ掛け合わせるステップを含む、方法。
【請求項１７】
請求項１１から１６のうちの何れか一項に記載の方法であって、前記重み付き値を生成するステップは、前記割合パラメータＡ（ｘ，ｙ）の正規化された値を生成するステップを含む、方法。
【請求項１８】
請求項１１から１７のうちの何れか一項に記載の方法であって、
前記入力イメージが検出されたノイズに比例してフィルタリングされるように前記低域通過フィルタ手段を制御するために、前記入力イメージ内の空間ノイズを推定するための手段を使用する、プログラム可能空間低域通過フィルタ手段を使用して、前記入力イメージをフィルタリングするステップを、
更に含む方法。
【請求項１９】
請求項１８に記載の方法であって、前記空間ノイズを推定するための手段からの出力は、処理中のイメージのある領域内で検出される細密度に応じて調整することができる、方法。
【請求項２０】
請求項１８又は１９に記載の方法であって、
前記組み合わせ手段に適用される割合係数が、処理中の画素の近傍でのノイズと動きの程度との関数であるように、処理中のイメージのある区域内での動きの程度を示す係数Ｋによって制御可能な論理ブロックを使用するステップを、
更に含む方法。
【請求項２１】
プログラムが１つ又は複数のコンピュータ上で実行されている場合に、請求項１１から２０のうちの何れか一項に記載の方法のすべてのステップを実行するためのコード手段を備える、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号に関する再帰的フィルタ・システムに関し、具体的に言えば、再帰的フィルタリングにおいてノイズ減衰を機能強化するための局所的拡散に関する。
【背景技術】
【０００２】
例えば、Ｎ．Ｅ．Ｔａｎｔｏｎ等によるＢＢＣ  Ｒｅｓｅａｒｃｈ  Ｄｅｐａｒｔｍｅｎｔ  Ｒｅｐｏｒｔ「Ｖｉｄｅｏ  ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ」、ＢＢＣ  ＲＤ  １９８４／７、１９８４年７月から、一連のテレビジョン・イメージ、又は、例えば走査済みフィルム等の何らかの他の種類の電子的に生成されたイメージにおける、ランダム・ノイズが、以下で「ｐｅｌ」と略記される各画素上で動作する再帰的時間フィルタを適用することによって、削減可能であることが知られている。イメージを表示する前にノイズ・レベルを低下させることは有利であるが、特に、限定されることはないが、ＭＰＥＧ規格によって定義された圧縮システム等の、ノイズの存在に敏感なプロセスの前でも有利である。実際に、ノイズ制御は、これらの規格の現在の圧縮ハードウェア及びソフトウェア実現に固有の、事前処理要素で使用される幾つかの重要かつ有益な技法の１つである。
【０００３】
イメージ内のｉで指標付けされた各ｐｅｌについて、再帰的フィルタの出力Ｒ（ｉ）は、現在のイメージＣ（ｉ）及び前の結果として出力されたイメージＳ（ｉ）の相補的割合の合計であり、出力Ｒ（ｉ）におけるＣ（ｉ）及びＳ（ｉ）の割合は、小数パラメータＫによって制御される。この表記法が接尾辞「ｆ」によってフレームを示すように拡張される場合、条件Ｓｆ（ｉ）＝Ｒｆ−１（ｉ）が、第１次再帰的時間フィルタ演算を保証することが明らかである。
【０００４】
従って、結果Ｒ（ｉ）中の各ｐｅｌは、以下のように表される。
Ｒｆ（ｉ）＝Ｋ．Ｃｆ（ｉ）＋（１−Ｋ）．Ｓｆ−１（ｉ）
０≦Ｋ≦１
数式１：再帰的ノイズ削減計算。
【０００５】
上式では、以下の通りである。
Ｃｆ（ｉ）は、演算中の現在の入力イメージであり、ｉは、そのイメージの個々のｐｅｌを指す指標であり、ｆは、一連のフレーム又は完全なイメージを指す指標である。
【０００６】
Ｓｆ（ｉ）は、前のイメージ上でのフィルタ演算の結果Ｒｆ−１（ｉ）に等しい格納済みアレイであり、ｉは、そのイメージの個々のｐｅｌを指す指標である。
Ｒ（ｉ）は、演算後、シーケンス内の次のイメージ上で演算が実行される前にＳ（ｉ）にコピーされる、結果として生じるｐｅｌフィールドであり、ｉは、そのイメージの個々のｐｅｌを示す指標である。
【０００７】
フィルタ計算では、Ｒ（ｉ）、Ｃ（ｉ）、及びＳ（ｉ）それぞれの指標ｉが同じであるため、ｐｅｌは、それぞれのイメージ内で空間的に同一の場所に配置されることが予想される。各イメージ内のｐｅｌの指標ｉは、複数次元で定義することが可能であり、通常、一般に使用されるテレビジョン・イメージのラスタ走査に対応して２次元を使用すると便利である。従って、Ｒｆ（ｉ）はＲｆ（ｘ，ｙ）となる。指標ｆはフレーム又は時間次元に対応する。
【０００８】
Ｋは、現在の結果Ｒ（ｘ，ｙ）を作成するために使用される、現在のイメージＣ（ｘ，ｙ）対前のイメージＳ（ｘ，ｙ）の割合を制御する、小数パラメータである。従来技術では、パラメータＫは時間と共に頻繁に変化することはなく、通常、完全なイメージにつき１回、極端な場合には、１つの値に無期限に固定される場合がある。直接の手動制御の下で動作する場合もある。経験により、これは幾つかのイメージ材料にとって満足のいくものではないことがわかる。
【０００９】
Ｋの値は、フィルタリングの程度（従ってノイズ減衰）を制御するために使用され、その減衰はＫが０に近づくにつれて増加する。Ｋ＝０の値では、着信するイメージＣの伝送がないため、出力はＳでフリーズされる。これは、動きがないことからノイズ削減のための最適なフィルタリングを可能にする、静止イメージを処理するための理想的な設定である。しかしながら動きがある場合、Ｋ＝０の設定は一般に、決して理想的ではない。Ｋ＝１の場合、フィルタリングは全く行われず、出力と入力は全く等しく、ノイズ削減は達成されない。
【００１０】
この技法には幾つかの制限がある。連続するイメージ内でキャプチャされた動く物体は、それらそれぞれのｐｅｌのイメージ中の位置、即ちそれらの指標（ｘ，ｙ）を変化させる。たとえカメラの移動がない場合であっても、動きは、イメージ中の認識可能な物体の、位置、即ち側方運動、又は姿勢、即ち回転運動の変化をもたらす。物体の位置の変化は、パン又はチルト、或いはその両方などのカメラの移動によっても発生し、物体の位置及びスケールの変化は、ズーム、即ちカメラ・レンズの焦点長さにおける変化によっても発生する。これら全ての場合に、前述のフィルタは、もはや指標（ｘ，ｙ）がこうした移動物体の同じ部分に対応していない連続するイメージ中のｐｅｌをまとめて追加することになり、従って動きはノイズと混同され、フィルタは、動きによって発生する連続イメージ間の差異の値を、あたかもノイズであるかのように減少させることになる。結果として、表示されるイメージは、小さな動きについてはぼやける傾向があり、大きな動きについてはいかなる移動物体についてもゴーストを作成する傾向があり、イメージはアーティファクトによって大幅に損なわれる。小さな動きとノイズとを区別することが困難な可能性があることからわかるように、この問題の本質はノイズと動きとを確実に区別できないことである。
【００１１】
望ましくないアーティファクトを減らすために、処理中のｐｅｌ  Ｃ（ｘ，ｙ）及び周囲のｐｅｌから導出される情報から、Ｋの値をｐｅｌごと、即ちＫ（ｘ，ｙ）ごとに定義することができる。Ｋ（ｘ，ｙ）の値は、同一の場所に配置されたｐｅｌ間の時間差から導出可能であるが、この局所的な差は、イメージ中の求められている動きとノイズとの両方の関数であるため、これによってアーティファクトが生成される。ノイズと動きとを区別するためには、動き及びノイズの異なる統計上の特性の測定と、それに続く活用とが必要である。
【００１２】
【非特許文献１】Ｎ．Ｅ．Ｔａｎｔｏｎ等によるＢＢＣ  Ｒｅｓｅａｒｃｈ  Ｄｅｐａｒｔｍｅｎｔ  Ｒｅｐｏｒｔ「Ｖｉｄｅｏ  ｎｏｉｓｅ  ｒｅｄｕｃｔｉｏｎ」、ＢＢＣ  ＲＤ  １９８４／７、１９８４年７月
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、少なくとも前述の従来技術における欠点を改善することである。
本発明の他の目的は、動きとノイズとのこうした区別が改善される可能性のある手段を提供することである。
【００１４】
本発明の他の目的は、ノイズを減少させるためであるが、望ましくないアーティファクトも抑制するために、Ｋの値をｐｅｌごとに適切に変化させることが可能であり、その結果、ＫがＫ（ｘ，ｙ）となる手段について、説明することである。
【課題を解決するための手段】
【００１５】
本発明の第１の態様によれば、格納済み画素Ｓ（ｘ，ｙ）の第１のイメージを格納するように配置構成された格納手段と、画素及び隣接画素の輝度及びクロミナンスの重み付き値Ｂ（ｘ，ｙ）．Ｓ（ｘ，ｙ）を合計することによって、格納済み画素Ｓ（ｘ，ｙ）の輝度及びクロミナンスの重み付き値Ｗ（ｘ，ｙ）を生成するように配置構成された重み付け手段と、格納済み画素及び周囲の画素の輝度とクロミナンスとの差のモジュール合計に基づいて、格納済み画素に関する第１の割合パラメータＡ（ｘ，ｙ）を生成するように配置構成された生成手段と、格納済み画素Ｓ（ｘ，ｙ）の割合Ａ（ｘ，ｙ）及び重み付き値Ｗ（ｘ，ｙ）の相補的割合１−Ａ（ｘ，ｙ）から重み付き画素Ｍ（ｘ，ｙ）を生成するために、第１の割合パラメータＡ（ｘ，ｙ）を使用するように配置構成された第１の組み合わせ手段と、次のイメージ及び第２の割合パラメータＫの画素を入力するように配置構成された入力手段と、次のイメージの各入力画素Ｃ（ｘ，ｙ）の割合Ｋと第１のイメージの重み付き格納済み画素Ｍ（ｘ，ｙ）の相補的割合１−Ｋとを組み合わせることによって、フィルタリング済みイメージＲ（ｘ，ｙ）を生成するため、及びフィルタリング済みイメージを格納手段に格納するために、第２の割合パラメータＫを使用するように配置構成された第２の組み合わせ手段と、を備える、ビデオ・イメージ用の再帰的フィルタ・システムが提供される。
【００１６】
好ましくは、重み付け手段は、重み付け値のアレイを使用して隣接する画素を重み付けするように配置構成される。
好都合なことには、生成手段は、画素及び周囲の画素のクロミナンスと輝度との絶対差の合計を計算するための手段を備える。
【００１７】
オプションで、生成手段は、画素及び周囲の画素のクロミナンスと輝度との差の２乗の合計を計算するための手段を備える。
オプションで、生成手段は、画素及び周囲の画素のクロミナンスと輝度との差の２乗の合計の正の平方根を計算するための手段を備える。
【００１８】
好都合なことには、生成手段は、格納済み画素及び周囲の画素の輝度とクロミナンスとの差のモジュール合計と、格納済み画素の輝度及びクロミナンスとを、それぞれ掛け合わせるための乗算手段を備える。
【００１９】
好ましくは、生成手段は、割合パラメータＡ（ｘ，ｙ）の正規化された値を生成するためのスカラ手段を備える。
有利なことには、再帰的フィルタ・システムは、プログラム可能空間低域通過フィルタ手段と、入力イメージが検出されたノイズに比例してフィルタリングされるように低域通過フィルタ手段を制御するために、入力イメージ内の空間ノイズを推定するための手段とを、更に備える。
【００２０】
有利なことには、空間ノイズを推定するための手段からの出力は、処理中のイメージのある領域内で検出される細密度に応じて調整することができる。
好都合なことには、再帰的フィルタ・システムは、組み合わせ手段に適用される割合係数が、処理中の画素の近傍でのノイズと動きの程度との関数であるように、処理中のイメージのある区域内での動きの程度を示す係数Ｋによって制御可能な論理ブロックを、更に備える。
【００２１】
本発明の第２の態様によれば、格納済み画素Ｓ（ｘ，ｙ）を含むために第１のイメージを格納するステップと、画素及び隣接画素の輝度及びクロミナンスの重み付き値Ｂ（ｘ，ｙ）．Ｓ（ｘ，ｙ）を合計することによって、格納済み画素の輝度及びクロミナンスの重み付き値Ｗ（ｘ，ｙ）を生成するステップと、格納済み画素及び周囲の画素の輝度とクロミナンスとの差の合計に基づいて、格納済み画素に関する第１の割合パラメータＡ（ｘ，ｙ）を生成するステップと、格納済み画素Ｓ（ｘ，ｙ）の割合Ａ（ｘ，ｙ）及び重み付き値Ｗ（ｘ，ｙ）の相補的割合１−Ａ（ｘ，ｙ）から重み付き画素Ｍ（ｘ，ｙ）を生成するために、第１の割合パラメータＡ（ｘ，ｙ）を使用するステップと、次のイメージ及び第２の割合パラメータＫの画素Ｃ（ｘ，ｙ）を入力するステップと、次のイメージの各入力画素Ｃ（ｘ，ｙ）の割合Ｋと第１のイメージの重み付き格納済み画素Ｍ（ｘ，ｙ）の相補的割合１−Ｋとを組み合わせることによって、フィルタリング済みイメージを生成するために、第２の割合パラメータＫを使用するステップと、続くイメージとの対応する組み合わせのためにフィルタリング済みイメージを格納するステップと、を含む、ビデオ・イメージの再帰的フィルタリングにおいてノイズ減衰を機能強化する方法が提供される。
【００２２】
好ましくは、重み付き値を生成するステップは、隣接する画素を重み付けするために重み付け値のアレイを使用するステップを含む。
好都合なことには、重み付き値を生成するステップは、画素及び周囲の画素のクロミナンスと輝度との絶対差の合計を計算するステップを含む。
【００２３】
オプションで、重み付き値を生成するステップは、画素及び周囲の画素のクロミナンスと輝度との差の２乗の合計を計算するステップを含む。
オプションで、重み付き値を生成するステップは、画素及び周囲の画素のクロミナンスと輝度との差の２乗の合計の正の平方根を計算するステップを含む。
【００２４】
好ましくは、重み付き値を生成するステップは、格納済み画素及び周囲の画素の輝度とクロミナンスとの差のモジュール合計と、格納済み画素の輝度及びクロミナンスとを、それぞれ掛け合わせるステップを含む。
【００２５】
好ましくは、重み付き値を生成するステップは、割合パラメータＡ（ｘ，ｙ）の正規化された値を生成するステップを含む。
有利なことには、この方法は、入力イメージが検出されたノイズに比例してフィルタリングされるように低域通過フィルタ手段を制御するために、入力イメージ内の空間ノイズを推定するための手段を使用する、プログラム可能空間低域通過フィルタ手段を使用して、入力イメージをフィルタリングするステップを更に含む。
【００２６】
好都合なことには、空間ノイズを推定するための手段からの出力は、処理中のイメージのある領域内で検出される細密度に応じて調整することができる。
有利なことには、この方法は、組み合わせ手段に適用される割合係数が、処理中の画素の近傍でのノイズと動きの程度との関数であるように、処理中のイメージのある区域内での動きの程度を示す係数Ｋによって制御可能な論理ブロックを使用するステップを更に含む。
【００２７】
本発明の第３の態様によれば、プログラムが１つ又は複数のコンピュータ上で実行されている場合に、前述の方法のすべてのステップを実行するためのコード手段を備える、コンピュータ・プログラムが提供される。
【００２８】
次に、例として添付の図面を参照しながら、本発明について説明する。
図面内で、同じ参照番号は同じ部分を示す。
【発明を実施するための最良の形態】
【００２９】
既知の従来技術を単純に適用すると、結果として必要以上のノイズを含む数式１からのｐｅｌフィールドＲｆ（ｘ，ｙ）が生じ、知覚された動きに誤って順応することにより、アセテート・フィルムなどの物理媒体から転写されたイメージ内で遭遇するような、大きなノイズ信号から生じる大きな誤差を含む可能性がある。
【００３０】
本発明の説明を支援するために、前述の数式１は以下のように書き直される
Ｒｆ（ｘ，ｙ）＝Ｋ．Ｃｆ（ｘ，ｙ）＋（１−Ｋ）．Ｍｆ−１（ｘ，ｙ）
０≦Ｋ≦１
数式２：修正された再帰的ノイズ削減計算。
【００３１】
上式で、Ｍｆ−１（ｘ，ｙ）は前のフレーム用に計算されたＲｆ（ｘ，ｙ）の値であり、ｐｅｌフィールド内への指標は、以下の式で得られる重み付き平均Ｗｆ（ｘ，ｙ）及びＭｆ（ｘ，ｙ）の導出過程を明白にするために、２次元で表される
Ｍｆ（ｘ，ｙ）＝Ａ．Ｓｆ（ｘ，ｙ）＋（１−Ａ）．Ｗｆ（ｘ，ｙ）
０≦Ａ≦１
数式３：履歴値Ｍの算出。
【００３２】
数式１に示されるように、格納済みイメージから単一の空間的に対応するｐｅｌ  Ｓｆ（ｘ，ｙ）のみを使用する代わりに、周囲のｐｅｌの重み付き平均Ｗｆ（ｘ，ｙ）が形成され、現在のイメージと格納された結果との間での局所的アクティビティに基づいて、これら２つの値から、Ｍｆ（ｘ，ｙ）に対する値が線形に生成される。この線形関係は、パラメータＡを介して制御され、Ａはイメージの局所アクティビティから導出されるものであって、パラメータＡは、ノイズ・フィルタリング・プロセスを最も効果的にする際に支援可能なマスキングなどの、サイコビジュアルな要因を補償する手段としても使用可能である。こうしたサイコビジュアル・マスク、この場合は、局所のコントラスト測定の使用を適用する手段が、欧州特許第０９８６２６４号及び米国特許第６７０１０１９号に記載されている。
【００３３】
単一のｐｅｌ値の代わりに局所重み付き平均を使用する原理は、格納済みピクチャｐｅｌ  Ｓｆ（ｘ，ｙ）と入力ピクチャｐｅｌ  Ｃｆ（ｘ，ｙ）との両方に適用することができる。本発明の後者の要素について、以下で更に詳細に説明する。各ｐｅｌに対して独立に算出されるパラメータＡ（ｘ，ｙ）の値が、数式４ａ〜４ｃに示されており、以下のように算出されるが、ここで、数式４ａ及び４ｂそれぞれの１行目は、格納済みピクチャ内の、目下注目のＳｆ（ｘ，ｙ）のｐｅｌ周囲のｐｅｌアレイにわたる平均を形成する。当業者であれば、輝度及びクロミナンスが同様の様式で別々に扱われること、並びに、それぞれが全体の効果に対して果たす寄与のバランスが、それぞれが指標付けされ、ｐｅｌごとに変化する可能性のある、パラメータＺ（ｘ，ｙ）及びＹ（ｘ，ｙ）を介して制御されることを理解されよう。
【００３４】
【数１】
2007325253.tif 000003
【００３５】
数式４ａ：絶対差合計ＳＡＤとしての輝度乗数値Ａｌｕｍａの導出。
【００３６】
【数２】
2007325253.tif 000004
【００３７】
数式４ｂ：絶対差合計ＳＡＤとしてのクロミナンス乗数値Ａｃｈｒｏｍａの導出。
ＡＴｏｔａｌ（ｘ，ｙ）＝Ａｌｕｍａ（ｘ，ｙ）＋Ａｃｈｒｏｍａ（ｘ，ｙ）
数式４ｃ：Ａｌｕｍａ及びＡｃｈｒｏｍａの合計としての乗数値ＡＴｏｔａｌの導出。
【００３８】
数式４ｃでは、ＡＴｏｔａｌ（ｘ，ｙ）の値は、ＡｌｕｍａをＡｃｈｒｏｍａに加えることによって算出され、平均又は最大値又は２乗の合計など、他の組み合わせ手段を適宜使用することができる。
【００３９】
当業者であれば、Ａｃｈｒｏｍａは赤及び青の差分値の複合であること、並びに、ビデオ・ストリーム内の空間的に対応する情報から算出されるべきであることを理解されよう。
【００４０】
数式４ａ〜４ｃで、常に正である、Ａｌｕｍａ（ｘ，ｙ）とＡｃｈｒｏｍａ（ｘ，ｙ）とＡＴｏｔａｌ（ｘ，ｙ）の値は、この例では、指標ポイント（ｘ，ｙ）近くの平均レベルと、そのポイント周囲のｐｅｌ値Ｓｆ（ｘ，ｙ）との差の、絶対値から算出される。輝度信号のみが与えられる、以下の数式５に示されるような差の２乗の合計であって、クロミナンス及び合計値Ａはそれぞれ数式４ｂ及び４ｃのように算出されることがわかっている、差の２乗の合計、
【００４１】
【数３】
2007325253.tif 000005
【００４２】
数式５：ｐｅｌ差の２乗の合計の輝度平均の計算
或いは、
再度輝度のみが与えられる、以下の数式６に示されるようなこれらの同じ２乗の平均の正根であって、クロミナンスは同様に計算され、合計値Ａは数式４ｃのように算出されることがわかっている、これらの同じ２乗の平均の正根、
【００４３】
【数４】
2007325253.tif 000006
【００４４】
数式６：ｐｅｌ差の２乗の合計の平均の平方根の計算
などの、他の正の値の式も使用可能である。
Ｓｆ（ｘ，ｙ）の重み付き値の計算は、数式７及び表１に従って実行され、ここでは輝度計算のみが与えられ、クロミナンスの値ＡＣ（ｘ，ｙ）は同様の式及び表を使用して計算され、ＡＴｏｔａｌ（ｘ，ｙ）の値は数式４ｃ内と同様の式又はその等価物に従って計算されることがわかっている。
【００４５】
【数５】
2007325253.tif 000007
【００４６】
数式７：重み付き平均値Ｗの計算。
ここで、Ｂｌｕｍａ（ｍ，ｎ）の例示的値セットは、表１に定義される。
【００４７】
【表１】
2007325253.tif 000008
【００４８】
図１は、本発明に従った再帰的フィルタ・システム１０の実施を示す概略図であり、別々の輝度処理パス及びクロミナンス処理パスが組み合わせられると想定される。
図１を参照すると、本発明に従った再帰的フィルタ・システム１０では、第１の乗算器１２１は、ソース・イメージＣに関する第１の入力１１と、小数パラメータＫに関する第２の入力１６とを有する。第１の乗算器１２１の出力は、加算器１２３の第１の入力に接続される。小数パラメータＫは、相補的割合１−Ｋを計算するためにブロック１６１にも入力され、ブロック１６１の出力は、第１の乗算器１２１とは並列の第２の乗算器１２２の第１の入力に接続される。第２の乗算器１２２の出力は、加算器１２３の第２の入力に接続される。加算器１２３の出力は、再帰的フィルタ・システムの出力ポート１５と、メモリ１４の書き込みポートとに、接続される。メモリ１４の読み取りポートは、輝度パラメータ及びクロミナンス・パラメータに関する入力も有するプログラム可能空間フィルタ１３の、入力１３１に接続される。プログラム可能空間フィルタ１３の出力１３５は、第２の乗算器１２２の第２の入力に接続される。
【００４９】
使用に際して、現在のイメージＣは、第１の乗算器１２１の第１の入力１１でシステムに入る。第１及び第２の乗算器１２１、１２２、並びに加算器１２３の配置構成１２は、数式２の演算を実行し、現在のイメージＣと処理済みのｐｅｌフィールドＳとの間のフェードＲは、第１の乗算器１２１の第２の入力１６で入ったパラメータＫの値によって制御されるメモリ１４に書き込まれる。処理済のイメージは、出力１５で再帰的フィルタ・システム１０から出力される。プログラム可能空間フィルタ１３は、本発明によって提供される従来の再帰的フィルタ・システムに対する機能強化を表し、処理中のｐｅｌに対して局所のｐｅｌのアレイを入力し、アクティビティ及び重み付き平均を導出し、それらを輝度Ｚ及びクロミナンスＹによって処理するが、ここでは別々の輝度処理パス及びクロミナンス処理パスが組み合わされて示されている。
【００５０】
本発明のプログラム可能空間フィルタ１３の詳細は図２によって示されており、様々な重み付け関数及びパラメータの動作が、より明示的に示されている。
図２を参照すると、プログラム可能空間フィルタ１３の入力１３１は、乗算器及び加算器の配置構成１３４の一要素を形成する第３の乗算器１３４１の第１の入力と、重み付け関数を計算するためのブロック１３２と、アクティビティ推定器ブロック１３３とに、並列に接続される。
【００５１】
アクティビティ推定器１３３からの第１及び第２の出力は、第５及び第６の乗算器、１３７１及び１３７２の第１の入力に、並列に送られる。第５及び第６の乗算器、１３７１及び１３７２の第２の入力は、それぞれＺ及びＹのパラメータに関する入力を有する。第５及び第６の乗算器、１３７１及び１３７２の出力は、それぞれ第３の加算器１３７３の第１及び第２の入力に接続される。加算器１３７３の出力は、スカラ・ブロック１３６の入力に接続される。
【００５２】
スカラ・ブロック１３６の出力は、第３の乗算器１３４１の第２の入力に接続される。スカラ・ブロック１３６の出力は、補数Ａを計算するために１−Ａブロック１３８にも入力され、１−Ａブロック１３８の出力は、乗算器及び加算器の配置構成１３４の一要素を形成する第４の乗算器１３４２の第１の入力に接続される。重み付け関数を計算するための重み付けブロック１３２の出力は、第４の乗算器１３４２の第２の入力に接続される。第３及び第４の乗算器、１３４１、１３４２の出力は、それぞれ、配置構成１３４の一要素を形成する第２の加算器１３４３の第１及び第２の入力に接続される。第２の加算器の出力は、プログラム可能空間フィルタ１３の出力１３５を形成する。
【００５３】
図１、２、及び５を参照すると、使用に際してイメージＳは、ステップ５１でメモリ１４に格納される。画素Ｓ（ｘ，ｙ）がメモリ１４から読み取られ、ステップ５２で、取り出された画素Ｓ（ｘ，ｙ）について、数式７と表１によって例証されたような重み付け値Ｂｌｕｍａ（ｍ，ｎ）のアレイとを使用し、重み付けブロック１３２によって重み付き値Ｗ（ｘ，ｙ）が生成される。ステップ５３で、数式４ａ及び４ｂ、５、又は６、並びに数式４ｃで例証された差の合計に基づき、画素の輝度及びクロミナンスについて、第１の割合パラメータＡｔｏｔａｌ（ｘ，ｙ）が生成され、即ちこれは、アクティビティ推定器１３３、並びに、推定された輝度及びクロミナンス・アクティビティをＺ及びＹで処理し、結果として生じる値を数式４ｃを実施する第３の加算器１３７３によって追加する、第５及び第６の乗算器、１３７１及び１３７２によって生成される。第１の割合パラメータ・スカラ値Ａ（ｘ，ｙ）は、スカラ１３６によって得られる。ステップ５４で、第１の割合パラメータＡｔｏｔａｌ（ｘ，ｙ）を使用して、格納済み画素Ｓ（ｘ，ｙ）の割合及び重み付き値Ｗ（ｘ，ｙ）の相補的割合から、フェーダ配置構成１３４によって、重み付き画素Ｍ（ｘ，ｙ）が生成される。ステップ５５で、次のイメージの画素Ｃ（ｘ，ｙ）が入力１１で入力され、第２の割合パラメータＫが第２の入力１６で入力される。ステップ５６で、第２の割合パラメータＫを使用して、入力画素Ｃ（ｘ，ｙ）の割合及び重み付き画素Ｍ（ｘ，ｙ）の相補的割合から、フェーダ配置構成１２によって、フィルタリング済みイメージＲ（ｘ，ｙ）が生成される。フィルタリング済み画素Ｒ（ｘ，ｙ）は出力１５から出力され、ステップ５７で、続くイメージを処理するためにメモリ１４内に格納される。
【００５４】
従って、要約すると、処理中のｐｅｌに対して局所のｐｅｌのアレイは、入力１３１でプログラム可能空間フィルタ１３に入る。重み付けブロック１３２は、数式７に示されるように生成される重み付け関数Ｗ（ｘ，ｙ）を導出する。アクティビティ推定器１３３及びスカラ１３６は、わかりやすくするために分離された輝度及びクロミナンス・パラメータＺ及びＹによる乗算である、数式４を使用してＡｔｏｔａｌ（ｘ，ｙ）を導出し、ここでは別々の輝度及びクロミナンスの処理パスが組み合わされると想定される。ブロック１３６は、Ａで必要なスケーリング操作を実施し、その値が０から１の範囲内となり、プログラム可能空間フィルタが空間的に同一の場所に配置された値Ｓ（ｘ，ｙ）と重み付き平均Ｗ（ｘ，ｙ）との間でフェードを実行できるようにする。フェーダ配置構成１３４は、数式３から中間結果Ｍ（ｘ，ｙ）を導出する。
【００５５】
測定された性能結果の例
本発明は、再帰的フィルタ・システムと、ＭＰＥＧ２高解像度符号器でリアルタイムに符号化される処理済みイメージとに、適用された。表２は、輝度のピーク信号対ノイズ比（ＰＳＮＲ、Ｐｅａｋ  Ｓｉｇｎａｌ  ｔｏ  Ｎｏｉｓｅ  Ｒａｔｉｏ）での結果として生じる利得の概要を示す。数字的には小さいが、これらの利得は知覚されるピクチャ品質に関して重要となることが証明された。
【００５６】
【表２】
2007325253.tif 000009
【００５７】
システムに対する更なる機能強化
前述の格納済みピクチャＳ（ｘ，ｙ）に適用される空間フィルタリングの概念が、現在の入力イメージＣ（ｘ，ｙ）にも適用され、その後、両方のプロセスが図３に示されるような多段式ミキサ・ステージを作るために組み合わせられる場合、システムからの結果を更に改善することができる。以下のすべての説明では、上記説明に関してクロミナンス及び輝度が別々に計算されることが想定される。便宜上、数式２を再度記載する
Ｒｆ（ｘ，ｙ）＝Ｋ．Ｃｆ（ｘ，ｙ）＋（１−Ｋ）．Ｍｆ−１（ｘ，ｙ）
０≦Ｋ≦１
数式２：修正された格納出力済み再帰的ノイズ削減計算。
【００５８】
ここで説明され、数式８に示される実施形態では、Ｃ（ｘ，ｙ）で表されるｐｅｌストリームは、上記で修正された格納済みｐｅｌストリームＭ（ｘ，ｙ）を生成するために使用された方法と同様に修正される
Ｄｆ（ｘ，ｙ）＝Ｖ．Ｃｆ（ｘ，ｙ）＋（１−Ｖ）．Ｎｆ（ｘ，ｙ）
数式８：修正された入力済み再帰的ノイズ削減計算。
上式で、Ｄｆ（ｘ，ｙ）は、前述の技法と同様の技法を使用したＣｆ（ｘ，ｙ）の重み付き及びフィルタリング済みの形である。
【００５９】
図３及び４では、図を更にわかりやすくするために、２つの乗算器と１つの加算器との配置構成１２が、１つのフェーダを示す単一の斜方形で表されている。
図３を参照すると、本発明に従った再帰的フィルタ・システムのこの実施形態では、イメージ・ソース入力１１はプログラム可能空間低域通過フィルタ３１の入力に接続される。イメージ・ソース入力１１は、現在のイメージ中の空間ノイズを推定するために、ブロック３３の入力にも接続される。ブロック３３の出力は、プログラム可能空間低域通過フィルタ３１の制御入力３７に接続される。プログラム可能空間低域通過フィルタ３１の出力は、フェーダ３２の入力に接続され、フェーダ３２は小数パラメータＫに関する制御入力も有する。フェーダ３２の出力は、再帰的フィルタ・システム３０の出力３５と、メモリ１４の書き込み入力と、にも接続される。メモリ１４の読み取り出力は、輝度及びクロミナンスのパラメータＺ及びＹに関する入力も有する、プログラム可能空間フィルタ１３の入力に接続される。プログラム可能空間フィルタ１３の出力は、フェーダ３２の第２の入力に接続される。
【００６０】
プログラム可能空間低域通過フィルタ３１によるフィルタリングの可変度は、制御入力３７での数値入力によって変化する。ブロック３３は、例えば、出願番号第Ｐ１１３９３１ＧＢ号で本出願と同日付けの出願人の出願に開示されたようなノイズ分析器を使用して、処理中の現在のイメージ中の空間ノイズの推定を提供する。入力３７でのこの値は、低域通過空間フィルタ３１を制御するために使用される。
【００６１】
好ましくは、入力３７の値は、ノイズが検出された場合にのみフィルタリングするために、ｐｅｌごとに変化する。更にブロック３３は、入力イメージが処理中の領域内でかなり細密であるように決定された場合、その結果として生じる出力値を低減させることができる。
【００６２】
この実施形態は空間フィルタを組み合わせるが、出力３５で最終出力値が選択される方法は変更しない。
空間フィルタリングはノイズ削減を促進できる一方で、最近の高解像度ビデオで最も顕著なピクチャの軟化も発生させる。
【００６３】
動いている物体に空間フィルタリングを不均衡に適用することによって、動いている物体のサイコビジュアル的側面が、目視ではぼやけをそれほど容易に認識できないようにするため、最適な結果を達成することができる。
【００６４】
このため、図４は、入力Ｃと、入力のフィルタリング済みバージョンＤと、格納済み出力のフィルタリング済みバージョンＭとの、組み合わせから、出力４５での出力Ｒ（ｘ，ｙ）を導出するための、組み合わせシステム４０を示す。
【００６５】
図４を参照すると、本発明に従った再帰的フィルタ・システム４０のこの他の実施形態では、図３の実施形態と同様に、イメージ・ソース入力１１がプログラム可能空間低域通過フィルタ３１の入力に接続される。イメージ・ソース入力１１は、現在のイメージ中の空間ノイズを推定するために、ブロック３３の入力にも接続される。ブロック３３の出力は、プログラム可能空間低域通過フィルタ３１の制御入力３７に接続される。プログラム可能空間低域通過フィルタ３１の出力は、フェーダ４２の入力に接続される。空間ノイズを推定するためのブロック３３の出力は、小数パラメータＫに関する再帰的フィルタ・システムの他の入力を有するブロック４８にも入力される。ブロック４８の出力は、フェーダ４２への制御入力を形成する。フェーダ４２は、イメージ・ソース入力１１からの追加の入力を有する。フェーダ４２の出力は、再帰的フィルタ・システム４０の出力４５に接続され、メモリ１４の書き込み入力にも接続される。メモリ１４の読み取り出力は、輝度及びクロミナンス入力も有する再帰的フィルタ１３の入力に接続される。再帰的フィルタ１３の出力は、フェーダ４２の第３の入力に接続される。
【００６６】
バランスは、小数パラメータ「Ｋ」と、この区域内での動きの導出と、現在のピクチャ内で測定された空間ノイズ３７と、によって制御される、ブロック４８内の論理によって管理される。使用されるストラテジは、動き及び被害ノイズ中の区域では、軟化された局所的なピクチャ情報を使用する傾向にあるという利点があることである。数式９は、制御ブロック４８の演算様式の一例である。
【００６７】
【数６】
2007325253.tif 000010
【００６８】
数式９：動き−空間ノイズの計算例。
上式で、Ｎは推定ノイズであり、Ｋ’は導出される動き推定値である。
【００６９】
要約
本発明のこれらの実施形態は、ノイズ減衰を機能強化するために、格納済みｐｅｌアレイ及び等価の入力アレイから取得される値におけるノイズ構成要素を低減させ、格納装置内に多くの差分情報が形成された場合、これらの実施形態は、処理されたイメージからすべてのゴーストを除去するために、収束率を上昇させる。
【００７０】
再帰的アルゴリズムのフィードバック・パスにおけるこの技法は、イメージに局所的な軟化を発生させる可能性がある一方で、いかなる軟化もノイズを伴う区域に限定されるため、視覚的により満足できるイメージを生成する。
【図面の簡単な説明】
【００７１】
【図１】本発明に従った再帰的フィルタ・システムを示す概略図である。
【図２】図１のプログラム可能空間フィルタを示す概略図である。
【図３】入力ｐｅｌ及び格納済みｐｅｌの両方の空間フィルタリングと組み合わされた、図１の再帰的フィルタ・システムを示す概略図である。
【図４】ノイズと動きの推定値間の複合マッピングと組み合わされた、図１の再帰的フィルタ・システムを示す概略図である。
【図５】本発明に従った方法を示す流れ図である。
【符号の説明】
【００７２】
１０  再帰的フィルタ・システム
１１  第１の入力
１２  配置構成
１３  プログラム可能空間フィルタ
１４  メモリ
１５  出力ポート
１６  第２の入力
１２１  第１の乗算器
１２２  第２の乗算器
１２３  加算器
１３１  入力
１３２    ブロック
１３３    アクティビティ推定器
１３４    配置構成
１３５  出力
１３６    スカラ
１６１  ブロック
１３４１  第３の乗算器
１３４２  第４の乗算器
１３４３  第２の加算器
１３７１  第５の乗算器
１３７２  第６の乗算器
１３７３  第３の加算器
【図１】
2007325253.tif 000011
【図２】
2007325253.tif 000012
【図３】
2007325253.tif 000013
【図４】
2007325253.tif 000014
【図５】
2007325253.tif 000015