(57)【要約】  一般的なノイズ減少のための非リカーシブ３Ｄ処理方法及びシステムが開示される。３Ｄノイズ減少器は、５つの形式のノイズを、変化する統計値の等価加法性ノイズに簡単に変換することをベースとする。ここに提案する技術は、出力ノイズ分散の最小化（ＭＮＶ）及び埋め込まれたモーション推定（ＥＭＥ）を結合する効率的な時間的フィルタリング技術も含む。ここに提案する時間的フィルタリング技術は、より効率的なノイズ減少器のために古典的なモーション推定及びモーション補償と更に結合されてもよい。又、ここに提案する技術は、健全で且つ効率的な形状適応性ウインドウ動作（ＳＡＷ）を伴う最小平均二乗エラー（ＭＭＳＥ）を結合する空間的ノイズ減少器も備え、これは、全イメージ、特に、縁部分に対してランダムノイズを平滑化するのに使用される。ゆっくり変化する領域において最終的な過剰フィルタリングに対してバンディング作用を取り扱うためのＭＭＳＥに対する別の変更も導入される。【選択図】図１
2008508750.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ入力信号における複数のノイズ形式を減少するための装置であって、
前記ビデオ入力信号、加法性ノイズ(additive noise)分散、乗法性ノイズ(multiplicative noise)分散、及びノイズの形式の指示を受け取って使用し、等価加法性ノイズ(equivalent additive noise)分散信号を推定するためのノイズ電力コンバータと、
前記等価加法性ノイズ分散及び前記ビデオ入力信号を使用して、時間的にフィルタリングされたビデオ信号及び残留ノイズ分散信号を発生するための時間リカーシブフィルタ(temporal recursive filter)と、
前記残留ノイズ分散信号及び前記時間的にフィルタリングされたビデオ信号を使用して、前記ビデオ入力信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を発生するための空間ノイズ減少器と、
を備えた装置。
【請求項２】
前記複数のノイズ形式は、加法性（Ｎ１）、負のガンマγ写真密度を伴う乗法性（Ｎ２）、正のガンマγ写真密度を伴う乗法性（Ｎ３）、負のガンマγ写真密度を伴うスペックル（Ｎ４）、及び正のガンマγ写真密度を伴うスペックル（Ｎ５）を含む、請求項１に記載の装置。
【請求項３】
前記ノイズ電力コンバータは、
前記ビデオ入力信号をフィルタリングして、ローパスフィルタリングされた信号を与えるローパスフィルタと、
前記ローパスフィルタリングされた信号及び所与のスレッシュホールド許容範囲を受け取って使用し、前記スレッシュホールド許容範囲内の局所（ローカル）分類結果を表わす２進信号ωij（ｃ、ｒ）、及びウインドウ内の同様のピクセルを表わす信号Ｎ（ｃ、ｒ）を計算するための形状適応ウインドウと、
前記２進信号ωij（ｃ、ｒ）、前記Ｎ（ｃ、ｒ）信号、及び前記ビデオ入力信号を使用して、局所（ローカル）推定平均信号値μY（ｃ、ｒ）を計算するための形状適応ウインドウ平均推定器と、
前記局所推定平均信号値μY（ｃ、ｒ）、前記加法性ノイズ分散、前記乗法性ノイズ分散、及び前記ノイズの形式の指示を使用して、前記等価加法性ノイズ分散信号を計算するための等価加法性ノイズ分散計算器と、
を備えた請求項１に記載の装置。
【請求項４】
前記ローパスフィルタは、次のような入力応答を有する、
2008508750.tif 000054
請求項３に記載の装置。
【請求項５】
前記２進信号ωij（ｃ、ｒ）は、次の式で与えられ、
2008508750.tif 000055
但し、ｌｐ(Ｙ(ｃ、ｒ))は、（ｃ、ｒ）におけるルミナンス(luminance)成分Ｙに対して前記ローパスフィルタリングされた信号を含む、請求項３に記載の装置。
【請求項６】
前記ウインドウにおける同様のピクセルを表わす信号Ｎ（ｃ、ｒ）は、次の式で与えられる、
Ｎ(ｃ、ｒ)＝ΣΣωij（ｃ、ｒ）
請求項３に記載の装置。
【請求項７】
前記局所推定平均信号値μY（ｃ、ｒ）は、次の式で与えられる、
2008508750.tif 000056
請求項３に記載の装置。
【請求項８】
2008508750.tif 000057
【請求項９】
2008508750.tif 000058
【請求項１０】
ビデオ入力信号における複数のノイズ形式を減少するための方法であって、
前記ビデオ入力信号、加法性ノイズの分散、乗法性ノイズの分散、及びノイズの形式の指示を使用して、等価加法性ノイズ分散信号を推定するステップと、
前記ビデオ入力信号のビデオ信号を時間的にフィルタリングするステップと、
前記等価加法性ノイズ分散及び前記ビデオ入力信号を使用して、残留ノイズ分散信号を発生するステップと、
前記残留ノイズ分散信号及び前記ビデオ入力信号を使用して、前記時間的にフィルタリングされたビデオ信号を空間フィルタリングし、ノイズの減少されたビデオ出力信号を与えるステップと、
を備えた方法。
【請求項１１】
前記複数のノイズ形式は、加法性（Ｎ１）、負のガンマγ写真密度を伴う乗法性（Ｎ２）、正のガンマγ写真密度を伴う乗法性（Ｎ３）、負のガンマγ写真密度を伴うスペックル（Ｎ４）、及び正のガンマγ写真密度を伴うスペックル（Ｎ５）を含む、請求項１０に記載の方法。
【請求項１２】
前記等価加法性ノイズ分散信号を推定するステップは、
前記ビデオ入力信号をローパスフィルタリングして、ローパスフィルタリングされた信号を与える段階と、
前記ローパスフィルタリングされた信号及び所与のスレッシュホールド許容範囲を使用して、前記スレッシュホールド許容範囲内の局所（ローカル）分類結果を表わす２進信号ωij（ｃ、ｒ）、及びウインドウ内の同様のピクセルを表わす信号Ｎ（ｃ、ｒ）を計算する段階と、
前記２進信号ωij（ｃ、ｒ）、前記Ｎ（ｃ、ｒ）信号、及び前記ビデオ入力信号を使用して、局所（ローカル）推定平均信号値μY（ｃ、ｒ）を計算する段階と、
前記局所推定平均信号値μY（ｃ、ｒ）、前記加法性ノイズの分散、前記乗法性ノイズの分散、及び前記ノイズの形式の指示を使用して、前記等価加法性ノイズ分散信号を計算する段階と、
を含む請求項１０に記載の方法。
【請求項１３】
2008508750.tif 000059
【請求項１４】
ビデオ入力信号における複数のノイズ形式を減少するための装置であって、
前記ビデオ入力信号、加法性ノイズ(additive noise)分散、乗法性ノイズ(multiplicative noise)分散、及びノイズの形式の指示を受け取って使用し、等価加法性ノイズ(equivalent additive noise)分散信号を推定するためのノイズ電力コンバータと、
前記等価加法性ノイズ分散信号及び前記ビデオ入力信号を使用して、前記ビデオ入力信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を発生するための空間ノイズ減少器と、
を備えた装置。
【請求項１５】
前記複数のノイズ形式は、加法性（Ｎ１）、負のガンマγ写真密度を伴う乗法性（Ｎ２）、正のガンマγ写真密度を伴う乗法性（Ｎ３）、負のガンマγ写真密度を伴うスペックル（Ｎ４）、及び正のガンマγ写真密度を伴うスペックル（Ｎ５）を含む、請求項１４に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージ又はイメージシーケンスにおいて主としてリアルタイムで動作し得るイメージの３Ｄノイズの減少技術に係る。より詳細には、本発明は、イメージ用途において多数の形式のノイズに適した適応性空間−時間フィルタリング技術に係る。
【０００２】
関連出願の相互参照：本出願は、引用としてここに組み入れる２００４年７月３０日に出願の“Apparatus and method for adaptive 3D artifact reducing for encoded image signal”と題する米国仮特許出願第６０／５９２，３３９号の優先権を主張する。
【背景技術】
【０００３】
ノイズ減少の技術に関する既存の文献及び／又は特許は多数存在する。イメージのノイズ除去技術は、空間的なもの又は時間的なもの、或いはそれらを組み合せたものに分類できる。空間的な技術は、一般に、考慮されるイメージの高周波数部分に適用される幾つかのコア技術に係る。時間的なノイズ除去技術は、画像の検出又は推定される静止部分に主として適用される時間的コア技術に係る。イメージのノイズ除去技術は、空間的なもの又は時間的なものに分類できる。真の３Ｄ処理よって容易になし得る空間的及び時間的技術の一連の組み合せが考えられ、有益なものとなり得る。以下、この主題の一般的な傾向を再検討し、そして特定の空間的又は時間的な出口ノイズ減少器について、ある程度詳細に考える。
【０００４】
空間的ノイズ減少技術は、静止画像又はイメージシーケンスに適用することができる。一般に、空間的ノイズ減少技術は、更に３つのカテゴリーに分けることができる。
【０００５】
第１カテゴリーの空間的な非直線的フィルタは、局所（局所）オーダー(local order)の統計値に基づくものである。これらの技術は、例えば、A. R. Weeks、二世の“Fundamentals of Electronic Image Processing”、SPIE Optical Engineering Press、Bellingham、ワシントン州、１９９６年、又はI. Pitas、及びA. N. Venetsapoulos氏の“Nonlinear Digital Filters: Principles and Applications”、Kluwer Academic Publishers、ボストン、１９９０年、に見ることができる。考慮されるピクセルの周りに局所（局所）ウインドウを使用して、これらのフィルタは、今や最小値から最大値まで順序付けされたピクセルのこのセットに作用する。このカテゴリーでは、中間フィルタ、最小／最大フィルタ、アルファ−トリミング(alpha-trimmed)の平均フィルタ、及びそれらの各々の変形を分類することができる。これらのフィルタは、インパルス状の霜降り(salt-and-pepper)ノイズを除去するように充分機能する。小振幅のノイズに対し、これらのフィルタは、ある細部や小さな縁をぼかすことがある。
【０００６】
第２カテゴリーのコア技術は、オリジナルイメージの空間的ドメインとは異なる別のドメインに適用される。選択されるドメインは、ノイズの性質に一部分依存する。米国特許第４，１６３，２５８号は、ウォルシュ−アダマール(Walsh-Hadamard)変換ドメインを使用し、一方、米国特許第４，５２３，２３０号は、あるサブバンド分解を示唆する。最終的に、対数ドメインで機能する異体同形(homomorphism)フィルタは、乗法性ノイズを除去し且つイメージからイメージシェーディング(image shading)するための古典的フィルタである。
【０００７】
第３カテゴリーのフィルタは、局所（局所）適応のもので、ノイズ除去容量は、同質(homogenous)領域から縁(edge)領域へと変化する。
【０００８】
このカテゴリーの良く知られたフィルタは、J. S. Lee氏により“Digital image enhancement and noise filtering by use of local statistics”、IEEE Trans. On PAMI-2、１９８０年３月、第１６５−１６８ページにおいて最初に提案された最小平均二乗エラー（ＭＭＳＥ）フィルタである。フィルタリングされたピクセル出力は、局所（局所）平均値、及びノイズピクセルと局所平均強度値との熟考された差で加算的に構成される。一種のコア技術に対応する最適な重みを、真のきれいなイメージとノイズ性イメージとの局所（局所）分散(variance)比により加法性ノイズに対して決定することができる。最小平均二乗エラーフィルタは、同質領域に対してノイズを良好に除去し、イメージの縁を確保する。しかしながら、ノイズは、縁又は縁付近の領域に本質的に残留する。更に、他の形式のノイズに対して最適な重みが変化する。
【０００９】
Lee氏のフィルタ及び最近の非等方性拡散技術の関係が、Y. Yu及びS.T. Acton氏により“Speckle Reducing Anisotropic Diffusion”、IEEE Trans. on Image Processing、第１１巻、２００２年１１月、第１２６０−１２７０ページに示されている。
【００１０】
P. Chan及びJ. S. Lim氏の“One dimensional processing for adaptive image restoration”、IEEE Trans. on ASSP-33、１９８５年２月、第１１７−１２６ページには、縁領域においてノイズを減少するための方法が記載されている。著者は、４つの一次元最小平均二乗エラーフィルタを各々０°、４５°、９０°及び１３５°の方向に沿ってシリーズに使用することを提案している。得られる結果は、大きな分散のノイズに対しては印象的なものである。しかしながら、小さなノイズについては、フィルタがイメージの縁をぼかすことがある。更に、各フィルタ段におけるノイズ分散出力を、コストを掛けて推定しなければならない。
【００１１】
同じ目的で、J. S. Lee氏の“Digital image smoothing and the Sigma filter”、Computer Vision、Graphics、and Image Processing-24、１９８３年、第２５５−２６９ページにおいて、著者は、シグマフィルタを提案している。ノイズ除去のために、フィルタは、大きさが５ｘ５の局所ウインドウにおいて、考慮される中心ピクセルの値に対する同様のピクセル強度の平均値を計算する。小さなノイズの場合に、シグマフィルタは、小さなイメージの細部や、鋭いスポットノイズを伴うあるピクセルを除いて、充分に機能する。後者の場合に、J. S. Lee氏は、最終的にある程度ぼける画像の縁を犠牲にして、すぐ近隣の平均値を使用することも、発見的に示唆している。
【００１２】
米国特許第４，５７３，０７０号は、３ｘ３ウインドウのためのシグマフィルタを開示している。著者は、シグマフィルタと、次数統計学的フィルタと、強力インパルスノイズ減少フィルタとを単一の構成で結合している。
【００１３】
米国特許第６，６３３，６８３号には、最小平均二乗エラーフィルタ及びシグマフィルタ技術を結合した形状適応性ウインドウ動作が開示されている。しかしながら、ゆっくり変化する領域に導入されるバンディング(banding)欠陥作用及びある通常形式のノイズに対する一般的な最小平均二乗エラー構造が考慮されていない。
【００１４】
時間的フィルタは、一般に、２つ又は多数の次々のイメージ間でノイズ成分が非相関であると推測されるイメージのシーケンスに対して適用される。時間的フィルタリング技術は、本質的に、モーション検出（ＭＤ）又はモーション補償（ＭＣ）に基づくものである。フィルタの構造は、ＩＩＲ（無限インパルス応答）フィルタでもよいし、又はフレーム遅延素子を伴うＦＩＲ（限定インパルス応答）フィルタでもよい。一般に、時間的技術は、空間的技術より良好に機能する。システムコストは、本質的に、フレームメモリ及びモーション推定による。時間的ノイズ除去技術は、例えば、米国特許第５，１６１，０１８号、第５，１９１，４１９号、第５，２６０，７７５号、第５，４０４，１７９号、第５，４４２，４０７号、第６，０６１，１００号、並びにG. Wischerman氏の“The Digital Wetgate: A Third-Generation Noise Reducer”、SMPTE Journal、１９９６年２月、第９５−１００ページに見ることができる。
【００１５】
理論的な観点から、充分に確立されたＭＣカルマンフィルタリングをベースとするこれらのノイズフィルタリング技術の１つの種類が、Kim及びWoods氏の“Spatio-temporal adaptive 3-D Kalman Filter for Video”、IEEE Transaction on Image Processing、第６巻、第３号、１９９７年３月において、空間−時間ドメインに対して提案されている。しかしながら、３Ｄカルマンフィルタは、高速での実施や急激なシーンの変化には便利でない。Katsaggelos氏等は、“Adaptive Image Sequence Noise Filtering Method”、SPIE、第１６０６巻、Visual Communication and Image Processing、１９９１年、第７１６−７２７ページにおいて、イメージシーケンスの非固定フィルタリングのための２つの解決策、即ち３つの結合された１−Ｄ推定器で構成される分離可能な適応性リカーシブモーション補償フィルタと、モーション推定を伴わない時間的な非直線的フィルタリング解決策とを提案している。また、M. K. Ozkan氏等は、“Adaptive Motion Compensated Filtering of Noisy Image Sequences”、IEEE Trans. on Circuit and Systems for Video Technology、第３巻、第４号、１９９３年８月、第２７７−２９０ページにおいて、縁の存在、不正確なモーション推定、及びシーンの変化を克服することを請求するために適応性重み付け平均化フィルタの使用を示唆している。Boo及びBose氏は、“A motion-compensated spatio-temporal filter for image sequences with signal dependent noise”、IEEE Trans. on Circuit and Systems for Video Technology、第８巻、第３号、１９９８年６月、第２８７−２９８ページにおいて、変換ドメインにフレーム及びＬＭＭＳＥのグループを使用したＭＣ空間的−時間的フィルタを提案している。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明にとって最も関心があるのは、Katsaggelos氏等の第２の解決策、即ち明確なモーション検出又は推定を伴わない時間的な非直線的フィルタリング解決策である。しかしながら、この解決策は、５つのフレームメモリ及びマトリクスの反転を伴うことからコストがかかる。
【００１７】
また、米国特許出願第２００１／００１９６３３号は、ノイズの形式を推定するためのメトリックとしてノイズの尖度を使用し、そしてノイズ弁別の機能に中間フィルタ又は空間的−時間的フィルタのいずれかが適用されることを開示している。
【課題を解決するための手段】
【００１８】
本発明は、イメージ信号におけるノイズを効率的に減少するための装置及び方法を提供する。
【００１９】
本発明の１つの態様によれば、少なくとも５つの形式のノイズを減少するための装置及び方法が提供される。考慮されるノイズの５つの形式は、ａ）加法性ノイズ、ｂ）負のガンマγの写真密度を伴う乗法性ノイズ、ｃ）正のガンマγの写真密度を伴う乗法性ノイズ、ｄ）加法的及び乗法的なスペックル(speckle)又は合成ノイズ（γ＜０）、及びｅ）加法的及び乗法的なスペックル又は合成ノイズ（γ＞０）である。この装置及び方法は、前記５つの種々のノイズ形式を、同等の、信号依存の加法性ノイズへ変換するためのノイズ電力コンバータを備えている。未知のノイズ形式を取り扱うときには、加法性ノイズモードを選択しなければならない。
【００２０】
本発明の更に別の態様によれば、時間リカーシブフィルタリングのための装置及び方法が提供される。より詳細には、この時間的フィルタリングは、出力ノイズ分散（ＭＮＶ）を最小にするための基準、及び埋め込まれたモーション推定（ＥＭＥ）の技術を導入する。前者は、高速実施に適したノイズ減少を遂行する。後者は、縁の存在、不正確なモーション推定及びシーンの変化を克服するための効率的な技術を提供する。
【００２１】
本発明の更に別の態様によれば、古典的なモーション推定及び補償と相補的である時間リカーシブフィルタリングのための装置及び方法が提供される。
【００２２】
最小平均二乗エラー技術を実世界に効率的に使用するための形状適応性ウインドウ動作（ＳＡＷ）を導入する空間的フィルタリングのための装置及び方法が提供される。形状適応性ウインドウ動作は、ウインドウ内のピクセルを、考慮されるピクセルに関して同質の又はそうでない２つのクラスへと、ノイズに対して健全に局所的に分類する。
【００２３】
本発明の更に別の態様によれば、ゆっくり変化するイメージ領域において最終的な過剰フィルタリングのために導入されるバンディング(banding)作用欠陥を取り扱うことのできる空間的ノイズ減少装置及び方法が提供される。
【００２４】
また、本発明の別の広い態様から、局所（局所）ノイズ電力が既知であるときにノイズを減少するための適応性装置及び方法も提供される。
【００２５】
また、本発明の別の広い態様から、３つのビデオ成分、即ちルミナンス成分及び２つのクロミナンス成分に対してノイズを減少するための適応性装置及び方法も提供される。
【００２６】
ここでの説明は、ビデオ入力信号における複数のノイズ形式を減少するための装置において、ビデオ入力信号、加法性ノイズ分散、乗法性ノイズ分散、及びノイズの形式の指示を受け取って使用し、等価加法性ノイズ分散信号を推定するためのノイズ電力コンバータと、等価加法性ノイズ分散及びビデオ入力信号を使用して、時間的にフィルタリングされたビデオ信号及び残留ノイズ分散の信号を発生するための時間リカーシブフィルタと、その残留ノイズ分散の信号及び時間的にフィルタリングされたビデオ信号を使用して、ビデオ入力信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を与えるための空間的ノイズ減少器と、を備えた装置を開示する。
【００２７】
更に、ここでの説明は、ビデオ入力信号における複数のノイズ形式を減少するための方法において、ビデオ入力信号、加法性ノイズ分散、乗法性ノイズ分散、及びノイズの形式の指示を使用して、等価加法性ノイズ分散信号を推定するステップと、ビデオ入力信号のビデオ信号を時間的にフィルタリングするステップと、等価加法性ノイズ分散及びビデオ入力信号を使用して、残留ノイズ分散の信号を発生するステップと、その残留ノイズ分散の信号及びビデオ入力信号を使用して、時間的にフィルタリングされたビデオ信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を与えるステップと、を備えた方法を開示する。
【００２８】
また、ここでの説明は、ビデオ入力信号における複数のノイズ形式を減少するための装置において、ビデオ入力信号、加法性ノイズ分散、乗法性ノイズ分散、及びノイズの形式の指示を受け取って使用し、等価加法性ノイズ分散信号を推定するためのノイズ電力コンバータと、その等価加法性ノイズ分散信号及びビデオ入力信号を使用して、ビデオ入力信号を空間的にフィルタリングし、ノイズの減少されたビデオ出力信号を与えるための空間的ノイズ減少器と、を備えた装置を開示する。
【００２９】
本発明の更に別の特徴及び効果は、添付図面を参照した以下の詳細な説明から明らかとなろう。
添付図面全体にわたり同様の部分が同じ参照番号で示されていることに注意されたい。
【発明を実施するための最良の形態】
【００３０】
図１を参照すれば、複数ノイズ形式ノイズ減少（ＭＴＮＲ）装置の実施形態が示されている。
【００３１】
複数ノイズ形式ノイズ減少（ＭＴＮＲ）装置及び方法は、２つの主たるシステム入力情報形式でスタートする。第１のビデオ入力情報１０１は、ルミナンスＹ成分と、クロミナンスＣｒ、Ｃｂ成分とで構成されたイメージビデオ信号である。当業者であれば、差別的に指示されたところを除いて、このようなシステム成分は、この技術で良く知られたように、時分割的に又はパラレルに実施できることが理解されよう。第２の情報は、入力１０２に印加される制御パラメータに対応する。
【００３２】
入力１０２の制御パラメータ信号は、５つの考えられるノイズ形式に対し、３つの付加的な情報形式、即ちノイズ形式（番号）、加法性ノイズ分散、及び乗法性ノイズ分散を表わす。ここに開示する実施形態では、この情報は、エンドユーザにより発見的に指定される。
【００３３】
複数ノイズ形式ノイズ減少（ＭＴＮＲ）装置は、ノイズ電力コンバータ（ＮＰＣ）１０４と、埋め込まれたモーション推定の時間リカーシブフィルタ（ＥＭＥ−ＴＲＦ）１０６と、形状適応性ウインドウ動作の空間的ノイズ減少器（ＳＡＷ−ＳＮＲ）１０９とを備えている。
【００３４】
ノイズ電力コンバータ（ＮＰＣ）１０４は、図２を参照して以下に述べるように、ビデオ入力信号１０１及び制御パラメータ信号１０２を受け取り、そして考慮されるノイズの各形式に対して等価加法的局所ノイズ電力を推定する。その推定された局所ノイズ電力（分散）１０５及びノイズ形式番号１１０は、埋め込まれたモーション推定の時間リカーシブフィルタ１０６へ供給される。
【００３５】
埋め込まれたモーション推定の時間リカーシブフィルタ（ＥＭＥ−ＴＲＦ）１０６は、ビデオ入力信号１０１及び局所（局所）ノイズ電力信号１０５を受け取り、時間的にフィルタリングされたビデオ信号及び残留ノイズ分散の信号に各々対応する出力１０７及び１０８を発生する。時間的にフィルタリングされたビデオ信号及び残留ノイズ分散の信号は、次いで、空間的ノイズ減少器１０９へ供給される。図３及び４を参照して以下に詳細に述べる時間リカーシブフィルタ技術は、埋め込まれたモーション推定（ＥＭＥ）及び残留ノイズ分散の最小化（ＭＮＶ）をベースとしている。
【００３６】
図８を参照して以下に詳細に述べる空間的ノイズ減少器１０９は、時間的にフィルタリングされたイメージ信号１０７及びそれに対応する残留ノイズ分散の信号１０８を受け取って、バンディング作用を減少した空間的ノイズ減少のための最小平均二乗エラーフィルタリングを遂行する。最終的に得られるイメージ（ビデオ出力）が１０３で示されている。
【００３７】
時間的及び空間的ノイズフィルタリング技術は、本質的に、固定であるか又は空間的−時間的に変化し得る局所ノイズ分散の知識に基づくものであることを述べることに価値がある。
【００３８】
図２を参照すれば、本発明の一実施形態による５つの考えられるノイズ形式のためのノイズ電力コンバータがブロック図で示されている。
【００３９】
このノイズ電力コンバータ（ＮＰＣ）１０４は、ビデオ入力信号１０１及び制御パラメータ信号１０２を受け取り、そして５つの形式の考えられるノイズの各々に対して等価ゼロ平均加法的局所ノイズ電力を推定する。
【００４０】
５つの考えられる形式のノイズは、加法性（Ｎ１とも称される）、負のガンマγ写真密度を伴う乗法性（Ｎ２とも称される）、正のγを伴う乗法性（Ｎ３とも称される）、負のγを伴うスペックル（Ｎ４とも称される）、及び正のγを伴うスペックル（Ｎ５とも称される）である。
【００４１】
５つの形式のノイズの信号モデル及び提案された等価加法性ノイズモデルは、テーブル１に要約される。ここで、
ｆは、局所平均μのオリジナルイメージであり、
ｇは、ノイズ性イメージであり、
ｕは、単位平均及びσ2u分散の乗法性ノイズであり、
ｖは、ゼロ平均及びσ2v分散の加法性ノイズであり、そして
Ａは、振幅信号値である（即ち、８ビット表示の場合に、Ａの考えられる値は、２５６である）。
【００４２】
乗法性ノイズｕ及び加法性ノイズｖは、統計学的に独立していると仮定する。σ2nは、等価加法性ノイズ分散である。
【００４３】
テーブル１−ノイズモデル及び等価加法性ノイズ分散
2008508750.tif 000003
【００４４】
例えば、Ｎ２の場合に、等価加法性ノイズをｎとして、ｇ＝ｆ．ｕであり且つｇ＝ｆ＋ｎであれば、ｎ＝ｆ．（ｕ−１）となる。従って、真の等価加法性ノイズ分散は、σ2n＝（μ2＋σ2f）．σ2uとなる。しかしながら、簡単化のために、且つ直接最適化最小平均二乗エラー適合性のために、項σ2fが無視され、σ2n＝μ2．σ2uとなる。もちろん、μは未知であり、ある精度で推定されねばならない。
【００４５】
Ｎ４の場合には、等価加法性ノイズをｎとして、ｇ＝ｆ．ｕ＋ｖであり且つｇ＝ｆ＋ｎであれば、ｎ＝ｆ．（ｕ−１）＋ｖとなる。従って、σ2n＝μ2σ2u＋σ2vとなる。
【００４６】
前記テーブルの最後の列は、等価加法性ノイズ計算に対して信号平均値μが必要とされることを示している。しかしながら、信号平均値μは、未知であり、推定されねばならない。ここに提案する推定は、図２に示された健全なスライディング(sliding)形状適応性ウインドウにより行うことができる。
【００４７】
ノイズ性のルミナンス成分Ｙは、ローパスフィルタ２０１及び平均推定器２０６へ供給されるビデオ入力信号１０１において考えられる。ローパスフィルタ２０１は、ノイズに対するある程度の健全さを与えるために要求される。その提案されるインパルス応答は、次のように与えられる。
2008508750.tif 000004
【００４８】
これは、良く知られたボックスカーフィルタ(box car filter)の乗算器を伴わない変更バージョンである。（ｃ、ｒ）は、現在ピクセル座標を表わす。
【００４９】
ローパスフィルタ２０１の出力は、ここで、スライディング局所形状適応性ウインドウ（ＳＡＷ）２０２へ印加される。この形状適応性ウインドウ（ＳＡＷ）２０２は、次いで、座標（ｃ、ｒ）を中心とするウインドウ内のピクセルを、２つのカテゴリー、即ち当該ピクセル（ｃ、ｒ）を伴う同様のもの（“１”）又はそうでないもの（“０”）へと分類する。
【００５０】
次の表示が定義される。
Ｙij（ｃ、ｒ）＝Ｙ（ｃ＋ｉ、ｒ＋ｊ）                                （１）
【００５１】
形状適応性ウインドウ２０２は、その各々の出力２０４及び２０５に、次の信号を与える。
2008508750.tif 000005
及び
Ｎ(ｃ、ｒ)＝ΣΣωij（ｃ、ｒ）                                      （３）
【００５２】
ここで、ｌｐ(Ｙ(ｃ、ｒ))は、（ｃ、ｒ）におけるルミナンス成分Ｙに対するローパスフィルタ２０１の出力であり、ωij（ｃ、ｒ）は、スレッシュホールド許容範囲２０３内の局所分類結果を表わす２進信号であり、そしてＮ（ｃ、ｒ）は、ウインドウにおける局所類似のピクセル番号である。
【００５３】
式（２）は、ここに提案する形状適応性ウインドウの健全な局所分類を記述する。もう一度、ローパスフィルタ２０１は、イメージ分類においてノイズに対する健全性を与えるために重要である。
【００５４】
形状適応性ウインドウの出力２０４及び２０５と、ノイズ性ルミナンス入力信号１０１は、形状適応性ウインドウ平均推定器２０６へ一緒に印加されて、局所推定平均信号値μY（ｃ、ｒ）出力２０７を与える。形状適応性ウインドウ平均推定器２０６は、次の計算を遂行する。
2008508750.tif 000006
【００５５】
局所推定平均信号値μY（ｃ、ｒ）出力２０７、加法性ノイズ分散σ2v２０９、乗法性ノイズ分散σ2u２１０、及びノイズ形式信号１１０は、等価加法性ノイズ分散計算器（ＥＡＮＶＣ）２０８へ一緒に印加される。前記テーブルの最後の列によれば、等価加法性ノイズ分散計算器２０８は、現在考慮するルミナンス成分に対して分散σ2n信号１０５、即ちσ2n＝σ2Yを与える。デフォールトにより、ノイズ形式が未知であるときには、ノイズは、ユーザにより加法的と考えられる。当業者にとって、必要な計算のハードウェア又はソフトウェア実施に対して図示されていない多数の可能性が存在する。
【００５６】
クロミナンス成分Ｃｒ及びＣｂの各々に対して、独立しているが同様の計算を実行する必要がある。しかしながら、簡単化のために、ルミナンス成分からの分割結果ωij（ｃ、ｒ）について何らかの考慮をなすことが予知される。実際に、４：４：４のサンプリングパターンの場合に、ルミナンスについての同じ結果ωij（ｃ、ｒ）を、Ｃｒ及びＣｂについても使用できる。４：２：２のサンプリングパターンの場合に、ルミナンス分類結果ωij（ｃ、ｒ）は、形状適応性ウインドウ平均推定器２０６へ印加する前に、Ｃｒ及びＣｂの両方に対してルミナンスの同一場所で(luminance co-sited)サンプル・ホールドされてもよい（図示せず）。４：４：４のＲ、Ｇ、Ｂサンプリングパターンでは、局所分類ωij（ｃ、ｒ）が成分ごとに独立して得られる。
【００５７】
各ビデオ成分に対して、等価加法性ノイズ分散計算器２０８は、それに対応する分散結果１０５を生じさせる。それらは、ルミナンス、クロミナンスＣｒ及びクロミナンスＣｂに対して、各々、σ2n＝σ2Y、σ2n＝σ2Cr、及びσ2n＝σ2Cbである。
【００５８】
別の広い見地に対して、ノイズ形式が５つの引用するケースとは異なるとき、及び等価加法性ノイズ分散計算が可能であるときには、等価加法性ノイズ分散計算器２０８を変更すべきであるが、形状適応性ウインドウ平均又は分散推定の原理はそのままとされる。
【００５９】
図３を参照すれば、埋め込まれたモーション推定の時間リカーシブフィルタ（ＥＭＥ−ＴＲＦ）の一実施形態が示されている。
【００６０】
2008508750.tif 000007
【００６１】
2008508750.tif 000008
【００６２】
2008508750.tif 000009
【００６３】
埋め込まれたモーション推定及び時間フィルタ係数計算器３１５を説明する前に、ある理論的な背景を紹介することが重要である。以下、埋め込まれたモーション推定の概念及び最小ノイズ分散基準について説明する。
【００６４】
埋め込まれたモーション推定の概念
2008508750.tif 000010
【００６５】
更に、各フレームにおける入力ランダムノイズのゼロ平均成分がイメージ信号と独立していると仮定する。各ピクセル（ｃ、ｒ）において、モーション及びノイズ性イメージは次のように定義される。
2008508750.tif 000011
【００６６】
2008508750.tif 000012
【００６７】
2008508750.tif 000013
【００６８】
更に、式（５）におけるピクセルベースのモーション値ｍの定義は、実世界の用途に常に適するものではない通常のモーションモデルとは異なる。ｍについてここに提案するモーション値定義の使用は、シーンの変化が生じるときでも妥当と思われる。最終的に、イメージ比に対応する同様の乗法的モーション値定義を乗法性ノイズに対して使用することができる。
【００６９】
ノイズ減少器の開発には推定モーション値が要求されるので、ここに提案する技術は、「埋め込まれたモーション推定(Embedded Motion Estimation)」（ＥＭＥ）と称される。非直線的フィルタリングのためのコストのかかる時間的解決策とは異なり（A. K. Katsaggelos、R. P. Kleihorst、S. N. Efstratiadis、及びR. L. Lagendijk氏の“Adaptive Image Sequence Noise Filtering Methods”、ＳＰＩＥ、第１６０６巻、Visual Communication and Image Processing、１９９１年、第７１６−７２７ページ、参照）、本書におけるモーション情報は、主として、空間的ドメインにおいて抽出される。
【００７０】
当該ピクセルを取り巻くスライディングウインドウについて考えると、式（５）のモデルで、ｍの局所値を、処理ウインドウにおける差のイメージ（ｔ−ｇ）の平均により推定することができる。平均推定に対してある程度の精度を得るために、ウインドウにおける相対的座標（ｉ、ｊ）のピクセルを、２つのセット、即ち座標（ｃ、ｒ）の考えられるピクセルと同様のもの又はそうでないものに分類することができる。これは、基本的に、以前のモジュールの式（２）で既に表わされた形状適応性ウインドウ技術である。
【００７１】
2008508750.tif 000014
【００７２】
2008508750.tif 000015
【００７３】
ｇ及びｔの定義を式（５）に代入し、そしてウインドウ内の選択されたピクセルに対する定数値をｍと仮定すれば、次の式が得られる。
2008508750.tif 000016
2008508750.tif 000017
【００７４】
最終的に、式（１１）から、更に、次のように示すことができる。
2008508750.tif 000018
及び
2008508750.tif 000019
【００７５】
2008508750.tif 000020
【００７６】
時間リカーシブフィルタ及び最小残留ノイズ分散基準
時間的フィルタ出力における残留ノイズは、式（７）で与えられる。座標（ｃ、ｒ）の考えられるピクセルにおいて、等価ノイズｎ１が定義され、これは、過去のフィルタリングされたノイズと、モーション値の非バイアスの推定とで構成される。
2008508750.tif 000021
【００７７】
式（７）及び（１４）から、フィルタリングされた残留ノイズ出力の分散は、次の式で計算することができる。
2008508750.tif 000022
【００７８】
性能を最適化するために、最小ノイズ分散基準が現在フィルタに使用される。フィルタ係数ｂ0は、次のように決定されることが示される。
2008508750.tif 000023
但し、εは、最終的な過剰精度を克服するための１／８又は１／１６のような小さなオフセット値である。この式において決定されるべき２つの残りの未知の値は、２つあり、即ち等価ノイズ分散σ2n1と、分散ｃｏｖn,n1である。
【００７９】
ｃｏｖn,n1＝Ｅ｛ｎ．ｎ1｝−Ｅ｛ｎ｝．Ｅ｛ｎ1｝の定義と、等価ノイズｎ1の次の式から、
2008508750.tif 000024
次のことが示される。
ｃｏｖn,n1＝σ2n／Ｎ                                        (18)
【００８０】
等化ノイズ分散σ2n1は、次のように定義された項ｈで計算される。
2008508750.tif 000025
【００８１】
項ｈは、ゼロ平均のランダムプロセスである。更なる計算で、次のものが得られる。
2008508750.tif 000026
又は
2008508750.tif 000027
【００８２】
2008508750.tif 000028
【００８３】
式（１６）で与えられたフィルタ係数ｂ0は、次のようになる。
2008508750.tif 000029
【００８４】
ここに提案する実施形態では、項（１／Ｎ）が省略され、即ちｃｏｖn,n1＝０であり、σ2hは、Ｙ成分に対して０．７５に等しく且つＣｒ及びＣｂ成分に対して１に等しいファクタＣで重み付けされ、そしてεは、（１／８）にセットされる。
2008508750.tif 000030
【００８５】
更に、Ｃσ2h＜σ2nのときには、過剰なフィルタリングを減少するために、フィルタ係数ｂ0が実験値１５／６４に等しくセットされる。
2008508750.tif 000031
【００８６】
更なる空間的フィルタリングに必要な残留出力ノイズ分散は、次のものに等しい。
2008508750.tif 000032
但し、実験ファクタＧは、次のものに等しい。
2008508750.tif 000033
【００８７】
局所入力ノイズ電力が既知であるときには最小ノイズ分散が常に可能であることを述べることに価値がある。換言すれば、最小ノイズ分散は、固定の又は変化する局所入力ノイズ電力に制限されない。
【００８８】
図４を参照すれば、埋め込まれたモーション推定及び時間リカーシブフィルタ係数計算器が示されている。図４は、前記理論的セクションのハードウェア又はソフトウェア実施形態を表わしている。
【００８９】
埋め込まれたモーション推定及び時間リカーシブフィルタ係数計算器３５１は、４つの信号、即ちノイズ性ビデオ入力信号ｇ１０１、ノイズ性分散信号１０５、ノイズ形式信号１１０、及び場合に応じて、以前のフィルタリングされた信号ｔ３０８又は古典的なモーション補償された以前の信号ｔｃ４１６を受信する。
【００９０】
2008508750.tif 000034
【００９１】
形状適応性ウインドウ技術の一部分であるローパスフィルタ５０３は、ノイズに対する健全さのために使用される。ここに提案するそのインパルス応答は、次のように与えられる。
2008508750.tif 000035
【００９２】
ローパスフィルタの出力５０４は、形状適応性ウインドウ５０６へ与えられ、これは、次いで、局所２進分類結果ωij（ｃ、ｒ）５０７及びそれに対応する合計数Ｎ（ｃ、ｒ）５０８を与える。ここに開示する実施形態では、ウインドウサイズが、５行ｘ１１列である。式（２）及び（３）により既に示されたこれら２つの信号は、形状適応性ウインドウ平均推定器５０９及び形状適応性ウインドウ分散推定器５２２に与えられる。
【００９３】
2008508750.tif 000036
【００９４】
信号ｈの分散σ2hも、形状適応性ウインドウ技術により計算される。次いで、信号（−ｈ）５１９が最初に二乗装置５２０に印加され、そこからの出力５２１と、形状適応性ウインドウパラメータ信号５０７及び５０８が、形状適応性ウインドウ分散計算器５２２に印加される。実際の目的として、形状適応性ウインドウ分散計算器５２２は、式（２１）の変形バージョンを実施し、そしてビデオ成分の実験ファクタ関数をＣとすれば、その出力５２３にＣσ2hを発生する。より正確には、出力５２３は、次の式で与えられる。
2008508750.tif 000037
【００９５】
上述したように、出力ノイズ分散を最小にするために必要な出力５２３は、入力ノイズ電力σ2n１０５と共にＭＮＶフィルタ係数計算器５２４へ与えられる。ＭＮＶフィルタ係数計算器５２４は、式（２３）に基づいてフィルタ係数値ｂ0を決定する。その決定されたｂ0信号５２５は、実際の精錬化装置５２６へ送られる。
【００９６】
この実際の精錬化装置５２６は、決定されたｂ0信号５２５、分散信号Ｃσ2h５２３、及び入力ノイズ電力σ2n１０５を受信し、そして式（２４）で与えられたある特定の条件に対してフィルタ係数値ｂ0を変更して、最終的な係数値信号ｂ0３１２を発生する。この最終的な係数値信号ｂ0３１２は、図３に示す時間リカーシブ一次フィルタ３００又は図４に示す４００のための最終的な係数であることが明らかであろう。
【００９７】
2008508750.tif 000038
【００９８】
2008508750.tif 000039
【００９９】
最終的に、ここに提案する埋め込まれたモーション推定、及び残留ノイズ減少器の最小化は、非リカーシブ構造に対して機能するものであることを述べることに価値がある。しかしながら、リカーシブノイズ減少器は、良好な結果を与えることが意図される。
【０１００】
図６を参照すれば、形状適応性ウインドウの空間的ノイズ減少器（ＳＡＷ−ＳＮＲ）の一実施形態が示されている。
【０１０１】
形状適応ウインドウ空間的ノイズ減少器（ＳＡＷ−ＳＮＲ）は、米国特許第６，６３３，６８３号に開示されている。しかしながら、ゆっくり変化する領域に導入されるバンディング欠陥作用、及びある通常形式のノイズに対する一般的な最小平均二乗エラー構造は、考慮されていない。
【０１０２】
空間的ノイズ減少器モジュールは、Lee氏のオリジナルの最小平均二乗エラー（ＭＭＳＥ）減少の変形態様であり（J. S. Lee氏の“Digital Image Enhancement and Noise filtering”、IEEE Trans. on Pattern Analysis and Machine Intelligence、第Pami-2巻、第２号、１９８０年３月）、これは、次のように表わすことができる。
【０１０３】
オリジナルイメージをｆ（ｃ、ｒ）とし、ノイズ性イメージｇ（ｃ、ｒ）を入力とすると、ｇ（ｃ、ｒ）＝ｆ（ｃ、ｒ）＋ｎ（ｃ、ｒ）となり、最終的に、ｙ（ｃ、ｒ）がフィルタリングされたバージョンとなる。２つの一次局所統計値、即ちイメージの平均ｍ（ｃ、ｒ）及び分散σ2g（ｃ、ｒ）が既知である場合には、加法的ゼロ平均及び基地の分散σ2n（ｃ、ｒ）ノイズに対して、フィルタリングされた信号出力は、次の式で与えられ、
y(c,r) = m(c,r) + K(c,r)[g(c,r)-m(c,r)]                              (27)
ここで、次のようになる。
K(c,r) = max [0, (σ2g(c,r) - σ2n(c,r))/σ2g(c,r)]                    (28)
一方、エラー性能は、次のように書かれる。
2008508750.tif 000040
【０１０４】
単一の直線的推定器の場合、Lee氏のアルゴリズムは、ｍ（ｃ、ｒ）、σ2g（ｃ、ｒ）が既知であり、且つσ2g（ｃ、ｒ）＞σ2n（ｃ、ｒ）であるときに、完全である。しかしながら、実際の状況について、２つの一次局所統計値ｍ（ｃ、ｒ）及びσ2g（ｃ、ｒ）は未知であり、推定する必要がある。他方、σ2g（ｃ、ｒ）＜σ2n（ｃ、ｒ）であるときには、Ｋ（ｃ、ｒ）＝０を使用して、オリジナルイメージに含まれた小さな細部が、式（２９）で示すように、破壊される。
【０１０５】
ＳＮＲの以下の説明において、ここに提案する変形は、３つの主たる技術、即ち局所平均及び分散推定のための形状適応性ウインドウ動作（ＳＡＷ）、小さな信号分散の場合のバンディング作用減少（ＢＥＲ）、及び一般的なノイズ減少構造のためのノイズ電力コンバータの合体を含む。
【０１０６】
図１に示された空間的ノイズ減少器１０９は、３つの成分（Ｙ、Ｃｒ、Ｃｂ）の時間的にフィルタリングされたビデオ信号１０７と、時間リカーシブノイズ減少器１０６により与えられる対応する推定残留ノイズ電力１０８とを受け取る。
【０１０７】
図６において、ビデオ信号１０７は、４つのユニット又は装置、即ちローパスフィルタ６０１、形状適応性ウインドウ平均推定器６０７、形状適応性ウインドウ分散推定器６０８、及び減算演算子６０９の正の入力に供給される。
【０１０８】
形状適応性ウインドウ技術の一部分であるローパスフィルタ６０１は、次のインパルス応答により与えられる。
2008508750.tif 000041
【０１０９】
ローパスフィルタ６０１の出力は、形状適応性ウインドウ６０４に送られ、これは、次いで、局所２進分類結果ωij（ｃ、ｒ）６０５及びそれに対応する合計数Ｎ（ｃ、ｒ）６０６を発生する。
【０１１０】
ここに開示する実施形態では、ウインドウサイズが５ｘ５である。これら２つの信号は、形状適応性ウインドウ平均推定器６０７及び形状適応性ウインドウ分散推定器６０８に送られ、次の出力信号６１０及び６１２を各々発生する。
2008508750.tif 000042
2008508750.tif 000043
【０１１１】
2008508750.tif 000044
【０１１２】
図７を参照すれば、適応性利得計算器の実施形態が示されている。
適応性利得計算器は、入力イメージ１０７の局所分散６１２及びイメージ入力における残留ノイズ分散σ2nS１０８を受け取る。
【０１１３】
2008508750.tif 000045
【０１１４】
2008508750.tif 000046
【０１１５】
クロミナンスの場合には、小スレッシュホールド７１１値は、より限定的である。比較器７１４は、次のテストで、２進信号出力ｂｓＣ（ｃ、ｒ）７１５を与える。
2008508750.tif 000047
【０１１６】
前記２進信号の１つがセレクタ７１６により選択される。ｂｅ（ｃ、ｒ）と示されるセレクタ出力１１７は、セレクタ７０９を制御するのに使用され、これは、最終的に、適応性利得Ｋ（ｃ、ｒ）６１４を与える。
2008508750.tif 000048
【０１１７】
それ故、換言すれば、ノイズ性信号分散が非常に小さいときには、信号にフィルタを適用する必要がないことが明らかである。
局所適応性利得Ｋ（ｃ、ｒ）信号６１４は、最小平均二乗エラーフィルタリングを完了するために乗算器６１５に送られる。
【０１１８】
図８を参照すれば、領域適応性正面ベースの空間的ノイズ減少器（ＲＡＦＢ−ＳＮＲ）の一実施形態が示されている。
【０１１９】
上述したように、空間的フィルタリングにＭＭＳＥ基準を利用するために、局所信号の平均及び分散値をある精度で知ることが必要である。平均及び分散推定に対して提案されたＳＡＷは、オリジナル信号が一定でなくゆっくり変化しそして傾斜した小面（断片的一次モデル）又は断片的二次モデルとして局所的に表わされるときには、必ずしも正確でない。一次対二次モデルを選択するためには、簡単なイメージセグメント化が要求される。断片的一次モデルは、フラットな領域に対して適用され、それ以外は、断片的二次モデルが適用される。従って、イメージセグメント化は、小面モデルの次数決定を適応させるのに有用である。
【０１２０】
推定された平均値は、ノイズ除去信号値として使用される。以下の説明では、領域適応性小面ベースの空間的ノイズ減少器（ＲＡＦＢ−ＳＮＲ）が提案される。この空間的ノイズ減少器は、２つの異なる革新、即ち、（ａ）ＭＭＳＥノイズ除去技術、（ｂ）セグメント化領域に基づく小面モデル（断片的一次又は断片的二次）適応を備えている。
【０１２１】
図８に示すＲＡＦＢ−ＳＮＲ１１１は、ＴＦ１０６から与えられる残留ノイズ性３成分（Ｙ、Ｃｒ、Ｃｂ）ビデオ１０７、及びそれらに対応する推定ノイズ電力１０８を受け取る。
【０１２２】
受け取ったビデオ１０７は、適応性小面パラメータ計算器８０３、加算器８１０、小面ベースの局所分散推定器８０６、及びイメージセグメント化モジュール８０１へ印加される。
【０１２３】
イメージセグメント化モジュール８０１は、２進信号出力８０２に、フラット領域／非フラット領域を与える。当業者であれば、フラット／非フラットセグメント化は、複数の考えられる処理技術により行うことができよう。フラット／非フラット領域信号８０２は、適応性小面パラメータ計算器８０３へ送られる。
【０１２４】
本発明に使用される小面パラメータは、最小二乗適合において、座標（ｃ、ｒ）を中心とするウインドウ内で到来信号ｙ（ｉ、ｊ；ｃ、ｒ）を近似する係数ｂ0（ｃ、ｒ）、ｂ1（ｃ、ｒ）、・・・ｂ5（ｃ、ｒ）である。
2008508750.tif 000049
【０１２５】
この式は、中心ピクセルが非フラット領域に属すると分類されたときに使用される。推定フラット領域信号については、係数ｂ3、ｂ4及びｂ5がゼロに等しくセットされる。
係数ｂ0（ｃ、ｒ）は、更に、局所信号の平均信号１００４に対応する。
平均（ｃ、ｒ）＝ｂ0（ｃ、ｒ）
【０１２６】
６個の係数ｂk（ｃ、ｒ）８０４及び８０５が、小面ベースの局所分散推定器１００６へ送られ、これは、次いで、次の式により分散信号８０７を与える。
2008508750.tif 000050
【０１２７】
局所分散信号８０７及び残留ノイズ電力σ2nS１０８は、適応性利得計算器８０８により一緒に使用され、この計算器は、次いで、利得信号Ｋ８０９を発生する。ＭＭＳＥ基準に基づく適応性利得Ｋ計算器は、既に説明した。
【０１２８】
加算器８１０、乗算器８１２及び加算器８１４は、ＭＭＳＥノイズ除去信号出力１０３を形成するのに使用される。
【０１２９】
図９を参照すれば、複数ノイズ形式空間的ノイズ減少（ＭＴ−ＳＮＲ）装置の第２実施形態が示されている。
【０１３０】
経済的な目的で、又は単一イメージの場合には、時間的フィルタが除去されてもよい。従って、このような用途では、一般的な空間的ノイズ減少器が必要とされるだけである。図９に示す複数ノイズ形式の空間的ノイズ減少（ＭＴ−ＳＮＲ）は、所与の５つの形式のノイズに対して提案されたものである。
【０１３１】
複数ノイズ形式の空間的ノイズ減少（ＭＴ−ＳＮＲ）は、２つのメインブロック、即ちノイズ電力コンバータ１０４及び空間的ノイズ減少器（ＳＮＲ）１０９を備えている。既に述べたノイズ電力コンバータ１０４は、不変のままである。ＳＡＷ−ＳＮＲ又はＲＡＦＢ−ＳＮＲのいずれかで実現されるＳＮＲ１０９も不変であるが、その入力（１０７）及び（１０８）は、ここでは、ビデオ入力信号１０１及び推定等価加法性ノイズ電力信号１０５を各々受け容れる。
【０１３２】
例えば、提案された等価加法性ノイズ電力がσ2n＝μ2．σ2uであるような乗法性ノイズＮ２の場合を考える。その結果を、式（２８）の最小平均二乗エラーに対して基本的な基礎部分に代入すると、次のようになる。
2008508750.tif 000051
2008508750.tif 000052
【０１３３】
σ2uは、一般に、１に比して非常に小さいので、その結果は、線形一次の最小平均二乗エラーの最適なものに匹敵する。
2008508750.tif 000053
【０１３４】
個別のデータ信号接続を経て互いに通信する個別コンポーネントのグループとしてブロック図で示されたが、当業者であれば、好ましい実施形態は、ハードウェア及びソフトウェアコンポーネントの組み合せにより設けられ、あるコンポーネントは、ハードウェア又はソフトウェアシステムの所与のファンクション又はオペレーションにより実施され、そしてここに示すデータ経路の多くは、コンピュータアプリケーション又はオペレーティングシステム内のデータ通信により実施されることが理解されよう。従って、ここに示す構造は、本発明の好ましい実施形態を効率的に教示するために設けられたものである。
【０１３５】
本発明は、方法として実施することもできるし、システムで実施することもできるし、コンピュータ読み取り可能な媒体、或いは電気的又は電磁信号で実施することもできることに注意されたい。
【０１３６】
上述した本発明の実施形態は、単なる例示に過ぎない。それ故、本発明の範囲は、特許請求の範囲のみによって限定されるものとする。
【図面の簡単な説明】
【０１３７】
【図１】複数ノイズ形式のノイズ減少（ＭＴＮＲ）装置の好ましい実施形態を示すブロック図である。
【図２】本発明により５つの所与の形式のノイズのノイズ電力変換の一実施形態を示すブロック図である。
【図３】埋め込まれたモーション推定の時間リカーシブフィルタの一実施形態のブロック図である。
【図４】古典的モーション補償を伴う埋め込まれたモーション推定の時間リカーシブフィルタの一実施形態のブロック図である。
【図５】埋め込まれたモーション推定の時間フィルタの係数計算器の一実施形態のブロック図である。
【図６】形状適応性ウインドウ動作の空間的ノイズ減少器の一実施形態のブロック図である。
【図７】適応性利得Ｋ計算器の一実施形態のブロック図である。
【図８】領域適応性小面ベースの空間的ノイズ減少器の一実施形態のブロック図である。
【図９】複数ノイズ形式の空間的ノイズ減少（ＭＴ−ＳＮＲ）装置の別の実施形態のブロック図である。
【図１】
2008508750.tif 000060
【図２】
2008508750.tif 000061
【図３】
2008508750.tif 000062
【図４】
2008508750.tif 000063
【図５】
2008508750.tif 000064
【図６】
2008508750.tif 000065
【図７】
2008508750.tif 000066
【図８】
2008508750.tif 000067
【図９】
2008508750.tif 000068
【国際調査報告】
2008508750.tif 000069
2008508750.tif 000070