(57)【要約】【課題】解像度感を維持しつつ、残差成分からインパルスノイズを効果的に除去できる画像処理方法及び画像処理装置を提供すること。【解決手段】本発明は、入力画像を、エッジ成分と平坦成分からなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離し、前記入力画像の各画素のインパルスノイズ性を示すインパルスノイズマップを生成し、前記インパルスノイズマップに基づいて、注目画素がインパルスノイズでない場合は、前記残差成分からテクスチャ成分を抽出し、注目画素がインパルスノイズである場合には注目画素の前記残差成分を零方向に減衰し、前記骨格成分と前記残差成分から抽出したテクスチャ成分とを合成し、出力画像を生成する画像処理方法である。【選択図】図１
2014179689.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を、エッジ成分と平坦成分からなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離し、
前記入力画像の各画素のインパルスノイズ性を示すインパルスノイズマップを生成し、
前記インパルスノイズマップに基づいて、注目画素がインパルスノイズでない場合は、前記残差成分からテクスチャ成分を抽出し、注目画素がインパルスノイズである場合には注目画素の前記残差成分を零方向に減衰し、
前記骨格成分と前記残差成分から抽出したテクスチャ成分とを合成し、出力画像を生成する
画像処理方法。
【請求項２】
前記インパルスノイズマップは、前記入力画像の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて生成する
請求項１に記載の画像処理方法。
【請求項３】
前記インパルスノイズマップは、前記残差成分の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて生成する
請求項１に記載の画像処理方法。
【請求項４】
前記インパルスノイズマップに基づいて、
前記注目画素がインパルスノイズでないとみなす閾値以下又は未満の時は、前記注目画素の前記残差成分からテクスチャ成分を抽出し、
前記注目画素がインパルスノイズであるとみなす閾値以上又は大きい時は、前記注目画素の前記残差成分を零方向に減衰し、
それ以外の場合は、前記注目画素の前記インパルスノイズ性に基づいて、前記残差成分から抽出するテクスチャ成分を調整する
請求項１から請求項３のいずれかに記載の画像処理方法。
【請求項５】
前記成分分離法は、前記インパルスノイズマップに基づいて、入力画像をエッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する
請求項１から請求項４のいずれかに記載の画像処理方法。
【請求項６】
前記インパルスノイズマップと前記骨格成分とに基づいて、前記残差成分から、テクスチャ成分とエッジ成分とを抽出する
請求項１から請求項４のうちのいずれかに記載の画像処理方法。
【請求項７】
入力画像を、エッジ成分と平坦成分からなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する成分分離手段と、
前記入力画像の各画素のインパルスノイズ性を示すインパルスノイズマップを生成するインパルスノイズマップ生成手段と、
前記インパルスノイズマップに基づいて、注目画素がインパルスノイズでない場合は、前記残差成分からテクスチャ成分を抽出し、注目画素がインパルスノイズである場合には注目画素の前記残差成分を零方向に減衰する残差縮退手段と、
前記骨格成分と前記残差成分から抽出したテクスチャ成分とを合成し、出力画像を生成する成分合成手段と
を有する画像処理装置。
【請求項８】
前記インパルスノイズマップ生成手段は、前記入力画像の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて、前記インパルスノイズマップを生成する
請求項７に記載の画像処理装置。
【請求項９】
前記インパルスノイズマップ生成手段は、前記残差成分の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて、前記インパルスノイズマップを生成する
請求項７に記載の画像処理装置。
【請求項１０】
前記残差縮退手段は、
前記インパルスノイズマップに基づいて、
前記注目画素がインパルスノイズでないとみなす閾値以下又は未満の時は、前記注目画素の前記残差成分からテクスチャ成分を抽出し、
前記注目画素がインパルスノイズであるとみなす閾値以上又は大きい時は、前記注目画素の前記残差成分を零方向に減衰し、
それ以外の場合は、前記注目画素の前記インパルスノイズ性に基づいて、前記残差成分から抽出するテクスチャ成分を調整する
請求項７から請求項９のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
画像処理技術の中でも、画像に含まれるノイズを低減する技術は、撮像した画像をより鮮明に再現するために、欠かせない技術である。画像に含まれるノイズは、図２（ａ）に示すような加法性白色ガウスノイズや図２（ｂ）に示すようなインパルスノイズがある。原信号をｓ、ノイズで劣化した信号をｚとする。このとき、図２（ａ）の加法性白色ガウスノイズは、ノイズｎＧの振幅がガウス分布に従うとすると、
ｚ＝ｓ＋ｎＧ
で表される。
【０００３】
一方、図２（ｂ）のインパルスノイズは、インパルスノイズｎＩの発生確率をｐとすると、
2014179689.tif 000003
で表される。なお、信号の最小値が0.0、最大値が1.0であるとすると、ｎＩ＝0.0、又は、ｎＩ＝1.0のとき、つまり、ｎＩが信号の最小値または最大値である場合のノイズをごま塩ノイズといい、ｎＩが0.0から1.0までの範囲の値であるとき、つまり、ｎＩがある確率分布（例えば一様分布）で信号の最小値から最大値までの範囲の値を取る場合のノイズをランダム値インパルスノイズという。
【０００４】
一般的に、インパルスノイズの振幅は加法性白色ガウスノイズの振幅と比較して大きい。
【０００５】
画像に含まれるノイズを低減する技術としては、例えば、非特許文献１に開示された技術である全変分（Total Variation）ノルム最小化法（以下、ＴＶ法）が広く用いられている。
【０００６】
ここで、ＴＶノルムとは、隣接する信号間の差分の絶対値を全信号区間で足しあわせたものであり、信号ｕのＴＶノルムは以下の式（１）で定義される。
2014179689.tif 000004
ここで、
2014179689.tif 000005
は偏微分オペレータを示す。
【０００７】
図３から図５にＴＶノルムの例を示す。図３に示すなだらかな変化の信号（平坦な信号）と図４に示す急峻なエッジを含む信号では、同じＴＶノルムとなる。また、図５に示すように、信号値が振動するようなとき、ＴＶノルムは大きな値となる。つまり、ＴＶノルムは、不連続成分を考慮した、信号の滑らかさを表す指標ということができる。
【０００８】
ＴＶ法では、ノイズを含む入力信号ｆに対し、以下の最小化問題を解くことで、画像のエッジや平坦領域を含む骨格成分ｕを計算する。
2014179689.tif 000006
式（２）の第一項は骨格成分ｕのＴＶノルム、第二項は忠実度パラメータλに基づく制約項を示す。
【０００９】
図６を用いて、上述の式（２）を説明する。図６中の実線で示した信号を、ノイズを含む入力信号ｆとする。図６中の破線で示した信号ｕ１と図６中の点線で示した信号ｕ２のＴＶノルムはそれぞれ10であり、等しい。しかし、原信号ｆと骨格成分ｕが乖離するほど第二項は大きくなるため、上述の式（２）を最小化するには、より原信号ｆに近い、点線で示した信号が骨格成分ｕとして計算される。
【００１０】
以上により、ＴＶ法は、ノイズを含む入力画像を、画像のエッジや平坦領域を含む骨格成分 （ＴＶノルム小）と、テクスチャやノイズを含む残差成分（ＴＶノルム大）に分離することが可能となる。
【００１１】
ここで、骨格成分には振動成分であるテクスチャも含まれないため、不自然に平坦な画像となる（解像度感が喪失する）場合がある。
【００１２】
そこで、残差成分ｖに対して、ノイズを減衰させる残差縮退（Residual Shrinkage, RS）を適用し、式（３）のようにノイズが低減された残差成分（すなわち、テクスチャ）ｖ’を骨格成分に重畳することで、ノイズが除去されつつ、解像度感も維持された出力画像ｆ’を得ることが可能となる。
2014179689.tif 000007
式中のｖ’は残差縮退関数Ｆｒｅｓｉｄを用いて、以下の式（４）で表される。
2014179689.tif 000008
なお、τは縮退関数のパラメータである。
【００１３】
残差縮退関数Ｆｒｅｓｉｄの例としては、以下の式（５）で表すような、残差信号値ｖを零方向に向かって一定値減衰させる方法（軟縮退処理, Soft Shrinkage）がある。
2014179689.tif 000009
式（５）中、ｓｉｇｎ（ｖ）はｖの符号、ｍａｘ（ａ，ｂ）はａ，ｂのうち、大きい方の値を採用することを表す。また、τはノイズの強度に基づいて設定する値である。式（５）の入出力関係を図７に示す。
【００１４】
なお、上述のＧｓｏｆｔ以外に、以下の式（６）のＧｈａｒｄで表すような、残差信号値ｖの絶対値が閾値τ以下（あるいは閾値未満）の時は零にし、それ以外の時は何も処理しない方法（硬縮退処理, Hard Shrinkage）や、式（７）のＧｆａｃｔｏｒで表すような、残差信号値ｖに0.0以上1.0以下の値τを乗じて減衰させる方法（Factor Shrinkage）を用いることも可能である。
2014179689.tif 000010
2014179689.tif 000011
式（６）及び式（７）の入出力関係を図８及び図９に示す。
【００１５】
入力信号を骨格成分と残差成分に分離する方法（成分分離法）は、上述のＴＶ法に限定されず、例えば、非特許文献２のバイラテラルフィルタや、非特許文献３のウェーブレット縮退などを用いることも可能である。
【００１６】
図１０は成分分離法とＲＳを組み合わせた画像処理方法を説明するための図である。
【００１７】
図１０の画像処理方法は、成分分離手段１１と、残差縮退手段１３と成分合成手段１４とを備える。
【００１８】
成分分離手段１１は、入力画像ｆに対し、ＴＶ法などの成分分離法を適用して、骨格成分ｕと残差成分ｖを得る。得られた骨格成分ｕを成分合成手段１４に、残差成分ｖを残差縮退手段１３に出力する。
【００１９】
残差成分縮退手段１３は、成分分離手段１１から供給された残差成分ｖに対し、式（５）（あるいは、式（６）、式（７））に基づくＲＳを適用して、ノイズを除去したテクスチャｖ’を得る。得られたテクスチャｖ’を成分合成手段１４に供給する。
【００２０】
成分合成手段１４は、成分分離手段１１から供給される骨格成分ｕ、及び残差縮退手段１３から供給されるテクスチャｖ’を用いて、式（３）に基づき出力画像ｆ’を得る。
【００２１】
出力画像ｆ’はエッジ・平坦領域・テクスチャから構成され、ノイズは除去される。
【先行技術文献】
【非特許文献】
【００２２】
【非特許文献１】L. Rudin, S. Osher, and E. Fatemi, "Nonlinear total variation based noise removal algorithms," Physic D, vol. 60, pp. 259-268, 1992.
【非特許文献２】C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE International Conference on Computer Vision, Bombay, India.
【非特許文献３】D. L. Donoho, "De-noising by soft-thresholding," IEEE Transactions on Information Theory, Volume 41, Issue 3, 1995.
【発明の概要】
【発明が解決しようとする課題】
【００２３】
しかしながら、非特許文献１の技術は、入力画像にインパルスノイズが含まれるとき、解像度感を維持しつつ、残差成分からインパルスノイズを十分除去することができなかった。
【００２４】
図１１はインパルスノイズを含む残差信号に対してのＲＳを説明するための図である。
【００２５】
一般的なノイズ信号はＲＳによって減衰され、残ったテクスチャ成分は骨格成分に重畳されることで解像度感を維持できる。一方、インパルスノイズは、一般的なノイズ信号やテクスチャ信号と比較して大きな値を持つため、ＲＳでインパルスノイズを除去するには大きな値の閾値を設定するか乗数を0に設定する必要がある。
【００２６】
しかし、この場合、大きな値の閾値によって、テクスチャ信号はほぼすべて除去されるため、出力画像の解像度感が喪失してしまうという課題があった。
【００２７】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、解像度感を維持しつつ、残差成分からインパルスノイズを効果的に除去できる画像処理方法及び画像処理装置を提供することにある。
【課題を解決するための手段】
【００２８】
本発明は、入力画像を、エッジ成分と平坦成分からなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離し、前記入力画像の各画素のインパルスノイズ性を示すインパルスノイズマップを生成し、前記インパルスノイズマップに基づいて、注目画素がインパルスノイズでない場合は、前記残差成分からテクスチャ成分を抽出し、注目画素がインパルスノイズである場合には注目画素の前記残差成分を零方向に減衰し、前記骨格成分と前記残差成分から抽出したテクスチャ成分とを合成し、出力画像を生成する画像処理方法である。
【００２９】
本発明は、入力画像を、エッジ成分と平坦成分からなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する成分分離手段と、前記入力画像の各画素のインパルスノイズ性を示すインパルスノイズマップを生成するインパルスノイズマップ生成手段と、前記インパルスノイズマップに基づいて、注目画素がインパルスノイズでない場合は、前記残差成分からテクスチャ成分を抽出し、注目画素がインパルスノイズである場合には注目画素の前記残差成分を零方向に減衰する残差縮退手段と、前記骨格成分と前記残差成分から抽出したテクスチャ成分とを合成し、出力画像を生成する成分合成手段とを有する画像処理装置である。
【発明の効果】
【００３０】
本発明によれば、解像度感を維持しつつ、インパルスノイズを効果的に除去することができる。
【図面の簡単な説明】
【００３１】
【図１】図１は本発明の第一の実施の形態である画像処理方法を説明するための図である。
【図２】図２はノイズの種類を説明するための図である。
【図３】図３はなだらかに信号が変化する領域におけるＴＶノルムを示す図である。
【図４】図４はエッジを含む領域におけるＴＶノルムを示す図である。
【図５】図５は振動成分を含む領域におけるＴＶノルムを示す図である。
【図６】図６はＴＶ法を説明するための図である。
【図７】図７は軟縮退処理（Soft Shrinkage）を説明するための図である。
【図８】図８は硬縮退処理（Hard Shrinkage）を説明するための図である。
【図９】図９は係数縮退処理（Factor Shrinkage）を説明するための図である。
【図１０】図１０は関連する画像処理方法を説明するための図である。
【図１１】図１１はインパルスノイズを含む残差信号にRSを適用してもインパルスノイズが残存する例である。
【図１２】図１２はＲＯＡＤの計算過程を説明するための図である。
【図１３】図１３はインパルスノイズを含む残差信号からインパルスノイズを除去する例を示した図である。
【図１４】図１４は本発明の第一の実施の形態である画像処理装置を説明するための図である。
【図１５】図１５は 本発明の第二の実施の形態である画像処理方法を説明するための図である。
【図１６】図１６は本発明の第二の実施の形態である画像処理装置を説明するための図である。
【図１７】図１７は 本発明の第三の実施の形態である画像処理方法を説明するための図である。
【図１８】図１８は本発明の第三の実施の形態である画像処理装置を説明するための図である。
【図１９】図１９は 本発明の第三の実施の形態である画像処理方法を説明するための図である。
【図２０】図２０は本発明の第三の実施の形態である画像処理装置を説明するための図である。
【発明を実施するための形態】
【００３２】
＜第一の実施の形態＞
本発明の第一の実施形態を説明する。
【００３３】
図１は、本発明の第一の実施の形態である画像処理方法を説明するための図である。
【００３４】
本発明の第一の実施の形態は、入力画像ｆに対して、成分分離法を適用し、骨格成分ｕと残差成分ｖを得る。さらに、入力画像の各画素に対してインパルスノイズ推定法を適用し、インパルスノイズの画素位置を示すインパルスノイズマップＭＩを得る。成分分離法の結果得られた残差成分ｖに対し、縮退パラメータτとインパルスノイズ推定の結果得られたインパルスノイズマップＭＩに基づいて残差縮退処理を適用し、ノイズ成分を除去したテクスチャ成分Ｆｒｅｓｉｄ（ｖ，τ，ＭＩ）を得る。得られたテクスチャ成分Ｆｒｅｓｉｄ（ｖ，τ，ＭＩ）を骨格成分に重畳して出力画像ｆ’を得る。本発明の実施の形態では、残差縮退処理において、注目画素位置がインパルスノイズでない場合には従来と同様の残差縮退処理を適用し、そうでない場合には注目画素位置における残差成分を従来の残差縮退処理より大きく零方向に減衰することを特徴とする。
【００３５】
ここで、成分分離法とは、全変分ノルム最小化法（ＴＶ法）やバイラテラルフィルタ、ウェーブレット縮退処理などである。以下の説明ではＴＶ法である場合について説明する。
【００３６】
また、インパルスノイズ推定法とは、非特許文献４（R. Garnett, T. Huegerich, C. Chui and W. J. He, "A UNIVERSAL NOISE REMOVAL ALGORITHM WITH AN IMPULSE DETECTOR," IEEE Transactions on Image Processing, vol. 14, pp. 1747-1754, 2005.）のRank-Ordered Absolute Difference (ＲＯＡＤ)、非特許文献５（Y. Dong, R. H. Chan, and S. Xu, "A DETECTION STATISTIC FOR RANDOM-VALUED IMPULSE NOISE," IEEE Transactions on Image Processing, vol. 16, pp. 1112-1120, 2007.）のRank-Ordered Logarithm Difference、非特許文献６（H. Hwang and R. A. Haddad, "Adaptive median filters: new algorithms and results", IEEE Trans. Image Process., vol. 4, pp.499 1995.）のAdaptive Median Detector、非特許文献７（T. Chen and H. R. Wu, "Adaptive impulse detection using center-weighted median filters", IEEE Signal Process. Lett., vol. 8, pp.1 2001.）のAdaptive Center Weighted Median Detectorなどである。以下の説明では、非特許文献４のＲＯＡＤの場合について説明する。
【００３７】
まず、成分分離手段１１における、入力画像ｆに対してＴＶ法に基づく成分分離を適用し、骨格成分ｕと残差成分ｖを得る処理について説明する。
【００３８】
骨格成分ｕは、上述の式（２）を最小化することで得られる。式（２）を最小化する方法としては、非特許文献８（A. Chambolle, "An algorithm for total variation minimization and applications," Journal of Mathematical Imaging and Vision, 20: pp. 89-97, 2004.）のChambolle の射影法を用いることができる。
【００３９】
Chambolle の射影法では、骨格成分ｕを、ｕ＝ｆ−λｄｉｖｐを計算することで求める。ｄｉｖはダイバージェンス計算を表す。このｐは以下の式を反復することで得られる。
2014179689.tif 000012
ここで、式中の
2014179689.tif 000013
は画素位置（ｉ，ｊ）におけるｎ＋１回目の計算結果、ｐ０＝０、τは最急降下法のステップ幅を示し、
2014179689.tif 000014
とすればよいとされる。
【００４０】
次に、入力画像ｆと骨格成分ｕを用いて、残差成分を以下の式（９）のように求める。
2014179689.tif 000015
得られた骨格成分ｕは成分合成手段１４に、残差成分ｖは残差縮退手段１３に供給される。
【００４１】
続いて、インパルスノイズマップ生成手段１２における、入力画像ｆに対して非特許文献４のＲＯＡＤに基づくインパルスノイズ推定（Impulse Noise Detector, IND）を適用し、インパルスノイズマップＭＩを得る処理について説明する。
【００４２】
図１２は、ＲＯＡＤの処理を説明するための図である。
【００４３】
ＲＯＡＤは画像中の各画素に対して計算される。まず、注目画素を中心とする３×３画素を抽出する（図１２左上）。図１２左上の例では１８６が注目画素である。続いて、注目画素とそれに隣接する８画素の間で絶対値差分計算を行う（図１２右上）。こうして得られた８個の差分値を、昇順に並び替え、小さい方からｎ個抽出する（図１２左下）。図１２左下では、ｎ＝４としている。最後に、抽出したｎ個の差分値を足しあわせる。（図１２右下）。こうして得られた差分値の合計値をＲＯＡＤ値と呼ぶ。
【００４４】
ＲＯＡＤ値は、注目画素がインパルスノイズである場合には大きな値となり、そうでない場合には小さな値となる。つまり、注目画素のインパルスノイズ性を示す指標となる。
【００４５】
入力画像ｆの全画素に対してＲＯＡＤ値を求め、閾値ｔＲＯＡＤを用いて、以下の式（１０）のようにインパルスノイズか否かの判定を行い、入力画像ｆに関するインパルスノイズマップＭＩを求める。
2014179689.tif 000016
式（１０）中、ＲＯＡＤ（ｉ，ｊ）は画素位置（ｉ，ｊ）におけるＲＯＡＤ値を示す。ＭＩ（ｉ，ｊ）＝１のとき画素位置（ｉ，ｊ）における画素がインパルスノイズであることを示す。
【００４６】
なお、上述のように、インパルスノイズ推定法は非特許文献４だけに限定されない。
【００４７】
こうして得られたインパルスノイズマップＭＩは残差縮退手段１３に供給される。
【００４８】
さらに、残差縮退手段１３における、成分分離法の結果得られた残差成分ｖに対し、縮退パラメータτとインパルスノイズ推定の結果得られたインパルスノイズマップＭＩに基づいて残差縮退を適用し、テクスチャ成分ｖ’を得る処理について説明する。
【００４９】
図１１で示したように、単純な残差縮退処理では、インパルスノイズを除去しきれず、出力画像中にインパルスノイズが残存してしまう。よって、図１３に示すように、インパルスノイズである成分についてはすべて零にする。
【００５０】
インパルスノイズマップＭＩについて、ＭＩ（ｉ，ｊ）＝１であるならば、残差成分ｖ（ｉ，ｊ）はインパルスノイズ由来であり、すべてノイズであると考えられる。よって、この場合、式（１１）のような残差縮退処理で値を零方向に大きく減衰する。
2014179689.tif 000017
式（１１）中のτＩは
2014179689.tif 000018
であり、
2014179689.tif 000019
とすれば、インパルスノイズに由来する残差成分は強制的に零となる。なお、式（１１）においては、式（５）の軟判定閾値処理を用いたが、式（６）の硬判定閾値処理や、式（７）のFactor Shrinkageを用いても良い。
【００５１】
最後に、成分合成手段１４における処理について説明する。成分分離で得られた骨格成分ｕに対して、テクスチャ成分ｖ’を重畳し、出力画像ｆ’を式（１２）のようにして得る。
2014179689.tif 000020
このように、本発明の第一の実施の形態では、残差縮退処理において、注目画素位置がインパルスノイズである場合には、注目画素位置における残差成分を零にし、そうでない場合には従来と同様の残差縮退処理を適用する。本発明の第一の実施の形態で述べた画像処理方法を用いることにより、残差成分からインパルスノイズを効果的に除去できる。
【００５２】
なお、当然ながら、式（１０）のように注目画素がインパルスノイズであるか否かを２値で表現するのではなく、式（１３）のような注目画素のインパルスノイズ性を示す関数を用いることも可能である。
2014179689.tif 000021
ここで、ｔＲＯＡＤ，１は注目画素がインパルスノイズであるとする閾値を表し、ｔＲＯＡＤ，０はインパルスノイズでないとする閾値を表す。
【００５３】
式（１３）のインパルスノイズマップを用いた残差縮退処理を、以下の式（１４）、式（１５）に示す。
2014179689.tif 000022
2014179689.tif 000023
式（１４）、式（１５）により、インパルスノイズ性の強い画素では残差成分を棄却し、インパルスノイズ性の弱い画素では残差成分を通常の残差縮退で処理し、それ以外の画素はインパルスノイズ性の強さに基づいて残差縮退の減衰量を調整する。
【００５４】
式（１０）のかわりに、式（１３）のインパルスノイズマップを用いることで、注目画素のインパルスノイズ性に基づいた適応的な処理が可能となり、ＲＯＡＤ値が閾値ｔＲＯＡＤ付近である場合で処理結果が大きく変わることを防ぐことができる。
【００５５】
次に、本発明の第一の実施の形態の画像処理装置を説明する。
【００５６】
図１４は図１に示す本発明の第一の実施の形態の画像処理装置のブロック図である。
【００５７】
図１４に示す本発明の第一の実施の形態の画像処理装置１００は、成分分離部１と、インパルスノイズマップ生成部２と、残差縮退部３と、成分合成部４と、を備える。
【００５８】
成分分離部１は、入力画像ｆを、式（２）を最小化して得られる骨格成分ｕと、式（９）に基づいて得られる残差成分ｖに分離する。そして、分離して得られた骨格成分ｕを成分合成部４に、分離して得られた残差成分ｖを残差縮退部３に出力する。
【００５９】
インパルスノイズマップ生成部２は、入力画像ｆから、式（１０）、あるいは式（１３）に基づいてインパルスノイズマップＭＩを生成する。そして、得られたＭＩを残差縮退部３に出力する。
【００６０】
残差縮退部３は、成分分離部１から残差成分ｖを、インパルスノイズマップ生成部２からインパルスノイズマップＭＩを受信し、式（１１）、あるいは式（１４）、式（１５）に基づいて残差縮退を適用し、テクスチャ成分ｖ’を得る。そして、得られたテクスチャ成分ｖ’を成分合成部４に出力する。
【００６１】
成分合成部４は、成分分離部１から骨格成分ｕを、残差縮退部３からｖ’を受信し、式（１２）に基づき出力画像ｆ’を得て、出力する。
【００６２】
本発明の第一の実施の形態によれば、注目画素のインパルスノイズ性に基づく残差縮退処理を導入することで、エッジを維持しつつ、インパルスノイズを効果的に除去できる。
【００６３】
＜第二の実施の形態＞
本発明の第二の実施の形態を説明する。
【００６４】
図１５は、本発明の第二の実施の形態である画像処理方法を説明するための図である。
【００６５】
第二の実施の形態では、図１５に示すように、インパルスノイズマップＭＩを作成するためのＲＯＡＤ値計算の入力を、入力画像ｆではなく、成分分離して得られた残差成分ｖとすることを特徴とする。
【００６６】
第二の実施の形態における残差縮退手段１３、成分合成手段１４は、第一の実施の形態と同様であるため説明を省略する。
【００６７】
成分分離手段１１は、第一の実施の形態と同様に入力画像ｆを骨格成分ｕと残差成分ｖに分離した後、骨格成分ｕを成分合成手段１４に、残差成分ｖを残差縮退手段１３に供給する。さらに、残差成分ｖをインパルスノイズマップ生成手段１２に供給する。
【００６８】
インパルスノイズマップ生成手段１２は、成分分離手段１１から供給された残差成分ｖに基づき、図１２に示した手順でＲＯＡＤ値を計算して、インパルスノイズマップＭＩを求める。こうして得られたインパルスノイズマップＭＩを残差縮退手段１３に供給する。
【００６９】
第二の実施の形態では、第一の実施の形態と異なり、インパルスノイズマップＭＩを計算するために、入力画像ｆではなく、成分分離手段１１から供給される残差成分ｖを用いる。図１２に示すＲＯＡＤ値計算の性質から、幅一画素のライン成分に対するＲＯＡＤ値は大きくなる傾向があり、閾値によってはライン成分がインパルスノイズと判定されて消失する可能性があるが、第二の実施の形態では幅一画素のライン成分は、成分分離手段１１で骨格成分ｕに含まれている。よって、残差成分ｖに対してＲＯＡＤ値を計算することで、ライン成分をインパルスノイズと誤判定することなく、インパルスノイズの画素を正確に推定することが可能となる。
【００７０】
図１６は、図１５に示す本発明の第二の実施の形態の画像処理装置のブロック図である。
【００７１】
図１６に示す本発明の第二の実施の形態の画像処理装置２００は、図１４の画像処理装置と同様に、成分分離部１と、インパルスノイズマップ生成部２と、残差縮退部３と、成分合成部４と、を備える。
【００７２】
残差縮退部３と、成分合成部４とは、図１４の画像処理装置１００と同じ動作を行う。
【００７３】
成分分離部１は、入力画像ｆを、式（２）を最小化して得られる骨格成分ｕと、式（９）に基づいて得られる残差成分ｖに分離する。そして、分離して得られた骨格成分ｕを成分合成部４に、分離して得られた残差成分ｖをインパルスノイズマップ生成部２、及び残差縮退部３に出力する。
【００７４】
インパルスノイズマップ生成部２は、成分分離部１から供給される残差成分ｖを用いて、式（１０）、あるいは式（１３）に基づきインパルスノイズマップＭＩを生成する。そして、得られたインパルスノイズマップＭＩを残差縮退部３に出力する。
【００７５】
本発明の第二の実施の形態によれば、注目画素の残差成分を用いて、注目画素のインパルスノイズ性を計算することで、よりエッジを維持しつつ、インパルスノイズを効果的に除去できる。
【００７６】
＜第三の実施の形態＞
本発明の第三の実施の形態を説明する。
【００７７】
図１７は本発明の第三の実施の形態である画像処理方法を説明するための図である。
【００７８】
本発明の第三の実施の形態は、成分分離手段において、非特許文献４のようなインパルスノイズ推定に基づく成分分離法を用い、残差縮退において、成分分離手段で用いたインパルスノイズ推定結果を流用することを特徴とする。
【００７９】
第三の実施の形態における残差縮退手段１３、成分合成手段１４は、第一の実施の形態と同様であるため説明を省略する。
【００８０】
インパルスノイズマップ生成手段１２は、入力画像ｆに基づき、図１２に示した手順でＲＯＡＤ値を計算する。得られたＲＯＡＤ値を成分分離手段１１に供給する。さらに、得られたＲＯＡＤ値に基づき、インパルスノイズマップＭＩを求める。得られたインパルスノイズマップＭＩを残差縮退手段１３に供給する。
【００８１】
成分分離手段１１は、インパルスノイズマップ生成手段１２から供給されたＲＯＡＤ値に基づき、入力画像ｆを骨格成分ｕと残差成分ｖに分離した後、骨格成分ｕを成分合成手段１４に、残差成分ｖを残差縮退手段１３に供給する。ＲＯＡＤ値に基づく成分分離方法として、非特許文献４の手法を用いる。
【００８２】
非特許文献４のインパルスノイズ推定に基づく成分分離法について説明する。非特許文献４は、非特許文献２のバイラテラルフィルタを拡張した方式である。バイラテラルフィルタは、重み付き平滑化フィルタの派生型であり、フィルタ係数を決定する以下の２つの指標により、エッジを保存するノイズ除去法を実現する。
【００８３】
１つめの指標は、注目画素とその周辺画素の空間的距離である。注目画素に空間的に近接する画素は、注目画素と相関が高いとみなして、フィルタ係数の重みを大きくする。逆に、空間的に離れた画素は、注目画素と相関が低いとみなして、フィルタ係数の重みを小さくする。一例として、注目画素をｕｘ、周辺画素をｕｙとすると、空間的な距離の重みｗｓ（ｘ，ｙ）は、
2014179689.tif 000024
と表される。
【００８４】
２つめの指標は、注目画素とその周辺画素の画素値の差である。画素値の差が小さいほど、注目画素との相関が高いとして、フィルタ係数の重みを大きくする。逆に、画素値の差が大きな画素は、注目画素との相関が低いとして、フィルタ係数の重みを小さくする。注目画素がエッジ上にある場合は、エッジ方向の画素については画素値の差が小さくなるためフィルタ係数の重みが大きくなり、エッジをまたぐ方向の画素については画素値の差が大きくなるためフィルタ係数の重みが小さくなる。この特徴により、エッジをぼかさないフィルタが実現される。注目画素をｕｘ、周辺画素をｕｙとすると、画素値の差による重みｗＲ（ｘ，ｙ）は、
2014179689.tif 000025
と表される。
【００８５】
最終的なバイラテラルフィルタのフィルタ係数ｗＢ（ｘ，ｙ）は、
2014179689.tif 000026
と表される。
【００８６】
特に２つめの指標により、バイラテラルはエッジをぼかさずにノイズを除去することが可能となる。しかし、この２つめの指標により、インパルスノイズのような注目画素とその周辺画素との差が大きいノイズについては、原理的に除去できない問題があった。
【００８７】
非特許文献４のインパルスノイズ推定に基づく成分分離法では、バイラテラルフィルタの２つの指標に加えて、注目画素のインパルスノイズ性に基づく指標を追加する。このことから、非特許文献４のインパルスノイズ推定に基づく成分分離法は、バイラテラルフィルタに対し、トリラテラルフィルタと呼ばれる。注目画素のインパルスノイズ性による重みｗＩ（ｘ）は、前述のＲＯＡＤ値を用いて、
2014179689.tif 000027
で表される。インパルスノイズ性とエッジ性はトレードオフの関係があるため、注目画素ｕｘと周辺画素ｕｙ間の結合インパルスノイズ性を
2014179689.tif 000028
と表す。トリラテラルフィルタの最終的なフィルタ係数ｗＴ（ｘ，ｙ）は、
2014179689.tif 000029
と表される。このフィルタ係数を用いたフィルタリング処理は、
2014179689.tif 000030
と表される。
【００８８】
このトリラテラルフィルタを用いることで、インパルスノイズに対して有効で、かつエッジも維持できるノイズ除去が実現できる。また、トリラテラルフィルタにおいて、ＲＯＡＤに基づくインパルスノイズ推定が用いられるため、この推定結果を流用することで図１の画像処理方法と同様のノイズ除去方法が実現できる。
【００８９】
図１と異なり、図１７の成分分離法では、入力画像にインパルスノイズを想定しているため、より残差成分にインパルスノイズが含まれる。また、成分分離において用いたＲＯＡＤ値に基づいて、式（１０）、または式（１３）のインパルスノイズマップを作成できるため、式（１１）、あるいは、式（１４）、式（１５）における残差縮退処理のためにＲＯＡＤ値を再計算する必要はない。
【００９０】
なお、インパルスノイズ除去に有効な成分分離法はトリラテラルフィルタに限定されず、非特許文献５、非特許文献６、非特許文献７などの方法を用いることも可能である。
【００９１】
図１８は、図１７に示す本発明の第三の実施の形態の画像処理装置のブロック図である。
【００９２】
図１８に示す本発明の第三の実施の形態の画像処理装置３００は、図１４の画像処理装置と同様に、成分分離部１と、インパルスノイズマップ生成部２と、残差縮退部３と、成分合成部４と、を備える。
【００９３】
残差縮退部３と、成分合成部４とは、図１４の画像処理装置１００と同じ動作を行う。
【００９４】
インパルスノイズマップ生成部２は、入力画像ｆから、式（１０）、あるいは式（１３）に基づいてインパルスノイズマップＭＩを生成する。そして、得られたＭＩを残差縮退部３に出力する。さらに、インパルスノイズ推定結果であるＲＯＡＤ値を成分分離部１に出力する。
【００９５】
成分分離部１は、インパルスノイズマップ生成部２からＲＯＡＤ値を受信し、入力画像を式（１６）、式（１７）、式（１９）、式（２０）、式（２１）、及び式（２２）に基づいて残差成分ｖに分離する。そして、分離して得られた骨格成分ｕを成分合成部４に、分離して得られた残差成分ｖを残差縮退部３に出力する。
【００９６】
本発明の第三の実施の形態によれば、成分分離において入力信号にインパルスノイズが含まれることを想定するため、エッジを維持しつつ、インパルスノイズをより効果的に除去できる。
【００９７】
＜第四の実施の形態＞
本発明の第四の実施の形態を説明する。
【００９８】
図１９は本発明の第四の実施の形態である画像処理方法を説明するための図である。
【００９９】
本発明の第四の実施の形態は、残差縮退において、インパルスノイズマップ生成手段から得られるインパルスノイズマップと、成分分離手段で得られる骨格成分に基づき、残差縮退処理することを特徴とする。
【０１００】
第四の実施の形態におけるインパルスノイズマップ生成手段１２、成分合成手段１４は、第一の実施の形態と同様であるため説明を省略する。
【０１０１】
成分分離手段１１は、第一の実施の形態と同様に入力画像ｆを骨格成分ｕと残差成分ｖに分離した後、骨格成分ｕを残差縮退手段１３及び成分合成手段１４に、残差成分ｖを残差縮退手段１３に供給する。
【０１０２】
残差縮退手段１３では、成分分離手段１１から供給される骨格成分ｕと残差成分ｖ、インパルスノイズマップ生成手段１２から供給されるインパルスノイズマップＭＩを用いて、残差成分ｖの各画素につき、以下の式（２３）に基づきテクスチャ成分ｖ’を得る。そして、得られたテクスチャ成分ｖ’を成分合成手段１４に出力する。
2014179689.tif 000031
なお、式（２３）におけるｘ，ｙは画素位置のベクトル表記、ｗＢ，ｕ（ｘ，ｙ）は骨格成分ｕに基づく、式（１８）のバイラテラルフィルタ係数である。通常のバイラテラルフィルタは、フィルタ処理される画素群とフィルタ係数を決定する画素群は同一であるが、本方式では、フィルタ処理される画素群は残差成分ｖ、フィルタ係数を決定する画素群は骨格成分ｕである。
【０１０３】
通常、成分分離手段１１から供給される残差成分ｖには、エッジ成分が残存する場合がある。骨格成分ｕを参照してバイラテラルフィルタの係数を決定することで、エッジをまたぐ方向のフィルタ係数は小さく、エッジと同じ方向のフィルタ係数は大きくなるため、残差成分ｖからエッジを効率的に抽出できる。また、バイラテラルフィルタのノイズ除去効果により、ノイズ成分を減衰することができる。さらに、バイラテラルフィルタを実行する対象を残差成分ｖではなく、残差成分ｖとインパルスノイズマップＭＩの積とすることで、インパルスノイズはテクスチャ成分ｖ’に含まれない。
【０１０４】
なお、残差成分ｖからエッジ成分を抽出するのに有効な手法は上述のバイラテラルフィルタに限定されない。
【０１０５】
また、第二、第三の実施の形態に対しても、第四の実施の形態と同様のエッジ抽出方法が実現できる。
【０１０６】
図２０は、図１９に示す本発明の第四の実施の形態の画像処理装置のブロック図である。
【０１０７】
図２０に示す本発明の第四の実施の形態の画像処理装置４００は、図１４の画像処理装置と同様に、成分分離部１と、インパルスノイズマップ生成部２と、残差縮退部３と、成分合成部４と、を備える。
【０１０８】
インパルスノイズマップ生成部２と、成分合成部４とは、図１４の画像処理装置１００と同じ動作を行う。
【０１０９】
成分分離部１は、入力画像ｆを、式（２）を最小化して得られる骨格成分ｕと、式（９）に基づいて得られる残差成分ｖに分離する。そして、分離して得られた骨格成分ｕを残差縮退部３、及び成分合成部４に、分離して得られた残差成分ｖを残差縮退部３に出力する。
【０１１０】
残差縮退部３は、インパルスノイズマップ生成部２から受信するインパルスノイズマップＭＩ、成分分離部１から受信する骨格成分ｕ及び残差成分ｖを用いて、式（２２）に基づきテクスチャ成分ｖ’を抽出する。そして、得られたテクスチャ成分ｖ’を成分合成部４に出力する。
【０１１１】
本発明の第四の実施の形態によれば、残差分離にエッジが含まれることを想定するため、インパルスノイズを効果的に除去しつつ、エッジをより維持できる。
【０１１２】
以上のごとく、本発明の各実施の形態によれば、残差縮退部において、注目画素位置がインパルスノイズである場合には、注目画素位置における残差成分を零方向に減衰し、そうでない場合には従来と同様の残差縮退処理を適用する。本発明の実施の形態で述べた画像処理方法を用いることにより、残差成分からインパルスノイズを効果的に除去できる。
【０１１３】
尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
【０１１４】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１１５】
（付記１）  入力画像を、エッジ成分と平坦成分からなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離し、
前記入力画像の各画素のインパルスノイズ性を示すインパルスノイズマップを生成し、
前記インパルスノイズマップに基づいて、注目画素がインパルスノイズでない場合は、前記残差成分からテクスチャ成分を抽出し、注目画素がインパルスノイズである場合には注目画素の前記残差成分を零方向に減衰し、
前記骨格成分と前記残差成分から抽出したテクスチャ成分とを合成し、出力画像を生成する
画像処理方法。
【０１１６】
（付記２）  前記インパルスノイズマップは、前記入力画像の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて生成する
付記１に記載の画像処理方法。
【０１１７】
（付記３）  前記インパルスノイズマップは、前記残差成分の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて生成する
付記１に記載の画像処理方法。
【０１１８】
（付記４）  前記インパルスノイズマップに基づいて、
前記注目画素がインパルスノイズでないとみなす閾値以下又は未満の時は、前記注目画素の前記残差成分からテクスチャ成分を抽出し、
前記注目画素がインパルスノイズであるとみなす閾値以上又は大きい時は、前記注目画素の前記残差成分を零方向に減衰し、
それ以外の場合は、前記注目画素の前記インパルスノイズ性に基づいて、前記残差成分から抽出するテクスチャ成分を調整する
付記１から付記３のいずれかに記載の画像処理方法。
【０１１９】
（付記５）  前記成分分離法は、前記インパルスノイズマップに基づいて、入力画像をエッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する
付記１から付記４のいずれかに記載の画像処理方法。
【０１２０】
（付記６）  前記インパルスノイズマップと前記骨格成分とに基づいて、前記残差成分から、テクスチャ成分とエッジ成分とを抽出する
付記１から付記４のうちのいずれかに記載の画像処理方法。
【０１２１】
（付記７）  入力画像を、エッジ成分と平坦成分からなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する成分分離手段と、
前記入力画像の各画素のインパルスノイズ性を示すインパルスノイズマップを生成するインパルスノイズマップ生成手段と、
前記インパルスノイズマップに基づいて、注目画素がインパルスノイズでない場合は、前記残差成分からテクスチャ成分を抽出し、注目画素がインパルスノイズである場合には注目画素の前記残差成分を零方向に減衰する残差縮退手段と、
前記骨格成分と前記残差成分から抽出したテクスチャ成分とを合成し、出力画像を生成する成分合成手段と
を有する画像処理装置。
【０１２２】
（付記８）  前記インパルスノイズマップ生成手段は、前記入力画像の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて、前記インパルスノイズマップを生成する
付記７に記載の画像処理装置。
【０１２３】
（付記９）  前記インパルスノイズマップ生成手段は、前記残差成分の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて、前記インパルスノイズマップを生成する
付記７に記載の画像処理装置。
【０１２４】
（付記１０）  前記残差縮退手段は、
前記インパルスノイズマップに基づいて、
前記注目画素がインパルスノイズでないとみなす閾値以下又は未満の時は、前記注目画素の前記残差成分からテクスチャ成分を抽出し、
前記注目画素がインパルスノイズであるとみなす閾値以上又は大きい時は、前記注目画素の前記残差成分を零方向に減衰し、
それ以外の場合は、前記注目画素の前記インパルスノイズ性に基づいて、前記残差成分から抽出するテクスチャ成分を調整する
付記７から付記９のいずれかに記載の画像処理装置。
【０１２５】
（付記１１）  前記成分分離手段は、前記インパルスノイズマップに基づいて、入力画像をエッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する
付記７から付記９のいずれかに記載の画像処理装置。
【０１２６】
（付記１２）  前記残差縮退手段は、前記インパルスノイズマップと前記骨格成分とに基づいて、前記残差成分から、テクスチャ成分とエッジ成分とを抽出する
付記７から付記１１のうちのいずれかに記載の画像処理装置。
【０１２７】
（付記１３）  入力画像を、エッジ成分と平坦成分からなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する成分分離処理と、
前記入力画像の各画素のインパルスノイズ性を示すインパルスノイズマップを生成するインパルスノイズマップ生成処理と、
前記インパルスノイズマップに基づいて、注目画素がインパルスノイズでない場合は、前記残差成分からテクスチャ成分を抽出し、注目画素がインパルスノイズである場合には注目画素の前記残差成分を零方向に減衰する残差縮退処理と、
前記骨格成分と前記残差成分から抽出したテクスチャ成分とを合成し、出力画像を生成する成分合成処理と
をコンピュータに実行させるプログラム。
【０１２８】
（付記１４）  前記インパルスノイズマップ生成処理は、前記入力画像の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて、前記インパルスノイズマップを生成する
付記１３に記載のプログラム。
【０１２９】
（付記１５）  前記インパルスノイズマップ生成処理は、前記残差成分の各画素に対して、注目画素の画素値とその隣接する周辺画素の画素値との差分に基づいて、前記インパルスノイズマップを生成する
付記１３に記載のプログラム。
【０１３０】
（付記１６）  前記残差縮退処理は、
前記インパルスノイズマップに基づいて、
前記注目画素がインパルスノイズでないとみなす閾値以下又は未満の時は、前記注目画素の前記残差成分からテクスチャ成分を抽出し、
前記注目画素がインパルスノイズであるとみなす閾値以上又は大きい時は、前記注目画素の前記残差成分を零方向に減衰し、
それ以外の場合は、前記注目画素の前記インパルスノイズ性に基づいて、前記残差成分から抽出するテクスチャ成分を調整する
付記１３から付記１５のいずれかに記載のプログラム。
【０１３１】
（付記１７）  前記成分分離処理は、前記インパルスノイズマップに基づいて、入力画像をエッジ成分と平坦成分とからなる骨格成分と、前記入力画像と前記骨格成分との差分で表される残差成分とに分離する
付記１３から付記１６のいずれかに記載のプログラム。
【０１３２】
（付記１８）  前記残差縮退処理は、前記インパルスノイズマップと前記骨格成分とに基づいて、前記残差成分から、テクスチャ成分とエッジ成分とを抽出する
付記１３から付記１７のうちのいずれかに記載のプログラム。
【０１３３】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【符号の説明】
【０１３４】
１００  画像処理装置
２００  画像処理装置
３００  画像処理装置
４００  画像処理装置
１１    成分分離手段
１２    インパルスノイズマップ生成手段
１３    残差縮退手段
１４    成分合成手段
１      成分分離部
２      インパルスノイズマップ生成部
３      残差縮退部
４      成分合成部
【図２】
2014179689.tif 000032
【図３】
2014179689.tif 000033
【図４】
2014179689.tif 000034
【図５】
2014179689.tif 000035
【図６】
2014179689.tif 000036
【図７】
2014179689.tif 000037
【図８】
2014179689.tif 000038
【図９】
2014179689.tif 000039
【図１１】
2014179689.tif 000040
【図１２】
2014179689.tif 000041
【図１３】
2014179689.tif 000042
【図１４】
2014179689.tif 000043
【図１６】
2014179689.tif 000044
【図１８】
2014179689.tif 000045
【図２０】
2014179689.tif 000046
【図１】
2014179689.tif 000047
【図１０】
2014179689.tif 000048
【図１５】
2014179689.tif 000049
【図１７】
2014179689.tif 000050
【図１９】
2014179689.tif 000051