(57)【要約】本発明は、入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する画像処理方法である。
2013161940.tif 000002
【特許請求の範囲】
【請求項１】
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する
画像処理方法。
【請求項２】
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する請求項１に記載の画像処理方法。
【請求項３】
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
請求項１に記載の画像処理方法。
【請求項４】
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
請求項２又は請求項３に記載の画像処理方法。
【請求項５】
入力画像から、複数の解像度の異なる画像を生成し、
異なる画像毎に、請求項１から請求項４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。
【請求項６】
入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と
を有する画像処理装置。
【請求項７】
前記骨格成分・残差成分分離手段は、
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する請求項６に記載の画像処理装置。
【請求項８】
前記骨格成分・残差成分分離手段は、
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
請求項６に記載の画像処理装置。
【請求項９】
前記骨格成分・残差成分分離手段は、
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
請求項７又は請求項８に記載の画像処理装置。
【請求項１０】
入力画像から、複数の解像度の異なる画像を生成する手段を有し、
前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
請求項６から請求項９のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理システム、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
画像処理技術の中でも、画像に含まれるノイズを低減する技術は、撮像した画像をより鮮明に再現するために、欠かせない技術である。ノイズを低減する技術としては、例えば、非特許文献１に開示された全変分（Ｔｏｔａｌ―Ｖａｒｉａｔｉｏｎ、  Ｔ−Ｖ）ノルム正則化によるノイズ除去法がある。以下、簡単のため、Ｔ−Ｖ法と称す。【０００３】
図１９に従来のＴ−Ｖ法を用いた画像処理方法を示す。【０００４】
図２０は従来のＴ−Ｖ法を用いた画像処理方法を説明するためのフローチャートである。【０００５】
入力画像Fは骨格成分・残差成分分離部１０１に供給される。【０００６】
骨格成分・残差成分分離部１０１では、供給された画像Fを、強エッジと平坦領域から構成される骨格成分UT-Vとテクスチャとノイズから構成される残差成分VT-Vに分離する。つまり、入力画像Fは以下の式（１）のように骨格成分UT-Vと残差成分VT-Vの和で表される。
2013161940.tif 000003
骨格成分UT-Vは、以下の式（２）で表されるUT-Vの全変分ノルムJ(UT-V)を最小化することで得られる。
2013161940.tif 000004
なお、式中のxは骨格成分UT-Vの水平方向画素位置、yは骨格成分UT-Vの垂直方向画素位置を示す。【０００７】
この最小化問題はChambolleのProjection法を反復して解ける。あるいは、ChambolleのProjection法の代替法として、Ｔ−Ｖノルムの劣勾配を用いた劣勾配法を用いることができる。【０００８】
kを反復回数、
2013161940.tif 000005
をk回目の反復の時の骨格成分、βを対象画像のノイズの標準偏差に基づいて設定する値とし、初期値として、k=0、
2013161940.tif 000006
を設定する（ステップS１）。【０００９】
以下の式（３）で表すように、劣勾配法を用いて、k+1回目の反復の時の骨格成分
2013161940.tif 000007
を計算する（ステップS2）。
2013161940.tif 000008
反復の停止条件について述べる。入力画像の高さをM、幅をN、k回目の反復の時の残差成分
2013161940.tif 000009
のm行n列要素を
2013161940.tif 000010
とすると、予め推定した対象画像のノイズの標準偏差σnoiseを用いて、
2013161940.tif 000011
となったときに反復を停止する（ステップS3）ことが考えられる。式（４）はつまり、残差成分
2013161940.tif 000012
がノイズであるという仮定に基づく。あるいは、閾値εを用いて、
2013161940.tif 000013
となったときに反復を停止する（ステップS3）ことが考えられる。式（５）はつまり、k回目の反復の結果
2013161940.tif 000014
とk+1回目の反復
2013161940.tif 000015
を比較し、変動量が十分小さいと判断したときに解が収束したとみなしている。【００１０】
また、反復回数kが最大の反復回数kmaxに到達したときにも反復を停止する（ステップS4）。反復回数がk未満であり、
2013161940.tif 000016
が収束していないとき、k=k+1として劣勾配法を続行する（ステップS5）。【００１１】
こうして得られた骨格成分UT-Vと残差成分VT-Vのうち、骨格成分UT-Vを以下の式（６）のようにノイズ除去画像Zとして出力する（ステップS6）。
2013161940.tif 000017
図２１は、骨格成分・残差成分分離部１０１で分離された残差成分のノイズ成分を減衰させ、骨格成分に合成する処理を有する、図１９のＴ−Ｖ法を用いた画像処理方法を拡張した画像処理方法である。【００１２】
図２２は、図２１で示す画像処理方法を説明するためのフローチャートである。【００１３】
骨格成分・残差成分分離部１０１で分離された残差成分VT-Vをノイズ抑制部１０２に供給し、以下の式（７）のように残差成分VT-Vにノイズ成分を減衰させる関数ｆを作用させる（ステップS7）。骨格成分UT-Vと、ノイズ成分が減衰された残差成分（すなわちテクスチャ成分）f(VT-V)を合成し、ノイズが低減された画像Zとして出力する（ステップS6）。なお、ステップS1からステップS5は図１９のＴ−Ｖ法を用いた画像処理方法と同様であるため、説明を省略する。
2013161940.tif 000018
関数fとしては、図２３（ａ）で示される軟判定閾値処理、図２３（ｂ）で示される硬判定閾値処理、図２３（ｃ）で示されるｆａｃｔｏｒ処理などがあるが、これらに限定されるものではない。関数ｆの入力値をx、出力値をf(x)、閾値をτとすると、図２３（ａ）で示される軟判定閾値処理は、以下の式（８）で表される。
2013161940.tif 000019
なお、式中のsign関数は正負符号を出力する関数である。【００１４】
また、図２３（ｂ）で示される硬判定閾値処理は以下の式（９）で表される。
2013161940.tif 000020
また、γを適当な係数とすると、図２３（ｃ）で示されるｆａｃｔｏｒ処理は以下の式（１０）で表される。
2013161940.tif 000021
また、軟判定閾値処理または硬判定閾値処理と、ｆａｃｏｔｏｒ処理を式（１１）のように組み合わせることも可能である。
2013161940.tif 000022
式（１１）中では軟判定閾値処理を用いて関数を構成したが、当然ながら硬判定閾値処理を用いて同様の関数を構成することも可能である。
【先行技術文献】
【非特許文献】
【００１５】
【非特許文献１】L. Rudin, S. Osher, E. Fatemi, “Nonlinear Total Variation based noise removal algorithms," Physica D vol.60, 1992, pp.259-268.
【発明の概要】
【発明が解決しようとする課題】
【００１６】
しかしながら、非特許文献１の技術は、上述のChambolleのProjection法を、解が収束するまで繰り返し適用する反復型の処理であるため、計算コストが高くなるという課題がある。【００１７】
また、T−V法は、高周波ノイズは除去できるものの、ノイズ粒子の分布密度のムラにより発生し、高周波ノイズと比べて比較的広い範囲に広がる低周波ノイズに対応できない課題がある。低周波ノイズは数ピクセルから数十ピクセルといった広範な領域におけるノイズ粒子の分布密度ムラによるものであり、このような低周波ノイズに対するT−Vノルムは小さくなるため平坦領域（ノイズがない）とみなされる。すなわち、T―V法では原理的に低周波ノイズには対応することができない。【００１８】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は様々な周波数帯のノイズを効果的かつ高速に除去できる画像処理方法、及び画像処理装置を提供することにある。
【課題を解決するための手段】
【００１９】
本発明は、入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する画像処理方法である。【００２０】
本発明は、入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段とを有する画像処理装置である。
【発明の効果】
【００２１】
本発明によれば、様々な周波数帯のノイズを効果的かつ高速に除去できる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施の形態の画像処理方法の説明図である。
【図２】第１の実施の形態の画像処理方法の手順例を説明するフローチャートである。
【図３】図３（a）はノイズを含んだ原画像である。図３（ｂ）は図３（ａ）をＷａｖｅｌｅｔ  Ｓｈｒｉｎｋａｇｅ法でノイズ除去した結果の画像である。
【図４】第１の実施の形態から派生する画像処理方法の説明図である。
【図５】第１の実施の形態から派生する画像処理方法の手順例を説明するフローチャートである。
【図６】第１の実施の形態の画像処理装置の構成例を示すブロック図である。
【図７】第１の実施の形態から派生する画像処理装置の構成例を示すブロック図である。
【図８】第２の実施の形態の画像処理方法の説明図である。
【図９】第２の実施の形態の画像処理方法の手順例を説明するフローチャートである。
【図１０】第２の実施の形態の画像処理装置の構成例を示すブロック図である。
【図１１】第３の実施の形態の画像処理方法の説明図である。
【図１２】第３の実施の形態の画像処理方法の手順例を説明するフローチャートである。
【図１３】第３の実施の形態の画像処理装置の構成例を示すブロック図である。
【図１４】第３の実施の形態から派生する画像処理方法の説明図である。
【図１５】第４の実施の形態の画像処理方法の説明図である。
【図１６】図１６（a）は原画像である。図１６（ｂ）は図１６（a）の原画像に対し、ウェーブレット変換を適用した結果である。図１６（ｃ）は図１６（a）の原画像に対し、ウェーブレット変換を再帰的に３回適用した結果である。
【図１７】第４の実施の形態の画像処理方法の手順例を説明するフローチャートである。
【図１８】第４の実施の形態の画像処理装置の構成例を示すブロック図である。
【図１９】既存の画像処理方法の説明図である。
【図２０】既存の画像処理方法の手順例を説明するフローチャートである。
【図２１】既存の画像処理方法の説明図である。
【図２２】既存の画像処理方法の手順例を説明するフローチャートである。
【図２３】図２３（ａ）は軟判定閾値処理の入出力応答である。図２３（ｂ）は硬判定閾値処理の入出力応答である。図２３（ｃ）はｆａｃｔｏｒ処理の入出力応答である。
【発明を実施するための形態】
【００２３】
＜第１の実施の形態＞
本発明の第１の実施の形態を説明する。
【００２４】
図１は、本発明の第１の実施の形態である画像処理方法を説明するための機能ブロック図である。
【００２５】
本発明の第１の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１とを備えたことを特徴とする。
【００２６】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。
【００２７】
図２は、第１の実施の形態の画像処理方法を説明するためのフローチャートである。
【００２８】
以下、処理の流れについて説明する。
【００２９】
入力画像Fは、初期ノイズ除去画像生成部１０３に供給される。
【００３０】
初期ノイズ除去画像生成部１０３では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像Uinitを生成する（ステップＳ８）。ノイズとテクスチャから構成される初期残差成分をVinitとすると、以下の式（１２）が成り立つ。
2013161940.tif 000023
生成された初期ノイズ除去画像Uinitは骨格成分・残差成分分離部１０１に供給される。また、分離された初期残差成分Vinitは反復制御部１０４に供給される。
【００３１】
ステップＳ８における、エッジ成分を保存する軽量なノイズ除去方法について説明する。軽量なノイズ除去方法はＷａｖｅｌｅｔ  Ｓｈｒｉｎｋａｇｅ（ＷＳ）法やＢｉｌｔａｔｅｒａｌ  Ｆｉｌｔｅｒ（ＢＦ）などが適用できる。これらの手法は、エッジ保存性が高く、Ｔ−Ｖ法と比較して低計算コストの画像ノイズ除去方法である。
【００３２】
ＷＳ法は、画像を２次元ウェーブレット変換し、ウェーブレット変換係数の高周波成分を０方向に減衰させた後に２次元ウェーブレット逆変換し、画像を再構成することで、ノイズを低減した画像を得る。ウェーブレット変換係数をw、Ｓｈｒｉｎｋａｇｅ処理後のウェーブレット変換係数をw’、減衰量をλとすると、減衰処理は、例えば、以下の式（１３）や式（１４）で表される。
2013161940.tif 000024
2013161940.tif 000025
なお、式（１３）中のsign関数は正負符号を出力する関数である。
【００３３】
通常の画像において、絶対値の小さなウェーブレット変換係数はほぼノイズ成分であるため、適切な減衰量λを設定してウェーブレット変換係数を減衰させることで、画像に含まれるノイズ成分を低減できる。また、エッジ成分を表すとされる絶対値の大きなウェーブレット変換係数は残るため、結果的に入力画像中のエッジは保存される。
【００３４】
ＢＦは、重み付き平滑化フィルタの派生型であり、フィルタ係数を決定する以下の２つの指標により、エッジを保存するノイズ除去法を実現する。
【００３５】
１つめの指標は、ノイズ除去対象画素とその周辺画素の空間的距離である。対象画素に空間的に近接する画素は、対象画素と相関が高いとみなして、フィルタ係数の重みを大きくする。逆に、空間的に離れた画素は、対象画素と相関が低いとみなして、フィルタ係数の重みを小さくする。
【００３６】
２つめの指標は、ノイズ除去対象画素とその周辺画素の画素値の差である。画素値の差が小さいほど、対象画素との相関が高いとして、フィルタ係数の重みを大きくする。逆に、画素値の差が大きな画素は、対象画素との相関が低いとして、フィルタ係数の重みを小さくする。
【００３７】
特に２つめの指標により、画素値がほぼ一様な領域、つまり平坦領域では一般的な重み付き平滑化フィルタのように働くため、ノイズを除去することができ、画素値の差の大きな領域、つまりエッジを含む領域では、対象画素以外のフィルタ係数の重みが小さくなるため、エッジが保存される。
【００３８】
ＷＳ法やＢＦの計算コストはＴ−Ｖ法と比較して小さい。しかし、ＷＳ法は、処理後の画像に視覚的アーティファクトが発生することがある。例を図３に示す。図３（ａ）はノイズを含む画像、図３（ｂ）はＷＳ法でノイズを除去した画像である。図３（ｂ）の全体に元の画像に存在しない不自然な劣化が見られる。また、ＢＦは原理上、ごま塩ノイズといわれる孤立ノイズが除去できない。しかし、本実施の形態におけるＷＳ法とＢＦは、あくまで初期ノイズ除去画像を生成するために用いられ、本発明の後段の処理によってＷＳ法で発生するアーティファクトやＢＦ法で除去できない孤立ノイズは除去されるため、問題とならない。また、従来のＷＳ法では、アーティファクトの発生を軽減するための厳密な減衰量設定が必要であったが、本発明においては、ＷＳ法で発生するアーティファクトを後段の処理によって除去できるため、ＷＳ法の減衰量設定を簡略化することが可能である。
【００３９】
反復制御部１０４は、初期ノイズ除去画像生成部１０３から供給される初期残差成分Vinitに基づいて、Ｔ−Ｖ法の反復回数を制御する。
【００４０】
まず、初期ノイズ除去画像生成部１０３から供給される初期残差成分Vinitから標準偏差σinitを以下のように計算する（ステップＳ９）。ステップＳ９では、初期残差成分Vinitのm行n列要素を
2013161940.tif 000026
とすると、標準偏差σinitは以下の式（１５）で表されるものとして計算する。
2013161940.tif 000027
従来のＴ−Ｖ法では式（３）で示されるパラメータβや固定値の最大反復回数kmaxが用いられるが、本実施の形態では、予め推定したノイズの標準偏差σnoiseと、ステップＳ９で計算した標準偏差σinitから、各パラメータを補正する（ステップＳ１０）。
【００４１】
例えば、予め推定したノイズの標準偏差σnoiseと、ステップＳ９で計算した標準偏差σinitから計算される、以下の式（１６）で示されるパラメータβ’を用いる。
2013161940.tif 000028
すなわち、式（１６）において、σinitがσnoiseに近い場合には、Ｔ−Ｖ法の収束解の近傍にあることを意味しており、収束速度を向上させることが可能となる。具体的には、１回の反復において探索する領域を狭めることで収束速度を向上させる。
【００４２】
さらに、最大反復回数k’maxを、従来の最大反復回数kmaxと、予め定める最小反復回数kminと、予め推定したノイズの標準偏差σnoiseと、初期残差成分Vinitの標準偏差σinitとを用いて、以下の式（１７）のように定める（ステップＳ１０）。
2013161940.tif 000029
なお、max関数は２つの入力値から大きい方を出力する関数、min関数は２つの入力値から小さい方を出力する関数、round関数は整数値への丸め関数を示す。式（１７）より、予め推定したノイズの標準偏差σnoiseとVinitの標準偏差σinitとが近い値であるときは、良い初期解が得られたとみなしてＴ−Ｖ法の反復回数を削減する。逆に、予め推定したノイズの標準偏差σnoiseとVinitの標準偏差σinitとが近い値でないときは、良い初期解が得られなかったとみなしてＴ−Ｖ法の反復回数をkmaxに近い値に保つ。
【００４３】
骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、以下の式（１８）のように強エッジと平坦領域で構成される骨格成分UT-Vとテクスチャとノイズで構成される残差成分VT-Vに分離する。
2013161940.tif 000030
本実施の形態の骨格成分・残差成分分離部１０１での処理では、ステップS1における初期値設定において、従来法と異なり、
2013161940.tif 000031
と設定する。さらに、ステップS3の反復停止判定において、従来法の式（４）ではなく、以下の式（１９）を反復停止条件として用いる。
2013161940.tif 000032
式（１９）より、従来のＴ−Ｖ法の反復停止条件と同様に、σnoiseに基づいてＴ−Ｖ法の反復を制御することができ、Vinitの標準偏差σinitがσnoiseに近い場合には探索する領域を狭めることで少ない反復回数でＴ−Ｖ法の解が収束するため、処理の高速化が実現できる。また、ステップS4の反復停止判定において、従来法のkmaxでなく、ステップS10で設定したk’maxを用いる。なお、ステップＳ２、Ｓ５における処理は従来法と同様であるため、説明を省略する。
【００４４】
骨格成分UT-Vをノイズが除去された画像とみなして、以下の式（２０）のようにノイズ除去画像Zを得る（ステップS6）。
2013161940.tif 000033
また、当然ながら、本実施の形態では、図２１のように、ノイズ成分を減衰させた残差成分VT-Vと、骨格成分UT-Vを合成して、ノイズ除去画像Zを出力する構成も可能である。発明の画像処理方法では、図４のような構成となり、図５のようなフローチャートで表される。骨格成分・残差成分分離部１０１で分離された残差成分VT-Vをノイズ抑制部１０２に供給し、以下の式（２１）のように、VT-Vにノイズ成分を減衰させる関数ｆを作用させ（ステップS7）、さらに、ノイズ成分が減衰された残差成分f(VT-V)と、骨格成分・残差成分分離部１０１から供給される骨格成分UT-Vを合成し、ノイズ除去画像Zとして出力する（ステップS6）。
2013161940.tif 000034
次に、第１の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図６は、第１の実施の形態の画像処理装置の構成例を示す図である。
【００４５】
画像処理装置１０００は、入力画像１に対してノイズ除去を施し出力画像２を出力する装置である。
【００４６】
画像処理装置１０００は、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０とを備える。
【００４７】
初期ノイズ除去画像生成部３は、入力画像１が与えられると、ステップＳ８で説明したエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像を生成する。
【００４８】
初期残差成分保存メモリ４は、初期ノイズ除去画像生成部３で入力画像１から分離された初期残差成分を保存する。
【００４９】
初期残差成分の標準偏差計算部５は、初期残差成分保存メモリ４を参照して、ステップＳ９で説明した手順で初期残差成分の標準偏差を計算する。
【００５０】
初期残差成分の標準偏差保存メモリ６は、初期残差成分の標準偏差計算部５で計算された初期残差成分の標準偏差を保存する。
【００５１】
劣勾配法のパラメータ計算部７は、初期残差成分の標準偏差保存メモリ６を参照して、ステップＳ１０で説明した手順で、劣勾配法のパラメータβ’と、劣勾配法の最大反復回数パラメータk’maxを計算する。
【００５２】
劣勾配法のパラメータ保存メモリ８は、劣勾配法のパラメータ計算部７で計算された劣勾配法のパラメータを保存する。
【００５３】
劣勾配法の反復制御部９は、初期残差成分保存メモリ４と、劣勾配法のパラメータ保存メモリ８を参照して、ステップＳ３とステップＳ４で説明した手順で骨格成分・残差成分分離部１０における劣勾配法の反復を制御する。
【００５４】
骨格成分・残差成分分離部１０は、劣勾配法の反復制御部９の制御を受けて、ステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５で説明した手順で、初期ノイズ除去画像生成部３から供給される初期ノイズ除去画像を初期解として劣勾配法を実行し、初期ノイズ除去画像を骨格成分と残差成分に分離し、骨格成分を出力画像２とする。
【００５５】
なお、図６に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【００５６】
さらに、画像処理装置１０００は、コンピュータで実現可能であり、画像処理装置を構成する各構成要素、すなわち、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０は、コンピュータの中央処理装置（ＣＰＵ）に上述した機能を実現させるためのプログラムとして実現可能である。
【００５７】
画像処理装置を構成する各構成要素がコンピュータで実現可能であること、およびプログラムとして実現可能であることは、第１の実施の形態に限らず、その他の実施の形態でも同様である。
【００５８】
また、画像処理装置１０００は、図７に示す画像処理装置１００１のように、ノイズ成分を減衰させた残差成分と、骨格成分を合成して、出力画像１を生成する構成も可能である。
【００５９】
画像処理装置１００１は、画像処理装置１０００と同様に、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、を備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。
【００６０】
画像処理装置１００１は、画像処理装置１０００と異なり、ノイズ抑制部１１と、合成部１２と、を備える。
【００６１】
ノイズ抑制部１１では、骨格成分・残差成分分離部１０から供給される残差成分から、ステップＳ７の手順で、ノイズ成分を抑圧する。
【００６２】
合成部１２では、骨格成分・残差成分分離部１０から供給される骨格成分と、ノイズ抑制部１１から供給されるノイズ成分が減衰された残差成分（すなわちテクスチャ成分）を合成して出力画像２を生成する。
【００６３】
図７に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【００６４】
第１の実施の形態によれば、エッジ成分を保存する軽量なノイズ除去方法を用いて初期ノイズ除去画像を生成してT−V法の初期解とし、さらに入力画像から分離された残差成分に基づいてＴ−Ｖ法の反復回数を制御することで、解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、結果として計算時間が短縮される。
【００６５】
＜第２の実施の形態＞
本発明の第２の実施の形態を説明する。
【００６６】
図８は、本発明の第２の実施の形態である画像処理方法を説明するための機能ブロック図である。
【００６７】
本発明の第２の実施の形態である画像処理方法は、入力画像中のエッジ成分を保存する軽量なノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部１０１を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１と、前記初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分、及び、前記Ｔ−Ｖ法に基づいて骨格成分と残差成分に分離する骨格成分・残差成分分離部において初期ノイズ除去画像から分離された残差成分のノイズを、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分の標準偏差に基づいて抑制するノイズ抑制部２０１を備えたことを特徴とする。
【００６８】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。
【００６９】
図９は、本発明の第２の実施の形態の画像処理方法を説明するためのフローチャートである。
【００７０】
以下、処理の流れについて説明する。
【００７１】
入力画像Fは、初期ノイズ除去画像生成部１０３に供給される。
【００７２】
初期ノイズ除去画像生成部１０３では、入力画像Fに対してエッジ成分を保存する軽量なノイズ除去方法を適用し、初期ノイズ除去画像Uinitを生成する（ステップＳ８）。さらに、入力画像Fからテクスチャとノイズで構成される初期残差成分Vinitを分離する。エッジ成分を保存する軽量なノイズ除去方法については第１の実施の形態と同様であるため、説明を省略する。生成された初期ノイズ除去画像Uinitは骨格成分・残差成分分離部１０１に供給される。第２の実施の形態では第１の実施の形態と異なり、分離された初期残差成分Vinitは、反復制御部１０４だけでなく、ノイズ抑制部２０１にも供給される。
【００７３】
反復制御部１０４は、初期ノイズ除去画像生成部１０３から供給された初期残差成分Vinitに基づき、Ｔ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。第２の実施の形態では第１の実施の形態と異なり、ステップＳ９で計算される初期残差成分Vinitの標準偏差σinitはノイズ抑制部２０１に供給される。
【００７４】
骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、強エッジと平坦領域で構成される骨格成分UT-Vと、テクスチャとノイズで構成される残差成分VT-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。残差成分VT-Vはノイズ抑制部２０１に供給される。
【００７５】
ノイズ抑制部２０１は、反復制御部１０４から供給された残差成分Vinitの標準偏差σinitに基づき、初期ノイズ除去画像生成部１０３から供給された残差成分Vinitと骨格成分・残差成分分離部１０１から供給された残差成分VT-Vにノイズ成分を減衰させる関数ｆを作用させ、ノイズ成分が減衰された残差成分f(Vinit, VT-V)を生成する（ステップＳ１１）。
【００７６】
ステップＳ１１において、関数ｆは、式（１１）を基本式として、これを拡張して構成する。例えば、閾値τ1とτ2、係数γ1とγ2を用いて、軟判定閾値処理とｆａｃｔｏｒ処理の組み合わせを、以下の式（２２）のように、残差成分VinitとVT-Vにそれぞれ適用することで関数ｆを構成できる。
2013161940.tif 000035
ここで、τ1とτ2は、予め推定した対象画像のノイズの標準偏差σnoiseと反復制御部１０４から供給された初期残差成分の標準偏差σinitを用いて、
2013161940.tif 000036
として設定される。a1とa2は係数である。
【００７７】
また、γ1＝０とすると、第１の実施の形態の図２で示したような、骨格成分・残差成分分離部１０１で分離された残差成分VT-Vからのみノイズ成分を減衰させることも可能である。この場合にも、反復制御部１０４から供給された初期残差成分Vinitの標準偏差σinitに基づき、ノイズ成分の減衰量が設定される点が第１の実施の形態とは異なる。
【００７８】
当然であるが、軟判定閾値処理とｆａｃｔｏｒ処理の順番を逆にしてもよいし、硬判定閾値処理を組み合わせてもよい。同様の効果を持つ処理であれば、関数ｆは式（２２）に限定されるものではない。
【００７９】
最終的に、以下の式（２４）のように、骨格成分・残差成分分離部１０１から供給される骨格成分UT-Vと、ノイズ抑制部２０１から供給されるノイズ成分が減衰された残差成分（すなわちテクスチャ成分）f(Vinit, VT-V)を合成して、ノイズ除去画像Zを得る（ステップＳ６）。
2013161940.tif 000037
上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。
【００８０】
次に、第２の実施の形態の画像処理方法を適用した画像処理装置について説明する。図１０は、第２の実施の形態の画像処理装置の構成例を示す図である。
【００８１】
画像処理装置１００２は、入力画像１に対してノイズ除去を施し出力画像２を出力する装置である。
【００８２】
画像処理装置１００２は、図７に示す画像処理装置１００１のように、初期ノイズ除去画像生成部３と、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、合成部１２と、を備える。これらの処理は画像処理装置１００１と同様であるため、説明を省略する。
【００８３】
画像処理装置１００２は、画像処理装置１００１と異なる処理を実行するノイズ抑制部１３を備える。
【００８４】
ノイズ抑制部１３では、初期残差成分の標準偏差保存メモリ６を参照して得られる初期残差成分の標準偏差に基づき、初期残差成分保存メモリ４を参照して得られる初期残差成分と、骨格成分・残差成分分離部１０から供給される残差成分と、から、ステップＳ１１の手順でノイズ成分を抑圧する。
【００８５】
図１０に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【００８６】
第２の実施の形態によれば、初期ノイズ除去画像生成時に分離した残差成分に基づいて、Ｔ−Ｖ法で分離した残差成分だけでなく、初期ノイズ除去画像生成時に分離した初期残差成分からもノイズ成分を減衰させて骨格成分に合成することで、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。
【００８７】
＜第３の実施の形態＞
本発明の第３の実施の形態を説明する。
【００８８】
第３の実施の形態では、第１の実施の形態の画像処理方法のエッジ保存性を高めた画像処理方法を示す。
【００８９】
第１の実施の形態や第２の実施の形態においても、エッジやテクスチャを保った高速なノイズ除去が実現できるが、画像によってはＴ−Ｖ法でノイズが過度に抑圧され、解像度感が低下する場合がある。そこで、第３の実施の形態では、高速にノイズを除去するとともに、ノイズの過抑圧を防止できる画像処理方法について説明する。
【００９０】
図１１は、本発明の第３の実施の形態である画像処理方法を説明するための機能ブロック図である。
【００９１】
本発明の第３の実施の形態である画像処理方法は、ＷＳ法に基づいて初期ノイズ除去画像を生成する初期ノイズ除去画像生成部１０３と、初期ノイズ除去画像生成部１０３において入力画像から分離された初期残差成分に基づいて後段の骨格成分・残差成分分離部を制御する反復制御部１０４と、図１９に示された骨格成分と残差成分に分離する骨格成分・残差成分分離部１０１と、初期ノイズ除去画像生成部１０３において、初期ノイズ除去画像を生成する過程で計算されるウェーブレット変換係数とノイズ減衰量に基づいて、骨格成分・残差成分分離部１０１で生成される骨格成分を制約するための空間を生成する制約空間生成部３０４と、骨格成分・残差成分分離部１０１において生成された骨格成分のウェーブレット変換係数を制約空間生成部３０４において生成される制約空間に射影する射影部３０６を備えたことを特徴とする。
【００９２】
なお、以降、骨格成分と残差成分に分離する骨格成分・残差成分分離法としては、従来法で示したＴ−Ｖ法で説明するが、これに限定されるものではない。
【００９３】
図１２は、第１の実施の形態の画像処理方法を説明するためのフローチャートである。
【００９４】
以下、処理の流れについて説明する。
【００９５】
入力画像は、初期ノイズ除去画像生成部１０３に供給される。
【００９６】
初期ノイズ除去画像生成部１０３では、ＷＳ法を用いて初期ノイズ除去画像生成する。
【００９７】
まず、ウェーブレット変換部３０１では、供給された入力画像をウェーブレット変換し（ステップＳ１２）、ウェーブレット変換係数をＳｈｒｉｎｋａｇｅ部３０２と制約空間生成部３０４に供給する。
【００９８】
Ｓｈｒｉｎｋａｇｅ部３０２では、ウェーブレット変換部３０１から供給されたウェーブレット変換係数に対してＳｈｒｉｎｋａｇｅを行う（ステップＳ１３）。例えば、Ｓｈｒｉｎｋａｇｅの一形態として、式（１３）や式（１４）の処理を適用できる。さらに、Ｓｈｒｉｎｋａｇｅが適用されたウェーブレット変換係数をウェーブレット逆変換部３０３に供給し、Ｓｈｒｉｎｋａｇｅの減衰量λを制約空間生成部３０４に供給する。
【００９９】
ウェーブレット逆変換部３０３では、Ｓｈｒｉｎｋａｇｅ部３０２から供給されたウェーブレット変換係数をウェーブレット逆変換し（ステップＳ１４）、初期ノイズ除去画像Uinitと残差成分Vinitを得る。得られた初期ノイズ除去画像Uinitを骨格成分・残差成分分離部１０１に、残差成分Vinitを反復制御部１０４に供給する。
【０１００】
制約空間生成部３０４では、ウェーブレット変換部３０１から供給されたウェーブレット変換部係数と、Ｓｈｒｉｎｋａｇｅ部３０２から供給された減衰量λを用いて、制約空間Sを生成する（ステップＳ１５）。
【０１０１】
入力画像の高さをM、幅をN、画像における垂直方向の座標位置をm、水平方向の座標位置をn、ウェーブレット変換係数をwとすると、制約空間Sは以下の式（２５）で表される。
2013161940.tif 000038
なお、式中ＷＴ（・）はウェーブレット変換、ｃは係数を表す。式（２５）は、制約空間Sをウェーブレット変換すると、そのウェーブレット変換係数は、入力画像のウェーブレット変換係数の±c×λの範囲内にあることを示す。
【０１０２】
生成された制約空間Sは射影部３０６に供給される。
【０１０３】
反復制御部１０４は、ウェーブレット逆変換部３０３から供給されるノイズ成分Vinitに基づいて、Ｔ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。
【０１０４】
骨格成分・残差成分分離部１０１は、初期ノイズ除去画像生成部１０３から供給された初期ノイズ除去画像Uinitを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分UT-Vとテクスチャとノイズで構成される残差成分VT-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。得られた骨格成分UT-Vをウェーブレット変換部３０５に供給する。
【０１０５】
ウェーブレット変換部３０５では、骨格成分・残差成分分離部１０１から供給された骨格成分UT-Vをウェーブレット変換し（ステップＳ１６）、ウェーブレット変換係数を射影部３０６に供給する。
【０１０６】
射影部３０６では、制約空間生成部３０４から供給された制約空間Sとウェーブレット変換部３０５から供給されたウェーブレット変換係数を用いて、以下の式（２６）で表す射影処理を行う（ステップＳ１７）。
2013161940.tif 000039
なお、tはウェーブレット変換部３０５から出力された、骨格成分UT-Vにウェーブレット変換を適用して得られたウェーブレット変換係数であり、t’は制約空間Sへの射影処理で出力されるウェーブレット変換係数である。
【０１０７】
つまり、第３の実施の形態において、出力画像Zのウェーブレット変換係数は、入力画像Fのウェーブレット変換係数wm,nの±c×λの範囲内で変動するように制約される。これにより、ノイズが過抑圧されることを防ぐことができる。
【０１０８】
さらに、射影部３０６は、式（２６）の射影処理適用後のウェーブレット変換係数をウェーブレット逆変換部３０７に供給する。
【０１０９】
ウェーブレット逆変換部３０７では、射影部３０６から供給されたウェーブレット変換係数をウェーブレット逆変換し（ステップＳ１８）、ノイズを除去した出力画像を得る。
【０１１０】
上述した動作に基づいて、本発明の画像処理方法はノイズ除去画像を生成する。
【０１１１】
次に、第３の実施の形態の画像処理方法を適用した具体的な画像処理装置について説明する。図１３は、第３の実施の形態の画像処理装置の構成例を示す図である。
【０１１２】
画像処理装置１００３は、入力画像１に対して画像処理を施し出力画像２を出力する装置である。
【０１１３】
画像処理装置１００３は、図７に示す画像処理装置１０００のように、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、制約空間生成部１４と、制約保存メモリ１５と、制約処理部１６とを備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。
【０１１４】
初期ノイズ除去画像生成部３は、ステップＳ１２、Ｓ１３、Ｓ１４の手順で、ＷＳ法を用いた初期ノイズ除去画像生成を実行し、初期ノイズ除去画像生成の過程で得られるウェーブレット変換係数と減衰量を、制約空間生成部１４に供給する。
【０１１５】
制約空間生成部１４では、初期ノイズ除去画像生成部３から供給されるウェーブレット変換係数と減衰量から、ステップＳ１５の手順で制約空間を生成する。
【０１１６】
制約処理部１６では、骨格成分・残差成分分離部１０から供給される骨格成分と、制約空間生成部１４から供給される制約空間と、から、ステップＳ１６、Ｓ１７、Ｓ１８の手順で、骨格成分の変動範囲を制約する。
【０１１７】
図１３に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【０１１８】
第３の実施の形態によれば、Ｔ−Ｖ法が過度にノイズを抑圧したことで解像度感が低下する問題を解決し、エッジやテクスチャをより維持したまま、高速にノイズを除去できる。
【０１１９】
なお、第３の実施の形態を第２の実施の形態と組み合わせることで、図１４のように、よりエッジとテクスチャを維持する画像処理方法を実現することも可能である。処理の説明は省略する。
【０１２０】
＜第４の実施の形態＞
本発明の第４の実施の形態を説明する。
【０１２１】
図１５は、本発明の第４の実施の形態である画像処理方法を説明するための機能ブロック図である。
【０１２２】
第４の実施の形態では、第１の実施の形態の画像処理方法の低周波ノイズ除去性能を高めた画像処理方法を示す。
【０１２３】
図１５の構成では、３階層の多重解像度ウェーブレット変換を行う場合の処理の流れを示しているが、３階層以外でも容易に拡張が可能である。図１６に多重解像度ウェーブレット変換の例を示す。図１６（ａ）が原画像、図１６（ｂ）が１段のウェーブレット変換、図１６（ｃ）が３階層のウェーブレット変換を示す。図１６（ｂ）において、Ｌは低周波側、Ｈは高周波側を示し、ＬとＨの組み合わせでサブバンドを表現する。例えば、ＬＨは、水平方向が低周波側、垂直方向が高周波側であることを示す。図１６（ｂ）におけるＬＬ成分に対して再帰的にウェーブレット変換を適用することで、図１６（ｃ）のような多重解像度ウェーブレット変換が実現される。以後、多重解像度ウェーブレット変換において、第ｋ階層のＬＬ成分を、ＬＬｋと表記する。第ｋ階層のＬＨ、ＨＬ、ＨＨ成分も同様に表記する。
【０１２４】
多重解像度ウェーブレット変換のＬＬ成分は、ウェーブレット変換係数であるものの、原画像の縮小画像としての側面も持つ。例えば、３階層の多重解像度ウェーブレット変換を実行した時の、３階層目のＬＬ成分は、原画像を水平・垂直両方向に1/8した、原画像の1/64の解像度をもつ縮小画像である。Ｔ−Ｖ法は画像領域におけるノイズ除去処理であるため、ＬＬ成分のウェーブレット変換係数に対して実行可能である。深い階層のＬＬ成分は、原画像の低周波成分で構成されると考えられるため、深い階層においてデノイズ処理を実行することで、低周波ノイズを除去することができる。
【０１２５】
図１７は、第４の実施の形態の画像処理方法を説明するためのフローチャートである。
【０１２６】
以下、処理の流れについて説明する。
【０１２７】
入力画像Ｆはウェーブレット変換部４０１に供給される。
【０１２８】
ウェーブレット変換部４０１では、供給された入力画像Ｆをウェーブレット変換し、ウェーブレット変換係数のＬＬ１成分をウェーブレット変換４０２に供給する。この時点におけるＬＬ１成分は、原画像に対して1/4の解像度をもつ縮小画像である。さらに、ＬＨ１、ＨＬ１、ＨＨ１成分をＳｈｒｉｎｋａｇｅ部４１０に供給する。
【０１２９】
ウェーブレット変換部４０２では、ウェーブレット変換部４０１から供給された第１階層のＬＬ１成分をウェーブレット変換し、得られたウェーブレット変換係数のＬＬ２成分をウェーブレット変換４０３に供給する。この時点におけるＬＬ２成分は、原画像に対して1/16の解像度をもつ縮小画像である。さらに、ＬＨ２、ＨＬ２、ＨＨ２成分をＳｈｒｉｎｋａｇｅ部４０７に供給する。
【０１３０】
ウェーブレット変換部４０３では、ウェーブレット変換部４０２から供給された第２階層のＬＬ２成分をウェーブレット変換し、得られたウェーブレット変換係数ＬＬ３、ＬＨ３、ＨＬ３、ＨＨ３をＳｈｒｉｎｋａｇｅ部４０４に供給する。
【０１３１】
この時点で、３階層の多重解像度ウェーブレット変換が実現される（ステップＳ１９）。続いて、最も低解像度な階層からノイズ除去処理を実行する（ステップＳ２０）。
【０１３２】
Ｓｈｒｉｎｋａｇｅ部４０４では、ウェーブレット変換４０３から供給されたウェーブレット変換係数に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数を逆ウェーブレット変換部４０５に供給する。
【０１３３】
ウェーブレット逆変換部４０５では、Ｓｈｒｉｎｋａｇｅ部４０４から供給されたウェーブレット変換係数を逆ウェーブレット変換し、原画像に対して1/16の解像度をもつ初期ノイズ除去画像U3,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４０７に供給する。また、入力画像Ｆから分離された初期残差成分V3,initを反復制御部４０６に供給する。
【０１３４】
反復制御部４０６では、ウェーブレット逆変換部４０５から供給されるノイズ成分V3,initに基づいて、骨格成分・残差成分分離部４０７におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。
【０１３５】
骨格成分・残差成分分離部４０７では、逆ウェーブレット変換部４０５から供給された初期ノイズ除去画像U3,initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U3,T-Vとテクスチャとノイズで構成される残差成分V3,T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある（ステップＳ２２）ため、得られた骨格成分U3,T-Vをウェーブレット変換係数のＬＬ’２成分とみなして逆ウェーブレット変換４０８に供給する。
【０１３６】
第３階層での処理が完了したので、続いて第２階層での処理を開始する（ステップＳ２３）。
【０１３７】
Ｓｈｒｉｎｋａｇｅ部４０８では、ウェーブレット変換部４０２から供給されたウェーブレット変換係数のＬＨ２、ＨＬ２、ＨＨ２成分に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数のＬＨ’２、ＨＬ’２、ＨＨ’２成分を逆ウェーブレット変換部４０９に供給する。
【０１３８】
ウェーブレット逆変換部４０９では、Ｓｈｒｉｎｋａｇｅ部４０８から供給されたウェーブレット変換係数のＬＨ’２、ＨＬ’２、ＨＨ’２成分と、Ｔ−Ｖ法４０６から供給されるウェーブレット変換係数のＬＬ’２成分を用いてウェーブレット逆変換し、原画像に対して1/4の解像度をもつ初期ノイズ除去画像U2,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４１１に供給する。また、入力画像Ｆから分離された初期残差成分V2,initを反復制御部４１０に供給する。
【０１３９】
反復制御部４１０では、ウェーブレット逆変換部４０９から供給されるノイズ成分V2,initに基づいて、骨格成分・残差成分分離部４１１におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。
【０１４０】
骨格成分・残差成分分離部４１１では、ウェーブレット逆変換部４０９から供給された初期ノイズ除去画像U2,initを初期解としてＴ−Ｖ法を適用し、反復制御部１０４の定める反復停止条件に基づいて、骨格成分U2,T-Vとテクスチャとノイズで構成される残差成分V2,T-Vに分離する。分離方法を示すステップＳ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５については、第１の実施の形態と同様であるため、説明を省略する。未処理の上位階層がある（ステップＳ２２）ため、得られた骨格成分U2,T-Vをウェーブレット変換係数のＬＬ’1成分とみなしてウェーブレット逆変換４１３に供給する。
【０１４１】
第２階層での処理が完了したので、続いて第１階層での処理を開始する（ステップＳ２３）。
【０１４２】
Ｓｈｒｉｎｋａｇｅ部４１２では、ウェーブレット変換部４０１から供給されたウェーブレット変換係数のＬＨ１、ＨＬ１、ＨＨ１成分に対し、Ｓｈｒｉｎｋａｇｅ処理を適用し、Ｓｈｒｉｎｋａｇｅ適用後のウェーブレット変換係数のＬＨ’１、ＨＬ’１、ＨＨ’１成分をウェーブレット逆変換部４１３に供給する。
【０１４３】
ウェーブレット逆変換部４１３では、Ｓｈｒｉｎｋａｇｅ部４１２から供給されたウェーブレット変換係数のＬＨ’１、ＨＬ’１、ＨＨ’１成分と、骨格成分・残差成分分離部４１１から供給されるウェーブレット変換係数のＬＬ’１成分を用いて逆ウェーブレット変換し、原画像と同じ解像度をもつ初期ノイズ除去画像U1,initを生成し（ステップＳ２１）、骨格成分・残差成分分離部４１５に供給する。また、入力画像Ｆから分離された初期残差成分V1,initを反復制御部４１４に供給する。
【０１４４】
反復制御部４１４では、ウェーブレット逆変換部４１３から供給されるノイズ成分V1,initに基づいて、骨格成分・残差成分分離部４１５におけるＴ−Ｖ法の反復を制御する。反復制御方法を示すステップＳ９、Ｓ１０については、第１の実施の形態と同様であるため、説明を省略する。
【０１４５】
骨格成分・残差成分分離部４１５では、ウェーブレット逆変換部４１３から供給された原画像と同じ解像度をもつ初期ノイズ除去画像U1,initを初期解としてＴ−Ｖ法を適用し、骨格成分U1,T-Vとテクスチャ成分V1,T-Vを得る。
【０１４６】
第１階層での処理が完了したので、得られた骨格成分U1,T-Vをノイズ除去画像Zとして出力する（ステップＳ６）。
【０１４７】
上述した動作に基づいて、発明の画像処理方法はノイズ除去画像を生成する。
【０１４８】
次に、第４の実施の形態の画像処理方法を適用した画像処理装置について説明する。図１８は、第４の実施の形態の画像処理装置の構成例を示す図である。
【０１４９】
画像処理装置１００４は、入力画像１に対して画像処理を施し出力画像２を出力する装置である。
【０１５０】
画像処理装置１００４は、図７に示す画像処理装置１０００のように、初期残差成分保存メモリ４と、初期残差成分の標準偏差計算部５と、初期残差成分の標準偏差保存メモリ６と、劣勾配法のパラメータ計算部７と、劣勾配法のパラメータ保存メモリ８と、劣勾配法の反復制御部９と、骨格成分・残差成分分離部１０と、を備える。これらの処理は画像処理装置１０００と同様であるため、説明を省略する。
【０１５１】
多重解像度ウェーブレット変換部１７では、ステップＳ１９の手順で入力画像１に対して多重解像度ウェーブレット変換を適用する。
【０１５２】
高周波成分保存メモリ１８では、多重解像度ウェーブレット変換部１７から供給される、ウェーブレット変換係数の高周波成分を保存する。
【０１５３】
初期ノイズ除去画像生成部３では、多重解像度ウェーブレット変換部１７、または、出力画像制御部１９から供給される処理対象の階層のウェーブレット変換係数の低周波成分と、高周波成分保存メモリ１８を参照して取得する処理対象の階層のウェーブレット変換係数の高周波成分とから、ステップＳ２１の手順で初期ノイズ除去画像を生成する。
【０１５４】
出力画像制御部１９では、処理対象の階層の解像度が入力画像１の解像度と一致したときは、骨格成分・残差成分分離部１０から供給される骨格成分を出力画像２とする。処理対象の階層の解像度が入力画像１の解像度より低い時は、ステップＳ２２、Ｓ２３の手順で、骨格成分・残差成分分離部１０から供給される骨格成分を１階層解像度の高いウェーブレット変換係数の低周波成分とみなして、初期ノイズ除去画像生成部３に供給する。
【０１５５】
なお、図１８に示した画像処理装置の構成は一例であり、同様の機能を実現する装置であればその他の構成をとってもよい。
【０１５６】
第４の実施の形態によれば、各階層で初期ノイズ除去画像を求めて、各階層のＴ−Ｖ法の初期解とすることで、各階層のＴ−Ｖ法で解が収束するまでに必要なChambolleのProjection法の反復回数を削減し、高周波ノイズだけでなく低周波ノイズも高速に除去できる。
【０１５７】
なお、第４の実施の形態と第２の実施の形態を組み合わせた画像処理方法や、第４の実施の形態と第３の実施の形態を組み合わせた画像処理方法を構成することは容易に可能である。これらの処理の説明は省略する。
【０１５８】
尚、上述した説明からも明らかなように、各部をハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。この場合、プログラムメモリに格納されているプログラムで動作するプロセッサによって、上述した各実施の形態と同様の機能、動作を実現させる。また、上述した実施の形態の一部の機能のみをコンピュータプログラムにより実現することも可能である。
【０１５９】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【０１６０】
（付記１）
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成し、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御し、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する
画像処理方法。
【０１６１】
（付記２）
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記１に記載の画像処理方法。
【０１６２】
（付記３）
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記１に記載の画像処理方法。
【０１６３】
（付記４）
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記２又は付記３に記載の画像処理方法。
【０１６４】
（付記５）
入力画像から、複数の解像度の異なる画像を生成し、
異なる画像毎に、付記１から付記４のいずれかに記載の画像処理方法を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
画像処理方法。
【０１６５】
（付記６）
入力画像中のエッジ成分を保存するノイズ除去方法によって初期ノイズ除去画像を生成する初期ノイズ除去画像生成手段と、
予め定義されたエネルギーに基づく繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する骨格成分・残差成分分離手段と、
前記初期残差成分に基づいて、前記繰り返し演算を制御する制御手段と
を有する画像処理装置。
【０１６６】
（付記７）
前記骨格成分・残差成分分離手段は、
前記残差成分からエッジ成分とテクスチャ成分を抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する付記６に記載の画像処理装置。
【０１６７】
（付記８）
前記骨格成分・残差成分分離手段は、
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出し、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する
付記６に記載の画像処理装置。
【０１６８】
（付記９）
前記骨格成分・残差成分分離手段は、
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記７又は付記８に記載の画像処理装置。
【０１６９】
（付記１０）
入力画像から、複数の解像度の異なる画像を生成する手段を有し、
前記初期ノイズ除去画像生成手段、前記骨格成分・残差成分分離手段及び前記制御手段を、各解像度の画像に対応して設け、
前記初期ノイズ除去画像生成手段は、対応する解像度よりも一つ解像度の低いに基づいて生成された出力画像を、初期ノイズ除去画像の生成に用いる
付記６から付記９のいずれかに記載の画像処理装置。
【０１７０】
（付記１１）
入力画像におけるエッジを保存しながらノイズを低減して初期ノイズ除去画像を生成する処理と、
前記入力画像と前記初期ノイズ除去画像とから算出される初期残差成分に基づいて、予め定義されたエネルギーに基づく繰り返し演算を制御する処理と、
前記制御された繰り返し演算によって、前記初期ノイズ除去画像を骨格成分と残差成分に分離し、前記骨格成分を出力画像として生成する処理と
をコンピュータに実行させるプログラム。
【０１７１】
（付記１２）
前記残差成分からエッジ成分とテクスチャ成分を抽出する処理と、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記１１に記載のプログラム。
【０１７２】
（付記１３）
前記初期残差成分と前記残差成分とからエッジ成分とテクスチャ成分とを抽出する処理と、
前記骨格成分と前記エッジ成分と前記テクスチャ成分とを合成し、出力画像を生成する処理と
をコンピュータに実行させる付記１１に記載のプログラム。
【０１７３】
（付記１４）
前記初期残差成分の標準偏差と前記残差成分の標準偏差とに基づいて、前記エッジ成分と前記テクスチャ成分とを抽出する
付記１２又は付記１３に記載のプログラム。
【０１７４】
（付記１５）
入力画像から、複数の解像度の異なる画像を生成する処理を有し、
異なる画像毎に、付記１１から付記１４のいずれかに記載の処理を適用して出力画像を生成する際に、低い解像度の画像に基づいて生成された出力画像を、一つ解像度の高い画像における初期ノイズ除去画像の生成に用いる
プログラム。
【０１７５】
以上好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも上記実施の形態に限定されるものではなく、その技術的思想の範囲内において様々に変形し実施することが出来る。
【０１７６】
本出願は、２０１２年４月２７日に出願された日本出願特願２０１２−１０２０１９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１７７】
１          入力画像
２          出力画像
３          初期ノイズ除去画像生成部
４          初期残差成分保存メモリ
５          標準偏差計算部
６          標準偏差保存メモリ
７          パラメータ計算部
８          パラメータ保存メモリ
９          反復制御部
１０        骨格成分・残差成分分離部
１１        ノイズ抑制部
１２        合成部
１３        ノイズ抑制部
１４        制約空間生成部
１５        制約保存メモリ
１６        制約処理部
１９        出力画像制御部
１０１      骨格成分・残差成分分離部
１０２      ノイズ抑制部
１０３      初期ノイズ除去画像生成部
１０４      反復制御部
２０１      ノイズ抑制部
３０１      ウェーブレット変換部
３０２      Ｓｈｒｉｎｋａｇｅ部
３０３      ウェーブレット逆変換部
３０４      制約空間生成部
３０５      ウェーブレット変換部
３０６      射影部
３０７      ウェーブレット逆変換部
４０１      ウェーブレット変換部
４０２      ウェーブレット変換部
４０３      ウェーブレット変換部
４１２      Ｓｈｒｉｎｋａｇｅ部
４０４      Ｓｈｒｉｎｋａｇｅ部
４０５      ウェーブレット逆変換部
４０６      反復制御部
４０７      骨格成分・残差成分分離部
４０８      Ｓｈｒｉｎｋａｇｅ部
４０９      ウェーブレット逆変換部
４１０      反復制御部
４１１      骨格成分・残差成分分離部
４１３      ウェーブレット逆変換部
４１４      反復制御部
４１５      骨格成分・残差成分分離部
１０００    画像処理装置
【図１】
2013161940.tif 000040
【図２】
2013161940.tif 000041
【図３】
2013161940.tif 000042
【図４】
2013161940.tif 000043
【図５】
2013161940.tif 000044
【図６】
2013161940.tif 000045
【図７】
2013161940.tif 000046
【図８】
2013161940.tif 000047
【図９】
2013161940.tif 000048
【図１０】
2013161940.tif 000049
【図１１】
2013161940.tif 000050
【図１２】
2013161940.tif 000051
【図１３】
2013161940.tif 000052
【図１４】
2013161940.tif 000053
【図１５】
2013161940.tif 000054
【図１６】
2013161940.tif 000055
【図１７】
2013161940.tif 000056
【図１８】
2013161940.tif 000057
【図１９】
2013161940.tif 000058
【図２０】
2013161940.tif 000059
【図２１】
2013161940.tif 000060
【図２２】
2013161940.tif 000061
【図２３】
2013161940.tif 000062
【国際調査報告】
2013161940.tif 000063
2013161940.tif 000064
2013161940.tif 000065
2013161940.tif 000066