(57)【要約】  原画像に含まれるノイズ成分を除去する画像処理方法は、原画像を仮にノイズ除去して、仮ノイズ除去画像と仮ノイズ成分に分離し、仮ノイズ除去画像に対してエッジ検出を行なうことにより、仮ノイズ除去画像のエッジ成分を抽出し、抽出したエッジ成分の大きさに基づいて、仮ノイズ成分に含まれる原画像の微小エッジ成分を求め、仮ノイズ成分から微小エッジ成分を除外することにより、実ノイズ成分を抽出し、抽出した実ノイズ成分に基づき、原画像のノイズ除去を行なう。
2008093836.tif 000002
【特許請求の範囲】
【請求項１】
原画像に含まれるノイズ成分を除去する画像処理方法であって、
原画像を仮にノイズ除去して、仮ノイズ除去画像と仮ノイズ成分に分離し、
前記仮ノイズ除去画像に対してエッジ検出を行なうことにより、前記仮ノイズ除去画像のエッジ成分を抽出し、
前記抽出したエッジ成分の大きさに基づいて、前記仮ノイズ成分に含まれる前記原画像の微小エッジ成分を求め、
前記仮ノイズ成分から前記微小エッジ成分を除外することにより、実ノイズ成分を抽出し、
前記抽出した実ノイズ成分に基づき、前記原画像のノイズ除去を行なう画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記エッジ成分の大きさが、前記原画像に対して一義的に決まるノイズゆらぎ指標値に比べて大きければ大きいほど、前記微小エッジ成分の混入確率が高いと推定する画像処理方法。
【請求項３】
請求項２に記載の画像処理方法において、
前記微小エッジ成分の混入割合を、前記エッジ成分と前記ノイズゆらぎ指標値との比を引数としたガウス分布確率で統計的に推定する画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、
前記仮ノイズ成分に前記ガウス分布確率を掛けて減衰させることにより、前記微小エッジ成分を除外する画像処理方法。
【請求項５】
請求項１に記載の画像処理方法において、
前記原画像に対して一義的に決まるノイズゆらぎ指標値を設定し、原画像構造の信号変動幅をそれと比較することによって、適応的に平滑化した前記仮ノイズ除去画像とその残差の前記仮ノイズ成分に原画像を分離する画像処理方法。
【請求項６】
請求項５に記載の画像処理方法において、
前記ノイズゆらぎ指標値と同程度以下の微小に変動する対象画素近傍の信号値を、信号差分値に依存させて選択的に加重平均することによって、適応的に平滑化した前記仮ノイズ除去画像を生成し、前記原画像との差分をとることによって前記仮ノイズ成分を得る画像処理方法。
【請求項７】
請求項５に記載の画像処理方法において、
前記原画像と一様平滑化画像との差分信号に対して、前記ノイズゆらぎ指標値と同程度以下の微小に変動する成分だけを通過させる信号変換処理を施す過程を経て前記仮ノイズ成分を抽出し、該仮ノイズ成分を前記原画像から減算処理することにより前記仮ノイズ除去画像を生成する画像処理方法。
【請求項８】
請求項１に記載の画像処理方法において、
前記仮ノイズ除去画像を生成するための画像参照範囲の大きさに合わせて、前記エッジ検出を行なうための画像参照範囲の大きさを設定する画像処理方法。
【請求項９】
請求項１に記載の画像処理方法において、
前記原画像は、多重解像度表現で帯域制限されたサブバンド画像である画像処理方法。
【請求項１０】
請求項１に記載の画像処理方法において、
前記原画像は、実空間で表現された原画像そのものである画像処理方法。
【請求項１１】
請求項１，９，１０のいずれかに記載の画像処理方法において、
前記原画像は、輝度面と色差面の各々について全て行なう画像処理方法。
【請求項１２】
原画像に含まれるノイズ成分を除去する画像処理方法であって、
原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、
前記帯域制限画像の各々に対して仮にノイズ除去を行なって、各帯域制限画像を仮ノイズ除去画像と仮ノイズ成分に分離し、
前記仮ノイズ除去後の各帯域制限画像に対してエッジ検出を行なうことにより、仮ノイズ除去画像のエッジ成分を各帯域制限画像について抽出し、
前記分離された各帯域制限画像の仮ノイズ成分を統合して、前記原画像と同じ解像度を持つ仮ノイズ成分に統合し、
前記抽出された各帯域制限画像のエッジ成分を統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、
前記統合されたエッジ成分に基づいて、前記統合された仮ノイズ成分に含まれる前記原画像のエッジ成分の量を求め、
前記統合された仮ノイズ成分から前記原画像のエッジ成分を除外することにより、実ノイズ成分を抽出し、
前記抽出した実ノイズ成分に基づき、前記原画像のノイズ除去を行なう画像処理方法。
【請求項１３】
請求項１２に記載の画像処理方法において、
前記統合されたエッジ成分の大きさが、前記原画像に対して一義的に決まるノイズゆらぎ指標値に比べて大きければ大きいほど、前記仮ノイズ除去で混入したエッジ成分の混入確率が高いと推定する画像処理方法。
【請求項１４】
請求項１３に記載の画像処理方法において、
前記仮ノイズ除去で混入したエッジ成分の混入割合を、前記統合されたエッジ成分と前記ノイズゆらぎ指標値との比を引数としたガウス分布確率で統計的に推定する画像処理方法。
【請求項１５】
請求項１４に記載の画像処理方法において、
前記統合された仮ノイズ成分に前記ガウス分布確率を掛けて減衰させることにより、前記仮ノイズ除去で混入したエッジ成分を除外する画像処理方法。
【請求項１６】
請求項１２に記載の画像処理方法において、
前記仮のノイズ除去と前記仮ノイズ成分の統合は共に、低周波画像と高周波画像の両方の帯域制限画像を用いる画像処理方法。
【請求項１７】
請求項１２に記載の画像処理方法において、
前記エッジ成分の抽出と前記抽出したエッジ成分の統合は共に、高周波画像側の帯域制限画像のみを用いる画像処理方法。
【請求項１８】
請求項２〜７，１３〜１５のいずれかに記載の画像処理方法において、
原画像を均等ノイズ空間、ないしは均等色・均等ノイズ空間に変換することによって、前記ノイズゆらぎ指標値を原画像の明るさレベルに関係なく一定の指標を用いる画像処理方法。
【請求項１９】
原画像に含まれるノイズ成分を除去する画像処理方法であって、
原画像を仮にノイズ除去して、前記原画像に含まれるノイズ成分を抽出し、
前記原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、
前記各帯域制限画像に対してエッジ検出を行なって、各帯域制限画像のエッジ成分を抽出し、
前記抽出された各帯域制限画像のエッジ成分を統合して、前記原画像と同じ解像度を持つエッジ成分に統合し、
前記抽出されたノイズ成分及び前記統合されたエッジ成分に基づいて、前記原画像のノイズ除去を行なう画像処理方法。
【請求項２０】
請求項１９に記載の画像処理方法において、
前記統合されたエッジ成分の大きさに基づいて、前記抽出されたノイズ成分に含まれるエッジ成分の混入量を推定し、
前記推定結果に基づき、前記抽出されたノイズ成分から前記混入したエッジ成分を除外し、
前記混入したエッジ成分を除外したノイズ成分に基づき、前記原画像のノイズ除去を行なう画像処理方法。
【請求項２１】
請求項１９または２０に記載の画像処理方法において、
前記各帯域制限画像の各々に対して仮のノイズ除去を行なって、各帯域制限画像の仮ノイズ成分を抽出し、
前記抽出された各帯域制限画像のノイズ成分を統合して、前記原画像と同じ解像度を持つノイズ成分に統合し、前記原画像に含まれるノイズ成分を抽出する画像処理方法。
【請求項２２】
請求項１９または２０に記載の画像処理方法において、
前記エッジ抽出の前に、前記帯域制限画像の各々に対して仮のノイズ除去を行なって、各帯域制限画像の仮ノイズ除去画像を生成し、
前記仮のノイズ除去後の各帯域制限画像に対して前記エッジ検出を行なうことにより、前記仮のノイズ除去後にも残存する残存エッジ成分を各帯域制限画像について抽出し、
前記抽出された各帯域制限画像の前記残存エッジ成分を前記エッジ成分として統合して、前記原画像と同じ解像度を持つエッジ成分に統合する画像処理方法。
【請求項２３】
請求項１から２２のいずれかに記載の画像処理方法をコンピュータまたは画像処理装置に実行させる画像処理プログラム。
【請求項２４】
請求項２３に記載の画像処理プログラムを搭載する画像処理装置。
【請求項２５】
請求項２３に記載の画像処理プログラムを搭載する電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に含まれるノイズを除去する画像処理方法に関する。
【背景技術】
【０００２】
従来からのノイズ除去技術として、ノイズのゆらぎ幅と画像構造のエッジの大きさを適応的に区別して平滑化する、いわゆるedge-preserving smoothing filterと呼ばれるノイズ除去フィルタが存在する。例えば、非特許文献１のσフィルタや非特許文献２のもっと高性能なバイラテラル・フィルタや、更には特許文献１には本願発明者が考案した改良型バイラテラル・フィルタといったものが開示されている。【０００３】
他方、これらのedge-preserving smoothing filterよりもエッジとノイズとの分離精度が一般に低いが、より簡略なノイズ抽出手法として、特許文献２に示されるような原画像と一様平滑化画像との差分をとって、その中に含まれるエッジ成分とノイズ成分を非線形変換処理で分離する手法がある。同様の技術を扱う特許文献３では、（実空間の局所的なフィルタリング処理を用いて得られた）エッジ強調画像と一様平滑化画像の差分に対し、非線形変換を通してノイズ成分とエッジ成分に分離し、このエッジ成分を指標としてノイズ成分を修正する手法が開示されている。ただし、このエッジ成分に含まれているノイズの影響を抑えるため、新たにエッジ成分に対してメディアンフィルタでノイズ除去した上で用いている。【０００４】
【特許文献１】国際公開第2006/068025号パンフレット
【特許文献２】特開2002-74356号公報
【特許文献３】米国特許第6,055,340
【非特許文献１】J. S. Lee, "Digital Image Smoothing and the Sigma Fileter," Computer Vision, Graphics, and Image Processing Vol.24, pp.255-269, 1983.
【非特許文献２】C. Tomasi et al., "Bilateral Filtering for Gray and Color Images," Proceedings of the 1998 IEEE international Conference on Computer Vision, Bombay, India.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、一般にエッジとノイズの分離精度が高いedge-preserving smoothing filterであっても、それが如何に高性能化していっても、ノイズのゆらぎ幅程度以下の微細なエッジ構造とは区別しきれないため、これらを平滑化してしまって平面的な画像となり質感を失ってしまうという問題があった。特に質感を失う例としては、毛並みのようなテキスチャ構造を消失したり、大きなエッジ部であってもこれらの微細エッジ成分の存在によって保たれていた立体感・奥行き感を消失するといった現象などが挙げられる。【０００６】
一方で、エッジとノイズの分離精度が低いノイズ除去処理で用いられた、エッジ成分を参照してノイズ成分を修正する手法においては、その参照エッジ内のノイズの影響を抑える方法が安易なフィルタ処理であるため、十分な画質改善効果が望めなかったり、追加的なノイズ除去処理に伴って処理が煩雑化するといった問題点があった。【０００７】
また、特許文献３のような従来手法は、ノイズ成分へのエッジ成分の混入モデルとしては局所的なエッジ検出から得られる特定周波数分布のエッジ成分に対しては有効な側面を持っているが、それらの周波数成分から外れるようなエッジ成分に対しては対応できないという課題があった。【０００８】
例えば、ノイズゆらぎ程度の毛並みのようなテキスチャ構造を持った人形の写真が、従来技術では局所的なエッジ度が小さく検出されるのでほとんど復活できないというような場合が考えられる。あるいは、ノイズのゆらぎより１〜３倍程度の信号変化強度を持つものの、低密度で孤立して存在するようなエッジ成分も、エッジ度が低くなってしまって、これらを復活できないといったことも容易に考えられる。この例としては、例えば白いユリの花の黒点模様の構造が消失するような場合が該当する。
【課題を解決するための手段】
【０００９】
本発明の第１の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像を仮にノイズ除去して、仮ノイズ除去画像と仮ノイズ成分に分離し、仮ノイズ除去画像に対してエッジ検出を行なうことにより、仮ノイズ除去画像のエッジ成分を抽出し、抽出したエッジ成分の大きさに基づいて、仮ノイズ成分に含まれる原画像の微小エッジ成分を求め、仮ノイズ成分から微小エッジ成分を除外することにより、実ノイズ成分を抽出し、抽出した実ノイズ成分に基づき、原画像のノイズ除去を行なう。
本発明の第２の態様によると、第１の態様の画像処理方法において、エッジ成分の大きさが、原画像に対して一義的に決まるノイズゆらぎ指標値に比べて大きければ大きいほど、微小エッジ成分の混入確率が高いと推定するのが好ましい。
本発明の第３の態様によると、第２の態様の画像処理方法において、微小エッジ成分の混入割合を、エッジ成分とノイズゆらぎ指標値との比を引数としたガウス分布確率で統計的に推定するのが好ましい。
本発明の第４の態様によると、第３の態様の画像処理方法において、仮ノイズ成分にガウス分布確率を掛けて減衰させることにより、微小エッジ成分を除外するのが好ましい。
本発明の第５の態様によると、第１の態様の画像処理方法において、原画像に対して一義的に決まるノイズゆらぎ指標値を設定し、原画像構造の信号変動幅をそれと比較することによって、適応的に平滑化した仮ノイズ除去画像とその残差の仮ノイズ成分に原画像を分離するのが好ましい。
本発明の第６の態様によると、第５の態様の画像処理方法において、ノイズゆらぎ指標値と同程度以下の微小に変動する対象画素近傍の信号値を、信号差分値に依存させて選択的に加重平均することによって、適応的に平滑化した仮ノイズ除去画像を生成し、原画像との差分をとることによって仮ノイズ成分を得るのが好ましい。
本発明の第７の態様によると、第５の態様の画像処理方法において、原画像と一様平滑化画像との差分信号に対して、ノイズゆらぎ指標値と同程度以下の微小に変動する成分だけを通過させる信号変換処理を施す過程を経て仮ノイズ成分を抽出し、該仮ノイズ成分を原画像から減算処理することにより仮ノイズ除去画像を生成するのが好ましい。
本発明の第８の態様によると、第１の態様の画像処理方法において、仮ノイズ除去画像を生成するための画像参照範囲の大きさに合わせて、エッジ検出を行なうための画像参照範囲の大きさを設定するのが好ましい。
本発明の第９の態様によると、第１の態様の画像処理方法において、原画像は、多重解像度表現で帯域制限されたサブバンド画像であるのが好ましい。
本発明の第１０の態様によると、第１の態様の画像処理方法において、原画像は、実空間で表現された原画像そのものであるのが好ましい。
本発明の第１１の態様によると、第１，９，１０のいずれかの態様の画像処理方法において、原画像は、輝度面と色差面の各々について全て行なうのが好ましい。
本発明の第１２の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、帯域制限画像の各々に対して仮にノイズ除去を行なって、各帯域制限画像を仮ノイズ除去画像と仮ノイズ成分に分離し、仮ノイズ除去後の各帯域制限画像に対してエッジ検出を行なうことにより、仮ノイズ除去画像のエッジ成分を各帯域制限画像について抽出し、分離された各帯域制限画像の仮ノイズ成分を統合して、原画像と同じ解像度を持つ仮ノイズ成分に統合し、抽出された各帯域制限画像のエッジ成分を統合して、原画像と同じ解像度を持つエッジ成分に統合し、統合されたエッジ成分に基づいて、統合された仮ノイズ成分に含まれる原画像のエッジ成分の量を求め、統合された仮ノイズ成分から原画像のエッジ成分を除外することにより、実ノイズ成分を抽出し、抽出した実ノイズ成分に基づき、原画像のノイズ除去を行なう。
本発明の第１３の態様によると、第１２の態様の画像処理方法において、統合されたエッジ成分の大きさが、原画像に対して一義的に決まるノイズゆらぎ指標値に比べて大きければ大きいほど、仮ノイズ除去で混入したエッジ成分の混入確率が高いと推定するのが好ましい。
本発明の第１４の態様によると、第１３の態様の画像処理方法において、仮ノイズ除去で混入したエッジ成分の混入割合を、統合されたエッジ成分とノイズゆらぎ指標値との比を引数としたガウス分布確率で統計的に推定するのが好ましい。
本発明の第１５の態様によると、第１４の態様の画像処理方法において、統合された仮ノイズ成分にガウス分布確率を掛けて減衰させることにより、仮ノイズ除去で混入したエッジ成分を除外するのが好ましい。
本発明の第１６の態様によると、第１２の態様の画像処理方法において、仮のノイズ除去と仮ノイズ成分の統合は共に、低周波画像と高周波画像の両方の帯域制限画像を用いるのが好ましい。
本発明の第１７の態様によると、第１２の態様の画像処理方法において、エッジ成分の抽出と抽出したエッジ成分の統合は共に、高周波画像側の帯域制限画像のみを用いるのが好ましい。
本発明の第１８の態様によると、第２〜７，１３〜１５のいずれかの態様の画像処理方法において、原画像を均等ノイズ空間、ないしは均等色・均等ノイズ空間に変換することによって、ノイズゆらぎ指標値を原画像の明るさレベルに関係なく一定の指標を用いるのが好ましい。
本発明の第１９の態様によると、原画像に含まれるノイズ成分を除去する画像処理方法は、原画像を仮にノイズ除去して、原画像に含まれるノイズ成分を抽出し、原画像をフィルタリングして、逐次的に低い解像度を持つ複数の帯域制限画像を生成し、各帯域制限画像に対してエッジ検出を行なって、各帯域制限画像のエッジ成分を抽出し、抽出された各帯域制限画像のエッジ成分を統合して、原画像と同じ解像度を持つエッジ成分に統合し、抽出されたノイズ成分及び統合されたエッジ成分に基づいて、原画像のノイズ除去を行なうのが好ましい。
本発明の第２０の態様によると、第１９の態様の画像処理方法において、統合されたエッジ成分の大きさに基づいて、抽出されたノイズ成分に含まれるエッジ成分の混入量を推定し、推定結果に基づき、抽出されたノイズ成分から混入したエッジ成分を除外し、混入したエッジ成分を除外したノイズ成分に基づき、原画像のノイズ除去を行なうのが好ましい。
本発明の第２１の態様によると、第１９または２０の態様の画像処理方法において、各帯域制限画像の各々に対して仮のノイズ除去を行なって、各帯域制限画像の仮ノイズ成分を抽出し、抽出された各帯域制限画像のノイズ成分を統合して、原画像と同じ解像度を持つノイズ成分に統合し、原画像に含まれるノイズ成分を抽出する。
本発明の第２２の態様によると、第１９または２０の態様の画像処理方法において、エッジ抽出の前に、帯域制限画像の各々に対して仮のノイズ除去を行なって、各帯域制限画像の仮ノイズ除去画像を生成し、仮のノイズ除去後の各帯域制限画像に対してエッジ検出を行なうことにより、仮のノイズ除去後にも残存する残存エッジ成分を各帯域制限画像について抽出し、抽出された各帯域制限画像の残存エッジ成分をエッジ成分として統合して、原画像と同じ解像度を持つエッジ成分に統合するのが好ましい。
本発明の第２３の態様によると、画像処理プログラムは、第１から２２のいずれかの態様の画像処理方法をコンピュータまたは画像処理装置に実行させる。
本発明の第２４の態様によると、画像処理装置は、第２３の態様の画像処理プログラムを搭載する。
本発明の第２５の態様によると、電子カメラは、第２３の態様の画像処理プログラムを搭載する。
【発明の効果】
【００１０】
本発明によれば、ノイズ除去フィルタでは区別が不可能であった微細エッジとノイズ成分を区別することが可能となり、質感再現性の高いノイズ除去が可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態である画像処理装置を示す図である。
【図２】画像信号のうち強いコントラストの信号と弱いコントラストの信号とノイズの関係を示す図である。
【図３】パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。
【図４】第１の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。
【図５】第２の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。
【図６】第３の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。
【図７】第４の実施の形態のノイズ除去処理の流れ図を示す図である。
【図８】3x3のラプラシアンフィルタを示す図である。
【図９】デジタルカメラ１００の構成を示す図である。
【図１０】パーソナルコンピュータの構成を示す図である。
【発明を実施するための最良の形態】
【００１２】
−第１の実施の形態−
図１は、本発明の実施の形態である画像処理装置を示す図である。画像処理装置は、パーソナルコンピュータ１により実現される。パーソナルコンピュータ１は、デジタルカメラ２、ＣＤ−ＲＯＭなどの記録媒体３、他のコンピュータ４などと接続され、各種の画像データの提供を受ける。パーソナルコンピュータ１は、提供された画像データに対して、以下に説明する画像処理を行う。コンピュータ４は、インターネットやその他の電気通信回線５を経由して接続される。【００１３】
パーソナルコンピュータ１が画像処理のために実行するプログラムは、図１の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、パーソナルコンピュータ１内にインストールされる。図９は、パーソナルコンピュータ１の構成を示す図である。パーソナルコンピュータ１は、ＣＰＵ１１、メモリ１２、およびその周辺回路１３などから構成され、ＣＰＵ１１がインストールされたプログラムを実行する。【００１４】
プログラムがインターネットやその他の電気通信回線を経由して提供される場合は、プログラムは、電気通信回線、すなわち、伝送媒体を搬送する搬送波上の信号に変換して送信される。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給される。【００１５】
図２は、画像信号のうち強いコントラストの信号と弱いコントラストの信号とノイズの関係を示す図である。図２に示す通り、弱いコントラストの信号（微細なエッジ構造）は、ノイズに埋もれてしまい、いかにエッジとノイズの分離精度が高いedge-preserving smoothing filterを使用しても、弱いコントラストの信号とノイズとはどうしても区別できない。【００１６】
従って、ノイズを除去しようとすると、弱いコントラストの信号まで除去してしまい、画像の質感を失ってしまうという問題を避けることができなかった。本実施の形態での画像処理装置は、このような問題を解決する。すなわち、ノイズとノイズのゆらぎ幅程度以下の弱いコントラストの信号とを適切に区別し、弱いコントラスト信号をノイズ成分から適切に除外してノイズ除去を行う。【００１７】
以下、パーソナルコンピュータ１が実行する画像処理について説明する。図３は、パーソナルコンピュータ１が処理する第１の実施の形態の画像処理のフローチャートを示す図である。ステップＳ１では、画像データを入力する。ステップＳ２では、均等色・均等ノイズ空間に変換する。ステップＳ３では、ノイズ除去処理をする。ステップＳ４では、色空間を逆変換する。ステップＳ５では、処理が終了した画像データを出力する。以下、各ステップの処理の詳細について説明する。【００１８】
１．色空間変換
ステップＳ１で画像データ（以下、単に画像と言う）を入力すると、ステップＳ２において、入力画像をまず色空間変換し、ノイズ除去処理を行なうのに適した画像処理空間へ投影し直す。この画像処理空間として、例えば、国際公開第2006/064913号パンフレット（本願と同一発明者）に記載の均等色・均等ノイズ空間を用いる。通常、入力画像はsRGBといった標準色空間で表されていることが多い。従って、ここでは色補正処理やガンマ補正処理がなされたsRGB画像を例に説明する。【００１９】
１−１．逆ガンマ補正
sRGB規定のガンマ特性、ないしは各カメラメーカーが固有の絵作りに使用したガンマ特性の階調変換処理を外し、元の線形階調に戻す。次式は、sRGB画像を、逆ガンマ補正し元の線形階調に戻す式を示している。メーカー固有のガンマ特性が不明の場合は、γ-1としてsRGB規定のガンマ特性の逆変換で代用してもよい。
【数１】
2008093836.tif 000003
【００２０】
１−２．RGB色空間からXYZ色空間への変換
次に、線形階調に戻されたRGB色空間をXYZ色空間へ変換する。これはRGB原刺激の分光特性で決まる3x3行列変換により実施する。例えば、線形階調に変換したsRGB入力画像に対しては、以下のような規格通りの変換を行う。
【数２】
2008093836.tif 000004
【００２１】
１−３．XYZ色空間から均等色・均等ノイズ色空間（L^a^b^）への変換
次に、次式により、XYZ空間から擬似的に均等色配分された知覚的な属性を表す非線形階調のL^a^b^空間へ変換する。ここで定義するL^a^b^空間は、従来のいわゆる均等色空間L*a*b*に対し、均等ノイズ性を考慮して変形を加えたものであり、便宜的にL^a^b^と名付けたものである。
【数３】
2008093836.tif 000005
【００２２】
ここで、通常、均等色・均等ノイズ化する階調特性として
【数４】
2008093836.tif 000006
を用いる。しかし、CIE規定のL*a*b*が持つ1/3乗ガンマ特性に対して正のオフセット値を加えて均等ノイズ化した下記のような変形式を用いてもよい。
【数５】
2008093836.tif 000007
【００２３】
上記X0,Y0,Z0は照明光によって定まる値であり、例えば、標準光D65下で2度視野の場合、X0=95.045、Y0=100.00、Z0=108.892のような値をとる。εの値は、センサーによっても異なるが、低感度設定のときはほぼ0に近い値を、高感度設定のときは0.05程度の値をとる。【００２４】
２．画像の多重解像度表現
次に、ステップＳ３のノイズ除去処理について説明する。図４は、本実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。すなわち、上記のように均等色・均等ノイズ色空間に変換した輝度成分L^、色差成分a^、b^の各々の原画像を多重解像度表現して、それぞれ独立にノイズ除去を行なう。原画像を順次ウェーブレット変換のAnalysis過程によって低解像度画像に分解していき、サブバンド画像が生成されるAnalysis過程をまとめて次式のように表す。
【数６】
2008093836.tif 000008
ただし、S(x,y)はL^, a^, b^の各面に対してサブバンド画像Vij(x,y)を生成する。【００２５】
なお、ウェーブレット変換とは、画像（画像データ）を周波数成分に変換するものであり、画像の周波数成分をハイパス成分とローパス成分に分割する。ハイパス成分からなるデータを高周波サブバンドと言い、ローパス成分からなるデータを低周波サブバンドと言い、LLを低周波サブバンド、LH, HL, HHを高周波サブバンドと言う。また、低周波サブバンドを低周波画像、高周波サブバンドを高周波画像と言ってもよい。さらに、各サブバンドを周波数帯域制限画像と言ってもよい。低周波サブバンドは、原画像の周波数帯域を低周波側に帯域制限した画像であり、高周波サブバンドは、原画像の周波数帯域を高周波側に帯域制限した画像である。【００２６】
通常の多重解像度変換は、低周波サブバンドLL成分を順次分解した高周波サブバンドを残していくだけであるが、本実施の形態ではノイズ成分のサブバンド周波数帯域間での抽出漏れがないように、低周波側サブバンドLLと高周波サブバンドLH, HL, HHの両方を残していく多重解像度表現を用いている。【００２７】
ウェーブレット変換としては、例えば以下のような5/3フィルタを用いる。
＜ウェーブレット変換：Analysis/Decompositionプロセス＞
ハイパス成分：d[n]=x[2n+1]-(x[2n+2]+x[2n])/2
ローパス成分：s[n]=x[2n]+(d[n]+d[n-1])/4
上記定義の1次元ウェーブレット変換を、横方向と縦方向に独立に2次元分離型フィルタ処理を行うことによって、ウェーブレット分解する。係数sをL面に集め、係数dをH面に集める。
＜逆ウェーブレット変換：Synthesis/Reconstructionプロセス＞
x[2n]=s[n]-(d[n]+d[n-1])/4
x[2n+1]=d[n]+(x[2n+2]+x[2n])/2【００２８】
ただし、図４に示すように、ウェーブレット変換時のxの値には画像を表す信号を入力し、生成されたウェーブレット変換係数s,dに含まれるノイズ成分を抽出し、抽出されたノイズ成分を逆ウェーブレット時のs,dに代入してノイズ画像xを生成してゆく用い方をする。【００２９】
上記多重解像度表現は5段のウェーブレット変換を用いているが、入力する原画像のサイズに応じて増減させてよい。また、多重解像度表現法として、上述のような（双）直交ウェーブレット変換に限らず、ラプラシアン・ピラミッド表現やステアラーブル・ピラミッド表現等を用いてもよい。【００３０】
３．仮想ノイズ除去によるノイズ抽出処理
３−１．ノイズ除去フィルタによるノイズ抽出処理
３−１−１．ノイズ除去処理
まず、各解像度において仮想的なノイズ除去を行う。仮想的なノイズ除去とは、原画像から最終的にノイズ除去を行う前に行う仮の（一時的と言ってもよい）ノイズ除去である。各解像度の各サブバンドにおいて、任意のノイズ除去フィルタを用いてよいが、ここでは一般に知られる高性能なバイラテラル・フィルタを改良した、例えば、国際公開第2006/068025号パンフレット（本願と同一発明者）に記載の改良Bilateral Filter（次式）を用いる。画像信号V(x,y)は、図３のステップＳ２の非線形階調変換を通じて、明るさに対してノイズを均等化する空間に移行しているので、明るさによらないノイズ指標値と比較するように設定すればよく、そのとき最もこのノイズ除去フィルタは高性能に簡略に動作させることができる。
【数７】
2008093836.tif 000009
【００３１】
ここで、簡略のためサブバンド特定記号i,jは省略している。閾値σthは各サブバンド毎に期待されるノイズゆらぎ幅（ノイズゆらぎ指標値）に合わせて設定し、エッジとノイズを区別しながらノイズ成分を抽出する。しかしながら、σthより小さなエッジ信号は平滑化対象になる可能性が存在する。σthの値はISO感度が高くなるに従い大きな値を設定する。例えば、ISO6400で256階調に対して10程度の値を設定したりする。したがって、均等ノイズ化された全階調域で+-10程度のノイズゆらぎがあり、最も明るい飽和レベルでもS/Nは256/10である。よって、高ISO感度で強いノイズ除去が必要になればなるほど、ノイズ除去フィルタでは微弱エッジとノイズの分離が困難になる。【００３２】
閾値rthの値は、ノイズ除去フィルタの範囲が解像度階層間で重なり合うように0.5〜3.0画素程度にとればよく、積分範囲もrthの2倍ないしは3倍程度にとれば十分係数値は小さな値に落ちている。一般に、他のノイズ除去フィルタであっても多重解像度表現されたサブバンド画像では3x3〜9x9程度の範囲の画素信号を参照するようなフィルタで十分なノイズ除去効果が得られる。【００３３】
なお、この改良型Bilateral Filterは、通常のBilateral Filterと違って加重係数がphotometric項とgeometric項に分離できない非分離加重型Bilateral Filterを用いている。言い換えれば、２つの引数の積で表される値を１つの指数とする１つの指数関数であらされる加重係数のフィルタを使用している。【００３４】
３−１−２．ノイズ抽出処理
各サブバンドにおいて、次式のようなノイズ抽出処理を行う。
【数８】
2008093836.tif 000010
前述したように、この抽出ノイズ成分の中には、平滑化で混入したコントラストの弱いエッジ成分が含まれている可能性が高い。【００３５】
３−２．逐次ノイズ抽出
ノイズ成分を各サブバンド面のノイズ除去フィルタリングだけで漏れなく抽出するのは難しい。そこで、本実施の形態では、多重解像度分解による周波数帯域間で間隙を生じないように、他の解像度で抽出したノイズを参照しながら逐次的にノイズを抽出する。【００３６】
逐次的なノイズ除去の方法としてはAnalysis時とSynthesis時に行なう2通りの方法があるが、第１の実施形態では、完全なノイズ成分の抽出のための仮想的なノイズ統合を行い、各階層で生成される統合ノイズ成分をLLサブバンド面から減算して、LL面からノイズ成分を抽出しやすい状態にした後、上記ノイズ除去フィルタリングを行なう。すなわち、本実施の形態では、逐次的なノイズ除去をSynthesis時に行う方法を採用する。【００３７】
例えば、実空間面の画像信号S0(LL0)を2回ウェーブレット変換して生成した1/4解像度の画像信号S2(LL2,LH2,HL2,HH2)での処理を例に説明する。まず、1/4解像度の下の階層である1/8解像度の階層で統合された統合ノイズ成分(N2)を、サブバンドLL2から減算して、LL2からノイズ成分を抽出しやすい状態LL2'にする(処理(2-0))。その後、各サブバンド(LL2',HL2,LH2,HH2)に対して上記ノイズ除去フィルタリングを行なう(処理(2-1))。【００３８】
そして、ノイズ除去フィルタリングを行う前の画像信号S2'(サブバンドLL2',HL2,LH2,HH2)からノイズ除去フィルタリングを行った画像信号S2"(サブバンドLL2",HL2',LH2',HH2')を減算してノイズ成分n2を抽出する(処理(2-2))。その後、抽出したノイズ成分n2のLL面のノイズ成分と下層で統合されたノイズ成分(N2)とを加算し(処理(2-3))、加算したLL面のノイズ成分と抽出した他のLH,HL,HH面のノイズ成分を使用してウェーブレット逆変換によりノイズ統合を行い統合されたノイズ成分(N1)を生成する(処理(2-4))。このような処理を、各階層において行い、仮想的ノイズ統合を行う。すなわち、仮想的ノイズ統合は次式で表される。
【数９】
2008093836.tif 000011
【００３９】
図４より明らかであるが、図４で行なっている処理をより具体的に書けば、
【数１０】
2008093836.tif 000012
【数１１】
2008093836.tif 000013
を行なった後に、３−１−１及び３−１−２の処理を行なう処理を繰り返すことを意味している。M=5のときは何もノイズ抽出行われていないノイズ成分を統合してくるので、N5(x,y)=0となる。【００４０】
４．残存エッジ観測によるノイズ精錬
前述したように、上記のような精度の高いノイズ除去を行っても、抽出ノイズ成分にはどうしても弱いコントラストのエッジ成分が含まれてしまう。そこで、本実施の形態では、次に上記ノイズ除去フィルタで仮に抽出されたノイズ成分に含まれる弱いコントラストのエッジ成分を除外して、ノイズ成分の純度を上げるノイズ精錬処理を考える。その基本概念として、強いコントラストのエッジが存在する個所には弱いコントラストのエッジが存在している確率が高いという仮説の下に、統計的にノイズに含まれるエッジ成分を分離する。【００４１】
強いコントラストのエッジの抽出方法として、従来は原画像から独立に抽出されたり、ノイズとエッジが別個に独立に抽出され、エッジに含まれるノイズの影響を防ぐため新たに一様フィルタリングがなされたりしてきているが、ここでは、ノイズの影響を高度に防ぐため、ノイズ除去の中心的役割を果たすノイズ除去フィルタの結果を活かす工夫をする。すなわち、ノイズの影響を独立に別系統で加味せずとも、ノイズ除去フィルタ処理の結果自体が高精度にノイズの影響を排除しているので、その仮にノイズ除去された面上でエッジ検出処理を行なってエッジ抽出を行なうと、弱いコントラストのエッジを消失するとはいえ、ノイズの影響が完全に排除された強いコントラストの残存エッジを検出することができる。【００４２】
そのノイズの影響が排除されたエッジ強度に基づいて、先ほどの統計的仮説の下にノイズ精錬を行なうと、正確なノイズ精錬が可能となり、エッジとノイズの分離精度が更に上がる。すなわち、ノイズ精錬の指標となる残存エッジ成分の信頼度が高いばかりでなく、ノイズ除去処理は一度だけで済むので簡略性も実現する。【００４３】
ここで、強いコントラストのエッジとは、ノイズ除去フィルタでノイズとエッジの分離が可能な程度以上のコントラストを持つエッジのことを指し、弱いコントラストのエッジとはそれでは分離できないエッジのことを指している。【００４４】
４−１．エッジ抽出
前述した1/4解像度の階層での処理を例に挙げて説明する。仮想ノイズ除去（仮ノイズ除去）された各サブバンド面(LL2",HL2',LH2',HH2')からエッジ成分e2を次式により抽出する(処理(2-5))。ただし、次式は各サブバンドに対する一般式でもある。
【数１２】
2008093836.tif 000014
ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。ラプラシアン・フィルタとしては通常の3x3で定義される中心が8で周辺が-1の係数からなる最も単純なフィルタを用いてもよいが、仮想ノイズ除去後にもなお残存するエッジを正確に抽出するため、ノイズ除去フィルタのフィルタリング範囲と連動させるのがよい。すなわち、仮想ノイズ除去画像を生成するための画像参照範囲の大きさに合わせて、エッジ検出を行なうための画像参照範囲の大きさを設定する。【００４５】
例えば、ノイズ除去フィルタの平滑化対象範囲が9x9程度の場合、ラプラシアン・フィルタも同じようなサイズの9x9程度に設定する。ラプラシアンは、原画像−ガウスボカシ画像で定義すればよいので、フィルタ例として以下のようなものがある。ただし、tは転置行列を表し、一次元分離型フィルタの積で構成している。
【数１３】
2008093836.tif 000015
【００４６】
４−２．単層エッジによるノイズ精錬
各サブバンド面で抽出されたノイズ成分n2を、同じサブバンド面から抽出された残存エッジ成分e2によって、同じ層面内、すなわち単層面内でノイズ精錬を行なう。残存エッジ構造がノイズ期待値に比べて大きければ大きいほど、元来そこにはコントラストの弱いエッジ成分も多く存在していたと仮定し、抽出されたノイズ成分の大部分はノイズ成分ではなく弱コントラストのエッジ成分であろうと推定する。すなわち、弱コントラストのエッジ成分の混入確率が高いと推定する。そして、次式のようにノイズ成分にガウシアン確率分布の減衰因子を掛けて統計的にエッジ成分を除外する(処理(2-6))。ただし、次式は各サブバンドに対する一般式でもある。
【数１４】
2008093836.tif 000016
【００４７】
上記式は、弱コントラストのエッジ成分（微小エッジ成分）の混入割合を、残存エッジ成分とノイズ期待値との比を引数としたガウス分布確率で統計的に推定することになる。σethijの値は、各サブバンド面のノイズ期待値σthij（数式７で用いた値）の３倍から５倍といった値にとる。ノイズ期待値σthijは、ノイズゆらぎ量の標準偏差で与えられ、ノイズ量の１σ値で代表させた値であるから、σethijは、従って、正規分布するノイズの３σや５σに相当する統計的にはとてもノイズとは考えられない有意な残存エッジを検出した場合に微小エッジの混入割合が高いであろうと推定するのである。すなわち、ノイズのゆらぎ幅は誤差関数の値より６８．３％の確率で±１σの範囲内に収まり、残りの確率ではみ出す恐れがあるのであるが、その範囲を±３σに取れば、はみ出す恐れは９９．７％の確率でなくなり、±５σに取れば１００％の確立ではみ出す恐れがなくなる。よって、それ以上のレベル差で検知されたエッジ成分は、確実に画像構造のエッジであり、この強いエッジ構造の近傍にはノイズ信号に埋もれるような微弱エッジがノイズ成分の中に含まれている可能性が高い。【００４８】
なお、ノイズ期待値σthは、ノイズゆらぎ指標値とも言い、ISO感度やセンサなどで決まる固定値であり、取得した画像に対して一義的に決まっている値であり、サブバンド毎のノイズ期待値σthijもσthの値と多重解像度変換の定義式から一義的に決まる値である。σthの値は、例えば、事前に真っ白な画像を撮影して、線形階調空間で各明るさごとに得ることができる。上記式は、このようなノイズ期待値σthに対して、エッジ成分eの値が大きければ大きいほど右辺指数項exp()の値は小さくなり、ノイズ成分eを減衰し、エッジ成分を除外したノイズ成分n'を抽出する。【００４９】
このような処理を各階層において実行する。【００５０】
こうして、ノイズ除去フィルタでは区別が不可能であった、コントラストの弱いエッジ成分をノイズ成分から除外することができるようになった。これにより、このようなコントラストの弱いエッジ成分がノイズ除去により除去されてしまうことがなくなり、ノイズ除去により立体感をなくし、平面的画像になりやすいという弊害を防ぐことができる。【００５１】
この処理を輝度面のノイズ除去で行なえば、エッジ構造の鮮鋭感を保ち、立体感のあるノイズ除去を可能とし、色差面のノイズ除去で行なえば、緩慢に色が変化する背景色の無彩色化、色抜けを防ぎ、画像自身が持つカラフルさを保った色斑ノイズ除去を可能とし、かつ色構造の色にじみも防ぐ。また、仮想ノイズ除去後の画像構造に伴うエッジが確実にあるという検出エッジの確からしさが保証されている部分のノイズ成分から、ノイズ成分を削りすぎることなく慎重にエッジ成分を除外している。【００５２】
５．実ノイズ統合
各サブバンドで漏れなくノイズ成分が抽出された後、きれいに精錬されたノイズ成分を今度は、実画像へのダメージが最も少なくノイズ除去効果の高い周波数バンド間ウェイトをつけて統合する(処理(1-7)(2-7)(3-7)(4-7))。ホワイトノイズが仮定される場合は、解像度階層間では全て1:1の重みで、主に低周波サブバンドLLと高周波サブバンドHH, HL, LHの間で重みづけを行なう。【００５３】
これは、原画像の性質に応じて最適な重みが異なる。輝度面の場合は、高周波情報が多いので高周波サブバンドに大きい重みを、色差面の場合は、低周波情報が多いので低周波サブバンドにやや大きめの重みをつける。すなわち、ノイズ除去と画像構造保存の両立性の高い周波数空間へ原画像の性質に合わせて、ノイズ抽出の周波数投影空間を変えていることに等しい。なお、1/32解像度の階層におけるNw5（図４）は何もノイズ抽出行われていないノイズ成分を統合してくるので、Nw5(x,y)=0となる。
【数１５】
2008093836.tif 000017
【００５４】
６．実際のノイズ除去処理
統合されたノイズ成分Nw0を実際に原画像S0(LL0)から減算処理することによって、ノイズ除去を実行する(処理(0-8))。ノイズ除去の見栄えを考慮して、自由度を高めるためにノイズ除去率λを導入(処理(0-9))して行なう。
【数１６】
2008093836.tif 000018
λの値は、色差面処理ではほぼ1.0に近い値を、輝度面処理ではシャープネスの好みに合わせて何割かのノイズを残すのが好ましい。【００５５】
以上により、図４のステップＳ３のノイズ除去処理が終了する。なお、ステップＳ３のノイズ除去処理は、輝度成分L^、色差成分a^、b^それぞれについて行なわれる。【００５６】
７．逆色空間変換
次に、図４のステップＳ４において、ノイズ除去された画像について画像処理空間から出力色空間へ変換する。出力色空間が入力色空間と同じ場合は、「１．色空間変換」の式を逆にたどる逆変換を行なえばよい。画像処理空間はデバイス・インディペンデントな空間なので任意の標準色空間に移行することができる。入力色空間と出力色空間が異なる場合は、その出力色空間の規定に従って変換を行なう。【００５７】
８．画像出力
ステップＳ５では、以上のようにしてノイズ除去された画像データを出力する。【００５８】
第１の実施の形態では、次に述べる第２の実施の形態と異なる特徴点としては、単層面内で抽出及び観測された直後のノイズ成分とエッジ成分をそれぞれ、単層面内で変形されない新鮮な状態の内に正確にエッジ成分からノイズ成分へフィードバックを行なうという性質がある。言い換えれば、各々の特定の周波数帯内で閉じた世界の中で、その中でなし得る可能な限りの修正をその中で行っていると言える。【００５９】
−第２の実施の形態−
第１の実施の形態では、各サブバンド面で残留エッジ成分を抽出した直後に、ノイズ成分を各サブバンド面に対してノイズ精錬を行なったが、エッジの観測の仕方としてはこのような単層エッジを見る方式以外に、多重解像度表現していることをうまく利用した多層的なエッジの観測方法がある。第２の実施の形態ではこの場合について示す。【００６０】
第２の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図３と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。【００６１】
第２の実施の形態では、仮想ノイズ統合と実ノイズ統合の他に、エッジ統合という3つ目の統合パスを導入し、統合エッジ成分によって統合ノイズ成分を精錬する。したがって、第１の実施の形態の「４．残存エッジ観測によるノイズ精錬」と「５．実ノイズ統合」の処理が入れ替わる。図５は、第２の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。。【００６２】
「１．色空間変換」「２．画像の多重解像度表現」「３．仮想ノイズ除去によるノイズ抽出処理」は、第１の実施の形態と同様である。【００６３】
４．実ノイズ統合
第１の実施の形態の「５．実ノイズ統合」と同様である。
【数１７】
2008093836.tif 000019
【００６４】
５．残存エッジ観測によるノイズ精錬
５−１．エッジ抽出
第１の実施の形態の「４−１．エッジ抽出」と同様である。【００６５】
５−２．エッジ統合
第１の実施の形態の「５．実ノイズ統合」と同様に、ウェーブレット逆変換によりエッジ成分を統合する(処理(1-11)(2-11)(3-11)(4-11)(5-11))。次式は、エッジ統合を示す式である。
【数１８】
2008093836.tif 000020
ここで、ノイズ統合の場合と同様に、低周波サブバンドLLと高周波サブバンドHH, HL, LHの両方を統合していく一般形で表現しているが、実験的にはエッジ成分によるノイズ精錬を行なう目的には、LL成分を除外して統合するほうが好ましい結果を与える。したがって、上記式において、例えば(keLLj, keLHj, keHLj, keHHj) = (0, 1, 1, 1)のような値を設定するとよい(処理(1-10)(2-10)(3-10)(4-10)(5-10))。また、低周波成分を多少含むLH,HL成分も多少下げるような設定にしてもよい。なお、この場合、エッジ成分の抽出もLL成分を除外して行えばよい。【００６６】
５−３．多層エッジによるノイズ精錬
上記統合されたエッジ成分Ew0と統合されたノイズ成分Nw0を使用して、第１の実施の形態の「４−２．単層エッジによるノイズ精錬」と同様な考え方でノイズ精錬を行う。すなわち、残存エッジ構造がノイズ期待値に比べて大きければ大きいほど、元来そこにはコントラストの弱いエッジ成分も多く存在していたと仮定し、統合されたノイズ成分の大部分はノイズ成分ではなく弱コントラストのエッジ成分であろうと推定する。そして、次式のように統合されたノイズ成分Nw0に、統合されたエッジ成分Ew0を使用してガウシアン確率分布の減衰因子を掛けて統計的にエッジ成分を除外する(処理(0-12))。
【数１９】
2008093836.tif 000021
【００６７】
ここで、σEthの値は、第１の実施の形態と同様の考え方に基づき、実空間におけるノイズゆらぎ期待値σthの３〜５倍程度に取るとよい。すなわち、ノイズゆらぎ幅の３σや５σといった統計的に１００％の信頼度をもってノイズでない残存エッジ成分が検出された場合には、弱コントラストエッジがノイズに含まれている可能性が高い。【００６８】
６．実際のノイズ除去処理
ここでの処理は、上記のように統合されたエッジ成分と統合されたノイズ成分を使用してノイズ精錬を行ったノイズ成分を使用すること以外は、第１の実施の形態の「６．実際のノイズ除去処理」と同様である(処理(0-8)(0-9))。
【数２０】
2008093836.tif 000022
【００６９】
「７．逆色空間変換」「８．画像出力」は、第１の実施の形態と同様である。【００７０】
多重解像度統合によって多層的に観測するエッジ成分は、単層的に観測したエッジ成分だけでは観測しえなかったエッジ構造を、上層ないしは下層の解像度で検出しうる可能性が高い。すなわち、画像の統計的性質からして、エッジ構造の周波数は特定周波数だけに分布することは珍しく、大概は他の周波数にも分布して存在しているため、必ずどこかの多重解像度階層構造の中で検出するはずであると期待してよい。【００７１】
従って、本実施の形態では、あらゆる周波数帯のエッジ情報を一括して観察することにより、ノイズ成分に含まれている可能性のあるエッジ成分を画像としての総合的な視点からえぐり出すことを狙いとしている。また、本実施の形態では、ノイズの影響を防ぐため仮想ノイズ除去後の画像からエッジ検出しているので、今度は弱いコントラストのエッジ検出漏れの可能性が出てくることがあり、画像の統計的性質を利用してそれをうまく防ぐことも実施の形態に即した形での狙いとしている。画質的な効果は第１の実施の形態と同様に、輝度および色差面の両方に使うことによって、鮮鋭感・立体感があり色再現性の高い質感を保持したノイズ除去を可能とする。また、実験的には突出点状の色構造を保存する能力が高いことも確認されている。これも、単層で検出できなかったエッジを多層で検出した効果であると考えられる。【００７２】
−第３の実施の形態−
第３の実施の形態では、第１の実施の形態の「単層エッジ観測によるノイズ精錬」技術と第２の実施の形態の「多層エッジ観測によるノイズ精錬」技術を合わせて用いる。基本的に第１の実施の形態と第２の実施の形態を組み合わせて、ノイズ成分にふくまれている可能性のある微小エッジで成分を何度も別の視点から統計的に検証する、２重のノイズ精錬を行なう。【００７３】
第３の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図３と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。図６は、第３の実施の形態の多重解像度に基づいたノイズ除去処理の流れ図を示す図である。【００７４】
「１．色空間変換」「２．画像の多重解像度表現」「３．仮想ノイズ除去によるノイズ抽出処理」は、第１の実施の形態と同様である。【００７５】
４．単層エッジ観測によるノイズ精錬
４−１．エッジ抽出
第１の実施の形態と同様に、仮想ノイズ除去された各サブバンド面(LLj",HLj',LHj',HHj')からエッジ成分eijを次式により抽出する(処理(1-5)(2-5)(3-5)(4-5)(5-5))。
【数２１】
2008093836.tif 000023
【００７６】
４−２．単層エッジによるノイズ精錬
第１の実施の形態と同様に、各サブバンド面で抽出されたノイズ成分nijを、同じサブバンド面から抽出された残存エッジ成分eijによって、同じ層面の単層面内でノイズ精錬を行なう。具体的には、次式のようにノイズ成分にガウシアン確率分布の減衰因子を掛けて統計的にエッジ成分を除外する(処理(1-6)(2-6)(3-6)(4-6)(5-6))。
【数２２】
2008093836.tif 000024
σethijのとり方は第１の実施の形態と同様に、３σthij〜５σthijである。【００７７】
５．実ノイズ統合
第１の実施の形態と同様に、各サブバンドで漏れなくノイズ成分が抽出された後、可能な限りきれいに精錬されたノイズ成分を統合する(処理(1-7)(2-7)(3-7)(4-7)(5-7))。
【数２３】
2008093836.tif 000025
【００７８】
６．エッジ統合
第２の実施の形態と同様に、次式によりエッジ成分を統合する(処理(1-11)(2-11)(3-11)(4-11)(5-11))。
【数２４】
2008093836.tif 000026
【００７９】
７．「多層エッジ観測によるノイズ精錬」を含む「実際のノイズ除去」
以下のようにしてノイズ除去率λの中に組み込んで、再度別の視点から第２の実施形態で行なったノイズ精錬を行なう。【００８０】
７−１．ノイズ除去率λの関数化
【数２５】
2008093836.tif 000027
σEthijの値は、第２の実施の形態と同様に３σth〜５σthである。また、通常は分母の規格化は不要でα=0としてよい。すなわち、第２の実施の形態と全く同様のノイズ精錬処理をノイズ除去率λの中で行っているだけである。【００８１】
７−２．ノイズ除去率λのクリッピング
【数２６】
2008093836.tif 000028
【００８２】
７−３．ノイズ除去の実行
次式の通り、統合されたノイズNw0に、上記の通り関数化したノイズ除去率λを掛け(処理(0-13)、原画像S0からノイズ除去を行う(処理(0-8))。
【数２７】
2008093836.tif 000029
【００８３】
こうして、第３の実施の形態では、第１の実施形態と第２の実施形態の両効果を同時に得ることができる。すなわち、別の視点からエッジ成分による統計的検証を何度も行ってノイズ成分の純度を上げている。【００８４】
「８．逆色空間変換」「９．画像出力」は、第１の実施の形態の「７．逆色空間変換」「８．画像出力」と同様である。【００８５】
尚、第１〜第３の実施形態では、「２．画像の多重解像度表現」と「３．仮想ノイズ除去によるノイズ抽出処理」で説明した逐次的なノイズ成分の抽出を、一旦多重解像度変換後にノイズ除去フィルタによる平滑化と抽出ノイズ成分を順次統合して、上層の平滑化前に統合ノイズで先に減算処理をする、Synthsis逐次処理の例を示したが、その逆のAnalysis逐次処理でノイズ成分を抽出してもよい。【００８６】
すなわち、最初に一段目の多重解像度変換を行い、その面に対してノイズ除去フィルタによる平滑化を行なってノイズ成分を抽出する。次に、抽出ノイズ成分でLL面の減算処理を行なってから次の段の多重解像度変換を行なっていくという具合に逆向きの場合の逐次処理も存在する。なお、この場合のフローチャートは図４〜図６のそれぞれを変更することは自明なので割愛する。【００８７】
−第４の実施の形態−
今日用いられているノイズ除去処理としては、第１の実施の形態から第３の実施の形態に示したような多重解像度技術を用いる以外に、実空間面のまま巨大なサイズのノイズ除去フィルタを掛けることもしばしばである。従って、この場合の対応例を第４の実施の形態に示す。【００８８】
第４の実施の形態の画像処理装置の構成は、第１の実施の形態と同様であるので、図１を参照し、その説明を省略する。また、パーソナルコンピュータ１が処理する第２の実施の形態の画像処理のフローチャートも、流れとしては図３と同様であるので、その説明を省略する。以下、第１の実施の形態の処理と異なる点を中心に説明をする。図７は、第４の実施の形態のノイズ除去処理の流れ図を示す図である。【００８９】
１．色空間変換
第１の実施の形態と同様である。【００９０】
２．仮想ノイズ除去によるノイズ抽出処理
実空間面はS(x,y)で表されているので、第１の実施の形態のサブバンド面V(x,y)に対する処理をVからSに置き換えるだけでよい。ただし、積分範囲は大きくとる必要が出てくる。【００９１】
２−１．ノイズ除去処理
ノイズ除去フィルタとして、σフィルタやεフィルタ等、平滑化面S'を作るノイズ除去処理の方法は何を用いても構わないが、第１の実施の形態と同じく次式の改良型バイラテラル・フィルタの例を示す(処理(0-1))。
【数２８】
2008093836.tif 000030
【００９２】
本当にきれいなノイズ除去効果を得るにはrthの値を50程度にとってフィルタリング範囲を101x101画素程度にするのがよいが、ここでは説明の簡略化のためrth=12にとって25x25の範囲で積分を行なうものとする。ただし、σフィルタやεフィルタの場合は、空間的な因子には無頓着なのでrthに相当するパラメータは存在せず、単に積分範囲を設定するだけである。【００９３】
２−２．ノイズ抽出処理
次式のノイズ抽出処理を行う(処理(0-2))。
【数２９】
2008093836.tif 000031
【００９４】
３．エッジ抽出
仮想ノイズ除去された実空間面S'から次式によりエッジ成分を抽出する(処理(0-5))。
【数３０】
2008093836.tif 000032
【００９５】
ここで、エッジ検出フィルタとしてはラプラシアン・フィルタを用いる。第１の実施の形態と同じ9x9のラプラシアン・フィルタでもよいが、平滑化フィルタを25x25に設定したので、こちらも25x25程度に設定するのが望ましい。25x25のラプラシアンは、9x9のガウシアン・フィルタを3回掛けた平滑化画像と原画像の差分をとれば作成できる。すなわち、次式のようになる。
【数３１】
2008093836.tif 000033
【００９６】
４．「残存エッジ観測によるノイズ精錬」を含む「実際のノイズ除去」
４−１．ノイズ除去率λの関数化
第３の実施の形態と同様に、ノイズ精錬を、以下のようにしてノイズ除去率λの中に組み込む。ただし、以下のようなノイズ除去率λの関数化を行わず、第１の実施の形態と同様にノイズ精錬を行うようにしてもよい。
【数３２】
2008093836.tif 000034
σEthijの値は、３σth〜５σthが適切である。また、通常はα=0でよく、規格化は不要である。
４−２．ノイズ除去率λのクリッピング
【数３３】
2008093836.tif 000035
４−３．ノイズ除去の実行
次式の通り、抽出されたノイズNに、上記の通り関数化したノイズ除去率λを掛け(処理(0-13)、原画像Sからノイズ除去を行う(処理(0-8))。
【数３４】
2008093836.tif 000036
【００９７】
これらの処理を輝度面と色差面の各々について行なう。【００９８】
「５．逆色空間変換」「６．画像出力」は、第１の実施の形態の「７．逆色空間変換」「８．画像出力」と同様である。【００９９】
以上のように、多重解像技術を用いない場合においても、ノイズ除去フィルタでは区別が不可能であった、コントラストの弱いエッジ成分をノイズ成分から除外することができる。これにより、ノイズ除去に伴ってエッジ成分までが除去されてしまい、立体感をなくし、平面的画像になりやすいという弊害を防ぐことができる。【０１００】
第１の実施の形態と同様に、この処理を輝度面のノイズ除去で行なえば、エッジ構造の鮮鋭感を保ち、立体感のあるノイズ除去を可能とし、色差面のノイズ除去で行なえば、緩慢に色が変化する背景色の無彩色化、色抜けを防ぎ、画像自身が持つカラフルさを保った色斑ノイズ除去を可能とし、かつ色構造の色にじみも防ぐ。また、仮想ノイズ除去後の画像構造に伴うエッジが確実にあるという検出エッジの確からしさが保証されている部分のノイズ成分から、ノイズ成分を削りすぎることなく慎重にエッジ成分を除外することができる。【０１０１】
以上のようにして、上記第１〜第４の実施の形態では、任意のノイズ除去フィルタで必然的に生じる、エッジ成分とノイズ成分間の相互混入問題の影響を排して、精度よくそれらを分離することにより、質感再現性の高いノイズ除去技術を提供する。【０１０２】
上記第１〜第４の実施の形態によれば、仮想ノイズ除去後にも残るエッジ部には元画像にもノイズゆらぎ幅程度以下の微細なエッジ構造を含んでいた可能性が高く、したがってノイズ除去フィルタでは区別が不可能であった微細エッジとノイズ成分を統計的に区別することが可能となり、質感再現性の高いノイズ除去が可能となる。また、仮想ノイズ除去後にその区別するための指標となるエッジ検出を行なっているので、エッジ成分にノイズが混入している可能性は非常に少なく、その指標の信頼性が極めて高いので、ノイズ成分に含まれた微細エッジ成分を精度よく分離できる。【０１０３】
これを輝度成分に対して行なえば、テキスチャやエッジの鮮鋭感や立体感、奥行き感の高いノイズ除去効果を、また色差成分に対して行なえば、色境界部の色滲みの少なく、色平坦部の彩度や色構造部の色再現性の高いノイズ除去効果を得ることができる。【０１０４】
また、エッジ検出をノイズ除去フィルタ処理後に行なうことにより、ノイズ除去処理全体の中で最も重いノイズ除去フィルタ処理が一回で済む簡略性も同時に実現できる。【０１０５】
さらに、ノイズ成分へのエッジ成分の混入モデルを逆にたどってそれらを排除するためのエッジ指標として、単層的視点のエッジ指標のみならず、多重解像度により多層的的視点で検出・統合されたエッジ指標も新たに導入したことにより、エッジ構造の周波数特性に依存したエッジ検出漏れの恐れを排除し、必ずどこかの層でエッジ構造を拾える確実性を保証することができる。【０１０６】
したがって、従来ノイズ除去の弊害で失われていたノイズ成分に埋もれる程度のテキスチャを巨視的な画像構造の視点から微弱エッジ構造の存在の可能性を推測することや、インパルス性のエッジ構造を、そのフーリエ特性が示すあらゆる周波数帯へのスペクトル広がりの性質を利用した検出可能性によって救済することが可能となる。それによって、木立の風景の中に存在する密な葉のテキスチャ構造を、木の幹や枝構造からその存在可能性を検知してノイズ成分から除外したり、夜景の中の光点や花の点模様をエッジ成分としてノイズ成分から除外したりしてノイズ除去の弊害を防ぎ、原画像に忠実な質感再現性の高いノイズ除去を可能とする。【０１０７】
また、ノイズ除去を多重解像度技術を用いて全周波数帯にノイズ除去の弊害を及ぼす可能性がある場合には、より一層このように全周波数帯を一度に検出するような統合的な観点のエッジ検出が重要な役割を果たす。【０１０８】
（変形例）
なお、上記第１〜第４の実施の形態では、ノイズ除去フィルタとしてedge-preserving smoothing filterの例を示したが、従来技術の非線形変換を使うような例や、更に改良された国際公開第2006/ WO/2006/106919号パンフレット（本願と同一発明者）のようなノイズ除去フィルタであってもよい。【０１０９】
具体的に例示すると第１の実施の形態〜第４の実施の形態の仮想ノイズ除去面V'あるいはS'の生成方法を以下のような形で求めたものに置き換える。このような状況であっても、ノイズゆらぎに埋もれる程度のエッジ成分は、ノイズ成分の中に混入してしまうので、本実施形態で開示したエッジによるノイズ精錬は有効に作用する。【０１１０】
また、最良の形態として例示したedge-preserving smoothing filterの場合は今まで到達しえない最高の質感再現性をもつノイズ除去効果を提供し、それにに比べノイズ除去フィルタの性能が劣る場合も、本発明はノイズ除去フィルタの救済機能の増大として最大限に機能する。ノイズ除去フィルタの簡略性を追い求めるのであれば、予めこの救済効果を見込んだノイズ除去フィルタの選定が可能となる。【０１１１】
輝度面のノイズ除去処理は、次式の通りである。
【数３５】
2008093836.tif 000037
【０１１２】
色差面のノイズ除去処理は、次式の通りである。
【数３６】
2008093836.tif 000038
【０１１３】
ただし、ここで定義するラプラシアンは、多重解像度で利用するときは、図８に示す最も単純な3x3のラプラシアンフィルタでよく、第４の実施の形態のように実空間のみで利用するときは、次式のように広げて用いるとよい。
【数３７】
2008093836.tif 000039
【０１１４】
上記第１〜第４の実施の形態で示したedge-preserving smoothing filter（空間フィルタ）や上記変形例で示したノイズ除去フィルタ（信号減衰系フィルタ）は、原画像に対して一義的に決まるノイズゆらぎ指標値を設定し、原画像構造の信号変動幅をそれと比較することによって、適応的に平滑化してノイズ除去を行っている。【０１１５】
実施の形態で使用したedge-preserving smoothing filterは、ノイズゆらぎ指標値と同程度以下の微小に変動する対象画素近傍の信号値を、信号差分値に依存させて選択的に加重平均することによって、適応的に平滑化した仮ノイズ除去画像を行っている。また、上記変形例のフィルタは、原画像と一様平滑化画像との差分信号に対して、ノイズゆらぎ指標値と同程度以下の微小に変動する成分だけを通過させる信号変換処理を施す過程を経てノイズ成分を抽出し、該ノイズ成分を原画像から減算処理することにより仮想ノイズ除去画像を生成するようにしている。【０１１６】
なお、上記第１〜第４の実施の形態で説明した画像処理空間は最良の色空間を例示しただけであって、従来からの色空間でノイズ除去を行なっても何ら本発明の意義が薄れるものではない。例えば、最新の均等色空間であるCIECAM02などを用いてもよい。【０１１７】
また、多重解像度技術として最も優れた低周波と高周波の両サブバンドを使う例を示したが、従来からのどちらか一方だけの場合に於いても残存エッジによるノイズ精錬機能は同様の効果をもたらす。【０１１８】
上記第２の実施の形態では、多重解像度の技術を利用して、ノイズ成分の統合を行うとともにエッジ成分の統合を行う例を示した。一方、第４の実施の形態では、多重解像度の技術を利用しないでノイズ精錬を行いノイズ除去を行う例を示した。これらの変形例として、エッジ成分のみを多重解像度の技術を利用して統合を行い、ノイズ除去は統合したエッジ成分を使用して実空間の原画像に対してのみ行うようにしてもよい。【０１１９】
この場合について図５および図７を参照して説明する。図５では、各解像度でノイズ除去を行った画像S"に対してエッジ抽出をおこなっているが(処理(1-5)等)、この変形例ではウェーブレット変換された直後の画像Sの各サブバンド面に対してエッジ抽出を行えばよい。そして、このように抽出したエッジ成分を、図５に示すようにウェーブレット逆変換を行ない、エッジの統合を行う。【０１２０】
次に、統合されたエッジ成分を利用して、図７に示す第４の実施の形態と同様な処理を行えばよい。この場合、図７における実空間でのエッジ抽出処理が、上記説明した図５のエッジ統合処理に置き換わる。【０１２１】
このようにして、多重解像度技術を利用してエッジ成分を統合し、統合されたエッジ成分を従来のエッジ強調のみならず、ノイズ除去にも応用することができる。これにより、あらゆる周波数成分のエッジを微視的視点から巨視的視点に至るまで適切に抽出されたエッジ成分を利用して、ノイズの精錬を多層的な視点で行い、重層的に構成される微弱エッジ成分を含まないノイズ除去処理を行うことができる。また、簡単な非線形変換処理でノイズ精錬を行うので、負荷の少ない処理で行うことができる。【０１２２】
上記実施の形態や変形例では、パーソナルコンピュータ１で実現される画像処理装置の例で説明をした。しかし、上記で説明したパーソナルコンピュータ１によるノイズ除去処理を、デジタルカメラ（電子カメラ）内で行うようにしてもよい。図９は、このデジタルカメラ１００の構成を示す図である。デジタルカメラ１００は、撮影レンズ１０２、ＣＣＤなどからなる撮像素子１０３、ＣＰＵおよび周辺回路からなる制御装置１０４、メモリ１０５などから構成される。【０１２３】
撮像素子１０３は、被写体１０１を撮影レンズ１０２を介して撮影（撮像）し、撮影した画像データを制御装置１０４へ出力する。ここでの処理が、第１の実施の形態で説明した図３のステップＳ１の画像データ入力に相当する。制御装置１０４は、撮像素子１０３で撮影された画像データに対して、上記で説明した各実施の形態や変形例のノイズ除去処理を行い、適切にノイズ除去された画像データを適宜メモリ１０５に格納する。制御装置１０４はＲＯＭ（不図示）などに格納された所定のプログラムを実行することにより、上記説明したノイズ除去処理を行う。【０１２４】
このようにして、デジタルカメラ１００内部でも、質感再現性の高いノイズ除去が可能となり、適切にノイズ除去された画像データをメモリ１０５に格納し、また、着脱可能なメモリカードなどの記録媒体に記録することができる。【０１２５】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。【０１２６】
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００７年第０２４０６６号（２００７年２月２日出願）
日本国特許出願２００７年第０２４０６７号（２００７年２月２日出願）
【図１】
2008093836.tif 000040
【図２】
2008093836.tif 000041
【図３】
2008093836.tif 000042
【図４】
2008093836.tif 000043
【図５】
2008093836.tif 000044
【図６】
2008093836.tif 000045
【図７】
2008093836.tif 000046
【図８】
2008093836.tif 000047
【図９】
2008093836.tif 000048
【図１０】
2008093836.tif 000049
【国際調査報告】
2008093836.tif 000050
2008093836.tif 000051