(57)【要約】【課題】  分解された周波数成分に対して処理を行うことにより、ノイズ低減等の画像処理を行う画像処理装置の提供。【解決手段】  レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に記憶される。バッファ１０３の出力は、ノイズ低減処理部１０４、信号処理部１０５を順次介して、出力部１０６に入力されている。ノイズ低減処理部１０４においては、低周波成分作成部で低周波成分が、高周波成分作成部で高周波成分が作成される。また、閾値設定部によって、高周波成分の類似した方向ごとに閾値が設定される。さらに、高周波成分変換部によって、設定された閾値に基づいて、高周波成分の変換処理が行われ、合成部で、低周波成分と変換処理された高周波成分が合成される。【選択図】    図１
2007026334.tif 000002
【特許請求の範囲】
【請求項１】
対象画像から当該対象画像の低周波成分を作成する低周波成分作成部と、前記対象画像から当該対象画像の、少なくとも二つの高周波成分を作成する高周波成分作成部と、前記少なくとも二つの高周波成分のうち所定の高周波成分における所定の絶対値範囲を有する要素を強調または抑制する高周波成分変換部と、前記少なくとも二つの高周波成分のうち互いに類似した方向に沿った高周波成分に対する前記所定の絶対値範囲を決める少なくとも二つの閾値を設定する閾値設定部と、前記高周波成分変換部により変換された後の前記少なくとも二つの高周波成分と、前記対象画像または前記低周波成分とを用いて画像を生成する画像生成部と、を有することを特徴とする画像処理装置。
【請求項２】
前記閾値設定部は、前記少なくとも二つの高周波成分のうち所定の高周波成分に基づいて前記閾値を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記閾値設定部は、前記少なくとも二つの高周波成分のうち所定の高周波成分の平均値を算出する平均値算出部をさらに有し、前記平均値を調整して前記高周波成分変換部に入力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記平均値算出部は、前記少なくとも二つの高周波成分のうち前記所定の高周波成分のゲインを調整するゲイン調整部をさらに有することを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記閾値設定部は、前記少なくとも二つの高周波成分のうち、所定の高周波成分に含まれると推定されるノイズ量を推定するノイズ量推定部をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記閾値設定部は、前記閾値に対して、制限を加える閾値制限部をさらに有することを特徴とする請求項１ないし請求項４のいずれかに記載の画像処理装置。
【請求項７】
前記閾値制限部は、前記閾値を所定の下限値以上に制限する下限制限部であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記閾値制限部は、前記閾値を所定の上限値以下に制限する上限制限部であることを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記閾値制限部は、前記少なくとも二つの高周波成分のうち、所定の高周波成分に含まれると推定されるノイズ量を推定するノイズ量推定部をさらに有することを特徴とする請求項６ないし請求項８のいずれかに記載の画像処理装置。
【請求項１０】
前記ノイズ量推定部は、所定の高周波成分に含まれると推定されるノイズ量を、他の所定の高周波成分に含まれると推定されるノイズ量に調整するノイズ量調整部をさらに有することを特徴とする請求項５または請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理対象画像を複数の周波数成分に分解し、分解された周波数成分に対して処理を行うことにより、ノイズ低減等の画像処理を行う画像処理装置に関するものである。
【背景技術】
【０００２】
画像処理において、画像に含まれるノイズを抑制する手法が種々提案されている。例えば特許文献１には、画像を多解像度レベルのデテール像に分解し、各デテール像の局所分散ヒストグラムからノイズ分散を求める。このようにして求めた、ノイズ分散をパラメータとするノイズ抑制関数によって各デテール像を変換処理した後、すべてのデテール像を合成することにより、画像に含まれるノイズを抑制することが示されている。このような処理をすることにより、有益な情報を表す画像デテールを保持するとともに、各デテール像に含まれるノイズを減衰させている。
【０００３】
【特許文献１】特許３１９３８０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に記載の従来技術は、各デテール像に対して一つの変換関数を用いるため、ノイズに起因する特定方向の成分が残存することにより発生するアーティファクトを防止することができないという問題があった。また、従来技術は、各デテール像のみから変換関数を求めるため、極端な変換結果を与える変換関数を発生させ、ノイズ低減が不十分であり、また、画像の細部の情報が失われてしまうという問題があった。
【０００５】
本発明は、従来技術のこのような問題点に鑑みてなされたものであり、ノイズに起因するアーティファクトを防止可能とすると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
（１）．上記目的を達成するために、本発明にかかる画像処理装置は、対象画像から当該対象画像の低周波成分を作成する低周波成分作成部と、前記対象画像から当該対象画像の、少なくとも二つの高周波成分を作成する高周波成分作成部と、前記少なくとも二つの高周波成分のうち所定の高周波成分における所定の絶対値範囲を有する要素を強調または抑制する高周波成分変換部と、前記少なくとも二つの高周波成分のうち、互いに類似した方向に沿った高周波成分に対する前記所定の絶対値範囲を決める少なくとも二つの閾値を設定する閾値設定部と、前記高周波成分変換部により変換された後の前記少なくとも二つの高周波成分と、前記対象画像または前記低周波成分とを用いて画像を生成する画像生成部と、を有することを特徴とする。
【０００７】
（１）の発明に関する実施の形態は、第１から第５の実施形態が対応する。（１）の発明の構成にかかる低周波成分作成部は、この実施形態では低周波抽出部２００が該当し、高周波成分作成部は、水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め高周波抽出部２０５、水平高周波抽出部４０１、垂直高周波抽出部４０３、斜め高周波抽出部４０５が該当する。また、高周波成分変換部は、水平垂直高周波変換部２０２、４５度斜め高周波変換部２０４、１３５度斜め高周波変換部２０６、水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６が該当する。さらに、（１）の発明の構成にかかる閾値設定部は、水平垂直高周波閾値算出部３０９、残余高周波閾値算出部９００、高周波閾値算出部４５１、水平高周波閾値算出部４７１、垂直高周波閾値算出部４７２、斜めノイズ量推定部８２５が該当し、画像生成部は、合成部２０９が該当する。
【０００８】
（１）の発明は、低周波成分作成部で低周波成分が、高周波成分作成部で高周波成分が作成される。また、閾値設定部によって、高周波成分の類似した方向ごとに閾値が設定される。さらに、高周波成分変換部によって、設定された閾値に基づいて、高周波成分の変換処理が行われる。最終的には、合成部で、前記低周波成分と変換処理された高周波成分が合成される。この構成によれば、高周波成分の類似した方向ごとに閾値が生成され、特定の方向の成分が残存することを防止できるので、アーティファクトの発生が防止できる。
【０００９】
（２）の発明は、（１）の発明の前記閾値設定部は、前記少なくとも二つの高周波成分のうち所定の高周波成分に基づいて前記閾値を設定することを特徴とする。
【００１０】
（２）の発明に関する実施形態は、第１と第２の実施形態が対応する。（２）の発明にかかる構成の閾値設定部は、図７、図８に示した第１の実施形態の水平垂直閾値算出部３０９が該当する。なお、４５度斜め方向、１３５度斜め方向の各方向高周波に対しても同様の閾値算出部が設けられている。また、図１４に示した第２の実施形態で、水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６は、図７、図８に示した水平垂直閾値算出部３０９と同様の各方向の閾値算出部を有していることが該当する。この構成によれば、第１の実施形態では、水平垂直、４５度斜め、１３５度斜め各方向、第２の実施形態では水平、垂直、斜め各方向の高周波成分の変換に用いる閾値を、各方向高周波成分に基づき決定することができる。
【００１１】
（３）の発明は、（２）の発明の前記閾値設定部は、前記少なくとも二つの高周波成分のうち所定の高周波成分の平均値を算出する平均値算出部をさらに有し、前記平均値を調整して前記高周波成分変換部に入力することを特徴とする。
【００１２】
（３）の発明に関する実施形態は、第１〜第３の実施形態が対応する。（３）の発明にかかる構成の平均値算出部は、第１の実施形態では、図８に示した絶対値算出部８０１、平均値算出部８０２と平均値調整部８０３が該当する。第２の実施形態では、図１４において、水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６は、図７、図８に示した水平垂直閾値算出部３０９と同様の各方向の閾値算出部を有しており、この閾値算出部に絶対値算出部８０１、平均値算出部８０２と平均値調整部８０３を設けていることが該当する。
第３の実施形態では、図２０に示されたノイズ低減処理部１０４が図１の第１の実施形態と同じ構成であり、図８に示した絶対値算出部８０１、平均値算出部８０２と平均値調整部８０３を有することが該当する。この構成によれば、例えば水平垂直高周波の場合には、第一から第四の水平垂直高周波抽出部の出力を絶対値に変換して、前記四つの絶対値の平均値が算出される。この平均値は、制御剖から与えられた調整値に基づき調整されるので、対応する方向の高周波成分変換部で、適切な変換処理が行われる。
【００１３】
（４）の発明は、（２）または（３）の発明の前記平均値算出部は、前記少なくとも二つの高周波成分のうち前記所定の高周波成分のゲインを調整するゲイン調整部をさらに有することを特徴とする。
【００１４】
（４）の発明に関する実施形態は、第１と第３の実施形態が対応する。（４）の発明にかかる構成のゲイン調整部は、第１の実施形態では、図９に示された残余高周波補正部９０９が該当する。第３の実施形態では、図２０に示されたノイズ低減処理部１０４が図１の第１の実施形態と同じ構成であり、図２に示されている残余高周波変換部に図９の残余高周波補正部９０９が設けられていることが該当する。この構成によれば、残余高周波補正部９０９において、残余高周波成分を他の高周波成分と等しいゲインとなるように補正することができる。
【００１５】
（５）の発明は、（１）の発明の前記閾値設定部は、前記少なくとも二つの高周波成分のうち、所定の高周波成分に含まれると推定されるノイズ量を推定するノイズ量推定部をさらに有することを特徴とする。
【００１６】
（５）の発明に関する実施の形態は、第３〜第５の実施形態が対応する。（５）の発明にかかる構成のノイズ量推定部は、第３の実施形態では、図２１に示されたノイズ量推定部８０６が該当する。第４の実施形態では、図２２に示されているノイズ量推定部８０６が該当する。第５の実施形態では、図２４に示されている水平ノイズ量推定部８２１が該当する。この構成によれば、カメラの撮影感度設定に応じた高感度時または低感度時のノイズモデルにより、ノイズ量を推定することができる。
【００１７】
（６）の発明は、（１）ないし（４）のいずれかの発明の前記閾値設定部は、前記閾値に対して、制限を加える閾値制限部をさらに有することを特徴とする。
【００１８】
（６）の発明に関する実施の形態は、第１〜第３の実施形態が対応する。（６）の発明にかかる構成の閾値制限部は、第１の実施形態では、図８に示されたノイズ量推定部８０６、下限値設定部８０７、上限値設定部８０８、第一制限部８０４、第二制限部８０５が該当する。第２の実施形態では、図１４に示された水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６は、図７、図８に示したと同様の高周波閾値算出部を有しており、この高周波閾値算出部にノイズ量推定部８０６、下限値設定部８０７、上限値設定部８０８、第一制限部８０４、第二制限部８０５を設けていることが該当する。第３の実施形態では、図２０のノイズ低減処理部１０４が、図８に示されたノイズ量推定部８０６、下限値設定部８０７、上限値設定部８０８、第一制限部８０４、第二制限部８０５を有していることが該当する。
【００１９】
（６）の発明は、各高周波成分に基づいて、絶対値算出部８０１、平均値算出部８０２と平均値調整部８０３において算出された閾値に対して、第一制限部８０４、第二制限部８０５によって、上限値と下限値の間になるように制限を加える。この構成によれば、閾値が小さすぎてノイズ低減が不十分であったり、閾値が大きすぎて画像の細部の情報が失われてしまうという問題が防止できる。
【００２０】
（７）の発明は、（６）の発明の前記閾値制限部は、前記閾値を所定の下限値以上に制限する下限制限部であることを特徴とする。
【００２１】
（７）の発明に関する実施形態は、第１〜第３の実施形態が対応する。（７）の発明にかかる構成の閾値制限部は、第１の実施形態では、図８に示されたノイズ量推定部８０６、下限値設定部８０７、第一制限部８０４が該当する。第２の実施形態では、図１４の水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６は、図７、図８に示したと同様の高周波閾値算出部を有しており、この高周波閾値算出部に、図８に示されたと同様のノイズ量推定部８０６、下限値設定部８０７、第一制限部８０４を設けたことが該当する。第３の実施形態では、図２０のノイズ低減処理部１０４が、図８に示されたノイズ量推定部８０６、下限値設定部８０７、第一制限部８０４を有することが該当する。この構成によれば、これより小さい振幅の信号は、すべてノイズであると見なす信号に対応する閾値の下限値を制限することができる。
【００２２】
（８）の発明は、（６）の発明の前記閾値制限部は、前記閾値を所定の上限値以下に制限する上限制限部であることを特徴とする。
【００２３】
（８）の発明に関する実施の形態は、第１〜第３の実施形態が対応する。（８）の発明にかかる構成の閾値制限部は、第１の実施形態では、図８に示されたノイズ量推定部８０６、上限値設定部８０８、第二制限部８０５が該当する。第２の実施形態では、図１４の水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６は、図７、図８に示したと同様の高周波閾値算出部を有しており、この高周波閾値算出部に、図８に示されたと同様のノイズ量推定部８０６、上限値設定部８０８、第二制限部８０５を設けたことが該当する。第３の実施形態では、図２０のノイズ低減処理部１０４に、図８に示されたノイズ量推定部８０６、上限値設定部８０８、第二制限部８０５を設けたことが該当する。この構成によれば、これより大きい振幅の信号は、すべてノイズではなく、画像に含まれる本来の情報と見なす信号に対応する閾値の上限値を制限することができる。
【００２４】
（９）の発明は、（６）ないし（８）のいずれかの発明の前記閾値制限部は、前記少なくとも二つの高周波成分のうち、所定の高周波成分に含まれると推定されるノイズ量を推定するノイズ量推定部をさらに有することを特徴とする。
【００２５】
（９）の発明に関する実施形態は、第１〜第３の実施形態が対応する。（９〉の発明にかかる構成のノイズ推定部は、第１の実施形態では、図８に示したノイズ全推定部８０６が該当する。第２の実施形態では、図１４の水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６は、図７、図８に示したと同様のノイズ量推定部８０６を設けたことが該当する。第３の実施形態では、図２０のノイズ低減処理部１０４に、図８に示されたノイズ量推定部８０６を設けたことが該当する。この構成によれば、カメラの撮影感度設定に応じた高感度時または低感度時のノイズモデルにより、ノイズ量を推定することができる。
【００２６】
（１０）の発明は、（５）または（９）の発明の前記ノイズ量推定部は、所定の高周波成分に含まれると推定されるノイズ量を、他の所定の高周波成分に含まれると推定されるノイズ量に調整するノイズ量調整部をさらに有することを特徴とする。
【００２７】
（１０）の発明に関する実施形態は、第４の実施形態が対応する。（１０）の発明にかかる構成の閾値制限部は、図２２に示したノイズ量調整部９２０が該当する。この構成によれば、ノイズ量推定部で推定されたノイズ量を、ノイズ量調整部によりフィルタゲインの違いに応じて補正することができる。
【発明の効果】
【００２８】
本発明においては、高周波成分の類似した方向ごとに閾値が生成され、特定の方向の成分が残存することを防止できるので、アーティファクトの発生が防止できる。このように、ノイズに起因するアーティファクトを防止可能とすると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の第１の実施形態について図を参照して説明する。図１〜図１３は本発明の第１の実施形態を示す図である。図１は本発明の第１の実施形態を示す構成図、図２は図１の部分的な構成を示す構成図、図３はベイヤー配列ブロックを示す説明図、図４は低周波抽出フィルタの例を示す説明図、図５は残余高周波抽出フィルタの例を示す説明図、図６は高周波抽出フィルタの例を示す説明図、図７は図２の部分的な構成を示す構成図、図８は図７の部分的な構成を示す構成図、図９は図２の部分的な構成を示す構成図、図１０はノイズモデルの例を示す特性図、図１１はノイズ発生確率を示す特性図、図１２はノイズとエッジの振幅分布を示す特性図、図１３はコアリング変換処理の例を示す特性図である。
【００３０】
図１は、第１の実施形態の構成図である。この実施形態は、デジタルカメラを想定しており、被写体を撮影し、得られたデジタルデータを記憶媒体に記録する機能を実現するものである。レンズ系１００、ＣＣＤ１０１を介して撮影された画像は、Ａ／Ｄ１０２においてデジタル信号に変換され、バッファ１０３に一時的に記憶される。バッファ１０３の出力は、ノイズ低減処理部１０４、信号処理部１０５を順次介して、出力部１０６に入力されている。さらに、図示しない、マイクロコンピュータ等により構成される制御部が、各部と双方向に接続されている。
【００３１】
バッファ１０３から読み出された画像信号は、ノイズ低減処理部１０４で、画像信号に含まれるノイズが低減された後、信号処理部１０５において、ホワイトバランス、色補間処理、エッジ強調処理、圧縮処理などの信号処理が行われ、出力部１０６で記録媒体に保存される。ノイズ低減処理は、図３に示すような、縦５画素、横５画素のベイヤー配列からなる領域を処理単位として行われる。ノイズ低減処理が行われると、領域中心のＧ画素の信号が変換される。領域を２画素ずつ移動させながら、同様の処理を行うことを繰り返すことにより、画像全体に処理が行われる。これらの処理は、制御部の制御に基づき行われる。
【００３２】
図２にノイズ低減処理部１０４の構成図を示す。ノイズ低減処理部１０４は、バッファ１０３から読み出した画像信号を、複数の周波数成分に分解し、分解した各成分に変換処理を施した後、再合成し、ノイズを低減する。ここでは、周波数分解は、方向性のある高周波抽出フィルタによって行われ、方向ごとに異なる変換処理が行われる。
【００３３】
図２において、低周波抽出部２００は、バッファ１０３から読み出された画像信号に対して、図４に示す低周波抽出フィルタを適用し、低周波成分を抽出する。低周波抽出フィルタで抽出された低周波成分は、合成部２０９に出力される。高周波抽出部は、水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め高周波抽出部２０５、残余高周波抽出部２０７からなる。また、高周波変換部は、水平垂直高周波変換部２０２、４５度斜め高周波変換部２０４、１３５度斜め高周波変換部２０６、残余高周波変換部２０８からなる。水平垂直高周波抽出部２０１は、バッファ１０３から読み出された画像信号に対して、図６に示す水平垂直高周波抽出フィルタ（Ｈ９〜Ｈ１２）を適用し、水平垂直高周波成分を抽出する。
【００３４】
水平垂直高周波変換部２０２は、水平垂直高周波抽出部２０２で抽出された水平垂直高周波成分に変換処理を行うことにより、水平垂直高周波成分に含まれているノイズを低減する。ノイズが低減された水平垂直高周波成分は、合成部２０９にて他の成分と合成される。なお、図４の係数１／１６は、ビットシフト演算されるレベル調整用の除数である。
【００３５】
図６には、４５度斜め高周波抽出フィルタ（ａ）、１３５度斜め高周波抽出フィルタ（ｂ）、水平垂直高周波抽出フィルタ（ｃ）が示されている。水平垂直高周波抽出フィルタは、第一〜第四高周波抽出フィルタＨ９〜Ｈ１２からなる。第一〜第四高周波抽出フィルタＨ９〜Ｈ１２は、図７で説明するように、第一〜第四水平垂直高周波抽出部３０１〜３０７に対応している。同様に、４５度斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタＨ１〜Ｈ４からなり、１３５度斜め高周波抽出フィルタは、第一〜第四の高周波抽出フィルタフィルタＨ５〜Ｈ８からなる。
【００３６】
図２において、４５度斜め高周波抽出部２０３は、バッファ１０３から読み出された画像信号に対して、図６に示す４５度斜め高周波抽出フィルタ（Ｈ１〜Ｈ４）を適用し、４５度斜め高周波成分を抽出する。４５度斜め高周波変換部２０４は、４５度斜め高周波抽出部２０３で抽出された４５度斜め高周波成分に変換処理を行うことにより、４５度斜め高周波成分に含まれているノイズを低減する。ノイズが低減された４５度斜め高周波成分は、合成部２０９にて他の成分と合成される。
【００３７】
１３５度斜め高周波抽出部２０５は、バッファ１０３から読み出された画像信号に対して、図６に示す１３５度斜め高周波抽出フィルタ（Ｈ５〜Ｈ８）を適用し、１３５度斜め高周波成分を抽出する。１３５度斜め高周波変換部２０６は、１３５度斜め高周波抽出部２０５で抽出された１３５度斜め高周波成分に変換処理を行うことにより、１３５度斜め高周波成分に含まれているノイズを低減する。ノイズが低減された１３５度斜め高周波成分は、合成部２０９にて他の成分と合成される。
【００３８】
残余高周波抽出部２０７は、バッファ１０３から読み出された画像信号に図５に示す残余高周波抽出フィルタを適用し、残余高周波成分を抽出する。残余高周波変換部２０８は、残余高周波抽出部２０７で抽出された残余高周波成分に変換処理を行うことにより、残余高周波成分に含まれているノイズを低減する。ノイズが低減された残余高周波成分は、合成部２０９にて他の成分と合成される。残余高周波成分は、原信号から、低周波成分、水平垂直高周波成分、４５度斜め高周波成分、１３５度斜め高周波成分を抽出した後の残りの成分である。残余高周波抽出部２０７、残余高周波変換部２０８は、低周波成分、水平垂直高周波成分、４５度斜め高周波成分、１３５度斜め高周波成分、残余高周波成分のすべての成分を合成することにより、原信号が完全に復元されるようにするために設けられている。
【００３９】
図７に、図２で説明した水平垂直高周波抽出部２０１と水平垂直高周波変換部２０２の構成図を示す。水平垂直高周波抽出部２０１は、第一から第四の、四つの水平垂直高周波抽出部３０１、３０３、３０５、３０７から構成されている。それぞれ、図６に示したような、四つの水平垂直高周波抽出フィルタ（Ｈ９〜Ｈ１２）に対応している。水平垂直高周波変換部２０２は、第一から第四の、四つの水平垂直高周波変換部３０２、３０４、３０６、３０８と水平垂直高周波閾値算出部３０９とから構成されている。各水平垂直高周波変換部３０２、３０４、３０６、３０８の出力（Ａ）は、水平垂直高周波閾値算出部３０９に入力される。
【００４０】
第一水平垂直高周波抽出部３０１で抽出された水平垂直高周波成分は、水平垂直高周波閾値算出部３０９により求められた閾値（Ｂ）に基づき、第一水平垂直高周波変換部３０２で変換され、合成部２０９に出力される。また、水平垂直高周波閾値算出部３０９は、低周波抽出部２００、第一から第四の水平垂直高周波抽出部３０１、３０３、３０５、３０７の出力に基づき、第一から第四の水平垂直高周波変換部３０２、３０４、３０６、３０８で用いられる閾値（Ｂ）を決定する。このように、図７では水平垂直高周波成分の変換に用いる閾値を、水平垂直高周波成分に基づき決定する。
【００４１】
図２に示した４５度斜め高周波抽出部２０３と４５度斜め高周波変換部２０４、および１３５度斜め高周波抽出部２０５と１３５度斜め高周波変換部２０６についても、図７で説明した水平垂直高周波抽出部２０１と水平垂直高周波変換部２０２の構成と同様の構成としている。すなわち、各方向の高周波変換部には、各方向高周波の閾値算出部（図７の図示番号３０９に相当）を設けている。
【００４２】
図８に、図７で説明した水平垂直高周波閾値算出部３０９の構成図を示す。第一から第四の水平垂直高周波抽出部３０１、３０３、３０５、３０７の出力は、絶対値算出部８０１において絶対値に変換され、平均値算出部８０２で、四つの絶対値の平均値が算出される。平均値調整部８０３では、制御部から与えられた調整値に基づき平均値が調整される。本実施形態においては、平均値算出部８０２の出力に調整値が乗算される。この調整値は、第一から第四の水平垂直高周波変換部３０２、３０４、３０６、３０８において行われる変換処理の強度を調整するための値で、所望の画質が得られるように、予め調整作業を行って決定された値が設定されている。
【００４３】
図８の水平垂直高周波閾値算出部３０９には、絶対値算出部８０１、平均値算出部８０２、平均値調整部８０３、第一制限部８０４、第二制限部８０５、ノイズ量推定部８０６、下限値設定部８０７、上限値設定部８０８が設けられている。
ノイズ量推定部８０６では、低周波抽出部２００の出力と、制御部によって設定されたノイズモデルに基づいて、画像信号に含まれると推定されるノイズ量を推定する。ノイズモデルは、図１０に示すように、画像信号のレベルの関数として、画像信号に含まれると推定されるノイズ量を与えるもので、理論計算や実測に基づいて、予め設定されている。ノイズモデルは、図１０に示すように、カメラの撮影感度設定（高感度時または低感度時）に応じて、切り換えられる。
【００４４】
ノイズ量推定部８０６で推定されたノイズ量は、下限値設定部８０７、上限値設定部８０８に加えられる。下限値設定部８０７では、ノイズ量に基づいて、閾値の下限値を算出する。閾値の下限値は、これより小さい振幅の信号は、すべてノイズであると見なす信号に対応する。上限値設定部８０８では、ノイズ量に基づいて、閾値の上限値を算出する。閾値の上限値は、これより大きい振幅の信号は、すべてノイズではなく、画像に含まれる本来の情報と見なす信号に対応する。
【００４５】
下限値設定部８０７で算出された下限値、および上限値設定部８０８で算出された上限値は、ノイズの統計的な性質に基づいて定められるもので、ノイズモデルから求められたノイズ量を基準とした係数値として、予め設定されている。前記下限値、上限値は、図１２に示すように、ノイズとエッジ（画像に含まれる本来の情報）の振幅値ヒストグラムの違いに基づいて設定される。
【００４６】
一般に、ノイズは、振幅値の小さい領域に高いピークを持ち、エッジは、それよりも大きい振幅値の領域にピークを持つ。ノイズとエッジのそれぞれの振幅分布は、重なりを持つが、エッジの分布の下端側において発生頻度が充分に小さくなった振幅を下限値に設定し、ノイズの分布の上端において発生頻度が充分に小さくなった振幅を上限値に設定することが望ましい。
【００４７】
図８において、下限値設定部８０７で設定された下限値は、第一制限部８０４に出力され、上限値設定部８０８で設定された上限値は、第二制限部８０５に出力される。平均値調整部８０３の出力は、第一制限部８０４において、下限値と比較され、下限値より小さければ、下限値に変換される。第一制限部８０４の出力は、第二制限部８０５において、上限値と比較され、上限値より大きければ、上限値に変換される。
【００４８】
図２で説明した、４５度斜め高周波変換部２０４と１３５度斜め高周波変換部２０６にも、上記水平垂直高周波閾値算出部３０９に対応する構成が含まれている。すなわち、図７で説明した水平垂直高周波抽出部２０１と水平垂直高周波変換部２０２の構成と同様の、各方向高周波抽出部と各方向高周波変換部を有しており、各方向高周波変換部には各方向高周波閾値算出部が設けられている。これらの各方向高周波閾値算出部が水平垂直高周波閾値算出部３０９と同様の作用を行うことにより、各方向の高周波成分に基づいて、各高周波成分の変換処理に用いられる閾値が算出される。
【００４９】
図９に、残余高周波抽出部２０７と残余高周波変換部２０８の構成図を示す。図９の残余高周波閾値算出部９００が、図８の水平垂直高周波閾値算出部３０９と異なるのは、絶対値算出部８０１に入力される信号が、特定の方向の高周波成分だけではなく、水平垂直高周波成分、４５度斜め高周波成分、１３５度斜め高周波成分、残余高周波成分の、すべての高周波成分であることである。また、残余高周波抽出部２０７の出力が入力される残余高周波補正部９０９が設けられていることである。残余高周波補正部９０９は、所定の高周波成分を調整するゲイン調整部の機能を有している。
【００５０】
図９の、残余高周波補正部９０９以外の絶対値算出部８０１、平均値算出部８０２、平均値調整部８０３、第一制限部８０４、第二制限部８０５、ノイズ量推定部８０６、下限値設定部８０７、上限値設定部８０８の構成は、図８と同じ構成である。なお、残余高周波抽出部２０７で抽出された残余高周波成分は、残余高周波変換処理部２０８に入力される。
【００５１】
図９の残余高周波閾値算出部９００は、このような構成になっているため、残余高周波成分の変換処理に用いられる閾値は、すべての高周波成分に基づいて決定される。また、図５で示した残余高周波抽出部２０７を構成する残余高周波抽出フィルタは、図６で示した他の高周波抽出フィルタとフィルタゲインが異なる。このため、残余高周波補正部９０９において、他の高周波成分と等しいゲインとなるように補正している。
【００５２】
図１３は、水平垂直高周波変換部２０２、４５度斜め高周波変換部２０４、１３５度斜め高周波変換部２０６、残余高周波変換部２０８において行われる閾値処理であるコアリング処理を示したものである。このようなコアリング処理により、ノイズと見做される閾値以下の信号（○の部分）が削除されるため、画像信号に含まれるノイズを低減することができる。
【００５３】
図９において、以上の残余高周波変換部２０８の処理の後、図２で説明したと同様に合成部２０９にて、低周波成分と、残余高周波変換部２０８で変換処理がなされた高周波成分を合成することにより、ノイズが低減された画像信号が得られる。
【００５４】
図１４〜図１９は、本発明の第２の実施形態を示す図である。図１４は本発明の第２の実施形態を示す構成図、図１５はベイヤー配列ブロックを示す説明図、図１６は色差信号の生成を示す説明図、図１７は色差信号の処理単位ブロックを示す説明図、図１８は低周波抽出フィルタの例を示す説明図、図１９は高周波抽出フィルタの例を示す説明図である。
【００５５】
図１４に、本発明の第２の実施形態におけるノイズ低減処理部１０４を示す。図２に示した第１の実施形態のノイズ低減処理部１０４と異なるのは、色差信号生成部４００を有すること、高周波成分の分解方法が、水平方向、垂直方向、斜め方向の三つの方向になっていること、残余高周波成分がないことである。また、処理単位となるベイヤー配列ブロックを、図１５に示すように、横６画素、縦６画素としている。
【００５６】
図１４において、色差信号生成部４００は、図１６に示すように、注目画素のＲもしくはＢの信号値、および、その左側と上側のＧの信号値を用いて、色差信号Ｒ−Ｇ’もしくはＢ−Ｇ’を生成する。なお、Ｇ’は、二つのＧ画素の平均値である。さらに、図１７に示すように、横３画素、縦３画素をひとつの色差信号の処理ブロックとして出力する。
【００５７】
図１４の低周波抽出部２００は、図１８に示すフィルタにより構成される。水平高周波抽出部４０１は、図１９の高周波抽出フィルタＨ１＿１〜Ｈ１＿４で構成される。垂直高周波抽出部４０３は、図１９の高周波抽出フィルタＨ１＿５〜Ｈ１＿８で構成される。斜め高周波抽出部４０５は、図１９の高周波抽出フィルタＨ１＿９〜Ｈ１＿１２で構成される。
【００５８】
図１４に示したノイズ低減処理部１０４の、水平方向、垂直方向、斜め方向の各方向高周波抽出部４０１〜４０５は、処理ブロックのサイズとフィルタ係数が異なること以外は、構成、作用とも図７に示す水平垂直高周波抽出部２０１と同じである。また、水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６は、図７に示す水平垂直高周波変換部２０２と同じ構成、作用である。すなわち、第一〜第四高周波変換部と、高周波閾値算出部とを有している。
【００５９】
なお、図１６に示す変換と逆の変換が、図１４の信号処理部１０５で行われて、色差信号Ｒ−Ｇ’、Ｂ−Ｇ’から原色信号Ｒ、Ｂが再生成される。このように、図１４で説明した周波数変換の処理を行うと、図２に示したような残余高周波抽出部がないので、構成を簡単にすることができる。
【００６０】
図２０、図２１は本発明の第３の実施形態を示す図である。図２０は第３の実施形態にかかる構成を示す構成図、図２１は図２０の部分的な構成を示す構成図である。
【００６１】
図２０の構成においては、図１に示した第１の実施形態の構成に、色差ノイズ低減処理部４５０が加えられている。図２０に示された第３の実施形態では、輝度信号（Ｇ）と色信号（Ｒ−Ｇ、Ｂ−Ｇ）に対して、それぞれにノイズ低減処理が行われる。すなわち、ノイズ低減処理部１０４で輝度信号（Ｇ）のノイズ低減処理を行い、色差ノイズ低減処理部４５０で色信号（Ｒ−Ｇ、Ｂ−Ｇ）に対してノイズ低減処理を行う。したがって、図２０に示した第３の実施形態において、ノイズ低減処理部１０４の構成、作用は、図１に示した第１の実施形態と同じである。
【００６２】
図２１に、色差ノイズ低減処理部４５０を示す。図２１の例では、水平高周波閾値算出部４５１が、ノイズ量推定部８０６と閾値調整部４４９から構成されていることが、図１４に示された第２の実施形態と異なる。また、水平高周波抽出部４０１は、第一〜第四水平高周波抽出部４４１〜４４７からなる。また、水平高周波変換部４０２は、第一〜第四水平高周波変換部４４２〜４４８からなる。
垂直高周波柚出部４０３、斜め高周波抽出部４０５も、水平高周波抽出部４０１と同様に、四つの高周波抽出部から構成されている。また、垂直高周波変換部４０４、斜め高周波変換部４０６も、水平高周波変換部４０２と同様に、四つの高周波変換部から構成されている。
【００６３】
水平高周波閾値算出部４５１による閾値の算出に際して、水平方向、垂直方向、斜め方向の方向成分によりそれぞれの閾値が算出されるのではなく、すべての方向の成分に対して、同一の閾値が用いられる。閾値調整部４４９では、ノイズ量推定部８０６で求められたノイズ量が、制御部から設定された調整値に基づき調整される。この調整値の出力（Ｂ）は、水平、垂直、斜めの高周波変換部４０２、４０４、４０６において行われる変換処理の強度を調整するための値で、各高周波変換部４０２、４０４、４０６に入力される。調整値の出力（Ｂ）は、所望の画質が得られるように、予め調整作業を行って決定された値が設定されている。
【００６４】
図２０、図２１に示された第３の実施形態は、輝度信号に対する変換処理の閾値決定方法と、色差信号に対する変換処理の閾値決定方法が異なることが特徴である。色差信号の変換処理に用いられる閾値を決定する際に、各高周波成分を参照する必要がないので、構成が簡単になる効果がある。
【００６５】
図２２は、本発明の第４の実施形態を示す構成図である。図２０に示した第３の実施形態の構成において、ノイズ低減処理部１０４の構成を図２２に示す構成としたものである。高周波抽出部は、図２と同様に水平垂直高周波抽出部２０１、４５度斜め高周波抽出部２０３、１３５度斜め高周波抽出部２０５、残余高周波抽出部２０７からなる。また、高周波変換部は、水平垂直高周波変換部２０２、４５度斜め高周波変換部２０４、１３５度斜め高周波変換部２０６、残余高周波変換部２０８からなる。
【００６６】
高周波閾値算出部４５１の閾値調整部４４９で決定された閾値（Ｂ）は、水平垂直、４５度斜め、１３５度斜めの各高周波変換処理部２０２〜２０６に与えられる。また、残余高周波変換処理部９１０に与えられる閾値は、残余高周波閾値算出部９００の閾値調整部４４９で決定される。高周波閾値算出部４５１におけるノイズ量推定部８０６、閾値調整部４４９の構成、作用は、図２１の第３の実施形態に示したものと同様である。
【００６７】
残余高周波閾値算出部９００は、ノイズ量調整部９２０と閾値調整部４４９からなる。残余高周波抽出部２０７を構成する図５に示す残余高周波抽出フィルタと、図６に示すその他の高周波抽出部を構成する高周波抽出フィルタのゲインは異なっている。このため、ノイズ量調整部９２０は、ノイズ量推定部８０６で推定されたノイズ量を、フィルタゲインの違いに応じて補正している。このような構成とすることにより、ノイズ量推定部８０６に設定されているノイズモデルは、各高周波成分に対して共通のものを使用することができ、ノイズモデルを記憶させる記憶手段に必要とする容量を少なくすることができる。
【００６８】
図２３、図２４は、本発明の第５の実施形態を示す構成図である。第５の実施形態は、図２１に示した第３の実施形態の構成において、色差ノイズ低減処理部４５０の構成を図２３に示す構成にしたものである。図２３において、低周波抽出部２００で抽出された周波数成分は、水平高周波閾値算出部４７１、垂直高周波閾値算出部４７２、斜め高周波閾値算出部４７３に入力される。
【００６９】
水平高周波閾値算出部４７１は、水平ノイズ量推定部８２１、水平閾値調整部８２２からなる。垂直高周波閾値算出部４７２は、垂直ノイズ量推定部８２３、垂直閾値調整部８２４からなる。斜め高周波閾値算出部４７３は、斜めノイズ量推定部８２５、斜め閾値調整部８２６からなる。水平高周波変換部４０２に与えられる閾値（Ｂ）は、水平高周波閾値算出部４７１で、垂直高周波変換部４０４に与えられる閾値（Ｃ）は、垂直高周波閾値算出部４７２で、斜め高周波変換部４０６に与えられる閾値（Ｄ）は、斜め高周波閾値算出部４７３で、それぞれ決定される。
【００７０】
水平高周波変換部４０２、垂直高周波変換部４０４、斜め高周波変換部４０６、低周波抽出部２００の出力は、合成部２０９で合成され、信号処理部１０５に入力される。図２３においては、図２５のノイズモデルの特性図に示されているようなノイズモデルを、水平高周波閾値算出部４７１、垂直高周波閾値算出部４７２、斜め高周波閾値算出部４７３で個別に設定する。また、閾値の調整値を個別に設定する。このように、各高周波閾値算出部においてノイズモデル、調整値を個別に設定することにより、高周波成分の方向ごとにノイズ低減の度合を変更することができる。
【００７１】
図２４に、図２３の中で水平高周波成分抽出部４０１、水平高周波変換部４０２、水平高周波閾値算出部４７１の詳細を示す。水平高周波成分抽出部４０１は、図２１に示されているように、第一〜第四水平高周波抽出部４４１〜４４７からなる。また、水平高周波変換部４０２は、第一〜第四水平高周波変換部４４２〜４４８からなる。さらに、水平高周波閾値算出部４７１は、水平ノイズ量推定部８２１と水平閾値調整部８２２からなる。
【００７２】
図２３、図２４に示す第５の実施形態においては、水平方向、垂直方向、斜め方向の方向ごとに閾値算出部を有する。このため、異なる方向ごとに閾値処理を行うことにより、特定の方向の高周波成分が残存することによるアーティファクトの発生が防止できる。
【産業上の利用可能性】
【００７３】
以上説明したように、本発明によれば、処理対象画像を複数の周波数成分に分解し、分解された周波数成分に対して処理を行うことにより、ノイズに起因するアーティファクトを防止可能とすると共に、適切なノイズ低減と画像細部の保持の両立が可能な画像処理装置を提供することができる。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１の実施形態を示す構成図である。
【図２】図１の部分的な構成を示す構成図である。
【図３】ベイヤー配列ブロックを示す説明図である。
【図４】低周波抽出フィルタの例を示す説明図である。
【図５】残余高周波抽出フィルタの例を示す説明図である。
【図６】水平垂直高周波抽出フィルタの例を示す説明図である。
【図７】図２の部分的な構成を示す構成図である。
【図８】図７の部分的な構成を示す構成図である。
【図９】図２の部分的な構成を示す構成図である。
【図１０】ノイズモデルの例を示す特性図である。
【図１１】ノイズ発生確率を示す特性図である。
【図１２】ノイズとエッジの振幅分布を示す特性図である。
【図１３】コアリング変換処理の例を示す特性図である。
【図１４】本発明の第２の実施形態を示す構成図である。
【図１５】ベイヤー配列ブロックを示す説明図である。
【図１６】色差信号の生成を示す説明図である。
【図１７】色差信号の処理単位ブロックを示す説明図である。
【図１８】低周波抽出フィルタの例を示す説明図である。
【図１９】高周波抽出フィルタの例を示す説明図である。
【図２０】第３の実施形態にかかる構成を示す構成図である。
【図２１】図２０の部分的な構成を示す構成図である。
【図２２】第４の実施形態の構成図である。
【図２３】第５の実施形態の構成図である。
【図２４】図２３の部分的な構成を示す構成図である。
【図２５】ノイズモデルの例を示す特性図である。
【符号の説明】
【００７５】
１００・・・レンズ系、１０１・・・ＣＣＤ、１０２・・・Ａ／Ｄ、１０３・・・バッファ、１０４・・・ノイズ低減処理部、１０５・・・信号処理部、１０６・・・出力部、１０７・・・エッジ強調処理、１０８・・・エッジ強調パラメータ設定部、１０９・・・ノイズ低減パラメータ設定部、２００・・・低周波抽出部、２０１・・・高周波抽出部、２０２・・・高周波変換部、２０９・・・合成部、２２０・・・フィルタ係数設定部、２２１・・・ＨＰＦフィルタ係数設定部、２２２・・・ＬＰＦフィルタ係数設定部、４０１・・・エッジ方向適応ノイズ低減処理部、４０２・・・エッジ方向非適応ノイズ低減処理部、４０３・・・信号選択部、４０４・・・感度設定部、４０９・・・第２合成部、４１０・・・第２低周波抽出部、４１１・・・第２高周波抽出部、４１２・・・第２高周波変換部、４２１・・・水平高周波抽出部、４２２・・・水平高周波変換部、４４９・・・閾値調整部、４５０・・・色差ノイズ低減処理部、４５１・・・高周波閾値算出部、４５２・・・第２高周波閾値算出部、５００・・・重み付け加算部、８０６・・・ノイズ量推定部、８８１・・・ノイズ量分析部、８９４・・・ヒストグラム生成部、８９５・・・最頻値検出部、９００・・・残余高周波閾値算出部
【図１】
2007026334.tif 000003
【図２】
2007026334.tif 000004
【図３】
2007026334.tif 000005
【図４】
2007026334.tif 000006
【図５】
2007026334.tif 000007
【図６】
2007026334.tif 000008
【図７】
2007026334.tif 000009
【図８】
2007026334.tif 000010
【図９】
2007026334.tif 000011
【図１０】
2007026334.tif 000012
【図１１】
2007026334.tif 000013
【図１２】
2007026334.tif 000014
【図１３】
2007026334.tif 000015
【図１４】
2007026334.tif 000016
【図１５】
2007026334.tif 000017
【図１６】
2007026334.tif 000018
【図１７】
2007026334.tif 000019
【図１８】
2007026334.tif 000020
【図１９】
2007026334.tif 000021
【図２０】
2007026334.tif 000022
【図２１】
2007026334.tif 000023
【図２２】
2007026334.tif 000024
【図２３】
2007026334.tif 000025
【図２４】
2007026334.tif 000026
【図２５】
2007026334.tif 000027