(57)【要約】【課題】ノイズの影響を受けることなく平坦部の判別を確実に行うことができ、画質の向上を実現できる画像処理装置を提供する。【解決手段】予め撮像系により種々の明るさのパッチを撮影して得られる画像についてパッチ画像の画素値平均（中央値）と標準偏差とのデータペアを撮像系のノイズ特性データとしてノイズモデルテーブル１０３に記録しておき、撮像系より取得される入力デジタル画像について近傍画素の画素値の中央値Ａに対応する標準偏差σをノイズ特性データから推定し、この標準偏差σと中央値Ａを持つノイズの正規分布Ｎ（A,σ）に対して近傍画素の画素値の分布が近いかを判定し、この判定により得られるエッジ指標Eに基づいてノイズ低減部１０５でのノイズ低減およびエッジ強調部１０６でのエッジ強調を実行する。【選択図】      図１
2010252265.tif 000002
【特許請求の範囲】
【請求項１】
入力デジタル画像を取得する撮像系のノイズ特性データを保持するデータ保持手段と、
前記入力デジタル画像内の注目画素近傍における画素値の分布から所定の統計量を算出する手段と、
前記ノイズ特性データおよび前記所定の統計量から、前記注目画素近傍におけるノイズの確率分布に関するパラメータの値を算出するパラメータ算出手段と、
前記注目画素近傍における画素値の分布が前記パラメータの値を有する前記ノイズの確率分布に従うかどうかを、前記パラメータの値を用いて統計的検定により判定する検定手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
前記ノイズの確率分布に関するパラメータは、標準偏差又は分散であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記統計量は、前記注目画素近傍における画素値の平均または中央値であることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記ノイズ特性データは、所定の入力値に対し、前記入力値を画素値とする平坦部でのノイズの標準偏差又は分散を与えるものであり、前記パラメータ算出手段は、前記統計量を前記ノイズ特性データに対する入力値として、前記前記注目画素近傍におけるノイズの確率分布に関する標準偏差又は分散を前記ラメータの値として求めることを特徴とする請求項１記載の画像処理装置。
【請求項５】
前記検定手段は、確率分布の累積分布関数の類似度を評価する検定方式であることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記注目画素近傍における画素値の分布は、前記注目画素近傍内で離散的な位置の画素の画素値の分布であることを特徴とする請求項１記載の画像処理装置。
【請求項７】
入力デジタル画像を取得する撮像系のノイズ特性データを保持するデータ保持手段と、
前記入力デジタル画像の各画素において、各画素の所定の近傍内の画素値の線形演算により新たな画素値成分を算出する画素値成分算出手段と、
注目画素の近傍における前記新たな画素値成分の画素値分布に関する所定の統計量、および前記ノイズ特性データから、前記注目画素の近傍における前記新たな画素値成分に含まれるノイズの確率分布に関するパラメータの値を算出する算出手段と、
前記注目画素の近傍における前記新たな画素値成分の画素値分布が前記ノイズの確率分布に従うかどうかを、前記パラメータの値を用いて統計的検定により判定する検定手段と、
を具備したことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の特定領域がエッジ部か平坦か否かを判定して画質を改善する画像処理装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどにより取得された写真画像の画質を改善する方法として、ノイズ低減処理や帯域強調処理などが知られている。これらの処理には、ノイズの低減と鮮鋭感の向上を両立させるため、画像中の平坦領域とエッジ領域とで異なる処理を施す、あるいは処理のパラメータを変えるなどの方法が一般的に用いられている。
【０００３】
例えば、特許文献１には、エッジ部に適した平滑化処理と、平坦部に適した平滑化処理とをエッジ部と平坦部を判別する処理の結果に応じて切り替える高画質化手法が開示されている。また、特許文献２には、エッジ部または平坦部を判別するとともに画素の孤立性をさらに算出し、エッジ部・平坦部判別結果および孤立性に基づいてシャープネス処理条件を決定して画質改善を行う手法が開示されている。この場合、これら従来例におけるエッジ部と平坦部の判別としては、判別指標として、注目点近傍のエッジ強度や局所分散、局所連結性、カラー画像であれば色相関や色チャンネル間の方向性などが用いられている。
【特許文献１】特許第３４７７６０３号公報
【特許文献２】特開平１１−３３１６００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の従来例におけるエッジ部・平坦部判別法では、ノイズの量が多い場合に判別指標自体がノイズの影響を受ける可能性が大きく、正確にエッジ部と平坦部を判別できないという問題がある。また、注目画素近傍で画像の平滑化などを行ってから判別したり、判別指標自体を平滑化したりして最終的な判定指標に含まれるノイズの影響を緩和すると、微細なエッジを含むテクスチャ部を平坦部と誤判別するという問題も生じる。
【０００５】
本発明は上記事情に鑑みてなされたもので、ノイズの影響を受けることなく平坦部の判別を確実に行うことができ、画質の向上を実現できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１記載の発明は、入力デジタル画像を取得する撮像系のノイズ特性データを保持するデータ保持手段と、前記入力デジタル画像内の注目画素近傍における画素値の分布から所定の統計量を算出する手段と、前記ノイズ特性データおよび前記所定の統計量から、前記注目画素近傍におけるノイズの確率分布に関するパラメータの値を算出するパラメータ算出手段と、前記注目画素近傍における画素値の分布が前記パラメータの値を有する前記ノイズの確率分布に従うかどうかを、前記パラメータの値を用いて統計的検定により判定する検定手段と、を具備したことを特徴としている。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、前記ノイズの確率分布に関するパラメータは、標準偏差又は分散であることを特徴としている。
【０００８】
請求項３記載の発明は、請求項１記載の発明において、前記統計量は、前記注目画素近傍における画素値の平均または中央値であることを特徴としている。
【０００９】
請求項４記載の発明は、請求項１記載の発明において、前記ノイズ特性データは、所定の入力値に対し、前記入力値を画素値とする平坦部でのノイズの標準偏差又は分散を与えるものであり、前記パラメータ算出手段は、前記統計量を前記ノイズ特性データに対する入力値として、前記前記注目画素近傍におけるノイズの確率分布に関する標準偏差又は分散を前記ラメータの値として求めることを特徴としている。
【００１０】
請求項５記載の発明は、請求項１記載の発明において、前記検定手段は、確率分布の累積分布関数の類似度を評価する検定方式であることを特徴としている。
【００１１】
請求項６記載の発明は、請求項１記載の発明において、前記注目画素近傍における画素値の分布は、前記注目画素近傍内で離散的な位置の画素の画素値の分布であることを特徴としている。
【００１２】
請求項７記載の発明は、入力デジタル画像を取得する撮像系のノイズ特性データを保持するデータ保持手段と、前記入力デジタル画像の各画素において、各画素の所定の近傍内の画素値の線形演算により新たな画素値成分を算出する画素値成分算出手段と、注目画素の近傍における前記新たな画素値成分の画素値分布に関する所定の統計量、および前記ノイズ特性データから、前記注目画素の近傍における前記新たな画素値成分に含まれるノイズの確率分布に関するパラメータの値を算出する算出手段と、前記注目画素の近傍における前記新たな画素値成分の画素値分布が前記ノイズの確率分布に従うかどうかを、前記パラメータの値を用いて統計的検定により判定する検定手段と、を具備したことを特徴としている。
【発明の効果】
【００１３】
本発明によれば、ノイズの影響を受けることなく平坦部を正確に判別することができるので、エッジ部と平坦部との判別を確実に行うことができ、エッジ強調した良質の画像を取得できる。
【００１４】
また、本発明によれば、ノイズの影響を受け易いテクスチャ部も平坦部と誤認することなく判別することができるので、テクスチャ部を強調した良質の画像を取得することができる。
【００１５】
さらに、本発明によれば、撮像系により撮像されるカラー画像についてもエッジ部やテクスチャ部を強調した良質の画像を取得できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態を図面に従い説明する。
【００１７】
(第１の実施の形態)
図１は、本発明の第１の実施の形態にかかる画像処理装置を適用したデジタルカメラの概略構成を示している。
【００１８】
図１において、１００はデジタルカメラで、このデジタルカメラ１００は、撮像系１０１、入力画像バッファ１０２、データ保持手段としてのノイズモデルテーブル１０３、エッジ平坦判定部１０４、ノイズ低減部１０５、エッジ強調部１０６及び記録部１０７より構成されている。
【００１９】
撮像系１０１は、モノクロの撮像素子を備えたもので、被写体の光学像をデジタル画像に変換し、Optical Blackの補正を施した後、入力画像バッファ１０２に出力する。入力画像バッファ１０２は、撮像系１０１より出力されるデジタル画像を画素(x,y)ごとに記憶する。ノイズモデルテーブル１０３は、撮像系１０１で予め種々の明るさのパッチを撮影した際に得られる画像についてパッチ画像の画素値平均と標準偏差とのデータペアをノイズ特性データとして記録している。このノイズモデルテーブル１０３の詳細は後述する。エッジ平坦判定部１０４は、入力画像バッファ１０２内の各画素(x,y)を順次スキャンし、画素(x,y)の近傍が平坦的かエッジ的かを判定し、エッジ部で大きく平坦度で小さくなるエッジ指標E(x,y)を算出して出力する。このエッジ平坦判定部１０４についても詳細は後述する。ノイズ低減部１０５は、エッジ平坦判定部１０４からエッジ指標E(x,y)が入力されると、対応する画素位置(x,y)の近傍画素（対応画素の周りの所定範囲の画素）を用いて、ノイズ低減のための公知のエッジ保存平滑化処理を行う。エッジ強調部１０６は、不図示の内部バッファを有し、この内部バッファにノイズ低減部１０５から入力されるノイズ低減後の画素値を全て蓄積してエッジ強調処理を行う。そして、記録部１０７は、記録媒体を有し、エッジ強調部１０６での処理で取得されたエッジ強調結果を記録する。
【００２０】
図２は、エッジ平坦判定部１０４の概略構成を示すもので、近傍バッファ１１０、統計量算出部１１１、パラメータ算出手段としての分散算出部１１２、検定手段としての正規性検定部１１３より構成されている。
【００２１】
近傍バッファ１１０は、入力画像バッファ１０２から読み出される座標(x,y)の画素近傍の画素値、つまり注目画素の画素値と、この注目画素の周りの所定範囲の画素値を一時記憶する。統計量算出部１１１は、近傍バッファ１１０に記憶された近傍画素の画素値より中央値(メディアン)Ａを求める。分散算出部１１２は、ノイズモデルテーブル１０３のノイズ特性データを参照して、中央値Ａに対応するノイズ量Noise(A)（標準偏差σ）をノイズの正規分布に関するパラメータとして求める。正規性検定部１１３は、近傍バッファ１１０内の近傍画素値の分布（観測データ）が、統計量算出部１１１で求められた中央値Ａと分散算出部１１２で求められた標準偏差σより得られるノイズの正規分布Ｎ（A,σ）に近いかどうかを判定する。なお、観測データが正規分布に合致するかどうかを判定する公知の方法はいろいろあるが、ここでは、kormogolov-smirnovの方法が用いられる。
【００２２】
次に、このように構成されたデジタルカメラ１００の作用を説明する。
【００２３】
いま、デジタルカメラ１００の図示しないシャッタが押下されると、撮像系１０１は被写体の光学像をデジタル画像に変換し、Optical Black補正を施した後、入力画像バッファ１０２に出力する。入力画像バッファ１０２は、撮像系１０１より出力されるデジタル画像を各画素(x,y)ごとに記憶する。
【００２４】
次に、エッジ平坦判定部１０４は、入力画像バッファ１０２内の各画素(x,y)を順次スキャンし、画素(x,y)の近傍が平坦的かエッジ的かを判定する。そして、この判定結果によりエッジ部で大きく、平坦度で小さくなるようなエッジ指標E(x,y)を算出し、この算出したエッジ指標E(x,y)をノイズ低減部１０５およびエッジ強調部１０６に出力する。
【００２５】
この場合、エッジ平坦判定部１０４では、次のようにしてエッジ指標Eを求める。まず、座標(x,y)の画素近傍の画素値を入力画像バッファ１０２から読出し近傍バッファ１１０に記憶させる。次に、統計量算出部１１１で、近傍バッファ１１０に記憶された近傍画素の画素値に関する統計量として中央値Ａを求める。また、分散算出部１１２は、ノイズモデルテーブル１０３を参照して、中央値Ａに対応するノイズ量Noise(A)（標準偏差σ）を求める。さらに詳述すると、一般に撮像素子で発生するノイズは正規分布であり、標準偏差と画素値の間には、例えば図６に示すような素子固有の関係があることが知られている。そこで、ノイズモデルテーブル１０３に、撮像系１０１で予め種々の明るさのパッチを撮影した際に得られる画像について、パッチ画像の画素値平均（中央値）と標準偏差とのデータペアを記録しておく。図６中の各黒点がこれらに相当する。分散算出部１１２では、図６中の各黒点で決定される折れ線関数Noise(x)により中央値Ａに対応するノイズ量Noise(A)、つまり標準偏差σを線形補間により求める。
【００２６】
最後に、正規性検定部１１３では、近傍バッファ１１０内の近傍画素の画素値の分布（観測データ）が、統計量算出部１１１で求められた中央値Ａと分散算出部１１２で求められた標準偏差σとを持つノイズの正規分布Ｎ（A,σ）に近いか（又は合致するか）を公知のkormogolov-smirnovの方法を用いて判定する。この方法では、観測データの累積度数分布を計算し、この累積度数分布し正規分布の累積分布関数との差の最大値を正規性の判定指標（エッジ指標E）としている。本実施の形態では、図３に示すように、近傍バッファ１１０内の近傍画素の画素値の累積ヒストグラムh(v)と、ノイズの正規分布Ｎ(A,σ)の累積分布関数L*S((v-A)/σ)との差分を取り、この差分の最大値をエッジ指標Eとしている。そして、このエッジ指標Eをノイズ低減部１０５およびエッジ強調部１０６に出力する。この場合、エッジ指標Eは、下式により求められる。
【００２７】
E = max(|h(v)-L*S((v-A)/σ)|) mm<=v<=MM
ここでS(x)はＡ＝０、σ＝標準偏差１の正規分布N(0,1)の累積分布関数、mmおよびMMは近傍バッファ１１０内の画素値の最小値および最大値、Lは近傍バッファ１１０内の画素数である。
【００２８】
このようにしてエッジ平坦判定部１０４求められたエッジ指標Eは、ノイズ低減部１０５およびエッジ強調部１０６に出力される。
【００２９】
ノイズ低減部１０５では、エッジ平坦判定部１０４からエッジ指標E(x,y)が入力されると、対応する画素位置(x,y)の近傍画素を用いて、公知のエッジ保存平滑化処理を行う。具体的には、下記の式１によりノイズ低減後の画素値U(x,y)を計算する。
【００３０】
U(x,y) = ΣΣ_ij wij*V(x+i,y+j)/ΣΣwij, (-N<=i,j<=N,Nは近傍サイズ)    (式1)
wij = W(|V(x+i,y+j)-V(x,y)|, σ）
W(x,σ) = exp(-x*x/(σ*σ))
この場合、重み関数W(x,σ)はxが小さいほど大きくなるので、式１の計算により、V(x,y)に値の近い近傍画素V(x+i,y+j)ほど重い重み付けで平均がとられる。その結果、エッジ部では注目画素と同じ側のエッジにのっている画素のみを使って平均が取られる形となってエッジが保たれ、平坦部では全ての近傍画素に均等に近い重み付けで平均が取られる形となって平滑化がかかる。さらに、式中のσがエッジ平坦判定部１０４から入力されるエッジ指標Eに基づいて、図４に示すように制御される。この場合、σが小さいと重み関数W(x,σ)は大きなｘに対しても小さい値をとり、ｘの値の変化に対する重み関数の値の変化も相対的に大きくなり、一方、σが大きいと、重み関数はｘの値が多少変化しても相対的に少ししか変化せず、おおむね大きな値を取るような特性があるため、図４に示すようにエッジ指標Eが大きいエッジ部ではσを小さく、エッジ指標Eが小さい平坦部ではσを大きくすることにより、平坦部では注目画素と近傍画素の画素値の差によらず重みの均等度が増し、平滑化効果がより大きくなるとともに、エッジ部では平滑化がかからなくなり、エッジのなまりを少なくできる。
【００３１】
ノイズ低減部１０５での計算により求められた画素(x,y)でのノイズ低減後の画素値U(x,y)は、エッジ強調部１０６に出力される。
【００３２】
エッジ強調部１０６では、ノイズ低減部１０５から入力されたノイズ低減後画素値を不図示の内部バッファに蓄積する。そして、画素(x,y)でのエッジ強調処理に必要な近傍のノイズ低減画素値が全て内部バッファ内に蓄積されると、エッジ強調処理を行う。具体的には、画素(x,y)近傍のノイズ低減後の画素値U(x+i,y+j) (-M<=i,j<=M,Mは近傍サイズ)に対し、K(x,y) = ΣΣ_ij f(i,j)*U(x+i,y+j)によりエッジ成分を抽出し、エッジ強調結果T(x,y)を、下式により算出する。
【００３３】
T(x,y) = U(x,y)+α(E)*K(x,y)
ここで、f(i,j)はエッジ抽出のためのバンドパスフィルタで、αは図５に示すエッジ強調量である。この場合、エッジ強調量αは、エッジ指標Eが小さい場合は小さく、エッジ指標Eが大きい場合は大きくすることで、平坦部ではよりノイズが弱められ、エッジ部ではよりエッジが強調される。
【００３４】
エッジ強調部１０６で算出されたエッジ強調結果T(x,y)は記録部１０７に出力され、記録媒体に記録される。その後、全画素(x,y)について一連の処理が終了すると、デジタルカメラ１００は撮像動作を終了して待機状態に入る。
【００３５】
このように、かかる実施の形態では、予め撮像系により種々の明るさのパッチを撮影して得られる画像についてパッチ画像の画素値平均（中央値）と標準偏差とのデータペアを撮像系のノイズ特性データとしてノイズモデルテーブル１０３に記録しておき、撮像系より取得される入力デジタル画像について近傍画素の画素値の中央値Ａに対応する標準偏差σをノイズ特性データから推定し、この標準偏差σと中央値Ａを持つノイズの正規分布Ｎ（A,σ）に対して近傍画素の画素値の分布が近いかを判定し、この判定により得られるエッジ指標Eに基づいてノイズ低減部１０５でのノイズ低減およびエッジ強調部１０６でのエッジ強調を実行するようにした。これにより、ノイズの影響を受けることなく平坦部を正確に判別することができるので、エッジ部と平坦部との判別を確実に行うことができ、エッジ強調した良質の画像を取得することができる。また、ノイズの影響を受け易いテクスチャ部も平坦部と誤認することなく判別することができるので、テクスチャ部を強調した良質の画像を取得することもできる。
【００３６】
なお、上述した実施の形態にはさまざまな変形例が想定できる。例えば、近傍バッファ１１０に読み出す近傍データは、座標(x,y)の周囲のどのような形状の領域でも良く、離散的に配置されていても良い。この場合、エッジ平坦判定部１０４でのエッジ平坦判定は読み出した形状の領域または離散点の覆う領域に対して行われる。
【００３７】
また、エッジ指標Eを用いてノイズ低減処理とエッジ強調処理を制御する方法としては、エッジ部と平坦部を判別して処理する任意の公知手法を使用することも可能である。
【００３８】
さらに、上述の実施の形態例では、モノクロ撮像系の例を述べたが、同様の処理を３板撮像系に適用することも可能である。その場合、エッジ平坦判定はR成分、G成分、B成分のそれぞれを独立のモノクロと見なして処理しても良いし、それぞれのエッジ平坦判定結果を統合した判定結果を生成しても良い。統合の方法としては、カラー画像に対して複数チャンネルの情報を利用してエッジ平坦判定を行う任意の公知手法で用いられている方法が利用できる。
【００３９】
さらに、上述の実施の形態例ではノイズの分布として正規分布を仮定したが、任意の累積分布関数を持つノイズに対しても適用可能である。その場合、適切な累積分布関数を正規分布の累積分布関数に替えてkormogolov-smirnovあるいは公知の任意の分布の検定手法を用いればよい。さらに上述した実施の形態では、確率分布としてノイズの正規分布を用いたが、ポアソン分布などの他の確率分布を用いることもできる。さらに、上述では、正規分布に関するパラメータとして標準偏差σについて述べたが、標準偏差σを二乗した分散を用いても同様に実施できる。
【００４０】
(第２の実施の形態)
次に、本発明の第２の実施の形態を説明する。
【００４１】
図７は、本発明の第２の実施の形態にかかる画像処理装置を適用したデジタルカメラの概略構成を示すもので、図１と同一部分には同符号を付して説明を省略する。
【００４２】
図７において、２００はデジタルカメラで、このデジタルカメラ２００は、撮像系２０１、入力画像バッファ２０２、ノイズモデルテーブル１０３、画素値成分算出手段としてのエッジ平坦判定部２０４、同時化部２０５、色変換部２０６、階調変換部２０７、ＹＣ変換部２０８、ノイズ低減部２０９、エッジ強調部２１０、圧縮部２１１及び記録部１０７より構成されている。ここで、同時化部２０５、色変換部２０６、階調変換部２０７、ＹＣ変換部２０８は、近傍画素に対応する画素値の線形演算により新たな画素値成分を算出する画素値成分算出手段を構成している。
【００４３】
撮像系２０１は、原色Bayer撮像素子を備えた単板撮像系からなるもので、被写体の光学像をデジタル画像に変換し、Optical Blackの補正およびホワイトバランスの補正を行う。入力画像バッファ２０２は、ホワイトバランス後の画像を画素(x,y)ごとに記憶する。エッジ平坦判定部２０４は、入力画像バッファ２０２内の各画素(x,y)を順次スキャンし、各画素(x,y)におけるエッジ指標Ey(x,y),Ecr(x,y),Ecb(x,y)を算出する。このエッジ平坦判定部２０４の詳細は後述する。同時化部２０５は、各画素位置(x,y)で公知の補間処理を行い、各画素位置でのRGB成分であるR(x,y),G(x,y),B(x,y)を生成する。色変換部２０６は、同時化部２０５より入力されたR(x,y),G(x,y),B(x,y)に対し３×３の色変換マトリックスを適用し、適用後の結果R'(x,y),G'(x,y),B'(x,y)を出力する。階調変換部２０７は、色変換部２０６での色変換後の結果R'(x,y),G'(x,y),B'(x,y)に、所定の階調変換関数γによる階調変換をほどこしたし結果を出力する。ＹＣ変換部２０８は、階調変換部２０７での階調変換後の結果から輝度成分Y(x,y)と色差成分Cr(x,y),Cb(x,y)を公知の方法で計算し、この結果を出力する。
【００４４】
ノイズ低減部２０９は、ＹＣ変換部２０８より入力された輝度成分Y(x,y)および色差成分Cr(x,y),Cb(x,y)に対し、対応するエッジ指標Ey(x,y),Ecr(x,y),Ecb(x,y)が得られた段階でノイズ低減処理を行う。エッジ強調部２１０は、ノイズ低減部２０９より入力された色差成分に対しては処理を行わずにそのまま出力し、輝度成分にのみ、上述した第1の実施の形態例と同様な処理を行う。圧縮部２１１は、最終的な輝度成分がエッジ強調部２１０から入力されると、ＪＰＥＧなど公知の圧縮処理を行い、この結果を記録部１０７に出力する。
【００４５】
図８は、エッジ平坦判定部２０４の概略構成を示すもので、近傍バッファ２２０、RGB統計量算出部２２１、R-G統計量算出部２２７、B-G統計量算出部２２８、G分散算出部２２２、R-G分散算出部２２３、B-G分散算出部２２４、R-G生成部２２５、B-G生成部２２６、R-G正規性検定部２２９、B-G正規性検定部２３０、G正規性検定部２３１より構成されている。
【００４６】
近傍バッファ２２０は、入力画像バッファ２０２から読み出される座標(x,y)の画素近傍の画素値を一時記憶する。RGB統計量算出部２２１は、近傍バッファ２２０内の画素値に対して色成分別の統計量算出を行う。本実施の形態例では、統計量として各色成分ごとに中央値Ar,Ag,Abを求める。R-G統計量算出部２２７及びB-G統計量算出部２２８は、近傍バッファ２２０内のR-GおよびB-G成分に対する統計量として、近傍バッファ２２０内のR-G値の中央値ArgおよびB-G値の中央値Abgを求める。G分散算出部２２２は、ノイズモデルテーブル１０３を参照して、中央値Agに対応するノイズ量Ngである標準偏差σgをノイズの正規分布に関するパラメータとして求める。R-G分散算出部２２３は、同じくノイズモデルテーブル１０３を参照して、中央値Arに対応するR成分のノイズ量Nrを求め、座標(x,y)近傍での色差R-G成分のノイズの標準偏差σrgを計算する。B-G分散算出部２２４も、同様で、座標(x,y)近傍での色差B-G成分のノイズの標準偏差σbgを計算する。
【００４７】
R-G生成部２２５及びB-G生成部２２６は、RGB統計量算出部２２１の処理が終了後、近傍バッファ２２０内のRおよびB画素位置でR-GおよびB-G成分を算出する。G正規性検定部２３１、R-G正規性検定部２２９及びB-G正規性検定部２３０は、各々近傍バッファ２２０内のG成分、R-G成分、B-G成分の画素値分布が正規分布に適合するかどうかの検定を行う。この検定の方法には、上述した第1の実施の形態と異なるAnderson-Darlingの方法が用いられる。
【００４８】
次に、このように構成されたデジタルカメラ２００の作用を説明する。
【００４９】
いま、デジタルカメラ２００の図示しないシャッタが押下されると、単板撮像系２０１は被写体の光学像をデジタル画像に変換し、Optical Black補正およびホワイトバランスの補正を行った後、入力画像バッファ２０２に出力する。この場合、カラー画像を得るには３色成分が必要だが、入力画像バッファ２０２に入力される画像は、図９（ａ）に示すように、１画素に１種類の色成分しか得られない。そのため、このときのホワイトバランス補正は、Rの得られている画素位置にホワイトバランス係数Wrをかけ、Bの得られている画素位置にホワイトバランス係数Wbをかけることで行われる。
【００５０】
入力画像バッファ２０２にホワイトバランス後の画像が得られると、同時化部２０５では、各画素位置(x,y)ごとに公知の補間処理を行い、各画素位置のRGB成分としてR(x,y),G(x,y),B(x,y)を生成して色変換部２０６に出力する。色変換部２０６は、入力されたR(x,y),G(x,y),B(x,y)に３×３の色変換マトリックスを適用し、適用後の結果R'(x,y),G'(x,y),B'(x,y)を階調変換部２０７に出力する。階調変換部２０７では、色変換後の結果R'(x,y),G'(x,y),B'(x,y)に、所定の階調変換関数γによる階調変換をほどこし、下式に示す結果をＹＣ変換部２０８に出力する。
【００５１】
R''(x,y) = γ(R'(x,y)), G''(x,y) = γ(G'(x,y)), B''(x,y) = γ(B'(x,y)),
ＹＣ変換部２０８は、階調変換部２０７での階調変換後の結果から輝度成分Y(x,y)および色差成分Cr(x,y),Cb(x,y)を公知の方法で計算し、下式に示す結果をノイズ低減部２０９に出力する。
【００５２】
Y(x,y) = 0.3*R''(x,y)+0.6*G''(x,y)+0.1*B''(x,y)
Cr(x,y) = R''(x,y)-Y(x,y)
Cb(x,y) = B''(x,y)-Y(x,y)
一方、ここまでの処理と並行して、エッジ平坦判定部２０４では、入力画像バッファ２０２の各画素(x,y)近傍で、輝度成分と色差成分のエッジ指標Ey(x,y),Ecr(x,y),Ecb(x,y)を算出し、ノイズ低減部２０９およびエッジ強調部２１０に順次出力する。
【００５３】
この場合、エッジ平坦判定部２０４では、次のようにしてエッジ指標を求める。この場合、エッジ平坦判定部２０４は、座標(x,y)の画素近傍の画素値を入力画像バッファ２０２から近傍バッファ２２０に読み出す。この場合、近傍バッファ２２０に読み出したデータは、例えば図９（ａ）に示すようなものである。
【００５４】
次に、RGB統計量算出部２２１により近傍バッファ２２０内の画素値に対して色成分別の統計量として、中央値Ar,Ag,Abを求める。この状態で、G分散算出部２２２は、ノイズモデルテーブル１０３を参照して、中央値Agに対応するノイズ量Ng（標準偏差σg）を求める。また、R-G分散算出部２２３でも、同様にノイズモデルテーブル１０３を参照して、中央値Arに対応するR成分のノイズ量Nrを求め、座標(x,y)近傍での色差R-G成分のノイズの標準偏差σrgを下記から計算する。
【００５５】
Nr = Wr * Noise(Nr/Wr) 
σrg = (Nr*Nr+Ng*Ng)^(1/2)
ここで、関数Noise(x)は、ノイズモデルテーブル１０３内のデータで規定される折れ線関数であり、上述した第1の実施の形態と同様に、単板撮像系２０１のノイズ特性を反映したものである。なお、R成分のノイズ量Nrの算出においては、単板撮像系２０１でホワイトバランス補正され、係数Wrがかかっているために、その影響を補正する計算がなされている。また、R-G成分のノイズ量Nrgの計算においては、R成分の標準偏差σrおよびG成分の標準偏差σgから、正規分布の加法性を用いて標準偏差σrgを計算している。
【００５６】
B-G分散算出部２２３についても、同様の計算を行い、座標(x,y)近傍での色差R-G成分のノイズの標準偏差σbgを算出する。その際は、ホワイトバランス係数としてWrのかわりにWbを用い、R成分のノイズ標準偏差σrに変えてB成分のノイズ標準偏差を計算する。
【００５７】
RGB統計量算出部２２１の処理が終了すると、R-G生成部２２５およびB-G生成部２２６では、G分散算出部２２２での処理と並行して、図９（ｂ）に示すように、近傍バッファ２２０内のR画素およびB画素位置でR-GおよびB-G成分を算出する。この場合、各々のR画素位置およびB画素位置で、周囲に４画素あるGのうち一つを選んで、差分R-GおよびB-Gを計算する。どのGを選択するかは任意で、常に右隣のGを選んでも良いし、図図９（ｂ）の斜線部分に示したように、Gを選択する位置を画素ごとに変えてもよい。一般的には、Gを選択する方向が近傍バッファ２２０内で一様でなく、隣接するR画素間またはB画素間で共通のGを選択しないことが望ましい。
【００５８】
R-G生成部２２５およびB-G生成部２２６において近傍バッファ２２０内のR-GおよびB-G成分が計算されると、R-G統計量算出部２２７およびB-G統計量算出部２２８は近傍バッファ２２０内のR-GおよびB-G成分の統計量として、各々近傍バッファ２２０内のR-G値の中央値ArgおよびB-G値の中央値Abgを求める。
【００５９】
ここまでの処理が終了すると、G成分、R-G成分、B-G成分各々について、単板撮像系２０１のノイズ特性から求めた標準偏差σg, σrg, σbgと、中央値Ag,Arg,Abgが得られるので、次に、G正規性検定部２３１、R-G正規性検定部２２９、B-G正規性検定部２３０において各々近傍バッファ２２０内のG成分、R-G成分、B-G成分の画素値分布が正規分布に適合するかどうかの検定を行う。ここでの検定の方法には、上述した第1の実施の形態と異なり、Anderson-Darlingの方法を用いる。このAnderson-Darlingの方法では、データ列v1,v2,…vNが確率分布f(x)に適合するかどうかを示す指標A2を以下のように計算する。
【００６０】
i) v1からvNを昇順に並べ替えu1からuNとする。
【００６１】
ii)S = Σ(2k-1)*(log(F(uk)+log(F(uN+1-k))/N を計算する（和は1<=k<=Nについて）
iii)A2 = -N-S
ここで、log(x)はxの自然対数、F(x)は確率分布f(x)の累積分布関数である。
【００６２】
この方法に基づいて、G正規性検定部２３１では近傍バッファ２２０内で得られているG成分の値を上記データ列v1からvNとして、正規分布N(Ag,σg)に適合するかどうかをi)からiii)によって計算し、この結果のA2をエッジ指標Eyとする。累積分布関数としては、正規分布N(Ag,σg)の累積分布関数S((x-Ag)/ σg)を用いる。（ここで、Sは平均0、標準偏差1の正規分布の累積分布関数である。）同様に、R-G正規性検定部２２９では近傍バッファ２２０内で得られているR-G成分の値を上記のデータ列v1からvNとして正規分布N(Arg,σrg)に適合するかどうかをi)からiii)によって計算し、この結果のA2をエッジ指標Ergとする。さらにB-G正規性検定部２３０では近傍バッファ２２０内で得られているB-G成分の値を上記のデータ列v1からvNとして正規分布N(Abg,σbg)に適合するかどうかをi)からiii)によって計算し、この結果のA2をエッジ指標Ebgとする。
【００６３】
ノイズ低減部２０９では、ＹＣ変換部２０８より入力された輝度成分Y(x,y)および色差成分Cr(x,y),Cb(x,y)に対し、G正規性検定部２３１、R-G正規性検定部２２９、B-G正規性検定部２３０より入力されるエッジ指標Ey(x,y), ECr(x,y), ECb(x,y)が与えられた段階でノイズ低減処理を行い、その結果をエッジ強調部２１０に出力する。ここでのノイズ低減処理としては第１の実施例の形態で述べたと同様にエッジ保存性平滑化を施すが、輝度、色差それぞれに別々に適用し、標準偏差σの値も輝度と色差で異なる下式で表される。
【００６４】
Y'(x,y) = ΣΣ_ij wij*Y(x+i,y+j)/ΣΣwij, (-N<=i,j<=N,Nは近傍サイズ)
wij = W(|Y(x+i,y+j)-Y(x,y)|, σy）
Ck'(x,y) = ΣΣ_ij wij*Ck(x+i,y+j)/ΣΣwij, 
wij = W(|Ck(x+i,y+j)-Ck(x,y)|, σck)
(-N<=i,j<=N,Nは近傍サイズ, kはrまたはb）
W(x,σ) = exp(-x*x/(σ*σ))
ここで、σy,σcは図１０に示した関数βyおよびβcで、エッジ指標EyおよびEcから下式より算出される。
【００６５】
σy = βy(Ey(x,y)), σcr = βc(Ecr(x,y)), σcb = βc (Ecb(x,y))
ここでの関数βy,βcは、エッジ指標が小さい場合にβcのほうが大きく、エッジ指標が大きくなるとβcのほうが小さくなる関係にある。これにより、色差成分に対しては輝度成分より極端な平滑化とコントラストの強いエッジに対する極端なエッジ保存が働き、色差成分に対するノイズ低減の特性としてより好ましい処理が実現できる。
【００６６】
エッジ強調部２１０では、入力された色差成分に対しては処理を行わずにそのまま出力し、輝度成分にのみ、第1の実施の形態例と同一の処理を行って出力する。そして、圧縮部２１１では、最終的な輝度成分と指揮させ異聞がエッジ強調部２１０から入力されると、
ＪＰＥＧなど公知の圧縮処理を行い、この結果を記録部１０７に出力され、記録媒体に記録される。
【００６７】
このようにしても、撮像系により撮像されるカラー画像について第１の実施の形態と同様に、ノイズの影響を受けることなく平坦部を正確に判別することができるので、エッジ部と平坦部との判別を確実に行うことができ、エッジ強調した良質の画像を取得でき、さらにノイズの影響を受け易いテクスチャ部も平坦部と誤認することなく判別することができるので、テクスチャ部を強調した良質の画像を取得することができる。
【００６８】
なお、第２の実施の形態についても様々な変形例を想定できる。例えば、図１１はエッジ平坦判定部２０４の処理を簡略化したもので、図８と同一部分には同符号を付している。この場合、図８に示すR-G分散算出部２２３、B-G分散算出部２２４に代えてR分散算出部２４１、B分散算出部２４２を設けるとともに、R-G正規性検定部２２９、B-G正規性検定部２３０に代えてR正規性検定部２４３、B正規性検定部２４４を設け、色差R-G,B-Gに対するエッジ平坦判定を行うかわりにR成分およびB成分のエッジ平坦判定を行い、G成分のエッジ平坦判定と総合して共通の輝度成分・色差成分に共通のエッジ指標を求める構成となっている。
【００６９】
この構成では、R分散算出部２４１でR成分のノイズの標準偏差σrを求め、R正規性検定部２４３において、近傍バッファ２２０内で得られているR成分が正規分布N(Ar,σr)に適合するかどうか検定し、指標A2をR成分のエッジ指標Erとして得る。同様に、B分散算出部２４２でB成分のノイズの標準偏差σbを求め、B正規性検定部２４４において、近傍バッファ２２０内で得られているB成分が正規分布N(Ab,σb)に適合するかどうか検定し、指標A2をB成分のエッジ指標Ebとして得る。最後に、最大値算出部２４５においてG成分、R成分、B成分のエッジ指標Eg,Er,Ebの最大値Emaxを求め、輝度成分のエッジ指標Eyおよび色差成分のエッジ指標Ecr,EcbをすべてEmaxとして、ノイズ低減部209およびエッジ強調部２１０に出力する。
【００７０】
なお、本発明は、上記実施の形態に限定されるものでなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。
【００７１】
さらに、上記実施の形態には、種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施の形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題を解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【図面の簡単な説明】
【００７２】
【図１】本発明の第１の実施の形態にかかる画像処理装置を適用したデジタルカメラの概略構成を示す図。
【図２】第１の実施の形態に用いられるエッジ平坦判定部の概略構成を示す図。
【図３】第１の実施の形態でのエッジ平坦判定指標の求め方を説明する図。
【図４】第１の実施の形態に用いられるノイズ低減部での重み関数をエッジ指標に応じて求める方法を説明する図。
【図５】第１の実施の形態に用いられるエッジ強調部でのエッジ強調量をエッジ指標に応じて求める方法を説明する図。
【図６】第１の実施の形態に用いられるノイズモデルテーブル内のデータ例を説明する図。
【図７】本発明の第２の実施の形態にかかる画像処理装置を適用したデジタルカメラの概略構成を示す図。
【図８】第２の実施の形態に用いられるエッジ平坦判定部の概略構成を示す図。
【図９】第２の実施の形態に用いられる近傍バッファ内のデータ例の説明する図。
【図１０】第２の実施の形態に用いられるノイズ低減部での重み関数をエッジ指標に応じて求める方法を説明する図。
【図１１】第２の実施の形態に用いられるエッジ平坦判定部の変形例の概略構成を示す図。
【符号の説明】
【００７３】
１００、２００…デジタルカメラ、１０１、２０１…撮像系
１０２…入力画像バッファ、１０３…ノイズモデルテーブル
１０４…エッジ平坦判定部、１０５…ノイズ低減部
１０６…エッジ強調部、１０７…記録部、１１０…近傍バッファ
１１１…統計量算出部、１１２…分散算出部
１１３…正規性検定部、２０２…入力画像バッファ
２０４…エッジ平坦判定部、２０５…同時化部、２０６…色変換部
２０７…階調変換部、２０８…ＹＣ変換部、２０９…ノイズ低減部
２１０…エッジ強調部、２１１…圧縮部、２２０…近傍バッファ
２２１…RGB統計量算出部、２２２…R分散算出部
２２３…R-G分散算出部、２２４…B-G分散算出部、２２５…R-G生成部
２２６…B-G生成部、２２７…R-G統計量算出部
２２８…B-G統計量算出部、２２９…R-G正規性検定部
２３０…B-G正規性検定部、２３１…G正規性検定部
２４１…R分散算出部、２４２…B分散算出部、２４３…R正規性検定部
２４４…B正規性検定部、２４５…最大値算出部
【図１】
2010252265.tif 000003
【図２】
2010252265.tif 000004
【図３】
2010252265.tif 000005
【図４】
2010252265.tif 000006
【図５】
2010252265.tif 000007
【図６】
2010252265.tif 000008
【図７】
2010252265.tif 000009
【図８】
2010252265.tif 000010
【図９】
2010252265.tif 000011
【図１０】
2010252265.tif 000012
【図１１】
2010252265.tif 000013