(57)【要約】【課題】画像信号のノイズを削減し、高解像度のカラー画像を生成することができる画像信号のノイズ削減方法及び装置を提供する。【解決手段】本発明は、カラー画素配列を有する固体撮像素子における画像信号のノイズを削減する方法を提供する。この方法は、カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、中心画素の周囲にある複数の画素を周囲画素として選択する第一の工程と、中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、中心画素の補正画素値を計算する第二の工程と、中心画素のもとの画素値を前記補正画素値に置き換える第三の工程とを含む。【選択図】図1
2008028447.tif 000002
【特許請求の範囲】
【請求項１】
カラー画素配列を有する固体撮像素子における画像信号のノイズを削減する方法であって、
前記カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、当該中心画素の周囲にある複数の画素を周囲画素として選択する第一の工程と、
前記中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、前記中心画素の補正画素値を計算する第二の工程と、
前記中心画素のもとの画素値を前記補正画素値に置き換える第三の工程と、
を含む、
カラー画像信号のノイズ削減方法。
【請求項２】
前記第二の工程において、前記中心画素の画素値に第一の係数を乗じた値と、前記複数の周囲画素の画素値の平均値に第二の係数を乗じた値とを加算し、前記補正画素値を得る、
請求項１に記載のカラー画像信号のノイズ削減方法。
【請求項３】
前記第一の係数と前記第二の係数は、前記中心画素の画素値と前記複数の周囲画素の画素値により、前記中心画素ごとに決められる、
請求項２に記載のカラー画像信号のノイズ削減方法。
【請求項４】
前記第二の工程において、
前記複数の周囲画素は、第一の周囲画素グループと第二の周囲画素グループを有し、
前記中心画素の画素値に第一の係数を乗じた値と、前記第一の周囲画素グループにおける画素の画素値の平均値に第二の係数を乗じた値と、前記第二の周囲画素グループにおける画素の画素値の平均値に第三の係数を乗じた値とを加算し、前記補正画素値を得る、
請求項１に記載のカラー画像信号のノイズ削減方法。
【請求項５】
前記第一の係数、前記第二の係数及び前記第三の係数は、前記中心画素の画素値、前記第一の周囲画素グループにおける画素の画素値及び前記第二の周囲画素グループにおける画素の画素値により、前記中心画素ごとに決められる、
請求項４に記載のカラー画像信号のノイズ削減方法。
【請求項６】
前記カラー画素配列は、ベイヤー配列である、
請求項１に記載のカラー画像信号のノイズ削減方法。
【請求項７】
前記固体撮像素子は、CMOSイメージセンサを含む、
請求項１に記載のカラー画像信号のノイズ削減方法。
【請求項８】
カラー画素配列を有する固体撮像素子と、
前記固体撮像素子からのカラー画像信号を処理する信号処理ユニットと、
前記信号処理ユニットにより処理された前記カラー画像信号を出力し、前記カラー画像信号のノイズを削減可能な出力ユニットと、
を有し、
前記信号処理ユニットは、前記カラー画像信号のノイズを削減する際に、
前記カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、当該中心画素の周囲にある複数の画素を周囲画素として選択し、
前記中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、前記中心画素の補正画素値を計算し、
前記中心画素のもとの画素値を前記補正画素値に置き換える、
カラー画像信号のノイズ削減装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号処理に関し、特に、固体撮像素子からのカラー画像信号のノイズ削減方法及び装置に関する。
【背景技術】
【０００２】
従来、ビデオカメラやデジタルカメラなどの撮像装置では、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像素子が一般に用いられている。このような撮像装置において、カラー撮像を行うために、通常、固体撮像素子上にカラーフィルタを設け、信号処理によってカラー画像信号を得る方法が広く用いられている。
【０００３】
しかし、このように得られたカラー画像信号には、固体撮像素子の構造に起因する各種のノイズが多数含まれている。特に、画素毎にトランジスタを持つＣＭＯＳイメージセンサにおいては、トランジスタの特性にばらつきがあり、ノイズが多い。よって、固体撮像素子をイメージセンサとして用いる場合、ノイズを削減することが重要となる。
【０００４】
ノイズを大別すると、前述のような画素毎のトランジスタの特性のばらつきによる固定パターンノイズ（Fixed  Pattern  Noise：ＦＰＮ）と、画像信号に含まれる不規則な揺らぎ成分によるランダムノイズ（Random  Noise：ＲＮ）とがある。
【０００５】
これらノイズの一般的な対処法として、低域通過フィルタ（Low  Pass  Filter：ＬＰＦ）に画像信号を通す方法が多く採用されている。これは、ノイズが最も多く含まれる画像信号の高域成分に対し、カットオフ周波数として設定した一定の周波数以上の成分を一律にカットする方法である。
【０００６】
しかし、ＬＰＦをそのまま用いた従来のノイズ削減方法では、当然ながら、ノイズのない画像信号の高域成分までも減少させてしまう。画像信号の高域成分は、画像のシャープネスに関係しているので、ＬＰＦでノイズを除去しようとすればするほど、画像のシャープネスが低下してしまうことになる。言い換えると、ＬＰＦは、画像の平坦部に生じた固定パターンノイズに対して有効であるが、画像のエッジ部に生じた固定パターンノイズに対しては、データとノイズを区別せず、一様にカットしてしまい、画像輪郭部を平滑化してしまう。そのため、画像のシャープネスが低下し、ぼやけた画像となってしまう。よって、ＬＰＦを一様に用いるノイズ削減方法は、画像の解像度を低下させる欠点がある。
【０００７】
固体撮像素子は固定パターンノイズの影響を受けやすいので、この固定パターンノイズの削減が大きな課題となる。従来のＬＰＦを一様に用いた方法では、カットオフ周波数を調整するなどをして、ノイズ低減と解像度低下との妥協点でトレードオフを取っている。従って、低ノイズ化と高解像度化を両立できるより効果的なノイズ削減方法が望まれる。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、画像信号のノイズを削減し、高解像度のカラー画像を生成することができる画像信号のノイズ削減方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明は、カラー画素配列を有する固体撮像素子における画像信号のノイズを削減する方法を提供する。この方法は、前記カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、当該中心画素の周囲にある複数の画素を周囲画素として選択する第一の工程と、前記中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、前記中心画素の補正画素値を計算する第二の工程と、前記中心画素のもとの画素値を前記補正画素値で置き換える第三の工程とを含む。
【００１０】
前記第二の工程において、前記中心画素の画素値に第一の係数を乗じた値と、前記複数の周囲画素の画素値の平均値に第二の係数を乗じた値とを加算することにより、前記補正画素値を得る。前記第一の係数と前記第二の係数は、前記中心画素の画素値と前記複数の周囲画素の画素値により前記中心画素ごとに決められる。
【００１１】
好ましくは、前記第二の工程において、前記複数の周囲画素は、第一の周囲画素グループと第二の周囲画素グループを有し、前記中心画素の画素値に第一の係数を乗じた値と、前記第一の周囲画素グループにおける画素の画素値の平均値に第二の係数を乗じた値と、前記第二の周囲画素グループにおける画素の画素値の平均値に第三の係数を乗じた値とを加算し、前記補正画素値を得る。前記第一の係数、前記第二の係数及び前記第三の係数は、前記中心画素の画素値、前記第一の周囲画素グループにおける画素の画素値及び前記第二の周囲画素グループにおける画素の画素値により、前記中心画素ごとに決められる。
【００１２】
前記カラー画素配列は、ベイヤー配列である。前記固体撮像素子は、CMOSイメージセンサを含む。
【００１３】
また、本発明は、カラー画像信号のノイズ削減装置を提供する。この装置は、カラー画素配列を有する固体撮像素子と、前記固体撮像素子からのカラー画像信号を処理する信号処理ユニットと、前記信号処理ユニットにより処理された前記カラー画像信号を出力する出力ユニットとを有する。前記信号処理ユニットは、前記カラー画像信号のノイズを削減する際に、まず、前記カラー画素配列の所定位置におけるノイズ削減対象画素を中心画素として選択し、当該中心画素の周囲にある複数の画素を周囲画素として選択し、次に、前記中心画素の画素値と前記複数の周囲画素のそれぞれの画素値により、前記中心画素の補正画素値を計算し、最後に、前記中心画素のもとの画素値を前記補正画素値で置き換える。
【発明の効果】
【００１４】
本発明は、ノイズを削除しながら、画像のエッジ情報は維持することにより、相反する低ノイズ化と高解像度化とを両立させ、高品質なカラー画像を生成することを可能とする。
【発明を実施するための最良の形態】
【００１５】
次に、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００１６】
実施形態１
図１は、本実施形態に係る固体撮像素子のカラー画素配列である。
【００１７】
図１におけるＧは緑画素、Ｒは赤画素、Ｂは青画素を表し、添字は、その画素の２次元的位置を示す。
【００１８】
図１に示すようなカラー画素配列では、総画素数Ｎに対して、緑の画素数は実質的にＮ／２、赤および青の画素数は実質的にＮ／４である。このようなカラー画素配列は、ベイヤーカラー画素配列と称される。
【００１９】
ここで、緑の画素を２倍設けるのは、人間の眼の分光感度が緑付近をピークとしており、緑の解像度が見かけ上の解像度を向上させるためである。各画素はそれぞれ画像データとしての値を有しており、これら値にノイズ成分が含まれているとする。
【００２０】
一般的なノイズ削減方法では、ノイズ成分を含んだ各画素のデータに対し、隣接する画素の平均値で置き換えるという処理が取られる。例えば、図１の５個の緑画素Ｇ１０、Ｇ１２、Ｇ１６、Ｇ２０及びＧ２２において、ノイズを除去しようとしている中心画素Ｇ１６に対しては、同じ緑の周辺画素である左上画素Ｇ１０、右上画素Ｇ１２、左下画素Ｇ２０、右下画素Ｇ２２の値から数式1のようにして得た値
[外１]
2008028447.tif 000003
でＧ１６を置き換える。
【００２１】
【数１】
2008028447.tif 000004
図２及び図３は、この平均値で置き換える方法を概念的に表したものである。
【００２２】
図２及び図３における横軸が画素の並びを示し、縦軸がその画素値（輝度）をそれぞれ表現している。図中の小さなジグザグ状の凹凸がノイズを表し、段差の部分がエッジを表している。
【００２３】
エッジとは、画の輪郭や縁に当たる部分であり、エッジの形成には、画像データの高周波成分が関係している。エッジ部分の高低差が大きくハッキリしているほど、画像は高解像度の状態にあり、シャープな画像となる。逆に、エッジ部分の高低差が小さくなだらかであると、低解像となり、画像のシャープネスは失われ、ぼやけた状態となる。いわゆる鈍った画の状態である。
【００２４】
図２のようにノイズの周囲にエッジがなければ、平均値で置き換える方法は有効であるが、ノイズはどの部分にも均一に発生するので、図３のように、エッジに近い部分にノイズがある場合、ノイズが除去されるのに伴いエッジも併せて平滑化されてしまう。その結果、画像のシャープネスは著しく低下し、鈍った画となる。
【００２５】
一般的なローパスフィルタのような単純な移動平均によるノイズ削減処理を行うと、画像の高周波成分は失われ、解像度は下がり、画像のシャープネスは失われてしまう。
【００２６】
そのため、本実施形態では、数式１の代わりに次の数式２を用いる。
【００２７】
【数２】
2008028447.tif 000005
ここで、α、βは、０≦β≦α≦１及びα≠０の条件を満たす任意の係数である。係数α、βは、数式２を用いたノイズ削減において、周辺の画素値と中心の画素値のどちらに重み付けをして平滑化するかという加重平均の分配比率を表現している。例えば、ノイズ削減を全く行わない状態は、α＝１、β＝０である。周辺画素の平均値が中心画素の値を超えてしまうことがないように、β≦αとしてある。αとβの値を周辺画素の値により、適応的に変化させていくことで、画像のあらゆる部分においてエッジを保ちながらローパスフィルタ処理を施していく。なお、αとβの比β／αを平滑度として定義しておく。
【００２８】
また、中心画素値と周辺の画素値のうち、値が最大のものをＧｍａｘ、最小のものをＧｍｉｎとし、その差ΔＧを精鋭度として数式３のように定義しておく。
【００２９】
【数３】
2008028447.tif 000006
ノイズ削減処理は、具体的には以下の通りである。
【００３０】
（１）注目５画素にエッジ情報が含まれない場合
通常のＬＰＦ処理を行う。すなわち、エッジ情報が含まれない（すなわち、精鋭度ΔＧの値が低い）場合には、中心画素の値とその周辺画素の平均値を揃えてフラットにする（すなわち、α：β＝１：１にする）ことによりノイズを除去する。
【００３１】
（２）注目５画素にエッジ情報が含まれる場合
エッジの状況により、ＬＰＦ処理効果を弱めていく、若しくはＬＰＦ処理を行わない。すなわち、精鋭度ΔＧが大きくなるにつれ、平滑度β／αを下げていく（すなわち、αに対するβの値を下げていく）。このとき、ノイズ除去効果は下がっていくが、その分エッジ保持効果が上がっていく。さらに、精鋭度ΔＧが一定の値以上大きいとき、β＝０として、ノイズ削減処理を施さない。
【００３２】
図４は、精鋭度ΔＧと平滑度β／αとの関係を示した図である。
【００３３】
実験により、精鋭度ΔＧと平滑度β／αの連続的変化は、図４のように直線的に変化させることが効果的であることが分かっている。さらに、β＝０とする精鋭度ΔＧの値を閾値Ｔｈとして設定し、閾値Ｔｈを超える場合はローパスフィルタ処理を行わない方が、ノイズ削減処理としてより良い効果をもたらすことも実験により分かっている。
【００３４】
この方法が有効である理由は、ノイズが画像情報の細密なエリアよりも均一なエリアでより目立つ傾向がある、という視覚特性が人間にあるからである。
【００３５】
図５は、精鋭度の輝度による正規化の必要性を示す概念図である。
【００３６】
固体撮像素子には、ノイズが画像の明るい部分より暗い部分で発生しやすい、という性質がある。これを考慮し、同じ精鋭度であっても、その精鋭度が全体の画素レベルからみて高い位置（明るい部分）にあるものなのか、低い位置（暗い部分）にあるものなのかを判断するために精鋭度の正規化を行う。精鋭度が画像の明るい部分にある場合は、ノイズ発生率が低くなるのでノイズ除去よりエッジ保持を優先し、暗い部分にある場合は、ノイズ発生率が高くなるのでエッジ保持よりノイズ除去を優先する。
【００３７】
この正規化の具体的なひとつの方法として、精鋭度ΔＧに注目５画素の平均値を乗じたものを正規化した値として用いる。例えば、図１におけるＧ１０、Ｇ１２、Ｇ１６、Ｇ２０及びＧ２２の５画素値のうち、最大値から最小値を引いた精鋭度ΔＧ１６に、５画素の平均値Ｇa１６を乗じた値ΔＧ１６・Ｇａ１６を正規化した精鋭度の値として用いる。これにより、精鋭度に輝度が反映される。
【００３８】
図６は、平滑度β／αと輝度との関係を示した図である。
【００３９】
これは、輝度が高い部分ほど、ローパスフィルタ処理効果を低めてエッジ保持効果を高めた方が良いことを示している。その関係は、やはり直線的な変化とした方がより良い結果が得られることが実験から分かっている。
【００４０】
以上のようにして、数式２の演算を適時α、βの値を変えながら、画像データ全ての緑画素について繰り返し行うことによって、画像のエッジ情報が保持されたままノイズが削減された高品質なカラー画像信号が得られる。
【００４１】
さらに、固体撮像素子がＣＭＯＳセンサの場合、赤画素に隣接する緑画素と、青画素に隣接する緑画素との間に輝度差が発生してしまうという構造的な欠点があるので、数式２を元にした処理がこの欠点を自動的に補正できるという利点をも有する。そしてこの処理は、固定パターンノイズやランダムノイズといったノイズの種類によらず有効である。
【００４２】
本実施形態では、固体撮像素子上での３原色の画素（赤、緑、青）配列のうち、ノイズ削減効果とＣＭＯＳセンサにおける輝度差の補正効果の最も大きい緑画素について説明してきたが、同様の操作を赤画素と青画素についても施すことが可能である。
【００４３】
図７は、本発明の好適な実施形態に係る固体撮像素子上での他のカラー画素配列である。
【００４４】
図７におけるＧは緑画素、Ｒは赤画素、Ｂは青画素を表し、添字は、その画素の２次元的位置を示す。図７において、赤画素に着目してＲ３７を中心画素とした場合、周辺画素はＲ１7、Ｒ３５、Ｒ３９、Ｒ５７として式２に当てはめると数式４となる。
【００４５】
【数４】
2008028447.tif 000007
同様に青画素に着目して、
【００４６】
【数５】
2008028447.tif 000008
となる。以降、緑画素のときと同様の処理を行う。
【００４７】
従って、本実施形態に係る画像信号のノイズ削減方法は、具体的に以下のように実行される。
【００４８】
まず、全ての画素の画素値を取得して記憶する。次に、所定の画素Iの画素値ＧIとその周辺にある所定の複数の画素（例えば、図１に示されている中心画素Ｇ１６とその周辺画素Ｇ１０、Ｇ１２、Ｇ２０及びＧ２２）の画素値により精鋭度ΔＧを計算し、事前に決められた精鋭度閾値Ｔｈと比較する。ΔＧはＴｈより小さければ、ノイズ削減処理を行う。この場合、図４に示されている平滑度β／αと精鋭度ΔＧとの関係、及び、図６に示されている平滑度β／αと画像全体の輝度との関係により、係数αとβの値を決定し、数式２に従って画素Iの補正画素値
[外２]
2008028447.tif 000009
を計算する。そして、画素Iの補正画素値
[外３]
2008028447.tif 000010
で画素Iの元の画素値ＧIを置き換える。また、このような操作を全ての画素に対して繰り返し行う。
【００４９】
図８は、本実施形態に係る撮像装置の構成図である。
【００５０】
図８に示すように、この撮像装置は、ベイヤー配列のようなカラー画素配列を有する撮像素子１と、AD変換器２と、画像データ前処理３を行う画像データ前処理部、ノイズ削減処理４を行うノイズ削減処理部、ベイヤー補間処理５を行うベイヤー補間処理部及び画像データ後処理６を行う画像データ後処理部からなる処理ユニット（図示せず）と、この処理ユニットにより処理された画像データを出力する出力ユニット（図示せず）とを有する。
【００５１】
撮像素子１は、受光した光を電気信号に変換し、アナログ光学画像データを得る。AD変換器２は、撮像素子により得られたアナログ光学画像データをデジタル画像データに変換する。AD変換器２により変換されたデジタル信号データに対して、黒レベル調整などの画像データ前処理３を実施した後、前述のノイズ削減方法によるノイズ削減処理４を行う。その後、ベイヤー補間処理５がノイズ削減処理の後で行われ、そして、各種の画像データ後処理６が行われる。最後に、処理ユニットにより処理された画像データは、出力ユニットにより出力される。
【００５２】
実施形態２
また、前述の数式２を用いて中心画素の補正画素値を計算する際に用いられる画素の数は、五つに限定せず、三つや七つなどの画素数でもよく、その配列も一様に限定されるものではない。また、画素配列は、エッジ検出とローパスフィルタ処理演算とで別々のものを用いることも可能であるし、３原色の画素（赤、緑、青）配列のうち、異なる色でエッジ検出を行い、異なる色でローパスフィルタ処理演算を行うことも可能である。
【００５３】
本実施形態は、エッジ検出に１３画素（中心１画素＋周囲１２画素）の配列を用い、ローパスフィルタ処理に９画素（中心１画素＋周囲８画素）の配列を用いる。さらに、Ｒ(赤)赤画素、Ｂ(青)画素のノイズ削減処理においては、検出にＧ(緑)画素の配列を用いる。
【００５４】
図９は、本実施形態に係る固体撮像素子のカラー画素配列である。
【００５５】
図９におけるカラー画像配列は、Ｇ（緑）画素ノイズ削減時のエッジ検出用の画素配列である。検出画素を増やすと同時に、高周波（Ｈｉｇｈ  Ｆｒｅｑｕｅｎｃｙ：ＨＦ）のエッジを検出する部分ＨＦ（例えば、Ｇ１６、Ｇ１８、Ｇ２２、Ｇ２６、Ｇ２８）と中周波（Ｍｉｄｌｅ  Ｆｒｅｑｕｅｎｃｙ：ＭＦ）のエッジを検出する部分ＭＦ（例えば、Ｇ１０、Ｇ１２、Ｇ１４、Ｇ２０、Ｇ２４、Ｇ３０、Ｇ３２、Ｇ３４）とに分けている。それに伴い、精鋭度も高周波部から導いた精鋭度ΔＧＨと中周波部から導いた精鋭度ΔＧＭとになり、以下のようになる。
【００５６】
【数６】
2008028447.tif 000011
図１０は、本実施形態に係る固体撮像素子の他のカラー画素配列である。
【００５７】
図１０におけるカラー画像配列は、Ｇ（緑）画素のローパスフィルタ処理を行う画素配列である。図９と比べて明らかのように、エッジ検出を行う画素配列と配列が異なっている。
【００５８】
そして、この場合の数式２は、次の数式７のようになる。
【００５９】
【数７】
2008028447.tif 000012
ここで、α、β、γは、０≦γ≦β≦α≦１及びα≠０の条件を満たす任意の係数である。精鋭度ΔＧに対する閾値ＴｈもＴｈ１とＴｈ２（ただし、Ｔｈ１＞Ｔｈ２とする）を設定し、以下のようにノイズ削減処理を行う。
【００６０】
（１）ΔＧＨ≧Ｔｈ１の場合
重要なエッジ情報が含まれていると判断し、エッジ保持を優先し、ローパスフィルタ処理は行わない。すなわち、α＝１、β＝０、γ＝０とする。
【００６１】
（２）ΔＧＨ＜Ｔｈ１かつΔＧＭ≧Ｔｈ２の場合
ＨＦ検出部（中心画素のすぐ近傍）にはエッジ情報がないが、ＭＦ検出部（中心画素の周囲）にはエッジ情報が存在していると判断し、弱いローパスフィルタ処理を行う。すなわち、γ＝０とし、αとβの値は前述のように適応的に変えて処理を行う。
【００６２】
（３）ΔＧＨ＜Ｔｈ１かつΔＧＭ＜Ｔｈ２の場合
エッジ情報がなく、画像の平坦部（低周波部）であると判断し、強いＬＰＦ処理を行う。すなわち、α、β、γの３つの係数について、値を前述のように適応的に変えて処理を行う。
【００６３】
同様の操作を赤画素と青画素についても施すことが可能である。
【００６４】
図１１は、本実施形態に係る固体撮像素子の他のカラー画素配列である。
【００６５】
図１１は、図７における青画素に着目して施した操作に同様に当てはめた場合である。具体的には、Ｒ３７を中心画素とし、周辺画素にＲ１５、Ｒ１7、Ｒ１９、Ｒ３５、Ｒ３９、Ｒ５５、Ｒ５７、Ｒ５９として、式２に次の式８のように当てはめる。
【００６６】
【数８】
2008028447.tif 000013
ここで、エッジ検出用の画素配列として緑画素の配列を用いて、ＨＦ部にＧ２７、Ｇ３６、Ｇ３８、Ｇ４７を、ＭＦ部にＧ１６、Ｇ１８、Ｇ２５、Ｇ２９、Ｇ４５、Ｇ４９、Ｇ５６、Ｇ５８を設定する。検出用に緑画素を用いる理由は、エッジ検出は輝度の変化を見ており、一番輝度の大きな緑画素の変化を検出した方が、精度が向上するからである。
【００６７】
図１２は、本実施形態に係る固体撮像素子の他のカラー画素配列である。
【００６８】
図１２は、同様に青画素に着目した場合である。Ｂ４２を中心画素とし、周辺画素にＢ２０、Ｂ２２、Ｂ２４、Ｂ４０、Ｂ４４、Ｂ６０、Ｂ６２、Ｂ６４として、式２に次の式９のように当てはめる。
【００６９】
【数９】
2008028447.tif 000014
エッジ検出用の画素配列には、同様にして緑画素の配列を用いて、ＨＦ部にＧ３２、Ｇ４１、Ｇ４３、Ｇ５２を、ＭＦ部にＧ２１、Ｇ２３、Ｇ３０、Ｇ３４、Ｇ５０、Ｇ５４、Ｇ６１、Ｇ６３を設定する。以降、緑画素のときと同様の処理を行う。
【００７０】
本実施形態に係る方法は、エッジ検出エリアを広げ、ＬＰＦ処理を２段階の強度に分けることで、エッジ保持処理とローパスフィルタ処理という相反する処理を、よりバランスよく、より効果的に同時に行うことを可能としている。
【００７１】
なお、本実施形態に係る撮像装置は、実施形態１に係る撮像装置と同じである。
【００７２】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。
【図面の簡単な説明】
【００７３】
【図１】本発明の好適な実施形態に係る固体撮像素子のカラー画素配列である。
【図２】精鋭度が低い状態にローパスフィルタをかけた状態を示す概念図である。縦軸方向が画素値（輝度）で、横軸方向が画素値の分布である。
【図３】精鋭度が高い状態にローパスフィルタをかけた状態を示す概念図である。縦軸方向が画素値（輝度）で、横軸方向が画素値の分布である。図中の段差部分が画像のエッジを表している。
【図４】精鋭度と平滑度との関係を示す図である。
【図５】精鋭度の輝度による正規化の必要性を示す概念図である。
【図６】画像全体の輝度と平滑度との関係を示す図である。
【図７】本発明の好適な実施形態に係る固体撮像素子の他のカラー画素配列である。
【図８】本発明の撮像装置の構成図である。
【図９】本発明の他の好適な実施形態に係る固体撮像素子のカラー画素配列である。
【図１０】本発明の他の好適な実施形態に係る固体撮像素子のカラー画素配列である。
【図１１】本発明の他の好適な実施形態に係る固体撮像素子のカラー画素配列である。
【図１２】本発明の他の好適な実施形態に係る固体撮像素子のカラー画素配列である。
【符号の説明】
【００７４】
Ｇ          緑画素
Ｒ          赤画素
Ｂ          青画素
β／α      平滑度
ΔＧ        精鋭度
Th          精鋭度の閾値
１          撮像素子
２          AD変換器
３          画像データ前処理
４          ノイズ削減処理
５          ベイヤー補間処理
６          画像データ後処理
【図１】
2008028447.tif 000015
【図２】
2008028447.tif 000016
【図３】
2008028447.tif 000017
【図４】
2008028447.tif 000018
【図５】
2008028447.tif 000019
【図６】
2008028447.tif 000020
【図７】
2008028447.tif 000021
【図８】
2008028447.tif 000022
【図９】
2008028447.tif 000023
【図１０】
2008028447.tif 000024
【図１１】
2008028447.tif 000025
【図１２】
2008028447.tif 000026