(57)【要約】【課題】  画像内の輝度ノイズ及び、色差ノイズを適切に低減して高品質な画像を得ることができるようにする。【解決手段】  撮像素子からのベイヤー配列の画像データから（ｍ×ｎ）のデータを生成し、（ｐ×ｑ）の輝度・色差データに変換する。輝度平均値算出部５及び色差平均値算出部６で、輝度信号の平均値ＡＶｙ及び色差信号の平均値ＡＶｃを算出する。ノイズ推定部７で、入力画素輝度信号レベルと輝度及び色差信号のショットノイズとの関係に基づいて、輝度平均値算出部５からの輝度信号の平均値ＡＶｙに応じた輝度ノイズ推定値及び色差ノイズ推定値をそれぞれ出力する。ノイズ低減部９で、ノイズ推定部７からの輝度ノイズ推定値及び色差ノイズ推定値に応じて、輝度及び色差ノイズのノイズ低減処理を行う。輝度ノイズ推定値及び色差ノイズ推定値をそれぞれ算出しているので、輝度及び色差ノイズ低減処理を最適に行える。【選択図】        図１
2006309524.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの画像データに対して、画像データの輝度レベルに応じたノイズ評価値を元に、着目画素１画素毎にノイズを低減する画像処理装置であって、
撮像素子から１画素ずつ入力される画像データを、前記着目画素を含む、二次元画像データに変換するデータ生成部と、
前記二次元画像データの各画素に対応する複数の輝度信号及び色差信号を生成する輝度・色差生成部と、
前記輝度・色差生成部にて生成された複数個の輝度信号から、前記着目画素に係る周囲の輝度信号の平均値を算出する輝度平均値算出部と、
前記輝度・色差生成部にて生成された複数個の色差信号から、前記着目画素に係る周囲の色差信号の平均値を算出する色差平均値算出部と、
前記輝度平均値信号に応じた、前記着目画素に係る輝度のノイズを評価するための輝度ノイズ評価値又は色差のノイズを評価するための色差ノイズ評価値を出力するノイズ推定部と、
前記着目画素の属性に応じ、前記輝度平均値と前記輝度ノイズ評価値、又は、前記色差平均値と前記色差ノイズ評価値、の何れか一方に基づき、前記着目画素に対してノイズ低減を行うノイズ低減部と
を有するようにした画像処理装置。
【請求項２】
前記ノイズ推定部は、前記撮像素子における、前記輝度平均値信号に対する前記輝度ノイズ評価値、及び前記輝度平均値信号に対する前記色差ノイズ評価値を格納したルックアップテーブルメモリを有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ推定部は、前記撮像素子における、前記輝度ノイズ評価値及び前記色差ノイズ評価値を、複数の特定の前記輝度平均値信号に対応させて格納したレジスタと、任意の前記輝度平均値信号に対応する前記輝度ノイズ評価値又は前記色差ノイズ評価値を、前記レジスタに格納された、複数の前記輝度平均値信号に対応する前記輝度ノイズ評価値又は前記色差ノイズ評価値を線形補間して生成するノイズ値補間回路とを有することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ推定部は、前記撮像素子に係る温度、露光時間又は撮像素子からの信号に対するゲインのうち少なくとも１つの情報に基づいて、前記撮像素子における、前記輝度ノイズ評価値及び前記色差ノイズ評価値を補正する補正手段を有することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記ノイズ低減部から出力された画像データのフォーマットを、前記入力画像データと同じフォーマットに変換するデータ変換部を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
撮像素子からの画像データに対して、画像データの輝度レベルに応じたノイズ評価値を元に、着目画素１画素毎にノイズを低減する画像処理方法であって、
撮像素子から１画素ずつ入力される画像データを、前記着目画素を含む、二次元画像データに変換するデータ生成ステップと、
前記二次元画像データの各画素に対応する複数の輝度信号及び色差信号を生成する輝度・色差生成ステップと、
前記輝度・色差生成ステップにて生成された複数個の輝度信号から、前記着目画素に係る周囲の輝度信号の平均値を算出する輝度平均値算出ステップと、
前記輝度・生成ステップにて生成された複数個の色差信号から、前記着目画素に係る周囲の色差信号の平均値を算出する色差平均値算出ステップと、
前記輝度平均値信号に応じた、前記着目画素に係る輝度のノイズを評価するための輝度ノイズ評価値又は色差のノイズを評価するための色差ノイズ評価値を出力するノイズ推定ステップと、
前記着目画素の属性に応じ、前記輝度平均値と前記輝度ノイズ評価値、又は、前記色差平均値と前記色差ノイズ評価値、の何れか一方に基づき、前記着目画素に対してノイズ低減を行うノイズ低減ステップと
を有するようにした画像処理方法。
【請求項７】
レンズを介して入射した光を電気信号に変換する撮像素子と、撮像素子からの出力信号が入力される請求項１から５の何れか１項に記載の画像処理装置と、前記画像処理装置からの出力信号を所定のフォーマットに変換して外部に出力する外部出力部を備えた電子カメラ。
【請求項８】
１方向に画素が並んだ撮像素子と、撮像素子からの出力信号が入力される請求項１から５の何れか１項に記載の画像処理装置と、前記画像処理装置からの出力信号を所定のフォーマットに変換して外部に出力する外部出力部を備えたスキャナ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法、並びに、その画像処理装置及び方法を用いた応用装置としての電子カメラ、スキャナに関するもので、特に画像のノイズ低減に関する。
【背景技術】
【０００２】
ＣＣＤ(Charge Coupled Device)等の撮像素子から得られる画像信号をディジタル画像処理によって高画質化する画像処理装置において、高画質化処理の１つに、画像中に含まれるノイズを低減するノイズ低減処理がある。画像に含まれるノイズの発生原因は様々あるが、その中でも特に撮像素子に起因するノイズの影響が大きい。撮像素子に起因するノイズ成分の中で主なものは、暗電流ノイズとショットノイズである。暗電流ノイズは撮像素子が受光しなくても発生する、熱によるノイズである。
【０００３】
暗電流ノイズは画像の場所によらずほぼ一定量で、本来あるべき被写体の画像に足されるため画像全体の明度が上がり、特に画像の黒レベルが「０」にならない「黒浮き」と呼ばれる不具合を引き起こす。
【０００４】
一方、ショットノイズは光電変換時に起こる確率的な揺らぎにより発生するものであるため、画像中のランダムノイズとなって現れる。また、この揺らぎの量は光量子の個数の平方根に比例するため、ショットノイズ自体の量は光量子が多くなればなるほど、すなわち撮像素子に入射する光量が多いほど大きくなる。例えば入射光量が１００のときの画像信号出力レベル値を１００とすると、レベル１０のショットノイズが発生する可能性があるため、画像信号の出力レベル値は９０〜１１０の間で変動する。入射光量が１００００のときは、ショットノイズ値は１００となり、出力レベル値は９９００〜１０１００の間で変動する。
【０００５】
一般的に暗電流ノイズに対して、ショットノイズの方が低減するのが難しく、またノイズレベルも大きいため、画像に対して大きな影響を及ぼすノイズ成分となる。
【０００６】
以上で述べたようにショットノイズは光量子数と関係するので、光の強度以外にも撮像素子の１画素あたりの面積によっても発生量は変わるし、また、撮像素子の光電変換特性やカラーフィルタの特性によっても変わる。すなわち、ショットノイズの量は撮像素子毎に異なる値であり、一意に決まるものではない。
【０００７】
例えば特許文献１において、静的に与えられる定数項ａ、ｂ、ｃと濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂｃＤにより関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づきフィルタリングの周波数特性を制御する技術が開示されており、これにより、信号レベルに対して適応的なノイズ低減処理が行われるようになっている。
【０００８】
特許文献２には、画像信号を輝度信号と色差信号に分け、輝度エッジ部又は色エッジ部以外の色差信号に対して平滑化処理を行い、色ノイズを低減する技術が開示されており、これにより、見た目の解像度が劣化しない色ノイズ低減が行われるようになっている。
【特許文献１】特開２００１−１５７０５７号公報
【特許文献２】特開２００１−１７５８４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１に記載の技術は、画像を輝度信号と、色差信号に分けてノイズ低減処理をするといった観点では何ら言及されていない。
【００１０】
つまり、ノイズ低減処理には、ローパスフィルタにより、ノイズ成分を除去することが行われる。ところが、ノイズ低減のためにローパスフィルタを挿入すると、画像にボケが生じる。一般的に、色差信号のボケは輝度信号のボケに比べて人間の目には判別しづらいという特徴を持つ。このことから、輝度信号のノイズ処理と、色差信号のノイズ処理とを分けて行い、輝度信号のノイズ処理は、画像のボケを少なくすることを重視し、色差信号のノイズ処理は、ノイズ低減効果を重視するようにすることが考えられる。このような処理を行うためには、画像を輝度信号と色差信号とに分け、輝度信号のノイズ成分と色差信号のノイズ成分とをそれぞれ推定し、輝度信号のノイズ処理と色差信号のノイズ処理とを分けて行うことが考えられる。
【００１１】
更に、ノイズ量は撮影時の温度、露光時間、ゲインなどの要因により動的に変化するため、特許文献１に記載されたような静的な定数項を用いる技術では、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣る虞がある。
【００１２】
また、特許文献２に記載の技術では、エッジ部と平坦部との判別を行っているが、エッジと平坦部の判別の際に、信号レベルによってショットノイズ量が異なるという点が考慮されておらず、エッジとノイズを誤判定してしまう可能性がある。このために、ノイズ成分が残存する、あるいはエッジ成分が平滑化されてしまう虞がある。
【００１３】
本発明は上記課題を鑑みてなされたものであり、画像内の輝度ノイズ及び、色差ノイズを適切に低減して高品質な画像を得ることができる画像処理装置及び方法、並びに、その画像処理装置及び方法を用いた応用装置としての電子カメラ、スキャナを提供することを目的としている。
【課題を解決するための手段】
【００１４】
請求項１の発明に係る画像処理装置は、撮像素子からの画像データに対して、画像データの輝度レベルに応じたノイズ評価値を元に、着目画素１画素毎にノイズを低減する画像処理装置であって、撮像素子から１画素ずつ入力される画像データを、着目画素を含む、二次元画像データに変換するデータ生成部と、二次元画像データの各画素に対応する複数の輝度信号及び色差信号を生成する輝度・色差生成部と、輝度・色差生成部にて生成された複数個の輝度信号から、着目画素に係る周囲の輝度信号の平均値を算出する輝度平均値算出部と、輝度・色差生成部にて生成された複数個の色差信号から、着目画素に係る周囲の色差信号の平均値を算出する色差平均値算出部と、輝度平均値信号に応じた、着目画素に係る輝度のノイズを評価するための輝度ノイズ評価値又は色差のノイズを評価するための色差ノイズ評価値を出力するノイズ推定部と、着目画素の属性に応じ、輝度平均値と輝度ノイズ評価値、又は、色差平均値と色差ノイズ評価値の何れか一方に基づき、着目画素に対してノイズ低減を行うノイズ低減部とを有することを特徴とする。
【００１５】
請求項２の発明に係る画像処理装置では、ノイズ推定部は、撮像素子における、輝度平均値信号に対する輝度ノイズ評価値、及び輝度平均値信号に対する色差ノイズ評価値を格納したルックアップテーブルメモリを有することを特徴とする。
【００１６】
請求項３に係る画像処理装置では、撮像素子における、輝度ノイズ評価値及び色差ノイズ評価値を、複数の特定の輝度平均値信号に対応させて格納したレジスタと、任意の輝度平均値信号に対応する輝度ノイズ評価値又は色差ノイズ評価値を、レジスタに格納された、複数の輝度平均値信号に対応する輝度ノイズ評価値又は色差ノイズ評価値を線形補間して生成するノイズ値補間回路とを有することを特徴とする。
【００１７】
請求項４に係る画像処理装置では、ノイズ推定部は、撮像素子に係る温度、露光時間又は撮像素子からの信号に対するゲインのうち少なくとも１つの情報に基づいて、撮像素子における、輝度ノイズ評価値及び色差ノイズ評価値を補正する補正手段を有することを特徴とする。
【００１８】
請求項５に係る画像処理装置では、ノイズ低減部から出力された画像データのフォーマットを、入力画像データと同じフォーマットに変換するデータ変換部を更に有することを特徴とする。
【００１９】
請求項６に係る画像処理方法は、撮像素子からの画像データに対して、画像データの輝度レベルに応じたノイズ評価値を元に、着目画素１画素毎にノイズを低減する画像処理方法であって、撮像素子から１画素ずつ入力される画像データを、着目画素を含む、二次元画像データに変換するデータ生成ステップと、二次元画像データの各画素に対応する複数の輝度信号及び色差信号を生成する輝度・色差生成ステップと、輝度・色差生成ステップにて生成された複数個の輝度信号から、着目画素に係る周囲の輝度信号の平均値を算出する輝度平均値算出ステップと、輝度・生成ステップにて生成された複数個の色差信号から、着目画素に係る周囲の色差信号の平均値を算出する色差平均値算出ステップと、輝度平均値信号に応じた、着目画素に係る輝度のノイズを評価するための輝度ノイズ評価値又は色差のノイズを評価するための色差ノイズ評価値を出力するノイズ推定ステップと、着目画素の属性に応じ、輝度平均値と輝度ノイズ評価値、又は、色差平均値と色差ノイズ評価値の何れか一方に基づき、着目画素に対してノイズ低減を行うノイズ低減ステップとを有することを特徴とする。
【００２０】
請求項７に係る電子カメラは、レンズを介して入射した光を電気信号に変換する撮像素子と、撮像素子からの出力信号が入力される画像処理装置と、画像処理装置からの出力信号を所定のフォーマットに変換して外部に出力する外部出力部を備え、画像処理装置として、請求項１〜請求項５の発明に係わるものを用いたことを特徴とする。
【００２１】
請求項８に係るスキャナは、１方向に画素が並んだ撮像素子と、撮像素子からの出力信号が入力される画像処理装置と、画像処理装置からの出力信号を所定のフォーマットに変換して外部に出力する外部出力部を備え、画像処理装置として、請求項１〜請求項５の発明に係わるものを用いたことを特徴とする。
【発明の効果】
【００２２】
請求項１に係る発明によれば、ノイズ推定部は、輝度信号レベルに対する輝度ノイズ値と、輝度信号レベルに対する色差ノイズ値とがそれぞれ推定できる。このように、ノイズ推定部で、輝度ノイズ値と、色差ノイズ値とそれぞれ推定できるので、輝度及び色差ノイズ低減処理を最適に行える。すなわち、輝度信号に対しては、エッジ成分の低下による画質劣化防止を優先して、ノイズ処理のフィルタリング範囲を狭くし、色差信号に対しては、ノイズ低減を優先して、ノイズ処理のフィルタリング範囲を広くとるようなことが行える。
【００２３】
請求項２に係る発明によれば、ノイズ推定部をルックアップテーブルメモリで構成するため、入力輝度に応じたノイズ評価値をきめ細かく設定することが可能になる。
【００２４】
請求項３に係る発明によれば、ノイズ特性曲線をいくつかに分割し、その直線のパラメータをレジスタに格納して補間演算によりノイズ評価値を求めるため、ノイズ推定部の回路規模をさらに小さくすることが可能になる。
【００２５】
請求項４に係る発明によれば、予め測定した撮像素子のノイズ特性を、撮影時のパラメータによって補正することにより、より精度の高いノイズ低減をすることができる。
【００２６】
請求項５に係る発明によれば、ノイズ低減後の輝度・色差信号を、撮像素子が出力する色空間信号に再び変換することにより、容易にノイズリダクション処理のオンオフの制御をすることができる。
【００２７】
請求項６に係る発明によれば、ノイズ推定ステップは、輝度信号レベルに対する輝度ノイズ値と、輝度信号レベルに対する色差ノイズ値とがそれぞれ推定できる。このように、ノイズ推定ステップで、輝度ノイズ値と、色差ノイズ値とそれぞれ推定できるので、輝度及び色差ノイズ低減処理を最適に行える。
【００２８】
請求項７の発明によれば、撮像素子からのノイズに対して、輝度及び色差ノイズ低減処理を最適に行える電子カメラが実現できる。
【００２９】
請求項８の発明によれば、撮像素子からのノイズに対して、輝度及び色差ノイズ低減処理を最適に行えるスキャナが実現できる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明に係る画像処理装置の構成を示すブロック構成図である。図１において、１は単板のカラーフィルタが装着された撮像素子である。撮像素子１としては、ＣＣＤ(Charge Coupled Device)撮像素子やＣＭＯＳ(Complementary MOS)撮像素子が用いられる。撮像素子のカラーフィルタとしては、例えば、Ｒ（赤）、Ｇｒ（赤列の緑）、Ｇｂ（青列の緑）、Ｂ（青）がベイヤー配列されているものが用いられる。
【００３１】
２はデータ生成部である。撮像素子１からは、Ｒ、Ｇｒ、Ｇｂ、Ｂのベイヤー配列の画像データが１画素ずつ入力される。データ生成部２で、このベイヤー配列の画像データが（ｍ×ｎ）の二次元画像データに配列される。
【００３２】
３は輝度・色差生成部である。データ生成部２からの（ｍ×ｎ）のベイヤー配列の画像データは、輝度・色差生成部３で、Ｙ（輝度）、Ｃｒ（色差）、Ｃｂ（色差）の（ｐ×ｑ）の二次元配列のデータに変換される。
【００３３】
４はセレクタである。セレクタ４は、（ｐ×ｑ）のデータ配列の中心に位置する輝度信号と、（ｐ×ｑ）のデータ配列の中心に位置する色差信号とを入力し、（ｐ×ｑ）のデータ配列の中心に位置する輝度信号と（ｐ×ｑ）のデータ配列の中心に位置する色差信号のうち何れか一方を着目画素として選択して出力する。セレクタ４には、コントローラ１３から輝度／色差選択信号が供給される。セレクタ４は、この輝度／色差選択信号により、切り換えられる。
【００３４】
５は輝度平均値算出部である。輝度平均値算出部５は、輝度・色差生成部３で生成された（ｐ×ｑ）個の輝度信号データのうち複数個の輝度信号データを用いて平均値を算出する。
【００３５】
６は色差平均値算出部である。色差平均値算出部６は、輝度・色差生成部３で生成された（ｐ×ｑ）個の色差信号データのうち複数個の色差信号データを用いて平均値を算出する。
【００３６】
７はノイズ推定部である。ノイズ推定部７は、輝度平均値算出部５からの輝度信号平均値を基に、輝度信号Ｙのノイズ評価値と、色差信号Ｃｒ、色差信号Ｃｂのノイズ評価値とを推定する。ノイズ推定部７には、コントローラ１３から輝度／色差選択信号が供給される。ノイズ推定部７は、この輝度／色差選択信号により、輝度信号Ｙのノイズ評価値と、色差信号Ｃｒのノイズ評価値と、色差信号Ｃｂのノイズ評価値とを選択的に出力する。ノイズ推定部７は、コントローラ１３から送られてくる撮像素子の温度や、露光時間、あるいはアナログ回路におけるゲイン値などの、動的なパラメータにより補正を加えることが可能である。
【００３７】
８はセレクタである。セレクタ８は、輝度平均値算出部５からの輝度平均値と、色差平均値算出部６からの色差平均値の何れか一方を選択して出力する。セレクタ４には、コントローラ１３から輝度／色差選択信号が供給され、セレクタ４は、この輝度／色差選択信号により、切り換えられる。
【００３８】
９はノイズ低減部である。ノイズ低減部９には、セレクタ４から、着目画素として、（ｐ×ｑ）のデータ配列の中心に位置する輝度信号と（ｐ×ｑ）のデータ配列の中心に位置する色差信号とが選択的に送られる。また、ノイズ低減部９には、セレクタ８から、輝度信号の平均値と色差信号の平均値とが選択的に送られる。また、ノイズ低減部９には、ノイズ推定部７から、輝度信号のノイズ評価値と、色差信号のノイズ評価値とが選択的に送られる。ノイズ低減部９は、ノイズ推定部７から選択的に送られてくる輝度信号のノイズ評価値と色差信号のノイズ評価値とに基づいて、輝度信号のノイズ低減処理と、色差信号のノイズ低減処理とを１画素ずつ選択的に行う。
【００３９】
１０はデータ生成部である。データ生成部１０は、ノイズ低減部９から１画素ずつ入力されるノイズ除去された輝度信号と色差信号の画像データを二次元配列画像データに配列する。
【００４０】
１１はデータ変換部である。データ変換部１１は、二次元の輝度・色差信号を撮像素子１が出力する信号と同じ色空間の信号に変換する。すなわち、撮像素子１からは、ＲＧＢベイヤー配列の画像データが出力されている。データ変換部１１は、撮像素子１からの画像データと同様になるように、データ生成部１０からの輝度・色差の画像データを、ＲＧＢベイヤー配列の画像データに変換する。
【００４１】
１２はセレクタである。セレクタ１２は、データ変換部１１の出力と、撮像素子１の出力のうち一方を選択する。このセレクタ１２は、ノイズリダクション処理を行うかどうかにより切り換えられる。ノイズリダクション処理をオンにすると、セレクタ１２からは、データ変換部１１からのノイズ除去処理された画像データが出力される。ノイズリダクション処理がオフのときには、撮像素子１からの画像データがそのままセレクタ１２から出力される。
【００４２】
１３は全体処理を制御するコントローラ、１４はその他の画像処理部である。コントローラ１３は、ベイヤー配列の画像データから輝度・色差の画像データに変換する際のブロックの左肩の画素の色に応じて、輝度／色差選択信号を生成する。この輝度／色差選択信号は、輝度・色差生成部３、セレクタ４、ノイズ推定部７、セレクタ８、データ変換部１１に送られる。また、コントローラ１３は、撮像素子の温度や、露光時間、あるいはアナログ回路におけるゲイン値などの、動的なパラメータをノイズ推定部７に送っている。また、データ生成部２からデータ変換部１１までのブロックをノイズリダクション部１５と呼ぶことにする。
【００４３】
次に、図１に示す本発明に係る画像処理装置の動作について説明する。先ず、撮像素子１で、被写体像光が光電変換され、撮像素子１からは、例えば、Ｒ、Ｇｒ、Ｂ、Ｇｂのベイヤーデータが出力される。この画像データは、Ａ／Ｄ(Analog to Digital)変換（図示せず）され、ディジタル画像データとなり、１画素毎にデータ生成部２に送られる。
【００４４】
データ生成部２で、１画素毎に入力された画像データから（ｍ×ｎ）の二次元画像データへの変換が行われる。（ｍ×ｎ）の画像データは輝度・色差生成部３に送られ、輝度・色差生成部３で、（ｐ×ｑ）の輝度・色差信号の画像データへの変換が行われる。
【００４５】
図２は、このような画像変換処理の説明図である。撮像素子１からはベイヤー配列の画像データが出力され、（ｍ＝ｎ＝１０）とすると、図２（Ａ）に示すように、データ生成部２により、縦１０画素、横１０画素のベイヤー配列の二次元画像データが生成される。
【００４６】
ベイヤー配列の画像データから、輝度・色差の画像データに変換する場合、（１０×１０）のベイヤー配列の画像データを、図２（Ａ）において太枠で囲むように、（２×２）画素のブロック毎に区切る。このように、（２×２）画素のブロック毎に区切ると、（１０×１０）の画素配列は、（５×５＝２５）個のエリア（ｐ＝ｑ＝５）に区切られる。そして、この太線で囲む（２×２）画素のブロックのそれぞれにおいて、１つの輝度データと１つの色差データとが生成される。
【００４７】
図２（Ａ）では、ベイヤー配列の画像データを輝度・色差の画像データに変換する際のブロックの左肩の画素の色がＲの場合のデータ配列を示しているが、入力データのタイミングが異なる場合には、ブロックの左肩の画素の色が異なったものとなる。図３（Ａ）はブロックの左肩の画素の色がＲとなる場合を示し、図３（Ｂ）は左上の画素がＧｒとなる場合を示し、図３（Ｃ）はブロックの左肩の画素の色がＧｂとなる場合を示し、図３（Ｄ）はブロックの左肩の画素の色がＢとなる場合を示す。
【００４８】
ベイヤー配列の画像データから、輝度・色差データへの変換方法は、特に規定しないが、数１に示すような一般的な式を用いて変換を行うようにしても良いし、輝度データの代わりとして、Ｇ信号そのものを用いて演算を簡略化しても良い。また、撮像素子１が補色フィルタを装着している場合であっても、いわゆる一般的な輝度・色差信号への変換式を用いれば良い。
【００４９】
【数１】
2006309524.tif 000003
【００５０】
数１では、色差信号をＣとして表しており、この色差信号Ｃは、Ｃｒの場合とＣｂの場合とがある。色差信号ＣがＣｒになるかＣｂになるかは、ブロックの左肩の画素の色により決まる。ブロックの左肩の画素の色（図３参照）とＣ（Ｃｒ又はＣｂ）との関係は、以下の表１に示される。なお、表中の−は、この色差信号は使われることがないので、どのような色差信号を生成してもかまわないということを表している。
【００５１】
【表１】
2006309524.tif 000004
【００５２】
このようにして、図２（Ｃ）及び図２（Ｄ）に示すように、輝度信号Ｙと色差信号Ｃとが生成される。また、この（５×５）のエリアの中心の位置にある画素は、図２（Ｂ）に示すように、着目画素Ｓとして扱われる。
【００５３】
図１において、輝度・色差生成部３からの（ｐ×ｑ）の輝度信号は、輝度平均値算出部５に送られる。また、（ｐ×ｑ）の色差信号は、色差平均値算出部６に送られる。また、輝度・色差生成部３からの（ｐ×ｑ）個の輝度信号及び色差信号のうち、（ｐ×ｑ）のデータ配列の中心位置にある輝度信号及び色差信号（図２（Ｂ）参照）は、セレクタ４に送られる。
【００５４】
セレクタ４により、（ｐ×ｑ）のデータ配列の中心に位置する輝度信号と、（ｐ×ｑ）のデータ配列の中心に位置する色差信号のうち何れか一方が着目画素Ｓとして選択されて出力される。セレクタ４は、コントローラ１３からの輝度／色差選択信号により切り換えられる。表２にブロックの左肩の画素の色と選択される着目画素Ｓの関係を示す。
【００５５】
【表２】
2006309524.tif 000005
【００５６】
すなわち、図３（Ａ）に示すように、ブロックの左肩の画素の色がＲの場合には、セレクタ４はポート４ｂ側に設定され、セレクタ４からは、（ｐ×ｑ）の二次元配列の中心にある色差信号Ｃ（Ｃｒ）が着目画素Ｓとして出力される。図３（Ｂ）に示すように、ブロックの左肩の画素の色がＧｒの場合には、セレクタ４はポート４ａ側に設定され、セレクタ４からは、（ｐ×ｑ）の二次元配列の中心にある輝度信号Ｙが着目画素Ｓとして出力される。図３（Ｃ）に示すように、ブロックの左肩の画素の色がＧｂの場合には、セレクタ４はポート４ａ側に設定され、セレクタ４からは、（ｐ×ｑ）の二次元配列の中心にある輝度信号Ｙが着目画素Ｓとして出力される。図３（Ｄ）に示すように、ブロックの左肩の画素の色がＢの場合には、セレクタ４はポート４ｂ側に設定され、セレクタ４からは、（ｐ×ｑ）の二次元配列の中心にある色差信号Ｃ（Ｃｂ）が着目画素Ｓとして出力される。
【００５７】
輝度平均値算出部５で、入力された輝度信号の平均値ＡＶｙが算出される。本発明の実施形態では、例えば図２（Ｃ）に示すように、着目画素を中心とした９個の輝度信号を用いて平均値を算出するようにしている。また、ここでは単純平均値を算出するとしているが、各輝度信号に重みを付けた加重平均値を算出しても良い。
【００５８】
同様に、色差平均値算出部６で、入力された色差信号の平均値ＡＶｃが算出される。本発明の実施形態では、例えば図２（Ｄ）に示すように、２５個の色差信号を用いて平均値を算出するようにしている。また、ここでは単純平均値を算出するとしているが、各色差信号に重みを付けた加重平均値を算出しても良い。
【００５９】
輝度平均値算出部５で求められた輝度信号の平均値ＡＶｙ及び色差平均値算出部６で求められた色差信号の平均値ＡＶｃは、ノイズ低減後の画像信号として出力される可能性がある。すなわち、隣接する画像信号を平均化すれば、ローパスフィルタが構成されたことになり、ノイズが除去される。
【００６０】
この平均値算出に使用する画素範囲はノイズの低減度合を決めることになる。具体的には、大きなエリアから平均値を求めると、ノイズは大きく低減されるが、被写体像も平滑化されるためボケた画像になる。これとは反対に、小さなエリアから平均値を求めると、ノイズ低減効果は小さいが、画像のエッジ成分が保持され、鮮鋭な画像となる。輝度平均値算出部５の輝度平均値算出エリアや、色差平均値算出部６の色差平均値算出エリアは、以上のことを考慮して設定する必要がある。
【００６１】
一般的に、色差信号のボケは輝度信号のボケに比べて人間の目には判別しづらいという特徴を持つ。このことから、輝度信号の平均値は、画像のボケを少なくすることを重視し、輝度平均値算出エリアを小さく設定し、色差信号平均値はノイズ低減効果を重視し、色差平均値算出エリアを大きくすることが良いと考えられる。
【００６２】
そこで、この実施形態では、輝度平均値算出エリアについては、図２（Ｃ）に示すように設定し、着目画素を中心とした９個の輝度信号から輝度平均値を求め、画質の低下を少なくし、色差平均値算出エリアについては、図２（Ｄ）に示すように設定し、２５個の色差信号から色差平均値を求めるようにして、ノイズ低減効果を高めている。
【００６３】
勿論、輝度平均値算出エリア及び色差平均値算出エリアの設定は、これに限定されるものではない。２５個の輝度信号全てを使って、輝度の平均値を算出してもかまわない。
【００６４】
輝度平均値算出部５で求められた輝度信号の平均値ＡＶｙは、ノイズ推定部７に送られる。ノイズ推定部７では、輝度信号の平均値ＡＶｙを基に、着目画素Ｓのノイズ評価値Ｎが推定される。
【００６５】
ここで、本発明の実施形態では、ノイズ推定部７で、輝度信号Ｙのノイズ評価値と、色差信号Ｃｒのノイズ評価値と、色差信号Ｃｂのノイズ評価値とがそれぞれ画素毎に算出できるようになっている。このようなノイズ推定部７について、以下に説明する。
【００６６】
図４は、本願発明者らが測定した、ある撮像素子のカラーフィルタ毎の入射光量に対するショットノイズ量の関係である。前述したように、ショットノイズ自体の量は撮像素子に入射する光量が多いほど大きくなり、また、光の強度以外にも、撮像素子の１画素あたりの面積や、撮像素子の光電変換特性、カラーフィルタの特性によっても変わる。図４において、横軸が入力画像輝度信号レベルを示し、縦軸がノイズ値を示す。特性Ａ１がＲ信号のノイズの測定値を示し、特性Ａ２がＧ信号のノイズの測定値を示し、特性Ａ３がＢ信号のノイズの測定値を示す。図４に示すように、入射光量、すなわち入力画像輝度信号レベルが高くなるほどショットノイズ値は大きくなる。また、入力画像輝度信号レベルとノイズの関係は、ＲＧＢカラーフィルタ毎に特性は異なる。
【００６７】
図５は、図４に示したカラーフィルタ毎の輝度信号レベルとノイズ値との関係を、数１を用いて、輝度信号のノイズ値と色差信号ノイズ値との関係に変換したものである。図５において、横軸が入力画像輝度信号レベルを示し、縦軸がノイズ値を示す。特性Ａ１１が輝度信号Ｙのノイズ値を示し、特性Ａ１２が色差信号Ｃｒのノイズ値を示し、特性Ａ１３が色差信号Ｃｂのノイズ値を示す。Ｒ、Ｇ、Ｂノイズ値から、Ｙ、Ｃｒ、Ｃｂノイズ値への変換は、数１で示した線形式で変換するため、ノイズの絶対値は変わってもグラフの形状は、基本的に変わらない。
【００６８】
図５に示す特性から、入力画像の輝度信号レベルを基に、輝度信号Ｙのノイズ値、色差信号Ｃｒのノイズ値、色差信号Ｃｂのノイズ値を得ることができる。図１におけるノイズ推定部７には、輝度平均値算出部５からの輝度信号の平均値ＡＶｙと、コントローラ１３からの輝度／色差選択信号とが送られる。ノイズ推定部７により、輝度平均値算出部５からの輝度信号の平均値ＡＶｙを基に、輝度信号Ｙのノイズ値、色差信号Ｃｒのノイズ値、色差信号Ｃｂのノイズ値が推定される。そして、コントローラ１３から出力される輝度／色差選択信号により、輝度信号Ｙのノイズ値、色差信号Ｃｒのノイズ値、色差信号Ｃｂのノイズ値のうちの１つが選択され、ノイズ評価値Ｎとして出力される。
【００６９】
ノイズ推定部７から出力されるノイズ評価値Ｎは、ブロックの左肩の画素の色により、表３に示すようになる。
【００７０】
【表３】
2006309524.tif 000006
【００７１】
すなわち、ノイズ推定部７からは、ブロックの左肩の色がＲの場合（図３（Ａ））には色差Ｃｒのノイズ値が出力され、ブロックの左肩の色がＧｒの場合（図３（Ｂ））及びＧｂの場合（図３（Ｃ））には輝度Ｙのノイズ値が出力され、ブロックの左肩の色がＢの場合（図３（Ｄ））には色差Ｃｂのノイズ値が出力される。
【００７２】
図６は、このような処理を行うノイズ推定部７の一例を示すものである。図６において、Ｙノイズルックアップテーブル５１、Ｃｒノイズルックアップテーブル５２、Ｃｂノイズルックアップテーブル５３は例えばＲＯＭ(Read Only Memory)で構成されている。Ｙノイズルックアップテーブル５１には、図５の特性Ａ１１に基づいて、入力画素輝度信号レベルに対する輝度信号Ｙのノイズ値が格納されている。Ｃｒノイズルックアップテーブル５２には、図５の特性Ａ１２に基づいて、入力画素輝度信号レベルに対する色差信号Ｃｒのノイズ値が格納されている。Ｃｂノイズルックアップテーブル５３には、図５の特性Ａ１３に基づいて、入力画素輝度信号レベルに対する色差信号Ｃｂのノイズ値が格納されている。
【００７３】
入力端子５０には、輝度平均値算出部５からの輝度信号の平均値ＡＶｙが供給される。この輝度信号の平均値ＡＶｙがＹノイズルックアップテーブル５１、Ｃｒノイズルックアップテーブル５２、及びＣｂノイズルックアップテーブル５３のアドレスとして供給される。Ｙノイズルックアップテーブル５１、Ｃｒノイズルックアップテーブル５２、及びＣｂノイズルックアップテーブル５３からは、輝度信号Ｙのノイズ値、色差信号Ｃｒのノイズ値、及び色差信号Ｃｂのノイズ値がそれぞれ出力される。これら輝度信号Ｙのノイズ値と、色差信号Ｃｒのノイズ値と、色差信号Ｃｂは、セレクタ５５に供給される。
【００７４】
セレクタ５５には、コントローラ１３からの輝度／色差選択信号が供給される。この輝度／色差選択信号により、セレクタ５５が切り換えられる。セレクタ５５により、輝度Ｙのノイズ値と、色差Ｃｒのノイズ値と、色差Ｃｂのノイズ値とが選択的に出力され、選択されたノイズ値がノイズ評価値として出力端子５６から出力される。
【００７５】
図７は、ノイズ推定部７の他の例を示すものである。図６に示す構成では、図５に示したノイズ特性をＹノイズルックアップテーブル５１、Ｃｒノイズルックアップテーブル５２、及びＣｂノイズルックアップテーブル５３に格納して、入力画素輝度信号レベルに対するノイズ値を求めるようにしている。これに対して、図７に示す構成では、直線近似を行うようにしている。
【００７６】
図７において、Ｙノイズパラメータレジスタ６１には、図５の特性Ａ１１に基づいて、入力画素輝度信号レベルに対する輝度信号Ｙのノイズ値を直線近似するためのパラメータが格納されている。Ｃｒノイズパラメータレジスタ６２には、図５の特性Ａ１２に基づいて、入力画素輝度信号レベルに対する色差信号Ｃｒのノイズ値を直線近似するためのパラメータが格納されている。Ｃｂノイズパラメータレジスタ６３には、図５の特性Ａ１３に基づいて、入力画素輝度信号レベルに対する色差信号Ｃｂのノイズ値を直線近似するためのパラメータが格納されている。これらのパラメータは、図５に示したノイズ特性曲線をいくつかに分割し、その分割点から得られる。
【００７７】
Ｙノイズパラメータレジスタ６１、Ｃｒノイズパラメータレジスタ６２、及びＣｂノイズパラメータレジスタ６３からのパラメータがセレクタ６５に供給される。セレクタ６５には、コントローラ１３からの輝度／色差選択信号が供給される。この輝度／色差選択信号により、セレクタ６５が切り換えられる。セレクタ６５により、輝度Ｙのノイズ値を求めるためのパラメータと、色差Ｃｒのノイズ値を求めるためのパラメータと、色差Ｃｂのノイズ値を求めるためのパラメータとが選択的に直線近似演算部６６に供給される。
【００７８】
また、直線近似演算部６６には、入力端子６０からの輝度信号の平均値ＡＶｙが供給される。直線近似演算部６６で、入力輝度平均値に対する輝度Ｙのノイズ値、色差Ｃｒのノイズ値、色差Ｃｂのノイズ値が直線近似による線形補間演算により算出される。算出されたノイズ値がノイズ評価値として出力端子６７から出力される。
【００７９】
なお、ここまでの説明においては、格納されているノイズ特性は、ある特定の条件下で測定した静的な特性としているが、これに限るわけではない。例えば、撮像素子の温度や、露光時間、あるいはアナログ回路におけるゲイン値などの、コントローラ１３から出力される動的なパラメータを参照し、静的な特性に対し補正を加える補正手段を追加することも可能である。このような動的なパラメータは、コントローラ１３からノイズ推定部７に送られる。
【００８０】
ここで、表４に動的なパラメータと発生するショットノイズ量の関係を示す。ショットノイズ量の「多い」「少ない」は、格納されているノイズ量に対する相対的な値である。したがって、ノイズ推定部７では、格納されているノイズ特性に対し、これらの動的パラメータに応じたゲインを乗算する、又は加減算するなどの補正手段を追加し、ノイズ評価値を補正すれば良い。
【００８１】
【表４】
2006309524.tif 000007
【００８２】
図１に戻り、輝度平均値算出部５で求められた輝度信号の平均値ＡＶｙ及び色差平均値算出部６で求められた色差信号の平均値ＡＶｃはセレクタ８に送られる。セレクタ８にはコントローラ１３から出力される輝度／色差選択信号が送られる。セレクタ８からは、コントローラ１３から出力される輝度／色差選択信号を基に、輝度信号の平均値ＡＶｙと色差信号の平均値ＡＶｃとのうちの一方を選択し、平均値ＡＶとしてノイズ低減部９に出力する。
【００８３】
輝度／色差選択信号は、ブロックの左肩の画素の色により、表５に示すように決められる。ブロックの左肩の画素の色がＲの場合（図３（Ａ））には、セレクタ８はポート８ｂ側に設定され、色差信号Ｃｒの平均値ＡＶｃが平均値ＡＶとして出力される。ブロックの左肩の画素の色がＧｒの場合（図３（Ｂ））とＧｂの場合（図３（Ｃ））には、セレクタ８はポート８ａ側に設定され、セレクタ８からは、輝度信号の平均値ＡＶｙが平均値ＡＶとして出力される。ブロックの左肩の画素の色Ｂの場合（図３（Ｄ））には、セレクタ８はポート８ｂ側に設定され、色差信号Ｃｂの平均値ＡＶｃが平均値ＡＶとして出力される。
【００８４】
【表５】
2006309524.tif 000008
【００８５】
ノイズ低減部９には、セレクタ４からの着目画素Ｓと、セレクタ８からの平均値ＡＶと、ノイズ推定部７からのノイズ評価値Ｎが供給される。着目画素Ｓ、平均値ＡＶ、ノイズ評価値Ｎは、ブロックの左肩の画素の色がＲのとき（図３（Ａ））と、Ｇｒのとき（図３（Ｂ））と、Ｇｂのとき（図３（Ｃ））とＢのとき（図３（Ｄ）に応じて、表６に示すような信号となっている。
【００８６】
【表６】
2006309524.tif 000009
【００８７】
すなわち、ブロックの左肩の画素の色がＲのときには、セレクタ４からの着目画素Ｓは（ｐ×ｑ）のデータ配列の中心の位置にある色差信号Ｃｒであり、セレクタ８からの平均値ＡＶは色差信号Ｃｒの平均値であり、ノイズ推定部７からのノイズ評価値Ｎは、色差Ｃｒのノイズ値である。ブロックの左肩の画素の色がＧｒのときとＧｂのときには、セレクタ４からの着目画素Ｓは（ｐ×ｑ）のデータ配列の中心の位置にある輝度信号Ｙであり、セレクタ８からの平均値ＡＶは輝度信号Ｙの平均値であり、ノイズ推定部７からのノイズ評価値Ｎは、輝度Ｙのノイズ値である。ブロックの左肩の画素の色がＢのときには、セレクタ４からの着目画素Ｓは（ｐ×ｑ）のデータ配列の中心の位置にある色差信号Ｃｂであり、セレクタ８からの平均値ＡＶは色差信号Ｃｂの平均値であり、ノイズ推定部７からのノイズ評価値Ｎは、色差Ｃｂのノイズ値である。
【００８８】
ノイズ低減部９では、着目画素Ｓをノイズ低減処理すべきかどうかの判定をし、ノイズ低減すべきと判定されたものについてはノイズ低減を行い、ノイズ低減後の信号Ｓａを出力する。
【００８９】
先ず、着目画素Ｓに対し、以下の２つの判定を行う。
（Ａ）着目画素Ｓ信号レベル＜（平均値ＡＶ＋ノイズ評価値Ｎ）
（Ｂ）着目画素Ｓ信号レベル＞（平均値ＡＶ−ノイズ評価値Ｎ）
【００９０】
この２つの判定の意味するところは以下の通りである。複数の画素を平均化すると、ローパスフィルタとなり、高周波信号が除去される。よって、判定式右辺の平均値ＡＶは、ランダムノイズのような高周波信号が除去された信号、すなわち、ノイズの含まれない信号と見なすことができる。また、ノイズ評価値Ｎは、撮像素子の出力が平均値信号レベルのときに発生するショットノイズ評価値である。
【００９１】
したがって、判定式（Ａ）の（平均値ＡＶ＋ノイズ評価値Ｎ）は、着目画素にノイズが含まれていた場合の画素レベルの上限値ということができる。つまり、判定式（Ａ）の判定結果が真、すなわち着目画素Ｓが（平均値ＡＶ＋ノイズ評価値Ｎ）より小さい場合、着目画素にはショットノイズ成分が含まれているが、平坦な画像であることを示す。逆に偽の場合には、ノイズも含まれているかもしれないが、着目画素は例えば被写体のエッジ部などのノイズ評価値より大きなレベル変動部分にあるということを示している。
【００９２】
これと同様に、判定式（Ｂ）の判定は、真であればノイズが含まれるが平坦な画像であり、偽であれば大きなレベル変動部分にあるということを示す。
【００９３】
この２つの判定結果の論理積をとった結果をＰとすると、
Ｐが真のとき：着目画素はノイズ成分を含んでおり、かつ画像の平坦部にある。
Ｐが偽のとき：着目画素はノイズ成分を含んでおり、かつ画像のエッジ部にある。
ということを表す。
【００９４】
次にノイズ低減部９では、上記判定結果Ｐを元に、平均値信号と着目画素信号のどちらか一方を選択し出力する。
【００９５】
Ｐが真のとき：ノイズが含まれ平坦部であるのだから、平均値ＡＶを選択し、ノイズ低減を図る。
Ｐが偽のとき：ノイズが含まれているが、平均値信号を出力するとローパス効果によりエッジ部が鈍ってしまうため、着目画素Ｓを選択し、画質の低下を防ぐ。
【００９６】
このように、Ｐが真である場合には、平坦部でノイズが含まれているので、平均値ＡＶを出力することにより、ノイズ成分が除去できる。平坦部であるから、平均値信号により高周波成分を除去しても、画質の低下とならない。Ｐが偽の場合には、エッジが含まれているので、着目画素Ｓを出力し、高周波成分が除去され、エッジが鈍ってしまうことが防止される。このようにして処理された信号がノイズ低減部９の出力信号Ｓａとなる。
【００９７】
このような判定を行うことにより、画像中のレベル変動がノイズによるものなのか、被写体のレベル変動によるものなのかを正確に区別することができ、結果として精度の良いノイズ低減処理を行うことが可能となる。なお、本実施の形態においてはノイズ低減処理の出力信号として平均値信号と着目画素信号の何れか一方を出力するような構成としたが、これに限るわけではなく、予め測定した撮像素子のノイズ特性を元にノイズ低減する構成であればどのような方法を用いても良い。
【００９８】
例えば上述の例では、画像のエッジ部周辺において、エッジ部は着目画素Ｓ、エッジ部から少し離れた平坦部では平均値ＡＶが出力されることになるため、出力レベルが急激に変化することになる。これが原因でエッジ部周辺が不自然な印象を与えることになる可能性がある。
【００９９】
そこで、着目画素Ｓを出力する代わりに、（着目画素Ｓ信号レベル＞（平均値ＡＶ＋ノイズ評価値Ｎ））のときは、（着目画素Ｓ信号レベル−ノイズ評価値Ｎ）を出力し、（着目画素Ｓ信号レベル＜（平均値ＡＶ−ノイズ評価値Ｎ））のときは（着目画素Ｓ信号レベル＋ノイズ評価値Ｎ）を出力するようにし、着目画素Ｓと平均値ＡＶの信号レベルの連続性を持たせるという方法も考えられる。このような処理をすることによりエッジ部の信号レベルは平均値ＡＶに近づくため、エッジ部においてより自然な画像とすることができる。
【０１００】
以上の処理により、ノイズ低減された輝度信号又は色差信号が生成される。（１０×１０）のＲＧＢデータエリアを１画素づつ移動させて同様の処理を行うことで、１フレーム分のノイズ低減された輝度・色差信号が生成されることになる。
【０１０１】
ノイズ低減部９でノイズ低減処理された画像データは、データ生成部１０に送られる。データ生成部１０で、ノイズ除去された輝度・色差信号の二次元画像データが生成される。そして、データ生成部１０からの二次元画像データがデータ変換部１１に送られ、データ変換部１１で、輝度・色差の画像データから、Ｒ、Ｇｒ、Ｇｂ、Ｂのベイヤーデータに変換される。
【０１０２】
つまり、先ず、データ生成部１０において、１画素ずつ入力される輝度・色差信号から（２×２）の二次元データ、すなわち２つのＹ信号（Ｙ１とＹ２）と、２つのＣ信号（ＣｒとＣｂ）が生成される。次にデータ変換部１１において、２つのＹ信号及びＣ信号からノイズ低減後のＲ、Ｇｒ、Ｇｂ、Ｂ信号が生成される。
【０１０３】
Ｙ、Ｃｒ、Ｃｂ信号から、Ｒ、Ｇｒ、Ｇｂ、Ｂ信号への変換は、輝度・色差生成部３で用いた式の逆変換式が用いられる。例えば、数１で輝度・色差変換をした場合、ＲＧＢ信号への逆変換式は数２のようになる。
【０１０４】
【数２】
2006309524.tif 000010
【０１０５】
データ変換部１１からは、これら４つの信号のうち１つが選択されて出力される。選択される信号は、データ生成部１０において生成された（２×２）輝度・色差データのブロックの左肩の画素の色によって異なる。この関係を表７に示す。
【０１０６】
【表７】
2006309524.tif 000011
【０１０７】
但し、（２×２）のブロックの左肩の信号の種類は、表２で示したように、入力ＲＧＢデータの並びと１対１で関係づけられるため、図１のブロック図ではデータ変換部１１の切り換え信号として輝度／色差選択信号を用いている。
【０１０８】
図８は、ノイズ低減後の画像データを示すものである。図８（Ａ）に示すような入力Ｒ、Ｇｒ、Ｇｂ、Ｂのベイヤー配列の画像データからは、図８（Ｂ）に示すようなノイズ低減後のＹ（Ｙ１、Ｙ２）、Ｃｒ、Ｃｂからなる輝度・色差データが得られる。図８（Ｂ）に示すように、ノイズ低減後の輝度・色差信号の並びは、入力ＲＧＢデータに対し、縦方向及び横方向それぞれに半画素ずれた位置に生成される。但し、この図では平均値算出時に画像周辺が無効な画像データとなることは無視している。
【０１０９】
このノイズ低減後の輝度・色差の画像データを、Ｒ、Ｇｒ、Ｇｂ、Ｂのベイヤー配列のデータに変換すると、更に、縦方向及び横方向それぞれに半画素ずれた位置に生成される。よって、図８（Ｃ）が示すように、ノイズ低減後のベイヤー配列の画像データの並びは、入力されたベイヤー配列の画像データと同じ並びとなる。
【０１１０】
これにより、仮にセレクタ１２において、撮像素子１からの信号を選択した場合、すなわち本ノイズリダクションの機能をオフにした場合であっても、後段にあるその他の画像処理部１４の入力データフォーマットは変わることがないため、機能のオンオフの制御が容易となる。次に、その他の画像処理部１４において、色補正処理や解像度補償処理等、その他の画像処理が行われる。
【０１１１】
本実施例におけるその他の画像処理部１４は、ＲＧＢベイヤー配列の画像データを入力信号とすることを前提としているため、データ変換部１１でＲＧＢベイヤーデータを生成したが、輝度・色差データを入力とするのであれば、ノイズ低減部９から出力されるノイズ低減後の輝度・色差信号（信号Ｓａ）を図１のブロックの出力信号としてもかまわない。
【０１１２】
以上のような構成でノイズ低減処理を行うことにより、被写体のエッジを保存したまま輝度及び色差信号のノイズを効果的に低減することが可能となる。
【０１１３】
図９は、本発明の処理をフローチャートで表したものである。図９において、先ず、画像入力ステップＳ２１においてディジタル画像データを読み込む。これは、例えば予め撮像素子によって撮像されたディジタル画像データがコンピュータ上のメモリに保存されているような場合に、そのメモリから画像を読み出すステップである。
【０１１４】
次に、データ生成ステップＳ２２で（ｍ×ｎ）画素の二次元画像データを切り出す。次に輝度・色差信号生成ステップＳ２３では、（ｍ×ｎ）画素の二次元データから（ｐ×ｑ）個の輝度信号と色差信号を算出する。
【０１１５】
平均値算出ステップＳ２４ではこの（ｐ×ｑ）画素の輝度信号及び色差信号のうち、（ｐ×ｑ）値以下（（ｐ×ｑ）個を含む）のデータを用いて輝度信号の平均値ＡＶｙ及び、色差信号の平均値ＡＶｃを算出する。使用するデータ数を決める方法は前述した通りである。
【０１１６】
次に、ノイズ評価値推定ステップＳ２５において、輝度信号の平均値ＡＶｙを基に、前述の実施の形態と同様の動作により、輝度・色差信号のノイズ評価値Ｎを算出する。
【０１１７】
次にノイズ判定ステップＳ２６では、着目画素Ｓレベル〈（平均値ＡＶ＋ノイズ評価値Ｎ）の判定を行う。ここで、平均値ＡＶは着目画素Ｓが輝度信号の場合は平均値ＡＶｙであり、色差信号の場合は平均値ＡＶｃである。
【０１１８】
この判定結果がＹｅｓ、すなわち着目画素Ｓレベルが（平均値ＡＶ＋ノイズ評価値Ｎ）より小さい場合は、ノイズ判定ステップＳ２７に進む。判定結果がＮｏ、すなわち着目画素Ｓレベルが（平均値ＡＶ＋ノイズ評価値Ｎ）より大きい場合、着目画素Ｓはエッジ部にあると判断し、次のステップＳ２８にてノイズ低減後の信号Ｓａとして着目画素Ｓを出力する。
【０１１９】
次にノイズ判定ステップＳ２７では、（着目画素Ｓレベル＞（平均値ＡＶ−ノイズ評価値Ｎ））の判定を行い、判定結果がＹｅｓ、すなわち着目画素Ｓレベルが（平均値ＡＶ−ノイズ評価値Ｎ）より大きい場合は、着目画素Ｓレベルは、
（平均値ＡＶ＋ノイズ評価値Ｎ）＞着目画素Ｓレベル＞（平均値ＡＶ−ノイズ評価値Ｎ）
であるから、画像のエッジ部にないと判断し、次のステップＳ２９にてノイズ低減後の信号Ｓａとして平均値ＡＶを出力する。
【０１２０】
判定結果がＮｏ、すなわち着目画素Ｓレベルが（平均値ＡＶ−ノイズ評価値Ｎ）より小さい場合は、着目画素はエッジ部にあると判断し、ステップＳ２８においてノイズ低減後の信号Ｓａとして着目画素Ｓを出力する。
【０１２１】
次にデータ生成ステップＳ３０では、ノイズ低減後の輝度又は色差信号を（２×２）の信号に変換する。ステップＳ３１では（２×２）の輝度・色差信号を、入力画像データと同じ色空間の信号へ変換する。その後、ステップＳ３２において他の画像処理が行われる。
【０１２２】
本発明は、上述のフローチャートにおける各処理をプログラムによって構成し、コンピュータを用いてソフトウェアで実現することが可能である。
【０１２３】
図１０は、本発明を電子カメラに応用したブロック構成図である。図１０において、３０はレンズ、３１は撮像素子、３２は画像データを保存するための画像メモリ、３３はノイズ低減を行うノイズリダクション部、３４はノイズ低減以外の画像処理、例えば色補正や明るさ補正、解像度補償処理等を行う画像処理部、３５は画像をＪＰＥＧ(Joint Photographic Experts Group)圧縮するＪＰＥＧ圧縮部、３６は画像をメモリカード等に記録する画像記録部である。
【０１２４】
次に、図１０のブロック構成図の動作について説明する。レンズ３０によって撮像素子３１に結像した被写体像は、撮像素子３１によって光電変換され、Ａ／Ｄ変換（図示せず）された後、画像メモリ３２に蓄えられる。画像メモリ３２から読み出された画像データは、ノイズリダクション部３３に送られる。ノイズリダクション部３３としては、図１でノイズリダクション部１５として示したものが用いられる。このノイズリダクション部３３により、前述したようにノイズ低減処理が行われる。そして、ノイズリダクション部３３からの画像データは、画像処理部３４に送られ、画像処理部３４において様々な画像処理が施される。その後、ＪＰＥＧ圧縮部３５によって画像圧縮され、画像記録部３６にて記録される。
【０１２５】
以上のような構成とすることで、ノイズが低減された高画質な画像を得る電子カメラを実現することができる。
【０１２６】
図１１は、本発明をスキャナに応用したブロック構成図である。図１１において、４１は１方向に画素が並んだ撮像素子、４２は画像データを保存するための画像メモリ、４３はノイズ低減を行うノイズリダクション部、４４は画像を外部に転送する画像転送部である。
【０１２７】
次に、図１１のブロック構成図の動作について説明する。撮像素子４１が一方向に移動することによってスキャンされた画像データは、Ａ／Ｄ変換（図示せず）された後、画像メモリ４２に蓄えられる。画像メモリ４２から読み出された画像データは、ノイズリダクション部４３に送られる。ノイズリダクション部４３としては、図１でノイズリダクション部１５として示したような構成のものが用いられる。このノイズリダクション部４３により、前述したようにノイズ低減処理が行われる。そして、ノイズリダクション部４３からの画像データは、画像転送部４４に送られ、外部に転送される。
【０１２８】
以上のような構成とすることで、ノイズが低減された高画質な画像を得るスキャナを実現することができる。
【０１２９】
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【産業上の利用可能性】
【０１３０】
本発明は、電子カメラやスキャナ等、撮像素子を用いた電子機器で、撮像素子からの撮像信号に生じるノイズを低減するのに用いることができる。
【図面の簡単な説明】
【０１３１】
【図１】本発明の一実施形態のブロック図である。
【図２】入力画像信号のデータ変換の説明図である。
【図３】撮像素子からの入力画素配列の説明図である。
【図４】入力画素輝度信号レベルと各色毎のショットノイズとの関係を示すグラフである。
【図５】入力画素輝度信号レベルと輝度及び色差信号のショットノイズとの関係を示すグラフである。
【図６】本発明の一実施形態におけるノイズ推定部の一例のブロック図である。
【図７】本発明の一実施形態におけるノイズ推定部の他の例のブロック図である。
【図８】出力画像信号のデータ変換の説明図である。
【図９】本発明をソフトウェアで実現した場合の処理を示したフローチャートである。
【図１０】本発明が適用された電子カメラの一例のブロック図である。
【図１１】本発明が適用されたスキャナの一例のブロック図である。
【符号の説明】
【０１３２】
１  撮像素子
２  データ生成部
３  輝度・色差生成部
４  セレクタ
５  輝度平均値算出部
６  色差平均値算出部
７  ノイズ推定部
８  セレクタ
９  ノイズ低減部
１０  データ生成部
１１  データ変換部
１２  セレクタ
１３  コントローラ
１４  画像処理部
１５  ノイズリダクション部
５１〜５３  ルックアップテーブル
６１〜６３  レジスタ
６６  直線近似演算部
【図１】
2006309524.tif 000012
【図２】
2006309524.tif 000013
【図３】
2006309524.tif 000014
【図４】
2006309524.tif 000015
【図５】
2006309524.tif 000016
【図６】
2006309524.tif 000017
【図７】
2006309524.tif 000018
【図８】
2006309524.tif 000019
【図９】
2006309524.tif 000020
【図１０】
2006309524.tif 000021
【図１１】
2006309524.tif 000022