(57)【要約】【課題】  撮像素子に起因するノイズを正確に低減することができるようにする。【解決手段】  撮像素子１からの信号に対して、黒レベル補正部２により暗電流ノイズを除去した後に、ノイズ低減部３によりノイズ低減処理を行ってショットノイズの除去を行い、それからホワイトバランス補正部４によりホワイトバランス補正を行うようにする。このような構成でノイズ低減処理を行うと、黒レベル補正後かつホワイトバランス乗算前にノイズ低減するため、正確なノイズ低減をすることが可能となる。【選択図】        図１
2006041687.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正部と、
黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減部と、
ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理部とを有する画像処理装置。
【請求項２】
前記ノイズ低減部は、前記撮像素子のノイズ特性を格納したノイズ値算出部を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ゲイン乗算処理部は、ホワイトバランス補正を行うホワイトバランス補正部であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正ステップと、
黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減ステップと、
ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理ステップとを有する画像処理方法。
【請求項５】
コンピュータに、撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正ステップ、
黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減ステップ、
ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理ステップを実行させることを特徴とする画像処理プログラム。
【請求項６】
レンズを介して入射した光を電気信号に変換する撮像素子と、
撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正部と、黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減部と、ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理部とを有する画像処理装置と、
前記画像処理装置からの出力信号を所定のフォーマットに変換して外部に出力する外部出力部を備えた電子カメラ。
【請求項７】
１方向に画素が並んだ撮像素子と、
撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正部と、黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減部と、ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理部とを有する画像処理装置と、
前記画像処理装置からの出力信号を所定のフォーマットに変換して外部に出力する外部出力部を備えたスキャナ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、及びその応用装置である電子カメラ、及びスキャナに関し、特に画像の黒レベル補正、ノイズ低減、及びゲイン乗算処理、例えば、ホワイトバランス補正を行う画像処理装置、画像処理方法、画像処理プログラム、及びその応用装置に関する。
【背景技術】
【０００２】
ＣＣＤ(Charge Coupled Device)等の撮像素子から得られる画像信号をディジタル画像処理によって高画質化する画像処理装置において、高画質化処理の一つに、画像中に含まれるノイズを低減するノイズ低減処理がある。
【０００３】
画像に含まれるノイズの発生原因は様々あるが、その中でも特に撮像素子に起因するノイズの影響が大きい。この撮像素子で発生したノイズ成分は、後の画像処理の、例えばエッジ強調処理や階調変換処理等で増幅される可能性があるため、ノイズ低減処理は画像処理の早い段階で行われることが多い。
【０００４】
例えば、特許文献１では、入力画像データに対し黒レベル補正及びホワイトバランス補正の少なくとも一方の補正処理を行った後にノイズ低減処理を行い、その後、様々な画像処理を行うノイズ低減装置が開示されている。
【０００５】
具体的には、特許文献１には、図１３に示すように、撮像素子１０１からの入力画像データに対し、黒レベル補正部１０２で黒レベル補正を行い、ホワイトバランス補正部１０３でホワイトバランス補正を行った後に、ノイズ低減部１０４でノイズ低減処理を行い、その後、他の画像処理部１０５で様々な画像処理を行うといった形態が開示されている。このように、ノイズの性質が変わらない早い段階でノイズを低減しているので、より効果的にノイズ低減することが可能とされている。
【０００６】
ところで、撮像素子に起因するノイズ成分の中で主なものは、暗電流ノイズとショットノイズである。暗電流ノイズは撮像素子が受光しなくても発生する熱によるノイズである。暗電流ノイズは画像の場所によらずほぼ一定量であり、暗電流ノイズは本来あるべき被写体の画像に加算される。このため、暗電流ノイズが発生すると、画像全体の明度が上がり、特に画像の黒レベルが０にならない"黒浮き"と呼ばれる不具合が発生する。
【０００７】
一方、ショットノイズは光電変換時に起こる確率的な揺らぎにより発生するものであるため、画像中のランダムノイズとなって現れる。また、この揺らぎの量は光量子の個数の平方根に比例するため、ショットノイズ自体の量は、光量子が多くなればなるほど、即ち撮像素子に入射する光量が多いほど、大きくなる。例えば入射光量が１００のときの画像信号出力レベル値を１００とすると、レベル１０のショットノイズが発生する可能性があるため、画像信号の出力レベル値は９０〜１１０の間で変動する。入射光量が１００００のときは、ショットノイズ値は１００となり、出力レベル値は９９００〜１０１００の間で変動する。
【０００８】
一般的には、暗電流ノイズを低減するよりもショットノイズを低減させることの方が難しく、またショットノイズは暗電流ノイズよりも大きいため、ショットノイズは画像に対して最も大きな影響を及ぼすノイズ成分となる。
【０００９】
ショットノイズは光量子数と関係するので、光の強度以外にも撮像素子の１画素あたりの面積によっても発生量は変わるし、また、撮像素子の光電変換特性やカラーフィルタの特性によっても変わる。即ち、ショットノイズの量は撮像素子毎に異なる値であり、一意に決まるものではない。
【００１０】
図１４は本願発明者らが測定した、ある撮像素子のカラーフィルタ毎の入射光量に対するショットノイズ量の関係である。図１４において、横軸は画素信号レベルを示し、縦軸はショットノイズ値を示す。図１４に示す特性から分かるように、ショットノイズ値は入射光量、即ち画像信号レベルが高くなるほど大きくなり、また、ショットノイズ値は、ＲＧＢカラーフィルタ毎に特性は異なる。
【００１１】
従って、撮像素子に起因するノイズを低減する場合、図１４に示すような撮像素子及びカラーフィルタの入射光量の変化に対するショットノイズの変化の特性を予め測定しておき、この特性に基づきショットノイズの低減処理を行うという方法が考えられる。
【特許文献１】特開２００３−１０１８１５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
ところが、図１３に示すように、従来では、ホワイトバランス補正部１０３によりホワイトバランスを行ってから、ノイズ低減部１０４でノイズ低減処理を行うようにしている。
【００１３】
ホワイトバランス補正は、Ｇ信号に対するＲ信号及びＢ信号のゲインを調整してホワイトバランスを補正するもので、図１５に示すように、Ｒ、Ｇ、Ｂ信号のそれぞれに対してゲインを乗じるゲインアンプ１１０ａ、１１０ｂ、１１０ｃが設けられる。ホワイトバランス補正を行うと、ゲインアンプ１１０ａ、１１０ｂ、１１０ｃにより、Ｒ、Ｇ、Ｂ信号のゲインが調整される。このため、ノイズ低減処理前にホワイトバランス補正を行うと、その分、ショットノイズがゲイン乗算され、ショットノイズの特性が変動する。
【００１４】
例えば、ホワイトバランス補正前にショットノイズを測定したとき、その特性が、図１６で実線で示すように、Ｒ信号及びＢ信号のノイズ値はＧ信号のノイズ値より低くなっていたとする。これに対して、ホワイトバランス補正により、Ｒ信号及びＢ信号に１以上のホワイトバランスゲインが設定されると、図１６で波線で示すように、ホワイトバランス補正後のＲ’信号及びＢ’信号のノイズ値（波線で示す）はＧ信号のノイズ値より大きくなる。
【００１５】
このように、ホワイトバランス補正を行ってからノイズ低減処理を行うと、ホワイトバランスゲインにより、ショットノイズの特性が変動する。このため、測定されたノイズ特性をそのまま用いてノイズ低減部を構成しても、確実にショットノイズ低減させることは難しい。
【００１６】
なお、測定されたノイズにホワイトバランスゲインを乗算することによってノイズ特性自体を補正するという方法も考えられるが、ショットノイズ特性は前述した通り非線形の特性を示すため、ゲインの乗算では正確な値に補正することはできない。
【００１７】
これに対して、ノイズ低減処理をする前に黒レベル補正を行わなかった場合には、ショットノイズ特性を正確に決めることができなくなるという問題が生じる。つまり、ショットノイズ特性は、原理的には、図１４に示したように、画素信号レベルが０のときはノイズ値が０になるはずである。しかしながら、黒レベル補正がされない場合は、図１７に示すように、ショットノイズ値が０になる画素信号レベルは、暗電流ノイズ値の分だけ大きくなる。暗電流ノイズは温度や露光時間によって大きく変わるため、固定値とすることができない。従って、結果として、ショットノイズ特性を正確に決めることができなくなってしまう。
【００１８】
本発明は上記課題に鑑みてなされたものであり、正確にノイズ低減をすることが可能な画像処理装置、画像処理方法、画像処理プログラム、及びその応用装置としての電子カメラ及びスキャナを提供することを目的とする。
【課題を解決するための手段】
【００１９】
上述の課題を解決するために、請求項１の発明に係わる画像処理装置は、撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正部と、黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減部と、ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理部とを有することを特徴とする。
【００２０】
請求項２の発明では、請求項１において、前記ノイズ低減部は、前記撮像素子のノイズ特性を格納したノイズ値算出部を備えたことを特徴とする。
【００２１】
請求項３の発明では、請求項１において、前記ゲイン乗算処理部は、ホワイトバランス補正を行うホワイトバランス補正部であることを特徴とする。
【００２２】
請求項４に係わる画像処理方法は、撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正ステップと、黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減ステップと、ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理ステップとを有することを特徴とする。
【００２３】
請求項５に係わる画像処理プログラムは、コンピュータに、撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正ステップ、黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減ステップ、ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理ステップを実行させることを特徴とする。
【００２４】
請求項６に係わる電子カメラは、レンズを介して入射した光を電気信号に変換する撮像素子と、撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正部と、黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減部と、ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理部とを有する画像処理装置と、前記画像処理装置からの出力信号を所定のフォーマットに変換して外部に出力する外部出力部を備えたことを特徴とする。
【００２５】
請求項７に係わるスキャナは、１方向に画素が並んだ撮像素子と、撮像素子からの画像データに対して黒レベル補正を行う黒レベル補正部と、黒レベル補正後の画像データに対して、画像データの信号レベルに応じたノイズ値を元にノイズを低減するノイズ低減部と、ノイズ低減後の画像データに対してゲイン乗算処理を行うゲイン乗算処理部とを有する画像処理装置と、前記画像処理装置からの出力信号を所定のフォーマットに変換して外部に出力する外部出力部を備えたことを特徴とする。
【発明の効果】
【００２６】
本発明によれば、黒レベル補正により暗電流ノイズを除去した後に、ノイズ低減処理を行ってショットノイズの除去を行い、それからホワイトバランス補正を行うようにしている。以上のような構成でノイズ低減処理を行うことにより、被写体のエッジを保存したままノイズ低減することが可能となる。また、黒レベル補正後かつホワイトバランス乗算前にノイズ低減するため、正確なノイズ低減をすることが可能となる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態について図面を参照しながら説明する。
第１の実施の形態．
図１は本発明の第１の実施形態に係る画像処理装置の構成を示すブロック構成図である。図１において、１は撮像素子、２は画像に含まれる暗電流成分を減算する黒レベル補正部、３は画像に含まれるショットノイズを低減するノイズ低減部、４は画像のホワイトバランスを補正するホワイトバランス補正部、５は画像の色補正や階調補正、解像度補正等を行うその他の画像処理部である。なお、実際のハードウェア構成では必要な、メモリやＣＰＵ(Central Processing Unit)やメモリコントローラ等のブロックは本発明の本質に関係ないため省略している。
【００２８】
図１において、撮像素子１で、被写体像光が光電変換される。撮像素子１としては、例えば、３原色Ｒ（赤）Ｇ（緑）Ｂ（青）のカラーフィルタがベイヤー配列されたＣＣＤ(Charge Coupled Device)撮像素子が用いられる。撮像素子１で光電変換された画像信号は、Ａ／Ｄ(Analog to Digital)変換回路（図示せず）によりディジタル信号に変換され、ディジタル画像信号となって１画素毎に黒レベル補正部２に入力される。
【００２９】
黒レベル補正部２では、撮像素子１の暗電流を検出する暗電流検出部（図示せず）から出力された黒レベルを画像データから減算することにより、画像の黒浮きが補正される。黒レベル補正部２で黒レベル補正された画像信号は、ノイズ低減部３に供給される。ノイズ低減部３において、ショットノイズの低減処理が行われる。
【００３０】
ノイズ低減部３によってノイズ低減された画像信号はホワイトバランス補正部４に供給される。ホワイトバランス補正部４において、３原色信号ＲＧＢに対してそれぞれホワイトバランスゲインが乗算され、ホワイトバランス補正が行われる。ホワイトバランス補正された画像信号は画像処理部５に送られ、画像処理部５で、色補正や階調補正他の処理を施される。
【００３１】
図２は、ノイズ低減部３の構成を示すものである。ノイズ低減部３は、図２に示すように、黒レベル補正後の画像データを（ｎ×ｍ）の２次元画像データに変換するデータ生成部１１と、２次元画像データの平均値を算出する平均値算出部１２と、撮像素子１のノイズ特性を基に画素毎のノイズ値を算出するノイズ値算出部１３と、着目画素のノイズ低減をするか否を判定するノイズ判定部１４と、ノイズ判定部１４の判定結果に基づき出力データを選択するデータ出力部１５とを有している。ノイズ値算出部１３の内部には、撮像素子１のノイズ特性が格納されている。
【００３２】
図２において、入力端子１０からの信号は、データ生成部１１に供給される。データ生成部１１では、入力された画像信号から、例えば（３×３）の２次元画像信号が生成され、この２次元配列の４隅の画像信号が出力される。
【００３３】
つまり、撮像素子１として、例えば、ベイヤー配列のものを用いた場合には、撮像素子１からは、図４に示すように、Ｒ、Ｇｒ、Ｒ、Ｇｒ、…の画素信号と、Ｇｂ、Ｂ、Ｇｂ、Ｂ…の画素画素信号とが１ライン毎に得られる。
【００３４】
このようなベイヤー配列の画素から（３×３）の２次元画素信号を生成すると、図５（Ａ）に示すような画素配列のパターンになる場合と、図６（Ａ）に示すような画素配列のパターンになる場合と、図７（Ａ）に示すような画素配列のパターンになる場合と、図８（Ａ）に示すような画素配列のパターンになる場合とがある。
【００３５】
図５（Ａ）に示すような画素配列のパターンになる場合に、４隅にある４個の画素の画素信号が出力させると、図５（Ｂ）に示すように、４個のＲ（赤）の画素信号を得ることができる。図６（Ａ）に示すような画素配列のパターンになる場合に、４隅にある４個の画素の画素信号が出力させると、図６（Ｂ）に示すように、４個のＧｒ（赤列の緑）の画素信号を得ることができる。図７（Ａ）に示すような画素配列のパターンになる場合に、４隅にある４個の画素の画素信号が出力させると、図７（Ｂ）に示すように、４個のＧｂ（青列の緑）の画素信号を得ることができる。図８（Ａ）に示すような画素配列のパターンになる場合に、４隅にある４個の画素の画素信号が出力させると、図８（Ｂ）に示すように、４個のＢ（青）の画素信号を得ることができる。
【００３６】
図２において、データ生成部１１の出力は、平均値算出部１２に送られる。平均値算出部１２で、データ生成部１１から出力された４画素の平均値信号が算出される。
【００３７】
ただし、本実施の形態においてはデータ生成部１１が４画素を出力する形態のため、平均値算出部１２では４画素の単純平均を算出するが、データ生成部１１は任意の画素数の同色画素を出力することも可能であり、その場合の平均値算出は単純平均ではなく、重み付け平均値を算出するようにしても良い。
【００３８】
平均値算出部１２の出力は、データ出力部１５に供給されると共に、ノイズ値算出部１３に供給される。ノイズ値算出部１３は、平均値算出部１２からの平均値信号を基にノイズ値を算出する。
【００３９】
ここで、ノイズ値算出部１３に格納されている撮像素子１のノイズ特性は、画像信号レベルに対するショットノイズ値を予め実験により求められたものを元に作成される。例えば、画像信号レベルに対するショットノイズ値として、図３に示すような特性が得られたとすると、この特性から、画像信号の平均値を入力とし、ショットノイズ値（ノイズ値）を出力とするルックアップテーブルが作成され、このルックアップテーブルがノイズ値算出部１３に設けられる。
【００４０】
図３において、横軸は画素信号レベルを示し、縦軸はノイズ値を示す。ここで、図３に示したノイズ特性は、画素信号値が０のときはノイズ値が０となっているが、これはノイズ低減処理をする前に黒レベル補正が行われているためである。このショットノイズは、ＲＧＢカラーフィルタ毎に特性は異なるので、ノイズ値算出部１３には、Ｒ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素毎に、画像信号レベルに対するノイズ値を出力するルックアップテーブルが設けられる。
【００４１】
なお、上述の例では、ノイズ値算出部１３は、ルックアップテーブルにより画素信号レベルからノイズ値を求めるようにしているが、ルックアップテーブルを用いる方法に限られるものではない。ノイズ特性曲線をいくつかの直線に分割し、その直線のパラメータをレジスタに格納して演算によりノイズ値を求めるようにしても良い。
【００４２】
図２において、ノイズ値算出部１３で求められたノイズ値は、ノイズ判定部１４に送られる。ノイズ判定部１４では、着目画素をノイズ低減処理すべきかどうかの判定を行う。
【００４３】
ノイズ判定部１４は、平均値とノイズ値とを加算する加算部１６と、平均値からノイズ値を減算する減算部１７と、平均値とノイズ値とを加算した値と着目画素の値とを比較する比較部１８と、平均値からノイズ値を減算した値と着目画素の値とを比較する比較部１９と、比較部１８の出力及び比較部１９の出力から着目画素に対してノイズ低減処理を行うかどうかの判断を行う判断部２０とを有している。ここで着目画素とは、ノイズ低減処理を行う画素のことであり、データ生成部１１から出力される４画素のうちのいずれか１画素のことを指す。
【００４４】
判断部２０では、比較部１８及び比較部１９の出力を用いて、着目画素に対してノイズ低減処理を行うかどうかを判断する。
【００４５】
即ち、判断部２０は、着目画素に対し、以下の二つの判定を行う。
（１）着目画素レベル＜（平均値＋ノイズ値）
（２）着目画素レベル＞（平均値−ノイズ値）
この二つの判定の意味するところは以下の通りである。
【００４６】
判定式右辺の平均値は、ランダムノイズのような高周波成分が除去された信号、即ち、ノイズの含まれない信号と見なすことができる。また、ノイズ値は、撮像素子の出力が平均値信号レベルのときに発生するショットノイズ値である。
【００４７】
従って、条件式（１）の（平均値＋ノイズ値）は、着目画素にノイズが含まれていた場合の画素レベルの上限値ということができる。つまり、条件式（１）の判定結果が真、即ち着目画素レベルが（平均値＋ノイズ値）より小さい場合、着目画素にはショットノイズ成分が含まれている可能性が高いということを示す。逆に偽の場合はノイズも含まれているかもしれないが、着目画素は例えば被写体のエッジ部などのノイズ値より大きなレベル変動部分にあるということを示している。
【００４８】
これと同様に、条件式（２）の判定は、真であればノイズが含まれ、偽であれば大きなレベル変動部分にあるということを示す。この二つの判定結果の論理積をとった結果をＰとすると、
Ｐが真のとき：着目画素はノイズ成分を含んでおり、かつ画像の平坦部にある。
Ｐが偽のとき：着目画素はノイズ成分を含んでおり、かつ画像のエッジ部にある。
ということを表す。
【００４９】
データ出力部１５には、平均値算出部１２からの平均値と、データ生成部１１からの着目画素の画素値が供給される。データ出力部１５は、判定結果Ｐを基に、以下のように平均値信号と着目画素信号のどちらか一方を選択して、出力端子２１から出力する。
【００５０】
Ｐが真のとき：ノイズが含まれ平坦部であるのだから、平均値信号を選択しデータ出力部１５から出力する。
Ｐが偽のとき：ノイズが含まれているが、平均値信号を出力するとローパス効果によりエッジ部が鈍ってしまうため、着目画素を選択しデータ出力部１５から出力する。
【００５１】
このような判定を行うことにより、画像中のレベル変動がノイズによるものなのか、被写体のレベル変動によるものなのかを正確に区別することができ、結果として精度の良いノイズ低減処理を行うことが可能となる。
【００５２】
なお、本実施の形態においてはノイズ低減処理の出力信号として平均値信号と着目画素信号のいずれか一方を出力するような構成としたが、これに限るわけではなく、予め測定した撮像素子のノイズ特性を元にノイズ低減する構成であればいずれの方法を用いても良い。また、撮像素子の色フィルタとしてベイヤーＲＧＢフィルタを例に取って説明したが、これに限らないことは言うまでもない。
【００５３】
以上説明したように、本実施形態では、黒レベル補正部２で暗電流ノイズを除去した後に、ノイズ低減部３で、ショットノイズの除去を行い、それからホワイトバランス補正部４でホワイトバランス補正を行うようにしている。以上のような構成でノイズ低減処理を行うことにより、被写体のエッジを保存したままノイズ低減することが可能となる。また、黒レベル補正後かつホワイトバランス乗算前にノイズ低減するため、正確なノイズ低減をすることが可能となる。
【００５４】
第２の実施の形態．
図９は本発明の第２実施形態を示すものである。この実施形態は、上述の第１実施形態の処理をソフトウェアで示したものである。図９のフローチャートにおいて、まず、画像入力ステップＳ１においてディジタル画像データを読み込む。これは、例えば予め撮像素子によって撮像されたディジタル画像データがコンピュータ上のメモリに保存されているような場合に、そのメモリから画像を読み出すステップである。
【００５５】
次に黒レベル補正ステップＳ２では第１の実施の形態と同様の動作によって画像の黒浮きを補正する。
【００５６】
次にノイズ低減ステップＳ３においてショットノイズの低減処理が行われる。ノイズ低減ステップＳ３によってノイズ低減された画像信号は、ホワイトバランス補正ステップＳ４においてＲＧＢ別にホワイトバランスゲインを乗算される。このとき既に各ＲＧＢ信号はノイズ低減されているためゲイン乗算されてもノイズ成分は増加しない。
【００５７】
ホワイトバランス補正された画像信号は他の画像処理ステップＳ５にて色補正や階調補正他種々の処理を施される。
【００５８】
図１０は、ノイズ低減ステップＳ３での処理を示すものである。ノイズ低減ステップＳ３では、図１０に示すように、まず、データ生成ステップＳ１１では例えば（３×３）画素の２次元画像データを切り出し、そのうちの４隅の４画素を出力する。次に平均値算出ステップＳ１２ではこの４画素の平均値を算出する。次に、ノイズ値算出ステップＳ１３で平均値信号を元に第１の実施形態と同様の動作によりノイズ値を算出する。
【００５９】
次に第１のノイズ判定ステップＳ１４では、着目画素レベル＜（平均値＋ノイズ値）の判定を行う。この判定結果がＹｅｓ、即ち着目画素レベルが（平均値＋ノイズ値）より小さい場合は、次の第２のノイズ判定ステップＳ１５に進む。判定結果がＮｏ、即ち着目画素レベルが（平均値＋ノイズ値）より大きい場合には、着目画素はエッジ部であると判断し、着目画素を出力する（ステップＳ１６）。
【００６０】
次に第２のノイズ判定ステップＳ１５では、着目画素レベル＞（平均値−ノイズ値）の判定を行い、判定結果がＹｅｓ、即ち（着目画素レベルが平均値−ノイズ値）より大きい場合は、着目画素レベルは（平均値＋ノイズ値）＞着目画素レベル＞（平均値−ノイズ値）であるから、画像のエッジ部にないと判断し、平均値を出力する（ステップＳ１７）。判定結果がＮｏ、即ち着目画素レベルが平均値−ノイズ値より小さい場合は、着目画素はエッジ部であると判断し着目画素を出力する（ステップＳ１６）。
【００６１】
なお、このフローチャートにおける各処理をプログラムによって構成し、本発明をコンピュータを用いてソフト的に実行することも勿論可能である。
【００６２】
第３の実施の形態．
次に、本発明の第３の実施の形態について説明する。図１１は、本発明の第３の実施形態を示すものである。この実施形態は、第１の実施の形態を電子カメラに応用したものである。
【００６３】
図１１において、５１は光学系、５２は撮像素子である。撮像素子５２としてはＣＣＤ撮像素子が用いられる。光学系５１を介された被写体像は、撮像素子１の受光面に結像され、撮像素子５２によりこの被写体像が光電変換される。撮像素子５２で光電変換された画像信号は、Ａ／Ｄ変換回路（図示せず）によりディジタル信号に変換され、画像メモリ５３に保存される。
【００６４】
画像メモリ５３から読み出された画像信号は、黒レベル補正部５４に供給される。黒レベル補正部５４で、撮像素子５２の暗電流を検出する暗電流検出部から出力された黒レベルを画像データから減算することにより、画像の黒浮きが補正される。黒レベル補正部５４で黒レベル補正された画像信号は、ノイズ低減部５５に供給される。ノイズ低減部５５において、ショットノイズの低減処理が行われる。
【００６５】
ノイズ低減部５５によってノイズ低減された画像信号はホワイトバランス補正部５６に供給される。ホワイトバランス補正部５６おいて、３原色信号ＲＧＢに対してそれぞれホワイトバランスゲインが乗算され、ホワイトバランス補正が行われる。ホワイトバランス補正された画像信号は画像処理部５７に送られ、画像処理部５７で、色補正や階調補正他の処理を施される。そして、ＪＰＥＧ(Joint Photographic Experts Group)圧縮部５８によって画像圧縮され、画像記録部５９にて記録される。
【００６６】
以上のような構成とすることで、ノイズが低減された高画質な画像を得る電子カメラを実現することができる。
【００６７】
第４の実施の形態．
次に、本発明の第４の実施の形態について説明する。図１２は、本発明の第４の実施形態を示すものである。この実施形態は、第１の実施の形態をスキャナに応用したものである。
【００６８】
図１２において、６０は原稿台、６１は１方向に画素が並んだ撮像素子である。撮像素子６１が原稿台６０に沿って移動し、画像をスキャンすることによって、原稿台６０上の画像が読み取られる。この画像データは、Ａ／Ｄ変換（図示せず）された後、画像メモリ６２に蓄えられる。
【００６９】
画像メモリ６２から読み出された画像信号は、黒レベル補正部６３に供給される。黒レベル補正部６３で、撮像素子６１の暗電流を検出する暗電流検出部から出力された黒レベルを画像データから減算することにより、画像の黒浮きが補正される。黒レベル補正部６３で黒レベル補正された画像信号は、ノイズ低減部６４に供給される。ノイズ低減部６４において、ショットノイズの低減処理が行われる。
【００７０】
ノイズ低減部６４によってノイズ低減された画像信号はホワイトバランス補正部６５に供給される。ホワイトバランス補正部６５において、３原色信号ＲＧＢに対してそれぞれホワイトバランスゲインが乗算され、ホワイトバランス補正が行われる。そして、この画像信号は、画像転送部６６によって外部に転送される。
【００７１】
以上のような構成とすることで、ノイズが低減された高画質な画像を得るスキャナを実現することができる。
【００７２】
本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【産業上の利用可能性】
【００７３】
本発明は、電子カメラやスキャナ等、撮像素子を用いた装置において、画像の黒レベル補正、ノイズ低減、及びホワイトバランス補正を行うのに利用することができる。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】本発明の第１実施形態におけるノイズ低減部の構成を示すブロック図である。
【図３】本発明の第１実施形態におけるノイズ値算出部の説明に用いるグラフである。
【図４】ベイヤー配列の撮像素子の説明図である。
【図５】データ生成部の説明図である。
【図６】データ生成部の説明図である。
【図７】データ生成部の説明図である。
【図８】データ生成部の説明図である。
【図９】本発明の第２実施形態の説明に用いるフローチャートである。
【図１０】本発明の第２実施形態におけるノイズ低減ステップの説明に用いるフローチャートである。
【図１１】本発明の第３実施形態の電子カメラの構成を示すブロック図である。
【図１２】本発明の第４実施形態のスキャナの構成を示すブロック図である。
【図１３】従来の画像処理装置の一例のブロック図である。
【図１４】ショットノイズ特性の説明に用いるグラフである。
【図１５】ホワイトバランス補正の説明に用いるブロック図である。
【図１６】ホワイトバランスゲイン乗算後のショットノイズ特性の説明に用いるグラフである。
【図１７】黒レベル補正をしない場合のショットノイズ特性の説明に用いるグラフである。
【符号の説明】
【００７５】
１  撮像素子
２  黒レベル補正部
３  ノイズ低減部
４  ホワイトバランス補正部
１１  データ生成部
１２  平均値算出部
１３  ノイズ値算出部
１４  ノイズ判定部
１５  データ出力部
【図１】
2006041687.tif 000003
【図２】
2006041687.tif 000004
【図３】
2006041687.tif 000005
【図４】
2006041687.tif 000006
【図５】
2006041687.tif 000007
【図６】
2006041687.tif 000008
【図７】
2006041687.tif 000009
【図８】
2006041687.tif 000010
【図９】
2006041687.tif 000011
【図１０】
2006041687.tif 000012
【図１１】
2006041687.tif 000013
【図１２】
2006041687.tif 000014
【図１３】
2006041687.tif 000015
【図１４】
2006041687.tif 000016
【図１５】
2006041687.tif 000017
【図１６】
2006041687.tif 000018
【図１７】
2006041687.tif 000019