(57)【要約】 【課題】  安価な構成で種々の撮像素子のノイズを低減することができる画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラム提供する。【解決手段】  代表ノイズ特性記憶部４は、基準となる撮像素子の出力信号と第１のノイズ値との対応関係を記憶しており、平均値算出部３から出力された信号の信号レベル値に対応した基準となる撮像素子の第１のノイズ値を出力する。ノイズ値補正部５は、基準となる撮像素子と撮像素子１とのノイズ特性を関係付ける所定の変数を用いて、入力された第１のノイズ値を、撮像素子１に対応した第２のノイズ値に補正する。ノイズ判定部６は着目画素のノイズ低減をするか否を判定する。データ出力部７は、ノイズ判定部６の判定結果に基づいて出力データを選択する。【選択図】    図１
2006080852.tif 000002
【特許請求の範囲】
【請求項１】
画像信号の信号レベルに応じたノイズ値を算出し、該ノイズ値に基づいて、対象となる対象撮像素子から出力される画像信号に含まれるノイズを低減する画像処理装置であって、
ある撮像素子を基準の撮像素子として、この基準撮像素子の出力信号の信号レベル値とノイズ値との対応関係を記憶すると共に、該対応関係に基づいて、前記画像信号の信号レベル値に対応した前記基準撮像素子のノイズ値を第１のノイズ値として出力するノイズ値出力手段と、
前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける所定の変数を用いて、前記第１のノイズ値を、前記対象撮像素子に対応した第２のノイズ値に補正するノイズ値補正手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記ノイズ値出力手段は、前記基準撮像素子の出力信号の信号レベル値と前記第１のノイズ値との対応関係が格納されたルックアップテーブルを具備することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ値出力手段は、
前記基準撮像素子の出力信号の複数の信号レベル値と、該信号レベル値に対応した前記第１のノイズ値との対応関係が格納されたレジスタと、
前記レジスタに格納された前記複数の信号レベル値に対応した前記第１のノイズ値を用いて補間演算することにより、任意の信号レベル値の第２のノイズ値を生成して出力するノイズ値補間回路と、
を具備することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記ノイズ値補正手段は、
前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける第１の所定値が格納された第１のレジスタと、
前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける第２の所定値が格納された第２のレジスタと、
前記第１のレジスタに格納された前記第１の所定値と、前記ノイズ値出力手段によって出力された前記第１のノイズ値とを乗算する乗算器と、
該乗算器による乗算結果に対して、前記第２のレジスタに格納された前記第２の所定値を加算する加算器、または前記第２の所定値を減算する減算器と、
を具備することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
レンズを介して入射した光を電気信号に変換する撮像素子と、
該撮像素子からの出力信号に含まれるノイズを低減する請求項１〜請求項４のいずれかの項に記載の画像処理装置と、
該画像処理装置から出力された信号を所定のフォーマットに変換して外部に出力する外部出力手段と、
を具備することを特徴とする電子カメラ。
【請求項６】
１方向に画素が並んだ撮像素子と、
該撮像素子からの出力信号に含まれるノイズを低減する請求項１〜請求項４のいずれかの項に記載の画像処理装置と、
該画像処理装置から出力された信号を所定のフォーマットに変換して外部に出力する外部出力手段と、
を具備することを特徴とするスキャナ。
【請求項７】
画像信号の信号レベルに応じたノイズ値を算出し、該ノイズ値に基づいて、対象となる対象撮像素子から出力される画像信号に含まれるノイズを低減する画像処理方法であって、
ある撮像素子を基準の撮像素子として、この基準撮像素子の出力信号の信号レベル値とノイズ値との対応関係に基づいて、前記画像信号の信号レベル値に対応した前記基準撮像素子のノイズ値を第１のノイズ値として出力するステップと、
前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける所定の変数を用いて、前記第１のノイズ値を、前記対象撮像素子に対応した前記第２のノイズ値に補正するステップと、
を具備することを特徴とする画像処理方法。
【請求項８】
画像信号の信号レベルに応じたノイズ値を算出し、該ノイズ値に基づいて、対象となる対象撮像素子から出力される前記画像信号に含まれるノイズを低減する画像処理をコンピュータに実行させるための画像処理プログラムであって、
ある撮像素子を基準の撮像素子として、この基準撮像素子の出力信号の信号レベル値とノイズ値との対応関係に基づいて、前記画像信号の信号レベル値に対応した前記基準撮像素子のノイズ値を第１のノイズ値として出力するステップと、
前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける所定の変数を用いて、前記第１のノイズ値を、前記対象撮像素子に対応した前記第２のノイズ値に補正するステップと、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号に含まれるノイズを低減する画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Device）等の撮像素子から得られる画像信号をデジタル画像処理によって高画質化する画像処理装置において、高画質化処理の１つに、画像中に含まれるノイズを低減するノイズ低減処理がある。
【０００３】
画像に含まれるノイズの発生原因は様々であるが、その中でも特に撮像素子に起因するノイズの影響が大きい。撮像素子に起因するノイズ成分の中で主なものは、暗電流ノイズとショットノイズである。暗電流ノイズは、撮像素子が受光しなくても発生する、熱によるノイズである。この暗電流ノイズは画像の場所によらずほぼ一定量であり、これが本来あるべき被写体の画像に足されるために、画像全体の明度が上がり、特に画像の黒レベルが０にならない”黒浮き”と呼ばれる不具合を引き起こす。
【０００４】
一方、ショットノイズは、光電変換時に起こる確率的な揺らぎにより発生するものであるため、画像中のランダムノイズとなって現れる。また、この揺らぎの量は光量子の個数の平方根に比例するため、ショットノイズ自体の量は光量子が多くなればなるほど、すなわち、撮像素子に入射する光量が多くなればなるほど大きくなる。例えば、入射光量が１００のときの画像信号の出力レベル値を１００とすると、レベル１０のショットノイズが発生する可能性があるため、画像信号の出力レベル値は９０〜１１０の間で変動する。入射光量が１００００のときは、ショットノイズ値は１００となり、出力レベル値は９９００〜１０１００の間で変動する。
【０００５】
一般的に、暗電流ノイズよりもショットノイズの方が低減することが難しく、またノイズレベルも大きいため、ショットノイズは、画像に対して大きな影響を及ぼすノイズ成分となる。以上で述べたように、ショットノイズは光量子数と関係するので、光の強度以外にも撮像素子の１画素あたりの面積によっても発生量は変わるし、また、撮像素子の光電変換特性やカラーフィルタの特性によっても変わる。すなわち、ショットノイズの量は撮像素子毎に異なる値であり、一意に決まるものではない。
【０００６】
図８は、発明者らが測定した、ある撮像素子のカラーフィルタ毎の入射光量に対するショットノイズ量の関係である。入射光量すなわち画像信号レベルが高くなるほどショットノイズ値は大きくなり、また、ＲＧＢカラーフィルタ毎に特性は異なる。
【０００７】
したがって、撮像素子に起因するノイズを低減する場合、撮像素子およびカラーフィルタ毎の入射光量−ショットノイズ特性を予め測定しておき、この特性に基づきショットノイズの低減処理を行うという方法が考えられる。例えば特許文献１においては、静的に与えられる定数項ａ，ｂ，ｃと、濃度値に変換した信号レベルＤとを用いて、ノイズ量Ｎを、Ｎ＝ａｂｃＤとして関数化し、この関数から信号レベルＤに対するノイズ量Ｎを推定して、推定したノイズ量Ｎに基づいて、フィルタリングの周波数特性を制御する技術が開示されている。これにより、信号レベルに対して適応的なノイズ低減処理が行われるようになっている。
【特許文献１】特開２００１−１５７０５７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところが、このようなショットノイズ特性に基づいたノイズ低減処理を、様々な撮像素子と組み合わせて使用するハードウェア（たとえばデジタルカメラ用画像処理ＬＳＩ）として実現する場合には、以下のような問題点が生じる。
【０００９】
図８に示されるような入射光−ショットノイズ特性をＬＳＩ内部に持つには、ノイズ量を関数により演算するのではなく、特性そのものをそのままメモリに格納して、画素値を入力としてノイズ値を出力するＬＵＴ（ルックアップテーブル）とするか、あるいは特性曲線の数点のみの値をレジスタに格納し、それらの間の値は補間演算により算出するという方法が考えられる。しかし、前述した通り、入射光−ショットノイズ特性は撮像素子毎に異なる値であるため、ノイズ値の最大値も撮像素子毎に異なる値となる。すなわち、様々な撮像素子に対してノイズ低減処理が可能なＬＳＩを設計する場合は、ノイズ−ショットノイズ特性を格納するためのメモリのサイズやレジスタのビット長を、想定される最大の値にしておく必要がある。
【００１０】
例えば、撮像素子Ａの最大ショットノイズ値がＮａ、撮像素子Ａとは１画素あたりの面積が異なる撮像素子Ｂの最大ショットノイズ値がＮｂであり、Ｎａ＜Ｎｂである場合、上記のノイズ低減処理回路を組み込んだＬＳＩにおいては、撮像素子Bのノイズ低減が可能となるようにメモリやレジスタが設計されていなければならず、結果として、このＬＳＩは、撮像素子Ａに対しては冗長な回路構成となってしまう。さらに、このＬＳＩの設計後にＮｂより大きなショットノイズ値を持つような撮像素子Ｃがあることが判明したとしても、撮像素子Ｃに対しては、このＬＳＩでは正確なノイズ低減処理ができないため、ＬＳＩを設計し直さなければならないことになる。
【００１１】
以上は、撮像素子毎のノイズ特性が大きく異なるときの問題点であるが、特性の違いがより小さな場合でも問題は生じる。以下、上記の撮像素子Ｂのみを使用する場合を例として説明する。撮像素子のショットノイズ特性は、撮像素子の原材料や製造過程のバラツキが原因で、１つ１つ微妙に異なる。この特性の違いは、前述した撮像素子ＡとＢの違いよりは小さなものになるが、ノイズ低減処理を全ての撮像素子Bで同じように正確に行うためには無視することはできない。
【００１２】
そのため、１つ１つ撮像素子のノイズ特性を調べ、その結果を、それぞれの撮像素子に対応するＬＳＩのメモリまたはレジスタに設定しなければならない。このノイズ特性を調べる方法の一例は、様々な明るさの被写体を撮影し、それぞれの撮影画像からショットノイズ量を算出するということであるが、これには大変な作業工数が必要となる。したがって、このノイズ低減処理回路を搭載する機器（例えばデジタルカメラ）の原価が高くなってしまうという問題がある。
【００１３】
本発明は、上述した問題点に鑑みてなされたものであって、安価な構成で種々の撮像素子のノイズを低減することができる画像処理装置、電子カメラ、スキャナ、画像処理方法、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、画像信号の信号レベルに応じたノイズ値を算出し、該ノイズ値に基づいて、対象となる対象撮像素子から出力される画像信号に含まれるノイズを低減する画像処理装置であって、ある撮像素子を基準の撮像素子として、この基準撮像素子の出力信号の信号レベル値とノイズ値との対応関係を記憶すると共に、該対応関係に基づいて、前記画像信号の信号レベル値に対応した前記基準撮像素子のノイズ値を第１のノイズ値として出力するノイズ値出力手段と、前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける所定の変数を用いて、前記第１のノイズ値を、前記対象撮像素子に対応した第２のノイズ値に補正するノイズ値補正手段とを具備することを特徴とする画像処理装置である。
【００１５】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記ノイズ値出力手段は、前記基準撮像素子の出力信号の信号レベル値と前記第１のノイズ値との対応関係が格納されたルックアップテーブルを具備することを特徴とする。
【００１６】
請求項３に記載の発明は、請求項１に記載の画像処理装置において、前記ノイズ値出力手段は、前記基準撮像素子の出力信号の複数の信号レベル値と、該信号レベル値に対応した前記第１のノイズ値との対応関係が格納されたレジスタと、前記レジスタに格納された前記複数の信号レベル値に対応した前記第１のノイズ値を用いて補間演算することにより、任意の信号レベル値の第２のノイズ値を生成して出力するノイズ値補間回路とを具備することを特徴とする。
【００１７】
請求項４に記載の発明は、請求項１に記載の画像処理装置において、前記ノイズ値補正手段は、前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける第１の所定値が格納された第１のレジスタと、前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける第２の所定値が格納された第２のレジスタと、前記第１のレジスタに格納された前記第１の所定値と、前記ノイズ値出力手段によって出力された前記第１のノイズ値とを乗算する乗算器と、該乗算器による乗算結果に対して、前記第２のレジスタに格納された前記第２の所定値を加算する加算器、または前記第２の所定値を減算する減算器とを具備することを特徴とする。
【００１８】
請求項５に記載の発明は、レンズを介して入射した光を電気信号に変換する撮像素子と、該撮像素子からの出力信号に含まれるノイズを低減する請求項１〜請求項４のいずれかの項に記載の画像処理装置と、該画像処理装置から出力された信号を所定のフォーマットに変換して外部に出力する外部出力手段とを具備することを特徴とする電子カメラである。
【００１９】
請求項６に記載の発明は、１方向に画素が並んだ撮像素子と、該撮像素子からの出力信号に含まれるノイズを低減する請求項１〜請求項４のいずれかの項に記載の画像処理装置と、該画像処理装置から出力された信号を所定のフォーマットに変換して外部に出力する外部出力手段とを具備することを特徴とするスキャナである。
【００２０】
請求項７に記載の発明は、画像信号の信号レベルに応じたノイズ値を算出し、該ノイズ値に基づいて、対象となる対象撮像素子から出力される画像信号に含まれるノイズを低減する画像処理方法であって、ある撮像素子を基準の撮像素子として、この基準撮像素子の出力信号の信号レベル値とノイズ値との対応関係に基づいて、前記画像信号の信号レベル値に対応した前記基準撮像素子のノイズ値を第１のノイズ値として出力するステップと、前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける所定の変数を用いて、前記第１のノイズ値を、前記対象撮像素子に対応した前記第２のノイズ値に補正するステップとを具備することを特徴とする画像処理方法である。
【００２１】
請求項８に記載の発明は、画像信号の信号レベルに応じたノイズ値を算出し、該ノイズ値に基づいて、対象となる対象撮像素子から出力される前記画像信号に含まれるノイズを低減する画像処理をコンピュータに実行させるための画像処理プログラムであって、ある撮像素子を基準の撮像素子として、この基準撮像素子の出力信号の信号レベル値とノイズ値との対応関係に基づいて、前記画像信号の信号レベル値に対応した前記基準撮像素子のノイズ値を第１のノイズ値として出力するステップと、前記基準撮像素子と前記対象撮像素子とのノイズ特性を関係付ける所定の変数を用いて、前記第１のノイズ値を、前記対象撮像素子に対応した前記第２のノイズ値に補正するステップとをコンピュータに実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【００２２】
本発明によれば、基準となる、ある１つの撮像素子のノイズ特性を記憶する手段を設け、その撮像素子と撮像素子１とのノイズ特性を関係付ける所定の変数を用いて、撮像素子１の出力に対応した、基準となる撮像素子のノイズ値を撮像素子１のノイズ値に変換し、そのノイズ値を用いてノイズ低減を行うようにしたので、安価な構成で種々の撮像素子のノイズを低減することができるという効果が得られる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照し、本発明を実施するための最良の形態について説明する。図１は、本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。以下、図中の各構成について説明する。撮像素子１は、図示せぬレンズを介して入射した光を電気信号に変換し、画像信号として出力する。データ生成部２は、撮像素子１から１画素ずつ入力される画像信号に基づいた画像データをｎ×ｍの２次元画像データに変換する。平均値算出部３は２次元画像データの平均値を算出する。
【００２４】
ここで、撮像素子１の色フィルタ配列について、図２を用いて説明する。図２（ａ）は撮像素子の色フィルタの１例であり、ベイヤーＲＧＢフィルタと呼ばれるものである。ここで、Ｒ，Ｇｒ，Ｂ、Ｇｂはそれぞれ、赤，赤と同じ行の緑，青，青と同じ行の緑を表す。この色フィルタが装着された撮像素子を使用する場合、データ生成部２が出力する４画素は図２（ｂ）〜（ｅ）のいずれかの色パターンとなる。
【００２５】
代表ノイズ特性記憶部４は、基準となる撮像素子の出力信号の信号レベル値とノイズ値（以下、第１のノイズ値と表記）との対応関係であるノイズ特性を代表として記憶しており、平均値算出部３からの平均値信号の信号レベル値に対応した第１のノイズ値を出力する。ノイズ値補正部５は、基準となる撮像素子と撮像素子１とのノイズ特性を関係付ける第２の所定値たる第１のノイズ補正値および第１の所定値たる第２のノイズ補正値を用いて、代表ノイズ特性記憶部４から出力されるノイズ特性を撮像素子１に固有のノイズ特性へと補正する。ノイズ判定部６は着目画素のノイズ低減をするか否を判定する。データ出力部７は、ノイズ判定部６の判定結果に基づいて出力データを選択する。
【００２６】
図３は、ノイズ値補正部５の構成を示すブロック図である。ノイズ値補正部５は、代表ノイズ特性と撮像素子１の特性とが以下に述べるような関係があることを利用して構成されている。すなわち、入力画像の明るさがｘのときの第１のノイズ値をＦ（ｘ）、第１のノイズ補正値をｂ、第２のノイズ補正値をａとしたとき、撮像素子１のノイズ値（以下、第２のノイズ値と表記する）Ｇ（ｘ）は以下のように算出される。
Ｇ（ｘ）＝ａ×Ｆ（ｘ）＋ｂ      ・・・（１）
前述したように、撮像素子のショットノイズは光量子の平方根に比例するため、Ｆ（ｘ）とＧ（ｘ）の特性はいずれも図８に示されるようなべき乗の特性となり、両者間の線形性に基づいた（１）式の演算をすることで、代表ノイズ特性を撮像素子１の特性に変換することが可能となる。
【００２７】
具体的には、図３において、レジスタ５１は第１のノイズ補正値ｂを保持するレジスタであり、ＲＧＢ信号別に３つのレジスタが用意される。レジスタ５２は第２のノイズ補正値ａを保持するレジスタであり、ＲＧＢ信号別に３つのレジスタが用意される。セレクタ５３は、処理を行う画素の色を示す色識別情報に基づいて、第１のノイズ補正値ｂを切り換える。セレクタ５４は、色識別情報に基づいて第２のノイズ補正値ａを切り換える。乗算器５５は、代表ノイズ特性記憶部４から出力された、基準となる撮像素子に対応した第１のノイズ値とセレクタ５４によって切り替えられた第２のノイズ補正値ａとを乗算する。加算器５６は、乗算器５５による乗算結果と、セレクタ５３によって切り替えられた第１のノイズ補正値ｂとを加算する。なお、加算器５６に代えて減算器を設けてよい。
【００２８】
なお、第１および第２のノイズ補正値は以下のように求めることができる。（１）式は２元１次方程式であるから、２つの入力画像の明るさｘ１，ｘ２に対する第１のノイズ値Ｆ（ｘ１），Ｆ（ｘ２）、および第２のノイズ値Ｇ（ｘ１），Ｇ（ｘ２）が分かればａ，ｂを求めることができる。ｘ１およびｘ２の選び方は自由であるが、例えばｘ１を小さな値、ｘ２を大きな値とすることで、暗い部分と明るい部分の両方のノイズ特性を合わせ込むことが可能となるし、特にノイズ低減を正確に行いたい明るさを２点選択することも可能である。このように、撮像素子１つ１つにつき、第１および第２のノイズ補正値を算出するための測定をするだけで済む。
【００２９】
次に、本実施形態による画像処理装置の動作について、図４のフローチャートを用いて説明する。まず、撮像素子１によって光電変換された画像データはＡＤ変換（図示せず）され、デジタル画像データとなって１画素毎にデータ生成部２に入力される（ステップＳ１１）。データ生成部２は、１画素毎に入力された画像データを３×３の２次元画像データに変換し、図２に示すように、このうちの四隅の４画素を出力する（ステップＳ１２）。
【００３０】
続いて、平均値算出部３は、データ生成部２から出力された４画素の平均値信号を算出する（ステップＳ１３）。例えば、データ生成部２からの出力が図２（ａ）のＲ画素のときは、４つのＲ画素の信号値を加算した値を４で割った値を出力する。ただし、本実施形態においては、データ生成部２が４画素を出力する形態であるため、平均値算出部３は４画素の単純平均を算出するが、データ生成部２は任意の画素数の同色画素を出力することも可能であり、その場合の平均値算出においては単純平均ではなく、重み付け平均値を算出するようにしてもよい。
【００３１】
続いて、代表ノイズ特性記憶部４は、平均値算出部３から出力された平均値信号を入力とし、基準となる撮像素子に対応した第１のノイズ値を出力する（ステップＳ１４）。代表ノイズ特性記憶部４には、予め測定済みの、例えば図８に示されるノイズ特性のうちのいずれか一色の特性が格納されており、このノイズ特性に基づいて、入力平均値信号（図８グラフ横軸）に対応した第１のノイズ値（図８グラフ縦軸）を出力する。ここで、代表ノイズ特性記憶部４に格納されるノイズ特性は、必ずしも撮像素子１のノイズ特性である必要はなく、本ノイズ低減処理を行う画像処理装置に用いられる可能性がある撮像素子のうち、いずれか１つのノイズ特性であればよい。
【００３２】
続いて、ノイズ値補正部５は、代表ノイズ特性記憶部４が出力する第１のノイズ値を、実際に使用する撮像素子１の第２のノイズ値となるように補正する（ステップＳ１５）。このステップにおいて、ノイズ値補正部５のセレクタ５３は、色識別情報が示す色についての第１のノイズ補正値を出力する。また、セレクタ５４は、色識別情報が示す色についての第２のノイズ補正値を出力する。乗算器５５は、代表ノイズ特性記憶部４から出力された代表ノイズ値と第２のノイズ値とを乗算して出力する。加算器５６は乗算器５５の出力と第１のノイズ補正値とを加算して出力する。
【００３３】
続いて、ノイズ判定部６は、着目画素をノイズ低減処理すべきかどうかの判定を行う（ステップＳ１６〜Ｓ１７）。ここでいう着目画素とは、ノイズ低減処理を行う画素のことであり、データ生成部２から出力される図２（ｂ）〜（ｅ）で示した４画素のうちのいずれか１画素のことを指す。ノイズ判定部６は、この着目画素に対し、以下の２つを基準とした判定を行う。この判定において、着目画素レベルは、データ生成部２から出力された４画素のうちのいずれか１画素の信号レベルである。平均値は、平均値算出部３によって算出された平均値信号レベルである。ノイズ値は、ノイズ値補正部５から出力された補正後の第２のノイズ値である。
（１）着目画素レベル＜（平均値＋ノイズ値）
（２）着目画素レベル＞（平均値−ノイズ値）
【００３４】
この二つの判定の意味するところは以下の通りである。判定式右辺の平均値は、ランダムノイズのような高周波成分が除去された信号、すなわち、ノイズの含まれない信号と見なすことができる。また、ノイズ値は、撮像素子の出力が平均値信号レベルのときに発生するショットノイズ値である。したがって、（１）の平均値＋ノイズ値は、着目画素にノイズが含まれていた場合の画素レベルの上限値ということができる。つまり、（１）の判定結果が真、すなわち着目画素レベルが平均値＋ノイズ値より小さい場合、着目画素にはショットノイズ成分が含まれている可能性が高いということを示す。逆に偽の場合には、ノイズも含まれているかもしれないが、着目画素は、例えば被写体のエッジ部などの、ノイズ値より大きなレベル変動部分にあるということを示している。
【００３５】
これと同様に、（２）の判定は、真であればノイズが含まれ、偽であれば大きなレベル変動部分にあるということを示す。この二つの判定結果の論理積をとった結果をＰとすると、
Ｐが真のとき：着目画素はノイズ成分を含んでおり、かつ画像の平坦部にある。
Ｐが偽のとき：着目画素はノイズ成分を含んでおり、かつ画像のエッジ部にある。
ということを表す。
【００３６】
このような判定を行うことにより、画像中のレベル変動がノイズによるものなのか、被写体のレベル変動によるものなのかを正確に区別することができ、結果として精度の良いノイズ低減処理を行うことが可能となる。なお、本実施形態においてはノイズ低減処理の出力信号として、平均値信号と着目画素信号のいずれか一方を出力するような構成としたが、これに限るわけではなく、予め測定した撮像素子のノイズ特性に基づいてノイズを低減する構成であればいずれの方法を用いてもよい。また、撮像素子の色フィルタとしてベイヤーＲＧＢフィルタを例に取って説明したが、これに限らないことは言うまでもない。
【００３７】
ステップＳ１６においてノイズ判定部６は（１）の判定を行う。判定の結果が真、すなわち着目画素レベルが平均値＋ノイズ値より小さい場合には、ステップＳ１７へ進む。また、判定の結果が偽、すなわち着目画素レベルが平均値＋ノイズ値の値以上であった場合には、ノイズ判定部６は、着目画素はエッジ部であると判定し、着目画素の出力を示す信号をデータ出力部７へ出力する。データ出力部７は、この信号に基づいて、データ生成部２から出力された１画素の信号を出力する（ステップＳ１８）。
【００３８】
ステップＳ１７においてノイズ判定部６は（２）の判定を行う。判定の結果が偽、すなわち着目画素レベルが平均値−ノイズ値の値以下であった場合には、ステップＳ１８へ進み、着目画素はエッジ部であった場合の動作となる。また、判定の結果が真であった場合、すなわち着目画素レベルが平均値−ノイズ値よりも大きい場合には、（平均値＋ノイズ値）＞着目画素レベル＞（平均値−ノイズ値）であるから、ノイズ判定部６は、着目画素が画像のエッジ部ではないと判定し、平均値の出力を示す信号をデータ出力部７へ出力する。データ出力部７は、この信号に基づいて、平均値算出部３から出力された平均値信号を出力する（ステップＳ１９）。上述した動作は、撮像素子１から各画素信号が入力される毎に繰り返される。
【００３９】
なお、本実施形態の代表ノイズ特性記憶部４に対する第１のノイズ値の格納方法は問わない。例えば、メモリを用いたＬＵＴ（ルックアップテーブル）方式としてもよいし、ノイズ特性曲線をいくつかの直線に分割し、その直線のパラメータをレジスタに格納して、補間演算により第１のノイズ値を求めてもかまわない。このメモリまたはレジスタには、１つの撮像素子のノイズ特性が格納されるのであるから、メモリサイズやレジスタビット長は固定することができる。さらに、一度格納されたノイズ特性は書き換える必要がないため、記憶素子としてＲＯＭ等の規模の小さなものを使用することが可能となる。
【００４０】
図５は、ノイズ特性曲線をいくつかの直線に分割し、補間演算により第１のノイズ値を求める場合の代表ノイズ特性記憶部４の構成を示すブロック図である。図において、レジスタ４１は、基準となる撮像素子の出力信号の複数の信号レベル値と、それらの各信号レベル値に対応した第１のノイズ値との対応関係を示すノイズ特性曲線上の各点を結ぶ直線のパラメータが格納されたレジスタである。ノイズ値補間回路４２は、レジスタ４１に格納されたパラメータを用いた補間演算により、代表ノイズ特性記憶部４の入力値に対応した第１のノイズ値を算出し、代表ノイズ特性記憶部４の出力として出力する。
【００４１】
なお、上述した実施形態における画像処理装置は、その動作および機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行させることにより実現してもよい。
【００４２】
ここで、「コンピュータ」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４３】
また、上述したプログラムは、このプログラムを記憶装置等に格納したコンピュータから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上述したプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータにすでに記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４４】
上述したように本実施形態によれば、基準となる、ある撮像素子のノイズ特性を記憶する代表ノイズ特性記憶部４を設け、その撮像素子と撮像素子１とのノイズ特性を関係付ける所定の変数を用いて、撮像素子１の出力に対応した、基準となる撮像素子の第１のノイズ値を撮像素子１の第２のノイズ値に変換し、その第２のノイズ値を用いてノイズ低減を行う構成としたので、第１のノイズ値を記憶するための記憶素子サイズが小さな安価な構成とすることができ、また種々の撮像素子に対応してノイズ低減処理を行うことができる。
【００４５】
また、撮像素子１つ１つにつき、第１および第２のノイズ補正値を算出するための測定をするだけで済むため、このノイズ低減処理を搭載する機器（例えばデジタルカメラ）の原価を高くすることなくノイズ低減処理装置を実現することができる。
【００４６】
また、代表ノイズ特性記憶部４をＬＵＴにより構成した場合には、入力輝度に応じた第１のノイズ値をきめ細かく設定することができる。一方、いくつかの直線に分割されたノイズ特性曲線の各直線のパラメータが格納されたレジスタ４１と、補間演算により第１のノイズ値を算出するノイズ値補間回路４２とにより代表ノイズ特性記憶部４を構成した場合には、回路規模をさらに小さくすることができる。
【００４７】
また、図３に示されるように、ノイズ値補正部５において、基準となる撮像素子と撮像素子１とのノイズ特性を関係付ける第１のノイズ補正値が格納されたレジスタ５１と、第２のノイズ補正値が格納されたレジスタ５２とを設け、代表ノイズ値と第２のノイズ補正値とを乗算し、その乗算結果に対して第１のノイズ補正値を加算または減算することにより、簡易な回路構成で、代表ノイズ特性記憶部４に格納された、基準となる撮像素子のノイズ特性を、実際に使用する撮像素子１のノイズ特性に変換することができる。さらに、第１のノイズ補正値および第２のノイズ補正値のみを、使用する撮像素子固有のパラメータとして測定するだけで済むので、ノイズ特性を簡単に測定することができる。
【００４８】
次に、本発明の第２の実施形態について説明する。図６は、第１の実施形態による画像処理装置を電子カメラに応用した場合の構成を示すブロック図である。図６において、レンズ３０は、入力された光を撮像素子１の受光面に集光する。画像メモリ３１は、撮像素子１から出力された画像データを保存するためのメモリである。ノイズ低減部３２は、第１の実施形態と同様の構成（データ生成部２〜データ出力部７）を有し、ノイズ低減を行う。他の画像処理部３３はノイズ低減以外の画像処理、例えば色補正や明るさ補正、解像度補正等を行う。ＪＰＥＧ圧縮部３４は画像をＪＰＥＧ圧縮する。画像記録部３５は、画像をメモリカード等に記録する。
【００４９】
以下、本実施形態による電子カメラの動作について説明する。レンズ３０によって撮像素子１に結像した被写体像は、撮像素子１によって光電変換され、Ａ／Ｄ変換（図示せず）された後、画像メモリ３１に蓄えられる。画像メモリ３１から読み出された画像データは、ノイズ低減部３２において、第１の実施形態で示した動作によりノイズ低減処理が施され、他の画像処理部３３においてその他様々な画像処理が施される。その後、ＪＰＥＧ圧縮部３４によって画像圧縮され、画像記録部３５に記録される。以上のような構成とすることで、ノイズが低減された高画質な画像を得る電子カメラを実現することができる。
【００５０】
次に、本発明の第３の実施形態について説明する。図７は、第１の実施形態による画像処理装置をスキャナに応用した場合の構成を示すブロック図である。図７において、図６と同一の構成要素には同一の符号を付与し、説明を省略する。撮像素子３６は、１方向に画素が並んだ撮像素子である。画像転送部３７は、画像を所定のフォーマットに変換して外部に転送する。
【００５１】
以下、本実施形態によるスキャナの動作について説明する。撮像素子３６が１方向に移動することによってスキャンされた画像データは、Ａ／Ｄ変換（図示せず）された後、画像メモリ３１に蓄えられる。画像メモリ３１から読み出された画像データは、ノイズ低減部３２において、第１の実施形態で示した動作によってノイズ低減処理が施される。その後、画像データは画像転送部３７によって外部に転送される。以上のような構成とすることで、ノイズが低減された高画質な画像を得るスキャナを実現することができる。
【００５２】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【００５３】
【図１】本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。
【図２】同第１の実施形態によるデータ生成部２の動作を説明するための参考図である。
【図３】同第１の実施形態によるノイズ値補正部５の構成を示すブロック図である。
【図４】同第１の実施形態による画像処理装置の動作を示すフローチャートである。
【図５】同第１の実施形態による代表ノイズ特性記憶部４の構成を示すブロック図である。
【図６】本発明の第２の実施形態による電子カメラの構成を示すブロック図である。
【図７】本発明の第３の実施形態によるスキャナの構成を示すブロック図である。
【図８】ショットノイズ特性の測定結果を示すグラフである。
【符号の説明】
【００５４】
１，３６・・・撮像素子、２・・・データ生成部、３・・・平均値算出部、４・・・代表ノイズ特性記憶部（ノイズ値出力手段）、５・・・ノイズ値補正部（ノイズ値補正手段）、６・・・ノイズ判定部、７・・・データ出力部、３０・・・レンズ、３１・・・画像メモリ、３２・・・ノイズ低減部、３３・・・他の画像処理部、３４・・・ＪＰＥＧ圧縮部（外部出力手段）、３５・・・画像記録部（外部出力手段）、３７・・・画像転送部（外部出力手段）、４１，５１．５２・・・レジスタ、４２・・・ノイズ値補間回路、５３，５４・・・セレクタ、５５・・・乗算器、５６・・・加算器。
【図１】
2006080852.tif 000003
【図２】
2006080852.tif 000004
【図３】
2006080852.tif 000005
【図４】
2006080852.tif 000006
【図５】
2006080852.tif 000007
【図６】
2006080852.tif 000008
【図７】
2006080852.tif 000009
【図８】
2006080852.tif 000010