(57)【要約】【課題】  撮像素子の発熱部に起因する局所的な暗電流成分を適切に補正できる画像処理装置および画像処理プログラムを提供する。【解決手段】  撮像素子２０の遮光画素領域のうち少なくとも撮像素子の発熱部（例えばＦＤＡなどの出力部）の近傍から出力される複数の第１画素信号に基づいて、撮像素子の有効画素領域における暗電流分布（Ｄ(m,n)）を推定する手段１１〜１３と、有効画素領域から出力される複数の第２画素信号（Ｓ(m,n)）を、上記の暗電流分布（Ｄ(m,n)）に基づいて補正する補正手段１４とを備える。【選択図】      図１
2006041935.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の遮光画素領域のうち少なくとも前記撮像素子の発熱部の近傍から出力される複数の第１画素信号に基づいて、前記撮像素子の有効画素領域における暗電流分布を推定する推定手段と、
前記有効画素領域から出力される複数の第２画素信号を前記推定手段により推定された前記暗電流分布に基づいて補正する補正手段とを備えた
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記推定手段は、前記複数の第１画素信号の中から前記発熱部の影響が小さい画素信号を選択して平均値を求め、該平均値を前記複数の第１画素信号の各々から減算し、減算後の複数の第１画素信号に基づいて、前記暗電流分布を推定する
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記推定手段は、前記平均値を求める前に、前記複数の第１画素信号の突出点を排除して平滑化する近傍演算を行う
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記推定手段は、前記有効画素領域内の座標に依存したゲインを加味して、前記暗電流分布を推定する
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記推定手段は、前記有効画素領域内の座標と前記撮像素子の熱伝導特性に依存したゲインを加味して、前記暗電流分布を推定する
ことを特徴とする画像処理装置。
【請求項６】
撮像素子の遮光画素領域のうち前記撮像素子の発熱部の近傍に位置する水平領域と垂直領域との各々から出力される複数の第１画素信号に基づいて、前記撮像素子の有効画素領域における暗電流分布を推定する推定手段と、
前記有効画素領域から出力される複数の第２画素信号を前記推定手段により推定された前記暗電流分布に基づいて補正する補正手段とを備えた
ことを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記推定手段は、前記水平領域から出力される前記第１画素信号に基づいて前記有効画素領域の水平方向に関する暗電流特性を求めた後、前記垂直領域から出力される前記第１画素信号に基づいて前記有効画素領域の垂直方向に関する暗電流特性を求め、２つの前記暗電流特性の乗算により、前記暗電流分布を推定する
ことを特徴とする画像処理装置。
【請求項８】
撮像素子の遮光画素領域のうち少なくとも前記撮像素子の発熱部の近傍から出力される複数の第１画素信号に基づいて、前記撮像素子の有効画素領域における暗電流分布を推定する推定手順と、
前記有効画素領域から出力される複数の第２画素信号を前記推定手段により推定された前記暗電流分布に基づいて補正する補正手順と
をコンピュータに実行させるための画像処理プログラム。
【請求項９】
撮像素子の遮光画素領域のうち前記撮像素子の発熱部の近傍に位置する水平領域と垂直領域との各々から出力される複数の第１画素信号に基づいて、前記撮像素子の有効画素領域における暗電流分布を推定する推定手順と、
前記有効画素領域から出力される複数の第２画素信号を前記推定手段により推定された前記暗電流分布に基づいて補正する補正手順と
をコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の有効画素領域から出力される画素信号の補正処理を行う画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
周知のように、撮像素子の有効画素領域から出力される画素信号には暗電流成分が重畳されている。このため、画素信号から暗電流成分を減算するという補正処理が必要となる。従来の補正処理としては次のもの（例えば特許文献１を参照）が知られている。つまり、有効画素領域の各画素ごとに予め補正値を記憶しておき、その補正値を撮像素子の動作条件（例えば撮像時間）に応じて変更し、変更後の補正値を画素信号から減算するという補正処理である。補正値を変更する際の係数には、有効画素領域の各画素ごとに共通の値が用いられる。
【特許文献１】特開平７−２３６０９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、撮像素子の内部には、出力アンプ(例えばＦＤＡ；Floating Diffusion Amplifier)などの発熱部があり、この発熱部に起因する局所的な暗電流成分の分布状態は、撮像素子の動作条件（例えば撮像時間）に応じて大きく変化してしまう。つまり、撮像時間の短い条件下では発熱量が少ないため局所的な暗電流成分も目立たないが、長秒時露光(例えば撮像時間が３０秒以上)のように発熱量が増大する条件下では局所的な暗電流成分が顕著化することになる。
【０００４】
したがって、上記した従来の補正方法のように、有効画素領域の各画素の補正値を、撮像素子の動作条件（例えば撮像時間）に応じた共通の値により変更しても、発熱部に起因する局所的な暗電流成分を適切に補正することはできなかった。
本発明の目的は、撮像素子の発熱部に起因する局所的な暗電流成分を適切に補正できる画像処理装置および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００５】
請求項１に記載の画像処理装置は、撮像素子の遮光画素領域のうち少なくとも前記撮像素子の発熱部の近傍から出力される複数の第１画素信号に基づいて、前記撮像素子の有効画素領域における暗電流分布を推定する推定手段と、前記有効画素領域から出力される複数の第２画素信号を前記推定手段により推定された前記暗電流分布に基づいて補正する補正手段とを備えたものである。
【０００６】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記推定手段は、前記複数の第１画素信号の中から前記発熱部の影響が小さい画素信号を選択して平均値を求め、該平均値を前記複数の第１画素信号の各々から減算し、減算後の複数の第１画素信号に基づいて、前記暗電流分布を推定するものである。
請求項３に記載の発明は、請求項２に記載の画像処理装置において、前記推定手段は、前記平均値を求める前に、前記複数の第１画素信号の突出点を排除して平滑化する近傍演算を行うものである。
【０００７】
請求項４に記載の発明は、請求項１に記載の画像処理装置において、前記推定手段は、前記有効画素領域内の座標に依存したゲインを加味して、前記暗電流分布を推定するものである。
請求項５に記載の発明は、請求項１に記載の画像処理装置において、前記推定手段は、前記有効画素領域内の座標と前記撮像素子の熱伝導特性に依存したゲインを加味して、前記暗電流分布を推定するものである。
【０００８】
請求項６に記載の画像処理装置は、撮像素子の遮光画素領域のうち前記撮像素子の発熱部の近傍に位置する水平領域と垂直領域との各々から出力される複数の第１画素信号に基づいて、前記撮像素子の有効画素領域における暗電流分布を推定する推定手段と、前記有効画素領域から出力される複数の第２画素信号を前記推定手段により推定された前記暗電流分布に基づいて補正する補正手段とを備えたものである。
【０００９】
請求項７に記載の発明は、請求項６に記載の画像処理装置において、前記推定手段は、前記水平領域から出力される前記第１画素信号に基づいて前記有効画素領域の水平方向に関する暗電流特性を求めた後、前記垂直領域から出力される前記第１画素信号に基づいて前記有効画素領域の垂直方向に関する暗電流特性を求め、２つの前記暗電流特性の乗算により、前記暗電流分布を推定するものである。
【００１０】
請求項８に記載の画像処理プログラムは、撮像素子の遮光画素領域のうち少なくとも前記撮像素子の発熱部の近傍から出力される複数の第１画素信号に基づいて、前記撮像素子の有効画素領域における暗電流分布を推定する推定手順と、前記有効画素領域から出力される複数の第２画素信号を前記推定手段により推定された前記暗電流分布に基づいて補正する補正手順とをコンピュータに実行させるためのものである。
【００１１】
請求項９に記載の画像処理プログラムは、撮像素子の遮光画素領域のうち前記撮像素子の発熱部の近傍に位置する水平領域と垂直領域との各々から出力される複数の第１画素信号に基づいて、前記撮像素子の有効画素領域における暗電流分布を推定する推定手順と、前記有効画素領域から出力される複数の第２画素信号を前記推定手段により推定された前記暗電流分布に基づいて補正する補正手順とをコンピュータに実行させるためのものである。
【発明の効果】
【００１２】
本発明の画像処理装置および画像処理プログラムによれば、撮像素子の発熱部に起因する局所的な暗電流成分を適切に補正することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を用いて本発明の実施形態を詳細に説明する。
（第１実施形態）
ここでは、第１実施形態の画像処理装置１０（図１）が、撮像素子２０の後段に配置された専用のハードウェア(ＬＳＩ)である例を説明する。この場合、本実施形態の画像処理装置１０は撮像素子２０と共にデジタルカメラなどの撮像装置の内部に組み込まれる。
【００１４】
撮像素子２０は、例えばＣＣＤ撮像素子である。撮像素子２０には、図２に示す通り、有効画素領域２１と、遮光画素領域２２と、出力部２３とが設けられる。有効画素領域２１は、被写体像に応じた信号電荷を蓄積する領域である。遮光画素領域２２は、有効画素領域２１の周囲に隣接して配置され、その表面が遮光膜で覆われている。出力部２３は、遮光画素領域２２の外側の図中左上に配置され、不図示の複数の出力アンプ（例えばＦＤＡ）からなる。
【００１５】
撮像素子２０において、有効画素領域２１と遮光画素領域２２の各画素に蓄積された電荷は、不図示の垂直転送路と水平転送路とを介した後、出力部２３に導かれる。出力部２３の出力アンプは、バイアス電流の印加によって動作状態となり、水平転送路からの入力電荷を電圧信号に変換して画素信号として外部に出力する。撮像素子２０から出力される画素信号は、不図示のＡＤ変換器などを介した後、本実施形態の画像処理装置１０(図１)に導かれる。
【００１６】
撮像素子２０から出力される順序は、図２の左上の画素ＰSから始まり、水平方向のラインに沿って出力し、そのラインを垂直方向にシフトさせながら出力し、右下の画素ＰEで終わるような順序である。つまり、初めに、遮光画素領域２２の図中上部の各ラインから画素信号の出力が行われ、次に、遮光画素領域２２の左部と有効画素領域２１と遮光画素領域２２の右部とを含む各ラインから画素信号の出力が行われ、最後に、遮光画素領域２２の下部の各ラインから画素信号の出力が行われる。
【００１７】
また、有効画素領域２１から出力される画素信号は、被写体像に応じた信号成分を含むと共に暗電流成分をも含んでいる。この暗電流成分を有効画素領域２１の画素信号から減算するために、本実施形態の画像処理装置１０（図１）は、遮光画素領域２２から出力される画素信号を利用する。遮光画素領域２２から出力される画素信号は、暗電流成分のみからなり、被写体像の黒レベルに相当する。このため一般に、遮光画素領域２２は、オプティカルブラック領域と呼ばれる。
【００１８】
ところで、撮像素子２０が動作状態のとき、撮像素子２０の出力部２３の出力アンプには常にバイアス電流が印加されるため、出力部２３は、バイアス電流に起因して発熱することになる。その発熱量は、撮像素子２０の動作条件に応じて異なり、例えば撮像時間が長いほど増大していく。また、出力部２３の発熱は放射状に広がる。そして、出力部２３の発熱に起因する局所的な暗電流成分が、有効画素領域２１や遮光画素領域２２の一部の画素信号に重畳することになる。
【００１９】
本実施形態では、出力部２３が図中左上に配置されるため、図３に示す通り、有効画素領域２１や遮光画素領域２２の左上に位置する部分領域２４の画素信号に局所的な暗電流成分が重畳する。この局所的な（部分領域２４の）暗電流成分は、撮像時間の短い条件下では出力部２３の発熱量が少ないため目立たないが、長秒時露光（例えば撮像時間３０秒以上）のように発熱量が増大する条件下では顕著化することになる。出力部２３は、請求項の「発熱部」に対応する。
【００２０】
本実施形態の画像処理装置１０は、撮像素子２０の発熱部（つまり出力部２３の発熱）に起因する局所的な（部分領域２４の）暗電流成分を適切に補正するものであり、図１に示す通り、信号整形部１１,１２と、演算部１３と、補正部１４と、結果出力部１５とで構成されている。このうち、信号整形部１１,１２および演算部１３は請求項の「推定手段」に対応する。補正部１４は「補正手段」に対応する。
【００２１】
信号整形部１１には、撮像素子２０の遮光画素領域２２のうち、出力部２３（発熱部）の近傍に位置する水平領域２５（図４）から出力される画素信号が順に取り込まれる。水平領域２５の水平方向の画素数は、有効画素領域２１の水平方向の画素数をＷ個、遮光画素領域２２の左部の水平方向の画素数をＡ個とすると、(Ｗ＋Ａ)個となる。また、水平領域２５の垂直方向の画素数（つまりライン数）をＢ個とする。例えばＡ,Ｂ＝４である。
【００２２】
これに対し、信号整形部１２には、撮像素子２０の出力部２３（発熱部）の近傍に位置する垂直領域２６（図５）から出力される画素信号が順に取り込まれる。垂直領域２６の垂直方向の画素数は、有効画素領域２１の垂直方向の画素数をＨ個とすると、(Ｂ＋Ｈ)個となる。また、垂直領域２６の水平方向の画素数はＡ個である。
本実施形態の画像処理装置１０では、概略、信号整形部１１,１２を経た後の画素信号が演算部１３に入力され、有効画素領域２１における暗電流分布の推定が行われ、この暗電流分布に応じた各画素ごとの補正値Ｄ(m,n)（ｍ＝１,…,Ｗ)(ｎ＝１,…,Ｈ）が後段の補正部１４に出力される。補正部１４は、演算部１３から出力される補正値Ｄ(m,n)の他、撮像素子２０の有効画素領域２１から出力される画素信号Ｓ(m,n)（ｍ＝１,…,Ｗ)(ｎ＝１,…,Ｈ）を取り込み、補正値Ｄ(m,n)に基づいて画素信号Ｓ(m,n)の補正を行う。以下、画像処理装置１０の各部の説明を行う。
【００２３】
信号整形部１１における具体的な処理について説明する。信号整形部１１は、撮像素子２０の水平領域２５（図４）から出力される画素信号を取り込むと、水平領域２５を図４(ｂ)に示す(Ｗ＋１)個のブロックに分け、各ブロックごとに平均値Ｔ0,Ｔ1,Ｔ2,……,ＴW-2,ＴW-1,ＴWを求める。(Ｗ＋１)個のブロックのうち、最も左側のブロックは水平方向の画素数がＡ個であり、残りのブロックは水平方向の画素数が１個である。
【００２４】
信号整形部１１は、各ブロックごとに平均値Ｔ0,…,ＴWを求めると、図６の動作フローチャートにしたがって処理を行う。以下の説明では、平均値Ｔ0,…,ＴWを、画素信号Ｔ0,…,ＴWという。この画素信号Ｔ0,…,ＴWをグラフ化すると、例えば図７(ａ)に示すようになる。図７(ａ)の横軸は画素信号Ｔmの番号ｍ(＝０,１,…,Ｗ−１,Ｗ)を表し、縦軸は画素信号Ｔmの大きさを表す。
【００２５】
図７(ａ)は、撮像素子２０の出力部２３の出力アンプが６段構成の例であり、画素信号Ｔ0,…,ＴWのうち、出力部２３（発熱部）の近傍から出力される画素信号に６個のピークが現れている。これらのピークは、図３に示す部分領域２４の（局所的な）暗電流成分に相当する。また、それ以外の画素信号（出力部２３の近傍から離れた画素信号）は、出力部２３の影響が小さいため、その大きさが略安定している。
【００２６】
信号整形部１１は、このような画素信号Ｔ0,…,ＴWを用いて図６のステップＳ１〜Ｓ９を行う。つまり、画素信号Ｔ0,…,ＴWの突出点を排除して平滑化する近傍演算を行う。具体的に説明すると、まず（ステップＳ２）、１つの画素信号Ｔmに注目し、その前後２つずつの画素信号Ｔm-2,Ｔm-1,Ｔm+1,Ｔm+2を含め、隣り合う５個の画素信号Ｔm-2,Ｔm-1,Ｔm,Ｔm+1,Ｔm+2を用いてメディアン処理を行い、中央値の画素信号ＴMEDIを選択する。
【００２７】
次に（ステップＳ３,Ｓ５）、注目している画素信号Ｔmより１つ前の画素信号Ｔm-1と、上記した中央値の画素信号ＴMEDIとの差を求め、その差（｛ＴMEDI−Ｔm-1｝または｛Ｔm-1−ＴMEDI｝）と予め定めた設定値Ｃ1との大小比較を行う。
そして、ステップＳ３,Ｓ５の関係を満たさないとき、つまり、次の式(１)を満足するとき、中央値の画素信号ＴMEDIは１つ前の画素信号Ｔm-1に対して±Ｃ1以内に含まれる（突出点ではない）ため、その画素信号ＴMEDIを現在の注目している画素信号Ｔmと置き換えて上書きする（ステップＳ７，Ｔm＝ＴMEDI）。
【００２８】
｜ＴMEDI−Ｔm-1｜≦Ｃ1  …(１)
これに対し、ステップＳ３の関係（次の式(２)）を満たすときには、中央値の画素信号ＴMEDIが１つ前の画素信号Ｔm-1に対して大きすぎる（突出点である）と判断して、中央値の画素信号ＴMEDIを用いずに、１つ前の画素信号Ｔm-1に設定値Ｃ1を加算した値を、現在の注目している画素信号Ｔmと置き換えて上書きする（ステップＳ４，Ｔm＝Ｔm-1＋Ｃ1）。
【００２９】
ＴMEDI−Ｔm-1＞Ｃ1  …(２)
また、ステップＳ５の関係（次の式(３)）を満たすときには、中央値の画素信号ＴMEDIが１つ前の画素信号Ｔm-1に対して小さすぎる（突出点である）と判断して、中央値の画素信号ＴMEDIを用いずに、１つ前の画素信号Ｔm-1から設定値Ｃ1を減算した値を、現在の注目している画素信号Ｔmと置き換えて上書きする（ステップＳ６，Ｔm＝Ｔm-1−Ｃ1）。
【００３０】
Ｔm-1−ＴMEDI＞Ｃ1  …(３)
上記のような近傍演算（ステップＳ１〜Ｓ９）を繰り返し行うことにより、図７(ａ)に示す画素信号Ｔ0,…,ＴWの突出点を排除して平滑化することができる。近傍演算（ステップＳ１〜Ｓ９）の結果である画素信号Ｔ0,…,ＴWは全て上記の式(１)を満足し、これをグラフ化すると、図７(ｃ)に示すようになる。図７(ａ),(ｃ)の比較から、画素信号Ｔ0,…,ＴWのピーク波形を崩すことなく、突出点を排除して平滑化できることが分かる。なお、図６のステップＳ２の処理のみを行った（ステップＳ３〜Ｓ７を省略した）場合、その結果をグラフ化した図７(ｂ)から分かるように、突出点の排除の点で十分とは言えない。
【００３１】
次に（ステップＳ１０）、平滑後の画素信号Ｔ0,…,ＴW（図７(ｃ)）の中から、出力部２３（発熱部）の影響が小さい安定領域の画像信号を選択して平均値ＴAを求める。安定領域としては、例えば、画素信号Ｔmの番号ｍ(＝０,１,…,Ｗ−１,Ｗ)の大きい方から所定の複数画素分とすればよい。さらに（ステップＳ１１）、平滑後の画素信号Ｔ0,…,ＴW（図７(ｃ)）のうち最も大きい値を代表値ＴBとして求める。
【００３２】
そして、次のステップＳ１２〜Ｓ１５で、平均値ＴAと代表値ＴBを用い、平滑後の画素信号Ｔ0,…,ＴWを規格化する。つまり、次の式(４)に示すように、平滑後の画素信号Ｔ0,…,ＴWの各々から平均値ＴAを減算すると共に、代表値ＴBから平均値ＴAを減算し、減算後の画素信号(Ｔm−ＴA)の各々を減算後の代表値(ＴB−ＴA)で除算して、その結果を注目している画素信号Ｔmと置き換えて上書きする。
【００３３】
Ｔm＝（Ｔm−ＴA）／（ＴB−ＴA）  …(４)
規格化処理（ステップＳ１０〜Ｓ１５）の結果、得られた画素信号Ｔ0,…,ＴWをグラフ化すると、図８に示すようになる。規格化後の画素信号Ｔ0,…,ＴWは、撮像素子２０の有効画素領域２１の水平方向に関する局所的な暗電流特性を表し、信号整形部１１から後段の演算部１３（図１）に出力され、演算部１３のメモリ（例えばSDRAM）に保存される。また、ステップＳ１０,Ｓ１１で求めた平均値ＴAと代表値ＴBは、次に説明する信号整形部１２および後で説明する演算部１３に出力される。
【００３４】
信号整形部１２における具体的な処理について説明する。信号整形部１２は、撮像素子２０の垂直領域２６（図５）から出力される画素信号を取り込むと、垂直領域２６を図５(ｂ)に示す(Ｈ＋１)個のブロックに分け、各ブロックごとに平均値Ｌ0,Ｌ1,Ｌ2,……,ＬH-2,ＬH-1,ＬHを求める。(Ｈ＋１)個のブロックのうち、最も上側のブロックは垂直方向の画素数（ライン数）がＢ個であり、残りのブロックはライン数が１個である。
【００３５】
信号整形部１２は、各ブロックごとに平均値Ｌ0,…,ＬHを求めると、図９の動作フローチャートにしたがって処理を行う。以下の説明では、平均値Ｌ0,…,ＬHを、画素信号Ｌ0,…,ＬHという。図９のステップＳ２１〜Ｓ２９の処理は、画素信号Ｌ0,…,ＬHの突出点を排除して平滑化する近傍演算に相当する。その後のステップＳ３０〜Ｓ３４の処理は、平滑後の画素信号Ｌ0,…,ＬHの規格化処理に相当する。
【００３６】
具体的に説明すると、まず（ステップＳ２１）、１つの画素信号Ｌnに注目し、その前後２つずつの画素信号Ｌn-2,Ｌn-1,Ｌn+1,Ｌn+2を含め、隣り合う５個の画素信号Ｌn-2,Ｌn-1,Ｌn,Ｌn+1,Ｌn+2を用いてメディアン処理を行い、中央値の画素信号ＬMEDIを選択する。次に（ステップＳ２３,Ｓ２５）、注目している画素信号Ｌnより１つ前の画素信号Ｌn-1と、上記した中央値の画素信号ＬMEDIとの差を求め、その差（｛ＬMEDI−Ｌn-1｝または｛Ｌn-1−ＬMEDI｝）と予め定めた設定値Ｃ2との大小比較を行う。
【００３７】
そして、ステップＳ２３,Ｓ２５の関係を満たさないとき、つまり、次の式(５)を満足するとき、中央値の画素信号ＬMEDIは１つ前の画素信号Ｌn-1に対して±Ｃ2以内に含まれる（突出点ではない）ため、その画素信号ＬMEDIを現在の注目している画素信号Ｌnと置き換えて上書きする（ステップＳ２７，Ｌn＝ＬMEDI）。
｜ＬMEDI−Ｌn-1｜≦Ｃ2  …(５)
これに対し、ステップＳ２３の関係（次の式(６)）を満たすときには、中央値の画素信号ＬMEDIが１つ前の画素信号Ｌn-1に対して大きすぎる（突出点である）と判断して、中央値の画素信号ＬMEDIを用いずに、１つ前の画素信号Ｌn-1に設定値Ｃ2を加算した値を、現在の注目している画素信号Ｌnと置き換えて上書きする（ステップＳ２４，Ｌn＝Ｌn-1＋Ｃ2）。
【００３８】
ＬMEDI−Ｌn-1＞Ｃ2  …(６)
また、ステップＳ２５の関係（次の式(７)）を満たすときには、中央値の画素信号ＬMEDIが１つ前の画素信号Ｌn-1に対して小さすぎる（突出点である）と判断して、中央値の画素信号ＬMEDIを用いずに、１つ前の画素信号Ｌn-1から設定値Ｃ2を減算した値を、現在の注目している画素信号Ｔnと置き換えて上書きする（ステップＳ２６，Ｌn＝Ｌn-1−Ｃ2）。
【００３９】
Ｌn-1−ＬMEDI＞Ｃ2  …(７)
上記のような近傍演算（ステップＳ２１〜Ｓ２９）を繰り返し行うことにより、画素信号Ｌ0,…,ＬHの突出点を排除して平滑化することができる。近傍演算（ステップＳ２１〜Ｓ２９）の結果である画素信号Ｌ0,…,ＬHは全て上記の式(５)を満足し、これをグラフ化すると、図１０に示すようになる。この場合にも、画素信号Ｌ0,…,ＬHのピーク波形を崩すことなく、突出点を排除して平滑化できる。
【００４０】
次に（ステップＳ３０）、上記の信号整形部１１が求めた平均値ＴAと代表値ＴB（図７(ｃ)）を取得する。平均値ＴAは、撮像素子２０の出力部２３（発熱部）の影響が小さい安定領域の画像信号から求めたものである。代表値ＴBは、水平方向における平滑後の画素信号Ｔ0,…,ＴW（図７(ｃ)）のうち最も大きい値である。
そして、次のステップＳ３１〜Ｓ３４で、平均値ＴAと代表値ＴBを用い、垂直方向における平滑後の画素信号Ｌ0,…,ＬH（図１０）を規格化する。つまり、次の式(８)に示すように、平滑後の画素信号Ｌ0,…,ＬHの各々から平均値ＴAを減算すると共に、代表値ＴBから平均値ＴAを減算し、減算後の画素信号(Ｌn−ＴA)の各々を減算後の代表値(ＴB−ＴA)で除算して、その結果を注目している画素信号Ｌnと置き換えて上書きする。
【００４１】
Ｌn＝（Ｌn−ＴA）／（ＴB−ＴA）  …(８)
規格化処理（ステップＳ３０〜Ｓ３４）の結果、得られた画素信号Ｌ0,…,ＬHをグラフ化すると、図１１に示すようになる。規格化後の画素信号Ｌ0,…,ＬHは、撮像素子２０の有効画素領域２１の垂直方向に関する局所的な暗電流特性を表し、信号整形部１２から後段の演算部１３（図１）に出力され、上記した水平方向の局所的な暗電流特性（規格化後の画素信号Ｔ1,…,ＴW）と共に、演算部１３のメモリ（例えばSDRAM）に保存される。
【００４２】
次に、演算部１３における具体的な処理について説明する。演算部１３には、信号整形部１１を経た後の水平方向の画素信号Ｔ1,…,ＴW（図８）と、図６のステップＳ１０,Ｓ１１で求めた平均値ＴA,代表値ＴBとが入力された後、信号整形部１２を経た後の垂直方向の画素信号Ｌ1,…,ＬH（図１１）が入力される。画素信号Ｔ1,…,ＴW（図８）の波形は、撮像素子２０の有効画素領域２１の水平方向に関する局所的な暗電流特性を表す。また、画素信号Ｌ1,…,ＬH（図１１）の波形は、有効画素領域２１の垂直方向に関する局所的な暗電流特性を表す。
【００４３】
演算部１３では、信号整形部１２から垂直方向の画像信号Ｌn(ｎ＝１,２,…,Ｈ)を取り込む毎に、信号整形部１１から取り込み済の水平方向の画素信号Ｔm(ｍ＝１,２,…,Ｗ)と平均値ＴAと代表値ＴBとを参照し、次の式(９)したがって順に乗算を行う。この乗算は、撮像素子２０の有効画素領域２１の水平方向に関する局所的な暗電流特性(図８)と垂直方向に関する局所的な暗電流特性(図１１)との乗算を各画素ごとに行う処理である。
【００４４】
Ｄ(m,n)＝(ＴB−ＴA)×Ｔm×Ｌn  …(９)
その結果、図１２(ａ)に示すマトリクス配列の演算結果Ｄ(m,n)を得ることができる。また、図１２(ａ)の演算結果Ｄ(m,n)を３次元的なグラフで表すと、例えば図１２(ｂ)のようになる。演算結果Ｄ(m,n)の“ｍ(＝１,…,Ｗ)”は、有効画素領域２１内の水平方向の座標に対応し、“ｎ(＝１,…,Ｈ)”は有効画素領域２１内の垂直方向の座標に対応する。そして、演算結果Ｄ(m,n)は、有効画素領域２１における局所的な暗電流分布を表している。このように、水平方向と垂直方向の局所的な暗電流特性(図８,図１１)の乗算により、有効画素領域２１における局所的な暗電流分布を推定することができる。
【００４５】
そして、この局所的な暗電流分布に応じた図１２(ａ),(ｂ)の演算結果Ｄ(m,n)は、有効画素領域２１の各画素ごとの補正値Ｄ(m,n)（ｍ＝１,…,Ｗ)(ｎ＝１,…,Ｈ）として後段の補正部１４に（図１）出力される。補正部１４には、各画素ごとの補正値Ｄ(m,n)の他、撮像素子２０の有効画素領域２１からの画素信号Ｓ(m,n)が入力される。図１３(ａ)に示す通り、画素信号Ｓ(m,n)も補正値Ｄ(m,n)と同様のマトリクス配列を成す。入力のタイミングは、概略、信号整形部１１,１２と演算部１３での処理時間の分だけ、補正値Ｄ(m,n)の方が有効画素領域２１からの画素信号Ｓ(m,n)よりも僅かに遅くなる。
【００４６】
このため、補正部１４は、あるラインの画素信号Ｓ(m,n)を取り込んだ後、対応するラインの補正値Ｄ(m,n)が演算部１３から出力されるまで少し待機する。そして、そのラインの補正値Ｄ(m,n)を取り込むと、補正値Ｄ(m,n)に基づいて画素信号Ｓ(m,n)の補正を行う。つまり、次の式(10)にしたがって、各画素ごとに補正値Ｄ(m,n)を画素信号Ｓ(m,n)から減算する。その結果、図１３(ｂ)に示すマトリクス配列の演算結果Ｏ(m,n)を得ることができる。この演算結果Ｏ(m,n)は、局所的な暗電流成分（図３の部分領域２４の暗電流成分）が補正された後の画素信号である。以上で本実施形態の画像処理装置１０における補正処理は終了となる。
【００４７】
Ｏ(m,n)＝Ｓ(m,n)−Ｄ(m,n)  …(10)
上記したように、第１実施形態の画像処理装置１０では、撮像素子２０の遮光画素領域２２のうち出力部２３の近傍（水平領域２５と垂直領域２６）から出力される画素信号に基づいて、有効画素領域２１における暗電流分布を推定する（図１２の補正値Ｄ(m,n)を求める）と共に、この暗電流分布（補正値Ｄ(m,n)）に基づいて、有効画素領域２１から出力される画素信号Ｓ(m,n)を補正するため、撮像素子２０の発熱部（出力部２３）に起因する局所的な暗電流成分（図３の部分領域２４の暗電流成分）を適切に補正することができる。
【００４８】
すなわち、撮像素子２０の動作条件（例えば撮像時間）に応じて局所的な暗電流成分の分布状態が大きく変化しても、その変化に追従して“出力部２３の近傍（水平領域２５と垂直領域２６）から出力される画素信号”の波形も変化するため、有効画素領域２１における暗電流分布を正確に推定することができ、常に、適切な補正処理を行える。したがって、長秒時露光のときでも画像が浮く事態を回避できる。
【００４９】
また、第１実施形態の画像処理装置１０では、図７(ｃ)に示す安定領域の画素信号の平均値ＴAを求め、この平均値ＴAを平滑後の画素信号Ｔ0,…,ＴWや画素信号Ｌ1,…,ＬHの各々から減算すると共に、減算後の画素信号（図８,図１１）に基づいて有効画素領域２１の局所的な暗電流分布を推定するため、有効画素領域２１の局所的な暗電流成分を過不足なく補正することができる。平均値ＴAを用いた減算処理の際、マイナスの値を「０」にクリップしても良い。
【００５０】
さらに、第１実施形態の画像処理装置１０では、安定領域の画素信号の平均値ＴAを求める前に、撮像素子２０から出力される画素信号Ｔ0,…,ＴW(図７(ａ))や画素信号Ｌ1,…,ＬHの突出点を排除して平滑化する近傍演算（図６のＳ１〜Ｓ９)(図９のＳ２１〜Ｓ２９）を行うため、有効画素領域２１の暗電流分布を再現性よく推定することができる。したがって、画像処理装置１０による補正処理の再現性も向上する。
【００５１】
また、第１実施形態の画像処理装置１０では、撮像素子２０の出力部２３（発熱部）の近傍に位置する水平領域２５と垂直領域２６から出力される画素信号を用いるため、有効画素領域２１における局所的な暗電流分布を確実に推定できる。
さらに、第１実施形態の画像処理装置１０では、有効画素領域２１の水平方向の暗電流特性を求めた後、垂直方向の暗電流特性を求め、両者の乗算によって有効画素領域２１の局所的な暗電流分布を推定するため、有効画素領域２１から各ラインごとに出力される画素信号Ｓ(m,n)の補正処理をほぼリアルタイムで行うことができる。
（第２実施形態）
第２実施形態の画像処理装置３０は、図１４に示す通り、上記した画像処理装置１０の演算部１３と補正部１４との間に、ゲイン部３１と第２の演算部３２とを設けたものである。この場合、演算部１３から出力される図１２の補正値Ｄ(m,n)は、第２の演算部３２に出力される。演算部３２には、補正値Ｄ(m,n)の他、ゲイン部３１で生成されたゲインＧ1(m,n)が入力される。ゲインＧ1(m,n)も補正値Ｄ(m,n)と同様のマトリクス配列を成す（図１５）。
【００５２】
ゲイン部３１におけるゲインＧ1(m,n)の生成について説明する。ゲイン部３１は、撮像素子２０の有効画素領域２１内の水平方向と垂直方向の座標(ｍ,ｎ)を次の式(11)〜(13)に代入することにより、座標(ｍ,ｎ)に依存したゲインＧ1(m,n)を生成する。Ａmは水平方向の初期値、Ａnは垂直方向の初期値、Ｂmは水平方向の傾き、Ｂnは垂直方向の傾きである。ゲインＧ1(m,n)をグラフ化すると、例えば図１６に示すようになる。
【００５３】
Ｇ1(m,n)＝Ｇ1(m)×Ｇ1(n)  …(11)
Ｇ1(m)＝Ａm−Ｂm×ｍ  …(12)
Ｇ1(n)＝Ａn−Ｂn×ｎ  …(13)
なお、式(11)〜(13)のパラメータＡm,Ａn,Ｂm,Ｂnは、撮像素子２０の動作条件（撮像時間やＩＳＯ設定）、外気の温度などに基づいて予め決定される。外気の温度を検知するには、例えば撮像素子２０の近傍にセンサを配置することが必要となる。
【００５４】
このようにしてゲイン部３１で生成されたゲインＧ1(m,n)（図１５）は、後段の演算部３２に出力され、その前段の演算部１３で推定された局所的な暗電流分布（図１２の補正値Ｄ(m,n)）の微調整に用いられる。なお、第２実施形態では、信号整形部１１,１２と演算部１３,３２とゲイン部３１とが総じて請求項の「推定手段」に対応する。
演算部３２では、あるラインの補正値Ｄ(m,n)を演算部１３から取り込むと、対応するラインのゲインＧ1(m,n)をゲイン部３１から取り込み、次の式(14)にしたがって各画素ごとに乗算を行う。つまり、ゲインＧ1(m,n)を加味して補正値Ｄ(m,n)を微調整する。その結果、図１７に示すマトリクス配列の演算結果Ｅ(m,n)を得ることができる。この演算結果Ｅ(m,n)は、有効画素領域２１における局所的な暗電流分布（微調整後）を表している。
【００５５】
Ｅ(m,n)＝Ｇ1(m,n)×Ｄ(m,n)  …(14)
そして、第２実施形態の画像処理装置３０では、この演算結果Ｅ(m,n)が、有効画素領域２１の各画素ごとの補正値Ｅ(m,n)として後段の補正部１４に出力される（図１４）。既に説明した画像処理装置１０（図１）と同様、補正部１４には、各画素ごとの補正値Ｅ(m,n)の他、撮像素子２０の有効画素領域２１からの画素信号Ｓ(m,n)（図１３(ａ)）が入力される。このため、座標依存性のゲインＧ1(m,n)を加味した補正値Ｅ(m,n)に基づいて、画素信号Ｓ(m,n)の補正を行うことができる。この場合、次の式(15)にしたがって、各画素ごとに補正値Ｅ(m,n)を画素信号Ｓ(m,n)から減算することになる。
【００５６】
Ｏ(m,n)＝Ｓ(m,n)−Ｅ(m,n)  …(15)
上記したように、第２実施形態の画像処理装置３０では、撮像素子２０の有効画素領域２１内の座標(ｍ,ｎ)に依存したゲインＧ1(m,n)を加味して局所的な暗電流分布を推定する（図１７の補正値Ｅ(m,n)を求める）と共に、この暗電流分布（補正値Ｅ(m,n)）に基づいて、有効画素領域２１から出力される画素信号Ｓ(m,n)を補正するため、ゲインＧ1(m,n)を生成する際のパラメータＡm,Ａn,Ｂm,Ｂnの設定値を変更することによって、有効画素領域２１における局所的な暗電流成分（図３の部分領域２４の暗電流成分）の補正量を微調整することができる。
（第３実施形態）
第３実施形態の画像処理装置４０は、図１８に示す通り、上記した画像処理装置３０のゲイン部３１,演算部３２に代えて、ゲイン部４１,演算部４２を設けたものである。この場合、演算部１３から出力される図１２の補正値Ｄ(m,n)は、演算部４２に出力される。演算部４２には、補正値Ｄ(m,n)の他、ゲイン部４１で生成されたゲインＧ2(m,n)が入力される。ゲインＧ2(m,n)も同様のマトリクス配列を成す（図１９）。
【００５７】
ゲイン部４１におけるゲインＧ2(m,n)の生成について説明する。ゲイン部４１は、撮像素子２０の有効画素領域２１内の水平方向と垂直方向の座標(ｍ,ｎ)を次の式(16)に代入することにより、ゲインＧ2(m,n)を生成する。ＦIM(m,n)は、撮像素子２０の熱伝導特性を表している。Ａ0は初期値、Ｋは熱伝導特性に応じた固定値である。ゲインＧ2(m,n)をグラフ化すると、例えば図２０に示すようになる。
【００５８】
Ｇ2(m,n)＝Ａ0×ＦIM(m,n)  …(16)
なお、式(16)  のパラメータＡ0は、撮像素子２０の動作条件（撮像時間やＩＳＯ設定）、外気の温度などに基づいて予め決定される。外気の温度を検知するには、例えば撮像素子２０の近傍にセンサを配置することが必要となる。
このようにしてゲイン部４１で生成されたゲインＧ2(m,n)（図１９）は、後段の演算部４２に出力され、その前段の演算部１３で推定された局所的な暗電流分布（図１２の補正値Ｄ(m,n)）の微調整に用いられる。なお、第３実施形態では、信号整形部１１,１２と演算部１３,４２とゲイン部４１とが総じて請求項の「推定手段」に対応する。
【００５９】
演算部４２では、あるラインの補正値Ｄ(m,n)を演算部１３から取り込むと、対応するラインのゲインＧ2(m,n)をゲイン部４１から取り込み、次の式(18)にしたがって各画素ごとに乗算を行う。つまり、ゲインＧ2(m,n)を加味して補正値Ｄ(m,n)を微調整する。その結果、図２１に示すマトリクス配列の演算結果Ｆ(m,n)を得ることができる。この演算結果Ｆ(m,n)は、有効画素領域２１における局所的な暗電流分布（微調整後）を表している。
【００６０】
Ｆ(m,n)＝Ｇ2(m,n)×Ｄ(m,n)  …(18)
そして、第３実施形態の画像処理装置４０では、この演算結果Ｆ(m,n)が、有効画素領域２１の各画素ごとの補正値Ｆ(m,n)として後段の補正部１４に出力される（図１８）。既に説明した画像処理装置１０（図１）と同様、補正部１４には、各画素ごとの補正値Ｆ(m,n)の他、撮像素子２０の有効画素領域２１からの画素信号Ｓ(m,n)（図１３(ａ)）が入力される。このため、上記した温度依存性のゲインＧ2(m,n)を加味した補正値Ｆ(m,n)に基づいて、画素信号Ｓ(m,n)の補正を行うことができる。この場合、次の式(19)にしたがって、各画素ごとに補正値Ｆ(m,n)を画素信号Ｓ(m,n)から減算することになる。
【００６１】
Ｏ(m,n)＝Ｓ(m,n)−Ｆ(m,n)  …(19)
上記したように、第３実施形態の画像処理装置４０では、撮像素子２０の有効画素領域２１内の座標(ｍ,ｎ)と撮像素子２０の熱伝導特性に依存したゲインＧ2(m,n)を加味して局所的な暗電流分布を推定する（図２１の補正値Ｆ(m,n)を求める）と共に、この暗電流分布（補正値Ｆ(m,n)）に基づいて、有効画素領域２１から出力される画素信号Ｓ(m,n)を補正するため、ゲインＧ2(m,n)を生成する際のパラメータＡ0の設定値を変更することによって、有効画素領域２１における局所的な暗電流成分（図３の部分領域２４の暗電流成分）の補正量を微調整することができる。
（変形例）
なお、上記した実施形態では、撮像素子２０の遮光画素領域２２のうち出力部２３の近傍に位置する水平領域２５(図４)と垂直領域(図５)から出力される画素信号に基づいて、有効画素領域２１における暗電流分布を推定したが、本発明はこれに限定されない。水平領域２５のうち出力部２３側と垂直領域２６のうち出力部２３側の部分領域（図３に示す部分領域２４に相当）から出力される画素信号を用いる場合にも、本発明を適用できる。
【００６２】
また、上記した実施形態では、水平領域２５と垂直領域２６を複数のブロックに分ける際（図４(ｂ),図５(ｂ)）、左上のブロック以外を１画素(または１ライン)幅のブロックに分ける例を説明したが、本発明はこれに限定されない。１ブロック幅を複数画素(または複数ライン分)とする場合にも、本発明を適用できる。
さらに、上記した実施形態では、演算部１３で推定された局所的な暗電流分布（図１２の補正値Ｄ(m,n)）を微調整する際、図１５のゲインＧ1(m,n)または図１９のゲインＧ2(m,n)を加味する例を説明したが、本発明はこれに限定されない。図１５のゲインＧ1(m,n)と図１９のゲインＧ2(m,n)との双方を加味する場合にも、本発明を適用できる。
【００６３】
また、上記した実施形態では、平滑後の画素信号Ｔ0,…,ＴWと画素信号Ｌ0,…,ＬHを規格化する際、図６のステップＳ１３(式(４))と図９のステップＳ３２(式(８))の双方で、画素信号Ｔm,Ｌnを減算後の代表値(ＴB−ＴA)により除算すると共に、その後の式(９)にしたがう演算処理で再び代表値(ＴB−ＴA)により乗算する例を説明したが、本発明はこれに限定されない。図６のステップＳ１３(式(４))と図９のステップＳ３２(式(８))との何れか一方における“(ＴB−ＴA)”を省略し、かつ、その後の式(９)における“(ＴB−ＴA)”を省略する場合にも、本発明を適用できる。
【００６４】
さらに、上記した実施形態では、垂直方向の平滑後の画素信号Ｌ0,…,ＬHを規格化する際、水平方向における平滑後の画素信号Ｔ0,…,ＴW（図７(ｃ)）から求めた平均値ＴAと代表値ＴBを信号整形部１１から取得して（図９のステップＳ３０）、これを規格化に利用する例を説明したが、本発明はこれに限定されない。垂直方向でも同様の平均値と代表値を求め、これを用いて垂直方向の規格化を行っても良い。だたし、垂直方向の規格化の際に水平方向の情報（平均値ＴAと代表値ＴB）を用いる方が、有効画素領域２１から画素信号Ｓ(m,n)を取り込みながら直後に暗電流成分の補正処理を行えるため、好ましい。
【００６５】
また、上記した実施形態では、撮像素子２０の出力部２３が発熱部である例を説明したが、本発明はこれに限定されない。出力部２３以外の部位が発熱部となる場合でも、本発明を適用できる。
さらに、上記した実施形態では、画像処理装置１０をデジタルカメラなどの撮像装置の内部に組み込む場合を例に説明したが、本発明はこれに限定されない。撮像素子２０から出力されるＲＡＷデータ（遮光画素領域２２の画素信号も含む）を外部のコンピュータに取り込み、コンピュータ上のソフトウエアで局所的な暗電流成分の補正処理を行う場合にも、本発明を適用できる。この場合、コンピュータには、記録媒体（CD-ROMなど）に記録された画像処理プログラムをインストールすれば良い。または、インターネットを介してダウンロードされた画像処理プログラムをインストールしても良い。
【図面の簡単な説明】
【００６６】
【図１】第１実施形態の画像処理装置１０の全体構成を示すブロック図である。
【図２】撮像素子２０の構成を示す概略図である。
【図３】撮像素子２０のうち局所的な暗電流成分が重畳する部分領域２４を説明する模式図である。
【図４】局所的な暗電流成分を推定する際に画素信号を取り込む水平領域２５を説明する図である。
【図５】局所的な暗電流成分を推定する際に画素信号を取り込む垂直領域２６を説明する図である。
【図６】第１実施形態の画像処理装置１０の信号整形部１１の動作手順を示すフローチャートである。
【図７】水平方向の画素信号Ｔ0,…,ＴW（平滑前(ａ),平滑途中(ｂ),平滑後(ｃ)）をグラフ化した図である。
【図８】水平方向の規格化後の画素信号Ｔ0,…,ＴWをグラフ化した図である。
【図９】第１実施形態の画像処理装置１０の信号整形部１２の動作手順を示すフローチャートである。
【図１０】垂直方向の画素信号Ｌ0,…,ＬH（平滑後）をグラフ化した図である。
【図１１】垂直方向の規格化後の画素信号Ｌ0,…,ＬHをグラフ化した図である。
【図１２】演算部１３が求めた補正値Ｄ(m,n)を説明する図である。
【図１３】有効画素領域２１から出力される画素信号Ｓ(m,n)を説明する図(ａ)、局所的な暗電流成分が補正された後の画素信号Ｏ(m,n)を説明する図(ｂ)である。
【図１４】第２実施形態の画像処理装置３０の全体構成を示すブロック図である。
【図１５】ゲイン部３１で生成されたゲインＧ1(m,n)を説明する図である。
【図１６】ゲインＧ1(m,n)をグラフ化した図である。
【図１７】演算部３２が求めた補正値Ｅ(m,n)を説明する図である。
【図１８】第３実施形態の画像処理装置４０の全体構成を示すブロック図である。
【図１９】ゲイン部４１で生成されたゲインＧ2(m,n)を説明する図である。
【図２０】ゲインＧ2(m,n)をグラフ化した図である。
【図２１】演算部４２が求めた補正値Ｆ(m,n)を説明する図である。
【符号の説明】
【００６７】
１０，３０，４０  画像処理装置
１１，１２  信号整形部
１３，３２，４２  演算部
１４  補正部
２０  撮像素子
２１  有効画素領域
２２  遮光画素領域
２３  出力部（発熱部）
２４  局所的な暗電流成分が重畳する部分領域
２５  水平領域
２６  垂直領域
３１，４１  ゲイン部
【図１】
2006041935.tif 000003
【図２】
2006041935.tif 000004
【図３】
2006041935.tif 000005
【図４】
2006041935.tif 000006
【図５】
2006041935.tif 000007
【図６】
2006041935.tif 000008
【図７】
2006041935.tif 000009
【図８】
2006041935.tif 000010
【図９】
2006041935.tif 000011
【図１０】
2006041935.tif 000012
【図１１】
2006041935.tif 000013
【図１２】
2006041935.tif 000014
【図１３】
2006041935.tif 000015
【図１４】
2006041935.tif 000016
【図１５】
2006041935.tif 000017
【図１６】
2006041935.tif 000018
【図１７】
2006041935.tif 000019
【図１８】
2006041935.tif 000020
【図１９】
2006041935.tif 000021
【図２０】
2006041935.tif 000022
【図２１】
2006041935.tif 000023