(57)【要約】【課題】過剰な補正を回避して適切に固定パターンノイズを除去し、補正による原信号の再現精度の低下を防止できる撮像装置及びそのようなノイズ除去方法を提供すること。【解決手段】暗時閾値ＴＨ＿Ｄを用いた暗時画像信号に対する欠陥判定によって欠陥画素を判定するとともに、明時閾値ＴＨ＿Ｗを用いた明時画像信号に対する欠陥判定によって欠陥画素を判定する。暗時画像信号だけでなく、明時画像信号によっても欠陥判定を行うことにより、欠陥補正の不足もなく、また過剰な欠陥補正がなされることも防止できる。【選択図】図１２
2009182866.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像するための撮像素子を有する撮像手段と、
前記撮像素子を非遮光状態としたときに前記撮像手段により得られる明時信号を取得する明時信号取得手段と、
前記撮像素子を遮光状態としたときに前記撮像手段により得られる暗時信号を取得する暗時信号取得手段と、
前記明時信号から前記暗時信号を減算することで前記明時信号におけるノイズを除去したノイズ除去信号を生成するノイズ除去手段と、
前記明時信号に基づいて明時閾値を設定する明時閾値設定手段と、
前記暗時信号に基づいて第１の暗時閾値を設定する第１の暗時閾値設定手段と、
前記明時閾値と前記第１の暗時閾値とに基づいて前記撮像素子の欠陥画素を検出する欠陥検出手段と、
前記検出された欠陥画素に対応する部分のノイズ除去信号を補正する欠陥補正手段と、
を具備することを特徴とする撮像装置。
【請求項２】
前記明時閾値設定手段は、前記明時閾値として前記撮像素子の飽和レベルを設定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の暗時閾値設定手段は、前記ノイズ除去手段において過剰な減算が発生した際の、前記ノイズ除去信号の飽和レベル低下に対する許容量に基づいて前記第１の暗時閾値を設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記第１の暗時閾値よりも大きい第２の暗時閾値を設定する第２の暗時閾値設定手段をさらに具備することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記欠陥検出手段は、前記明時閾値設定手段によって設定された明時閾値及び前記第１の暗時閾値設定手段によって設定された第１の暗時閾値に加えて、前記第２の暗時閾値設定手段によって設定された第２の暗時閾値に基づいて前記欠陥画素を検出することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記欠陥補正手段は、前記欠陥画素と同色の周辺画素におけるノイズ除去信号を使用して前記欠陥画素に対応する部分のノイズ除去信号を補正することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記欠陥補正手段は、前記欠陥検出手段が前記欠陥画素と同色の周辺画素内に欠陥画素を検出している場合に、前記周辺画素内の欠陥画素を除外して前記欠陥画素に対応する部分のノイズ除去信号を補正することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記欠陥補正手段は、前記欠陥検出手段が前記欠陥画素と同色の周辺画素を全て欠陥画素として検出している場合に、前記欠陥画素と同色の周辺画素のノイズ除去信号の平均のノイズ除去信号を使用して前記欠陥画素に対応する部分のノイズ除去信号を補正することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記欠陥補正手段は、前記欠陥検出手段が前記欠陥画素と同色の周辺画素を全て欠陥画素として検出している場合に、前記欠陥画素に対応する部分のノイズ除去信号を補正しないことを特徴とする請求項７に記載の撮像装置。
【請求項１０】
撮像素子を非遮光状態として被写体を撮像して明時信号を取得し、
前記撮像素子を遮光状態として前記被写体を撮像して暗時信号を取得し、
前記明時信号から前記暗時信号を減算することで前記明時信号におけるノイズを除去したノイズ除去信号を生成し、
前記明時信号に基づく明時閾値と前記暗時信号に基づく暗時閾値とに基づいて前記撮像素子の欠陥画素を検出し、
前記検出した欠陥画素に対応する部分のノイズ除去信号を補正する、
ことを特徴とするノイズ除去方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに発生する固定パターンノイズを除去できる撮像装置及びそのようなノイズ除去方法に関する。
【背景技術】
【０００２】
デジタルカメラ等に使用される撮像素子においては、露光時間が長くなったり動作温度が高くなったりした場合に、固定パターンノイズ（ＦＰＮ）の発生が顕著になるのが一般的である。このＦＰＮを除去するために、撮影画像（明時画像）と同じ撮影条件で且つ撮像素子を遮光したときに得られる画像（暗時画像）を撮像画像から減算する手法が良く用いられる。この際、暗時画像のノイズレベルや白キズレベルが非常に高い場合には、減算処理では的確なＦＰＮ除去が困難な場合がある。このような場合でもノイズ除去ができるように、暗時画像においてある程度のノイズレベルを有する画素は欠陥画素と判断し、その欠陥画素のデータを周辺画素のデータから補間する等の処理が必要となる。例えば、特許文献１や特許文献２においては、この手法を用いてＦＰＮの除去を行っている。
【特許文献１】特開２００６−５９１２号公報
【特許文献２】特開２００４−５４２４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、実際には、暗時画像のノイズレベルが高くても、明時画像の飽和状況によっては減算だけで的確にＦＰＮを除去できる可能性がある。上述の特許文献１や特許文献２の手法では、このような減算だけでＦＰＮを除去できる画素に対しても、補間を行ってしまうので、原信号の再現精度が低下してしまう。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、過剰な補正を回避して適切に固定パターンノイズを除去し、補正による原信号の再現精度の低下を防止できる撮像装置及びそのようなノイズ除去方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の態様の撮像装置は、被写体を撮像するための撮像素子を有する撮像手段と、前記撮像素子を非遮光状態としたときに前記撮像手段により得られる明時信号を取得する明時信号取得手段と、前記撮像素子を遮光状態としたときに前記撮像手段により得られる暗時信号を取得する暗時信号取得手段と、前記明時信号から前記暗時信号を減算することで前記明時信号におけるノイズを除去したノイズ除去信号を生成するノイズ除去手段と、前記明時信号に基づいて明時閾値を設定する明時閾値設定手段と、前記暗時信号に基づいて第１の暗時閾値を設定する第１の暗時閾値設定手段と、前記明時閾値と前記第１の暗時閾値とに基づいて前記撮像素子の欠陥画素を検出する欠陥検出手段と、前記検出された欠陥画素に対応する部分のノイズ除去信号を補正する欠陥補正手段とを具備することを特徴とする。
【０００６】
また、上記の目的を達成するために、本発明の第２の態様の撮像装置は、第１の態様において、前記第１の暗時閾値よりも大きい第２の暗時閾値を設定する第２の暗時閾値設定手段をさらに具備することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、過剰な補正を回避して適切に固定パターンノイズを除去し、補正による原信号の再現精度の低下を防止できる撮像装置及びそのようなノイズ除去方法を提供することができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して本発明の実施形態を説明する。  
［第１の実施形態］
図１は、本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラは、光学系１０１と、シャッタ１０２と、撮像素子１０３と、アナログアンプ（Ａ−ＡＭＰ）１０４と、アナログ/デジタルコンバータ（ＡＤＣ）１０５と、バス１０６と、ＤＲＡＭ１０７と、画像処理部１０８と、記録媒体１０９と、ビデオエンコーダ１１０と、表示部１１１と、ＣＰＵ１１２と、操作部１１３と、ＦＬＡＳＨメモリ１１４とを有している。
【０００９】
光学系１０１は、複数のレンズから構成されており、被写体の光学像を撮像素子１０３に集光させる。シャッタ１０２は、光学系１０１と、撮像素子１０３との間に配されており、撮像素子１０３の光電変換面を遮光する。このシャッタ１０２は、ＣＰＵ１１２により、開閉制御がなされる。
【００１０】
撮像素子１０３は、光学系１０１により集光された光を、光電変換面を構成する複数の画素で受光し、各画素で受光した光を光電変換することで、光の量を電荷量としてＡ−ＡＭＰ１０４に出力する。撮像素子１０３の動作制御及び撮像素子１０３において得られる電気信号（画像信号）の読み出し制御は、ＣＰＵ１１２によって行われる。
【００１１】
Ａ−ＡＭＰ１０４は、撮像素子１０３から読み出される画像信号を、ＣＰＵ１１２から指示される所定の増幅率で増幅する。ＡＤＣ１０５は、Ａ−ＡＭＰ１０４から出力されるアナログ画像信号をデジタル画像信号（以降、画像データという）に変換する。
【００１２】
バス１０６は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。バス１０６は、ＡＤＣ１０５と、ＤＲＡＭ１０７と、画像処理部１０８と、記録媒体１０９と、ビデオエンコーダ１１０と、表示部１１１と、ＣＰＵ１１２と、ＦＬＡＳＨメモリ１１４とに接続されている。
【００１３】
ＤＲＡＭ１０７は、ＡＤＣ１０５において得られた画像データや、画像処理部１０８において処理された画像データ等の各種データが一時的に記憶される記憶部である。
【００１４】
画像処理部１０８は、ＡＤＣ１０５において得られ、ＤＲＡＭ１０７に記憶された画像データに種々の画像処理を施す。ここで、画像処理部１０８は、ノイズ除去手段、欠陥検出手段、欠陥補正手段としての機能を有し、少なくとも画像データにおけるＦＰＮを除去するＦＰＮ除去処理を行う。ＦＰＮ除去処理については後で詳しく説明する。また、この他に、画像処理部１０８は、例えばホワイトバランス補正処理、色補正処理、ガンマ変換処理、圧縮処理等の画像処理を行う。また、画像の再生時には圧縮された画像データの伸長処理等も行う。
【００１５】
記録媒体１０９は、撮影により、得られた画像データが記録される。この記録媒体１０９は、例えばカメラ本体に着脱可能なメモリカードからなる記録媒体であるが、これに限定されるものではない。
【００１６】
ビデオエンコーダ１１０は、表示部１１１に画像を表示させるための各種処理を行う。具体的には、ビデオエンコーダ１１０は、ＤＲＡＭ１０７に記憶されている画像データをＤＲＡＭ１０７から読み出して、読み出した画像データを映像信号へ変換した後で表示部１１１へ出力し、画像の表示を行う。表示部１１１は、例えば液晶ディスプレイ等で構成された表示部である。
【００１７】
ＣＰＵ１１２は、デジタルカメラ本体の各種シーケンスを統括的に制御する。このＣＰＵ１１２は、操作部１１３が操作された場合に、ＦＬＡＳＨメモリ１１４に記憶されている、各種シーケンスの実行に必要なプログラムを読み出して、各種シーケンスの制御を行う。
【００１８】
操作部１１３は、レリーズボタンや各種入力キー等の操作部材である。ユーザにより操作部１１３の何れかの操作部材が操作されることにより、ＣＰＵ１１２は、ユーザの操作に応じた各種シーケンスを実行する。
【００１９】
ＦＬＡＳＨメモリ１１４は、デジタルカメラの動作に必要な各種パラメータやＣＰＵ１１２にて実行されるプログラムを記憶している。ここで、本実施形態においては、ＦＰＮ除去処理の際において、画像データ中の、撮像素子１０３における欠陥画素部に相当する部分を検出するための閾値（詳細は後述する）を記憶している。ＣＰＵ１１２は、ＦＬＡＳＨメモリ１１４に記憶されているプログラムに従い、またＦＬＡＳＨメモリ１１４から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。
【００２０】
次に、図１に示すデジタルカメラの撮影動作について説明する。  
ユーザによって操作部１１３に含まれるレリーズボタンが押されると、その旨がＣＰＵ１１２に通知される。これを受けて、ＣＰＵ１１２は、シャッタ１０２を所望の露光時間だけ開放して撮像素子１０３による被写体像の撮像（露光）を実行する。撮像素子１０３において得られた画像信号は、Ａ−ＡＭＰ１０４において増幅された後、ＡＤＣ１０５においてデジタル信号である画像データに変換される。この画像データは、バス１０６を介してＤＲＡＭ１０７に記憶される。
【００２１】
ＤＲＡＭ１０７に記憶された画像データは、画像処理部１０８によって読み出されて各種の画像処理が施される。画像処理部１０８によって処理された画像データは、記録媒体１０９に記録される。
【００２２】
また、画像の再生時には、記録媒体１０９に記録された画像データが画像処理部１０８によって伸長される。その後、伸長された画像データがビデオエンコーダ１１０により読み出されて映像信号に変換される。この映像信号に基づいて表示部１１１に画像表示がなされる。
【００２３】
ここで、本発明の実施形態におけるＦＰＮの除去手法の原理について説明する。このＦＰＮ除去は、例えば長時間露光の際に、画像処理部１０８において行われる。
【００２４】
シャッタ１０２を開放して撮影を行ったときに、本来、撮像素子１０３から得られるべき画像信号（原信号）の一例を図２に示す。図２の例は、撮像素子１０３の飽和レベルに近いレベルと（図面左部）と飽和レベルに対して十分小さいレベル（図面右部）とを有する信号である。
【００２５】
これに対し、原信号に重畳されるＦＰＮが例えば図３で示すものであるとする。ＦＰＮは、撮像素子１０３が遮光されていても発生し、また、露光時間が長くなったり撮像素子１０３の動作温度が高くなったりした場合に多く発生する。
【００２６】
ＦＰＮが発生すると、撮像素子１０３の出力は、原信号にＦＰＮが重畳されたものとなる。ＦＰＮが発生した場合の撮像素子１０３の出力を図４に示す。ここで、原信号にＦＰＮが重畳される際に、撮像素子１０３の飽和レベルを超えてしまった部分（画素位置Ｂ、Ｃ、Ｆの破線部）の信号は飽和レベルにクリップされる。図４の実線で示す信号が撮影時に実際に撮像素子１０３から得られる画像信号となる。
【００２７】
以下、シャッタ１０２を開放した状態での撮影を明時撮影と呼び、明時撮影によって撮像素子１０３から得られる画像信号を明時画像信号と呼ぶ。
【００２８】
また、上述したように、ＦＰＮはシャッタ１０２を遮光した状態でも発生するため、明時撮影時と同じ露光時間だけシャッタ１０２を遮光した状態での露光を行えば、そのときに撮像素子１０３から得られる画像信号は図３に示すＦＰＮとほぼ等しくなる。
【００２９】
以下、このようなシャッタ１０２を遮光した状態での撮影を暗時撮影と呼び、暗時撮影によって撮像素子１０３から得られる画像信号を暗時画像信号と呼ぶ。
【００３０】
ＦＰＮの除去は、基本的には、明時画像信号から暗時画像信号を減算することで行う。実際には、画像処理部１０８は、明時画像信号をデジタル化した明時画像データから暗時画像信号をデジタル化した暗時画像データを減算することによりＦＰＮ除去を行う。
【００３１】
ここで、図４に示すように、明時画像信号の一部がクリップされている場合には、画像処理部１０８における減算によって得られる出力（ノイズ除去信号）は図５に示すようなものとなる。即ち、飽和レベルにクリップされた部分の画素において、飽和レベルを超えた分だけ過剰に減算がなされ、原信号よりも信号レベルが低下してしまう。
【００３２】
このような過剰な減算の影響を低減するために、従来は図３に示すような所定の暗時閾値ＴＨ＿Ｄ（ＴＨ＿Ｄａ又はＴＨ＿Ｄｂ）を設定しておき、暗時画像信号がＴＨ＿Ｄを超えた画素を欠陥画素とみなし、欠陥画素の画素値を周囲の画素の画素値からの補間によって求めるようにしている。
【００３３】
例えば、暗時閾値ＴＨ＿Ｄａを用いて図３の暗時画像信号に対して欠陥画素の判定を行った場合には、図６に示すように、画素Ｃ及びＦが欠陥画素と判定される。したがって、画素Ｃ、Ｆについては減算後に周囲画素からの補間による補正が行われる。
【００３４】
ここで、画素Ｂは、ＦＰＮが比較的小さいため、暗時閾値ＴＨ＿Ｄａを用いた判定においては欠陥画素とは判定されていない。しかしながら、画素Ｂのように、原信号の時点で飽和レベルに近い信号レベルを有する画素においては、小さなＦＰＮが重畳された場合であっても、ＦＰＮ重畳後の明時画像信号が図４のように飽和レベルを超えてしまう可能性が高い。このような場合であっても画素Ｂは対しては減算による補正のみが行われる。したがって、画素Ｂにおいて、図７に示すような過剰な信号の減算が発生してしまう、即ち欠陥補正の不足が発生する。
【００３５】
これに対し、暗時閾値ＴＨ＿Ｄａよりも十分小さい暗時閾値ＴＨ＿Ｄｂを用いて図３の暗時画像データに対して欠陥画素の判定を行った場合には、図８に示すように、画素Ｂ、Ｃ、Ｅ、Ｆが欠陥画素と判定される。したがって、画素Ｂ、Ｃ、Ｅ、Ｆについては減算後に周囲画素からの補間による補正が行われる。この場合には、画素Ｂにおける過剰な減算は発生しない。
【００３６】
ここで、画素Ｅは、ＦＰＮが比較的大きいため、暗時閾値ＴＨ＿Ｄｂを用いた判定においては欠陥画素と判定される。しかしながら、画素Ｅのように、原信号の時点では飽和レベルに対して十分小さい信号レベルを有する画素においては、大きなＦＰＮが重畳された場合であっても、そのときに得られる明時画像信号が飽和レベルを超えない場合がある。このような画素Ｅは減算による補正だけで十分であり、周囲画素からの補間による補正を行うと、図９に示すように過補正となり、画質の劣化は避けられない。
【００３７】
第１の実施形態では、明時画像信号からＦＰＮを適切に除去でき、且つ過補正による画質の劣化も引き起こさないように、明時画像信号に対する閾値ＴＨ＿Ｗと暗時画像信号に対する閾値ＴＨ＿Ｄの２種の閾値を設定し、明時画像信号と暗時画像信号のそれぞれについて欠陥画素の判定を行う。即ち、明時画像信号が明時閾値ＴＨ＿Ｗを超えており且つ暗時画像信号が暗時閾値ＴＨ＿Ｄｂを越えている画素を欠陥画素とみなし、その欠陥画素については周囲画素からの補間による補正を行うようにする。
【００３８】
ここで、明時閾値ＴＨ＿Ｗは、撮像素子１０３の飽和レベルとほぼ同じレベルを有する閾値に設定する。勿論、明時閾値ＴＨ＿Ｗを撮像素子１０３の飽和レベルと同じレベルとしても良い。このように明時閾値ＴＨ＿Ｗを撮像素子１０３の飽和レベルと略等しくしておくことにより、図９に示すような過補正が発生する可能性を低減させることが可能である。
【００３９】
また、暗時閾値ＴＨ＿Ｄは、過剰な減算によって発生する信号レベルの低下の許容量に基づいて設定する。原信号の一部が飽和レベルにある場合、暗時画像データが暗時閾値ＴＨ＿Ｄ以下となる画素に関しては、減算による補正によって飽和部において図１０に示すように最大でＴＨ＿Ｄの信号レベルの低下が発生する。このような最大の信号レベルの低下が発生しても画質に影響がないように暗時閾値ＴＨ＿Ｄを設定する。
【００４０】
実際には、画像処理部１０８におけるガンマ変換処理後の飽和部のレベル低下量に従って暗時閾値ＴＨ＿Ｄを設定する。図１１に示すように、ガンマ変換後にはＴＨ＿Ｄのレベル低下が圧縮される。このガンマ変換後の画像が表示や印刷等に用いられるので、ガンマ変換後のレベル低下量が許容量ＴＨ＿Ｐ以下となるように暗時閾値ＴＨ＿Ｄを設定する。このように暗時閾値ＴＨ＿Ｄを設定することにより、暗時閾値ＴＨ＿Ｄ以下のＦＮＰによる画質への影響は無視することができるレベルとなる。
【００４１】
以下、本実施形態におけるＦＰＮの除去処理についてさらに説明する。図１２は、第１の実施形態における画像処理部１０８において行われるＦＰＮの除去処理について示すフローチャートである。ここで、図１２の処理が開始されるのに先立って、既に明時撮影と暗時撮影とが行われ、それぞれの撮影によって得られる明時画像信号及び暗時画像信号がデジタル化されてＤＲＡＭ１０７に記憶されているものとする。ここで、明時画像信号のデジタル化によって得られる明時画像データをＷ（ｉ，ｊ）、暗時画像信号のデジタル化によって得られる暗時画像データをＤ（ｉ，ｊ）とする。なお、添え字（ｉ，ｊ）は撮像素子１０３上の画素位置（２次元）を示す。
【００４２】
ＦＰＮ除去処理の際に、画像処理部１０８は、ＤＲＡＭ１０７から全画素位置に対応した明時画像データＷ（ｉ，ｊ）を取得する（ステップＳ１）。さらに、画像処理部１０８は、ＤＲＡＭ１０７から全画素位置に対応した暗時画像データＤ（ｉ，ｊ）を取得する（ステップＳ２）。その後、画像処理部１０８は、明時画像データＷ（ｉ，ｊ）から暗時画像データＤ（ｉ，ｊ）を減算することで各画素に対応した減算後の画像データＳ（ｉ，ｊ）を生成する（ステップＳ３）。
【００４３】
次に、画像処理部１０８は、欠陥判定を行う（ステップＳ４）。第１の実施形態における欠陥判定においては、明時画像データＷ（ｉ，ｊ）が明時閾値ＴＨ＿Ｗを越えており、且つ暗時画像データＤ（ｉ，ｊ）が暗時閾値ＴＨ＿Ｄを超えている画素を判定する。
【００４４】
例えば、暗時画像信号が図３に示すものであり、明時画像信号が図４に示すものである場合、明時閾値ＴＨ＿Ｗを用いた欠陥判定によって画素Ｂ、Ｃ、Ｆが欠陥画素と判定される。また、暗時閾値ＴＨ＿Ｄを用いた欠陥判定によって画素Ｂ、Ｃ、Ｅ、Ｆが欠陥画素と判定される。したがって、最終的には図１３に示すように、画素Ｂ、Ｃ、Ｆが欠陥画素と判定される。
【００４５】
欠陥判定の後、画像処理部１０８は、欠陥画素と判定された画素位置を図示しないメモリ（ＤＲＡＭ１０７でも良い）に記憶させる（ステップＳ５）。その後、画像処理部１０８は欠陥補正を行う（ステップＳ６）。欠陥補正において、画像処理部１０８は、欠陥のない画素については減算後の画像データＳ（ｉ，ｊ）を補正後の画像データＳ’（ｉ，ｊ）として出力し、欠陥画素については周囲画素からの補間によって算出した画像データＳ’（ｉ，ｊ）を出力する。例えば、図１３のようにして欠陥画素が判定されている場合には、図１４に示すようにして欠陥画素と判定されている画素Ｂ、Ｃ、Ｆの画素値が周囲の画素値からの補間によって算出される。
【００４６】
ここで、周囲画素からの補間による欠陥補正の方法について説明する。図１５は本実施形態における欠陥補正について説明するための図である。なお、図１５は赤画素（Ｒ）の欠陥補正について示しているが、緑画素（Ｇｒ、Ｇｂ）、青画素（Ｂ）についても基本的な考え方はＲ画素と同様である。
【００４７】
本実施形態において、欠陥補正は、基本的には、図１５（ａ）に示すように、欠陥画素２０１の周囲の同色画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄの画素値の平均値（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）/４を補正後の欠陥画素２０１の画素値Ｒ’として求めることにより行う。但し、周囲画素も欠陥画素である場合には、その画素の画素値は除外して平均値を求める。これは、欠陥画素の画素値をも平均化してしまうことによる誤差を防止するためである。
【００４８】
例えば、図１５（ｂ）のように、欠陥画素２０１の周囲の画素のうち、画素２０１ａも欠陥画素と判定されている場合には、画素２０１ａの画素値Ｒ１を除外して平均値を求める。即ち、補正後の欠陥画素２０１の画素値Ｒ’を平均値（Ｒ２＋Ｒ３＋Ｒ４）/３とする。なお、回路の簡略化のためには、２のべき乗の除算となるようにすることが好ましいので、欠陥画素２０１の上下２画素を全て除外した、平均値（Ｒ２＋Ｒ４）/２をＲ’としても良い。
【００４９】
また、図１５（ｃ）のように、欠陥画素２０１の周囲の画素のうち、画素２０１ａ及び２０１ｂの２画素が欠陥画素と判定されている場合には、補正後の欠陥画素２０１の画素値Ｒ’を平均値（Ｒ３＋Ｒ４）/２とする。さらに、図１５（ｄ）のように、欠陥画素２０１の周囲の画素のうち、画素２０１ａ、２０１ｂ、２０１ｃの３画素が欠陥画素と判定されている場合には、補正後の欠陥画素２０１の画素値Ｒ’を欠陥でない画素２０１ｄの画素値Ｒ４とする。
【００５０】
また、図１５（ｅ）のように、欠陥画素２０１の周囲の画素の全てが欠陥画素と判定されている場合には、周囲画素からの補間は行わない。なお、画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄの４画素の画素値の平均値を補正後の欠陥画素の画素値Ｒ’としても良い。または、画素２０１、２０１ａ、２０１ｂ、２０１ｃ、２０１ｄの５画素の画素値の平均値を補正後の欠陥画素の画素値Ｒ’としても良い。
【００５１】
以上のような欠陥補正を行った後、画像処理部１０８は、欠陥補正により得られた画像データＳ’（ｉ，ｊ）をＤＲＡＭ１０７に出力する。その後、画像処理部１０８は、ＦＰＮ除去以外の画像処理を行う。
【００５２】
以上説明したように、第１の実施形態によれば、暗時画像信号による欠陥画素の判定に加え、明時画像信号による欠陥画素の判定も行うことにより、欠陥補正の不足による信号レベルの低下と、過剰な欠陥補正による画質の劣化を防止することが可能である。
【００５３】
また、本実施形態においては、減算後の画像データＳ（ｉ，ｊ）について欠陥補正を行うようにしている。減算後の画像データＳ（ｉ，ｊ）はより原信号に近い画像データであるため、減算前の画像データＷ（ｉ，ｊ）に対して欠陥補正するよりも、原信号の再現精度を高めることが可能である。
【００５４】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、欠陥判定手法の変形例である。第１の実施形態において説明したように、ＦＰＮは撮像素子１０３の動作温度が高くなったりした場合に多く発生する。即ち、露光時間が長時間になると撮像素子１０３の動作温度が高くなり、明時撮影時に比べて暗時撮影時のＦＰＮレベルが上昇しやすい。このレベル上昇量は、上昇前のＦＰＮレベルにおよそ比例する。即ち、明時撮影時のＦＰＮが大きいほど、その画素における暗時撮影時のＦＰＮレベルの上昇量は大きくなりやすい。
【００５５】
例えば、明時撮影時と暗時撮影時とで図１６に示すようなＦＰＮの差がある場合、明時画像信号から暗時画像信号を減算すると、図１７に示すように、明時撮影時のＦＰＮレベルと暗時撮影時のＦＰＮレベルの差分だけの過減算が発生することになる。画質に影響のない小さな信号レベルの低下であれば問題ないが、ＦＰＮレベルの差によっては画質に影響のある大きな信号レベルの低下が発生することも考えられる。
【００５６】
第２の実施形態は、明時撮影時と暗時撮影時とでＦＰＮに差がある場合の過減算による信号レベルの低下の影響を低減するものである。
【００５７】
即ち、第２の実施形態においては、暗時画像信号に対して２種の異なる暗時閾値ＴＨ＿Ｄ１、ＴＨ＿Ｄ２を設定して判定を行う。ここで、暗時閾値ＴＨ＿Ｄ１は第１の実施形態の暗時閾値ＴＨ＿Ｄと同じレベルを有する閾値である。また、暗時閾値ＴＨ＿Ｄ２はＴＨ＿Ｄ１に対して大きなレベルを有する閾値である。この暗時閾値ＴＨ＿Ｄ２は、明時撮影時のＦＰＮレベルと暗時撮影時のＦＰＮレベルの差が、減算後の信号レベル低下の許容量（実際にはガンマ変換後の許容量ＴＨ＿Ｐ）以下となるように設定する。
【００５８】
以下、本実施形態におけるＦＰＮの除去処理についてさらに説明する。図１８は、第２の実施形態における画像処理部１０８において行われるＦＰＮの除去処理について示すフローチャートである。なお、図１２と同様の処理については図１２と同様の番号を付すことで説明を省略する。即ち、ステップＳ１４における欠陥判定の処理のみが第１の実施形態と異なる。
【００５９】
第２の実施形態の欠陥判定において、画像処理部１０８は、明時画像データＷ（ｉ，ｊ）が明時閾値ＴＨ＿Ｗを越えており、且つ暗時画像データＤ（ｉ，ｊ）が暗時閾値ＴＨ＿Ｄ１を超えている画素、又は暗時画像データＤ（ｉ，ｊ）が暗時閾値ＴＨ＿Ｄ２を超えている画素を判定する（ステップＳ１４）。
【００６０】
例えば、暗時画像信号が図１６に示すものであり、明時画像信号が図１９に示すものである場合、図２０に示すように、明時閾値ＴＨ＿Ｗ及び暗時閾値ＴＨ＿Ｄ１を用いた欠陥判定によって画素Ｂが欠陥画素と判定される。さらに、暗時閾値ＴＨ＿Ｄ２を用いた欠陥判定によって画素Ｂ、Ｄが欠陥画素と判定される。このような暗時閾値ＴＨ＿Ｄ２を用いて判定される欠陥画素は、明時撮影時においてＦＰＮが大きい画素であり、白キズが発生している等の、原信号自体に信頼性がないと考えられる画素である。このような画素については、明時画像データが明時閾値ＴＨ＿Ｗを超えていない場合であっても欠陥画素とみなすようにする。
【００６１】
以上のような欠陥判定により、画素Ｂと画素Ｄが欠陥画素と判定され、これらの画素について欠陥補正がなされる。本実施形態においては、欠陥補正の結果、図２１に示すように、補正後の信号において画質への影響のない小さな過減算は残るが、画質への影響の比較的大きな過減算については欠陥補正がなされる。
【００６２】
以上説明したように、第２の実施形態によれば、第１の実施形態で説明した効果に加え、暗時閾値ＴＨ＿Ｄ２を利用した欠陥判定により、明時撮影時と暗時撮影時とでＦＰＮに差がある場合の過減算による信号レベルの影響を低減することが可能である。
【００６３】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６４】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００６５】
【図１】本発明の第１の実施形態に係る撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】原信号の一例を示す図である。
【図３】暗時画像信号（ＦＰＮ）の一例を示す図である。
【図４】明時画像信号の一例を示す図である。
【図５】減算による補正によって生じる信号レベルの低下について示す図である。
【図６】従来例において高い暗時閾値を用いた場合の欠陥判定について示す図である。
【図７】ノイズ除去信号における過剰な減算について示した図である。
【図８】従来例において低い暗時閾値を用いた場合の欠陥判定について示す図である。
【図９】ノイズ除去信号における過補正について示した図である。
【図１０】明時画像信号が飽和している場合に減算によって生じる飽和部の信号レベルの低下について示した図である。
【図１１】暗時閾値ＴＨ＿Ｄの設定手法について示した図である。
【図１２】第１の実施形態における画像処理部において行われるＦＰＮの除去処理について示すフローチャートである。
【図１３】第１の実施形態における欠陥判定について示す図である。
【図１４】第１の実施形態における欠陥補正後のノイズ除去信号について示す図である。
【図１５】欠陥補正の例について示す図である。
【図１６】明時画像信号に対して暗時画像信号のＦＰＮレベルが上昇する場合の例を示す図である。
【図１７】明時画像信号に対して暗時画像信号のＦＰＮレベルが上昇している場合の過減算について示す図である。
【図１８】第２の実施形態における画像処理部において行われるＦＰＮの除去処理について示すフローチャートである。
【図１９】第２の実施形態における明時画像信号の例を示す図である。
【図２０】第２の実施形態における欠陥判定について示す図である。
【図２１】第２の実施形態における欠陥補正後のノイズ除去信号について示す図である。
【符号の説明】
【００６６】
１０１…光学系、１０２…シャッタ、１０３…撮像素子、１０４…アナログアンプ（Ａ−ＡＭＰ）、１０５…アナログ/デジタルコンバータ（ＡＤＣ）、１０６…バス、１０７…ＤＲＡＭ、１０８…画像処理部、１０９…記録媒体、１１０…ビデオエンコーダ、１１１…表示部、１１２…ＣＰＵ、１１３…操作部、１１４…ＦＬＡＳＨメモリ
【図１】
2009182866.tif 000003
【図２】
2009182866.tif 000004
【図３】
2009182866.tif 000005
【図４】
2009182866.tif 000006
【図５】
2009182866.tif 000007
【図６】
2009182866.tif 000008
【図７】
2009182866.tif 000009
【図８】
2009182866.tif 000010
【図９】
2009182866.tif 000011
【図１０】
2009182866.tif 000012
【図１１】
2009182866.tif 000013
【図１２】
2009182866.tif 000014
【図１３】
2009182866.tif 000015
【図１４】
2009182866.tif 000016
【図１５】
2009182866.tif 000017
【図１６】
2009182866.tif 000018
【図１７】
2009182866.tif 000019
【図１８】
2009182866.tif 000020
【図１９】
2009182866.tif 000021
【図２０】
2009182866.tif 000022
【図２１】
2009182866.tif 000023