(57)【要約】【課題】本画像撮影の度に毎回遮光画像を取得することなく、後発的な欠陥画素の補正を好適に補正することを可能にした、撮像装置を提供すること。【解決手段】光電変換手段としての複数の画素を備えた固体撮像素子と、欠陥画素情報を記憶しておく記憶手段と、欠陥画素情報を用いて欠陥画素の出力信号を補正する補正手段と、を備えた撮像装置において、前記記憶手段に、あらかじめ取得された第１の欠陥画素情報を記憶しておき、本画像撮影に付随して、本画像の暗電流ノイズを補正するための遮光画像を取得し、遮光画像を用いて本画像の画像信号を補正するための補正信号を生成し、補正信号を用いて本画像を補正するとともに、遮光画像を用いて第２の欠陥画素情報を取得し、前記第１の欠陥画素情報、及び、前記第２の欠陥画素情報を用いて本画像を補正するとともに、前記第２の欠陥画素情報を、前記記憶手段に追加して保存することを特徴とする構成とした。【選択図】  図１(b)
2013187871.tif 000002
【特許請求の範囲】
【請求項１】
光電変換手段としての複数の画素を備え、被写体からの光信号を電気信号に変換し出力する、固体撮像素子と、
欠陥画素情報を記憶しておく記憶手段と、
欠陥画素情報を用いて欠陥画素の出力信号を補正する補正手段と、
を備えた撮像装置において、
前記記憶手段に、あらかじめ取得された第１の欠陥画素情報を記憶しておき、
本画像撮影に付随して、前記固体撮像素子を遮光した状態で、本画像の暗電流ノイズを補正するための遮光画像を取得し、
前記遮光画像を用いて前記本画像の画像信号を補正するための補正信号を生成し、
前記補正信号を用いて前記本画像を補正するとともに、
前記遮光画像を用いて第２の欠陥画素情報を取得し、
前記第１の欠陥画素情報、及び、前記第２の欠陥画素情報を用いて前記本画像を補正するとともに、
前記第２の欠陥画素情報を、前記記憶手段に追加して保存する
ことを特徴とする撮像装置。
【請求項２】
前記第1、及び、第2の欠陥画素情報は、前記固体撮像素子の複数の画素のうち、個々の欠陥画素についての位置を表すアドレス情報と、個々の欠陥画素の各々についての欠陥の大きさを表す欠陥ランク情報と、を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記遮光画像は、前記本画像と同じ蓄積時間設定によって取得され、前記本画像の蓄積時間設定に基づいて、前記第2の欠陥画素情報における、各々の欠陥画素に対する前記欠陥ランクを決定することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記遮光画像は、前記本画像と同じ感度設定によって取得され、前記本画像の感度設定に基づいて、前記第2の欠陥画素情報における、各々の欠陥画素に対する前記欠陥ランクを決定することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記撮像装置は、温度情報を得るための温度情報取得手段を備え、前記第2の欠陥画素情報における、各々の欠陥画素に対する前記欠陥ランクは、前記本画像を撮影した際に取得された、前記温度情報に基づいて決定されることを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記補正信号は、前記遮光画像に対して少なくともメディアン処理を行うことで生成され、前記第2の欠陥画素情報は、前記遮光画像の信号と、前記補正信号との差分が、所定より大きい画素について取得されることを特徴とする請求項１に記載の撮像装置。
【請求項７】
光電変換手段としての複数の画素を備え、被写体からの光信号を電気信号に変換し出力する、固体撮像素子と、
欠陥画素情報を記憶しておく記憶手段と、
欠陥画素情報を用いて欠陥画素の出力信号を補正する補正手段と、
を備えた撮像装置において、
前記記憶手段に、あらかじめ取得された第１の欠陥画素情報を記憶しておき、
本画像撮影に付随して、前記固体撮像素子を遮光した状態で、本画像の暗電流ノイズを補正するための遮光画像を取得し、
前記遮光画像を用いて前記本画像の画像信号を補正するための補正信号を生成し、
前記補正信号を用いて前記本画像を補正するとともに、
前記遮光画像を用いて第２の欠陥画素情報を取得し、
前記第１の欠陥画素情報、及び、前記第２の欠陥画素情報を用いて前記本画像を補正するとともに、
前記本画像の撮影条件に基づいて、前記第2の欠陥画素情報を前記記憶手段に追加して保存するか否かを判定し、
判定の結果に応じて、前記第２の欠陥画素情報を、前記記憶手段に追加して保存する
ことを特徴とする撮像装置。
【請求項８】
前記第2の欠陥画素情報を、前記記憶手段に追加して保存するか否かの判定は、前記本画像を撮影した際の蓄積時間設定に基づいて行われることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第2の欠陥画素情報を、前記記憶手段に追加して保存するか否かの判定は、前記本画像を撮影した際の感度設定に基づいて行われることを特徴とする請求項７に記載の撮像装置。
【請求項１０】
前記撮像装置は、温度情報を得るための温度情報取得手段を備え、前記第2の欠陥画素情報を、前記記憶手段に追加して保存するか否かの判定は、前記本画像を撮影した際に取得された、前記温度情報に基づいて行われることを特徴とする請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システムに関し、特に撮像信号の補正に関するものである。
【背景技術】
【０００２】
一般的なデジタルカメラでは、固体撮像素子として、CCDイメージセンサやCMOSイメージセンサが用いられている。
【０００３】
これらの固体撮像素子では、製造過程において欠陥画素が発生し、画質の低下を招く要因の一つとなることが知られている。
【０００４】
この欠陥画素を完全になくすことは困難であるため、一般的に、欠陥画素周辺の画素出力を用いた補間処理によって補正を行い、画質向上を図っている。
【０００５】
欠陥画素の補間処理に関する技術としては、たとえば、特許文献１の従来技術として記載されたような方法が知られている。たとえば、まず、固体撮像素子の工場出荷時等に、所定の条件下において、標準蓄積時間の間固体撮像素子を露光し、得られた出力値を用いて欠陥画素を判定する。そして、その際に取得した欠陥画素の位置情報及び出力レベル等の情報を記憶しておき、実際の撮像時には、記憶した情報をもとに、欠陥画素に隣接する画素の出力レベルを用いて欠陥画素の出力の補間処理を行う、というものである。
【０００６】
また、欠陥画素の補正を行う別の方法として、特許文献１の従来技術として記載された別の方法も知られている。たとえば、被写体を撮影するための実際の撮像動作の直前または直後に、固体撮像素子を遮光した状態で撮像動作を行い、得られた遮光画像を、被写体を撮影した本画像から減算する、といった方法である。この方法では、欠陥画素だけではなく、使用環境や露光時間等によって変化することが知られている、固体撮像素子の暗電流ノイズによる2次元的なムラについても除去することが可能である。
【０００７】
さらに、欠陥画素及び暗電流ノイズによる2次元的なムラの双方を補正する方法としては、特許文献２に記載の方法がある。たとえば、被写体を撮影するための実際の撮像動作の直前または直後に、固体撮像素子を遮光した状態で撮像動作を行い、得られた遮光画像にメディアン処理を施し、メディアン画像を得る。メディアン画像を、被写体を撮影した本画像から減算することで、暗電流ノイズによる2次元ムラを除去する。また、遮光画像からメディアン画像を減算し、その差分信号から欠陥画素を判定し、メディアン画像減算した後の本画像に対して、欠陥画素に隣接する画素の出力レベルを用いて欠陥画素の出力の補間処理を行う方法である。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−３３３４３５号公報
【特許文献２】特開２００７−１８０６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
固体撮像素子においては、製造時の生じる欠陥画素の他に、経年劣化や、宇宙線被ばく等の影響により、後発的に欠陥画素が発生することが知られている。このような欠陥画素は、撮影した画像に輝点や黒点として表れ、画質を劣化させてしまう。
【００１０】
しかしながら、特許文献１の従来技術として開示された内容では、工場出荷前にすでに生じている欠陥画素については、欠陥画素情報を登録し、本画像撮影の際に欠陥画素を補正することができるが、工場出荷後に生じた後発的な欠陥画素については、補正を行うことができない。
【００１１】
また、特許文献２に開示された方法、及び、特許文献１の従来技術として開示された方法では、本画像取得の直後に取得した遮光画像から検出された欠陥画素について、本画像の補正を行うものとなっている。したがって、本画像取得の度に、毎回遮光画像を取得する必要があり、1回目の本画像撮影の後、2回目の本画像撮影を行うことができるようになるまでのタイムラグが大きくなり、シャッターチャンスを逃す可能性が大きくなってしまう。
【００１２】
また、本画像取得の後に遮光画像を取得しないようにした場合には、その時の本画像について、後発的な欠陥画素の補正を行うことができなくなってしまう。
【００１３】
そこで、本発明の目的は、本画像撮影の度に毎回遮光画像を取得することなく、後発的な欠陥画素の補正を好適に補正することを可能にした、撮像装置を提供することである。
【課題を解決するための手段】
【００１４】
上記目的を達成するために、本発明は、
光電変換手段としての複数の画素を備え、被写体からの光信号を電気信号に変換し出力する、固体撮像素子と、
欠陥画素情報を記憶しておく記憶手段と、
欠陥画素情報を用いて欠陥画素の出力信号を補正する補正手段と、
を備えた撮像装置において、
前記記憶手段に、あらかじめ取得された第１の欠陥画素情報を記憶しておき、
本画像撮影に付随して、前記固体撮像素子を遮光した状態で、本画像の暗電流ノイズを補正するための遮光画像を取得し、
前記遮光画像を用いて前記本画像の画像信号を補正するための補正信号を生成し、
前記補正信号を用いて前記本画像を補正するとともに、
前記遮光画像を用いて第２の欠陥画素情報を取得し、
前記第１の欠陥画素情報、及び、前記第２の欠陥画素情報を用いて前記本画像を補正するとともに、
前記第２の欠陥画素情報を、前記記憶手段に追加して保存する
ことを特徴とする。
【発明の効果】
【００１５】
本発明によれば、本画像撮影の度に毎回遮光画像を取得することなく、後発的な欠陥画素の補正を好適に補正することを可能にした、撮像装置を提供することができる。
【図面の簡単な説明】
【００１６】
【図１（ａ）】本発明の実施形態における撮像動作を示すフローチャート（その１）
【図１（ｂ）】本発明の実施形態における撮像動作を示すフローチャート（その２）
【図２】暗電流補正モードに応じた補正の内容を示す概念図
【図３】欠陥画素情報の内容を示す概念図
【図４】欠陥ランクの決定方法を示す表
【図５】撮影条件と、補正を行う欠陥ランクとの関係を示す表
【図６】本発明の第2の実施形態における、欠陥画素情報登録の判定方法を示す表
【図７】本発明の第2の実施形態における、欠陥画素検出・補正動作を示すフローチャート
【図８】本発明の実施形態における撮像装置の構成例を示すブロック図
【発明を実施するための形態】
【００１７】
［実施例１］
以下、本発明の実施の形態について、添付図面を参照して詳細に説明する。本発明は、固体撮像素子を用いて撮像信号を取得することが可能な撮像装置に適用される。
【００１８】
まず、本発明を実施するための、撮像装置、及び、固体撮像素子の構成例について説明する。
【００１９】
図８は、本発明の実施形態における、撮像システムとしての撮像装置の構成例を示すブロック図である。
【００２０】
1は、レンズや絞りなどの光学部材からなる、固体撮像素子3に被写体からの光束を導くための光学系である。
【００２１】
2は、後述の固体撮像素子の露光時間を制御するために、固体撮像素子の遮光を行う遮光手段としての、メカニカルシャッタである。
【００２２】
3は、照射された光を電気信号に変換して出力する、固体撮像素子である。
【００２３】
4は、固体撮像素子3から出力された電気信号（アナログ信号）をデジタル画像信号に変換する、Ａ／Ｄ変換器である。
【００２４】
5は、固体撮像素子3を動作させるために、駆動回路6に対して必要な信号を発生するタイミング信号発生回路である。
【００２５】
6は、光学系1、メカニカルシャッタ2及び固体撮像素子3の駆動回路である。
【００２６】
7は、撮影した画像信号に、暗電流補正、欠陥画素補正等を含む、必要な各種補正等の信号処理を行う、補正手段としての信号処理回路である。
【００２７】
8は、信号処理された画像データを記憶する画像メモリである。
【００２８】
9は、撮像装置から取り外し可能であり、画像データを記憶する、画像記録媒体である。
【００２９】
10は、信号処理された画像データを画像記録媒体9に記録する記録回路である。
【００３０】
11は、信号処理された画像データを表示する画像表示装置である。
【００３１】
12は、画像表示装置11に画像を表示する表示回路である。
【００３２】
13は、撮像装置全体を制御するシステム制御部である。
【００３３】
14は、記憶手段としての不揮発性メモリ（ＲＯＭ）である。不揮発性メモリ14には、システム制御部13で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、後述の欠陥画素情報を含む、画像信号の各種補正に用いるデータを記憶しておく。
【００３４】
15は、揮発性メモリ（ＲＡＭ）である。揮発性メモリ15には、不揮発性メモリ14に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部13が撮像装置を制御する際に使用する。
【００３５】
16は、暗電流成分の2次元ムラ補正を行うか否かをユーザが設定する、暗電流補正設定手段である。暗電流補正設定手段によって、ユーザは、暗電流補正を行うモードであるモード１、暗電流補正を行わないモードであるモード２、撮像装置による判定結果に応じて、撮像装置がモード１モード２のいずれか一方を選択する、モード３を選択できるものとする。
【００３６】
17は、撮像装置が撮影動作を行うための、各種撮影準備動作の開始を指示するスイッチSw1である。
【００３７】
18は、撮像装置の撮影動作開始を指示するスイッチSw2である。
【００３８】
19は、固体撮像素子の温度情報取得手段としての、温度計である。
【００３９】
尚、前述の撮像装置の構成は、あくまでも本発明を実施するために必要な構成の一例である。本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００４０】
次に、前述の撮像装置における、撮像動作の概要を説明する。
【００４１】
撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１３の動作開始時には、不揮発性メモリ１４から、必要なプログラム、制御データ及び、欠陥画素情報を含む補正データが、揮発性メモリ１５に転送され、記憶される。これらのプログラムやデータは、システム制御部１３が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータが不揮発性メモリ１４から揮発性メモリ１５に転送され、或いは、システム制御部１３が直接に不揮発性メモリ１４内のデータを読み出して使用する。欠陥画素情報については、詳細は後述する。
【００４２】
先ず、システム制御部１３からの制御信号により、光学系１の絞りやレンズが駆動され、適切な明るさに設定された被写体像が撮像面に結像する。
【００４３】
続いて、固体撮像素子３が駆動され、本画像取得動作が行われる。固体撮像素子３は、システム制御部１３により制御されるタイミング信号発生回路５が発生する動作パルスを元にした駆動パルスで駆動され、被写体像を光電変換して、蓄積された電荷量に応じた電気信号を出力する。この間に、遮光手段としてのメカニカルシャッタ2が開閉することによって、固体撮像素子３の露光時間が制御される。固体撮像素子３は、所望の蓄積時間の間、発生した電荷の蓄積を行い、蓄積された電荷量に応じた電気信号をアナログ信号として出力するよう制御される。
【００４４】
固体撮像素子３から出力されたアナログ信号は、システム制御部１３により制御されたタイミング信号発生回路５が発生する動作パルスにより、Ａ／Ｄ変換器４でデジタル信号に変換される。尚、出力信号に対しては、A／D変換機４、あるいは、固体撮像素子３内部に設けられた不図示のゲイン回路の、双方あるいはいずれか一方によって、感度設定に応じた所定のゲインがかけられる。例えば、ISO100では１倍、ISO200では２倍、のように、感度＋１段ごとに約２倍となるようなゲインがかけられるものとする。
【００４５】
ここで、前述したとおり、暗電流補正モードとして、暗電流補正を行うモードであるモード１、暗電流補正を行わないモードであるモード２、撮像装置による判定結果に応じて、撮像装置がモード１モード２のいずれか一方を選択するモードである、モード３のいずれかが選択されている。
【００４６】
暗電流補正モードがモード１であった場合は、暗電流補正を実施するため、遮光画像の撮影動作を行う。
【００４７】
本画像取得動作の後、メカニカルシャッタが閉じた状態で、再び、個体撮像素子３が駆動され、遮光画像取得動作が行われる。固体撮像素子３は、システム制御部１３により制御されるタイミング信号発生回路５が発生する動作パルスを元にした駆動パルスで駆動され、遮光状態下で蓄積された電荷を光電変換して、蓄積された電荷量に応じた電気信号を出力する。この間、遮光手段としてのメカニカルシャッタ2は閉じたままである。固体撮像素子３は、所望の蓄積時間の間、発生した電荷の蓄積を行い、蓄積された電荷量に応じた電気信号をアナログ信号として出力するよう制御される。
【００４８】
尚、暗電流補正モードがモード2であった場合には、暗電流補正を実施しないため、遮光画像の撮影動作は行われない。
【００４９】
また、暗電流補正モードがモード3であった場合には、撮影条件に基づいて、暗電流補正を実施するかどうかを判定する。暗電流補正を実施するよう判定された場合は、モード１と同様の動作を実施させ、暗電流補正を実施しないよう判定された場合は、モード２と同様の動作を実施させるものとする。
【００５０】
次に、信号処理回路７において、固体撮像素子３からの出力信号に対し各種の補正処理が行われる。
【００５１】
暗電流補正モードがモード１であった場合は、遮光画像を用いて、本画像を補正するための補正用画像を生成する。補正用画像は、例えばメディアン処理のように、各画素について、着目した画素と、その周辺の複数画素との出力信号を加算平均することで、画素ごとのバラつきを平均化し、暗電流起因の２次元的なムラ成分を抽出した画像とする。そして、ここで生成された補正用画像を、本画像から減算することにより、暗電流成分による２次元ムラを除去する、暗電流補正とする。
【００５２】
また、遮光画像を用いて、本画像を補正するための後発の欠陥画素を検出する。例えば、あらかじめ登録されている欠陥画素情報に基づいて欠陥画素補正を行っておいた遮光画像から、先に述べた補正用画像を減算処理し、補正用画像との信号の差分が所定以上の画素を、後発の欠陥画素として検出するものとする。
【００５３】
本画像に対しては、不揮発性メモリにあらかじめ登録され、揮発性メモリに保存された欠陥画素情報に基づく欠陥画素補正に加えて、追加検出された欠陥画素についても補正が行われる。
【００５４】
暗電流補正モードがモード２であった場合には、補正用画像の生成、及び、欠陥画素情報の検出は行われず、不揮発性メモリから揮発性メモリに保存された欠陥画素情報を用いて、本画像の補正を行う。
【００５５】
不揮発性メモリに登録された欠陥画素情報には、図３（A）に示した様に、欠陥画素の位置を示すアドレス情報と、欠陥画素の大きさを示す欠陥ランク情報が付与されており、このアドレス情報と、欠陥ランク情報に基づいて、欠陥画素の補正が行われるものとする。
【００５６】
欠陥画素の出力レベルは、例えばその欠陥画素が暗電流に起因するものであれば、蓄積時間に比例することが知られている。また、欠陥画素の出力レベルは固体撮像素子の温度に依存する。（一般に、温度が８℃上がると、欠陥画素の出力レベルは２倍になると言われている。）更に、撮像装置の感度設定が高くなるほど、撮像素子からの出力にかけられるゲインが高くなるので、欠陥画素の出力レベルも高くなる。したがって、蓄積時間、固体撮像素子の温度情報、感度設定に応じて、補正する欠陥ランクを異ならせることにより、その撮影条件において出力レベルが高く、画質を劣化させる画素に対してのみ、選択的に補正を行うことができる。
【００５７】
尚、各撮影条件と、補正を行う欠陥ランクとの関係の例を、図５に示した。ここでは、欠陥ランクの数値が小さいほど欠陥画素の出力レベルが高く、数値が大きいほど欠陥画素の出力レベルが低いことを表す。低温下における、低感度、短時間露光（例えば、３５℃未満、ISO100、蓄積時間１s未満）では、欠陥ランクの高い画素のみが高い出力レベルとなり、画質に影響するため、例えば欠陥ランクの高いランク１〜３までの欠陥画素を補正する。逆に、高温下における、高感度、長時間露光（例えば、５１℃以上、ISO1600、蓄積時間３２s）では、欠陥ランクの低い画素であっても高い出力レベルとなり、画質に影響するため、欠陥ランクの高いランク１から、欠陥ランクの低いランク１４まで、欠陥画素を補正する。
【００５８】
モード１の動作にて検出された欠陥画素については、欠陥画素が検出された際の本画像の、該当する画素すべてに対して欠陥画素補正を行うものとする。
【００５９】
また、あらかじめ登録されていた欠陥画素情報と同様に、欠陥画素の位置を示すアドレス情報と、欠陥画素の大きさを示す欠陥ランク情報が付与さる（図３（B））。この情報は、電源を切るまでの間、揮発性メモリに保持されるとともに、あらかじめ記録されていた欠陥画素情報に加えて、不揮発性メモリ１５に追加登録されるものとする（図３（C））。したがって、次回の撮像動作からは、それ以前に検出された後発の欠陥画素についても、不揮発性メモリの欠陥画素情報を使用することによって補正されるようになる。
【００６０】
尚、欠陥ランクの決定方法の一例を示す表を、図４に示した。
【００６１】
前述したとおり、欠陥画素の出力レベルは、固体撮像素子の温度と蓄積時間、感度に依存して変化する。したがって、各欠陥画素の欠陥ランクは、欠陥画素の出力レベルに加えて、その欠陥画素が検出された画像を撮影した際の、固体撮像素子の温度情報、蓄積時間、感度設定を考慮して決定される。
【００６２】
例えば、図４に示すように、固体撮像素子の温度情報、蓄積時間、欠陥画素の出力レベル、感度設定に応じて、異なる欠陥ランクを割り当てるためのテーブルを、撮像装置に記憶させておく。ここでは、蓄積時間と欠陥画素の出力レベルによって欠陥ランクが与えられるようなテーブルを、所定の温度範囲ごとに用意している。一般に、固体撮像素子の温度が8℃上昇するごとに欠陥画素出力が2倍に増加すると言われているので、ここでは、常温を27℃とし、そこから8℃上昇するごとに、各テーブルを1段ずつシフトさせるようにしている。更に、基準の感度設定をISO100とし、感度設定に応じて、感度が上がった段数の分だけ、各テーブルをシフトさせて使用するようにしている。欠陥画素検出の際には、このテーブルを参照して、各々の欠陥画素に対して欠陥ランクを与えるようにする。
【００６３】
尚、図４の表は欠陥ランクを決定するための条件設定の一例であり、温度情報、蓄積時間、欠陥画素の出力レベル、感度設定に応じて、異なる欠陥ランクを割り当てる事が可能であれば、その要旨の範囲内で種々の変形及び変更が可能である。
【００６４】
信号処理回路７内の画像メモリ８は、信号処理中の本画像及び遮光画像、遮光画像から生成された補正用画像を一時的に記憶したり、本画像に対して各種補正処理等の信号処理が施された画像データを記憶したりするために用いられる。
【００６５】
信号処理回路７で信号処理された画像データや画像メモリ８に記憶されている画像データは、記憶回路１０により画像記憶媒体９に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換されて画像記憶媒体９に記憶される。また、Ａ／Ｄ変換器４でデジタル画像信号に変換された画像データは、信号処理回路７で解像度変換処理を施された後、表示回路１２において画像表示装置１１に適した信号に変換され、画像表示装置１１に表示される。記憶回路１０は、システム制御部１３からの要求に応じて、画像記憶媒体９の種類や空き容量等の情報をシステム制御部１３に出力する。
【００６６】
以上が、本発明の実施形態における、撮像動作の概要である。
【００６７】
次に、前述の撮像動作における、暗電流補正モードの判定、遮光画像を用いた補正用画像の生成とそれを用いた本画像の補正、欠陥画素情報の詳細、及び、遮光画像を用いた欠陥画素情報の検出方法について、図面を参照しながら詳細に説明する。
【００６８】
図１（A）は、暗電流補正設定手段によって設定されている、暗電流補正モードに応じた撮像動作、及び、補正動作の全体の流れを示す、フローチャートである。
【００６９】
また、図２は、暗電流補正モードに応じた補正の内容を示す概念図である。図２（A）に暗電流補正モード１を表し、図２（B）に暗電流補正モード２を表している。
【００７０】
不図示であるが、図１（A）以前の、電源投入直後等のタイミングで、不揮発性メモリ１４から、欠陥画素情報を含む補正データが、揮発性メモリ１５に転送され、記憶されているものとする。
【００７１】
S001で、撮影準備を指示するスイッチSW1がオンされているかどうかを判定する。SW1がオフであればS001へ戻り、SW1がオンであればS002へ進む。
【００７２】
S002で、本画像取得に用いる感度設定、露光時間等、撮影条件に関する情報を取得し、S003へ進む。
【００７３】
S003で、撮影準備を指示するスイッチSW2がオンされているかどうかを判定する。SW2がオフであればS004へ進み、SW2がオンであればS005へ進む。
【００７４】
S004で、撮影準備を指示するスイッチSW1がオンされているかどうかを判定する。SW1がオフであればS001へ戻り、SW1がオンであればS003へ戻る。
【００７５】
S005で、本画像取得動作（図１（B））を実施する。本画像取得動作についての詳細は、後述する。本画像取得動作の後、ステップS006へ進む。
【００７６】
ステップS006で、暗電流補正設定手段によって、モード３が設定されているかを判定する。モード３が設定されている場合には、ステップS007へ進む。それ以外の場合には、ステップS008へ進む。
【００７７】
ステップS007で、暗電流補正モード判定動作（図１（C））を実施し、撮影条件に基づいて、モード１またはモード２のどちらを設定するかを判定する。暗電流補正モード判定動作についての詳細は、後述する。モード１またはモード２の設定が完了したのち、ステップS008へ進む。
【００７８】
ステップS008で、暗電流補正モード１が設定されているかを判定する。モード１が設定されている場合には、ステップS009へ進む。モード１が設定されていない場合、すなわちモード２の場合には、ステップA012へ進む。
【００７９】
ステップS009で、遮光画像取得動作（図１（D））を実施する。遮光画像取得動作についての詳細は、後述する。遮光画像取得動作の後、ステップS010へ進む。
【００８０】
ステップS010で、暗電流補正動作（図１（E））を実施する。暗電流補正動作についての詳細は、後述する。暗電流補正動作の後、ステップS011へ進む。
【００８１】
ステップS011で、欠陥画素検出・補正動作（図１（F））を実施する。欠陥画素検出・補正動作についての詳細は、後述する。欠陥画素検出・補正動作の後、ステップS012へ進む。
【００８２】
ステップS012で、所望の補正がすべて行われた上で画像メモリに保持されている、補正済みの本画像（第４の本画像１００４）を、画像記録媒体に保存する。
【００８３】
以上が、暗電流補正設定手段によって設定されている、暗電流補正モードに応じた撮像動作、及び、補正動作の全体の流れである。
【００８４】
図１（B）は、本画像取得動作の詳細を示したフローチャートである。
【００８５】
ステップS101で、固体撮像素子を遮光する遮光手段であるメカニカルシャッタを開き、ステップS102へ進む。
【００８６】
ステップS102で、本画像の被写体信号の蓄積を開始し、ステップS103へ進む。
【００８７】
ステップS103で、ステップS102の蓄積開始から、撮影条件として設定された所定の露光時間が経過したかどうかを判定する。所定の露光時間が経過していない場合はステップS103の判定を繰り返し、所定の蓄積時間が経過したタイミングで、ステップS104へ進む。
【００８８】
ステップS104で、メカニカルシャッタを閉じ、固体撮像素子の露光を終了し、ステップS105へ進む。
【００８９】
ステップS105で、感度設定に応じた制御データで固体撮像素子を駆動し、本画像の信号蓄積を終了して、蓄積された信号を読み出す。ここで読み出した、固体撮像素子の素の出力である本画像を、第１の本画像１００１とする。第１の本画像の信号読み出しが完了したのち、ステップS106へ進む。
【００９０】
ステップS106で、揮発性メモリに保存された欠陥画素情報３００１を用いて、第１の本画像１００１の信号に対して欠陥画素の補正を行い、第２の本画像信号１００２を生成する。その後、ステップS107へ進む。欠陥画素の補正の詳細に関しては、後述する。
【００９１】
ステップS107で、欠陥画素が補正された第２の本画像を、画像メモリ８に記憶する。
【００９２】
以上が、本画像取得動作の詳細である。
【００９３】
図１（C）は、暗電流補正モードの判定動作を示す、フローチャートである。
【００９４】
ステップS201で、温度計による固体撮像素子の温度情報を取得し、ステップS202へ進む。
【００９５】
ステップS202で、温度情報が所定の温度T℃以上（例えば３５℃以上）であったらステップS205へ進む。本画像取得時の固体撮像素子の温度情報が所定の温度未満（例えば３５℃未満）であったら、ステップS203へ進む。
【００９６】
ステップS203で、本画像取得時の露光時間が所定以上（例えば１ｓ以上）であったら、ステップS205へ進む。本画像取得時の露光時間が所定未満（例えば１ｓ未満）であったら、ステップS204へ進む。
【００９７】
ステップS204では、暗電流補正モードをモード２に設定し、暗電流補正モードの判定動作を終了する。
【００９８】
ステップS205では、暗電流補正モードをモード１に設定し、暗電流補正モードの判定動作を終了する。
【００９９】
以上が、暗電流補正モード判定動作の詳細である。
【０１００】
尚、ここでは、温度情報、及び、露光時間によって、暗電流補正モードの判定を行ったが、感度設定についての判定を追加してもよい。
【０１０１】
図１（D）は、遮光画像取得動作を示す、フローチャートである。
【０１０２】
ステップS301で、固体撮像素子を遮光する遮光手段であるメカニカルシャッタを閉じた状態のまま、本画像の被写体信号の蓄積を開始し、ステップS302へ進む。
【０１０３】
ステップS302で、ステップS301の蓄積開始から、撮影条件として設定された所定の露光時間が経過したかどうかを判定する。所定の露光時間が経過していない場合はステップS302の判定を繰り返し、所定の蓄積時間が経過したタイミングで、ステップS303へ進む。
【０１０４】
ステップS303で、感度設定に応じた制御データで固体撮像素子を駆動し、本画像の信号蓄積を終了して、蓄積された信号を読み出す。ここで読み出した、固体撮像素子の素の出力である遮光画像を、第１の遮光画像２００１とする。第１の遮光画像２００１の信号読み出しが完了したのち、ステップS304へ進む。
【０１０５】
ステップS304で、揮発性メモリに保存された欠陥画素情報３００１を用いて、遮光画像２００１の信号に対して欠陥画素の補正を行い、第２の遮光画像信号２００２を生成する。その後、ステップS305へ進む。欠陥画素の補正の詳細に関しては、後述する。
【０１０６】
ステップS305で、欠陥画素が補正された遮光画像２００２を、画像メモリ８に記憶する。
【０１０７】
以上が、遮光画像取得動作の詳細である。
【０１０８】
図１（E）は、暗電流補正動作を示す、フローチャートである。
【０１０９】
ステップS401で、第２の遮光画像２００２を用いて、第２の本画像１００２を補正するための補正用画像２００３を生成する。ここでは、第２の遮光画像２００２に対してメディアン処理を行うことで、画素ごとのバラつきを平均化し、暗電流起因の２次元的なムラ成分を抽出した補正用画像２００３を生成する。その後ステップS402に進む。
【０１１０】
ステップS402で、補正用画像２００３を、画像メモリ８に記憶し、ステップA403へ進む。
【０１１１】
ステップS403で、第２の本画像１００２から、補正用画像２００３を減算処理することで、暗電流補正を行い、第３の本画像を得る。その後、ステップS404へ進む。
【０１１２】
ステップS403で、暗電流補正された第３の本画像１００３を、画像メモリ８に記憶する。
【０１１３】
以上が、暗電流補正動作の詳細である。
【０１１４】
図１（F）は、欠陥画素検出・補正動作を示す、フローチャートである。
【０１１５】
第２の遮光画像２００２には、すでに、あらかじめ登録されている欠陥画素情報３００１に基づいた欠陥画素補正がなされている。したがって、残っている欠陥画素は、後発的に発生した欠陥画素であると言うことができる。
【０１１６】
欠陥画素検出・補正動作では、第２の遮光画像２００２と、そこから暗電流起因の２次元的なムラ成分を抽出した補正用画像２００３との、差分の大きさによって、個々の画素が、遮光時の本来の出力レベルからどの程度乖離しているか確認し、所定より乖離の大きい画素を、欠陥画素として追加検出するものとする。
【０１１７】
また、追加検出した欠陥画素を、第３の本画像から補正することで、画像記録媒体に実際に保存するための第４の本画像を生成する。
【０１１８】
更に、追加検出した欠陥画素についての欠陥画素情報３００２を揮発性メモリ及び不揮発性メモリに保存することで、検出された欠陥画素についても、次回からの撮影動作時に補正されるようにする。
【０１１９】
ステップS501で、第２の遮光画像２００２から、補正用画像２００３を減算する差分処理を行うことで、欠陥画素検出用画像２００４を得た、ステップS502へ進む。
【０１２０】
ステップS502で、欠陥画素検出用画像２００４から、所定レベル以上の画素を、後発的な欠陥画素として検出し、検出した欠陥画素のアドレスと、出力レベルとを取得する。また、各欠陥画素の出力レベルと、温度情報、感度設定、蓄積時間、に基づき、図４に示す様に、画素ごとに欠陥ランクを決定し、ステップS503へ進む。
【０１２１】
尚、この時、もしすでに欠陥画素として登録されている画素が欠陥画素検出用画像２００４から検出された場合には、同一アドレスに対して、その画像を取得した際の温度情報、感度設定、蓄積時間に基づいた欠陥ランクを付与し、新しい欠陥画素情報として２重に持たせるようにすればよい。このようにすれば、本来の欠陥ランクより低いランクに割り当てられた欠陥画素があった場合や、もとは低い欠陥ランクであった欠陥画素が経時変化し、欠陥ランクが高くなってしまった場合にも、後から最適な欠陥ランクに変更できるので、画質劣化を防ぐことができる。
【０１２２】
ステップS503で、各々の欠陥画素アドレスと欠陥ランクとを、検出された欠陥画素情報３００２として、揮発性メモリに保存し、ステップS504へ進む。
【０１２３】
ステップS504で、第３の本画像に対して、新規検出された欠陥画素情報３００２を用いて欠陥画素補正を行い、検出された欠陥画素の信号がすべて補正された第４の本画像を得る。その後、ステップS505へ進む。
【０１２４】
ステップS505で、第４の本画像を画像メモリに記憶し、ステップS506へ進む。
【０１２５】
ステップS506で、既に登録されている欠陥画素情報に加えて、検出された欠陥画素情報３００２を不揮発性メモリに追加保存する。
【０１２６】
以上が、欠陥画素検出・補正動作の詳細である。
【０１２７】
以上の様に、ステップS502で後発的な欠陥画素を新たに検出し、検出した欠陥画素情報を用いて、ステップS504で本画像の補正を行うので、後発的な欠陥画素の補正を好適に補正することが可能となる。
【０１２８】
また、検出した欠陥画素情報を、ステップS506で不揮発性メモリに追加登録するので、検出された欠陥画素は、次回の撮影からも補正されるようになる。したがって、本画像撮影の度に毎回遮光画像を取得することなく、後発的な欠陥画素の補正を好適に補正することを可能にした、撮像装置を提供することができる。
【０１２９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１３０】
［実施例２］
以下、本発明の第2の実施形態について、添付図面を参照して詳細に説明する。本実施形態は、概要としては第1の実施形態に示したものと同様であるため省略する。
【０１３１】
本実施例と第1の実施例とで異なるのは、暗電流補正モード１を実施した際に、欠陥画素情報を登録するか否かを、撮影条件に応じて決定する点である。
【０１３２】
欠陥画素の出力レベルは、撮影条件によって変化し、特に、感度が高く、蓄積時間が長く、固体撮像素子の温度が高い場合に高い出力レベルとなる。しかし、感度が低く、蓄積時間が短く、固体撮像素子の温度が低い場合であっても飽和するような高い出力レベルの欠陥画素については、正確な欠陥ランクの判定を行うことができない。
【０１３３】
例えば、図４の例において、出力レベルが10000で飽和するとする。個体撮像素子が35℃で、ISO100、1s蓄積を行い、出力レベルが10000である画素は、この撮影条件においては欠陥ランク1と判定される。しかし、蓄積時間を32sにした場合でも同じ欠陥画素の出力レベルは10000となるので、この時は、同じ画素が欠陥画素ランク3と判定されてしまう。
【０１３４】
このように、撮影条件によって、特に、感度が高く、蓄積時間が長く、固体撮像素子の温度が高い場合、欠陥ランクを、本来のランクより低く判定してしまう場合がある。
【０１３５】
実施例１では、誤って一旦本来より低いランクを割り当ててしまった欠陥画素に対しても、より高いランクの欠陥画素として再検出されれば、その画素を新しいランクの欠陥画素として登録できる。しかし、同一の画素を多重に記憶しておくことになるので、メモリ容量をひっ迫させてしまう。
【０１３６】
また、このような条件下では、画素ごとにランダムにばらつくノイズ成分も大きいため、このような、欠陥画素ではなく、ランダムノイズによってばらついた画素まで、欠陥画素として検出されることが予想される。欠陥画素ではない画素が誤検知され、欠陥画素として登録されることもまた、同様に、メモリ容量をひっ迫させてしまう。
【０１３７】
このような問題を防ぐために、本実施例では、暗電流補正モード１を実施した際に、欠陥画素情報を登録するか否かを、撮影条件と欠陥ランクに応じて、欠陥画素ごとに決定するものとする。
【０１３８】
図６に、温度情報、蓄積時間、感度設定ごとに、欠陥画素情報を登録するか否かを判定するためのテーブルの一例を示した。図６では、温度情報、蓄積時間、感度設定の指標によって、撮影条件図４に示した欠陥ランクの割り当てに沿って、欠陥ランクの誤判定が起こりうる撮影条件は、欠陥画素情報の登録を行わないようにしている。これにより、同一の欠陥画素が多重に登録されることを防ぐことができるので、メモリ容量を節約することが可能である。
【０１３９】
また、図６の様な判定を、確撮影条件におけるランダムノイズの大きさを指標に行う様にすれば、ランダムノイズによる、欠陥画素の誤検知の頻度を低減させることができるので、メモリ容量を節約することが可能である。
【０１４０】
尚、欠陥画素情報を不揮発性メモリに追加保存しない場合でも、欠陥画素として検出されるような出力レベルの画素の補正自体は実施することが好ましいので、揮発性メモリに一時記憶した欠陥画素情報を用いて、第4の本画像の補正は行うものとする。
【０１４１】
その際のフローチャートを図７に示した。図７のフローチャートにおけるステップS601からS605までは、図１（F）のステップS501からS505までに等しい。
【０１４２】
ステップS601で、第２の遮光画像２００２から、補正用画像２００３を減算する差分処理を行うことで、欠陥画素検出用画像２００４を得た、ステップS602へ進む。
【０１４３】
ステップS602で、欠陥画素検出用画像２００４から、所定レベル以上の画素を、後発的な欠陥画素として検出し、検出した欠陥画素のアドレスと、出力レベルとを取得する。また、各欠陥画素の出力レベルと、温度情報、感度設定、蓄積時間に基づき、図４に示す様に、画素ごとに欠陥ランクを決定し、ステップS603へ進む。
【０１４４】
ステップS603で、各々の欠陥画素アドレスと欠陥ランクとを、検出された欠陥画素情報３００２として、揮発性メモリに保存し、ステップS604へ進む。
【０１４５】
ステップS604で、第３の本画像に対して、新規検出された欠陥画素情報３００２を用いて欠陥画素補正を行い、検出された欠陥画素の信号がすべて補正された第４の本画像を得る。その後、ステップS605へ進む。
【０１４６】
ステップS605で、第４の本画像を画像メモリに記憶し、ステップS606へ進む。
【０１４７】
ステップS606で、欠陥画素情報を登録するか否かを判定する。この時の判定は、温度情報、蓄積時間、感度設定を用いて、例えば図６に記載したようなテーブルに基づいて行う。ここで、欠陥画素情報を登録すると判定されたら、ステップS607へ進む。欠陥画素情報を登録しないと判定されたら、欠陥画素検出・補正動作を終了する。
【０１４８】
ステップS607で、既に登録されている欠陥画素情報に加えて、検出された欠陥画素情報３００２を不揮発性メモリに追加保存し、欠陥画素検出・補正動作を終了する。
【０１４９】
以上の様に、ステップS606で欠陥画素情報を不揮発性メモリに追加保存するかどうかを判定することによって、欠陥画素が多重に登録されることを防ぐことができ、また、ランダムノイズによる、欠陥画素の誤検知の頻度を低減させることができる。したがって、メモリ容量を節約しつつも、本画像撮影の度に毎回遮光画像を取得することなく、後発的な欠陥画素の補正を好適に補正することを可能にした、撮像装置を提供することができる。
【０１５０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１５１】
３・・・固体撮像素子
１４・・・記憶手段としての不揮発性メモリ（ROM）
７・・・補正手段としての信号処理回路
【図１（ａ）】
2013187871.tif 000003
【図１（ｂ）】
2013187871.tif 000004
【図２】
2013187871.tif 000005
【図３】
2013187871.tif 000006
【図４】
2013187871.tif 000007
【図５】
2013187871.tif 000008
【図６】
2013187871.tif 000009
【図７】
2013187871.tif 000010
【図８】
2013187871.tif 000011