(57)【要約】  画像処理方法は、複数の画素（２１０）を備える撮像装置（１０）における画像生成方法であって、複数の画素（２１０）のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で第１撮像動作を行う第１撮像ステップ（Ｓ２２）と、第１撮像動作により取得された第１画素信号に基づいて第１画像データを生成する第１生成ステップ（Ｓ２４）とを含む。そして、第１オフセット値は、複数の画素（２１０）のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い。
2020246060.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を備える撮像装置における画像生成方法であって、
前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う第１撮像ステップと、
前記第１撮像動作により取得された第１画素信号に基づいて第１画像データを生成する第１生成ステップとを含み、
前記第１オフセット値は、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い
画像生成方法。
【請求項２】
さらに、
前記第２撮像動作を行う第２撮像ステップと、
前記第２撮像動作により取得された第２画素信号に基づいて第２画像データを生成する第２生成ステップと、
前記第２画像データから前記第１画像データの減算を行うことで、第３画像データを生成する第３生成ステップとを含む
請求項１に記載の画像生成方法。
【請求項３】
さらに、
前記第１画像データに基づいて、前記複数の画素のそれぞれにおいて前記第１画像データにおける当該画素の画素値が所定範囲外であるか否かの判定を行う判定ステップと、
前記判定ステップにおいて、前記画素値が前記所定範囲外であると判定された欠陥画素の位置を示す位置情報を格納する格納ステップとを含む
請求項１又は２に記載の画像生成方法。
【請求項４】
さらに、前記第１生成ステップで生成された前記第１画像データに対して、前記複数の画素のそれぞれのシェーディング特性に応じて、前記第１画像データにおける前記画素値を補正する補正ステップを含み、
前記判定ステップでは、前記補正ステップで補正された前記第１画像データに対して前記判定を行う
請求項３に記載の画像生成方法。
【請求項５】
前記補正ステップでは、前記複数の画素のうちの当該画素における前記画素値と、当該画素に対して一方向に位置する１以上の画素それぞれの前記画素値の第１平均値との差分が第３閾値以下である場合、当該画素の前記画素値と前記第１平均値との平均値である第２平均値を当該画素の前記画素値とし、前記差分が前記第３閾値より大きい場合、当該画素の前記画素値を前記第１平均値とすることで前記シェーディング特性を取得する
請求項４に記載の画像生成方法。
【請求項６】
前記第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した前記位置情報に基づく前記欠陥画素の前記第２画像データにおける画素値が前記第２オフセット値より低い信号レベルである第１閾値以下である場合、当該欠陥画素における前記減算を停止する
請求項２に記載の画像生成方法。
【請求項７】
前記第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した前記位置情報に基づく前記欠陥画素の前記第２画像データにおける画素値が前記第２オフセット値より高い信号レベルである第２閾値以上である場合、当該欠陥画素における前記減算を停止する
請求項２に記載の画像生成方法。
【請求項８】
前記第３生成ステップでは、前記減算を停止した前記欠陥画素の画素値を、当該欠陥画素の周囲に配置された画素の画素値に基づいて決定する
請求項６又は７に記載の画像生成方法。
【請求項９】
前記第２撮像動作における露光時間と、前記第１撮像動作における露光時間とは、等しい
請求項１〜８のいずれか１項に記載の画像生成方法。
【請求項１０】
前記撮像装置は、所定時間の露光を行う通常露光と、前記所定時間よりも長い露光を行う長秒露光とを実行可能であり、
前記第２撮像動作は、前記長秒露光により行われ、
前記第２オフセット値は、前記通常露光において基準となる信号レベルである第３オフセット値と同じ値である
請求項１〜９のいずれか１項に記載の画像生成方法。
【請求項１１】
複数の画素と、
前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部と、
前記第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部とを備え、
前記制御部は、前記第１オフセット値を、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する
撮像装置。
【請求項１２】
請求項１に記載の画像生成方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像生成方法、撮像装置、及び、プログラムに関する。
【背景技術】
【０００２】
従来、イメージセンサを用いて画像を撮像する撮像装置が知られている。このような撮像装置においては、イメージセンサの物理特性により、取得される画像にノイズが含まれることがある。そこで、撮像動作が行われた後に、シャッタを動作させてイメージセンサの受光面を遮光した状態でダミー撮像動作を行い、このダミー撮像動作により取得されたダミー撮像データを用いて撮像画像データを補正する電子カメラが開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１２５２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法では、ノイズの種類によっては、ノイズを適切に取得することができない場合がある。【０００５】
そこで、本開示は、従来よりもノイズを適切に取得することができる画像生成方法、撮像装置、及び、プログラムに関する。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本開示の一態様に係る画像生成方法は、複数の画素を備える撮像装置における画像生成方法であって、前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う第１撮像ステップと、前記第１撮像動作により取得された第１画素信号に基づいて第１画像データを生成する第１生成ステップとを含み、前記第１オフセット値は、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い。【０００７】
また、上記目的を達成するために、本開示の一態様に係る撮像装置は、複数の画素と、前記複数の画素のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部と、前記第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部とを備え、前記制御部は、前記第１オフセット値を、前記複数の画素のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する。【０００８】
また、上記目的を達成するために、本開示の一態様に係るプログラムは、上記の画像生成方法をコンピュータに実行させるためのプログラムである。【０００９】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ−ＲＯＭ等の非一時的記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。プログラムは、記録媒体に予め記憶されていてもよいし、インターネット等を含む広域通信網を介して記録媒体に供給されてもよい。
【発明の効果】
【００１０】
本開示の一態様に係る画像生成方法等によれば、従来よりもノイズを適切に取得することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態に係る撮像装置が内蔵されたカメラの構成を示すブロック図である。
【図２】図２は、実施の形態に係る撮像装置の構成を示すブロック図である。
【図３】図３は、実施の形態に係る画素の回路構成の一例を示す図である。
【図４】図４は、実施の形態に係る撮像装置において補正を行うときの動作を示すフローチャートである。
【図５】図５は、実施の形態に係る撮像装置において補正を行うときの動作を説明するための模式図である。
【図６】図６は、実施の形態に係る撮像装置において第１画像データを取得するときの動作を示すフローチャートである。
【図７】図７は、実施の形態に係る撮像装置において第３画像データを生成するときの動作を示すフローチャートである。
【図８Ａ】図８Ａは、黒つぶれしている画像データの一例を示す図である。
【図８Ｂ】図８Ｂは、白飛びしている画像データの一例を示す図である。
【図９】図９は、実施の形態に係る撮像装置において欠陥画素の位置情報を取得するときの動作を示すフローチャートである。
【図１０】図１０は、実施の形態に係る撮像装置におけるシェーディング特性の一例を示す図である。
【図１１】図１１は、実施の形態に係る撮像装置におけるシェーディング補正処理を説明するための図である。
【図１２】図１２は、実施の形態に係る撮像装置におけるシェーディング補正処理後の第１画像データを示す図である。
【図１３】図１３は、実施の形態に係る撮像装置が内蔵されたカメラの外観図である。
【図１４】図１４は、比較例に係る撮像装置において補正を行うときの動作を説明するための第１模式図である。
【図１５】図１５は、比較例に係る撮像装置において補正を行うときの動作を説明するための第２模式図である。
【発明を実施するための形態】
【００１２】
（本開示の基礎となった知見）
比較例に係る撮像装置において補正を行うときの動作について、図１４及び図１５を参照しながら説明する。図１４は、比較例に係る撮像装置において補正を行うときの動作を説明するための第１模式図である。図１４は、長秒露光による撮像において、白キズ及び黒キズのうち白キズのみが発生する場合を示している。
【００１３】
なお、本明細書において、白キズとは、画素欠陥により本来より明るい信号レベルが検出され、かつ、露光時間とともに成長する（増加する）ノイズである。言い換えると、白キズは、露光時間が長くなるほど、本来より明るい信号レベルが検出されるような正の値のノイズである。また、黒キズとは、画素欠陥により本来より暗い信号レベルが検出され、かつ、露光時間とともに成長する（増加する）ノイズである。言い換えると、黒キズは、露光時間が長くなるほど、本来より暗い信号レベルが検出されるような負の値のノイズである。
【００１４】
また、比較例に係る撮像装置は、シャッタを閉じた状態で撮像する第１撮像動作と、シャッタを開いた状態で撮像する第２撮像動作とを実行可能である。第１撮像動作は、例えば、第２撮像動作により生成された画像データに含まれるノイズを除去するための遮光データを生成するために行われる撮像動作である。第１撮像動作は、例えば、第２撮像動作の後に続けて行われる。第１撮像動作は、第２撮像動作と同じ露光条件（例えば、露光時間）で行われる。なお、第１撮像動作においては、遮光した状態で露光する（露光動作する）遮光露光を行う。第１撮像動作では、撮像装置１０のノイズだけを含む画像データ（遮光データ）を取得する。
【００１５】
第２撮像動作は、被写体を撮影して画像データを生成するために行われる撮像動作である。第２撮像動作は、例えば、所定時間より長い時間露光する長秒露光により行われ、例えば、３０秒以上シャッタを開いて行われる。なお、比較例に係る撮像装置は、上記に加えて、シャッタを開いた状態で所定時間露光する通常露光を行ってもよい。通常露光は、被写体を撮影して画像データを生成するための露光であり、例えば、３０秒より短い期間シャッタを開いて行う露光である。第２撮像動作は、通常露光により行われてもよい。
【００１６】
図１４の縦軸は、信号レベル（画素値）を示し、横軸は、画素位置を示す。図１４は、例えば、１ライン上に配置された複数の画素のそれぞれにおける信号レベルを示す。また、図１４に示す信号は、複数の画素からのアナログ信号がＡＤ変換された画像データであるとする。
【００１７】
図１４の（ａ）は、第２撮像動作（例えば、長秒露光）により取得された画像データ（長秒露光静止画データ）である。図１４の（ａ）に示すように、長秒露光により取得された画像データには、被写体の明るさに応じた信号成分と露光時間に応じた白キズによるノイズ成分とが含まれる。長秒露光では、当該白キズが顕著に現れる。なお、画像は、例えば、静止画であるが動画であってもよい。
【００１８】
図１４の（ｂ）は、第１撮像動作により取得された画像データ（長秒遮光露光データ）である。図１４の（ｂ）に示すように、第１撮像動作により取得された画像データには、露光時間に応じた白キズが含まれる。
【００１９】
図１４の（ｃ）は、図１４の（ａ）からノイズを除去する処理を行った画像データ（ノイズ減算後静止画データ）を示す。具体的には、図１４の（ｃ）に示す画像データは、図１４の（ａ）に示す画像データから図１４の（ｂ）に示す画像データを減算し、さらにオフセット値を加算した画像データを示す。図１４の（ｃ）に示すように、上記の処理により白キズが除去されていることがわかる。なお、オフセット値は、例えば、ダークノイズ（例えば、熱ノイズ）等によるノイズを除去するために設定される。オフセット値は、例えば、第２撮像動作において基準となる信号レベルである。オフセット値は、例えば、デジタル変換後の画像データに対して一定のオフセット信号成分を減算するときの値（信号レベル）を示す。
【００２０】
ここで、撮像装置が備える光電変換素子の物理的特性等によっては、白キズ及び黒キズの双方が発生することがある。このような光電変換素子を備える撮像装置において、上記と同様のノイズ除去を行う場合について、図１５を参照しながら説明する。図１５は、比較例に係る撮像装置において補正を行うときの動作を説明するための第２模式図である。図１５の縦軸は、信号レベルを示し、横軸は、画素位置を示す。
【００２１】
図１５の（ａ）は、第２撮像動作により取得された画像データである。図１５の（ａ）に示すように、第２撮像動作により取得された画像データには、被写体の明るさに応じた信号成分と露光時間に応じた白キズ及び黒キズによるノイズ成分とが含まれる。
【００２２】
図１５の（ｂ）は、第１撮像動作により取得された画像データである。図１５の（ｂ）に示すように、第１撮像動作により取得された画像データには、露光時間に応じた白キズ及び黒キズが含まれる。しかしながら、黒キズには、未検出となる成分が存在する。つまり、比較例に係る撮像装置は、ノイズ（図１５の（ｂ）の例では黒キズ）を適切に取得することができない。オフセット値の信号レベルが黒キズの信号レベル（黒キズの絶対値）より小さいため、このような現象が発生する。なお、図１５では、第１撮像動作及び第２撮像動作により取得された画像データのうち、第１撮像動作により取得された画像データにおいて未検出成分が存在する例について説明したが、未検出成分は第２撮像動作により取得された画像データにおいても存在する場合がある。
【００２３】
図１５の（ｃ）は、図１５の（ａ）からノイズを除去する処理を行った画像データを示す。具体的には、図１５の（ｃ）に示す画像データは、図１５の（ａ）に示す画像データから図１５の（ｂ）に示す画像データを減算し、さらにオフセット値を加算した画像データを示す。図１５の（ｃ）に示すように、白キズは除去できているが、黒キズは一部が除去できていないことがわかる。
【００２４】
このように、比較例に係るノイズ除去方法では、白キズに加えて黒キズが発生する場合に、黒キズを適切に除去することができない場合があった。そこで、本願発明者らは、白キズ及び黒キズの双方が発生する場合において、白キズ及び黒キズの双方を適切に取得することについて、鋭意検討を行った。そして、本願発明者らは、第１撮像動作のときのオフセット値を調整することで、上記の課題を解決することを見出した。以下、詳細に説明する。
【００２５】
以下では、本開示の画像生成方法、撮像装置、及び、プログラムについて、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本開示の好ましい一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。
【００２６】
なお、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００２７】
また、本明細書において、等しいなどの要素間の関係性を示す用語、並びに、数値、および、数値範囲は、厳格な意味のみを表す表現ではなく、実質的に同等な範囲、例えば数％程度の差異をも含むことを意味する表現である。
【００２８】
（実施の形態）
以下、本実施の形態について、図１〜図１３を参照しながら説明する。
【００２９】
［１．カメラの全体構成］
まず、本実施の形態に係る撮像装置１０及び当該撮像装置１０を備えるカメラ１の構成について、図１及び図２を参照しながら説明する。図１は、本実施の形態に係る撮像装置１０が内蔵されたカメラ１の構成を示すブロック図である。図２は、本実施の形態に係る撮像装置１０の構成を示すブロック図である。図２は、固体撮像装置１００の構成を詳細に示すブロック図である。なお、図２では、シャッタ４００の図示を省略している。
【００３０】
図１に示すように、本実施の形態に係るカメラ１は、撮像装置１０と、レンズ６００と、表示部７００と、操作部８００とを備える。
【００３１】
撮像装置１０は、ユーザからの操作（入力）に応じて、被写体を撮影し、撮影した画像データに所定の信号処理を施す。撮像装置１０は、長秒露光、遮光露光、及び、通常露光を行う。長秒露光及び通常露光は、レンズ６００等によって被写体像が撮像素子（本実施の形態では、後述する有機光電変換素子）上に結像した状態で行われる露光である。長秒露光及び通常露光は、被写体を撮影した画像データを取得するために行われる。長秒露光は、通常露光より露光時間が長く、例えば、夜景又は夜空などを撮影するときに行われる。通常露光は、長秒露光より露光時間が短い、つまり通常露光時間であり、例えば、通常の撮影を行うときに行われる。長秒露光及び通常露光では、撮像における基準となる信号レベルは、後述する第２オフセット値に設定される。
【００３２】
一方、遮光露光は、シャッタ４００等によって被写体像の結像が遮断された状態で行われる露光である。遮光露光は、長秒露光などにより取得された画像データからノイズ（白キズ及び黒キズを含むノイズ）を除去するため、又は、欠陥画素を特定するための画像データを取得するために行われる。遮光露光は、例えば、長秒露光により取得された画像データからノイズを除去する場合、当該長秒露光と同じ露光時間行われる。遮光露光では、撮像における基準となる信号レベルは、後述する第１オフセット値に設定される。
【００３３】
遮光露光は、長秒露光及び通常露光のうち、長秒露光が行われた場合のみ実行されてもよい。長秒露光を行う長秒露光モードと通常露光を行う通常露光モードとは、操作部８００により切り替え可能である。なお、長秒露光及び通常露光は、透過露光の一例である。以下では、透過露光が長秒露光である例について説明する。
【００３４】
撮像装置１０は、固体撮像装置１００と、信号処理部３００と、シャッタ４００と、制御部５００とを有する。図２に示すように、さらに、固体撮像装置１００は、画素アレイ部１１０と、列ＡＤ変換部１２０と、行走査部１３０と、列走査部１４０と、駆動制御部１５０とを有する。また、画素アレイ部１１０及びその周辺領域には、画素列ごとに列信号線１６０が配置され、画素行ごとに走査線１７０が配置されている。
【００３５】
画素アレイ部１１０は、複数の画素２１０が行列状に配置された撮像部である。
【００３６】
列ＡＤ変換（アナログ／デジタルコンバータ）部１２０は、各列信号線１６０から入力された信号（アナログの画素信号）をデジタル変換することで、画素２１０の受光量に対応するデジタル値（デジタルの画素信号）を取得、保持及び出力する変換部である。
【００３７】
行走査部１３０は、行単位で画素２１０のリセット動作、電荷の蓄積動作、及び、読み出し動作を制御する。
【００３８】
列走査部１４０は、列ＡＤ変換部１２０に保持された一行分のデジタル値を行信号線１８０へ順次出力させることで、信号処理部３００にデジタル値を出力する。
【００３９】
駆動制御部１５０は、行走査部１３０及び列走査部１４０に対して各種制御信号を供給することにより、各部を制御する。駆動制御部１５０は、例えば、制御部５００からの制御信号に基づいて、行走査部１３０及び列走査部１４０に対して各種制御信号を供給する。
【００４０】
本実施の形態に係る撮像装置１０は、例えば、静止画を撮像するための撮像装置であるが、動画を撮影するための撮像装置であってもよい。
【００４１】
なお、撮像装置１０は、外部の回路と、固体撮像装置１００、信号処理部３００、及び、制御部５００の少なくとも１つとの間で通信を行うためのインターフェース（図示しない）を備えていてもよい。インターフェースは、一例として、半導体集積回路からなる通信ポートなどである。
【００４２】
図１を再び参照して、レンズ６００は、光軸方向に沿って駆動可能なレンズ系が含まれており、当該レンズ系を光軸方向に駆動することにより、撮像装置１０の外部からの光を画素アレイ部１１０に集光するように構成されている。
【００４３】
表示部７００は、信号処理部３００で生成した画像を表示可能な表示デバイスであり、例えば、液晶モニタなどである。また、表示部７００は、カメラにおける各種の設定情報が表示可能である。例えば、表示部７００は、撮像時の撮像条件（絞りやＩＳＯ感度など）を表示可能である。
【００４４】
操作部８００は、ユーザからの入力を受け付ける入力部であり、例えば、レリーズボタン又はタッチパネルなどである。例えば、タッチパネルは液晶モニタに接着されている。操作部８００は、ユーザからの撮像の指示や撮像条件の変更などを受け付ける。なお、操作部８００は、ユーザからの入力を音声又はジェスチャなどにより取得してもよい。
【００４５】
［２．固体撮像装置の構成］
続いて、固体撮像装置１００の構成について、さらに図３を参照しながら詳細に説明する。図３は、本実施の形態に係る画素２１０の回路構成の一例を示す図である。
【００４６】
［２−１．画素］
図３に示すように、画素２１０は、光電変換素子２１１と、リセットトランジスタ２１２と、増幅トランジスタ２１３と、選択トランジスタ２１４と、電荷蓄積部２１５とを有する。
【００４７】
光電変換素子２１１は、受光した光を信号電荷（画素電荷）に光電変換する光電変換部である。具体的には、光電変換素子２１１は、上部電極２１１ａと、下部電極２１１ｂと、両電極に挟まれた光電変換膜２１１ｃとで構成されている。光電変換膜２１１ｃは、受光した光に応じて電荷を発生する光電変換材料で構成された膜であり、本実施の形態では、高い光吸収機能を有する有機分子を含む有機光電変換膜で構成されている。言い換えると、本実施の形態に係る光電変換素子２１１は有機光電変換膜を有する有機光電変換素子であり、固体撮像装置１００は有機光電変換素子を用いた有機センサである。なお、有機光電変換膜は、複数の画素２１０に跨って形成されている。複数の画素２１０のそれぞれは、有機光電変換膜を有する。
【００４８】
有機光電変換膜は、有機光電変換膜に印加する電圧を可変することで、光の透過率が変化する。つまり、有機光電変換膜に印加する電圧を調整することでシャッタ機能が実現できる。これにより、有機光電変換膜を有する複数の画素２１０の全てを実質的に同時に遮光状態とすることができるので、メモリなどの素子を追加することなく、グローバルシャッタを実現することができる。よって、ローリングシャッタによる読み出しにより生じていた歪み（ローリング歪み）を低減することができる。
【００４９】
光電変換膜２１１ｃの厚さは、例えば、約５００ｎｍである。また、光電変換膜２１１ｃは、例えば、真空蒸着法を用いて形成される。上記有機分子は、波長約４００ｎｍから約７００ｎｍの可視光全域にわたって高い光吸収機能を有する。
【００５０】
なお、本実施の形態に係る画素２１０が有する光電変換素子２１１は、上述した有機光電変換膜で構成されていることに限定されず、例えば、無機材料で構成されたフォトダイオードなどであってもよい。
【００５１】
上部電極２１１ａは、下部電極２１１ｂと対向する電極であり、光電変換膜２１１ｃ上に光電変換膜２１１ｃを覆うように形成されている。つまり、上部電極２１１ａは、複数の画素２１０に跨がって形成されている。上部電極２１１ａは、光電変換膜２１１ｃに光を入射させるため、透明な導電性材料（例えば、ＩＴＯ：酸化インジウムスズ）で構成されている。
【００５２】
下部電極２１１ｂは、対向する上部電極２１１ａとの間にある光電変換膜２１１ｃで発生した電子又は正孔を取り出すための電極である。下部電極２１１ｂは、画素２１０ごとに形成されている。下部電極２１１ｂは、例えば、Ｔｉ、ＴｉＮ、Ｔａ、Ｍｏなどで構成されている。
【００５３】
電荷蓄積部２１５は、光電変換素子２１１に接続され、下部電極２１１ｂを介して取り出された信号電荷を蓄積する。
【００５４】
リセットトランジスタ２１２は、ドレインにリセット電圧ＶＲＳＴが供給され、ソースが電荷蓄積部２１５に接続され、電荷蓄積部２１５の電位をリセット（初期化）する。具体的には、リセットトランジスタ２１２のゲートに、リセット用走査線１７０Ａを介して行走査部１３０から所定の電圧が供給される（オンされる）ことで、リセットトランジスタ２１２は電荷蓄積部２１５の電位をリセットする。また、所定の電圧の供給を停止することで、電荷蓄積部２１５に信号電荷が蓄積される（露光が開始される）。
【００５５】
なお、本実施の形態において、長秒露光の開始前にリセットトランジスタ２１２のドレインに供給される第２リセット電圧ＶＲＳＴ２と、遮光露光の開始前にリセットトランジスタ２１２のドレインに供給される第１リセット電圧ＶＲＳＴ１とは、異なる電圧である。
【００５６】
増幅トランジスタ２１３は、ゲートが電荷蓄積部２１５に接続され、ドレインに電源電圧ＶＤＤが供給され、電荷蓄積部２１５に蓄積された信号電荷の電荷量に応じたアナログの画素信号を出力する。
【００５７】
選択トランジスタ２１４は、ドレインが増幅トランジスタ２１３のソースに接続され、ソースが列信号線１６０に接続され、増幅トランジスタ２１３からのアナログの画素信号を出力するタイミングを決定する。具体的には、選択トランジスタ２１４のゲートに、選択用走査線１７０Ｂを介して行走査部１３０から所定の電圧が供給されることで、増幅トランジスタ２１３からアナログの画素信号が出力される。
【００５８】
上記の構成を有する画素２１０は、非破壊読み出しが可能である。ここで、非破壊読み出しとは、露光中に、電荷蓄積部２１５に蓄積した電荷（信号電荷）を破壊せずに、その電荷量に応じたアナログの画素信号を読み出すことを意味する。なお、露光中とは、露光期間内の任意のタイミングを意味するものとして使用する。
【００５９】
［２−２．その他の構成］
列ＡＤ変換部１２０は、列信号線１６０ごとに設けられたＡＤ変換器１２１で構成されている。ＡＤ変換器１２１は、例えば、１４ｂｉｔのＡＤ変換器である。ＡＤ変換器１２１は、例えば、画素２１０から出力されたアナログの画素信号をランプ方式でデジタル変換することで、画素２１０での受光量に対応するデジタル値を出力する。ＡＤ変換器１２１は、コンパレータ及びアップダウンカウンタ（図示しない）を有する。
【００６０】
ここで、ランプ方式によるＡＤ変換とは、ランプ波を用いたＡＤ変換であり、アナログの画素信号（入力信号）が入力されると、一定の傾斜で電圧が上昇するランプ波を立ち上げ、その立ち上げ時点から、両信号（入力信号とランプ波）の電圧が一致するまでの時間を計測し、その計測時間をデジタル値で出力する方式である。コンパレータは、アナログの画素信号（入力信号）の電圧と、ランプ波として入力される参照信号の電圧とを比較し、参照信号の電圧が列信号の電圧と一致するタイミングを示す信号を出力する。
【００６１】
アップダウンカウンタは、コンパレータに参照信号が入力されてからその参照信号が基準成分を示すアナログの画素信号の電圧に達するまでの期間においてダウンカウント（あるいは、アップカウント）し、続いて、コンパレータに参照電圧が入力されてからその参照信号が信号成分を示すアナログの画素信号の電圧に達するまでの期間においてアップカウント（あるいは、ダウンカウント）することで、アナログの画素信号の信号成分から基準成分を差し引いた差分に相当するデジタルの画素信号を最終的に保持する。基準成分を示すアナログの画素信号は、リセットレベル（例えば、第２オフセット値）のときに画素２１０からＡＤ変換器１２１に出力される画素信号である。また、信号成分を示すアナログの画素信号は、露光動作により電荷が蓄積されたときに画素２１０からＡＤ変換器１２１に出力される画素信号である。
【００６２】
各アップダウンカウンタに保持されたデジタル値は、順次、行信号線１８０に出力され、出力回路（図示しないが、出力バッファなど）を介して、信号処理部３００に出力される。
【００６３】
駆動制御部１５０は、行走査部１３０及び列走査部１４０を制御することにより、画素２１０におけるリセット動作、電荷の蓄積動作、及び読み出し動作、又はＡＤ変換器１２１から信号処理部３００へのデジタルの画素信号の出力動作を制御する。
【００６４】
駆動制御部１５０は、例えば、制御部５００から読み出しの指示を受け付けると、行走査部１３０を制御し、順次選択用走査線１７０Ｂに所定の電圧を印加させ、アナログの画素信号をＡＤ変換部１２０へ出力させる。また、駆動制御部１５０は、列走査部１４０を制御し、ＡＤ変換器１２１に保持されているデジタルの画素信号を順次信号処理部３００へ出力させる。
【００６５】
［３．信号処理部の構成］
続いて、信号処理部３００について、図１を参照しながら説明する。
【００６６】
信号処理部３００は、固体撮像装置１００から取得したデジタルの画素信号に所定の信号処理を行い、画像データを生成し、生成した画像データを格納及び出力する処理を行う。信号処理部３００は、例えば、生成した画像データを表示部７００に出力する。また、信号処理部３００は、例えば、記憶部３６０又は外部の記憶装置（例えば、ＵＳＢメモリなど）に画像データを格納する。
【００６７】
図１に示すように、信号処理部３００は、生成部３１０と、第１判定部３２０と、第１補正部３３０と、第２補正部３４０と、第２判定部３５０と、記憶部３６０とを有する。第１判定部３２０及び第１補正部３３０は、第２撮像動作により取得した画像データから白キズ及び黒キズを除去する処理を実行するために設けられる。また、第２補正部３４０及び第２判定部３５０は、欠陥画素を検出する処理（ピクセルリフレッシュ）を実行するために設けられる。欠陥画素は、例えば、上記の白キズ又は黒キズが発生する画素を意味する。
【００６８】
生成部３１０は、固体撮像装置１００から取得したデジタルの画素信号に所定の信号処理を行い、画像データを生成する処理部である。生成部３１０は、例えば、第１撮像動作により取得されたデジタルの画素信号（第１画素信号の一例）に基づいて画像データ（第１画像データの一例）を生成し、第２撮像動作により取得されたデジタルの画素信号（第２画素信号の一例）に基づいて画像データ（第２画像データの一例）を生成する。
【００６９】
第１判定部３２０は、生成部３１０が生成した第２画像データに黒つぶれ又は白飛びした画素が含まれているか否かを判定する処理部である。本実施の形態では、第１判定部３２０は、欠陥画素及び欠陥画素ではない画素２１０のうち、欠陥画素のみについて、上記の判定を行う。
【００７０】
第１補正部３３０は、第２画像データを補正することで白キズ及び黒キズを除去するためのノイズ除去処理を行う処理部である。第１補正部３３０は、第２画像データと第１画像データとに基づいて、白キズ及び黒キズが除去された第３画像データを生成する。具体的には、第１補正部３３０は、生成部３１０から取得した第１画像データ及び第２画像データと、第１判定部３２０から取得した判定結果とに基づいて、第２画像データから第１画像データを減算することで、第３画像データを生成する。
【００７１】
第２補正部３４０は、生成部３１０から取得した第１画像データに対して、複数の画素２１０それぞれのシェーディング特性に応じた補正処理を行う処理部である。第２補正部３４０は、例えば、１以上のフィルタを有する。本実施の形態では、第２補正部３４０は、ＩＩＲ（Ｉｎｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタ３４１を有する。ＩＩＲフィルタ３４１は、例えば、複数の画素２１０のそれぞれがシェーディング特性を有する場合、複数の画素２１０のそれぞれのシェーディング量（例えば、局所シェーディング量）を求めるために用いられる。
【００７２】
なお、第２補正部３４０は、ＩＩＲフィルタ３４１以外のフィルタを有していてもよいが、より正確な局所シェーディング量を求める観点からＩＩＲフィルタ３４１を有していることが好ましい。詳細は後述するが、ＩＩＲフィルタ３４１は、白キズ及び黒キズの成分を有する第１画像データから当該白キズ及び黒キズの成分を除去することができるので、より正確な局所シェーディング量を求めることができる（図１１を参照）。
【００７３】
第２判定部３５０は、第２補正部３４０から取得した補正処理された第１画像データに基づいて、複数の画素２１０の中から、欠陥画素を特定するための処理を行う処理部である。第２判定部３５０は、例えば、第１画像データにおいて、複数の画素２１０のそれぞれにおける当該画素２１０の画素値が所定範囲外であるか否かの判定を行うことで、欠陥画素を特定する。第２判定部３５０は、欠陥画素である画素２１０の位置を示す位置情報を記憶部３６０に格納する。
【００７４】
記憶部３６０は、信号処理部３００の各処理部が実行するプログラム及び当該プログラムの実行に必要な情報などを格納する記憶装置である。記憶部３６０は、半導体メモリなどが例示される。記憶部３６０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、又は、強誘電体メモリなどで実現されてもよい。なお、記憶部３６０は、撮像装置１０が有していればよく、信号処理部３００が有していなくてもよい。また、記憶部３６０は、信号処理部３００の各処理部のワークメモリとしても機能する。
【００７５】
シャッタ４００は、レンズ６００からの光束が画素アレイ部１１０へ到達する時間を制御するものであり、例えばフォーカルプレーンシャッタなどの、シャッタ幕を走行させる構成のメカニカルシャッタである。このシャッタ４００の開閉動作は、制御部５００により制御される。
【００７６】
制御部５００は、撮像装置１０の各種構成要素を制御する。制御部５００は、操作部８００からの入力に基づいて、固体撮像装置１００、信号処理部３００、及び、シャッタ４００を制御する。制御部５００は、例えば、固体撮像装置１００を駆動し、固体撮像装置１００からのデジタルの画素信号を信号処理部３００に出力させる。また、制御部５００は、有機光電変換膜に印加する電圧を調整することで、露光の開始と露光の終了とを制御してもよい。制御部５００は、例えば、有機光電変換膜に所定の電圧を印加することで透過状態とし、有機光電変換膜への電圧の印加を停止することで遮光状態とする。
【００７７】
また、制御部５００は、信号処理部３００を制御することで、所定の信号処理を実行させる。また、制御部５００は、固体撮像装置１００とシャッタ４００の開閉とを制御することで、第１撮像動作と第２撮像動作とを切り替える。
【００７８】
本実施の形態では、制御部５００は、さらに、リセットトランジスタ２１２のドレインに供給されるリセット電圧ＶＲＳＴを第１撮像動作時と第２撮像動作時とで異ならせるように固体撮像装置１００を制御する。具体的には、制御部５００は、第１撮像動作時のオフセット値（第１オフセット値の一例）が第２撮像動作時のオフセット値（第２オフセット値の一例）より高くなるように、リセット電圧ＶＲＳＴを供給するための電源（図示しない）を制御する。
【００７９】
なお、制御部５００は、操作部８００がユーザから撮像の指示を受け付けると、レンズ６００（具体的には、レンズ６００の位置を制御するモータ）を制御し、外部からの光の集光度合などを調整してもよい。
【００８０】
制御部５００は、例えば、メモリ（図示しない）からプログラムを読み出し、読み出しプログラムを実行することで上記の処理を実行する。
【００８１】
［４．撮像装置の処理］
次に、撮像装置１０が実行する処理について図４〜図１２を参照しながら説明する。まず、撮像して取得した画像データに含まれる白キズ及び黒キズを除去する処理について、図４〜図８Ｂを参照しながら説明する。図４は、本実施の形態に係る撮像装置１０において補正を行うときの動作を示すフローチャートである。図５は、本実施の形態に係る撮像装置１０において補正を行うときの動作を説明するための模式図である。なお、図５の（ａ）〜図５の（ｆ）のそれぞれにおいて、縦軸は信号レベルを示しており、横軸は画素位置を示している。
【００８２】
図４に示すように、撮像装置１０は、第２撮像動作により画像データ（第２画像データの一例）を取得する（Ｓ１０）。第２撮像動作は、例えば、長秒露光により行われ、シャッタ４００が開いた状態（透過状態）、かつ、電荷蓄積部２１５に電荷が蓄積される状態で、第１期間（例えば、３０秒〜６０秒程度）の露光を行う。言い換えると、ステップＳ１０において、第１期間の電荷の蓄積が実行される。
【００８３】
具体的には、ステップＳ１０において、制御部５００は、シャッタ４００を閉じた状態（遮光状態）で、リセットトランジスタ２１２をオンすることで、電荷蓄積部２１５の電位をリセットする。このときの第２リセット電圧ＶＲＳＴ２は、第２オフセット値に対応した電圧値（第２リセット電圧）である。そして、制御部５００は、シャッタ４００を制御することでシャッタ４００を開いて光電変換素子２１１が受光可能な状態とし、かつ、リセットトランジスタ２１２をオフする。これにより、電荷蓄積部２１５に光電変換素子２１１の受光量に応じた電荷が蓄積される。
【００８４】
そして、制御部５００は、第１期間の露光が終了すると、駆動制御部１５０を制御し、蓄積された電荷に応じたデジタルの画素信号を順次信号処理部３００へ出力させる。
【００８５】
これにより、信号処理部３００は、例えば、図５の（ａ）に示すように、白キズ及び黒キズを含む画像データを取得する。生成部３１０は、取得した画像データに所定の処理を施す。生成部３１０は、例えば、取得した画像データに対してオフセット減算を実行する（具体的には、画像データから第２オフセット値を減算する）ことで、例えば、図５の（ｂ）に示すようなオフセット減算した画像データ（第２画像データの一例）を生成する。オフセット減算は、画像データから一定のオフセット信号成分を減算するための処理である。本実施の形態では、オフセット減算では、画像データから第２オフセット値が減算される。第２オフセット値は、第２撮像動作において基準となる信号レベルである。
【００８６】
生成部３１０は、生成した第２画像データを第１判定部３２０及び第１補正部３３０に出力する。ステップＳ１０は、第２撮像ステップ及び第２生成ステップの一例である。
【００８７】
次に、撮像装置１０は、第１撮像動作により画像データ（第１画像データの一例）を取得する（Ｓ２０）。第１撮像動作は、シャッタ４００が閉じた状態（遮光状態）、かつ、電荷蓄積部２１５に電荷が蓄積される状態で、第１期間行われる露光である。ステップＳ１０及びＳ２０の露光時間は、例えば、同じ時間である。なお、ステップＳ２０における露光時間は、遮光状態で電荷を蓄積する期間である。
【００８８】
ここで、第１撮像動作により画像データを取得する処理について、図６を参照しながら説明する。図６は、本実施の形態に係る撮像装置１０において第１画像データを取得するときの動作を示すフローチャートである。
【００８９】
図６に示すように、制御部５００は、第１撮像動作において基準となる信号レベルである第１オフセット値を第２オフセット値より高い値に設定する（Ｓ２１）。具体的には、制御部５００は、第１リセット電圧ＶＲＳＴ１の電圧値を制御することで、第１オフセット値を第２オフセット値より高い値とする。言い換えると、制御部５００は、第１撮像動作における信号レベルの基準値が第１オフセット値に対応する信号レベルとなるように第１リセット電圧ＶＲＳＴ１の電圧値を制御する。なお、第２オフセット値は、第１オフセット値より前に設定される。第２オフセット値は、露光時間などに応じて予め設定されており、記憶部３６０に記憶されていてもよい。
【００９０】
このように、制御部５００は、遮光して電荷を蓄積する（遮光データを取得する）ときのオフセット値を、遮光せずに電荷を蓄積する（画像データを取得する）ときのオフセット値より高い値に設定する。
【００９１】
制御部５００は、白キズ及び黒キズの両方において、未検出となる成分が存在しないように、第１オフセット値を設定するとよい。制御部５００は、デジタル変換後の信号レベル（画素値）の最大値の１０％〜９０％の間の信号レベルに第１オフセット値を設定するとよい。制御部５００は、より好ましくは信号レベル（画素値）の最大値の２０％〜８０％の間、さらに好ましくは信号レベル（画素値）の最大値の３０％〜７０％の間に第１オフセット値を設定するとよい。また、制御部５００は、白キズ及び黒キズの信号レベルが同程度である場合、信号レベル（画素値）の最大値のおよそ５０％に第２オフセット値を設定してもよい。制御部５００は、デジタル変換後の信号レベル（画素値）が１４ｂｉｔ（０〜１６３８３）で示される場合、第１オフセット値を画素値８０００程度に設定してもよい。
【００９２】
制御部５００は、ステップＳ２１において、まずシャッタ４００を閉じた状態（遮光状態）で、リセットトランジスタ２１２をオンすることで、電荷蓄積部２１５の電位をリセットする。このときの第１リセット電圧ＶＲＳＴ１は、第１オフセット値に対応した電圧値である。第１リセット電圧は、第２リセット電圧とは異なる電圧である。第１リセット電圧は、例えば、第２リセット電圧より高い電圧である。
【００９３】
次に、制御部５００は、第１撮像動作を実行するように制御する（Ｓ２２）。制御部５００は、オフセット値を第１オフセット値とし、遮光状態で電荷の蓄積を行わせる。具体的には、制御部５００は、シャッタ４００を閉じた状態（遮光状態）のまま、リセットトランジスタ２１２をオフすることで、第２期間の電荷の蓄積を行わせる。これにより、電荷蓄積部２１５に画素欠陥に応じた電荷が蓄積される。このとき、欠陥のない画素２１０の電荷蓄積部２１５には、実質的に電荷は蓄積されない。欠陥のない画素２１０の電荷蓄積部２１５は、第２リセット電圧に応じた電荷が蓄積されたままである。ステップＳ２２は、第１撮像ステップの一例である。
【００９４】
なお、第１期間の長さと第２期間の長さとは、例えば、等しい。これにより、生成される第１画像データに含まれる白キズ及び黒キズの信号強度は、第２画像データに含まれる白キズ及び黒キズの信号強度と等しくなるので、後述する処理により効果的に白キズ及び黒キズを除去することができる。第１画像データに含まれる白キズの信号強度は、白キズが発生している画素２１０の信号レベルと、当該画素２１０において白キズが発生していなかった場合の信号レベルとの差分を意味する。また、第１画像データに含まれる黒キズの信号強度は、黒キズが発生している画素２１０の信号レベルと、当該画素２１０において黒キズが発生していなかった場合の信号レベルとの差分を意味する。なお、また、第１期間と第２期間とは、等しいことに限定されない。
【００９５】
次に、生成部３１０は、第１期間の電荷の蓄積が終了すると、固体撮像装置１００から画素信号（第１画素信号）を取得する（Ｓ２３）。具体的には、制御部５００が駆動制御部１５０を制御し、蓄積された電荷に応じたデジタルの画素信号を順次信号処理部３００（例えば、生成部３１０）へ出力させる。これにより、信号処理部３００は、例えば、図５の（ｃ）に示すように、白キズ及び黒キズを含む画像データを取得する。
【００９６】
次に、生成部３１０は、取得した画像データに所定の処理を施すことで第１画像データを生成する（Ｓ２４）。生成部３１０は、例えば、取得した画像データに対してオフセット減算を実施する（具体的には、画像データから第１オフセット値を減算する）ことで、例えば、図５の（ｄ）に示すようなオフセット減算した画像データ（第１画像データの一例）を取得する。ステップＳ２４は、第１生成ステップの一例である。
【００９７】
生成部３１０は、生成した第１画像データを第１補正部３３０に出力する。また、このとき生成部３１０は、さらに、生成した第１画像データを第２補正部３４０に出力してもよい。これにより、被写体を撮像する処理において生成された第１画像データを用いて、後述する欠陥画素を特定する処理を実行することができる。
【００９８】
図４を再び参照して、次に、信号処理部３００は、第２画像データから第１画像データの減算を行うことで、第３画像データを生成する（Ｓ３０）。信号処理部３００は、例えば、図５の（ｂ）に示す画像データ（第２画像データの一例）から図５の（ｄ）に示す画像データ（第１画像データの一例）を減算することで、図５の（ｅ）に示す画像データ（ダーク減算後静止画データ）を生成し、当該画像データに第２オフセット値を加算することで図５の（ｆ）に示す画像データ（オフセット加算後静止画データ）を生成する。図５の（ｆ）に示す画像データは、第３画像データの一例である。また、ステップＳ３０は、第３生成ステップの一例である。
【００９９】
ここで、第３画像データを生成する処理について、図７を参照しながら説明する。図７は、本実施の形態に係る撮像装置１０において第３画像データを生成するときの動作を示すフローチャートである。
【０１００】
図７に示すように、まず第１判定部３２０は、欠陥画素の位置を示す位置情報を取得する（Ｓ３１）。第１判定部３２０は、例えば、記憶部３６０に格納されている欠陥画素の位置情報を読み出す。
【０１０１】
次に、第１判定部３２０は、画素ごとに、当該画素（判定を行う対象である対象画素）が欠陥画素であるか否かを判定する（Ｓ３２）。第１判定部３２０は、例えば、欠陥画素の位置情報に基づいて、上記の判定を行う。
【０１０２】
次に、第１判定部３２０は、対象画素が欠陥画素である場合（Ｓ３２でＹｅｓ）、画像データ（例えば、画像データで示される画像）が黒つぶれしているか否かを判定する（Ｓ３３）。第１判定部３２０は、当該欠陥画素における画素値に基づいて、黒つぶれしているか否かの判定を行う。黒つぶれとは、例えば、当該結果画素における画素値が第２オフセット値以下であることを意味する。
【０１０３】
具体的には、第１判定部３２０は、取得した位置情報により特定される欠陥画素における画素値が第１閾値以下であるか否かを判定する。そして、第１判定部３２０は、欠陥画素の画素値が第１閾値以下である場合に、当該欠陥画素が黒つぶれしていると判定する。なお、第１閾値は、例えば、黒つぶれしているか否かを判定可能な値に設定される。第１閾値は、例えば、第２オフセット値と信号レベル（画素値）が等しい、又は、第２オフセット値より信号レベル（画素値）が若干高い値（例えば、第２オフセット値の信号レベルに対して、１．１倍程度の値）である。
【０１０４】
図８Ａは、黒つぶれしている画像データの一例を示す。図８Ａに示すように欠陥画素の画素値が第１閾値以下である場合、第１判定部３２０は、当該欠陥画素が黒つぶれしていると判定する。
【０１０５】
第１判定部３２０は、ステップＳ３３において、さらに、黒つぶれしている当該欠陥画素の周囲の画素２１０が黒つぶれしているか否かを判定してもよい。第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０（正常画素）の画素値と、第１閾値とに基づいて、欠陥画素の周囲に配置された画素２１０が黒つぶれしているか否かを判定してもよい。
【０１０６】
第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０のうち少なくとも１つの画素２１０の画素値が第１閾値以下である場合、当該欠陥画素の周囲の画素２１０は黒つぶれしていると判定する。例えば、図８Ａは、欠陥画素の周囲の画素２１０が黒つぶれしていない場合を示している。
【０１０７】
第１判定部３２０は、欠陥画素が黒つぶれしていると判定する（Ｓ３３でＹｅｓ）と、当該判定結果を第１補正部３３０に出力する（Ｓ３４）。第１判定部３２０は、例えば、黒つぶれしている欠陥画素を特定するための情報を第１補正部３３０に出力する。そして、ステップＳ３５に進む。
【０１０８】
第１判定部３２０は、画像データ（例えば、画像データで示される画像）が黒つぶれしていないと判定する（Ｓ３３でＮｏ）と、さらに、画像データ（例えば、画像データで示される画像）が白飛びしているか否かを判定する（Ｓ３６）。白飛びとは、例えば、当該欠陥画素における画素値（信号レベル）が飽和していることを意味する。
【０１０９】
具体的には、第１判定部３２０は、例えば、ステップＳ３３でＮｏと判定された欠陥画素における画素値が第２閾値以上であるか否かを判定する。そして、第１判定部３２０は、欠陥画素の画素値が第２閾値以上である場合に、画像データ（例えば、画像データで示される画像）が白飛びしていると判定する。なお、第２閾値は、例えば、白飛びしているか否かを判定可能な値に設定される。第２閾値は、例えば、第１オフセット値より信号レベル（画素値）が大きな値である。第２閾値は、例えば、撮像装置１０が取る得る画素値の最大値に設定されてもよい。
【０１１０】
図８Ｂは、白飛びしている画像データの一例を示す。図８Ｂに示すように欠陥画素の画素値が第２閾値以上である場合、第１判定部３２０は、当該欠陥画素が白飛びしていると判定する。
【０１１１】
第１判定部３２０は、ステップＳ３６において、さらに、白飛びしている当該欠陥画素の周囲の画素２１０が白飛びしているか否かを判定してもよい。第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０（正常画素）の画素値と、第２閾値とに基づいて、欠陥画素の周囲に配置された画素２１０が白飛びしているか否かを判定してもよい。
【０１１２】
第１判定部３２０は、例えば、当該欠陥画素の周囲に配置された画素２１０のうち少なくとも１つの画素２１０の画素値が第２閾値以上である場合、当該欠陥画素の周囲の画素２１０は白飛びしていると判定する。例えば、図８Ｂは、欠陥画素の周囲の画素２１０が白飛びしている場合（言い換えると、飽和している場合）を示している。
【０１１３】
第１判定部３２０は、画像データ（例えば、画像データで示される画像）が白飛びしていると判定する（Ｓ３６でＹｅｓ）と、当該判定結果を第１補正部３３０に出力する（Ｓ３７）。第１判定部３２０は、例えば、白飛びしている欠陥画素を特定するための情報を第１補正部３３０に出力する。そして、ステップＳ３５に進む。
【０１１４】
なお、第１閾値及び第２閾値は、例えば、予め記憶部３６０に格納されている。
【０１１５】
黒つぶれ又は白飛びしている場合、長秒露光において、黒キズ又は白キズの未検出成分が存在する。図８Ａの例では、第１閾値以下の黒キズの成分が未検出成分である。また、図８Ｂの例では、第２閾値以上の白キズの成分が未検出成分である。このように黒キズ又は白キズの未検出成分が存在する場合に減算処理を行うと、第２画像データを適切に補正する（ノイズ除去する）ことができない。よって、第１補正部３３０は、そのような欠陥画素に対する減算処理を行わない。
【０１１６】
次に、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素（当該画素）の画素値を、当該欠陥画素の周囲の画素２１０（正常画素）の画素値に基づいて決定する（Ｓ３５）。第１補正部３３０は、例えば、周囲の画素２１０それぞれの画素値の平均値を、当該欠陥画素の画素値に決定する。例えば、第１補正部３３０が有するメディアンフィルタ（図示しない）等のフィルタにより、上記の処理が実行される。なお、第１補正部３３０は、周囲の画素２１０それぞれの画素値の平均値を当該欠陥画素の画素値に決定することに限定されず、周囲の画素２１０それぞれの画素値の最大値、最小値、中央値、最頻値等を当該欠陥画素の画素値に決定してもよい。
【０１１７】
このように、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素（当該画素）における減算処理を行わない。
【０１１８】
なお、第１補正部３３０は、欠陥画素の周囲の画素２１０が黒つぶれしている、又は、欠陥画素の周囲の画素２１０が白飛びしている場合、当該欠陥画素におけるステップＳ３５の処理を実行しなくてもよい。これは、欠陥画素の画素値を補完するための当該欠陥画素の周囲の画素２１０の画素値が、正確な値ではないためである。
【０１１９】
また、第１補正部３３０は、第１判定部３２０により欠陥画素が黒つぶれ及び白飛びしていないと判定される（Ｓ３３及びＳ３６でＮｏ）と、欠陥画素（当該画素）における減算処理を実行する（Ｓ３８）。
【０１２０】
また、第１補正部３３０は、第１判定部３２０により対象画素が欠陥画素ではないと判定される（Ｓ３２でＮｏ）と、当該画素（正常画素）における減算処理を実行する（Ｓ３８）。
【０１２１】
第１補正部３３０は、ステップＳ３５又はＳ３８の処理が終了すると、全ての画素において、ステップＳ３２の判定をしたか否かの判定を行う（Ｓ３９）。全ての画素２１０においてステップＳ３２の判定が終了している場合（Ｓ３９でＹｅｓ）、ステップＳ３０の処理を終了する。また、全ての欠陥画素においてステップＳ３２の判定が終了していない場合（Ｓ３９でＮｏ）、ステップＳ３２に戻り残りの画素２１０に対して処理が継続される。
【０１２２】
なお、図７では、第１補正部３３０は、第１判定部３２０により黒つぶれ又は白飛びしていると判定された欠陥画素においては、減算処理を実行しない例について説明したが、これに限定されない。第１補正部３３０は、欠陥画素のそれぞれにおいて減算処理を実行し、減算処理を実行した後に、黒つぶれ又は白飛びしている欠陥画素において、ステップＳ３５の処理を実行してもよい。
【０１２３】
なお、図７では、第１判定部３２０は、欠陥画素について、黒つぶれ及び白飛びしているか否かを判定したが、当該判定を行わなくてもよい。第１補正部３３０は、記憶部３６０から欠陥画素の位置情報を取得し、取得した位置情報により特定される欠陥画素のそれぞれにおいて、ステップＳ３５の処理を実行してもよい。このように、欠陥画素が特定できる場合には、当該欠陥画素の画素値を、メディアンフィルタ等により当該欠陥画素の周囲の画素２１０の画素値の平均値に置き換えてもよい。また、この場合、第２画像データから第１画像データを減算する処理は、行われなくてもよい。
【０１２４】
図４を再び参照して、次に、第１補正部３３０は、第３画像データを出力する（Ｓ４０）。第１補正部３３０は、第３画像データを表示部７００に出力することで当該第３画像データに対応する画像を表示部７００に表示させてもよいし、第３画像データを記憶部３６０に出力することで当該第３画像データを格納してもよい。また、第１補正部３３０は、撮像装置１０が無線通信モジュールを備える場合、当該無線通信モジュールを介して第３画像データを送信してもよい。
【０１２５】
なお、図４に示す処理は、長秒露光における撮像が実施されるたびに実行されてもよいし、所定の期間ごとに実行されてもよい。また、ステップＳ２０における第１画像データの取得は、ステップＳ１０を実行する前に撮像装置１０が撮像動作を行ったときに取得した第１画像データを取得することで行われてもよい。言い換えると、ステップＳ２０では、第１撮像動作を行わなくてもよい。生成部３１０は、例えば、第１画像データを記憶部３６０に格納する。第１判定部３２０は、ステップＳ２０において、現在の撮像よりも以前に取得され、かつ、記憶部３６０に格納されている第１画像データを記憶部３６０から読み出すことで第１画像データを取得してもよい。このとき、第１判定部３２０は、記憶部３６０に複数の第１画像データが格納されている場合、最も直近に記憶部３６０に格納された第１画像データを読み出してもよいし、第１期間が現在のステップＳ２０における第２期間と近い第１画像データを読み出してもよい。
【０１２６】
具体的には、第１判定部３２０は、ステップＳ１０の第２撮像動作における露出条件と同じ露出条件で撮像された第１画像データが記憶部３６０に記憶されている場合に、当該第１画像データを読み出す読出判定を行ってもよい。また、第１判定部３２０は、前回の第２撮像動作における露出条件と現在の第２撮像動作における露出条件とに変更がない場合に、上記の読出判定を行ってもよい。また、第１判定部３２０は、前回の第２撮像動作における露出条件と現在の第２撮像動作における露出条件とに変更がなく、かつ、前回からの経過時間が所定時間内（例えば、１分以内など）である場合に、上記の読出判定を行ってもよい。なお、前回からの経過時間とは、例えば、前回における第２撮像動作により画像データを取得してから、今回における第２撮像動作により画像データを取得するまでの時間である。
【０１２７】
また、第１判定部３２０は、前回の第２撮像動作における露出条件と今回の第２撮像動作における露出条件とに変更がなく、かつ、当該２回の第２撮像動作における固体撮像装置１００の温度（例えば、光電変換素子２１１の温度）が同じ場合に、上記の読出判定を行ってもよい。例えば、第１判定部３２０は、当該２回の第２撮像動作における固体撮像装置１００又は撮像装置１０内の温度の差が所定範囲内（例えば、±１度以内）である場合に、上記の読出判定を行ってもよい。なお、この場合、撮像装置１０は、固体撮像装置１００等の温度を計測する温度センサを備える。温度センサは、例えば、撮像装置１０内の温度を計測する。なお、露出条件は、絞り、シャッタースピード、及び、ＩＳＯ感度の少なくとも１つを含む。
【０１２８】
そして、ステップＳ２０において、第１判定部３２０は、読出判定を行った場合、第１画像データを記憶部３６０から読み出すことで、第１画像データを取得してもよい。第１判定部３２０は、記憶部３６０に複数の第１画像データが格納されている場合、上記の読出判定を行い得る第１画像データが少なくとも１つあれば、上記の読出判定を行ってもよい。
【０１２９】
続いて、白キズ又は黒キズが発生する画素２１０（欠陥画素）を特定する処理について、図９〜図１２を参照しながら説明する。図９は、本実施の形態に係る撮像装置１０において欠陥画素の位置情報を取得するときの動作を示すフローチャートである。図９に示す処理は、カメラ１が出荷されるとき、又は、ユーザによりピクセルリフレッシュが行われたときに実行される。
【０１３０】
図９に示すように、まず、第２撮像動作により画像データ（第２画像データの一例）を取得する（Ｓ１１０）。ステップＳ１１０の処理は、ステップＳ１０と同様であり、説明を省略する。なお、欠陥画素を検出する検出動作を行うときには、第２画像データと第１画像データとの差分を算出しないので、ステップＳ１１０は、行われなくてもよい。
【０１３１】
次に、撮像装置１０は、第１撮像動作により画像データ（第１画像データの一例）を取得する（Ｓ１２０）。ステップＳ１２０の処理は、ステップＳ２０と同様であり、説明を省略する。
【０１３２】
次に、撮像装置１０は、第１画像データに対して、シェーディング補正処理を実行する（Ｓ１３０）。具体的には、第２補正部３４０は、ＩＩＲフィルタ３４１を用いてシェーディング補正処理を実行する。ステップＳ１３０は、補正ステップの一例である。
【０１３３】
図１０は、本実施の形態に係る撮像装置１０におけるシェーディング特性の一例を示す図である。図１０に縦軸は信号レベルを示し、横軸は画素位置を示す。また、上限閾値及び下限閾値は、欠陥画素であるか否かを判定するための閾値である。具体的には、上限閾値は、白キズが発生しているか否かを判定するための画素値である。下限閾値は、黒キズが発生しているか否かを判定するための画素値である。また、一点鎖線は、シェーディングがないときの黒レベル（基準となる信号レベルであり、例えば、第１オフセット値に基づく信号レベル）を示す。なお、シェーディング特性は、複数の画素２１０のそれぞれで、ばらつく傾向がある。また、シェーディングがないときの黒レベルの情報は、例えば、記憶部３６０に記憶されている。
【０１３４】
図１０では、白キズｗ１及びｗ２と、黒キズｂ１〜ｂ３とが発生している。シェーディングがないときであれば、白キズｗ１及びｗ２は上限閾値以上であり、当該画素２１０は欠陥画素と判定される。また、シェーディングがないときであれば、黒キズｂ１〜ｂ３のそれぞれは、下限閾値以下であり、当該画素２１０は欠陥画素と判定される。しかしながら、図１０に示すように、シェーディングがあることで、白キズｗ１が発生している画素２１０の画素値及び黒キズｂ３が発生している画素２１０の画素値はそれぞれ、上限閾値及び下限閾値の間に位置している。このため、第２判定部３５０は、シェーディングが発生している場合、白キズｗ１が発生している画素２１０及び黒キズｂ３が発生している画素２１０を欠陥画素であると判定することができない。そこで、第２補正部３４０は、上記のように、シェーディング特性を補正するシェーディング補正処理を実行する。
【０１３５】
図１１は、本実施の形態に係る撮像装置１０におけるシェーディング補正処理を説明するための図である。具体的には、図１１は、シェーディング補正処理において、局所シェーディング量を算出する処理を説明するための図である。図１１の（ａ）は、図１０に示す破線領域Ｒに対応しており、破線領域Ｒを拡大して示す図である。図１１の（ａ）では、白キズｗ１が発生している画素２１０を画素ｐ６として図示しており、その周辺の画素２１０を画素ｐ１〜ｐ５、及び、ｐ７〜ｐ１１として図示している。また、図１１の（ｂ）は、図１１の（ｃ）に示す破線領域Ｒの画素における局所シェーディング量を示す。
【０１３６】
また、図１１の（ａ）は、ＩＩＲフィルタ３４１に入力される画像データであり、例えば、生成部３１０から出力された第１画像データ（長秒露光遮光データ）である。図１１の（ｂ）は、ＩＩＲフィルタ３４１から出力されるデータであり、シェーディング量（局所シェーディング量）を示す。なお、局所シェーディング量は、例えば、画素２１０のそれぞれに対するシェーディング量を意味する。
【０１３７】
図１１の（ａ）に示すように、画素ごとのシェーディング特性による信号レベル（画素値）のバラツキが生じている。第２補正部３４０は、例えば、画素ｐ１〜ｐ１１の並び方向の一方から他方に向けて局所シェーディング量算出処理を実行する。本実施の形態では、第２補正部３４０は、画素ｐ１から画素ｐ１１に向けて順次局所シェーディング量算出処理を実行する。
【０１３８】
図１１の（ａ）及び（ｂ）に示すように、第２補正部３４０は、画素ｐ１の出力の画素値（以降において、出力画素値とも記載する）を画素ｐ１の入力の画素値（入力画素値とも記載する）とする。そして、第２補正部３４０は、画素ｐ２の出力画素値を、画素ｐ２の入力画素値と画素ｐ１の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）以下である場合、例えば、当該差分の絶対値が予め定められた閾値以下である場合、画素ｐ２に白キズ又は黒キズが発生していないと判定する。これは、画素ｐ３が正常画素であることを意味する。そして、第２補正部３４０は、画素ｐ２の出力画素値を画素ｐ２の入力画素値と画素ｐ１の出力画素値（第１平均値の一例）とに基づく平均値（第２平均値の一例）とする。第２補正部３４０は、当該平均値を等価平均により算出してもよいし、重みづけ平均により算出してもよい。
【０１３９】
次に、第２補正部３４０は、画素ｐ３の出力画素値を、画素ｐ３の入力画素値と画素ｐ２の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）以下である場合、画素ｐ３に白キズ又は黒キズが発生していないと判定する。これは、画素ｐ３が正常画素であることを意味する。そして、第２補正部３４０は、画素ｐ３の出力画素値を画素ｐ３の入力画素値と画素ｐ２の出力画素値（第１平均値の一例）とに基づく平均値（第２平均値の一例）とする。このように、第２補正部３４０は、白キズ又は黒キズが発生していない画素２１０の画素値を平均化する処理を行う。
【０１４０】
第２補正部３４０は、このように順次局所シェーディング量算出処理を実行する。
【０１４１】
次に、白キズ又は黒キズが発生している欠陥画素における局所シェーディング量算出処理について説明する。第２補正部３４０は、画素ｐ６の出力画素値を、画素ｐ６の入力画素値と画素ｐ５の出力画素値との差分に基づいて決定する。具体的には、第２補正部３４０は、当該差分が予め定められた閾値（第３閾値の一例）より大きい場合、例えば、当該差分の絶対値が予め定められた閾値より大きい場合、画素ｐ６に白キズ又は黒キズが発生していると判定する。これは、画素ｐ６が欠陥画素であることを意味する。そして、第２補正部３４０は、画素ｐ６の出力画素値を画素ｐ５の出力画素値（第１平均値の一例）とする。
【０１４２】
これにより、白キズ又は黒キズが発生している画素であっても、当該画素の出力画素値を、当該白キズ又は黒キズの影響を排除した平均値（局所シェーディング量）とすることができる。このように、第２補正部３４０は、白キズ又は黒キズが発生している画素２１０の画素値を当該画素２１０に対して一方向（図１１の例では、左側方向）に位置する１以上の画素２１０のそれぞれの画素値の平均値に置き換える処理を行う。
【０１４３】
第２補正部３４０は、上記の処理を複数の画素２１０のそれぞれで実行する。第２補正部３４０は、例えば、ＩＩＲフィルタ３４１を用いて上記の処理を実行する。これにより、白キズ又は黒キズの影響を抑制しつつ、複数の画素２１０のそれぞれにおける局所シェーディング量を算出することができる。つまり、ＩＩＲフィルタ３４１によれば、白キズ及び黒キズの成分を有する第１画像データから当該白キズ及び黒キズの成分を除去することができるので、より正確な局所シェーディング量を求めることができる。
【０１４４】
第２補正部３４０は、複数の画素２１０のそれぞれで上記の処理を実行した後、複数の画素２１０のそれぞれにおいて、入力である第１画像データから当該局所シェーディング量に基づく補正値を減算する。第２補正部３４０は、例えば、図１１の（ｃ）に示す複数の画素２１０それぞれの補正値を第１画像データから減算する。第２補正部３４０は、シェーディングがないときの黒レベル（信号レベル）と図１１の（ｂ）に示す局所シェーディング量とに基づいて、図１１の（ｃ）に示す補正値を算出する。第２補正部３４０は、例えば、複数の画素２１０のそれぞれにおける、シェーディングがないときの黒レベル（信号レベル）と図１１の（ｂ）に示す局所シェーディング量との差分を補正値として算出する。
【０１４５】
図１１の（ｃ）は、図１０に示した画素２１０と対応する画素２１０の補正値を示している。図１１の（ｃ）の破線領域Ｒにおける補正値は、図１１の（ｂ）に示す画素ｐ１〜ｐ１１における局所シェーディング量に基づく補正値を示している。また、図１１の（ｃ）の５つの破線丸は、図１０に示す黒キズ又は白キズが発生している。欠陥画素及び当該欠陥画素の周辺の画素に対応する補正値を示している。具体的には、破線丸は、紙面上における左側から、白キズｗ１、黒キズｂ１、黒キズｂ２、黒キズｂ３、及び、白キズｗ２が発生している欠陥画素を含む補正値を示す。
【０１４６】
白キズ又は黒キズが発生している欠陥画素の補正値は、当該欠陥画素のとなりの画素の補正値と等しくなる。白キズｗ１が発生している欠陥画素を例に説明すると、破線領域Ｒに含まれる白キズｗ１が発生している画素ｐ６の補正値は、当該画素ｐ６のとなりの画素２１０（図１１の（ｃ）では、左側に隣接する画素２１０）の補正値と等しくなる。なお、黒キズｂ１、黒キズｂ２、黒キズｂ３、及び、白キズｗ２が発生している欠陥画素の補正値（図１１の（ｃ）における、他の破線丸内の補正値）も同様である。
【０１４７】
これにより、第２補正部３４０は、シェーディング特性の影響が除去された第１画像データを生成することができる。第２補正部３４０は、シェーディング補正処理した第１画像データを第２判定部３５０に出力する。なお、局所シェーディング量に基づく補正値は、局所シェーディング量に上記以外の所定の演算を行うことで算出されてもよいし、局所シェーディング量そのものであってもよい。
【０１４８】
図１２は、本実施の形態に係る撮像装置１０におけるシェーディング補正処理された第１画像データを示す図である。具体的には、図１０に示す第１画像データにシェーディング補正処理を施した第１画像データを示す。
【０１４９】
図９を再び参照して、第２判定部３５０は、複数の画素２１０のそれぞれの、シェーディング補正処理された第１画像データにおける画素値が所定範囲外であるか否かを判定する（Ｓ１４０）。言い換えると、第２判定部３５０は、複数の画素２１０のそれぞれにおいて、第１画像データに基づいて、白キズ又は黒キズが発生しているか否かを判定する。
【０１５０】
ここで、図１２に示すように、第２判定部３５０は、シェーディングの影響が除去された第１画像データを用いることで、上記の判定をより精度よく行うことができる。第２判定部３５０は、例えば、上限閾値及び下限閾値などの一定の値により規定される閾値を用いて、上記の判定を行うことができる。ステップＳ１４０は、判定ステップの一例である。
【０１５１】
第２判定部３５０は、画素値が所定範囲外であると判定する（Ｓ１４０でＹｅｓ）と、当該画素２１０の位置情報を記憶部３６０に格納する（Ｓ１５０）。位置情報は、当該画素２１０の位置を示す情報である。ステップＳ１５０は、格納ステップの一例である。
【０１５２】
また、第２判定部３５０は、画素値が所定範囲外ではないと判定する（Ｓ１４０でＮｏ）と、ステップＳ１６０に進む。つまり、第２判定部３５０は、画素値が所定範囲外ではない場合、当該画素２１０の位置情報を記憶部３６０に格納しない。
【０１５３】
次に、第２判定部３５０は、複数の画素２１０の全ての画素２１０において上記の判定をしたか否かを判定する（Ｓ１６０）。第２判定部３５０は、全ての画素２１０においてステップＳ１４０の判定をした場合（Ｓ１６０でＹｅｓ）、処理を終了する。また、第２判定部３５０は、全ての画素２１０においてステップＳ１４０の判定をしていない場合（Ｓ１６０でＮｏ）、ステップＳ１４０に戻り残りの画素２１０に対して処理を継続する。
【０１５４】
［５．適用例］
上記の撮像装置１０が内蔵されたカメラ１の例として、例えば、図１３の（ａ）に示されるデジタルスチルカメラ１Ａや図１３の（ｂ）に示されるデジタルビデオカメラ１Ｂなどが挙げられる。例えば、図１３の（ａ）又は図１３の（ｂ）などのカメラに本実施の形態に係る撮像装置１０が内蔵されることで、上記に説明したように、黒キズ及び白キズが発生した場合であっても、黒キズ及び白キズの双方を適切に検出することができ、かつ当該黒キズ及び白キズを適切に除去することができる。
【０１５５】
なお、カメラ１は、スマートフォン又はタブレット端末等の携帯端末、ゲーム機等に内蔵されてもよい。
【０１５６】
［６．効果など］
以上のように、本実施の形態に係る画像生成方法は、複数の画素２１０を備える撮像装置１０における画像生成方法であって、複数の画素２１０のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で第１撮像動作を行う第１撮像ステップ（Ｓ２２）と、第１撮像動作により取得された画素信号（第１画素信号の一例）に基づいて第１画像データを生成する第１生成ステップ（Ｓ２４）とを含む。そして、第１オフセット値は、複数の画素２１０のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い。
【０１５７】
これにより、黒キズが発生している場合に、第１撮像動作におけるオフセット値が第２オフセット値である場合に比べて、当該黒キズによる黒つぶれが発生することを抑制することができるので、当該黒キズを精度よく検出することができる。よって、本実施の形態に係る画像生成方法によれば、従来よりもノイズを適切に取得することができる。すなわち、本実施の形態に係る画像生成方法によれば、従来よりも正確にノイズを取得することができる。
【０１５８】
また、例えば、撮像装置が上記の方法で取得された第１画像データを用いてノイズ（白キズ及び黒キズ）補正を行う場合、従来よりも精度よく補正を行うことができる。特に黒キズにおいて、従来よりも精度よく補正を行うことができる。
【０１５９】
また、画像生成方法は、さらに、第２撮像動作を行う第２撮像ステップ（Ｓ１０）と、第２撮像動作により取得された画素信号（第２画素信号の一例）に基づいて第２画像データを生成する第２生成ステップ（Ｓ１０）と、第２画像データから第１画像データの減算を行うことで、第３画像データを生成する第３生成ステップ（Ｓ３０）とを含む。
【０１６０】
これにより、第３画像データは、従来よりもノイズが除去された画像データとなる。つまり、従来よりもノイズが除去された、特に黒キズが除去された画像データを取得することができる。
【０１６１】
また、画像生成方法は、さらに、第１画像データに基づいて、複数の画素２１０のそれぞれにおいて第１画像データにおける当該画素２１０の画素値が所定範囲外であるか否かの判定を行う判定ステップ（Ｓ１４０）と、判定ステップにおいて、画素値が所定範囲外であると判定された欠陥画素の位置を示す位置情報を格納する格納ステップ（Ｓ１５０）とを含む。
【０１６２】
これにより、判定ステップにおいて、欠陥画素の判定をより精度よく行うことができる。例えば、従来に比べて黒キズが発生する欠陥画素をより精度よく検出することができる。
【０１６３】
また、画像生成方法は、さらに、第１生成ステップで生成された第１画像データに対して、複数の画素２１０のそれぞれのシェーディング特性に応じて、第１画像データにおける画素値を補正する補正ステップを含む（Ｓ１３０）。そして、判定ステップでは、補正ステップで補正された第１画像データに対して判定を行う。
【０１６４】
これにより、シェーディング特性の影響を受けずに欠陥画素であるか否かの判定を行うことができるので、判定ステップにおける判定精度がさらに向上する。
【０１６５】
また、補正ステップでは、複数の画素２１０のうちの当該画素２１０における画素値と、当該画素２１０に対して一方向に位置する１以上の画素２１０それぞれの画素値の第１平均値との差分が第３閾値以下である場合、当該画素２１０の画素値と第１平均値との平均値である第２平均値を当該画素２１０の画素値とし、当該差分が第３閾値より大きい場合、当該画素２１０の画素値を第１平均値とすることでシェーディング特性を取得する。
【０１６６】
これにより、白キズ及び黒キズの影響を受けずにシェーディング特性（例えば、局所シェーディング量）を取得することができる。よって、白キズ及び黒キズが発生している場合であっても、シェーディング特性に応じた補正をより精度よく行うことができる。
【０１６７】
また、第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した位置情報に基づく欠陥画素の第２画像データにおける画素値が第２オフセット値より低い信号レベルである第１閾値以下である場合、当該欠陥画素における減算を停止する。
【０１６８】
これにより、黒つぶれしている欠陥画素、つまり黒キズにおいて未検出となるノイズ成分が存在する欠陥画素に対しては、減算処理が行われない。つまり、黒キズの補正が適切に行えない欠陥画素に対して減算処理を行わないことで、不適切な補正（例えば、減算しすぎるなど）が行われることを抑制することができる。
【０１６９】
また、第３生成ステップでは、露光時間とともにノイズ成分が増加する欠陥画素の位置情報を取得し、取得した位置情報に基づく欠陥画素の第２画像データにおける画素値が第２オフセット値より高い信号レベルである第２閾値以上である場合、当該欠陥画素における減算を停止する。
【０１７０】
これにより、白飛びしている欠陥画素、つまり白キズにおいて未検出となるノイズ成分が存在する欠陥画素に対しては、減算処理が行われない。つまり、白キズの補正が適切に行えない欠陥画素に対して減算処理を行わないことで、不適切な補正（例えば、減算しすぎるなど）が行われることを抑制することができる。
【０１７１】
また、第３生成ステップでは、減算を停止した欠陥画素の画素値を、当該欠陥画素の周囲に配置された画素２１０の画素値に基づいて決定する。
【０１７２】
これにより、黒つぶれ又は白飛びしている欠陥画素の画素値を、周囲の画素２１０の画素値に基づいて補完することができる。よって、白キズ又は黒キズに対して適切な補正が行えない場合であっても、欠陥画素の画素値を適切に決定することができる。
【０１７３】
また、第２撮像動作における露光時間と、前記第１撮像動作における露光時間とは、等しい。
【０１７４】
これにより、欠陥画素のそれぞれにおいて、第１画像データ及び第２画像データに含まれる白キズ及び黒キズの信号レベルが等しくなる。よって、第２画像データから白キズ及び黒キズを効果的に除去することができる。
【０１７５】
また、撮像装置１０は、所定時間の露光を行う通常露光と、所定時間よりも長い露光を行う長秒露光とを実行可能である。そして、第２撮像動作は、長秒露光により行われ、第２オフセット値は、通常露光において基準となる信号レベルである第３オフセット値と同じ値である。
【０１７６】
これにより、白キズ及び黒キズが顕著に発生しやすい長秒露光において、当該白キズ及び黒キズを適切に除去することができる。
【０１７７】
また、以上のように、本実施の形態に係る撮像装置１０は、複数の画素２１０と、複数の画素２１０のそれぞれを遮光したときに撮像を行う第１撮像動作において基準となる信号レベルを第１オフセット値とした状態で前記第１撮像動作を行う制御をする制御部５００と、第１撮像動作により取得された画素信号に基づいて画像データを生成する生成部３１０とを備える。そして、制御部５００は、第１オフセット値を、複数の画素２１０のそれぞれに光が入射する状態で撮像を行う第２撮像動作において基準となる信号レベルである第２オフセット値より高い値に制御する。また、以上のように、本実施の形態に係るプログラムは、上記の画像生成方法をコンピュータに実行させるためのプログラムである。
【０１７８】
これにより、上記の画像生成方法と同様の効果を奏する。
【０１７９】
（他の実施の形態）
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１８０】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１８１】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【０１８２】
例えば、上記実施の形態では、画像生成方法等は、画像データに白キズ及び黒キズの両方が含まれている場合に実行される例について説明したが、これに限定されない。画像生成方法等は、画像データに白キズ及び黒キズのうち黒キズのみが含まれている場合に実行されてもよい。これにより、黒キズを適切に取得することができる。
【０１８３】
また、上記実施の形態では、第１判定部３２０は、ステップＳ３２及びＳ３３において、欠陥画素について、黒つぶれ及び白飛びしているか否かを判定したがこれに限定されない。第１判定部３２０は、正常画素においても黒つぶれ及び白飛びしているか否かを判定してもよい。
【０１８４】
また、上記実施の形態における第２補正部３４０は、ＩＩＲフィルタ３４１に替えて、又は、ＩＩＲフィルタ３４１とともに、ローパスフィルタ又は最小値フィルタ等を有していてもよい。
【０１８５】
また、上記実施の形態において、第１補正部３３０は、さらに、シェーディング補正処理を行ってもよい。第１補正部３３０は、例えば、ＩＩＲフィルタを有し、第１画像データ及び第２画像データの少なくとも一方、又は、第３画像データに対して、シェーディング補正処理を行ってもよい。
【０１８６】
また、上記実施の形態では、第２補正部３４０は、算出した局所シェーディング量を用いて第１画像データを補正する例について説明したが、これに限定されない。第２補正部３４０は、例えば、算出した局所シェーディング量を用いて、予め定められた第３閾値及び第４閾値を補正してもよい。第２補正部３４０は、シェーディング量に応じた補正が行われた第３閾値及び第４閾値を第２判定部３５０に出力する。そして、第２判定部３５０は、シェーディングがある第１画像データと、シェーディング量に応じた補正が行われた第３閾値及び第４閾値とに基づいて、ステップＳ１４０の判定を行ってもよい。このように、第２補正部３４０は、各画素位置において、局所シェーディング量に応じた閾値（例えば、第３閾値及び第４閾値）を設定してもよい。
【０１８７】
また、撮像装置１０における各構成要素（機能ブロック）は、ＩＣ（Integrated Circuit）、ＬＳＩ（Large Scale Integration）等の半導体装置により個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
【０１８８】
また、上記各種処理の全部又は一部は、電子回路等のハードウェアにより実現されても、ソフトウェアを用いて実現されてもよい。なお、ソフトウェアによる処理は、撮像装置１０に含まれるプロセッサがメモリに記憶されたプログラムを実行することにより実現されるものである。また、そのプログラムを記録媒体に記録して頒布や流通させてもよい。例えば、頒布されたプログラムを、他のプロセッサを有する装置にインストールして、そのプログラムをそのプロセッサに実行させることで、その装置に、上記各処理を行わせることが可能となる。
【０１８９】
また、上記のような制御部５００、生成部３１０、第１判定部３２０、第１補正部３３０、第２補正部３４０及び第２判定部３５０等の処理部を構成する各構成要素は、集中制御を行う単独の要素で構成されてもよく、互いに協働して分散制御を行う複数の要素で構成されてもよい。ソフトウェアプログラムは、アプリケーションとして、インターネット等の通信網を介した通信、モバイル通信規格による通信等で提供されるものであってもよい。
【０１９０】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０１９１】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。例えば、図４に示すステップＳ１０とステップＳ２０とは、順序が逆であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０１９２】
また、上述した実施の形態で示した構成要素及び機能を任意に組み合わせることで実現される形態も本開示の範囲に含まれる。
【産業上の利用可能性】
【０１９３】
本開示は、画像を撮像する撮像装置に広く利用可能である。
【符号の説明】
【０１９４】
１    カメラ
１Ａ    デジタルスチルカメラ
１Ｂ    デジタルビデオカメラ
１０    撮像装置
１００    固体撮像装置
１１０    画素アレイ部
１２０    列ＡＤ変換部
１２１    ＡＤ変換器
１３０    行走査部
１４０    列走査部
１５０    駆動制御部
１６０    列信号線
１７０    走査線
１７０Ａ    リセット用走査線
１７０Ｂ    選択用走査線
１８０    行信号線
２１０、ｐ１〜ｐ１１    画素
２１１    光電変換素子
２１１ａ    上部電極
２１１ｂ    下部電極
２１１ｃ    光電変換膜
２１２    リセットトランジスタ
２１３    増幅トランジスタ
２１４    選択トランジスタ
２１５    電荷蓄積部
３００    信号処理部
３１０    生成部
３２０    第１判定部
３３０    第１補正部
３４０    第２補正部
３４１    ＩＩＲフィルタ
３５０    第２判定部
３６０    記憶部
４００    シャッタ
５００    制御部
６００    レンズ
７００    表示部
８００    操作部
ｗ１、ｗ２    白キズ
ｂ１〜ｂ３    黒キズ
Ｒ    破線領域
【図１】
2020246060.tif 000003
【図２】
2020246060.tif 000004
【図３】
2020246060.tif 000005
【図４】
2020246060.tif 000006
【図５】
2020246060.tif 000007
【図６】
2020246060.tif 000008
【図７】
2020246060.tif 000009
【図８Ａ】
2020246060.tif 000010
【図８Ｂ】
2020246060.tif 000011
【図９】
2020246060.tif 000012
【図１０】
2020246060.tif 000013
【図１１】
2020246060.tif 000014
【図１２】
2020246060.tif 000015
【図１３】
2020246060.tif 000016
【図１４】
2020246060.tif 000017
【図１５】
2020246060.tif 000018
【国際調査報告】
2020246060.tif 000019
2020246060.tif 000020
2020246060.tif 000021
2020246060.tif 000022