(57)【要約】【課題】撮影する画像の数を抑制し、パターンノイズ及び被写体ブレの発生頻度を少なく抑えた良好な画質の星空スナップ画像を生成することができる撮像装置を提供する。【解決手段】ストロボを発光させて短秒撮影で第１の画像を撮影し、ストロボを発光させずに短秒撮影で第２の画像を撮影し、ストロボを発光させずに長秒撮影で第３の画像を撮影し、撮像素子を遮光して長秒撮影で長秒黒画像を撮影し、長秒黒画像から検出したキズ情報に基づいて第１の画像及び第２の画像にキズ補正処理を行い、キズ補正処理された第１の画像及び第２の画像から被写体となる人物画像を抽出するとともに、第３の画像に対して長秒黒画像を用いて黒引き処理を行い、黒引き処理された第３の画像に抽出した人物画像を合成し出力画像を生成する。【選択図】図２
2016096463.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子をそれぞれ有する複数の画素が行列状に配置された撮像素子と、
被写体に対して閃光を発光する発光手段と、
前記撮像素子を用いて複数の画像を撮影して前記複数の画像を基に１つの出力画像を生成する第１の撮影モードでは、前記発光手段を発光させて第１の撮影条件での第１の画像と、前記発光手段を発光させずに前記第１の撮影条件での第２の画像と、前記発光手段を発光させずに前記第１の撮影条件よりも露光時間が長い第２の撮影条件での第３の画像と、前記撮像素子を遮光して前記第２の撮影条件での第４の画像とをそれぞれ撮影する制御手段と、
前記第１の撮影モードでは、前記第４の画像から検出したキズ情報に基づいて前記第１の画像及び前記第２の画像にキズ補正処理を行い、前記キズ補正処理された前記第１の画像及び前記第２の画像から被写体の画像を抽出するとともに、前記第３の画像に対して前記第４の画像を用いて画像補正処理を行い、前記画像補正処理された前記第３の画像に抽出した前記被写体の画像を合成し前記出力画像を生成する処理手段とを有することを特徴とする撮像装置。
【請求項２】
前記処理手段は、前記画像補正処理として、前記第３の画像に対して前記第４の画像を用いた黒引き処理及びダークシェーディング補正の何れかを行うことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記処理手段は、前記画像補正処理された前記第３の画像に前記第４の画像から検出したキズ情報に基づいてキズ補正処理を行い、前記キズ補正処理された前記第３の画像に抽出した前記被写体の画像を合成し前記出力画像を生成することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記撮像素子の温度と、前記第２の撮影条件の内の露光時間及び撮影感度とに基づいて、前記画像補正処理として前記黒引き処理及び前記ダークシェーディング補正の何れかを行うかを決定することを特徴とする請求項２記載の撮像装置。
【請求項５】
前記撮像素子の温度と、前記第２の撮影条件の内の露光時間及び撮影感度とに応じて、前記画像補正処理された前記第３の画像に前記キズ補正処理を行うことを特徴とする請求項３記載の撮像装置。
【請求項６】
撮影条件は、露光時間、絞り値、及び撮影感度を含むことを特徴とする請求項１〜５の何れか１項に記載の撮像装置。
【請求項７】
前記処理手段は、前記第４の画像から検出したキズ情報から前記第１の撮影条件での撮影におけるキズ情報を抽出し、抽出した前記第１の撮影条件での撮影におけるキズ情報に基づいて前記第１の画像及び前記第２の画像にキズ補正処理を行うことを特徴とする請求項１〜６の何れか１項に記載の撮像装置。
【請求項８】
第１の撮影モードでは、前記第１の画像、前記第２の画像、前記第３の画像、前記第４の画像の順に撮影することを特徴とする請求項１〜７の何れか１項に記載の撮像装置。
【請求項９】
光電変換素子をそれぞれ有する複数の画素が行列状に配置された撮像素子と、被写体に対して閃光を発光する発光手段とを有し、前記撮像素子を用いて複数の画像を撮影して前記複数の画像を基に１つの出力画像を生成する撮像装置の制御方法であって、
前記発光手段を発光させて第１の撮影条件での第１の画像と、前記発光手段を発光させずに前記第１の撮影条件での第２の画像と、前記発光手段を発光させずに前記第１の撮影条件よりも露光時間が長い第２の撮影条件での第３の画像と、前記撮像素子を遮光して前記第２の撮影条件での第４の画像とをそれぞれ撮影する工程と、
前記第４の画像から検出したキズ情報に基づいて前記第１の画像及び前記第２の画像にキズ補正処理を行う工程と、
前記キズ補正処理された前記第１の画像及び前記第２の画像から被写体の画像を抽出する工程と、
前記第３の画像に対して前記第４の画像を用いて画像補正処理を行う工程と、
前記画像補正処理された前記第３の画像に抽出した前記被写体の画像を合成し前記出力画像を生成する工程とを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
撮像素子を用いた撮像装置では、露光時間の長時間化や撮像素子の温度上昇に従い撮像素子内で暗電流成分が増加することで発生するキズやダークシェーディング等が、出力画像に固定パターンノイズ成分として重畳し、画質悪化の要因となっている。これら固定パターンノイズ成分は、本露光画像と同条件でかつ遮光して撮影した黒画像（遮光画像）を減算する黒引き処理を行うことで除去可能である。特許文献１では、撮像素子のもつ固定パターンノイズに対応する暗時出力信号をメモリに予め記録しておき、被写体撮影した際に暗時出力信号の出力レベルをメモリから読み出して被写体撮影画像から減算することで固定パターンノイズ補正を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０１−０３９１７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、撮像装置にて夜空の星々と人物とが同じフレームに入った画像（以下、この画像を「星空スナップ画像」とも称す）を撮影するモード（以下、「星空スナップ撮影モード」とも称す）について考える。星空画像の撮影は、低照度であるために露光時間を十分長く（数秒〜数十秒）取って行う必要がある。一方、人物を主被写体とするスナップ画像の撮影は、人物が数秒〜数十秒の間ぶれないように静止していることは困難であるし、また夜間に撮影を行うために照明がなければストロボを発光させ撮影を行う必要がある。
【０００５】
前述の事情を考慮した星空スナップ撮影モードでの撮影手順の例を、図１３（Ａ）を参照して説明する。「ストロボ有り」はストロボを発光させて撮影を行う場合を示し、「ストロボなし」はストロボを発光させずに撮影を行う場合を示す。まず、ストロボ有りの短秒撮影（〜数十分の１秒程度の露光時間）で画像１３Ａを撮影し、次に、画像１３Ａと同じ撮影条件かつストロボなしの撮影で画像１３Ｂを撮影する。画像１３Ａと画像１３Ｂから人物画像を切り出す。そして、ストロボなしの長秒撮影で画像１３Ｃを撮影し、画像１３Ｃに先に切り出した人物画像を合成して星空スナップ画像である画像１３Ｄを得る。
【０００６】
画像１３Ａ、画像１３Ｂ、画像１３Ｃのいずれでも、露光時間が長くなるにつれて、また撮像素子の温度上昇によりキズやダークシェーディング等の固定パターンノイズが発生し目立ってくる。星空スナップ画像の場合には、夜空を撮影するので画像全体的に低出力になる傾向があるため、固定パターンノイズが目立ちやすくなる。また、固定パターンノイズが多いことで人物画像の切り出し精度低下にもつながる。
【０００７】
そこで、固定パターンノイズ補正を考慮して星空スナップ撮影モードでの撮影手順を考えると、図１３（Ｂ）に示すようになる。まず、ストロボ有りの短秒撮影（〜数十分の１秒程度）で画像１３Ｅを撮影し、その直後に、画像１３Ｅと同じ撮影条件かつ遮光した状態で画像１３Ｆを撮影する。さらに、同じ撮影条件かつストロボなしの撮影で画像１３Ｇを撮影し、同じ撮影条件かつ遮光した状態で画像１３Ｈを撮影する。画像１３Ｅに対し画像１３Ｆを用いて黒引き処理を行った画像と、画像１３Ｇに対し画像１３Ｈを用いて黒引き処理を行った画像とから人物画像を切り出す。
【０００８】
そして、ストロボなしの長秒撮影で画像１３Ｉを撮影し、同じ撮影条件かつ遮光した状態で画像１３Ｊを撮影する。画像１３Ｉに対し画像１３Ｊを用いて黒引き処理を施し、得られた画像に切り出した人物画像を合成して星空スナップ画像である画像１３Ｋを得る。
【０００９】
しかしながら、図１３（Ｂ）に示した星空スナップ撮影モードでの撮影手順では、撮影全体にかかる時間が、固定パターンノイズ補正を考慮しない図１３（Ａ）に示した撮影手順で撮影した場合に比べて２倍に長くなる。そのため、複数枚の撮影を行っている最中に、被写体となる人物（ユーザー）が動くことで被写体ブレの要因となってしまう。また、撮影開始から撮影終了までの時間が長いため、ユーザーにストレスを与えかねない。
【００１０】
本発明の目的は、星空スナップ画像の撮影を行う場合に、撮影する画像の数を抑制し、パターンノイズ及び被写体ブレの発生頻度を少なく抑えた良好な画質の出力画像を生成することができる撮像装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明に係る撮像装置は、光電変換素子をそれぞれ有する複数の画素が行列状に配置された撮像素子と、被写体に対して閃光を発光する発光手段と、前記撮像素子を用いて複数の画像を撮影して前記複数の画像を基に１つの出力画像を生成する第１の撮影モードでは、前記発光手段を発光させて第１の撮影条件での第１の画像と、前記発光手段を発光させずに前記第１の撮影条件での第２の画像と、前記発光手段を発光させずに前記第１の撮影条件よりも露光時間が長い第２の撮影条件での第３の画像と、前記撮像素子を遮光して前記第２の撮影条件での第４の画像とをそれぞれ撮影する制御手段と、前記第１の撮影モードでは、前記第４の画像から検出したキズ情報に基づいて前記第１の画像及び前記第２の画像にキズ補正処理を行い、前記キズ補正処理された前記第１の画像及び前記第２の画像から被写体の画像を抽出するとともに、前記第３の画像に対して前記第４の画像を用いて画像補正処理を行い、前記画像補正処理された前記第３の画像に抽出した前記被写体の画像を合成し前記出力画像を生成する処理手段とを有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、星空スナップ画像の撮影において、撮影する画像の数を抑制し、パターンノイズ及び被写体ブレの発生頻度を少なく抑えた良好な画質の出力画像を生成することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における撮像装置の構成例を示す図である。
【図２】第１の実施形態における撮像装置の星空スナップ撮影モードでの動作例を示すフローチャートである。
【図３】第１の実施形態でのＮＲ処理を示すフローチャートである。
【図４】第１の実施形態での人物抽出・合成処理を示すフローチャートである。
【図５】第１の実施形態における星空スナップ撮影モードでの動作の説明図である。
【図６】第１の実施形態における黒画像撮影に係る参照テーブル例を示す図である。
【図７】第２の実施形態における撮像装置の星空スナップ撮影モードでの動作例を示すフローチャートである。
【図８】第２の実施形態での短秒撮影処理を示すフローチャートである。
【図９】第２の実施形態での長秒撮影処理を示すフローチャートである。
【図１０】第２の実施形態での画像補正処理を示すフローチャートである。
【図１１】第２の実施形態における星空スナップ撮影モードでの動作の説明図である。
【図１２】第２の実施形態における画像補正に係る参照テーブル例を示す図である。
【図１３】従来例における星空スナップ撮影モードでの撮影手順を示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態を図面に基づいて説明する。
【００１５】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、本発明の一実施形態における撮像装置の構成例を示すブロック図である。本実施形態における撮像装置は、例えば電子スチルカメラやビデオカメラ等に適用可能である。本実施形態における撮像装置は、レンズ１０１、レンズ駆動部１０２、メカニカルシャッタ１０３、絞り１０４、メカニカルシャッタ・絞り駆動部１０５、撮像素子１０６、ＣＤＳ・ＡＤ部１０７、撮像信号処理部１０８、及びタイミング発生部１０９を有する。また、撮像装置は、メモリ部Ａ１１０、全体制御演算部１１１、記録媒体制御インタフェース部１１２、表示部１１３、記録媒体１１４、外部インタフェース部１１５、メモリ部Ｂ１１６、操作部１１７、温度検出部１１８、及びストロボ１１９を有する。
【００１６】
レンズ１０１は、レンズ駆動部１０２によってズームやフォーカス等が駆動制御される。メカニカルシャッタ１０３は、後段の絞り１０４及び撮像素子１０６へ入射する光の照射時間を機械的に制御するシャッタ機構である。メカニカルシャッタ１０３及び絞り１０４は、メカニカルシャッタ・絞り駆動部１０５によって駆動制御される。レンズ１０１を通った被写体像（光学像）は、絞り１０４にて適切な光量に調整され、撮像素子１０６に結像される。レンズ駆動部１０２及びメカニカルシャッタ・絞り駆動部１０５は、全体制御演算部１１１からの制御信号に基づいて駆動制御を行う。
【００１７】
撮像素子１０６は、ｋ列、ｍ行（ｋ及びｍは自然数）の行列状（２次元のマトリックス状）に配置された複数の画素を有する。それぞれの画素は、受光した光学像を電気信号に光電変換する光電変換素子を有する。また、それぞれの画素には赤（Ｒ）、緑（Ｇｒ）、緑（Ｇｂ）、青（Ｂ）の４つの色フィルタのいずれかが配されており、この４つの色フィルタはベイヤ配列を構成している。撮像素子１０６に結像した被写体像（光学像）は、光電変換により電気信号に変換され、ＣＤＳ・ＡＤ部１０７に出力される。
【００１８】
ＣＤＳ・ＡＤ部１０７は、撮像素子１０６の出力に対して、相関２重サンプリング処理、ゲイン調整処理、及びアナログ信号からデジタル信号へのアナログデジタル変換処理等を行い、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色の画素信号として取り込む。これら画素信号は、撮像信号処理部１０８に送られる。撮像信号処理部１０８は、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ホワイトバランス処理等の各種の画像信号処理、画像合成処理を行う。また、撮像信号処理部１０８は、キズ補正処理やダークシェーディング補正処理、黒引き処理等の各種の補正処理や人物抽出処理や画像データの圧縮等を行う。
【００１９】
タイミング発生部１０９は、撮像素子１０６及びＣＤＳ・ＡＤ部１０７に各種タイミング信号を出力する。全体制御演算部１１１は、撮像装置全体の制御や各種演算を行う。全体制御演算部１１１は、例えばＣＰＵ（Central Processing Unit）を有するマイクロコントローラであり、メモリ等に保存されたプログラムを読み出して実行することにより、撮像装置の各部を統括的に制御する。
【００２０】
メモリ部Ａ１１０は、例えば画像データを一時的に記憶する。記録媒体制御インタフェース部１１２では、半導体メモリ等の着脱可能な記録媒体１１４に対する画像データの記録や読み出しを行う。表示部１１３は、画像データの表示を行う。外部インタフェース部１１５は、図示しない外部コンピュータ等と通信を行うためのインタフェースである。メモリ部Ｂ１１６は、例えば全体制御演算部１１１での演算結果を記憶する。また、メモリ部Ｂ１１６は、撮像装置の各部の制御に必要な各種設定値を記憶することも可能である。
【００２１】
操作部１１７は、撮像装置に対する各種設定等をユーザーが行うためのものである。操作部１１７は、電源ボタンやレリーズボタン等の各種操作キーやレバー、ダイヤル等を有し、ユーザーによる入力操作に応じた制御信号等を全体制御演算部１１１に出力する。例えば操作部１１７にてユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部１１１に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
【００２２】
温度検出部１１８は、撮像素子１０６の温度を測定し、測定した温度情報を全体制御演算部１１１へ送る。全体制御演算部１１１では送られて来た撮像素子の温度情報をメモリ部Ｂ１１６に格納する。温度検出部１１８は、例えばサーミスタや熱電対等の温度情報を直接計測するデバイスで構成しても良いし、撮像素子１０６の出力データの暗電流成分から間接的に温度情報を求めるようにしても良い。ストロボ（発光部）１１９は、全体制御演算部１１１からの指定する発光量、タイミングにて閃光（ストロボ光）を発光させる。
【００２３】
次に、第１の実施形態における撮像装置の動作について説明する。以下では、第１の実施形態における撮像装置の動作例として、夜空の星々と人物とが同じフレームに入った画像（星空スナップ画像）の撮影を行う星空スナップ撮影モードでの動作を説明する。まず、図５（Ａ）及び図５（Ｂ）を参照して、第１の実施形態における星空スナップ撮影モードでの動作の概要について説明する。
【００２４】
図５（Ａ）を用いて、星空スナップ撮影モードにて撮影する画像を１枚目から順に説明する。１枚目の画像としてストロボ有りの短秒撮影（〜数十分の１秒程度の露光時間）で画像５Ａを撮影する。次に、画像５Ａと同じ撮影条件かつストロボなしの撮影で画像５Ｂを撮影する。さらに、ストロボなしの長秒撮影で画像５Ｃを撮影する。その後、画像５Ａ〜画像５Ｃが固定パターンノイズ補正を行う必要がある撮影条件であれば、画像５Ｃと同様の撮影条件かつ遮光した状態で画像５Ｄを撮影する。
【００２５】
次に、図５（Ｂ）を用いて、星空スナップ撮影モードでの信号処理の概要を説明する。撮影した前述の画像５Ａ、画像５Ｂ、画像５Ｃ、及び画像５Ｄに対して、撮像信号処理部１０８は、第１のキズ補正処理Ｐ５１を行う。第１のキズ補正処理Ｐ５１は、工場出荷時等において予め所定の条件で撮影した画像から検出しメモリに保存しておいたキズ情報（キズアドレス）を元にキズ補正を行う。
【００２６】
そして、撮像信号処理部１０８は、キズ検出処理Ｐ５２を行い、第１のキズ補正処理を施した画像５Ｄから所定の閾値Ｔｈ以上の出力レベルの画素を検出し、検出した画素の位置情報をキズアドレス情報として抽出する。撮像信号処理部１０８は、キズ検出処理Ｐ５２で抽出したキズアドレス情報に基づき、第１のキズ補正処理をそれぞれ施した画像５Ａ及び画像５Ｂに対して、第２のキズ補正処理Ｐ５３を行う。
【００２７】
また、撮像信号処理部１０８は、第１のキズ補正処理を施した画像５Ｃに対して、第１のキズ補正処理を施した画像５Ｄを用いて黒引き処理Ｐ５４を行う。黒引き処理Ｐ５４では、各画素について、第１のキズ補正処理を施した画像５Ｃの画素値から第１のキズ補正処理を施した画像５Ｄの画素値を減算する処理を行う。
【００２８】
そして、撮像信号処理部１０８は、人物抽出処理Ｐ５５を行い、第２のキズ補正処理をそれぞれ施した画像５Ａ及び画像５Ｂから被写体となる人物画像を抽出する。次に、撮像信号処理部１０８は、画像合成処理Ｐ５６を行い、人物抽出処理Ｐ５５で抽出した人物画像と、黒引き処理Ｐ５４を施した画像５Ｃとを合成することで星空スナップ画像である画像５Ｅを生成する。
【００２９】
図５に示した星空スナップ撮影モードでの動作の詳細を、図２〜図４を用いて説明する。図２は、第１の実施形態における撮像装置の星空スナップ撮影モードでの動作例を示すフローチャートである。図２に示すフローチャートにおいて、本露光画像Ａ、本露光画像Ｂ、本露光画像Ｃ、及び黒画像は、それぞれ図５に示した画像５Ａ、画像５Ｂ、画像５Ｃ、及び画像５Ｄに対応している。
【００３０】
ステップＳ２０１にて、全体制御演算部１１１は、操作部１１７からユーザーが入力した設定に基づき各種パラメータを初期化する。初期化したパラメータは、メモリ部Ｂ１１６に記憶される。次に、ステップＳ２０２にて、全体制御演算部１１１は、スイッチＳＷ１がオン（ＯＮ）であるか否かを判定し、スイッチＳＷ１がオンであればステップＳ２０３へ進み、スイッチＳＷ１がオンでない、すなわちオフであればステップＳ２０２へ戻る。ここで、スイッチＳＷ１は、操作部１１７が有するレリーズボタンが半押しされたときにオンとなるスイッチである。
【００３１】
ステップＳ２０３にて、ＡＥ（Auto Exposure）処理及びＡＦ（Auto Focus）処理が行われる。ＡＥ処理では、全体制御演算部１１１から制御して測光動作を行い、画角内の人物領域と背景の領域との明るさを検出する。そして、本露光画像Ａ及び本露光画像Ｂを撮影するパラメータとして、露光時間Ｔｖ1、絞り値Ａｖ1、及びＩＳＯ感度（撮影感度）値Ｇ1を算出する。また、本露光画像Ｃを撮影するパラメータとして、露光時間Ｔｖ2、絞り値Ａｖ2、ＩＳＯ感度（撮影感度）値Ｇ2を算出する。算出されたパラメータは、メモリ部Ｂ１１６に記憶される。このとき、露光時間Ｔｖ1と露光時間Ｔｖ2は、Ｔｖ1＜Ｔｖ2の関係を満たす。また、ＡＦ処理では、全体制御演算部１１１から制御して測距動作を行い被写体となる人物にピントが合うレンズ位置を算出し、レンズ駆動部１０２を駆動させてレンズ１０１を算出したレンズ位置に移動させる。
【００３２】
ステップＳ２０４にて、全体制御演算部１１１は、スイッチＳＷ２がオン（ＯＮ）であるか否かを判定し、スイッチＳＷ２がオンであればステップＳ２０５へ進み、スイッチＳＷ２がオンでない、すなわちオフであればステップＳ２０２へ戻る。ここで、スイッチＳＷ２は、操作部１１７が有するレリーズボタンが全押しされたときにオンとなるスイッチである。
【００３３】
ステップＳ２０５にて、本露光画像Ａの撮影が行われる。本露光画像Ａの撮影では、全体制御演算部１１１から制御してメモリ部Ｂ１１６から撮影パラメータ（Ｔｖ1、Ａｖ1、Ｇ1）を読み出し、ストロボ１１９を発光させて露光時間Ｔｖ1、絞り値Ａｖ1、撮影感度値Ｇ1の撮影条件で本露光画像Ａを撮影する。ステップＳ２０６にて、ステップＳ２０５において撮影した本露光画像Ａに対し、全体制御演算部１１１から指令を出し撮像信号処理部１０８にて第１のキズ補正処理を実施する。第１のキズ補正処理を施した本露光画像Ａはメモリ部Ａ１１０に格納される。
【００３４】
次に、ステップＳ２０７にて、本露光画像Ｂの撮影が行われる。本露光画像Ｂの撮影では、全体制御演算部１１１から制御してメモリ部Ｂ１１６から撮影パラメータ（Ｔｖ1、Ａｖ1、Ｇ1）を読み出し、ストロボ１１９を発光させないで露光時間Ｔｖ1、絞り値Ａｖ1、撮影感度値Ｇ1の撮影条件で本露光画像Ｂを撮影する。ステップＳ２０８にて、ステップＳ２０７において撮影した本露光画像Ｂに対し、全体制御演算部１１１から指令を出し撮像信号処理部１０８にて第１のキズ補正処理を実施する。第１のキズ補正処理を施した本露光画像Ｂはメモリ部Ａ１１０に格納される。
【００３５】
続いて、ステップＳ２０９にて、本露光画像Ｃの撮影が行われる。本露光画像Ｃの撮影では、全体制御演算部１１１から制御してメモリ部Ｂ１１６から撮影パラメータ（Ｔｖ2、Ａｖ2、Ｇ2）を読み出す。また、ピント位置が無限遠となるようにレンズ駆動部１０２を駆動させレンズ１０１のレンズ位置を移動させる。そして、ストロボ１１９を発光させないで露光時間Ｔｖ2、絞り値Ａｖ2、撮影感度値Ｇ2の撮影条件で本露光画像Ｃを撮影する。ステップＳ２１０にて、ステップＳ２０９において撮影した本露光画像Ｃに対し、全体制御演算部１１１から指令を出し撮像信号処理部１０８にて第１のキズ補正処理を実施する。第１のキズ補正処理を施した本露光画像Ｃはメモリ部Ａ１１０に格納される。
【００３６】
ステップＳ２１１にて、全体制御演算部１１１は黒画像を撮影するか否かを決定する。全体制御演算部１１１から制御してメモリ部Ｂ１１６から長秒撮影時の撮影パラメータ（Ｔｖ2、Ｇ2）、及び温度検出部１１８で検出された撮像素子１０６（あるいはその近傍）の温度情報ｔを読み出す。そして、図６に示す参照テーブルを元に、読み出した撮影パラメータ（Ｔｖ2、Ｇ2）と温度情報ｔとから黒画像を撮影するか否かを決定する。
【００３７】
図６は、撮像素子１０６の温度ｔ、撮影時の露光時間Ｔｖ、撮影時のゲインに相当するＩＳＯ感度（撮影感度）値Ｇにより、黒画像を撮影するか否かを判定する補正設定値ＢＬの参照テーブルを示している。この参照テーブルは、事前に、撮像素子１０６の温度、露光時間、ＩＳＯ感度（撮影感度）を振って撮影した画像を確認し、固定パターンノイズが目立つ条件を抽出することで作成したものである。固定パターンノイズが発生する条件では黒画像を用いた補正を行う必要があるために補正設定値ＢＬを「１」とし、固定パターンノイズが発生しない条件では黒画像を用いた補正が必要ないために補正設定値ＢＬを「０」としている。
【００３８】
例えば、暗電流に起因する白キズは、暗電流の蓄積時間となる露光時間Ｔｖ及び画素の信号を増幅する撮影感度（ＩＳＯ感度）Ｇに正比例する。また、暗電流の発生そのものは、撮像素子１０２の温度ｔに対して指数関数的に増加する。これにより、目立たないレベルのキズが目立つようになり、補正が必要なキズ個数が増加する。そこで、露光時間Ｔｖ、ＩＳＯ感度（撮影感度）Ｇ、撮像素子１０６の温度ｔがそれぞれ大きくなるに従って、黒画像の撮影を行う必要がある範囲が広がった参照テーブルになっている。なお、黒画像の撮影に係る参照テーブルにおいては、暗電流に起因するダークシェーディングも考慮して決めるようにしても良い。
【００３９】
図６においては一例として、図６（Ａ）に、（長秒）撮影時の露光時間Ｔｖが（１／３０）秒未満である場合の参照テーブルを示している。また、図６（Ｂ）に、（長秒）撮影時の露光時間Ｔｖが（１／３０）秒以上でありかつ１秒未満である場合の参照テーブルを示し、図６（Ｃ）に、（長秒）撮影時の露光時間Ｔｖが１秒以上である場合の参照テーブルを示している。
【００４０】
全体制御演算部１１１は、図６に一例を示した参照テーブルに基づく補正設定値ＢＬが「０」であれば黒画像の撮影を行わないと決定し、補正設定値ＢＬが「１」であれば黒画像の撮影を行うと決定する。このステップＳ２１１において、補正設定値ＢＬが「１」であればステップＳ２１２へ進み、補正設定値ＢＬが「０」であればステップＳ２１５へ進む。
【００４１】
ステップＳ２１２にて、黒画像の撮影が行われる。黒画像の撮影では、全体制御演算部１１１から指令を出しメカニカルシャッタ１０３を閉じ遮光した状態で撮像素子１０６による撮影を行う。黒画像の撮影は、本露光画像Ｃと同じ撮影条件（Ｔｖ2、Ｇ2）をメモリ部Ｂ１１６から読み出して行う。ステップＳ２１３にて、ステップＳ２１２において取得された黒画像に対し、全体制御演算部１１１から指令を出し撮像信号処理部１０８にて第１のキズ補正処理を実施する。第１のキズ補正処理を施した黒画像はメモリ部Ａ１１０に格納される。
【００４２】
ステップＳ２１４にて、撮像信号処理部１０８は、全体制御演算部１１１からの指令に応じてＮＲ処理（ノイズ低減処理）を行う。図３を用いて、ステップＳ２１４でのＮＲ処理について説明する。図３は、ステップＳ２１４でのＮＲ処理の流れを示すフローチャートである。まず、ステップＳ３０１にて、全体制御演算部１１１から指令を出し、メモリ部Ａ１１０に黒画像が保存されているか否かを確認する。黒画像が保存されていればステップＳ３０２に進み、黒画像が保存されていなければＮＲ処理を終了する。
【００４３】
ステップＳ３０２にて、全体制御演算部１１１から指令を出し、撮像信号処理部１０８にてメモリ部Ａ１１０に保存されている第１のキズ補正処理を施した黒画像を読み出す。撮像信号処理部１０８は、キズ検出処理を行い、読み出した第１のキズ補正処理を施した黒画像から所定の閾値Ｔｈ以上の出力レベルの画素を検出し、検出した画素の位置情報をキズアドレス情報として抽出する。そして、ステップＳ２０６及びステップＳ２０８において第１のキズ補正処理を施した本露光画像Ａ及び本露光画像Ｂをメモリ部Ａ１１０から読み出し、キズ検出処理により取得したキズアドレス情報に基づき第２のキズ補正処理を行う。第２のキズ補正処理を施した本露光画像Ａ及び本露光画像Ｂはメモリ部Ａ１１０に格納される。
【００４４】
ステップＳ３０３にて、全体制御演算部１１１から指令を出し、撮像信号処理部１０８にてメモリ部Ａ１１０に保存されている第１のキズ補正処理を施した黒画像を読み出す。撮像信号処理部１０８は、ステップＳ２１０において第１のキズ補正処理を施した本露光画像Ｃに対し、読み出した第１のキズ補正処理を施した黒画像を用いて黒引き処理を行い、ＮＲ処理を終了する。ＮＲ処理を終了した後、ステップＳ２１５へ進む。
【００４５】
ステップＳ２１５にて、撮像信号処理部１０８は、全体制御演算部１１１からの指令に応じて人物抽出・合成処理を行う。図４を用いて、ステップＳ２１５での人物抽出・合成処理について説明する。図４は、ステップＳ２１５での人物抽出・合成処理の流れを示すフローチャートである。
【００４６】
まず、ステップＳ４０１にて、撮像信号処理部１０８は、人物抽出処理を行う。人物抽出処理では、全体制御演算部１１１から指令を出し、第２のキズ補正処理を施した本露光画像Ａ及び本露光画像Ｂをメモリ部Ａ１１０から読み出す。本露光画像ＡをＳａ、本露光画像ＢをＳｂとし、アドレス（ｉ，ｊ）（１≦ｉ≦ｋ，１≦ｊ≦ｍ）での出力値をそれぞれsa(i,j)、sb(i,j)としたとき、Ｓａ、Ｓｂの出力は下記のようにマトリックスとして表すことができる。
Ｓａ＝（sa(1,1)，sa(1,2)，sa(1,3)，…，sa(i,j)，…，sa(k,m)）
Ｓｂ＝（sb(1,1)，sb(1,2)，sb(1,3)，…，sb(i,j)，…，sb(k,m)）
【００４７】
本露光画像Ａでは、ストロボ光が照射された被写体である人物が明るく撮影され、ストロボ光の届かない背景が暗く撮影されていて、本露光画像Ｂでは、被写体（人物）、背景ともに暗く撮影されている。したがって、本露光画像Ａと本露光画像Ｂとの差分をとることで、被写体である人物のみを検出することができる。そこで、本露光画像Ａから本露光画像Ｂを減算した差分を、Δ(i,j)＝sa(i,j)−sb(i,j)とするとＳａ−Ｓｂは下記のように表すことができる。
Ｓａ−Ｓｂ＝（Δ(1,1)，Δ(1,2)，Δ(1,3)，…，Δ(i,j)，…，Δ(k,m)）
【００４８】
これにより、ストロボ光が照射された成分のみが検出されるので、（Ｓａ−Ｓｂ）において、予め決められた明るさの閾値Ｔｈ1を用いて、Δ≧Ｔｈ1となるアドレス（ｉ，ｊ）を抽出する。そして、抽出したアドレスの連続性やその面積を基に人物領域を特定して、特定した人物領域のアドレスを人物画像のアドレス位置情報Ｈ−ｉｍａｇｅとしてメモリ部Ｂ１１６に保存する。
【００４９】
次に、ステップＳ４０２にて、撮像信号処理部１０８は、画像合成処理を行う。画像合成処理では、全体制御演算部１１１から指令を出し、黒引き処理を施した本露光画像Ｃのアドレス位置情報Ｈ−ｉｍａｇｅに該当する画素の出力データを、第２のキズ補正処理を施した本露光画像Ａの対応する画素の出力データで置き換える処理を施す。この処理により、第２のキズ補正処理を施した本露光画像Ａから抽出した人物画像を黒引き処理を施した本露光画像Ｃに合成する。そして、人物抽出・合成処理を終了する。人物抽出・合成処理を終了した後、ステップＳ２１６へ進む。
【００５０】
ステップＳ２１６にて、撮像信号処理部１０８は、全体制御演算部１１１からの指令に応じて、人物抽出・合成処理を施した本露光画像Ｃに対し、各種の画像信号処理や画像データの圧縮等を行い記録媒体１１４に記録する。ステップＳ２１６で行われる各種の画像信号処理には、例えばノイズを軽減するローパスフィルタ処理やシェーディング処理、ホワイトバランス処理等がある。
【００５１】
第１の実施形態によれば、露光時間の異なる複数枚の画像を撮影しそれらを合成して星空スナップ画像を出力画像として生成する星空スナップ撮影モードにおいて、ノイズの少ない良好な画質の出力画像を生成することができる。また、ノイズリダクションのために撮影する画像を１枚のみにすることで、撮影全体にかかる時間を抑え、待ち時間が長いためユーザーにかかるストレスを軽減することが可能になるとともに、被写体ブレの発生も抑制することができる。
【００５２】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態における撮像装置の構成は、図１に示した第１の実施形態における撮像装置と同様であるので、その説明は省略する。以下では、第２の実施形態における撮像装置の星空スナップ撮影モードでの動作について、図７及び図１１を適宜関連づけて説明する。図７は、第２の実施形態における撮像装置の星空スナップ撮影モードでの動作例を示すフローチャートである。また、図１１は、図７に示す第２の実施形態における星空スナップ撮影モードでの動作について説明するための図である。
【００５３】
例えば、操作部１１７に対するユーザーの操作により撮像装置の電源が入れられると、ステップＳ６０１にて、全体制御演算部１１１は、撮像装置各部の設定を初期化し、いわゆるカメラスルー画像を表示させる。このとき、全体制御演算部１１１は、カメラスルー画像を用いて、焦点調節を行い、絞り、露光時間及び静止画撮影時のＩＳＯ感度（撮影感度）に相当するゲインを設定する。また、星空スナップ撮影モードにおいて画像を補正する方法を選択するための補正設定値ＢＬを「０」に設定する。
【００５４】
次に、ステップＳ６０２にて、全体制御演算部１１１は、操作部１１７が有するレリーズボタンが半押しされるのを待つ。これ以降の撮影動作もすべて全体制御演算部１１１により制御される。レリーズボタンが半押しされた場合（ステップＳ６０２のＹｅｓ）、ステップＳ６０３に進み、全体制御演算部１１１は、ＡＦ（Auto Focus）動作のための被写体距離の測定を行わせる（測距動作）。ＡＦ動作のための被写体距離の測定後、ステップＳ６０４にて、全体制御演算部１１１は、被写体距離の測定結果を基に、レンズ駆動部１０２を駆動させてレンズ１０１のレンズ位置を移動させて焦点調節を行う。
【００５５】
次にステップＳ６０５にて、全体制御演算部１１１は、ＡＥ（Auto Exposure）動作のために定常光下における被写体輝度の測定を行わせる（定常測光動作）。ＡＥ動作のための被写体輝度の測定後、ステップＳ６０６にて、全体制御演算部１１１は、被写体輝度の測定結果を基に露出演算を行い、ストロボを発光させる短秒撮影及び発光させない長秒撮影の露光時間、絞り値、及びゲイン等の撮影条件をそれぞれ決定する。
【００５６】
次にステップＳ６０７にて、全体制御演算部１１１は、第１の画像補正設定処理を行う。第１の画像補正設定処理では、ステップＳ６０６において決定した長秒撮影の露光時間及びゲインと、温度検出部１１８で検出した撮像素子１０６あるいはその近傍の温度から図６に示した参照テーブルを基に長秒撮影で黒画像を撮影するか否かを決定する。
【００５７】
続いて、ステップＳ６０８にて、全体制御演算部１１１は、操作部１１７が有するレリーズボタンが全押しされるのを待つ。このとき、さらにレリーズボタンが解放された場合（ステップＳ６０９のＹｅｓ）には、ステップＳ６０２に戻り、全体制御演算部１１１は、カメラスルー画像を表示させた状態でレリーズボタンが半押しされるのを待つ。レリーズボタンが解放されていない場合（ステップＳ６０９のＮｏ）には、ステップＳ６０５に戻り、全体制御演算部１１１は、ステップＳ６０５〜Ｓ６０９の動作を繰り返しながら、レリーズボタンが全押しされるのを待つ。ステップＳ６０５〜Ｓ６０９の動作を繰り返すことで、撮影画角が変更されても常に最新の撮影条件を得ることが可能となる。
【００５８】
レリーズボタンが全押しされた場合（ステップＳ６０８のＹｅｓ）には、ステップＳ６１０に進み、全体制御演算部１１１は、図８に示す短秒撮影処理を開始する。被写体を撮影する短秒撮影処理においては、予備発光（ステップＳ７０１）において、全体制御演算部１１１は、ストロボ１１９を発光させて予備発光を行い、ストロボ光（閃光）を照射した被写体の輝度測定を行わせる。被写体輝度の測定後、全体制御演算部１１１は、被写体輝度の測定結果を基に本発光時のストロボ発光量を算出する（ステップＳ７０２）。
【００５９】
次に、全体制御演算部１１１は、ステップＳ６０６において決定した短秒撮影の絞り値になるようにメカニカルシャッタ・絞り駆動部１０５を駆動し絞り１０４を制御する（ステップＳ７０３）。その後、全体制御演算部１１１は、ステップＳ６０６において決定した短秒撮影時の露光時間を設定する（ステップＳ７０４）。このとき、同時に短秒撮影時のゲインも設定する。
【００６０】
例えば、撮像素子１０６がＸＹ読み出し方式のＣＭＯＳ型イメージセンサである場合、画像信号は１ライン毎に読み出されるため、露光に先立つ電子シャッタ動作も１ライン毎に実施されることになる。これにより、撮像素子１０６における最後のラインの電子シャッタ動作の終了後から最初のラインの読み出し開始までが、ストロボ光により全ライン同時に露光できる期間となる。そして、全ライン同時に露光できる期間内に、十分余裕をもってストロボを発光させる必要があるため、ストロボを用いた短秒撮影の露光時間は、ストロボ発光時間に比べて大幅に長くなる。そこで、ストロボを発光させて行う短秒撮影においては、通常のキズ補正とは異なる補正が求められることになる。
【００６１】
そして、全体制御演算部１１１により短秒撮影の撮影条件が設定された後、ステップＳ７０２において決定した発光量で、ストロボ有りの短秒撮影を行う（ステップＳ７０５）。このとき撮影された画像が、図１１に示した画像１１Ａに相当する。ストロボ有りの短秒撮影で撮影した画像１１Ａは、ストロボ光（閃光）が照射された被写体が明るく撮影され、ストロボ光の届かない背景が暗く撮影されている。
【００６２】
ストロボ有りの短秒撮影を行った後、全体制御演算部１１１は、撮像素子１０６から画像信号を読み出すことになるが、このときに第１のキズ補正処理（ステップＳ７０６）を実施する。第１のキズ補正処理を施したストロボ有りの短秒撮影で撮影した画像は、メモリ部Ａ１１０に格納される。この第１のキズ補正処理は、図１１に示した画像１１Ａに対する第１のキズ補正処理Ｐ１１１に相当し、前述した第１の実施形態における第１のキズ補正処理と同様である。
【００６３】
次に、全体制御演算部１１１は、露光時間、絞り値、及びＩＳＯ感度（撮影感度）といった撮影条件を変更せず、かつストロボを発光させずに、ストロボなしの短秒撮影を行う（ステップＳ７０７）。このとき撮影された画像が、図１１に示した画像１１Ｂに相当する。ストロボなしの短秒撮影で撮影した画像１１Ｂは、被写体、背景ともに暗く撮影されている。
【００６４】
ステップＳ７０６と同じく、ストロボなしの短秒撮影を行った後、全体制御演算部１１１は、撮像素子１０６から画像信号を読み出すことになるが、このときに第１のキズ補正処理（ステップＳ７０８）を実施する。第１のキズ補正処理を施したストロボなしの短秒撮影で撮影した画像は、メモリ部Ａ１１０に格納される。この第１のキズ補正処理は、図１１に示した画像１１Ｂに対する第１のキズ補正処理Ｐ１１１に相当し、前述した第１の実施形態における第１のキズ補正処理と同様である。
【００６５】
以上で、図７に示したステップＳ６１０での短秒撮影処理が終了し、ステップＳ６１１に進み、全体制御演算部１１１は、図９に示す長秒撮影処理を開始する。背景を撮影する長秒撮影処理においては、被写体に合焦している必要がない。そのため、焦点調節（ステップＳ８０１）において、全体制御演算部１１１は、レンズ駆動部１０２を駆動させて背景に焦点が合うようにレンズ１０１のレンズ位置を無限遠に移動させて焦点調節を行う。
【００６６】
次に、全体制御演算部１１１は、ステップＳ６０６において決定した長秒撮影の絞り値になるようにメカニカルシャッタ・絞り駆動部１０５を駆動し絞り１０４を制御する（ステップＳ８０２）。その後、全体制御演算部１１１は、ステップＳ６０６において決定した長秒撮影の露光時間を設定する（ステップＳ８０３）。このとき、同時に長秒撮影時のＩＳＯ感度（ゲイン）も設定する。
【００６７】
そして、全体制御演算部１１１により長秒撮影の撮影条件が設定された後、ストロボなしの背景の長秒撮影を行う（ステップＳ８０４）。このとき撮影された画像が、図１１に示した画像１１Ｃに相当する。ストロボなしの長秒撮影で撮影した画像１１Ｃは、ストロボを用いていないために被写体は暗く撮影されるが、長秒撮影のために背景は比較的明るく撮影されることになる。
【００６８】
ストロボなしの長秒撮影を行った後、全体制御演算部１１１は、撮像素子１０６から画像信号を読み出すことになるが、このときに第１のキズ補正処理（ステップＳ８０５）を実施する。第１のキズ補正処理を施したストロボなしの長秒撮影で撮影した画像は、メモリ部Ａ１１０に格納される。この第１のキズ補正処理は、図１１に示した画像１１Ｃに対する第１のキズ補正処理Ｐ１１１に相当し、前述した第１の実施形態における第１のキズ補正処理と同様である。ただし、長秒撮影に対応したキズアドレスに基づいたキズ補正である。
【００６９】
例えば、図６に示した参照テーブルで説明したように、白キズは、撮影時の露光時間Ｔｖ、ＩＳＯ感度（撮影感度）Ｇ、及び撮像素子１０６の温度ｔのそれぞれが大きくなるに従って、補正が必要なキズ個数が増加する。そこで、図６に示した参照テーブルと同様に、撮影条件に応じて補正するキズの個数を変化させたキズ補正の参照テーブルを持っていてもよい。
【００７０】
次に、全体制御演算部１１１は、ステップＳ６０７において設定した補正設定値ＢＬを参照する（ステップＳ８０６）。補正設定値ＢＬが「０」である場合（ステップＳ８０６のＹｅｓ）、黒画像の撮影を行わずに、ステップＳ６１３の人物抽出処理に進む。一方、補正設定値ＢＬが「１」である場合（ステップＳ８０６のＮｏ）、黒画像の撮影処理を行う。
【００７１】
黒画像の撮影処理では、全体制御演算部１１１は、露光時間、絞り値、及びゲインといった撮影条件を変更せず、かつメカニカルシャッタ１０３を動作させて撮像素子１０６を遮光した状態で、黒画像（長秒黒画像）を撮影する（ステップＳ８０７）。このとき撮影された画像が、図１１に示した画像１１Ｄに相当する。遮光した状態で撮影したので、白キズやダークシェーディング等の暗電流に起因する成分のみが撮影される。
【００７２】
ステップＳ８０５と同じく、遮光した状態で長秒撮影を行った後、全体制御演算部１１１は、撮像素子１０６から画像信号を読み出すことになるが、このときに第１のキズ補正処理（ステップＳ８０８）を実施する。第１のキズ補正処理を施した遮光した状態の長秒撮影で撮影した画像（黒画像）は、メモリ部Ａ１１０に格納される。この第１のキズ補正処理は、図１１に示した画像１１Ｄに対する第１のキズ補正処理Ｐ１１１に相当し、ステップＳ７０６と同じ短秒撮影時のキズアドレスを補正する。ここで、長秒黒画像１１Ｄを短秒撮影時のキズアドレスで補正したのは、長秒黒画像１１Ｄからキズを検出したときに、短秒撮影に対応したキズアドレスからの増加分のキズを求めることができるからである。
【００７３】
以上で、図７に示したステップＳ６１１での長秒撮影処理が終了し、ステップＳ６１２に進み、全体制御演算部１１１は、図１０に示す画像補正処理を開始する。画像補正処理では、まず、キズ検出処理を行い、長秒黒画像１１Ｄからキズを検出する（ステップＳ９０１）。
【００７４】
全体制御演算部１１１は、予め保存しておいた、キズとして目立つレベルをキズ閾値Ｔｈ１に設定する。そして、全体制御演算部１１１は、メモリＡ１１０から読み出した長秒黒画像１１Ｄの各画素の値とキズ閾値Ｔｈ１とを比較して、画素の値がキズ閾値Ｔｈ１より大きければ、キズと判定してキズアドレスとキズレベルとをメモリ部Ｂ１１６に保存する。このキズ検出処理は、図１１に示した画像１１Ｄに対するキズ検出処理Ｐ１１２に相当する。キズ閾値Ｔｈ１は、例えば工場出荷時にキズアドレスを検出したときのキズ閾値と同じでよい。
【００７５】
ここで、キズ検出処理において、長秒黒画像１１Ｄにダークシェーディングが発生していると、各画素の値をキズ閾値Ｔｈ１と比較しただけでは正確なキズ検出ができない。このため、キズを検出する画素に対してＬＰＦ（Low Pass Filter）処理を実施し、キズ検出画素の値から減算することで、ダークシェーディングの影響を除去する。こうして、ダークシェーディングの影響を除去した画素の値をキズ閾値Ｔｈ１と比較して、キズの判定を行えばよい。
【００７６】
ＬＰＦ処理としては、キズ検出画素の周辺の画素を用いて加算平均した値を用いてもよいし、キズ検出画素を含む周辺の画素に対してメディアンフィルタ処理を実施した値を用いてもよい。このとき、ＬＰＦ処理を実施した長秒黒画像１１Ｄは、ダークシェーディング補正（ＤＳＨＤ補正）画像としてメモリ部Ａ１１０に格納される。
【００７７】
長秒黒画像１１Ｄからのキズ検出を終了した後、次にステップＳ９０２にて、全体制御演算部１１１は、第２の画像補正設定処理を行う。第２の画像補正設定処理では、ステップＳ９０１において検出したキズ個数から画像補正の方法を決定する。ここでは、図６に示した参照テーブルにおいて、補正設定値ＢＬが「１」である撮影条件のときが対象となる。また、画像補正の方法は、（１）ＤＳＨＤ補正、（２）ＤＳＨＤ補正及び第２のキズ補正処理、及び（３）黒引き処理及び第２のキズ補正処理、の内から何れか１つを選択するものとする。
【００７８】
次に、キズ個数と画像補正の方法の関係について、温度条件を例にして説明する。長秒撮影時に撮像素子１０６の温度が高くなると画素の暗電流が増加し、微小な白キズが大きくなってキズ閾値以上のキズと判定する個数が増加する。このときには、すべての画素の暗電流も増加しているため、それがゆるい傾斜分布を持つダークシェーディングになる。ストロボなしの長秒撮影で取得した長秒背景画像から遮光した状態での長秒撮影で取得した長秒黒画像を画素毎に減算する黒引き処理を行うと画素の暗電流成分がなくなるので、ダークシェーディングとキズは解消する。
【００７９】
しかしながら、長秒背景画像と長秒黒画像とのそれぞれが持つランダムノイズにより、黒引き処理後の長秒背景画像のランダムノイズは逆に増加してしまう。そこで、長秒黒画像にＬＰＦ処理を実施してＤＳＨＤ補正画像を作成し、長秒背景画像から減算することで、ランダムノイズの増加を抑えながらダークシェーディングを解消することができる。これが、ＤＳＨＤ補正である。ただし、ＤＳＨＤ補正では、キズ補正が行われないため、ステップＳ９０１において検出したキズアドレスに対してキズ補正処理を実施する必要がある。それが、ステップＳ９０５に相当する第２のキズ補正処理である。
【００８０】
ここで、黒引き処理を行う前の長秒背景画像の画素において、背景画像の信号、ダークシェーディングの信号、及び白キズの信号が重なって画素の飽和に達した場合、それ以上の信号は画素から出力されないことになる。この場合、黒引き処理を行うことで、背景画像の信号から飽和レベル以上に相当する信号が減算されることになり黒キズとなる過補正が起こってしまう。そこで、黒引き処理後にも、ステップＳ９０１において検出したキズアドレスに対して第２のキズ補正処理を実施する必要がある。
【００８１】
以上を踏まえて、ステップＳ９０１において検出したキズ個数をＤｅｆＮとし、予め設定しておいたキズ個数閾値Ｄｅｆ１、キズ個数閾値Ｄｅｆ２（Ｄｅｆ１＜Ｄｅｆ２とする）として、画像補正の方法を決定する。ＤｅｆＮ≦Ｄｅｆ１であるときには、白キズの増加は少ないが、ダークシェーディングは発生していると判断する。したがって、ＤｅｆＮ≦Ｄｅｆ１であるときには、（１）ＤＳＨＤ補正のみを実施すると決定し、補正設定値ＢＬは「１」のままとする。
【００８２】
また、Ｄｅｆ１＜ＤｅｆＮ≦Ｄｅｆ２であるときには、白キズの増加はあるが、キズ閾値以下の微小な白キズの増加は少なく、かつ、ダークシェーディングは発生していると判断する。したがって、Ｄｅｆ１＜ＤｅｆＮ≦Ｄｅｆ２であるときには、（２）ＤＳＨＤ補正及び第２のキズ補正処理を実施すると決定し、補正設定値ＢＬは「２」を設定する。
【００８３】
また、Ｄｅｆ２＜ＤｅｆＮであるときには、白キズの増加に加え、キズ閾値以下の微小な白キズも増加し、ランダムノイズの増加を考慮しても黒引き処理が必要と判断する。したがって、Ｄｅｆ２＜ＤｅｆＮであるときには、（３）黒引き処理及び第２のキズ補正処理を実施すると決定し、補正設定値ＢＬは「３」を設定する。
【００８４】
決定した画像補正方法を、図６に示した参照テーブルに対して適用したものが図１２となる。図１２は、長秒撮影時の露光時間Ｔｖ、ＩＳＯ感度（撮影感度）Ｇ、及び撮像素子１０６の温度ｔに応じた画像補正の方法を設定した補正方法の参照テーブルを示している。図１２に示す例では、補正設定値ＢＬをそのまま用いて、補正方法の参照テーブルを作成したが、補正方法を参照する別の設定値を用いて補正方法の参照テーブルを作成してもよい。この補正方法の参照テーブルにおいても、露光時間Ｔｖ、ＩＳＯ感度（撮影感度）Ｇ、及び撮像素子１０６の温度ｔのそれぞれが大きくなるに従って、補正方法が変更されていく参照テーブルになっている。
【００８５】
そして、これ以降のステップにおいて、設定した画像補正を実施する。まず、全体制御演算部１１１は、ステップＳ９０２において設定した補正設定値ＢＬを参照する（ステップＳ９０３）。
【００８６】
補正設定値ＢＬが「３」である場合（ステップＳ９０３のＹｅｓ）、全体制御演算部１１１は、撮像信号処理部１０８にて、メモリ部Ａ１１０からそれぞれ読み出した長秒背景画像１１Ｃから長秒黒画像１１Ｄを画素毎に減算する黒引き処理を実施する。黒引き処理された長秒背景画像は、メモリ部Ａ１１０に格納される（ステップＳ９０４）。この黒引き処理は、図１１に示した画像１１Ｃに対するダーク補正処理Ｐ１１３に相当する。また、黒引き処理された長秒背景画像が、図１１に示した画像１１Ｅに相当する。
【００８７】
続いて、全体制御演算部１１１は、メモリ部Ｂ１１６から読み出したステップＳ９０１において検出したキズアドレスを基に、黒引き処理された長秒背景画像１１Ｅに対して、撮像信号処理部１０８にて第２のキズ補正処理を実施する。第２のキズ補正処理を施した長秒背景画像は、メモリ部Ａ１１０に格納される（ステップＳ９０５）。その後、ステップＳ９０８のキズ抽出処理に進む。この第２のキズ補正処理は、図１１に示した画像１１Ｅに対する第２のキズ補正処理Ｐ１１４に相当する。また、黒引き処理後にキズ補正（第２のキズ補正処理）された長秒背景画像が、図１１に示した画像１１Ｆに相当する。
【００８８】
このとき、黒引き処理と第２のキズ補正処理とを連動させて、過剰なキズ補正を回避する方法をとってもよい。例えば、メモリ部Ａ１１０から読み出した長秒背景画像１１Ｃの画素の信号が飽和していて、かつ、ステップＳ９０１において検出したキズアドレスに一致した場合のみ、黒引き処理後にキズ補正処理を行う。画素の信号が飽和していない場合には、黒引き処理によっても正常な画素の信号が残るので、黒引き処理後のキズ補正処理を行う必要がない。これにより、長秒撮影によって増加するキズを補正することによるキズ痕の発生を低減させることができる。
【００８９】
次に、ステップＳ９０３において、補正設定値ＢＬが「３」以外である場合（ステップＳ９０３のＮｏ）、すなわち補正設定値ＢＬが「１」あるいは「２」である場合、ＤＳＨＤ補正を実施する。ＤＳＨＤ補正（ステップＳ９０６）において、全体制御演算部１１１は、メモリ部Ａ１１０からそれぞれ読み出した長秒背景画像１１ＣからＤＳＨＤ補正画像を画素毎に減算するＤＳＨＤ補正を撮像信号処理部１０８にて実施する。ＤＳＨＤ補正された長秒背景画像は、メモリ部Ａ１１０に格納される。このＤＳＨＤ補正は、図１１に示した画像１１Ｃに対するダーク補正処理Ｐ１１３に相当する。また、ＤＳＨＤ補正された長秒背景画像が、図１１に示した画像１１Ｅに相当する。
【００９０】
続いて、全体制御演算部１１１は、ステップＳ９０２において設定した補正設定値ＢＬを再度参照する（ステップＳ９０７）。補正設定値ＢＬが「２」である場合（ステップＳ９０７のＹｅｓ）、全体制御演算部１１１は、ステップＳ９０１において検出したキズアドレスを基に、ＤＳＨＤ補正された長秒背景画像１１Ｅに対して、撮像信号処理部１０８にて第２のキズ補正処理を実施する。第２のキズ補正処理を施した長秒背景画像は、メモリ部Ａ１１０に格納される（ステップＳ９０５）。その後、ステップＳ９０８のキズ抽出処理に進む。この第２のキズ補正処理は、図１１に示した画像１１Ｅに対する第２のキズ補正処理Ｐ１１４に相当する。また、ＤＳＨＤ補正後にキズ補正（第２のキズ補正処理）された長秒背景画像が、図１１に示した画像１１Ｆに相当する。
【００９１】
補正設定値ＢＬが「２」以外である場合（ステップＳ９０７のＮｏ）、すなわち補正設定値ＢＬが「１」である場合、第２のキズ補正処理を実施せずに、ステップＳ９０８のキズ抽出処理に進む。このため、図１１に示した長秒背景画像１１Ｅが、そのまま長秒背景画像１１Ｆとなる。
【００９２】
キズ抽出処理（ステップＳ９０８）において、全体制御演算部１１１は、ステップＳ９０１において検出したキズアドレスとキズレベルをメモリ部Ｂ１１６から読み出す。そして、ストロボ有りの短秒撮影での撮影条件をストロボなしの長秒撮影での撮影条件に換算したキズ閾値Ｔｈ２と比較し、キズ閾値Ｔｈ２以上のキズをキズアドレス情報として抽出する。このキズ抽出処理は、図１１に示したキズ検出処理Ｐ１１２に続くキズ抽出処理Ｐ１１５に相当する。
【００９３】
キズ閾値Ｔｈ２への換算は、キズ閾値Ｔｈ１に対して、短秒撮影時と長秒撮影時の露光時間Ｔｖ、ＩＳＯ感度（撮影感度）Ｇ、及び撮像素子１０６の温度ｔのそれぞれの差を考慮して決定される。通常、短秒撮影時のキズ閾値Ｔｈ１を長秒撮影時のキズ閾値Ｔｈ２に換算してキズ検出を実施した場合、理想的にはキズは検出されない。しかしながら、工場出荷時と実際の撮影時の温度遷移の違いや、ストロボ発光時と通常撮影時の撮像素子１０６の撮影動作の違いや、微小欠陥によるキズ等によって、キズが検出されることがある。また、換算したキズ閾値Ｔｈ２の代わりに、キズ閾値（Ｔｈ２−Δｔｈ）として所定の値Δｔｈだけ低い閾値を用いることで、キズ抽出誤差に対して余裕を持たせてもよい。
【００９４】
そして、第３のキズ補正処理（ステップＳ９０９）において、全体制御演算部１１１は、第１のキズ補正処理を施した画像１１Ａ及び１１Ｂをメモリ部Ａ１１０から読み出す。そして、メモリ部Ａ１１０から読み出した画像１１Ａ及び１１Ｂに対し、ステップＳ９０８において抽出したキズアドレス情報に基づき、撮像信号処理部１０８にて第３のキズ補正処理を実施する。第３のキズ補正処理を施したストロボ有りの短秒撮影で撮影した画像とストロボなしの短秒撮影で撮影した画像は、メモリ部Ａ１１０に格納される。
【００９５】
この第３のキズ補正処理は、図１１に示した画像１１Ａ及び画像１１Ｂに対する第３のキズ補正処理Ｐ１１６に相当する。また、第３のキズ補正処理を施したストロボ有りの短秒撮影で撮影した画像とストロボなしの短秒撮影で撮影した画像が、それぞれ図１１に示した画像１１Ｇと画像１１Ｈに相当する。以上で、図７に示したステップＳ６１２での画像補正処理が終了し、ステップＳ６１３に進み、全体制御演算部１１１は、人物抽出処理を開始する。
【００９６】
なお、図９に示したステップＳ８０６から、ラベルＡに分岐して図７に示すステップＳ６１３の人物抽出処理に進む場合、ステップＳ８０７での長秒黒画像の撮影及びステップＳ６１２での画像補正処理を実施していない。このため、図１１に示した第１のキズ補正処理を施したストロボ有りの短秒撮影で撮影した画像１１Ａ、及び第１のキズ補正処理を施したストロボなしの短秒撮影で撮影した画像１１Ｂが、それぞれそのまま画像１１Ｇ及び画像１１Ｈに対応した画像となる。また、図１１に示した第１のキズ補正処理を施したストロボなしの長秒撮影で撮影した画像１１Ｃが、そのまま画像１１Ｆに対応した画像となる。
【００９７】
人物抽出処理では、全体制御演算部１１１は、撮像信号処理部１０８にて、メモリ部Ａ１１０からストロボ有りの短秒撮影で撮影された画像１１Ｇ及びストロボなしの短秒撮影で撮影された画像１１Ｈを用いて人物抽出を行う（ステップＳ６１３）。ステップＳ６１３での人物抽出処理は、画像１１Ｇを本露光画像Ａとし画像１１Ｈを本露光画像Ｂとした第１の実施形態における人物抽出処理（ステップＳ４０１）と同様であるので、その説明は省略する。この人物抽出処理は、図１１に示した画像１１Ｇ及び画像１１Ｈを用いた人物抽出処理Ｐ１１７に相当する。また、人物抽出処理により抽出されたアドレスを基にした人物画像が、図１１に示した画像１１Ｉに相当する。
【００９８】
次に、全体制御演算部１１１は、画像合成処理を行い、ステップＳ６１３で抽出した人物領域のアドレスを基に、撮像信号処理部１０８にて長秒背景画像１１Ｆ内の人物領域をストロボ有りの短秒撮影で撮影された画像１１Ｇ内の人物領域で置き換える。この処理により、ストロボ有りの短秒撮影で撮影された画像１１Ｇから抽出した被写体となる人物画像１１Ｉを長秒背景画像１１Ｆに合成した画像を生成することができる（ステップＳ６１４）。この画像合成処理は、図１１に示した人物画像１１Ｉと長秒背景画像１１Ｆに続く画像合成処理Ｐ１１８に相当する。
【００９９】
次に、全体制御演算部１１１は、人物画像１１Ｉを合成した長秒背景画像に対して、撮像信号処理部１０８にて、ノイズを軽減するローパスフィルタ処理やシェーディング処理、ホワイトバランス処理等の各種の画像信号処理を実施する。さらに、撮像信号処理部１０８にて、メモリ部Ａ１１０に保存している人物領域のアドレスを読み出して、人物領域の周辺に対して、輪郭をぼかす等の輪郭処理を実施する（ステップＳ６１５）。この輪郭処理は、図１１に示した画像合成処理Ｐ１１８に続く輪郭処理Ｐ１１９に相当する。また、各種の画像信号処理及び被写体である人物に対する輪郭処理を施した長秒背景画像が、図１１に示した画像１１Ｊに相当する。
【０１００】
続いて、全体制御演算部１１１は、ステップＳ６１５までの処理を終了した長秒背景画像１１Ｊを確認のために表示部１１３により表示させるとともに、画像データの圧縮を行い記録媒体１１４に記録して終了する（ステップＳ６１６）。なお、ステップＳ６１６での処理の終了後に、ステップＳ６０１に戻ってもよい。
【０１０１】
第２の実施形態によれば、星空スナップ撮影モードにおいて、撮影した長秒黒画像を用いて長秒背景画像の画像補正を行うとともに、撮影した長秒黒画像から検出したキズ情報に基づいてストロボなしの短秒撮影で撮影した画像のキズ補正も行う。これにより、被写体となる人物と背景のそれぞれに適切なノイズリダクション処理を実施することが可能となり、良好な画質の星空スナップ画像を生成することができる。また、予め決められたストロボ短秒撮影の条件に基づくキズアドレス以外に発生したキズを長秒黒画像から検出してストロボなしの短秒撮影で撮影した画像のキズ補正を行うことができ、ノイズリダクション処理の精度を向上させることができる。
【０１０２】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１０３】
１０１：レンズ  １０２：レンズ駆動部  １０３：メカニカルシャッタ  １０４：絞り  １０５：メカニカルシャッタ・絞り駆動部  １０６：撮像素子  １０８：撮像信号処理部  １０９：タイミング発生部  １１０：メモリ部Ａ  １１１：全体制御演算部  １１６：メモリ部Ｂ  １１７：操作部  １１８：温度検出部  １１９：ストロボ（発光部）
【図１】
2016096463.tif 000003
【図２】
2016096463.tif 000004
【図３】
2016096463.tif 000005
【図４】
2016096463.tif 000006
【図５】
2016096463.tif 000007
【図６】
2016096463.tif 000008
【図７】
2016096463.tif 000009
【図８】
2016096463.tif 000010
【図９】
2016096463.tif 000011
【図１０】
2016096463.tif 000012
【図１１】
2016096463.tif 000013
【図１２】
2016096463.tif 000014
【図１３】
2016096463.tif 000015