(57)【要約】【課題】メモリの記憶容量を圧迫することなく暗電流ノイズを除去可能な撮影装置及び撮影方法を提供する。【解決手段】撮影装置を、撮像素子による被写体の撮影画像データを生成する画像データ生成手段と、被写体を撮影したときの撮影条件を記憶する撮影条件記憶手段と、撮影画像データのノイズを除去するノイズ除去手段と、撮像素子が受光しない状態で撮影された画像のデータを圧縮したダーク画像データを予め記憶したダーク画像データ記憶手段とから構成する。ノイズ除去手段は、ダーク画像データに対して伸長処理を施すことによって補正データを生成し、補正データに基づいて撮影画像データを補正することにより、撮影画像データのノイズを除去する。【選択図】図３
2015226135.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子による被写体の撮影画像データを生成する画像データ生成手段と、
前記被写体を撮影したときの撮影条件を記憶する撮影条件記憶手段と、
前記撮影画像データのノイズを除去するノイズ除去手段と、
前記撮像素子が受光しない状態で撮影された画像のデータを圧縮したダーク画像データを予め記憶したダーク画像データ記憶手段と、
を備え、
前記ノイズ除去手段は、
前記ダーク画像データに対して伸長処理を施すことによって補正データを生成し、
前記補正データに基づいて前記撮影画像データを補正することにより、該撮影画像データのノイズを除去する、
撮影装置。
【請求項２】
前記ノイズ除去手段は、
前記撮影条件に基づいて補正量を算出し、
前記ダーク画像データに対して、前記伸長処理及び前記補正量に基づく補正処理を施すことによって前記補正データを生成する、
請求項１に記載の撮影装置。
【請求項３】
前記ダーク画像データの撮影条件を示すダーク撮影条件を記憶するダーク撮影条件記憶手段
を備え、
前記ノイズ除去手段は、
前記撮影条件と前記ダーク撮影条件とに基づいて前記補正量を算出する、
請求項２に記載の撮影装置。
【請求項４】
前記撮像素子が受光しない状態で撮影された画像のデータをフィルタ処理し、フィルタ処理された画像のデータを圧縮することにより、前記ダーク画像データを生成する第一のダーク画像データ生成手段
を備え、
前記ダーク画像記憶手段は、
前記第一のダーク画像データ生成手段により生成されたダーク画像データを記憶する、
請求項１から請求項３の何れか一項に記載の撮影装置。
【請求項５】
前記撮影条件が所定の条件を満たす場合、前記被写体の撮影処理に続けて、前記撮像撮像素子が受光しない状態で撮影処理を行ってダーク画像データを生成する第二のダーク画像データ生成手段
を備え、
前記ノイズ除去手段は、
前記ダーク画像データ記憶手段に記憶されたダーク画像データに代えて、前記第二のダーク画像データ生成手段により生成されたダーク画像データを用いて前記撮影画像データのノイズを除去する、
請求項４に記載の撮影装置。
【請求項６】
前記撮影条件は、
前記被写体を撮影したときの前記撮像素子の積分時間を含み、
前記所定の条件は、
前記被写体を撮影したときの前記積分時間が所定時間よりも短いことである、
請求項５に記載の撮影装置。
【請求項７】
前記ダーク画像データ生成手段は、
前記撮像素子が受光しない状態で撮影された画像のデータに発生するノイズの状態に応じて複数種類のフィルタ処理の中から１つ以上のフィルタ処理を選択し、
選択されたフィルタ処理を前記撮像素子が受光しない状態で撮影された画像のデータに施す、
請求項４に記載の撮影装置。
【請求項８】
前記ダーク画像データ生成手段は、
前記撮像素子が受光しない状態で撮影された画像のデータに発生するノイズの状態に応じて複数種類のデータ圧縮方法の中から１つ以上のデータ圧縮方法を選択し、
選択されたデータ圧縮方法を用いて前記撮像素子が受光しない状態で撮影された画像のデータを圧縮する、
請求項４から請求項７の何れか一項に記載の撮影装置。
【請求項９】
前記撮影条件は、
前記被写体を撮影したときの温度、前記撮像素子の出力ゲイン、該撮像素子の積分時間の少なくとも１つを含む、
請求項１から請求項８の何れか一項に記載の撮影装置。
【請求項１０】
撮像素子による被写体の撮影画像データを生成するステップと、
前記被写体を撮影したときの撮影条件を記憶するステップと、
所定の記憶媒体に記憶されたダーク画像データであって、前記撮像素子が受光しないで撮影された画像のデータを圧縮したものを伸長することにより補正データを生成するステップと、
伸長された補正データに基づいて前記撮影画像データを補正することにより、該撮影画像データのノイズを除去するステップと、
を含む、
撮影方法。
【請求項１１】
前記撮影条件に基づいて補正量を算出するステップを含み、
前記補正データを生成するステップにおいて、
前記ダーク画像データに対して、前記伸長処理及び前記補正量に基づく補正処理を施すことによって前記補正データが生成される、
請求項１０に記載の撮影方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに対して画像処理を施す撮影装置及び撮影方法に関する。
【背景技術】
【０００２】
撮影装置には、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子が搭載されている。撮影装置によって生成される撮影画像データには、撮像素子で生じる暗電流ノイズが含まれている。
【０００３】
この暗電流ノイズを除去するために、撮像素子を遮光した遮光状態（シャッタ幕を閉じた状態）で撮影された画像のデータ（遮光撮影データ）を生成する撮影装置が知られている。この種の撮影装置では、撮影画像データから遮光撮影データが減算されることにより、撮影画像データから暗電流ノイズが除去されている。
【０００４】
特許文献１には、遮光撮影データを予め所定の記憶領域に記憶しておく撮影装置が開示されている。特許文献１に記載の撮影装置では、撮影画像データが生成されると、撮影画像データから予め記憶されている遮光撮影データが減算されることにより、暗電流ノイズが除去される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開昭６３−２６３８８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の撮影装置では、圧縮されていない遮光撮影データを予め記憶する必要があるため、遮光撮影データがメモリの記憶容量を圧迫するという問題があった。
【０００７】
本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、メモリの記憶容量を圧迫することなく暗電流ノイズを除去可能な撮影装置及び撮影方法を提供することである。
【課題を解決するための手段】
【０００８】
本実施形態の撮影装置は、撮像素子による被写体の撮影画像データを生成する画像データ生成手段と、被写体を撮影したときの撮影条件を記憶する撮影条件記憶手段と、撮影画像データのノイズを除去するノイズ除去手段と、撮像素子が受光しない状態で撮影された画像のデータを圧縮したダーク画像データを予め記憶したダーク画像データ記憶手段と、を備える。ノイズ除去手段は、ダーク画像データに対して伸長処理を施すことによって補正データを生成し、補正データに基づいて撮影画像データを補正することにより、撮影画像データのノイズを除去する。
【０００９】
このような構成によれば、遮光撮影データは所定の記憶領域に予め記憶されているため、撮影処理が行われる毎に遮光撮影データを生成する必要が無い。また、遮光撮影データは所定の記憶領域に圧縮されて記憶されるため、遮光撮影データの記憶に必要な記憶領域の容量が大きくなることを抑制できる。
【００１０】
また、ノイズ除去手段は、撮影条件に基づいて補正量を算出し、ダーク画像データに対して、伸長処理及び補正量に基づく補正処理を施すことによって補正データを生成してもよい。
【００１１】
また、撮影装置は、ダーク画像データの撮影条件を示すダーク撮影条件を記憶するダーク撮影条件記憶手段を備えてもよい。この場合、ノイズ除去手段は、撮影条件とダーク撮影条件とに基づいて補正量を算出する。
【００１２】
また、撮影装置は、撮像素子が受光しない状態で撮影された画像のデータをフィルタ処理し、フィルタ処理された画像のデータを圧縮することにより、ダーク画像データを生成する第一のダーク画像データ生成手段を備えてもよい。この場合、ダーク画像記憶手段は、第一のダーク画像データ生成手段により生成されたダーク画像データを記憶する。
【００１３】
また、撮影装置は、撮影条件が所定の条件を満たす場合、被写体の撮影処理に続けて、撮像撮像素子が受光しない状態で撮影処理を行ってダーク画像データを生成する第二のダーク画像データ生成手段を備えてもよい。この場合、ノイズ除去手段は、ダーク画像データ記憶手段に記憶されたダーク画像データに代えて、第二のダーク画像データ生成手段により生成されたダーク画像データを用いて撮影画像データのノイズを除去する。
【００１４】
また、撮影条件は、被写体を撮影したときの撮像素子の積分時間を含み、所定の条件は、被写体を撮影したときの積分時間が所定時間よりも短いことであってもよい。
【００１５】
また、ダーク画像データ生成手段は、撮像素子が受光しない状態で撮影された画像のデータに発生するノイズの状態に応じて複数種類のフィルタ処理の中から１つ以上のフィルタ処理を選択し、選択されたフィルタ処理を撮像素子が受光しない状態で撮影された画像のデータに施してもよい。
【００１６】
また、ダーク画像データ生成手段は、撮像素子が受光しない状態で撮影された画像のデータに発生するノイズの状態に応じて複数種類のデータ圧縮方法の中から１つ以上のデータ圧縮方法を選択し、選択されたデータ圧縮方法を用いて撮像素子が受光しない状態で撮影された画像のデータを圧縮してもよい。
【００１７】
また、撮影条件は、被写体を撮影したときの温度、撮像素子の出力ゲイン、撮像素子の積分時間の少なくとも１つを含んでもよい。
【００１８】
本実施形態の撮影方法は、撮像素子による被写体の撮影画像データを生成するステップと、被写体を撮影したときの撮影条件を記憶するステップと、所定の記憶媒体に記憶されたダーク画像データであって、撮像素子が受光しないで撮影された画像のデータを圧縮したものを伸長することにより補正データを生成するステップと、伸長された補正データに基づいて撮影画像データを補正することにより、撮影画像データのノイズを除去するステップと、を含む。
【００１９】
また、本実施形態の撮影方法は、撮影条件に基づいて補正量を算出するステップを含んでもよい。この場合、補正データを生成するステップにおいて、ダーク画像データに対して、伸長処理及び補正量に基づく補正処理を施すことによって補正データが生成される。
【発明の効果】
【００２０】
本実施形態によれば、メモリの記憶容量を圧迫することなく暗電流ノイズを除去可能な撮影装置及び撮影方法が提供される。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態にかかる撮影装置の構成を示すブロック図である。
【図２】本発明の実施形態にかかるダークフレームに基づく撮影画像の一例を示す図である。
【図３】本発明の実施形態にかかるダークフレームを生成するための撮影装置の動作フローを示すフローチャートである。
【図４】本発明の実施形態にかかる被写体を撮影する撮影処理のフローチャートである。
【図５】本発明の実施形態の第１の変形例にかかる被写体を撮影する撮影処理のフローチャートである。
【図６】本発明の実施形態の第２の変形例にかかる被写体を撮影する撮影処理のフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態の撮影装置について図面を参照しながら説明する。以下においては、本発明の一実施形態として、デジタル一眼レフカメラについて説明する。なお、撮影装置は、デジタル一眼レフカメラに限らず、例えば、ミラーレス一眼カメラ、コンパクトデジタルカメラ、カムコーダ、タブレット端末、ＰＨＳ（Personal Handy phone System）、スマートフォン、フィーチャフォン、携帯ゲーム機など、撮影機能を有する別の形態の装置に置き換えてもよい。
【００２３】
図１は、本実施形態の撮影装置１の構成を示すブロック図である。図１に示されるように、撮影装置１は、撮影レンズ系１０（撮影レンズ１１及び１２）を備えている。撮影レンズ１１と撮影レンズ１２との間には絞り１３が配置されている。撮影レンズ系１０の後方には、撮影レンズ１２側から順に、ミラー１４、シャッタ幕１５及び撮像素子１６が配置されている。ミラー１４は撮影レンズ系１０からの光を上方のペンタプリズム１７に導くよう配置されている。ミラー１４の上方には、ミラー１４側から順に、拡散板（焦点板又はピント板）１８、ペンタプリズム１７及び接眼レンズ１９が配置されている。
【００２４】
被写体からの光束（被写体光束）は、撮影レンズ系１０を透過してミラー１４に入射される。ミラー１４に入射された被写体光束の一部はミラー１４により反射され、拡散板１８を介してペンタプリズム１７に入射される。拡散板１８は、撮像素子１６の撮像面と等価な位置に配置されている。そのため、拡散板１８には、撮影レンズ系１０を通過した被写体光束が結像する。ペンタプリズム１７は、複数の反射面を有し、拡散板１８に結像して入射した被写体像を各反射面で反射させることで正立像とし、接眼レンズ１９に向けて射出する。接眼レンズ１９は、拡散板１８上に結像されてペンタプリズム１７により正立化された被写体像を、ユーザは、接眼レンズ１９を覗くことで被写体像を観察することができる。
【００２５】
撮影レンズ１１、１２の光軸ＡＸ上における位置はレンズ制御回路２１によって制御され、焦点調節が行われる。絞り１３の開度は絞り駆動回路２２によって調整され、撮像素子１６に入射される被写体光束の光量が調整される。ミラー１４の回動はミラー駆動回路２３によって駆動され、シャッタ幕１５の開閉はシャッタ駆動回路２４によって駆動される。撮影レンズ１１、１２の合焦状態はＡＦ（Autofocus）センサ２５によって検出され、被写体の明るさは測光センサ２６によって検出される。ＡＦセンサ２５と測光センサ２６の検出信号はそれぞれＣＰＵ３１に入力される。これらの検出信号に基づいて、ＣＰＵ３１により、レンズ制御回路２１、絞り駆動回路２２、ミラー駆動回路２３及びシャッタ駆動回路２４が制御される。
【００２６】
操作部３２には、電源スイッチやレリーズスイッチ、撮影モードスイッチなど、ユーザが撮影装置１を操作するために必要な各種スイッチが含まれる。ユーザにより電源スイッチが押されると、図示省略されたバッテリから撮影装置１の各種回路に電源ラインを通じて電源供給が行われる。ＣＰＵ（Central Processing Unit）３１は電源供給がなされた後、制御プログラムを実行することにより、撮影装置１全体の制御を行う。
【００２７】
ＣＰＵ３１は、ＴＴＬ（Through The Lens）露出計等の測光センサ２６で測定された測光値に基づき適正露出が得られるように、絞り駆動回路２２を介して絞り１３を駆動制御する。状態表示装置３３（例えばＬＣＤ（Liquid Crystal Display））には、その時点で設定されている露光感度やシャッタ速度等の撮影条件や撮影モードが表示される。
【００２８】
露光感度は、例えば、ＩＳＯ（International Organization for Standardization）感度である。露光感度が変更されると、露光感度の設定値に応じて撮像素子１６の出力ゲインが変更される。出力ゲインは、撮像素子１６から出力される撮像信号の増幅率であり、露光感度が大きいほど出力ゲインは大きくなる。露光感度と出力ゲインは、同一の値ではないが、実質的に比例関係にある。また、シャッタ速度は、撮影装置１によって撮影処理が行われる際に、シャッタ幕１５が開いている時間である。シャッタ速度が変更されると、撮影処理時におけるシャッタ幕１５が開いている時間が変更されると共に、シャッタ速度に応じて撮像素子１６の積分時間（撮像素子１６の各画素が、電荷の蓄積を開始してからリセットされるまでの時間）が変更される。シャッタ速度と積分時間は、厳密には一致しないが、実質的に比例関係にある。
【００２９】
なお、状態表示装置３３に表示される撮影条件は露光感度とシャッタ速度であるが、撮影条件には出力ゲイン及び積分時間も含まれる。また、撮影装置１は温度センサ２８を備えており、温度センサ２８によって測定された温度も撮影条件に含まれる。
【００３０】
また、撮影モードには、例えば、Ａｖモード（絞り優先モード）やＴｖモード（シャッタスピード優先モード）、レリーズボタンが押されている期間中露光状態（シャッタ幕１５が開いている状態）を維持するバルブモード等がある。
【００３１】
レリーズスイッチが半押し操作されると、ＣＰＵ３１は、ＡＦセンサ２５の検出結果に基づきレンズ制御回路２１を介して、光軸ＡＸ上における撮影レンズを制御する。これにより、撮影レンズ系１０の合焦状態が調整される。次いで、レリーズスイッチが全押し操作されると、撮影処理が実行される。撮影処理において、ＣＰＵ３１は、ミラー１４を上昇させたあと、シャッタ駆動回路２４を介してシャッタ幕１５を駆動制御するその後ミラー１４を下降させる。すなわち、ＣＰＵ３１は、シャッタ幕１５の先幕走行開始直前から後幕走行終了直後の期間（シャッタ幕１５が開いている期間）に限り、ミラー駆動回路２３を介してミラー１４を回動させることにより、撮影レンズ系１０の光路からミラー１４を退避させる。これにより、シャッタ幕１５が開いている期間中、撮像素子１６は露光状態となる。
【００３２】
撮像素子１６が露光状態となっている間、撮影レンズ系１０を透過した被写体光束は、撮像素子１６の撮像面上で結像される。撮像素子１６は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサであり、撮像面上の各画素で結像した光学像を光量に応じた電荷として蓄積する。なお、電荷を蓄積する時間は、積分時間によって規定される。撮像素子１６は、各画素に蓄積された電荷を電圧に変換し、出力ゲインに基づいて増幅した後、この電圧に対してＡ／Ｄ変換を施して撮影画像データを生成する。生成された撮影画像データはＤＳＰ（Digital Signal Processor）４１に出力される。
【００３３】
ＤＳＰ４１は、撮像素子１６の動作を制御すると共に、撮像素子１６から出力される撮影画像データに対して所定の信号処理を施す。具体的には、ＤＳＰ４１は、撮影画像データに対してノイズ除去処理や、ガンマ補正やホワイトバランス補正等の画像処理を施して、所定のデータ圧縮方法で圧縮する。データ圧縮方法は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）等の所定のコーデックを用いたデータ圧縮方法である。メモリ４２は、例えば、ＤＳＰ４１による処理の実行時、処理データの一時的な保存場所として用いられる。
【００３４】
カードインタフェース４３のカードスロットにはメモリカード５０が着脱可能に装填される。ＤＳＰ４１は、カードインタフェース４３を介してメモリカード５０と通信可能である。ＤＳＰ４１は、圧縮された撮影画像データをメモリカード５０に保存する。
【００３５】
また、ＤＳＰ４１は、画像処理後の撮影画像データに所定の信号処理を施して、メモリ４２にバッファリングする。ＤＳＰ４１は、バッファリングされた信号を所定のタイミングでメモリ４２から掃き出して所定のコーデックでビデオ信号に変換し、モニタインタフェース４４を介してＬＣＤ駆動回路４５に出力する。ＬＣＤ駆動回路４５は、ＤＳＰ４１から入力される撮影画像データを基にＬＣＤ４６を制御する。これにより、被写体の撮影画像がＬＣＤ４６の表示画面に表示される。
【００３６】
次に、本実施形態における撮影画像データのノイズ除去処理について詳細に説明する。撮像素子１６から出力される撮影画像データには、暗電流ノイズ及びランダムノイズが含まれる。暗電流ノイズは、撮像素子１６の画素の暗電流ムラによって生じる。暗電流ノイズの量（振幅及び数）は、撮像素子１６の積分時間及び温度に依存して変化するが、暗電流ノイズのパターン（撮影画像内におけるノイズの出現分布）は変化しない。そのため、暗電流ノイズは固定パターンノイズとも呼ばれる。これに対し、ランダムノイズは、撮像素子１６に蓄積された電荷が電圧に変換される際に、熱雑音によって発生する。ランダムノイズは固定のパターンを有しておらず、撮影画像毎に異なるパターンを有する。また、ランダムノイズは実質的にある標準偏差を有するガウシアンノイズと見做すことができる。暗電流ノイズとランダムノイズは何れも、積分時間が増えるほど増加し、撮像素子１６の温度が高いほど増加する。また、暗電流ノイズとランダムノイズは、撮像素子１６の出力ゲインに応じて増幅される。
【００３７】
本実施形態では、ＤＳＰ４１により、撮影画像データから、暗電流ノイズを含むダークフレームが減算されることにより撮影画像データに含まれる暗電流ノイズが除去される。ダークフレームは、撮像素子１６が光を受光していない状態で撮影処理を行うことにより生成される撮影画像データ（ダーク画像データ）である。ダークフレームには、暗電流ノイズやランダムノイズ等のノイズが含まれている。
【００３８】
図２は、ダークフレームに基づく撮影画像（ダーク画像）の一例を示す図である。図２に示されるように、撮影画像の矢印Ｙで示される領域付近に複数画素（数画素から数百画素）に亘って暗電流ムラによる暗電流ノイズが生じている。暗電流ノイズのパターン（撮影画像内における暗電流ノイズの分布）は、撮像素子１６毎に異なる。これに対し、ランダムノイズは、暗電流ノイズよりも周波数が高く、撮影処理が行われる毎に異なるパターンで現われる。なお、図２では、ランダムノイズは示されていない。
【００３９】
図３は、本実施形態におけるダークフレームを生成するための撮影装置１のフローチャートである。ダークフレームは撮影装置１の製造時に生成されてもよく、ユーザが撮影装置１を操作することによって生成されてもよい。また、ダークフレームは、撮影装置１毎（撮像素子１６毎）に外部のコンピュータ上で生成されてもよい。
【００４０】
撮影装置１に対して所定の操作が行われてダークフレームの生成フローが開始されると、ＣＰＵ３１によりダークフレームの撮影条件が設定される（Ｓ１０１）。設定される撮影条件は、撮像素子１６の仕様上最も大きな出力ゲインで、かつ、暗電流ノイズを取得するために必要な時間である。なお、設定される撮影条件は、ユーザによって任意に設定可能であってもよく、予め定められた設定値であってもよい。予め定められた積分時間は、例えば、Ａｖモード（絞り優先モード）やＴｖモード（シャッタスピード優先モード）で撮影処理を行う場合に設定され得る積分時間の内、最も長い積分時間である。あるいは、予め定められた積分時間は、例えば、暗電流ノイズがランダムノイズよりも大きくなる時間である。また、ダークフレームの生成を撮影装置１の製造時に行う場合、撮影装置１は、例えば、動作保証温度の上限値近傍又は上限値よりも高い温度下に置かれる。このように、積分時間が長く且つ温度が高く設定されることにより、生成される撮影画像データ（ダークフレーム）に含まれる暗電流ノイズの量が多くなる。また、出力ゲインが大きく設定されることにより、暗電流ノイズの増幅率が大きくなる。
【００４１】
次いで、所定の操作に基づいて、処理ステップＳ１０１で設定された撮影条件で撮像素子１６の露光（各画素における電荷の蓄積）が開始される（Ｓ１０２）。なお、本フローはダークフレームの生成が目的であるため、撮像素子１６の露光は、暗室内等の外光（雰囲気光）が無い状態又はシャッタ幕１５が閉じられ、撮像素子１６が遮光された状態で行われる。露光が開始されると、撮影装置１内に設けられた温度センサ２８による温度の測定も開始される。温度センサ２８による温度の測定は、撮像素子１６の露光が行われている間に定期的に複数回行われてもよく、不定期に複数回行われてもよく、一度だけ行われてもよい。撮像素子１６の露光が終了すると（Ｓ１０３）、撮像素子１６は、露光中に蓄積された電荷を電圧に変換し増幅した後、この電圧に対してＡ／Ｄ変換を施してダーク画像データを生成し出力する。また、露光が終了すると、温度センサ２８による温度の測定も停止される。
【００４２】
処理ステップＳ１０４では、ＤＳＰ４１により、撮像素子１６から出力されたダーク画像データに対してフィルタ処理が施される。フィルタ処理には、撮像素子１６で生成された画像データの周波数の高い成分を除去するローパスフィルタ（ハイカットフィルタ）が用いられる。通常、ランダムノイズは暗電流ノイズよりも細かい（周波数の高い）パターンを有している。そのため、フィルタ処理にローパスフィルタを用いることにより、ダーク画像データからは主にランダムノイズが除去される。これにより、フィルタ処理が施されたダーク画像データに含まれるノイズは、実質的に暗電流ノイズのみとなる。
【００４３】
また、処理ステップＳ１０４では、ＤＳＰ４１により、フィルタ処理が施されたダーク画像データに対して所定のデータ圧縮方法を用いた圧縮処理が施される。圧縮処理では、主にダーク画像データのうち周波数の高い成分が捨てられてデータ容量が縮小される。本実施形態では、圧縮処理が行われる前に、フィルタ処理によってダーク画像データの周波数の高い成分が除去されている。そのため、圧縮処理によって周波数の比較的低い暗電流ノイズの情報が失われることが抑えられる。
【００４４】
処理ステップＳ１０５では、圧縮処理が施されたダーク画像データがダークフレームとしてメモリ４２に記憶される。また、メモリ４２には、ダークフレームと共にダークフレームの撮影条件である出力ゲインＧｄ、積分時間ＩＴｄ及び露光中に温度センサ２８によって測定された温度Ｔｄが記憶される。
【００４５】
次に、ダークフレームを用いた撮影画像データの暗電流ノイズの除去処理について説明する。図４は、本実施形態における被写体を撮影する撮影処理のフローチャートである。
【００４６】
処理ステップＳ２０１では、ＣＰＵ３１により出力ゲインや積分時間等の撮影条件や撮影モードが設定され、メモリ４２に記憶される。撮影条件は、設定された撮影モード、測光センサ２６からの出力に基づいて自動で設定される。なお、設定される撮影条件は、ユーザによって任意に設定可能であってもよい。この場合、ユーザが、露光感度、シャッタ速度を設定すると、それに応じて出力ゲイン、積分時間が設定される。撮影モードとしてバルブモードが設定されている場合、露光の開始と終了はユーザによって手動で行われる。そのため、撮影モードがバルブモードに設定されている場合は、本処理ステップＳ２０１では積分時間は設定されない。
【００４７】
次いで、ユーザによるレリーズスイッチの操作に基づいてミラー１４及びシャッタ幕１５が駆動され、処理ステップＳ２０１で設定された撮影条件で撮像素子１６の露光が開始される（Ｓ２０２）。露光が開始されると、温度センサ２８による温度の測定も開始される。温度センサ２８による温度の測定は、撮像素子１６の露光が行われている間に定期的に複数回行われてもよく、不定期に複数回行われてもよく、一度だけ行われてもよい。撮影モードがバルブモードに設定されている場合は、ユーザによってレリーズボタンが押されている期間中露光状態が維持される。
【００４８】
処理ステップＳ２０１でシャッタ速度が設定されている場合、設定されたシャッタ速度が経過するとミラー１４及びシャッタ幕１５が駆動され、撮像素子１６が遮光される（Ｓ２０３）。また、積分時間が経過すると撮像素子１６から撮影画像データが出力される。撮影モードがバルブモードに設定されている場合は、ユーザによってレリーズボタンが押されている状態が解除されると、撮像素子１６が遮光されると共に、撮像素子１６の露光（電荷の蓄積）が終了し、撮像素子１６から撮影画像データが出力される。また、露光が終了すると、温度センサ２８による温度の測定も停止され、温度の測定結果がメモリ４２に記憶される。
【００４９】
処理ステップＳ２０４では、ＤＳＰ４１により、撮影画像データの暗電流ノイズのノイズ除去処理に用いられる補正係数ｋが算出される。具体的には、メモリ４２からダークフレームの撮影条件（出力ゲインＧｄ、積分時間ＩＴｄ、温度Ｔｄ）が読み出され、撮影画像データの撮影条件（出力ゲインＧｅ、積分時間ＩＴｅ、温度Ｔｅ）とダークフレームの撮影条件とを用いて、次式（１）で表される補正係数ｋが計算される。
2015226135.tif 000003
ここで、係数αは、ノイズ除去処理において暗電流ノイズの除去効果が大きくなるように自動又は手動で設定される定数である。
【００５０】
式（１）に示されるように、補正係数ｋは、ダークフレームと撮影画像データの、出力ゲインについての項（Ｇｅ／Ｇｄ）、積分時間についての項（ＩＴｅ／ＩＴｄ）、温度についての項（２（Ｔｅ−Ｔｄ）／ＫＴ）及び係数αの積で表される。撮影画像データに含まれる暗電流ノイズの量は、積分時間が長いほど増加し、温度が高いほど増加する。また、暗電流ノイズは、出力ゲインに応じて増幅される。そのため、補正係数ｋは、実質的に撮影画像データとダークフレームに含まれる暗電流ノイズの量の比を表している。
【００５１】
処理ステップＳ２０５では、ＤＳＰ４１により、メモリ４２に記憶されているダークフレームが読み出され補正係数ｋが乗算されることにより補正される。これにより、撮影画像データに含まれる暗電流ノイズの量と補正されたダークフレーム（補正データ）に含まれる暗電流ノイズの量とは実質的に同じになる。なお、上述したように、ダークフレームは、暗電流ノイズが発生しやすく且つ増幅されやすい撮影条件（高い出力ゲインＧｄ、長い積分時間ＩＴｄ、高い温度Ｔｄ）で生成されている。そのため、式（１）における係数α以外の各項は、１に近い値又は１よりも小さい値を取りやすい。また、係数αについても、補正係数ｋを修正するための係数であるため、１に近い値を取りやすい。そのため、式（１）によって計算される補正係数ｋは小さい（１以下の）値を取りやすくなる。ここで、ダークフレームに含まれるランダムノイズは、処理ステップＳ１０４のフィルタ処理で完全に除去されずに残留している場合がある。しかし、本実施形態では、ダークフレームに残留しているランダムノイズは、補正係数ｋが１以下に設定されていることから、補正係数ｋがダークフレームに乗算されることにより、低いレベルに抑えられる。
【００５２】
なお、ダークフレーム（補正データ）は撮影画像データから暗電流ノイズを除去するために用いられる。そのため、ダークフレームには暗電流ノイズが含まれていればよく、ダークフレームを生成するための撮影条件は、必ずしも高い出力ゲインＧｄ、長い積分時間ＩＴｄ、高い温度Ｔｄの全てを満たす必要はない。この場合、補正係数ｋは１よりも大きな値を取り得る。
【００５３】
また、処理ステップＳ２０５では、補正係数ｋによって補正されたダークフレーム（補正データ）は、ＤＳＰ４１によって撮影画像データの大きさに合うように伸長される。
【００５４】
なお、上述の処理ステップＳ２０５では、メモリ４２から読み出されたダークフレームが補正係数ｋによって補正された後に伸長されると説明されているが、補正処理と伸長処理が施される順番は逆でもよい。具体的には、処理ステップＳ２０５では、メモリ４２から読み出されたダークフレームが撮影画像データの大きさに合うように伸長され、伸長されたダークフレームが補正係数ｋによって補正されてもよい。
【００５５】
処理ステップＳ２０６では、ＤＳＰ４１により、伸長されたダークフレーム（補正データ）を用いて、撮影画像データに対する暗電流ノイズの除去処理が施される。具体的には、撮影画像データの画像信号から、補正データの画像信号が減算される。これにより、撮影画像データに含まれる暗電流ノイズが除去される。
【００５６】
処理ステップＳ２０７では、ＤＳＰ４１により、ノイズ除去処理が施された撮影画像データに対して、ガンマ補正やホワイトバランス補正などの画像処理が施された後、所定のデータ圧縮方法による圧縮処理が施される。
【００５７】
処理ステップＳ２０８では、ＤＳＰ４１から圧縮処理が施された撮影画像データが出力される。出力された撮影画像データは、ＬＣＤ４６に入力されて表示されると共に、メモリカード５０に記録される。
【００５８】
このように、本実施形態では、撮影画像データに対してダークフレーム（補正データ）の減算処理を施すことによって、撮影画像データに含まれる暗電流ノイズを除去することができる。また、ダークフレームは圧縮処理によってデータ容量が縮小されているため、ダークフレームによるメモリ４２の記憶容量の圧迫を抑えることができる。更に、予め記憶されているダークフレームを用いて撮影画像データのノイズ除去処理が施されるため、撮影処理を行う毎にダークフレームを生成する必要はなく、撮影処理にかかる時間が増えることが抑えられる。
【００５９】
また、本実施形態では、フィルタ処理によってダークフレームからランダムノイズが除去される。そのため、ダークフレームを用いて撮影画像データに対して暗電流ノイズのノイズ除去処理が施される際に、撮影画像データのランダムノイズが増加することが抑えられる。
【００６０】
具体的には、ランダムノイズは、上述したように、撮影画像データ毎に異なるパターンを有するガウシアンノイズである。仮に、フィルタ処理が施されずランダムノイズを含むダークフレームが生成された場合、撮影画像データ、ダークフレームにはそれぞれ、異なる標準偏差σ１、σ２のガウシアンノイズが含まれる。撮像画像データに対して、ランダムノイズを含むダークフレームの減算処理が施されると、減算処理後の撮影画像データに含まれるランダムノイズの標準偏差σは次式のように表される。
2015226135.tif 000004
すなわち、ダークフレームに対してフィルタ処理が施されていない場合、減算処理によって撮影画像データに含まれるランダムノイズの標準偏差が増加するという問題が生じる。撮影画像データに含まれるランダムノイズの標準偏差が増加すると、撮影画像データに基づく撮影画像はノイズによるざらつきが大きくユーザにとって見づらい画像となる。
【００６１】
これに対し、本実施形態では、フィルタ処理によってダークフレーム（補正データ）のランダムノイズが除去されているため、減算処理によって撮影画像データのランダムノイズの標準偏差が増加することが抑えられる。これにより、本実施形態では、ダークフレームにフィルタ処理を施さない場合と比較して、撮影画像データのランダムノイズを低減することができる。
【００６２】
以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施形態等又は自明な実施形態等を適宜組み合わせた内容も本願の実施形態に含まれる。
【００６３】
図５は、本実施形態の第１の変形例における被写体を撮影する撮影処理のフローチャートである。
【００６４】
図５に示される処理ステップのうち、図４に示される処理ステップについては、便宜上その説明を省略する。具体的には、図５の処理ステップＳ３０１〜Ｓ３０３、Ｓ３０５〜Ｓ３０９はそれぞれ、図４の処理ステップＳ２０１〜Ｓ２０３、Ｓ２０４〜Ｓ２０８と同じである。そのため、これらの処理ステップ（Ｓ３０１〜Ｓ３０３、Ｓ３０５〜Ｓ３０９）の説明は省略する。
【００６５】
処理ステップＳ３０４では、ＣＰＵ３１により、撮影画像データの撮影条件（出力ゲインＧｅ、積分時間ＩＴｅ、温度Ｔｅ）に基づいて、撮影画像データに対して暗電流ノイズのノイズ除去処理を施す必要があるか否かが判定される。上述したように、撮影画像データに含まれる暗電流ノイズの量は、出力ゲインが高いほど相対的に増加し（大きく増幅され）、積分時間が長いほど増加し、温度が高いほど増加する。言い換えると、撮影画像データに含まれる暗電流ノイズの量は、出力ゲインが低いほど相対的に減少し（増幅が抑えられ）、積分時間が短いほど減少し、温度が低いほど減少する。そのため、処理ステップＳ３０４では、出力ゲインＧｅが所定の出力ゲインよりも低く且つ積分時間ＩＴｅが所定の積分時間よりも短く且つ温度Ｔｅが所定の温度よりも低い場合は、撮影画像データに含まれる暗電流ノイズが小さく、暗電流ノイズのノイズ除去処理は不要であると判定される。
【００６６】
処理ステップＳ３０４でノイズ除去処理が不要であると判定された場合（Ｓ３０４：ＮＯ）、処理ステップＳ３０８に進み、撮影画像データに画像処理が施される。一方、ノイズ除去処理が必要であると判定された場合（Ｓ３０４：ＹＥＳ）、処理ステップＳ３０５に進み、補正係数ｋの算出（Ｓ３０５）、ダークフレームの補正処理及び伸長処理（Ｓ３０６）及び暗電流ノイズの除去処理（Ｓ３０７）が実行される。
【００６７】
このように、本実施形態の第１の変形例では、暗電流ノイズが小さいと判定された場合にノイズ除去処理が実行されないため、撮影処理の処理速度を向上させることができる。
【００６８】
なお、処理ステップＳ３０４では、出力ゲインＧｅ、積分時間ＩＴｅ及び温度Ｔｅの三つの撮影条件を用いて、ノイズ除去処理が必要か否かが判定されるが、本実施形態の第１の変形例はこれに限定されない。例えば、ノイズ除去処理が必要か否かは、出力ゲインＧｅ、積分時間ＩＴｅ、温度Ｔｅのうち、何れか一つ又は二つを用いて判定されてもよい。
【００６９】
図６は、本実施形態の第２の変形例における被写体を撮影する撮影処理のフローチャートである。
【００７０】
図６に示される処理ステップのうち、図５に示される処理ステップについては、便宜上その説明を省略する。具体的には、図６の処理ステップＳ４０１〜Ｓ４０４、Ｓ４０６〜Ｓ４０８、Ｓ４１２〜Ｓ４１３はそれぞれ、図５の処理ステップＳ３０１〜Ｓ３０４、Ｓ３０５〜Ｓ３０７、Ｓ３０８〜Ｓ３０９と同じである。そのため、これらの処理ステップ（Ｓ４０１〜Ｓ４０４、Ｓ４０６〜Ｓ４０８、Ｓ４１２〜Ｓ４１３）の説明は省略する。
【００７１】
処理ステップＳ４０５では、ＣＰＵ３１により、撮影画像データの撮影条件（出力ゲインＧｅ、積分時間ＩＴｅ、温度Ｔｅ）に基づいて、ダークフレームの再生成が必要か否かが判定される。具体的には、出力ゲインＧｅが所定の出力ゲインよりも高く且つ温度Ｔｅが所定の温度よりも高く且つ積分時間ＩＴｅが所定の積分時間よりも短い場合、ダークフレームの再生成が必要であると判定される。
【００７２】
例えば、出力ゲインＧｅが所定の出力ゲインよりも高く且つ温度Ｔｅが所定の温度よりも高い場合、撮影画像データに含まれる暗電流ノイズは比較的多くなり且つ大きく増幅される。また、出力ゲインＧｅ及び温度Ｔｅがそれぞれ、予めメモリ４２に記憶されているダークフレームの出力ゲインＧｄ及び温度Ｔｄと異なる場合、撮影画像データに含まれる暗電流ノイズの出現分布とダークフレームに含まれる暗電流ノイズの出現分布とが完全に一致しない虞がある。そのため、この場合は、ノイズ除去処理に予め記憶されているダークフレームを用いるよりも、新たに撮影画像データと同じ撮影条件でダークフレームを生成してノイズ除去処理に用いる方が暗電流ノイズの除去効果が高くなる。ただし、撮影画像データの積分時間ＩＴｅが長い場合、ダークフレームを再生成する時間も長くなる。そのため、撮影処理の時間が増えることを防ぐために、出力ゲインＧｅが所定の出力ゲインよりも高く且つ温度Ｔｅが所定の温度よりも高いと共に、積分時間ＩＴｅが所定の積分時間よりも短い場合に、ダークフレームの再生成が必要であると判定される。
【００７３】
ダークフレームの再生成が不要であると判定された場合（Ｓ４０５：ＮＯ）、処理ステップＳ４０６に進み、補正係数ｋの算出（Ｓ４０６）、ダークフレームの補正処理及び伸長処理（Ｓ４０７）及び暗電流ノイズの除去処理（Ｓ４０８）が実行される。
【００７４】
一方、ダークフレームの再生成が必要であると判定された場合（Ｓ４０５：ＹＥＳ）、処理ステップＳ４０９に進み、撮影画像データと暗電流ノイズの発生が同じになる撮影条件（出力ゲインＧｅ、積分時間ＩＴｅ）で、撮像素子１６が光を受光しない状態（シャッタ幕１５が閉じられた状態）で露光が開始される（Ｓ４１０）。露光が終了すると（Ｓ４１０）、撮像素子１６から出力されたダーク画像データ（ダークフレーム）を用いて、撮影画像データのノイズ除去処理が実行される（Ｓ４１１）。なお、ノイズ除去処理が実行される前に、新たに生成されたダークフレームに対してフィルタ処理が施されてもよい。
【００７５】
このように、本実施形態の第２の変形例では、撮影処理の時間が長くなることを防止しつつ、撮影画像信号に含まれる暗電流ノイズの量が多い場合におけるノイズ除去効果を向上させることができる。
【００７６】
また、本実施形態では、図３に示される処理ステップＳ１０４において、ダーク画像データに対してローパスフィルタを用いたフィルタ処理が施されるが、本発明はこれに限定されない。処理ステップＳ１０４におけるフィルタ処理には、メディアンフィルタ、εフィルタ又は畳み込み処理によるフィルタが用いられてもよい。また、暗電流ノイズ又はランダムノイズの大きさや出現分布に応じて、フィルタ処理に用いられるフィルタが変更されてもよい。また、複数のダーク画像データを生成し、それらの平均を取ることによってランダムノイズを除去する処理であってもよい。
【００７７】
また、本実施形態では、図３に示される処理ステップＳ１０４において、ダーク画像データに対して所定のデータ圧縮方法を用いた画像圧縮処理が施されるが、本発明はこれに限定されない。処理ステップＳ１０４における圧縮処理は、例えば、バイリニア法やバイキュービック法を用いたダウンサンプリングによる圧縮であってもよく、ダーク画像データに対して直交変換（例えば、離散コサイン変換）処理を施した後にビット数を変更することによる圧縮であってもよい。あるいは、圧縮処理は、複数のダーク画像データを重ね合わせて一つのダーク画像データに変換する処理であってもよく、ダーク画像データによって表される画像の一部を抜き出す処理であってもよく、ダーク画像データによって表される画像をいくつかの領域に区切り、領域毎に平均化処理を行う方法であってもよい。また、圧縮処理は、上述した複数の種類の圧縮処理を組み合わせた処理であってもよい。
【００７８】
また、本実施形態では、図３に示される処理ステップＳ１０４において、ダーク画像データのフィルタ処理及び圧縮処理は、ＤＳＰ４１で行われるが、本発明はこれに限定されない。ダーク画像データのフィルタ処理及び圧縮処理は、撮影装置１と接続されたＰＣ（不図示）を用いて行われてもよい。このような構成によれば、フィルタ処理及び圧縮処理が施されたダークフレームの撮影画像をＰＣのモニタに表示させることにより、ダークフレームに含まれる暗電流ノイズ及びランダムノイズを確認することができる。
【００７９】
また、補正係数ｋは、式（１）に示されるように、出力ゲインについての項、積分時間についての項及び温度についての項の積に基づいて計算されるが、本発明はこれに限定されない。例えば、補正係数ｋは、これら三つの項のうち何れか二つの積に基づいて計算されてもよく、これら三つの項のうち何れか一つに基づいて表されてもよい。
【００８０】
また、式（１）では、補正係数ｋは、出力ゲイン、積分時間及び温度を用いて計算されているが、本実施形態はこれに限定されない。補正係数ｋの計算には、出力ゲインの代わりに露光感度（ＩＳＯ感度）が用いられてもよく、積分時間の代わりにシャッタ速度が用いられてもよい。
【００８１】
また、補正係数ｋの計算に露光感度、シャッタ速度が用いられる場合、露光感度、シャッタ速度はそれぞれ、ＡＰＥＸ（Additive system of Photographic EXposure）関係式に基づいてＳｖ（Sensitivity value）、Ｔｖ（Time value）に変換されたものが用いられてもよい。この場合、式（１）は、ＡＰＥＸ関係式に基づいて適宜変形される。具体的には、撮影画像データの生成時の露光感度、シャッタ速度をＡＰＥＸ関係式に基づいて変換したものをＳｖｅ、Ｔｖｅとし、ダークフレームの生成時の露光感度、シャッタ速度をＡＰＥＸ関係式に基づいて変換したものをＳｖｄ、Ｔｖｄとした場合、式（１）は次式（２）のように変形される。
2015226135.tif 000005
ここで、係数α´は、ノイズ除去処理において暗電流ノイズの除去効果が大きくなるように自動又は手動で設定される定数である。また、係数ＫＴは、撮像素子１６の特性に応じて決まる定数である。
【００８２】
また、補正係数ｋは、次式に示されるように、各撮影条件（出力ゲインＧｅ、Ｇｄ、積分時間ＩＴｅ、ＩＴｄ、温度Ｔｅ、Ｔｄ）を変数とする所定の関数として表されてもよい。
2015226135.tif 000006
【００８３】
また、図４に示される処理ステップＳ２０６では、撮影画像データからダークフレームを減算することによって撮影画像データのノイズ除去処理が行われるが、本発明はこれに限定されない。処理ステップＳ２０６では、補正係数ｋの計算方法に応じて、撮影画像データにダークフレームを加算することによってノイズ除去処理が行われてもよい。
【００８４】
また、図４に示される処理ステップＳ２０７では、撮影画像に対してガンマ補正やホワイトバランス補正等の画像処理が行われるが、本発明はこれに限定されない。処理ステップＳ２０７では、処理ステップＳ２０６におけるノイズ除去処理で除去されなかったランダムノイズ等のノイズを除去するために、撮影画像データに対するフィルタ処理が行われてもよい。
【００８５】
また、撮影画像データ及びダークフレームの生成時に、複数フレームの画像データの加算処理が行われる場合、撮影条件はフレーム加算回数を含んでもよい。
【符号の説明】
【００８６】
１  撮影装置
１０  撮影レンズ系
１１、１２  撮影レンズ
１３  絞り
１４  ミラー
１５  シャッタ幕
１６  撮像素子
１７  ペンタプリズム
１８  拡散板
１９  接眼レンズ
２１  レンズ制御回路
２２  絞り駆動回路
２３  ミラー駆動回路
２４  シャッタ駆動回路
２６  測光センサ
３１  ＣＰＵ
３２  操作部
３３  状態表示装置
４１  ＤＳＰ
４２  メモリ
４３  カードインタフェース
４４  モニタインタフェース
４５  ＬＣＤ駆動回路
４６  ＬＣＤ
５０  メモリカード
【図１】
2015226135.tif 000007
【図３】
2015226135.tif 000008
【図４】
2015226135.tif 000009
【図５】
2015226135.tif 000010
【図６】
2015226135.tif 000011
【図２】
2015226135.tif 000012