(57)【要約】【課題】使用する撮像素子を適切に選択することで、最適な撮像を実行可能な撮像装置、撮像装置の制御方法およびプログラムを提供すること。【解決手段】撮像装置は、被写体光束を第１の光束および第２の光束に分割する分割手段と、第１の光束を受光する第１撮像素子と、第２の光束を受光する第２撮像素子と、所定の条件に基づいて、第１および第２撮像素子のいずれかを用いて複数の画像を取得する第１制御と、第１および第２撮像素子を用いて複数の画像を取得する第２制御とのいずれかを選択して実行する制御手段と、を有する。【選択図】図１
2019186594.tif 000002
【特許請求の範囲】
【請求項１】
被写体光束を第１の光束および第２の光束に分割する分割手段と、
前記第１の光束を受光する第１撮像素子と、
前記第２の光束を受光する第２撮像素子と、
所定の条件に基づいて、前記第１および第２撮像素子のいずれかを用いて複数の画像を取得する第１制御と、前記第１および第２撮像素子を用いて複数の画像を取得する第２制御とのいずれかを選択して実行する制御手段と、を有することを特徴とする撮像装置。
【請求項２】
前記制御手段は、撮影モードに基づいて、前記第１制御と前記第２制御とのいずれかを選択することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第１制御において、前記第１および第２撮像素子のいずれかの露光を複数回行い、前記第２制御において、前記第１および第２撮像素子の露光を交互に行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記制御手段は、シャッター速度がフレームレートまたはコマ速度のフレーム間隔と異なる場合、前記第１制御を選択し、前記シャッター速度が前記フレーム間隔と等しい場合、前記第２制御を選択することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記制御手段は、前記第１および第２撮像素子のいずれかにおける駆動時間がフレームレートまたはコマ速度のフレーム間隔より短い場合、前記第１制御を選択し、前記駆動時間が前記フレーム間隔より長い場合、前記第２制御を選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記駆動時間は、前記第１および第２撮像素子のいずれかにおける、露光時間、浮遊拡散容量のリセット時間および電荷信号の読み出し時間の合計時間であることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記制御手段は、前記第１制御において、前記第１および第２撮像素子のいずれかの本露光と前記被写体光束が遮光された状態におけるダーク露光とを交互に行い、前記第２制御において、前記第１および前記第２撮像素子の本露光を交互に行うとともに、前記第１および第２の撮像素子のダーク露光を交互に行うことを特徴とする請求項１に記載の撮像装置。
【請求項８】
前記制御手段は、前記第２制御において、前記第１および第２撮像素子の一方の本露光を行う間、前記第１および第２撮像素子の他方のダーク露光を行うことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記制御手段は、前記第１撮像素子の温度が第１所定温度より低い、かつ前記第１撮像素子の露光時間が第１所定時間より短い場合、または前記第２撮像素子の温度が第２所定温度より低い、かつ前記第２撮像素子の露光時間が第２所定時間より短い場合、前記第１制御を選択し、前記第１撮像素子の温度が前記第１所定温度より高い、または前記第１撮像素子の露光時間が前記第１所定時間より長い場合、かつ前記第２撮像素子の温度が前記第２所定温度より高い、または前記第２撮像素子の露光時間が前記第２所定時間より長い場合、前記第２制御を選択することを特徴とする請求項７または８に記載の撮像装置。
【請求項１０】
前記制御手段は、前記第１制御において、前記第１および第２撮像素子のいずれかを用いてそれぞれ露光時間の異なる撮像を行い、前記第２制御において、前記第１および第２撮像素子を用いてそれぞれ露光時間の異なる撮像を同時に行うことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記制御手段は、被写体の移動速度が所定速度より小さい場合、前記第１の制御を選択し、前記移動速度が前記所定速度より大きい場合、前記第２の制御を選択することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記制御手段は、結像光学系の焦点距離および画角に基づいて、前記第１制御および前記第２制御のいずれかを選択することを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
被写体光束を第１の光束および第２の光束に分割する分割手段と、前記第１の光束を受光する第１撮像素子と、前記第２の光束を受光する第２撮像素子と、を有する撮像装置の制御方法であって、
所定の条件に基づいて使用する撮像素子を選択する選択ステップと、
選択された撮像素子を用いて複数の画像を取得する取得ステップと、を有し、
前記選択ステップにおいて前記第１および第２撮像素子のいずれかが選択された場合、前記第１および第２撮像素子のいずれかを用いて複数の画像を取得し、前記選択ステップにおいて前記第１および第２撮像素子が選択された場合、前記第１および第２撮像素子を用いて複数の画像を取得する取得ステップと、を有することを特徴とする撮像装置の制御方法。
【請求項１４】
被写体光束を第１の光束および第２の光束に分割する分割手段と、前記第１の光束を受光する第１撮像素子と、前記第２の光束を受光する第２撮像素子と、を有する撮像装置で用いられるプログラムであって、
所定の条件に基づいて使用する撮像素子を選択する選択ステップと、
前記選択ステップにおいて前記第１および第２撮像素子のいずれかが選択された場合、前記第１および第２撮像素子のいずれかを用いて複数の画像を取得し、前記選択ステップにおいて前記第１および第２撮像素子が選択された場合、前記第１および第２撮像素子を用いて複数の画像を取得する取得ステップと、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。
【背景技術】
【０００２】
従来、動画撮影機能を有する撮像装置が提案されている。特許文献１では、動画撮影において、シャッター速度が固定された場合、フレーム間隔が、露光時間と等しいか、それより短くならないように設定する撮像装置が開示されている。
【０００３】
ビデオカメラやデジタルスチルカメラなどに用いられるＣＣＤイメージセンサやＣＭＯＳイメージセンサのような撮像素子では、光を受光していない場合、暗電流が発生する。暗電流は、半導体の熱励起による電子−正孔対の発生に起因するものであるが、撮像素子から出力される画素値にノイズとして含まれてしまう。従来、暗電流ノイズを補正するために、様々な方法が提案されている。特許文献２では、本露光の撮影により取得された画像から、撮像素子への被写体光の照射を禁止したダーク露光の撮影により取得された画像（黒画像）を暗電流ノイズに対応するものとして減算する撮像装置が開示されている。
【０００４】
また、撮像素子は、入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換素子が２次元配列された構成を有する。光電変換素子の電荷蓄積量には上限（飽和レベル）があるため、飽和レベルに対応する輝度以上の明るさを有する被写体領域はすべて飽和レベルに変換され、階調性を失う。このような現象を白とびと呼ぶ。白とびの発生を防止するため、例えば、明るい被写体を撮影する場合、シャッター速度を速くして光電変換素子の電荷蓄積期間（露光時間）を短くし、蓄積電荷量が飽和レベルに達しないようにするとともに、出力に対するゲイン（感度）を上昇させる。このような処理により、被写体の高輝度部の階調性を維持した画像を得ることができる。明暗の差が大きい被写体を撮影する場合、シャッター速度を速くすると、暗い部分の階調性が低下する黒つぶれが発生し、画質が低下する。明暗の差が大きい被写体を撮影する場合に階調性の良好な画像を得るためには、明るい部分については露光時間を短くする一方で、暗い部分については露光時間を長くする必要がある。
【０００５】
このような露光制御を実現する方法として、露光時間の異なる複数の画像を連続的に撮影して合成するＨＤＲ（ハイダイナミックレンジ）撮影が知られている。ＨＤＲ撮影では、まず、露出過剰（オーバー）画像（以下、Ｈ画像）と露出不足（アンダー）画像（以下、Ｌ画像）とを連続的に撮影する。そして、暗い領域についてはＨ画像を、Ｈ画像では白とびしてしまうような明るい領域についてＬ画像を利用して１つの合成画像（ＨＤＲ画像）を生成する。このように、露光量の異なる複数の画像の、白とびや黒つぶれをしていない領域を合成することで、白とびや黒つぶれの発生を抑制または回避した、ダイナミックレンジの広いＨＤＲ画像を得ることができる。
【０００６】
しかしながら、ＨＤＲ撮影では、露光量の異なる複数の画像を合成するため、少なくとも２回の撮影と、画像合成処理のための時間を必要とする。また、撮影シーンに動体が含まれる場合など、合成に用いる複数の画像間で位置が異なる被写体がある場合には良好な画像合成ができず、合成画像の品質が低下してしまう。
【０００７】
特許文献３では、撮像素子のうち、長い露光時間で撮影を行った領域から読み出された信号から得られるＨ画像と、短い露光時間で撮影を行った領域から読み出された信号から得られるＬ画像とを合成して合成画像を生成する撮像装置が開示されている。特許文献３の撮像装置では、長い露光時間での撮影が１回行われる予め定められた期間内に、短い露光時間での撮影を複数回行い、１枚のＨ画像と、複数枚のＬ画像とから合成画像を生成する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−４０８５号公報
【特許文献２】特開平８−５１５７１号公報
【特許文献３】特開２０１４−１５４９８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の撮像装置では、フレーム間において撮像素子からの読み出し動作やＦＤ（ｆｌｏａｔｉｎｇ  ｄｉｆｆｕｓｉｏｎ）のリセット動作が行われるため、シャッター速度とフレーム間隔を等しくすることができない。また、グローバルシャッターでは、各画素を同時に露光させることができるが、動作開始後にフォトダイオードからの電荷が検出されるため、シャッター速度とフレーム間隔を等しくすることができない。
【００１０】
特許文献２の撮像装置では、長秒時露光の撮影時において、本露光とダーク露光の撮影を行う必要があるため、黒画像の取得から暗電流ノイズが補正された画像を得るまでに時間を要し、その間、被写体の撮影ができなくなる。
【００１１】
特許文献３の撮像装置では、すべて異なる露光時間で撮影する露出±３段ステップや露出±５段ステップといった撮影を行う場合、露光時間の合計が長くなり、手振れや被写体振れのリスクが高くなってしまう。
【００１２】
本発明は、使用する撮像素子を適切に選択することで、最適な撮像を実行可能な撮像装置、撮像装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の一側面としての撮像装置は、被写体光束を第１の光束および第２の光束に分割する分割手段と、前記第１の光束を受光する第１撮像素子と、前記第２の光束を受光する第２撮像素子と、所定の定条件に基づいて、前記第１および第２撮像素子のいずれかを用いて複数の画像を取得する第１制御と、前記第１および第２撮像素子を用いて複数の画像を取得する第２制御とのいずれかを選択して実行する制御手段と、を有することを特徴とする。
【００１４】
また、本発明の他の側面としての撮像装置の制御方法は、被写体光束を第１の光束および第２の光束に分割する分割手段と、前記第１の光束を受光する第１撮像素子と、前記第２の光束を受光する第２撮像素子と、を有する撮像装置の制御方法であって、所定の条件に基づいて使用する撮像素子を選択する選択ステップと、前記選択ステップにおいて前記第１および第２撮像素子のいずれかが選択された場合、前記第１および第２撮像素子のいずれかを用いて複数の画像を取得し、前記選択ステップにおいて前記第１および第２撮像素子が選択された場合、前記第１および第２撮像素子を用いて複数の画像を取得する取得ステップと、を有することを特徴とする。
【００１５】
また、本発明の他の側面としてのプログラムは、被写体光束を第１の光束および第２の光束に分割する分割手段と、前記第１の光束を受光する第１撮像素子と、前記第２の光束を受光する第２撮像素子と、を有する撮像装置で用いられるプログラムであって、所定の条件に基づいて使用する撮像素子を選択する選択ステップと、前記選択ステップにおいて前記第１および第２撮像素子のいずれかが選択された場合、前記第１および第２撮像素子のいずれかを用いて複数の画像を取得し、前記選択ステップにおいて前記第１および第２撮像素子が選択された場合、前記第１および第２撮像素子を用いて複数の画像を取得する取得ステップと、をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、使用する撮像素子を適切に選択することで、最適な撮像を実行可能な撮像装置、撮像装置の制御方法およびプログラムを提供することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係るカメラシステムの断面図である。
【図２】実施例１の１つの撮像素子を使用して撮像を行う場合の撮像素子の動作を示す図である。
【図３】実施例１の撮影動作を示すフローチャートである。
【図４】実施例１の複数の撮像素子を使用して撮像を行う場合の各撮像素子の動作を示す図である。
【図５】実施例２の撮影動作を示すフローチャートである。
【図６】実施例２の複数の撮像素子を使用して撮像を行う場合の各撮像素子の動作を示す図である。
【図７】実施例３の１つの撮像素子を使用して撮像を行う場合の撮像素子の動作を示す図である。
【図８】実施例３の撮影動作を示すフローチャートである。
【図９】実施例３の複数の撮像素子を使用して撮像を行う場合の各撮像素子の動作を示す図である。
【図１０】実施例３の複数の撮像素子の温度変化を表す図である。
【図１１】実施例４の１つの撮像素子を使用した場合のＨＤＲ撮影を模式的に示した図である。
【図１２】従来の複数の撮像素子を使用した場合のＨＤＲ撮影を模式的に示した図である。
【図１３】実施例４の複数の撮像素子を使用した場合のＨＤＲ撮影を模式的に示した図である。
【図１４】実施例４の撮影動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１９】
図１は、本発明の実施形態に係るカメラシステム１のブロック図である。カメラシステム１は、レンズ鏡筒１００およびカメラボディ（撮像装置）１０１を備える。レンズ鏡筒１００は、カメラボディ１０１に交換可能に装着されている。
【００２０】
レンズ鏡筒１００は、複数の撮影レンズ１０２ａ〜１０２ｃを含む結像光学系１０２と、レンズ駆動モータ１０８と、絞り部材１０９とを備える。撮影レンズ１０２ｂは、レンズ駆動モータ１０８により駆動される焦点調節レンズである。
【００２１】
カメラボディ１０１は、ハーフミラー（分割手段）１０３と、第１撮像素子１０４と、第２撮像素子１０５と、ＭＣＵ（マイクロコントローラユニット）１０６と、電子ビューファインダ１０７とを備える。
【００２２】
ハーフミラー１０３は、結像光学系１０２を通過した結像光束（被写体光束）を、第１の光束および第２の光束に分割する。第１撮像素子１０４および第２撮像素子１０５はそれぞれ、第１の光束および第２の光束を受光する。第１撮像素子１０４および第２撮像素子１０５は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどから構成される。第１撮像素子１０４および第２撮像素子１０５は、撮像画素および位相差検出方式によるオートフォーカス用の焦点検出画素を有する。ＭＰＵ１０６は、ＣＰＵと、ＣＰＵが実行するプログラムを格納するメモリと、を備え、カメラボディ１０１の全体の動作を制御する制御手段として機能する。また、ＭＰＵ１０６は、レンズ駆動モータ１０８を介して、撮影レンズ１０２ｂの駆動を制御する。
【００２３】
なお、カメラシステム１の構成は、後述する各実施例で共通である。
【実施例１】
【００２４】
本実施例では、動画撮影または静止画撮影において、シャッター速度とフレーム間隔を等しくする方法について説明する。
【００２５】
図２は、１つの撮像素子を使用して、被写体を６０ｆｐｓで撮像する際の２フレーム分の撮像素子の動作を示している。１フレーム目では、まず、露光（蓄積）２０１が行われる。次に、浮遊拡散容量（ＦＤ容量）のリセット２０２が行われる。最後に、露光２０１にて溜まった情報（信号電荷）の読み出し２０３が行われる。２フレーム目では、まず、露光２０４が行われる。次に、リセット２０５が行われる。最後に、露光２０４にて溜まった情報の読み出し２０６が行われる。このように、リセット２０２、２０５および読み出し２０３、２０６を行うことによって、露光２０１、２０４の時間はフレーム間隔と同じとはならず、実際のシャッター速度と等しい露光を行うことができない。
【００２６】
図３は、ＭＰＵ１０６により実行される、本実施例の撮影動作を示すフローチャートである。
【００２７】
ステップＳ３０１では、ＭＰＵ１０６は、カメラシステム１による動画撮影における撮影条件を設定する。ＭＰＵ１０６は、例えば、フレームレート、シャッター速度、および滑らか動画機能のＯＮ／ＯＦＦを設定可能である。本実施例では、ＭＰＵ１０６は、フレームレートを６０ｆｐｓに設定する。
【００２８】
ステップＳ３０２では、ＭＰＵ１０６は、ステップＳ１０１で設定された撮影条件でカメラシステム１による動画撮影を開始する。
【００２９】
ステップＳ３０３では、ＭＰＵ１０６は、滑らか動画機能がＯＮに設定されているかどうかを判定する。滑らか動画機能がＯＮに設定されている場合、ステップＳ３０５に進み、滑らか動画機能がＯＦＦに設定されている場合、ステップＳ３０４に進む。
【００３０】
ステップＳ３０４では、ＭＰＵ１０６は、第１撮像素子１０４のみを使用して複数の画像を取得する第１制御を行う。なお、本実施例では、ＭＰＵ１０６は、第１撮像素子１０４のみを使用して撮像を行うが、第２撮像素子１０５のみを使用して撮像を行ってもよい。
【００３１】
ステップＳ３０５では、ＭＰＵ１０６は、シャッター速度がフレーム間隔と等しいかどうかを判定する。シャッター速度がフレーム間隔と等しい場合、ステップＳ３０６に進み、シャッター速度がフレーム間隔と等しくない場合、ステップＳ３０４に進む。本実施例では、フレームレートは６０ｆｐｓに設定されているため、ＭＰＵ１０６はシャッター速度がフレーム間隔である１／６０秒と等しいかどうかを判定する。
【００３２】
ステップＳ３０６では、ＭＰＵ１０６は、第１撮像素子１０４と第２撮像素子１０５を使用して複数の画像を取得する第２制御を行う。図４は、第１撮像素子１０４および第２撮像素子１０５を使用して被写体を６０ｆｐｓで撮像する際の３フレーム分の各撮像素子の動作を示している。まず、第１撮像素子１０４の露光４０１が１／６０秒間行われる。次に、第２撮像素子１０５の露光４０２が開始される。露光４０２の開始と同時に、リセット４０３が行われる。露光４０２は、１／６０秒間行われる。次に、露光４０１にて溜まった情報の読み出し４０４が行われる。次に、第１撮像素子１０４の露光４０５が開始される。露光４０５の開始と同時に、リセット４０６が行われる。露光４０５は、１／６０秒間行われる。次に、露光４０２にて溜まった情報の読み出し４０７が行われる。このように、２つの撮像素子を使用して、交互に、露光、リセット、読み出しを行うことによってシャッター速度がフレーム間隔と等しい滑らかな動画撮影を行うことが可能であり、動画の品質を向上させることが可能である。また、静止画の連写時においても、シャッター速度がフレーム間隔と等しい滑らかな連写撮影を行うことが可能である。
【実施例２】
【００３３】
本実施例では、実施例１と同様に、動画撮影または静止画撮影において、シャッター速度とフレーム間隔を等しくする方法について説明する。
【００３４】
図５は、ＭＰＵ１０６により実行される、本実施例の撮影動作を示すフローチャートである。
【００３５】
ステップＳ５０１からステップＳ５０４までの処理はそれぞれ、図３のステップＳ３０１からステップＳ３０４までの処理と同様であるため、詳細な説明は省略する。
【００３６】
ステップＳ５０５では、ＭＰＵ１０６は、フレーム間隔が撮像素子における駆動間隔より短いかどうかを判定する。ここで、撮像素子における駆動間隔とは、第１撮像素子１０４または第２撮像素子１０５の露光時間、ＦＤ容量のリセット時間および電荷信号の読み出し時間の合計時間である。駆動間隔がフレーム間隔より長い場合、ステップＳ５０６に進み、駆動間隔がフレーム間隔より短い場合、ステップＳ５０４に進む。なお、駆動間隔とフレーム間隔とが等しい場合、どちらのステップに進むかは任意に設定可能である。例えば、フレーム間隔が１／６０秒に設定され、露光時間、リセット時間および読み出し時間がそれぞれ、１／１００秒、１／４００秒、１／２００秒である場合、合計時間が７／４００秒となり、フレーム間隔１／６０秒より長くなる。そのため、１つの撮像素子を使用して撮像を行うためには、リセット時間と読み出し時間が固定されている場合、露光時間を１／１００秒より短く設定する必要がある。
【００３７】
ステップＳ５０６では、ＭＰＵ１０６は、第１撮像素子１０４と第２撮像素子１０５を使用して複数の画像を取得する第２制御を行う。図６は、第１撮像素子１０４および第２撮像素子１０５を使用して被写体を６０ｆｐｓで撮像する際の３フレーム分の各撮像素子の動作を示している。まず、第１撮像素子１０４の露光６０１が１／１００秒間行われる。次に、リセット６０２が行われる。次に、露光６０１にて溜まった情報の読み出し６０３が行われる。露光６０１の開始から１／６０秒経過した場合、第２撮像素子１０５の露光６０４が１／１００秒間行われる。次に、リセット６０５が行われる。次に、露光６０４にて溜まった情報の読み出し６０６が行われる。露光６０４の開始から１／６０秒経過した場合、第１撮像素子１０４の露光６０７が１／１００秒間行われる。次に、リセット６０８が行われる。次に、露光６０７にて溜まった情報の読み出し６０９が行われる。このように、動画撮影時のフレーム間隔より撮像素子における駆動間隔が長い場合であっても、２つの撮像素子を使用して、交互に、露光、リセット、読み出しを行うことによって所望のシャッター速度での動画撮影を行うことが可能である。また、静止画の連写時においても同様に、例えば、連続撮影１０コマ／秒時に１／１００秒のシャッター速度の設定を行う場合において、シャッター速度をコマ速度と等しくすることができるため、滑らかな連写撮影を行うことが可能である。
【実施例３】
【００３８】
本実施例では、長秒時露光撮影において、黒画像取得中にシャッターチャンスを逃すことなく、暗電流ノイズを低減する方法について説明する。
【００３９】
図７は、長秒時露光撮影においてノイズ低減処理を施す場合であって、１つの撮像素子を使用して、被写体を１コマ撮像する際の撮像素子の動作を示している。まず、本露光７０１が４秒間行われる。次に、リセットが行われ、その後、本露光７０１にて溜まった情報の読み出し７０２が行われる。次に、長秒時露光撮影におけるノイズ低減処理に必要な黒画像取得のため、遮光された状態での露光（ダーク露光）７０３が４秒間行われる。次に、リセットが行われ、その後、ダーク露光７０３にて溜まった情報の読み出し７０４が行われる。ダーク遮光７０３が行われる間、２コマ目の撮影のための露光を開始することができない。
【００４０】
図８は、ＭＰＵ１０６により実行される、本実施例の撮影動作を示すフローチャートである。
【００４１】
ステップＳ８０１では、ＭＰＵ１０６は、カメラシステム１による長秒時露光撮影におけるノイズ低減処理の設定（長秒時ＮＲ設定）を行う。ＭＰＵ１０６は、例えば、シャッター速度が４秒以上の長秒時露光撮影を行う場合に、被写体撮影直後に、自動的に黒画像撮影を行う設定のＯＮ／ＯＦＦなどの選択を行う。
【００４２】
ステップＳ８０２では、ＭＰＵ１０６は、カメラシステム１による長秒時露光撮影を開始する。
【００４３】
ステップＳ８０３では、ＭＰＵ１０６は、長秒時露光撮影におけるノイズ低減処理がＯＮに設定されているかどうかを判定する。ノイズ低減処理がＯＮに設定されている場合、ノイズ低減処理がステップＳ８０５に進み、ノイズ低減処理がＯＦＦに設定されている場合、ステップＳ８０４に進む。
【００４４】
ステップＳ８０４では、ＭＰＵ１０６は、第１撮像素子１０４のみを使用して複数の画像を取得する第１制御を行う。なお、本実施例では、ＭＰＵ１０６は、第１撮像素子１０４のみを使用して撮像を行うが、第２撮像素子１０５のみを使用して撮像を行ってもよい。
【００４５】
ステップＳ８０５では、ＭＰＵ１０６は、第１撮像素子１０４のみを使用して複数の画像を取得する第１制御を行う。
【００４６】
ステップＳ８０６では、ＭＰＵ１０６は、シャッター速度ｔｉ１が所定時間ＴＨｔｉ１より大きい、または第１撮像素子１０４の温度を計測する不図示の温度センサの検出結果ｔｍ１が所定温度ＴＨｔｍ１より高いかどうかを判定する。シャッター速度ｔｈ１が所定値ＴＨｔｉ１より大きい、または検出結果ｔｍ１が所定温度ＴＨｔｍ１より高い場合、ステップＳ８０７に進む。シャッター速度ｔｈ１が所定時間ＴＨｔｉ１以下、かつ検出結果ｔｍ１が所定温度ＴＨｔｍ１以下である場合、ステップＳ８０５に戻る。なお、本実施例では、所定値ＴＨｔｉ１は、４秒に設定されている。
【００４７】
ステップＳ８０７では、ＭＰＵ１０６は、第２撮像素子１０５のみを使用して複数の画像を取得する第１制御を行う。
【００４８】
ステップＳ８０８では、ＭＰＵ１０６は、シャッター速度ｔｉ２が所定値ＴＨｔｉ２より大きい、または第２撮像素子１０５の温度を計測する不図示の温度センサの検出結果ｔｍ２が所定温度ＴＨｔｍ２より高いかどうかを判定する。シャッター速度ｔｉ２が所定値ＴＨｔｉ２より大きい、または検出結果ｔｍ２が所定温度ＴＨｔｍ２より高い場合、ステップＳ８０９に進む。一方、シャッター速度ｔｈ２が所定値ＴＨｔｉ２以下、かつ検出結果ｔｍ２が所定温度ＴＨｔｍ２以下である場合、ステップＳ８０７に戻る。なお、本実施例では、所定値ＴＨｔｉ２は、４秒に設定されている。
【００４９】
ステップＳ８０９では、ＭＰＵ１０６は、第１撮像素子１０４と第２撮像素子１０５を使用して複数の画像を取得する第２制御を行う。図９は、第１撮像素子１０４および第２撮像素子１０５を使用して、長秒時露光撮影を行う場合の各撮像素子の動作を示している。まず、第１撮像素子１０４の本露光９０１が４秒間行われる。次に、第１撮像素子１０４において、リセットが行われ、その後、被写体画像取得のための読み出し９０２が行われる。次に、第１撮像素子１０４のダーク露光９０３が４秒間行われる。ダーク露光９０３の開始と同時に、第２撮像素子１０５の本露光９０４が開始される。本露光９０４は４秒間行われる。次に、第１撮像素子１０４において、リセットが行われ、その後、黒画像取得のための読み出し９０５が行われる。また、第２撮像素子１０５において、リセットが行われ、その後、被写体画像取得のための読み出し９０６が行われる。次に、第１撮像素子１０４の本露光９０７が４秒間行われる。露光９０７の開始と同時に、第２撮像素子１０５のダーク露光９０８が開始される。ダーク露光９０８は４秒間行われる。次に、第１撮像素子１０４において、リセットが行われ、その後、被写体画像取得のための読み出し９０９が行われる。また、第２撮像素子１０５において、リセットが行われ、その後、黒画像取得のための読み出し９１０が行われる。
【００５０】
図１０は、長秒時露光撮影においてノイズ低減処理を施す場合であって、第２制御が開始されるまでの第１撮像素子１０４と第２撮像素子１０５の温度変化を表している。横軸は時間、縦軸は温度である。第１撮像素子１０４のみを使用して連続撮影が行われると、露光時間の合計が長くなるつれ、第１撮像素子１０４の温度が上昇する。第１撮像素子１０４の温度が所定温度ＴＨに達する切り替え点５０１で、第２撮像素子１０５のみを使用する撮影に切り替えられる。第２撮像素子１０５のみを使用する連続撮影が行われると、露光時間の合計が長くなるつれ、第２撮像素子１０５の温度が上昇する。第２撮像素子１０５のみを使用する連続撮影が行われている間、第１撮像素子１０４の温度は下降する。第２撮像素子１０５の温度が温度ＴＨに達する切り替え点５０２で、第１撮像素子１０４のみを使用する撮影に切り替えられる。第１撮像素子１０４および第２撮像素子１０５の両方が所定温度ＴＨ以上になる切り替え点５０３で、第１撮像素子１０４および第２撮像素子１０５を使用する撮影に切り替えられる。なお、撮像素子周辺の温度低下によって第１撮像素子１０４または第２撮像素子１０５の温度が所定温度ＴＨ以下になった場合、第２制御を継続してもよいし、第１制御に切り替えてもよい。
【００５１】
以上説明したように、本実施例では、第１撮像素子１０４と第２撮像素子１０５を使用して本露光とダーク露光を繰り返すことによって、黒画像取得中のシャッターチャンスを逃すことなく、暗電流を低減することが可能である。
【実施例４】
【００５２】
本実施例は、カメラシステム１がＨＤＲ撮影機能を有する場合の撮影動作の制御方法について説明する。
【００５３】
図１１（ａ）は、１つの撮像素子を使用した場合のＨＤＲ撮影を模式的に示している。まず、シャッター速度が１／２００秒で、ＥＶ±０の露出が適となる撮影１１０１ａが行われる。次に、シャッター速度が１／４００秒で、ＥＶ−１の露出が１段アンダーとなる撮影１１０２ａが行われる。次に、シャッター速度が１／１００秒で、ＥＶ＋１の露出が１段オーバーとなる撮影１１０３ａが行われる。撮影ごとに画素データを読み出す時間を１０ミリ秒とすると、異なる露光時間で撮影された３つの画像の撮影時間の合計は、３７．５ミリ秒（＝１／２００秒＋１／４００秒＋１／１００秒＋１０ミリ秒×２）となる。
【００５４】
図１１（ｂ）は、図１１（ａ）とは異なる条件、例えば、日陰などで１つの撮像素子を使用した場合のＨＤＲ撮影を模式的に示している。日陰などで撮影する場合、シャッター速度が長くなる傾向がある。まず、シャッター速度が１／１００秒で、ＥＶ±０の露出が適となる撮影が行われる。次に、シャッター速度が１／２００秒で、ＥＶ−１の露出が１段アンダーとなる撮影１１０２ｂが行われる。次に、シャッター速度が１／５０秒で、ＥＶ＋１の露出が１段オーバーとなる撮影１１０３ｂが行われる。撮影ごとに画素データを読み出す時間を１０ミリ秒とすると、異なる露光条件で撮影された３つの画像の撮影時間の合計は、５５ミリ秒（＝１／１００秒＋１／２００秒＋１／５０秒＋１０ミリ秒×２）となる。
【００５５】
図１２（ａ）は、第１撮像素子１０４および第２撮像素子１０５を使用した場合の、従来の露出±３段ステップでのＨＤＲ撮影を模式的に示している。まず、第１撮像素子１０４において、シャッター速度が１／５０秒で、ＥＶ＋１の露出が１段オーバーとなる撮影１２０１ａが行われ、その後、読み出し動作１２０２ａが行われる。読み出し時間は撮影タイミングには影響を及ぼさないため、第１撮像素子１０４での撮影時間の合計は、露光時間のみの２０ミリ秒（１／５０秒）となる。第２撮像素子１０５において、まず、シャッター速度が１／１００秒で、ＥＶ±０の露出が適となる撮影１２０３ａが行われ、その後、読み出し動作１２０４ａが行われる。次に、シャッター速度が１／２００秒で、ＥＶ−１の露出が１段アンダーとなる撮影１２０５ａが行われ、その後、読み出し動作１２０６ａが行われる。読み出し動作１２０４ａの時間を１０ミリ秒とすると、第２撮像素子１０５での異なる露光時間で撮影された２つの画像の撮影時間の合計は、２５ミリ秒（＝１／１００秒＋１／２００秒＋１０ミリ秒×１）となる。
【００５６】
図１２（ｂ）は、第１撮像素子１０４および第２撮像素子１０５を使用した場合の、従来の露出±５段ステップでのＨＤＲ撮影を模式的に示している。まず、第１撮像素子１０４において、シャッター速度が１／２５秒で、ＥＶ＋２の露出が２段オーバーとなる撮影１２０１ｂが行われ、その後、読み出し動作１２０２ｂが行われる。読み出し時間は撮影タイミングには影響を及ぼさないため、第１撮像素子１０４での撮影時間の合計は、４０ミリ秒（１／２５秒）となる。第２撮像素子１０５において、まず、シャッター速度が１／１００秒で、ＥＶ±０の露出が適となる撮影１２０３ｂが行われ、その後、読み出し動作１２０４ｂが行われる。次に、シャッター速度が１／４００秒で、ＥＶ−２の露出が２段アンダーとなる撮影１２０５ｂが行われ、その後、読み出し動作１２０６ｂが行われる。次に、シャッター速度が１／２００秒で、ＥＶ−１の露出が１段アンダーとなる撮影１２０７ｂが行われ、その後、読み出し動作１２０８ｂが行われる。次に、シャッター速度が１／５０秒で、ＥＶ＋１の露出が１段オーバーとなる撮影１２０９ｂが行われ、その後、読み出し動作１２１０ｂが行われる。読み出し動作１２０４ｂ、１２０６ｂ、１２０８ｂの時間を１０ミリ秒とすると、第２撮像素子１０５での異なる露光時間で撮影された４つの画像の撮影時間の合計は、６７．５ミリ秒（１／１００秒＋１／４００秒＋１／２００秒＋１／５０秒＋１０ミリ秒×３）となる。このように、第２撮像素子１０５を使用する撮影時間が長くなり、第２撮像素子１０５の駆動時間に偏りが生じてしまう。そこで、本実施例では、露光時間と読み出し時間を考慮した露光制御を行う。
【００５７】
図１３は、第１撮像素子１０４および第２撮像素子１０５を使用した場合の、本実施例の露出±５段ステップでのＨＤＲ撮影を模式的に示している。第１撮像素子１０４において、まず、シャッター速度が１／２５秒で、ＥＶ＋２の露出が２段オーバーとなる撮影１３０１が行われ、その後、読み出し動作１３０２が行われる。次に、ＥＶ−２の露出が２段アンダーとなる撮影１３０３が行われ、その後、読み出し動作１３０４が行われる。読み出し動作１３０２の時間を１０ミリ秒とする場合、第１撮像素子１０４での異なる露光時間で撮影された２つの画像の撮影時間の合計は５２．５ミリ秒（＝１／２５秒＋１／４００秒＋１０ミリ秒×１）となる。第２撮像素子１０５において、まず、シャッター速度が１／１００秒で、ＥＶ±０の露出が適となる撮影１３０５が行われ、その後、読み出し動作１３０６が行われる。次に、シャッター速度が１／５０秒で、ＥＶ＋１の露出が１段オーバーとなる撮影１３０７が行われ、その後、読み出し動作１３０８が行われる。次に、シャッター速度が１／２００秒で、ＥＶ−１の露出が１段アンダーとなる撮影１３０９が行われ、その後、読み出し動作１３１０が行われる。読み出し動作１３０６、１３０８の時間を１０ミリ秒とする場合、第２撮像素子１０５での異なる露光時間で撮影された３つの画像の撮影時間の合計は５５ミリ秒（１／１００秒＋１／５０秒＋１／２００秒＋１０ミリ秒×２）となる。このように、第１撮像素子１０４を使用する撮影時間と第２撮像素子１０５を使用する撮影時間を平滑化することによって、各撮影時間の合計を短縮することができ、ＨＤＲ合成時における手振れや被写体の動きによるブレを低減可能である。
【００５８】
図１４は、ＭＰＵ１０６により実行される、本実施例の撮影動作を示すフローチャートである。
【００５９】
ステップＳ１４０１では、ＭＰＵ１０６は、ＨＤＲ撮影を行う前の条件に応じて、撮影に使用する撮像素子を選択する。ＭＰＵ１０６が１つの撮像素子を選択した場合、ステップＳ１４０２に進み、複数の撮像素子を選択した場合、ステップＳ１４０３に進む。ＭＰＵ１０６は、結像光学系１０２の焦点距離および画角に基づいて、撮像素子を選択してもよい。例えば、使用するレンズが２４ｍｍの焦点距離であり、焦点距離をシャッター速度の分母にし、１／２４秒（４１．７ミリ秒）の撮影時間内に収まる撮影条件である場合、１つの撮像素子を選択してもよい。一方、１／２４秒（４１．７ミリ秒）の撮影時間内に収まらない撮影条件である場合、複数の撮像素子を選択してもよい。また、ＭＰＵ１０６は、被写体の移動速度に基づいて、撮像素子を選択してもよい。例えば、移動速度が所定速度より小さい場合、１つの撮像素子を選択し、移動速度が所定速度より大きい場合、複数の撮像素子を選択してもよい。また、ＭＰＵ１０６は、撮影モードでのバッテリー／電池の消耗を抑制するエコモード機能が設定されている場合、１つの撮像素子を選択してもよい。また、ＭＰＵ１０６は、被写体ブレを低減するＨＤＲ撮影モードが設定されている場合、複数の撮像素子を選択してもよい。
【００６０】
ステップＳ１４０２では、ＭＰＵ１０６は、複数の撮像素子を使用して露光制御（第２制御）を行う。
【００６１】
ステップＳ１４０３では、ＭＰＵ１０６は、１つの撮像素子のみを使用して露光制御（第１制御）を行う。
【００６２】
ステップＳ１４０４では、ＭＰＵ１０６は、選択された撮像素子を用いて、複数の異なる露光時間の撮像を行い、ＨＤＲ画像を生成する。
［その他の実施例]
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６４】
１０１  カメラボディ（撮像装置）
１０３  ハーフミラー（分割手段）
１０４  第１撮像素子
１０５  第２撮像素子
１０６  ＭＣＵ（制御手段）
【図１】
2019186594.tif 000003
【図２】
2019186594.tif 000004
【図３】
2019186594.tif 000005
【図４】
2019186594.tif 000006
【図５】
2019186594.tif 000007
【図６】
2019186594.tif 000008
【図７】
2019186594.tif 000009
【図８】
2019186594.tif 000010
【図９】
2019186594.tif 000011
【図１０】
2019186594.tif 000012
【図１１】
2019186594.tif 000013
【図１２】
2019186594.tif 000014
【図１３】
2019186594.tif 000015
【図１４】
2019186594.tif 000016