(57)【要約】【課題】広ダイナミックレンジ画像を簡便に得る。【解決手段】制御部２０は、撮像素子１４から取り込んだ画像データに基づいて被写体が静止していることを静止被写体検出部３４が検出することに応答して、撮影モードを通常撮影モードから合成撮影モードに移行し、合成撮影モードを実行する。合成撮影モードが実行されると、画像処理回路２３は、撮像素子１４により同一被写体を異なる露光量で撮像して生成した短時間露光画像、標準露光画像、及び長時間露光画像との３枚の画像を合成して１枚の広ダイナミックレンジ画像を生成する。【選択図】図１
2012239076.tif 000002
【特許請求の範囲】
【請求項１】
静止被写体を検出する静止被写体検出手段と、
撮像素子により同一被写体を異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを生成する本処理合成手段と、
静止被写体を検出することに応答して、前記本処理合成手段を実行する合成撮影モードに移行するモード移行手段と、を備えたことを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
モード移行手段は、連写撮影モードが設定されることに応じて、前記合成撮影モードから通常撮影モードに移行することを特徴とする撮像装置。
【請求項３】
請求項１又は２記載の撮像装置において、
撮像素子の感度を設定する設定手段と、
前記設定手段で設定される感度が閾値未満の低感度の場合、前記被写体を標準露光よりも少ない露光量で複数回撮像して生成した複数枚の前処理用画像データを合成して１枚のノイズ軽減用画像データを生成し、前記ノイズ軽減用画像データを前記本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データとして出力する前処理合成手段と、
を備えていることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記前処理用画像データを取得するための撮像回数を、前記感度が前記低感度と判定する範囲のうちの低感度程撮像回数が増えるように、前記感度に応じて変える撮像回数変更手段を備えていることを特徴とする撮像装置。
【請求項５】
請求項３または４に記載の撮像装置において、
前記複数枚の本処理用画像データを、最も露光量が低い露光条件で撮像した短時間露光画像データ、標準の露光条件で撮像した標準露光画像データ、及び最も露光量が高い露光条件で撮像した長時間露光データとで構成し、
前記前処理合成手段は、前記設定手段で設定される感度が前記閾値を超える高感度の場合、前記短時間露光画像データ、標準露光画像データ、及び長時間露光データのそれぞれを、複数枚の前処理用画像データを合成して作ることを特徴とする撮像装置。
【請求項６】
請求項５記載の撮像装置において、
前記短時間露光画像データを作るための前処理用画像データを取得する撮像回数を「Ａ」、前記標準露光画像データを作るための前処理用画像データを取得する撮像回数を「Ｂ」、及び前記長時間露光データを作るための前処理用画像データを取得する撮像回数を「Ｃ」とすると、Ａ＞Ｂ＞Ｃの関係を満足することを特徴とする撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
前記撮像回数「Ａ」，「Ｂ」，「Ｃ」のそれぞれを、前記感度が前記高感度の範囲のうちの高感度程撮像回数が増えるように、前記感度に応じて変える撮像回数変更手段を備えていることを特徴とする撮像装置。
【請求項８】
静止被写体を検出することに応答して、前記静止被写体を異なる露光量で撮像素子により撮像して生成した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを生成する合成撮影モードに移行することを特徴とする撮像方法。
【請求項９】
請求項８に記載の撮像方法において、
連写撮影モードが設定されることに応じて、前記合成撮影モードから通常撮影モードに移行することを特徴とする撮像方法。
【請求項１０】
請求項８または９記載の撮像方法において、
前記撮像素子の感度が閾値未満の低感度の場合、前記被写体を標準露光よりも少ない露光量で複数回撮像して生成した複数枚の前処理用画像データを１枚のノイズ軽減用画像データとして合成し、合成した前記ノイズ軽減用画像データを前記本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データとして出力することを特徴とする撮像方法。
【請求項１１】
請求項１０に記載の撮像方法において、
前記ノイズ軽減用画像データを生成するための前記前処理用画像データの枚数を、前記感度が前記低感度と判定する範囲のうちの低感度程撮像回数が増えるように、前記感度に応じて変えるようにしたことを特徴とする撮像方法。
【請求項１２】
請求項８ないし１１いずれか１項記載の撮像方法において、
前記複数枚の本処理用画像データを、最も露光量が低い露光条件で撮像した短時間露光画像データ、標準の露光条件で撮像した標準露光画像データ、及び最も露光量が高い露光条件で撮像した長時間露光データとで構成し、
前記撮像素子の感度が閾値を超える高感度の場合、前記短時間露光画像データ、標準露光画像データ、及び長時間露光データのそれぞれを、複数枚の前処理用画像データを合成して作ることを特徴とする撮像方法。
【請求項１３】
請求項１２記載の撮像方法において、
前記短時間露光画像データを作るための前処理用画像データを取得する撮像回数を「Ａ」、前記標準露光画像データを作るための前処理用画像データを取得する撮像回数を「Ｂ」、及び前記長時間露光データを作るための前処理用画像データを取得する撮像回数を「Ｃ」とすると、Ａ＞Ｂ＞Ｃの関係を満足することを特徴とする撮像方法。
【請求項１４】
請求項１３に記載の撮像方法において、
前記撮像回数「Ａ」，「Ｂ」，「Ｃ」のそれぞれを、前記感度が前記高感度の範囲のうちの高感度程撮像回数が増えるように、前記感度に応じて変えることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数回の撮像により取得した複数枚の画像を合成して１枚の合成画像を得る撮像装置及び方法に関するものである。
【背景技術】
【０００２】
従来、ダイナミックレンジの広い画像（以下「広ダイナミックレンジ画像」と称す）を生成するために、露光量を変えて撮像した同一被写体の複数の画像を、例えば加算平均による合成をして１枚の合成画像を得る撮像装置が知られている（特許文献１）。この撮像装置の画像合成手段は、標準より多い露光量で得られた画像データを低輝度側のデータとし、標準の露光量で得られた画像データを高輝度側のデータとし、標準より少ない露光量で得られた画像データを超高輝度側のデータとして、全てもしくは任意の組み合わせで画像データを合成している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１３５５９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、広ダイナミックレンジ画像を得る撮影は、一般的に撮影モードを変えることで実行される。撮影モードの変更は、背面にあるメニューボタン、十字ボタン、及びその真中にある決定ボタン等を操作して撮影モードの一覧をＬＣＤに表示し、その中から択一的に選択するものである。
【０００５】
例えばメニューの中から撮影モード一覧を選択するためには、メニューボタンを押し、メニューの項目の中から十字ボタンの上又は下カーソルを押して撮影モード一覧の項目を選択した後に決定ボタンを押す。その後、撮影モード一覧の中から該当するモードを選択するために、上又は下カーソルを押して該当するモードを選択した後に決定ボタンを押す。そして、最後にメニューを終了するためのメニューボタンを押す、というようにメニューボタン、十字ボタン、及び決定ボタン等を何回も押す操作が必要になり手間が掛かる。
【０００６】
特に、広ダイナミックレンジ画像の撮影では、被写体が静止していることが重要なポイントになる。モード変更の操作に手間がかかると、その撮影のタイミングを逃してしまうおそれがある。
【０００７】
本発明は、上記課題を解決するために、撮影タイミングを逃すことなく広ダイナミックレンジ画像を簡便に得ることができる撮像装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では、静止被写体を検出する静止被写体検出手段と；撮像素子により同一被写体を異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを生成する本処理合成手段と；静止被写体を検出することに応答して、前記本処理合成手段を実行する合成撮影モードに移行するモード移行手段と；を備えたものである。
【０００９】
静止被写体検出手段としては、撮像素子から得られる画像データに基づいて被写体が静止していることを検出する。例えば連続する２つの画像データの全画素、あるいは顔画像等の特徴領域の画素を比較して被写体が静止していることを検出すればよい。また、ドライブモードとして連写モードが選択された時には、合成撮影モードをキャンセルし、通常撮影モードを実行するのが好適である。
【００１０】
合成撮影モードの時には、ランダムノイズを軽減することが望ましい。そこで、撮像素子の感度を設定する設定手段と；前記撮像素子により同一被写体を異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを生成する本処理合成手段と；前記設定手段で設定される感度が閾値未満の低感度の場合、前記被写体を標準露光よりも少ない露光量で複数回撮像して生成した複数枚の前処理用画像データを１枚のノイズ軽減用画像データとして合成し、合成した前記ノイズ軽減用画像データを前記本処理用画像データのうちの最も露光量が低い露光条件で撮像した画像データとして出力する前処理合成手段と；を備えるのが好適である。
【００１１】
前処理用画像データを取得するための撮像回数としては、感度に応じて変更することができるように構成するのが望ましい。例えば設定感度が閾値未満である低感度の範囲のうちの低感度程、撮像回数を増やすのが望ましい。
【００１２】
また、前処理合成手段としては、設定手段で設定される感度が閾値を超える高感度の場合、複数枚の本処理用画像データを構成する、最も露光量が低い露光条件で撮像した短時間露光画像データ、標準の露光条件で撮像した標準露光画像データ、及び最も露光量が高い露光条件で撮像した長時間露光データのそれぞれを、複数枚の前処理用画像データを合成して作るのが、高感度撮影時に生じ易いランダムノイズを軽減することができるため好適である。
【００１３】
この場合、短時間露光画像データ用の前処理用画像データを取得するための撮像回数を「Ａ」、前記標準露光画像データ用の前処理用画像データを取得するための撮像回数を「Ｂ」、及び前記長時間露光データ用の前処理用画像データを取得するための撮像回数を「Ｃ」とすると、Ａ＞Ｂ＞Ｃの関係を満足するのが望ましい。
【００１４】
また、この場合、前処理合成手段は、前処理用画像データを取得するための撮像回数を、高感度と判定した範囲のうちの高感度程、撮像回数が増えるように、感度に応じて変更するのが好適である。
【発明の効果】
【００１５】
本発明では、静止被写体を検出することで自動的に合成撮影モードに移行するため、ランダムノイズを軽減した広ダイナミックレンジ画像を瞬時に得ることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明を用いた電子カメラの電気的概略を示すブロック図である。
【図２】画像処理回路の詳しい構成を示すブロック図である。
【図３】位置合わせ処理の構成を示すブロック部である。
【図４】合成撮影モードの動作手順を示すフローチャートである。
【図５】図４で説明した動作手順の続きを示すフローチャート図である。
【図６】高感度時の動作手順を示すフローチャート図である。
【図７】図６で説明した動作手順の続きを示すフローチャート図である。
【図８】低感度の範囲における短時間露光画像データの取得枚数を変えた例を示す説明図である。
【図９】高感度の範囲における短時間露光、標準露光、及び長時間露光との各画像データの取得枚数をそれぞれ変えた例を示す説明図である。
【発明を実施するための形態】
【００１７】
本発明の撮像装置の一実施形態として電子カメラを説明する。電子カメラは、1回のシャッタレリーズに応答して、撮像素子により異なる露光量で撮像して得た複数枚の画像データを合成して１枚の広ダイナミックレンジ画像データを生成する合成撮影モードを有する。
【００１８】
電子カメラ１０は、図１に示すうに、レンズ光学系１１、絞り１２，メカシャッタ１３、撮像素子１４、ＡＦＥＴＧ（アナログフロントエンド・タイミングジェネレータ）１５、レンズ駆動部１６、絞り駆動部１７、シャッタ駆動部１８、静止被写体検出回路、ＡＥ・ＡＦ回路１９、制御部２０、操作部２１、ＬＣＤ２２、画像処理回路２３、ＲＡＭ２４、ＲＯＭ２５、ＶＲＡＭ２６、不揮発生メモリ２７、メモリスロット２８、及び外部メモリ２９等で構成される。
【００１９】
レンズ駆動部１６は、レンズ光学系１１の変倍及び合焦動作を行う。絞り駆動部１７は、絞り１２を駆動する。シャッタ駆動部１８は、メカシャッタ１３を駆動する。撮像素子１４は、レンズ光学系１１、及び絞り１２を介して結像される被写体像を光電変換するＣＣＤやＣＭＯＳ等のイメージセンサである。
【００２０】
ＡＦＥＴＧ１５は、ＴＧ（タイミングジェネレータ）３０、Ｖ−ｄｒｉｖｅｒ（垂直駆動部）３１、及びＡＦＥ（アナログフロントエンド）３２で構成される。
ＴＧ３０は、Ｖ−ｄｒｉｖｅｒ３１を介して画像信号の読み出しタイミングを撮像素子１４に与える。ＡＦＥ３２は、撮像素子１４から読み出されるアナログの画像信号のノイズ除去やアナログゲインアップにより増幅を行った後、Ａ／Ｄ変換してデジタルの画像データに変換し、変換した画像データを静止被写体検出回路、ＡＥ・ＡＦ回路１９、及び画像処理回路２３に出力する。
【００２１】
静止被写体検出回路３４は、デジタルの画像データに基づいて被写体が静止しているかを検出する。具体的には、画像データを連続的に取り込み、前後する画像データの同じ位置の画素の輝度差の絶対値を差分値とし、全画素のそれぞれについて差分値を計算し、差分値が予め決めた閾値以上になる画素を判別し、これら画素を多く含む一塊の領域が無い場合に、被写体が静止していると判断して、静止被写体である旨の情報を制御部２０出力する。
【００２２】
なお、静止被写体検出回路３４の他の構成としては、例えば、顔検出回路を設け、顔検出回路で、比較する２つの画像データから画像中に含まれる人物の顔領域を顔テンプレートとのパターンマッチングによりそれぞれ検出し、人物の顔領域における画素の輝度差の絶対値を差分値として計算し、差分値が予め決めた閾値以上になる画素が予め決めた閾値未満の場合に被写体が静止していると判別してもよい。
【００２３】
ＡＥ・ＡＦ回路１９は、画像データのコントラスト情報に基づいてフォーカスを制御するＡＦ（オートフォーカス）情報、及び画像データに基づいて最適なＡＥ（オートエクスポージャ）情報やホワイトバランス情報をそれぞれ取り出して制御部２０に送る。制御部２０は、ＡＦ情報、ＡＥ情報、及びホワイトバランス情報に基づいてレンズ駆動部１６、絞り駆動部１７、及び画像処理回路２３等を制御する。
画像処理回路２３は、ホワイトバランス処理、圧縮符号化、復号処理、画像合成処理等が含まれる。ＶＲＡＭ２６は、ＬＣＤ２２に表示するための画像メモリである。ＬＣＤ２２には、撮像された画像の表示、カメラの各種設定のメニューや撮影モードの表示が行われる。
【００２４】
メモリスロット２８には、外部メモリ２９が着脱自在に接続される。外部メモリ２９には、画像処理回路２３で生成される圧縮符号化された画像データが保存される。
【００２５】
ＲＡＭ２４は、制御部２０や画像処理回路２３のワークエリアとして使用される。ＲＯＭ２５には、制御部２０が実行するプログラムが格納されている。不揮発性メモリ２７は、電子カメラ１０の各種の調整データや、ユーザによって設定された撮影モードや感度（ＩＳＯ感度）等を格納する。
【００２６】
制御部２０は、ＲＯＭ２５に記憶されているプログラムに従って動作するＣＰＵ（中央演算処理部）を中心に構成され、電子カメラ１０の各部を制御する。例えば、制御部２０は、撮像素子１４の画像信号を読み出す指示をＡＦＥＴＧ１５のＴＧ３０に与え、撮像素子１４から読み出した画像信号を、ＡＦＥ３２を介して画像処理回路２３に入力し、画像処理回路２３で撮影モードに対応する処理等を実行した後に、処理済みの画像データを、バス３３を介して外部メモリ２９に記録するように制御する。
【００２７】
操作部２１は、感度設定部、シャッタボタン、モード設定部、ドライブモード設定部、及び電源ボタン等で構成されており、これらは制御部２０に操作信号や設定信号を送る。感度設定部は、撮像素子１４の感度（ＩＳＯ感度）を複数段階に変更するための操作部である。感度は、予め任意の感度に定められている。
【００２８】
制御部２０は、ＡＥ・ＡＦ回路１９から被写体輝度情報を得ると、感度と被写体輝度とで決まる適正露出に近づくように、その時点に設定されている感度に対応したプログラム線図に従って標準の露光量（絞り値とシャッター速度値で求まる露光量）を決定する。
【００２９】
モード設定部は、通常撮影モード、及び再生モードを択一的に選択する操作部である。通常撮影モードでは、ドライブモード設定部を選択操作することで、連写撮影と１コマ撮影とを択一的に選択することができる。
【００３０】
通常撮影モードは、標準の露光量で撮像素子１４により撮像して画像データを生成するモードである。１コマ撮影を選択時には、１回のシャッタレリーズに応答して１枚の画像データを外部メモリ２９に記録し、また、連写撮影を選択時には、シャッタボタンを押している間だけ、実質的に同じ露出で撮像した複数枚の画像データを外部メモリ２９に記録する。再生モードは、外部メモリ２９に記録した画像データをＬＣＤ２２に再生するモードである。
【００３１】
制御部２０は、静止被写体検出回路３４が静止被写体であると判断した場合、通常撮影モードから合成撮影モードに自動的に移行する。合成撮影モードは、撮像素子１４により同一被写体を、異なる露光量で撮像して生成した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを外部メモリ２９に記録するモードである。
【００３２】
合成撮影モードの時には、撮像素子１４の蓄積時間を可変する電子シャッタと絞り１２の組み合わせで露光量を制御する。なお、シャッタ速度としては、電子シャッタの代わりに、例えばメカシャッタ１３の開閉で決定してもよいし、露光の最初のタイミングを電子シャッタで取り、露光終了をメカシャッタ１３で決定してもよい。
【００３３】
制御部２０は、図２に示すように、合成撮影モード移行部４２、感度判定部３５、及びカウンタ３６を有する。合成撮影モード移行部４２は、静止被写体検出回路３４から静止被写体である旨の信号を受け取ることに応答して撮影モードを通常撮影モードから合成撮影モードに移行する。なお、合成撮影モード移行部４２は、連写撮影を選択している場合には、合成撮影モードへの移行をキャンセルする。
【００３４】
感度判定部３５は、撮影時に感度設定部に設定されている設定感度を認識するとともに、認識した感度を予め決められている閾値とを比較して高感度か低感度かを判定する。カウンタ３６は、画像データの取り込み回数をカウントする。制御部２０は、感度判定部３５で判定した感度に応じて、アナログの画像データをＡＦＥ３２のアナログゲインアップで増幅するときの度合いを変更する。
【００３５】
画像処理回路２３は、振分け部３７、前処理合成部３８、及び本処理合成部３９を備えている。振分け部３７は、画像データを前処理合成部３８と本処理合成部３９に振り分けるものであり、この振り分け処理は、高感度又は低感度の時の前処理用の画像データか本処理用の画像データかに基づいて制御部２０により制御される。
【００３６】
本処理合成部３９は、合成撮影モードの時に、異なる露光量で撮像した複数枚の本処理用画像データを合成して１枚の広ダイナミックレンジ画像データを生成する処理を行う。本処理用画像データは、例えば、短時間露光画像データ、標準露光画像データ、及び長時間露光画像データで構成されている。
【００３７】
短時間露光画像データは、撮像素子１４により標準より少ない露光量で撮像して生成した画像データである。標準露光画像データは、撮像素子１４により標準の露光量で撮像して生成した画像データである。長時間露光画像データは、撮像素子１４により標準よりも多い露光量で撮像して生成した画像データである。
【００３８】
前処理合成部３８は、合成撮影モードの時に低感度と判定した場合、ランダムノイズを軽減するために、撮像素子１４により標準よりも少ない露光量で撮像して生成した複数枚の前処理用画像データを合成して１枚のノイズ軽減用画像データを生成し、ノイズ軽減用画像データを本処理用画像データのうちの短時間露光画像データとして本処理合成部３９に出力する。
【００３９】
また、前処理合成部３８は、合成撮影モードの時に高感度と判定した場合、撮像素子１４により標準よりも少ない露光量で撮像して生成した複数枚の画像データを1枚の画像データに合成したものを短時間露光画像データとし、また、標準の露光量で撮像して生成した複数枚の画像データを１枚の画像データに合成したものを標準露光画像データとし、さらに、標準よりも多い露光量で撮像して生成した複数枚の画像データを1枚の画像データに合成したものを長時間露光画像データとしてそれぞれ本処理合成部３９に出力する。
【００４０】
前処理及び本処理合成部３８，３９は、バッファメモリ４０，４４、位置合わせ処理４１，４５、及び画像合成４３，４７をそれぞれ備えている。バッファメモリ４０，４４は、複数の画像データを一時的に記憶する。位置合わせ処理４１，４５は、各画像データを比較して、各画像データの位置が一致するように座標を修正する処理を行う。画像合成４３，４７は、修正した座標の情報に基づいて各画像データを加算した後に、画像データの枚数で除算する平均化処理を行って１枚の画像データを生成する。
【００４１】
位置合わせ処理４１，４５は、図３に示すように、評価部４８、決定部４９、及び位置合わせ部５０で構成されている。評価部４８は、所定の条件、例えば画像データのレベル（明るさ）、コントラスト、及び空間周波数の高周波成分とのうちの少なくとも１つを求めて各画像データを評価する。この場合、画像データの白黒レベルが飽和レベルに達していない画像データのうちの最も明るい画像データほど、又は最もコントラスト値が高い画像データほど、あるいは最も高周波成分が多い画像データほど評価値を高くする。
【００４２】
なお、代わりに、各画像データから主要被写体を検出し、検出した主要被写体の動き量が小さい程評価値を高くする条件や、フォーカス状態、主要被写体の変形度合い等の評価で基準の画像データを決めても良い。
【００４３】
決定部４９は、評価部４８で求めた各画像データの評価値に基づいて最も合成に適した画像データを基準画像データとして決定する。位置合わせ部５０は、基準画像データを基準として残りの画像データに対して座標位置が一致するように位置合わせ処理を行う。これにより、画像合成４３，４７で合成される画像データは、画質が向上する。なお、評価部４８で、各画像データの評価をした後に、評価値が予め決めた閾値よりも低い場合には、その画像データを合成に使用しないように選択する処理を行うようにしてもよい。
【００４４】
次に上記構成の作用を、図４及び図５を参照しながら説明する。撮像素子１４の感度は、初期値、例えばＩＳＯ感度「４００」に予め設定されている。
制御部２０は、１回のシャッヤレリーズ（Ｓ−１）に応答して撮像素子１４で撮影して得た画像データをＡＥ・ＡＦ回路１９、及び静止被写体検出回路３４に取り込み、取り込んだ画像データに基づいて、標準露光量を決定し（Ｓ−２）、また、被写体が静止しているか否かを判断する（Ｓ−３）。
【００４５】
制御部２０は、静止被写体検出回路３４で静止被写体と判断した場合、合成撮影モード移行部４２で連写撮影モードが設定されているか否かを判定し（Ｓ−４）、連写撮影モードが設定されていない場合に合成撮影モードに移行する（Ｓ−５）。なお、制御部２０は、動体と判断した場合、及び連写撮影モードと判断した場合には、通常撮影モードを実行する（Ｓ−６）。
【００４６】
合成撮影モードに移行すると、制御部２０は、その時点で設定されている感度が閾値未満か否かを判定する（Ｓ−７）。例えば、設定感度がＩＳＯ感度「４００」で、閾値がＩＳＯ感度「８００」である場合には設定感度が低感度であると判定する。
【００４７】
制御部２０は、低感度と判定した場合、標準より少ない露光量、例えば「−１ＥＶ」の露光補正をした露光量に設定して撮像素子１４で連写的に撮像することで複数枚、例えば５枚の前処理用画像データを取得し（Ｓ−８）、振分け部３７を制御して５枚の前処理用画像データを前処理合成部３８のバッファメモリ４０に取り込む。
【００４８】
前処理合成部３８は、制御部２０からカウントアップに応答する信号を受け取ることで、バッファメモリ４０から５枚の前処理用画像データを順に読み出し、各前処理用画像データについて評価部４８で予め決めた条件に基づいて評価を行い、評価結果に基づいて基準の画像データを決定部４９で決定し（Ｓ−９）、位置合わせ部５０で基準の画像データに基づいて残りの画像データに対して位置合わせ処理を行い（Ｓ−１０）、その後に画像合成４３で、基準画像データに対して位置合わせ処理済みの画像データを順に加算平均化処理により合成をして本処理用の短時間露光画像データを生成し（Ｓ−１１）、短時間露光画像データを本処理合成部３９のバッファメモリ４４に出力する。
【００４９】
なお、５枚の前処理用画像データを取得する時には、制御部２０は、カウンタ３６を初期化し（Ｓ−１２）、カウンタ３６で短時間露光での撮像回数をカウントし（Ｓ−１３）、その撮像回数が予め決められた回数に達したか否かを判定する（Ｓ−１４）。
【００５０】
引き続き制御部２０は、標準の露光量に変えて1枚撮像して本処理用の標準露光画像データを生成し（Ｓ−１５）、振分け部３７を制御して標準露光画像データを本処理合成部３９のバッファメモリ４４に取り込み、引き続き、露出を標準より多い露光量に、例えば「＋１ＥＶ」の露光補正をした露光量に設定して1枚撮像して本処理用の長時間露光画像データを生成し（Ｓ−１６）、長時間露光画像データをバッファメモリ４４に取り込む。
【００５１】
本処理合成部３９は、短時間露光画像データ、標準露光画像データ、及び長時間露光画像データとの３つの本処理用画像データがバッファメモリ４４に取り込まれることに応答して、位置合わせ処理４５で前述した位置合わせ処理４１と同じ処理を行って基準の画像データを決定し（Ｓ−１７）、基準の画像データに対して残りの画像データについてそれぞれ位置合わせ処理を行って（Ｓ−１８）、基準の画像データに対して位置合わせ処理済みの画像データを加算平均化処理により順に合成をして１枚の広ダイナミックレンジ画像データを生成し（Ｓ−１９）、広ダイナミックレンジ画像データを外部メモリ２９に記録する。低感度判定での合成撮影モードで得られる広ダイナミックレンジ画像は、白とびや黒つぶれの発生を抑えることに加えて、低感度撮影で生じ易いランダムノイズを低減した画像になる。
【００５２】
次に、感度判定部３５が図４（Ｓ―７）で高感度であると判定した場合について、図６を参照しながら説明する。この場合、制御部２０は、標準より少ない露光量、例えば「−１ＥＶ」の露出補正をした露光量に設定して撮像素子１４で連写的に撮像することで複数枚、例えば６枚の前処理用画像データを取得し（Ｓ−２０）、振分け部３７を制御して６枚の前処理用画像データを前処理合成部３８のバッファメモリ４０に取り込む。
【００５３】
前処理合成部３８は、制御部２０から短時間露光での撮影回数がカウントアップすることに応答して、バッファメモリ４０から６枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理４１、及び画像合成４３で行って（Ｓ−２１）、本処理用の短時間露光画像データを生成し（Ｓ−２２）、短時間露光画像データを本処理合成部３９のバッファメモリ４４に出力する。
【００５４】
引き続き制御部２０は、標準の露光量に設定して撮像素子１４で連写的に撮像することで、短時間露光で撮像する枚数よりも少ない複数枚、例えば４枚の前処理用画像データを取得し（Ｓ−２３）、振分け部３７を制御して４枚の前処理用画像データを前処理合成部３８のバッファメモリ４０に取り込む。
【００５５】
前処理合成部３８は、制御部２０から標準露光での撮影回数がカウントアップすることに応答して、バッファメモリ４０から４枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理４１、及び画像合成４３で行って（Ｓ−２４）、本処理用の標準露光画像データを生成し（Ｓ−２５）、標準露光画像データを本処理合成部３９のバッファメモリ４４に出力する。
【００５６】
引き続き制御部２０は、図７に示すように、標準よりも多い露光量、例えば「＋１ＥＶ」の露出補正をした露光量に設定して撮像素子１４で連写的に撮像することで、標準露光で撮像する枚数よりも少ない複数枚、例えば２枚の前処理用画像データを取得し（Ｓ−２６）、振分け部３７を制御して２枚の前処理用画像データを前処理合成部３８のバッファメモリ４０に取り込む。
【００５７】
前処理合成部３８は、制御部２０から標準露光での撮影回数がカウントアップすることに応答して、バッファメモリ４０から２枚の前処理用画像データを順に読み出し、前述した同じ処理を位置合わせ処理４１、及び画像合成４３で行って（Ｓ−２７）、本処理用の長時間露光画像データを生成し（Ｓ−２８）、長時間露光画像データを本処理合成部３９のバッファメモリ４４に出力する。
【００５８】
そして、図５（Ｓ−１７〜Ｓ−１９）で説明したように、本処理合成部３９は、３つの本処理用画像データがバッファメモリ４４に取り込まれることに応答して、位置合わせ処理４５で基準の画像データを決定し（Ｓ−２９）、基準の画像データに対して残りの画像データについてそれぞれ位置合わせ処理を行って（Ｓ−３０）、基準の画像データに対して位置合わせ処理済みの画像データを加算平均化処理により順に合成をして広ダイナミックレンジ画像データを生成し（Ｓ−３１）、広ダイナミックレンジ画像データを外部メモリ２９に記録する。
【００５９】
これにより、高感度判定で生成した広ダイナミックレンジ画像は、白とびや黒つぶれの発生を抑えることに加えて、高感度撮影時に生じ易いランダムノイズを低減した画像になる。
【００６０】
なお、制御部２０は、広ダイナミックレンジ画像データを記録した後に、バッファメモリ４０，４４をクリアする制御を行うことが望ましい。
【００６１】
また、上記実施形態では、感度に応じて決められた撮影枚数、露出補正値は、前述した数値に限らないことはいうまでもない。例えば図８に示すように、設定感度が閾値未満の範囲において、設定感度が低感度程、短時間露光画像データの取得枚数を増やすのが好適である。また、例えば図９に示すように、設定感度が閾値を超える範囲において、設定感度が高感度程、短時間、標準、及び長時間との各露光画像データの取得枚数をそれぞれ増やすのが好適である。なお、短時間露光、標準露光、及び長時間露光との各画像データの取得枚数を順にＡ、Ｂ、Ｃとすると、Ａ＞Ｂ＞Ｃの関係を保つように、各画像データの取得枚数を変更するのが好適である。
【００６２】
また、操作部にカーソルボタンやＯＫボタン等の変更操作部を設け、例えば低感度における短時間露光での撮影枚数、及び高感度における短時間露光での撮影枚数、標準露光での撮影枚数、長時間露光での撮影枚数をそれぞれ自由に設定することができるように構成してもよい。
【００６３】
上記実施形態では、短時間露光、標準露光、及び長時間露光との３つの画像データを合成して広ダイナミックレンジ画像を生成しているが、本発明ではこれに限らず、露光の異なる２つの画像データを合成して、又は超低時間露光や超長時間露光の画像データを追加した４つ以上の画像データを合成して広ダイナミックレンジ画像を生成してもよい。
【００６４】
上記実施形態では、低感度と判定した時には、最初に前処理用画像を短時間露光で複数回撮像し、次に標準露光での撮像、最後に長時間露光での撮像の順としているが、本発明ではその順に限らず、例えば逆の順、あるいは最初に標準露光での撮像し、次に短時間露光で複数回撮像、最後に長時間露光での撮像の順にしてもよい。
【００６５】
また、高感度と判定した時も同様に、短時間露光画像データ用の前処理用画像データを取得するために撮像する期間、標準露光画像データ用の前処理用画像データを取得するための撮像期間、及び長時間露光データ用の前処理用画像データを取得するための撮像期間の順はいずれの順でもよい。
【００６６】
上記実施形態では、画像データを取得する毎に位置合わせ処理をして合成しているが、先に全ての撮像を行って画像データをＲＡＭに記録しておき、撮影完了後にＲＡＭから合成対象の画像データを読み出して合成していくように構成してもよい。  また、先に全ての撮像を行って画像データをフラッシュメモリ等に記録しておき、予め画像処理ソフトを電子カメラ等にインストールしておき、撮影後にそのソフトを実行して撮像した複数枚の画像データを合成するようにしてもよい。
【００６７】
さらに、上記実施形態では本発明を電子カメラ１０に使用して説明しているが、本発明ではこれに限らず、ビデオカメラやテレビカメラ等に使用することができる。
【符号の説明】
【００６８】
１４  撮像素子
１２  絞り
１３  メカシャッタ
１５  ＡＦＥＴＧ
２３  画像処理回路
３８  前処理合成部
３９  本処理合成部
【図１】
2012239076.tif 000003
【図２】
2012239076.tif 000004
【図３】
2012239076.tif 000005
【図４】
2012239076.tif 000006
【図５】
2012239076.tif 000007
【図６】
2012239076.tif 000008
【図７】
2012239076.tif 000009
【図８】
2012239076.tif 000010
【図９】
2012239076.tif 000011