(57)【要約】【課題】撮影者がレリーズボタンを押圧して撮影を開始したときに、シャッタタイムラグを殆どなくして撮像することができる撮像装置を提供する。【解決手段】レリーズボタンを押圧して撮影を開始したときに、ＴＧ３３でＣＭＯＳセンサ２０を制御して最初に少なくとも２回の異なる時間の露光による撮像を連続的に行い、第１の撮像時における露光を露光判定部３６で評価して、露光十分であると判定した場合に、この判定時の撮像における露光の画像データを取得し、第１の撮像時における露光が十分でないと判定した場合に、第２の撮像時における露光を露光判定部３６で評価して、露光十分であると判定した場合に、この判定時に得られた露光画像データを最終露光画像データとする。【選択図】図２
2010130088.tif 000002
【特許請求の範囲】
【請求項１】
撮像した画像データを出力する撮像手段と、
前記撮像手段に対し、設定した複数の露光時間で順次撮像を行うように制御する制御手段と、
前記撮像手段で取得した画像データの露光量を評価する露光評価手段と、を備え、
撮影を開始すると前記制御手段は最初に少なくとも２回の露光による撮像を連続的に行い、第１の撮像により第１の画像データを取得すると、第２の撮像と並行して該第１の画像データを前記露光評価手段で評価して、露光量が十分であると判定した場合はこの判定時の画像データを最終画像データとするとともに、前記第２の撮像により出力される画像データの以降の処理を停止し、
前記第１の画像データの露光量が十分でないと判定した場合は前記第２の撮像により第２の画像データを取得して、第３の撮像と並行して該第２の画像データを前記露光評価手段で評価し、露光量が十分であると判定した場合はこの判定時の画像データを最終露光画像データとするとともに、前記第３の撮像により出力される画像データの以降の処理を停止し、
前記第２の画像データの露光量が十分でないと判定した場合は、前記露光評価手段で露光量が十分であると判定されるまで前記第１の撮像による露光時間が最も短く以降の撮像毎に長くなるように繰り返し撮像を行うことを特徴とする撮像装置。
【請求項２】
撮像した画像データを出力する撮像手段と、
前記撮像手段に対し、設定した複数の露光時間で順次撮像を行うように制御する制御手段と、
前記撮像手段で取得した画像データの露光量を評価する露光評価手段と、
前記設定した露光時間で順次撮像を行ったときに、前記撮像手段から出力される画像データを順次合成して合成露光画像データを算出する画像データ合成手段と、を備え、
撮影を開始すると前記制御手段は最初に少なくとも２回の露光による撮像を連続的に行い、第１の撮像により第１の画像データを取得すると、第２の撮像と並行して該第１の画像データを前記露光評価手段で評価して、露光量が十分であると判定した場合はこの判定時の画像データを最終画像データとするとともに、前記第２の撮像により出力される画像データの以降の処理を停止し、
前記第１の画像データの露光量が十分でないと判定した場合は、該第１の画像データと前記第２の撮像による第２の画像データを前記画像データ合成手段で合成した第１の合成画像データを取得して、第３の撮像と並行して該第１の合成画像データを前記露光評価手段で評価し、露光量が十分であると判定した場合はこの判定時の画像データを最終露光画像データとするとともに、前記第３の撮像により出力される画像データの以降の処理を停止し、
前記第１の合成画像データの露光量が十分でないと判定した場合は、該第１の合成画像データと前記第３の撮像による第３の画像データを前記画像データ合成手段で合成した第２の合成画像データを取得して、第４の撮像と並行して該第２の合成画像データを前記露光評価手段で評価し、露光量が十分であると判定した場合はこの判定時の画像データを最終画像データとするとともに、前記第４の撮像により出力される画像データの以降の処理を停止し、
前記第２の合成画像データの露光量が十分でないと判定した場合は、前記露光評価手段で露光量が十分であると判定されるまで前記設定した複数の露光時間に基づいて繰り返し撮像を行うことを特徴とする撮像装置。
【請求項３】
前記設定した複数の露光時間は、前記第１の撮像による露光時間が最も短く以降の撮像毎に長くなるように設定されていることを特徴とする請求項２に記載の撮像装置。
【請求項４】
操作者による操作により撮影開始が指示されると、最適露光量を求めることなく前記制御手段からの信号に基づいて前記第１、第２の撮像を開始することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項５】
前記露光評価手段は、判定する全部の画素データに対して低輝度側の黒く潰れていると判断する画素数が所定の割合よりも少ないときに、露光量が十分であると判定することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
【請求項６】
前記露光評価手段は、露光量が十分ではないと判定したときに黒く潰れている画素を特定し、前記判定した画像データ以降に取得した画像データによって該特定画素の輝度情報の変化を判断して、黒潰れが解消あるいは改善された画素の減少数あるいは減少割合が所定値よりも小さいときは、前記所定の割合に関わらず露光量が十分であると判定することを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記撮像手段は、ローリングシャッタ機能を有するＣＭＯＳセンサであり、このローリングシャッタ機能を利用して、該撮像手段による撮像動作と前記露光評価手段による露光評価動作を並行して行うことを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。
【請求項８】
前記第１の撮像時における第１露光時間と前記第２の撮像時における第２露光時間は、前記ＣＭＯＳセンサのダイナミックレンジと転送フレームレートにより設定されることを特徴とする請求項７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
従来のデジタルカメラでは、静止画撮影時にレリーズボタン（シャッタボタン）が押圧（ＯＮ）されると、被写体の輝度を測定する露光前処理が行われ、この露光前処理で決定された露光時間で撮像される（例えば、特許文献１参照）。
【特許文献１】特開２００３−２７９８４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように従来のデジタルカメラでは、露光前処理を終えた後に実際の撮像動作が開始されるため、所定時間（例えば、数十ｍｓｅｃ）のシャッタタイムラグが生じる。このため、撮影者がレリーズボタンを押圧して撮像を開始しても、前記露光前処理の時間だけシャッタタイムラグが生じることにより、撮影者の意図した撮影タイミングで撮像できないことがある。
【０００４】
そこで、本発明は、撮影者がレリーズボタンを押圧して撮影を開始したときに、シャッタタイムラグが殆ど生じることなく撮像することができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記目的を達成するために請求項１に記載の撮像装置は、撮像した画像データを出力する撮像手段と、前記撮像手段に対し、設定した複数の露光時間で順次撮像を行うように制御する制御手段と、前記撮像手段で取得した画像データの露光量を評価する露光評価手段と、を備え、撮影を開始すると前記制御手段は最初に少なくとも２回の露光による撮像を連続的に行い、第１の撮像により第１の画像データを取得すると、第２の撮像と並行して該第１の画像データを前記露光評価手段で評価して、露光量が十分であると判定した場合はこの判定時の画像データを最終画像データとするとともに、前記第２の撮像により出力される画像データの以降の処理を停止し、前記第１の画像データの露光量が十分でないと判定した場合は前記第２の撮像により第２の画像データを取得して、第３の撮像と並行して該第２の画像データを前記露光評価手段で評価し、露光量が十分であると判定した場合はこの判定時の画像データを最終露光画像データとするとともに、前記第３の撮像により出力される画像データの以降の処理を停止し、前記第２の画像データの露光量が十分でないと判定した場合は、前記露光評価手段で露光量が十分であると判定されるまで前記第１の撮像による露光時間が最も短く以降の撮像毎に長くなるように繰り返し撮像を行うことを特徴としている。
【０００６】
請求項２に記載の撮像装置は、撮像した画像データを出力する撮像手段と、前記撮像手段に対し、設定した複数の露光時間で順次撮像を行うように制御する制御手段と、前記撮像手段で取得した画像データの露光量を評価する露光評価手段と、前記設定した露光時間で順次撮像を行ったときに、前記撮像手段から出力される画像データを順次合成して合成露光画像データを算出する画像データ合成手段と、を備え、撮影を開始すると前記制御手段は最初に少なくとも２回の露光による撮像を連続的に行い、第１の撮像により第１の画像データを取得すると、第２の撮像と並行して該第１の画像データを前記露光評価手段で評価して、露光量が十分であると判定した場合はこの判定時の画像データを最終画像データとするとともに、前記第２の撮像により出力される画像データの以降の処理を停止し、前記第１の画像データの露光量が十分でないと判定した場合は、該第１の画像データと前記第２の撮像による第２の画像データを前記画像データ合成手段で合成した第１の合成画像データを取得して、第３の撮像と並行して該第１の合成画像データを前記露光評価手段で評価し、露光量が十分であると判定した場合はこの判定時の画像データを最終露光画像データとするとともに、前記第３の撮像により出力される画像データの以降の処理を停止し、前記第１の合成画像データの露光量が十分でないと判定した場合は、該第１の合成画像データと前記第３の撮像による第３の画像データを前記画像データ合成手段で合成した第２の合成画像データを取得して、第４の撮像と並行して該第２の合成画像データを前記露光評価手段で評価し、露光量が十分であると判定した場合はこの判定時の画像データを最終画像データとするとともに、前記第４の撮像により出力される画像データの以降の処理を停止し、前記第２の合成画像データの露光量が十分でないと判定した場合は、前記露光評価手段で露光量が十分であると判定されるまで前記設定した複数の露光時間に基づいて繰り返し撮像を行うことを特徴としている。
【０００７】
請求項３に記載の撮像装置は、前記設定した複数の露光時間は、前記第１の撮像による露光時間が最も短く以降の撮像毎に長くなるように設定されていることを特徴としている
【０００８】
請求項４に記載の撮像装置は、操作者による操作により撮影開始が指示されると、最適露光量を求めることなく前記制御手段からの信号に基づいて前記第１、第２の撮像を開始することを特徴としている。
【０００９】
請求項５に記載の撮像装置は、前記露光評価手段は判定する全部の画素データに対して低輝度側の黒く潰れていると判断する画素数が所定の割合よりも少ないときに、露光量が十分であると判定することを特徴としている。
【００１０】
請求項６に記載の撮像装置は、前記露光評価手段は露光量が十分ではないと判定したときに黒く潰れている画素を特定し、前記判定した画像データ以降に取得した画像データによって該特定画素の輝度情報の変化を判断して、黒潰れが解消あるいは改善された画素の減少数あるいは減少割合が所定値よりも小さいときは、前記所定の割合に関わらず露光量が十分であると判定することを特徴としている。
【００１１】
請求項７に記載の撮像装置は、前記撮像手段はローリングシャッタ機能を有するＣＭＯＳセンサであり、このローリングシャッタ機能を利用して、該撮像手段による撮像動作と前記露光評価手段による露光評価動作を並行して行うことを特徴としている。
【００１２】
請求項８に記載の撮像装置は、前記第１の撮像時における第１露光時間と前記第２の撮像時における第２露光時間は、前記ＣＭＯＳセンサのダイナミックレンジと転送フレームレートにより設定されることを特徴としている。
【発明の効果】
【００１３】
請求項１、２に記載の撮像装置によれば、従来のように撮影開始時に最初に被写体の輝度を測定する露光前処理を行うことが不要となり、シャッタタイムラグが殆ど生じることがないので、撮影者の意図した撮影タイミングで撮像を行うことが可能となる。
【００１４】
請求項３に記載の撮像装置は、前記設定した複数の露光時間は、前記第１の撮像による露光時間が最も短く以降の撮像毎に長くなるように設定しているので、順に露光時間が長くるようにして複数の露光を連続的に行うことができる。
【００１５】
請求項４に記載の撮像装置によれば、操作者による操作により撮影開始が指示されると、最適露光量を求めることなく制御手段からの信号に基づいて前記第１、第２の撮像を開始することにより、シャッタタイムラグが殆ど生じることなく撮像を行うことができる。
【００１６】
請求項５に記載の撮像装置によれば、十分な露光量であるか否かの判定を予め設定した閾値に基づいて容易に行うことができる。
【００１７】
請求項６に記載の撮像装置によれば、例えば画像の低輝度が既に暗黒であるような場合には、露光不足と判定することなく露光量が十分であると判定することができる。
【００１８】
請求項７に記載の撮像装置によれば、撮像手段としてローリングシャッタ機能を有するＣＭＯＳセンサを用いることにより、ローリングシャッタ機能を利用して容易に複数の異なる露光時間で順次撮像を行うことができる。
【００１９】
請求項８に記載の撮像装置によれば、第１の撮像時における第１露光時間と第２の撮像時における第２露光時間を、ＣＭＯＳセンサのダイナミックレンジと転送フレームレートにより設定することができるので、より転送フレームレートの早いＣＭＯＳセンサの場合にはこの時間（第１、第２露光時間）をより短く設定することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態１〉
図１（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ」という）を示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。
【００２１】
（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。
【００２２】
デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。
【００２３】
（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１は、鏡胴ユニット６の撮影レンズ系５を通して入射される被写体画像が受光面上に結像する撮像素子としてのＣＭＯＳセンサ２０、ＣＭＯＳセンサ２０から出力される電気信号（デジタルＲＧＢ画像データ）を処理する信号処理部２１、画像データを一時的に格納するＳＤＲＡＭ２２、後述するダイナミックレンジ拡大モード時におけるＣＭＯＳセンサ２０の受光部３０に対する複数の露光時間、制御プログラム等が記憶されたＲＯＭ２３、鏡胴ユニット６を駆動するモータドライバ２４等を有している。
【００２４】
鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、メカシャッタユニット２５を備えており、撮影レンズ系５、メカシャッタユニット２５の各駆動ユニットは、モータドライバ２４によって駆動される。モータドライバ２４は、信号処理部２１の制御部（ＣＰＵ）２６からの駆動信号により駆動制御される。
【００２５】
ＣＭＯＳセンサ２０は、入射する可視光をその光量に応じた電荷量に光電変換する光電変換素子を含む単位画素（以下、「画素」という）が行列状に２次元配置されている受光部３０と、増幅部（ＡＭＰ）３１と、Ａ／Ｄ変換部３２と、受光部３０の各画素を駆動するＴＧ（タイミング信号発生部）３３などを備えている。このＣＭＯＳセンサ２０（受光部３０）は、図３に示すように、信号を出力した画素はその時点から電荷の蓄積を開始するので、画素行毎に電荷の蓄積の開始タイミングがずれる、いわゆるローリングシャッタと称される蓄積制御方式であり、このローリングシャッタ機能を利用して後述するように複数の異なる露光時間で順次撮像を行う。
【００２６】
ＣＭＯＳセンサ２０の受光部３０を構成する複数の画素上には色分解フィルタとしてのＲＧＢ原色フィルタ（不図示）が配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像データ）は、増幅部３１で増幅されてＡ／Ｄ変換部３２によりデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換される。
【００２７】
信号処理部２１は、ＣＭＯＳセンサ２０のＡ／Ｄ変換部３２から出力されるＲＡＷ−ＲＧＢデータを取り込むカメラインターフェース（以下、「カメラＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、前記ＲＡＷ−ＲＧＢデータに基づいて撮像時の露光が適正か否かを判定する露光判定部３６と、前記ＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換し、更にホワイトバランス等を調整する画像データ処理部３７と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３８と、画像データの表示出力を制御する表示出力制御部３９と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部４０と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４１と、操作部４２からの操作入力情報に基づき、ＲＯＭ２３に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う前記制御部（ＣＰＵ）２６を備えている。
【００２８】
また、制御部２６は、ＣＭＯＳセンサ２０のＴＧ３３へ水平同期信号（ＨＤ）と垂直同期信号（ＶＤ）を出力して、これらの同期信号に合わせて、ＣＭＯＳセンサ２０の受光部３０を構成する複数の画素を駆動する。
【００２９】
操作部４３は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２６に入力される。
【００３０】
ＳＤＲＡＭ２２には、前記ＲＡＷ−ＲＧＢデータ、データ圧縮部４０で圧縮処理されたＪＰＥＧ形成などの画像データ等が保存される。
【００３１】
（実施形態１における静止画撮影動作）
撮影者がメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作することにより、液晶モニタ（ＬＣＤ）９に撮影設定画面（不図示）が表示され、この表示画面から「静止画撮影モード」の項目を選択することにより、制御部２６の制御によって静止画撮影モードに切り替えられる。この際、モニタリング動作によって液晶モニタ９に撮影画像（動画）が表示されており、撮影者は液晶モニタ９に表示された撮影画像を視認しながら撮影を行うことができる。なお、このモニタリング動作には、ＡＥ（自動露出）処理とＡＷＢ（オートホワイトバランス）処理が連続的に行われている。
【００３２】
そして、モニタリング動作時に撮影者が撮影レンズ系５を被写体側に向けてレリーズボタン２を押圧（半押し（以下、「レリーズ１」という）から全押し（以下、「レリーズ２」という））して静止画撮影を開始することにより、制御部２６からＴＧ３３に制御信号が出力され、ＲＯＭ２３から読み出した予め設定されている複数の露光時間に基づいてＣＭＯＳセンサ２０（受光部３０）が駆動される。なお、レリーズボタン２のレリーズ１からレリーズ２により、ＣＭＯＳセンサ２０からカメラＩ／Ｆ３４にＲＡＷ−ＲＧＢデータが出力され、制御部２６は、このＲＡＷ−ＲＧＢデータから算出したＡＦ（自動合焦）評価値に基づいて、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ（自動合焦）動作を実行し、モータドライバ２４への駆動指令により撮影レンズ系５のフォーカスレンズを移動させ、合焦させる。
【００３３】
本実施形態における前記複数の露光時間は、例えば図４に示すように、ＣＭＯＳセンサ２０（受光部３０）のローリングシャッタ機能による４回の露光（第１露光ａ１、第２露光ａ２、第３露光ａ３、第４露光ａ４）時間が設定されており、この４回の露光（第１露光ａ１、第２露光ａ２、第３露光ａ３、第４露光ａ４）時間に対応して最大４回の撮像（第１撮像、第２撮像、第３撮像、第４撮像）を、連続的に行うことができる。本実施形態では、第１露光ａ１の時間は１／９６０（＝１／（６０×１６））秒、第２露光ａ２の時間は１／６０秒、第３露光ａ３の時間は１／３０（＝２／６０）秒、第４露光ａ４の時間は４／１５（＝１６／６０）秒に予め設定されている。即ち、第１露光ａ１の時間が一番短く、順に露光時間が長くなるように設定されている。
【００３４】
第２撮像における第２露光ａ２の時間は、ＣＭＯＳセンサ２０の転送フレームレートから算出した基準時間に設定する。本実施形態では、転送フレームレートが６０ｆｐｓとしているので、第２露光ａ２の時間が１／６０秒に設定されている。
【００３５】
また、第１撮像における第１露光ａ１と第２撮像における第２露光ａ２は、ＣＭＯＳセンサ２０（受光部３０）のローリングシャッタ機能によって連続した露光となり、この第１撮像と第２撮像間のタイムラグは、ほとんど無視できる程度に小さいもとなる。第１撮像における第１露光ａ１の時間と第２撮像における第２露光ａ２の時間は、前記したようにＣＭＯＳセンサ２０のダイナミックレンジと転送フレームレートにより算出することができる。
【００３６】
次に、本実施形態における静止画撮影動作を、図５に示したフローチャートを参照して説明する。
【００３７】
本実施形態では、レリーズボタン２のレリーズ１からレリーズ２による撮影開始によって、最初にＣＭＯＳセンサ２０（受光部３０）のローリングシャッタ機能により前記第１撮像による第１露光ａ１と、前記第２撮像による第２露光ａ２を連続的に行う（ステップＳ１、ステップＳ２）。
【００３８】
そして、第１撮像によってＣＭＯＳセンサ２０から信号処理部２１のカメラＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータ（以下、「第１露光画像データ」という）に対して、露光判定部３６により第１の適正露光判定処理を行い、十分露光（十分な露光量）であるか否かを判定処理する（ステップＳ３）。
【００３９】
ここで、ステップＳ３の露光判定部３６による第１の適正露光判定処理を、図６に示したフローチャートを参照して説明する。
【００４０】
最初に、第１露光から前記第１露光画像データを取込み（ステップＳ２１）、この第１露光画像データから輝度ヒストグラムを生成する（ステップＳ２２）。そして、ステップＳ２２で生成された輝度ヒストグラムに基づいて、全画素数に対する低輝度側の黒く潰れている画素数の割合を判定する（ステップＳ２３）。なお、ステップＳ２３における低輝度側の黒く潰れている画素とは、露光時間不足で画像の低輝度側が黒く潰れている画素の場合か、もしくは画像の低輝度側が暗黒状態で黒く潰れている画素の場合である。
【００４１】
そして、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満であると判定した場合は（ステップＳ２４；ＹＥＳ）、第１露光が十分な露光量と判定する（ステップＳ２５）。即ち、露光時間を延ばすことで低輝度側の画像データ情報を取得できる可能性があるが、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満の場合は、全画素数に対して十分に小さい値であり、十分な露光量であると判定する。
【００４２】
一方、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％以上であると判定した場合は（ステップＳ２４；ＮＯ）、全画素数に対する低輝度側の黒く潰れている画素数の割合が、全画素数に対して小さな値ではなく、第１露光が露光不足であると判定する（ステップＳ２６）。
【００４３】
そして、前記したステップＳ３の第１の適正露光判定処理において、第１露光が十分露光（十分な露光量）であると判定した場合には（ステップＳ４；ＹＥＳ）、ステップＳ２で第２撮像によってＣＭＯＳセンサ２０から信号処理部２１のカメラＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータ（以下、「第２露光画像データ」という）に対する以降の処理を停止し（ステップＳ５）、前記第１露光画像データを画像データ処理部３７に出力する（ステップＳ６）。なお、前記第１露光画像データと前記第２露光画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２２に保存される。
【００４４】
画像データ処理部３７は、メモリコントローラ３５を介してＳＤＲＡＭ２２から読み出した前記第１露光画像データをＹＵＶ形式の画像データに変換し、更にホワイトバランスを設定した後、リサイズ処理部３８で記録画素数に対応するサイズに変換し、データ圧縮部４０でＪＰＥＧ形式等の画像データに圧縮する。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。
【００４５】
また、ステップＳ３の第１の適正露光判定処理において、第１露光が十分な露光量ではない（露光不足）と判定した場合には（ステップＳ４；ＮＯ）、前記第２撮像における第２露光ａ２に連続するようにして、第３撮像による第３露光ａ３（図４参照）を行う（ステップＳ７）。第３撮像による第３露光ａ３の時間は、本実施形態では、前記したように第２撮像における第２露光ａ２の時間の２倍（１／３０秒）である。
【００４６】
本実施形態のように、ＣＭＯＳセンサ２０のローリングシャッタ機能を用いる場合においては、第３撮像以降の露光時間は、前記したようにＣＭＯＳセンサ２０の転送フレームレートの倍数で設定することが望ましい。第３撮像以降の露光時間を転送フレームレートの倍数に設定することにより、それぞれの撮像における露光を連続した露光とみなすことができる。
【００４７】
そして、前記第２露光画像データに対して、露光判定部３６により第２の十分露光判定処理を行い、十分露光（十分な露光量）であるか否かを判定処理する（ステップＳ８）。
【００４８】
ここで、ステップＳ８の露光判定部３６による第２の十分露光判定処理を、図７に示したフローチャートを参照して説明する。
【００４９】
最初に、第２露光から前記第２露光画像データを取込み（ステップＳ３１）、この第２露光画像データから輝度ヒストグラムを生成する（ステップＳ３２）。そして、ステップＳ３２で生成された輝度ヒストグラムに基づいて、全画素数に対する低輝度側の黒く潰れている画素数の割合を判定する（ステップＳ３３）。なお、ステップＳ３３における低輝度側の黒く潰れている画素とは、露光時間不足で画像の低輝度側が黒く潰れている画素の場合か、もしくは画像の低輝度側が暗黒状態で黒く潰れている画素の場合である。
【００５０】
そして、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満であると判定した場合は（ステップＳ３４；ＹＥＳ）、第２露光が十分な露光量と判定する（ステップＳ３５）。即ち、露光時間を延ばすことで低輝度側の画像データ情報を取得できる可能性があるが、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満の場合は、全画素数に対して十分に小さい値であり、十分な露光であると判定する。
【００５１】
一方、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％以上であると判定した場合は（ステップＳ３４；ＮＯ）、前記した図６のステップＳ２４における前回の判定時からの低輝度側の黒く潰れている画素数の変化を判定する（ステップＳ３６）。ステップＳ３６で、前回の判定時（図６のステップＳ２４）から低輝度側の黒く潰れている画素数が変化していると判定した場合（例えば、全画素数が１０００万画素とした場合、前回の判定時に低輝度側の黒く潰れている画素数が約１０万画素のときに、今回の判定時に低輝度側の黒く潰れている画素数が約５万画素に減少するように変化した場合）は（ステップＳ３６；ＮＯ）、露光時間を延ばしたことで低輝度側の新たな画像データ情報を取得できる可能性があり、第２露光が露光不足であると判定する（ステップＳ３７）。
【００５２】
また、ステップＳ３６で、前回の判定時（図６のステップＳ２４）から低輝度側の黒く潰れている画素数が殆ど変化していないと判定した場合（ステップＳ３６；ＹＥＳ）、露光時間を延ばしたにもかかわらず、低輝度側の黒く潰れている画素数が殆ど変化していないのは、画像の低輝度側が既に暗黒である可能性が高いと推測し、第２露光が十分な露光量と判定する（ステップＳ３５）。
【００５３】
そして、前記したステップＳ８の第２の十分露光判定処理において、第２露光が十分露光（十分な露光量）であると判定した場合には（ステップＳ９；ＹＥＳ）、ステップＳ７で第３撮像によってＣＭＯＳセンサ２０から信号処理部２１のカメラＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータ（以下、「第３露光画像データ」という）に対する以降の処理を停止し（ステップＳ１０）、前記第２露光画像データを画像データ処理部３７に出力する（ステップＳ１１）。なお、前記第３露光画像データと前記第２露光画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２２に保存される。
【００５４】
画像データ処理部３７は、メモリコントローラ３５を介してＳＤＲＡＭ２２から読み出した前記第２露光画像データをＹＵＶ形式の画像データに変換し、更にホワイトバランスを設定した後、リサイズ処理部３８で記録画素数に対応するサイズに変換し、データ圧縮部４０でＪＰＥＧ形式等の画像データに圧縮する。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。
【００５５】
また、ステップＳ８の第２の十分露光判定処理において、第２露光が十分な露光量ではない（露光不足）と判定した場合には（ステップＳ９；ＮＯ）、前記第３撮像における第３露光ａ３に連続するようにして、第４撮像による第４露光ａ４（図４参照）を行う（ステップＳ１２）。第４撮像による第４露光ａ４の時間は、本実施形態では、前記したように第２撮像における第２露光ａ２の時間の４倍（４／１５（＝１６／６０）秒）である。
【００５６】
そして、前記第３露光画像データに対して、露光判定部３６により第３の十分露光判定処理を行い、十分露光（十分な露光量）であるか否かを判定処理する（ステップＳ１３）。
【００５７】
ここで、ステップＳ１３の露光判定部３６による第３の十分露光判定処理を、図８に示したフローチャートを参照して説明する。
【００５８】
最初に、第３露光から前記第３露光画像データを取込み（ステップＳ４１）、この第３露光画像データから輝度ヒストグラムを生成する（ステップＳ４２）。そして、ステップＳ４２で生成された輝度ヒストグラムに基づいて、全画素数に対する低輝度側の黒く潰れている画素数の割合を判定する（ステップＳ４３）。なお、ステップＳ４３における低輝度側の黒く潰れている画素とは、露光時間不足で画像の低輝度側が黒く潰れている画素の場合か、もしくは画像の低輝度側が暗黒状態で黒く潰れている画素の場合である。
【００５９】
そして、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満であると判定した場合は（ステップＳ４４；ＹＥＳ）、第３露光が十分な露光量と判定する（ステップＳ４５）。即ち、露光時間を延ばすことで低輝度側の画像データ情報を取得できる可能性があるが、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満の場合は、全画素数に対して十分に小さい値であり、十分な露光であると判定する。
【００６０】
一方、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％以上であると判定した場合は（ステップＳ４４；ＮＯ）、前記した図７のステップＳ３４における前回の判定時からの低輝度側の黒く潰れている画素数の変化を判定する（ステップＳ４６）。ステップＳ４６で、前回の判定時（図７のステップＳ３４）から低輝度側の黒く潰れている画素数が変化していると判定した場合（例えば、全画素数が１０００万画素とした場合、前回の判定時に低輝度側の黒く潰れている画素数が約５万画素のときに、今回の判定時に低輝度側の黒く潰れている画素数が約１万画素に減少するように変化した場合）は（ステップＳ４６；ＮＯ）、露光時間を延ばしたことで低輝度側の新たな画像データ情報を取得できる可能性があり、第３露光が露光不足であると判定する（ステップＳ４７）。
【００６１】
また、ステップＳ４６で、前回の判定時（図７のステップＳ３４）から低輝度側の黒く潰れている画素数が殆ど変化していないと判定した場合（ステップＳ４６；ＹＥＳ）、露光時間を延ばしたにもかかわらず、低輝度側の黒く潰れている画素数が殆ど変化していないのは、画像の低輝度側が既に暗黒である可能性が高いと推測し、第３露光が十分な露光量と判定する（ステップＳ４５）。
【００６２】
そして、前記したステップＳ１３の第３の十分露光判定処理において、第３露光が十分露光（十分な露光量）であると判定した場合には（ステップＳ１４；ＹＥＳ）、ステップＳ１２で、第４撮像によってＣＭＯＳセンサ２０から信号処理部２１のカメラＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータ（以下、「第４露光画像データ」という）に対する以降の処理を停止し（ステップＳ１５）、前記第３露光画像データを画像データ処理部３７に出力する（ステップＳ１６）。なお、前記第４露光画像データと前記第３露光画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２２に保存される。
【００６３】
画像データ処理部３７は、メモリコントローラ３５を介してＳＤＲＡＭ２２から読み出した前記第３露光画像データをＹＵＶ形式の画像データに変換し、更にホワイトバランスを設定した後、リサイズ処理部３８で記録画素数に対応するサイズに変換し、データ圧縮部４０でＪＰＥＧ形式等の画像データに圧縮する。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。
【００６４】
また、ステップＳ１３の第３の十分露光判定処理において、第３露光が十分な露光量ではない（露光不足）と判定した場合には（ステップＳ１４；ＮＯ）、ＳＤＲＡＭ２２から読み出した前記第４露光画像データを画像データ処理部３７に出力する（ステップＳ１７）。なお、前記第４露光画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２２に保存される。
【００６５】
画像データ処理部３７は、メモリコントローラ３５を介してＳＤＲＡＭ２２から読み出した前記第４露光画像データをＹＵＶ形式の画像データに変換し、更にホワイトバランスを設定した後、リサイズ処理部３８で記録画素数に対応するサイズに変換し、データ圧縮部４０でＪＰＥＧ形式等の画像データに圧縮する。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。
【００６６】
なお、前記ステップＳ１７では、第３露光が十分な露光量ではない（露光不足）と判定した場合には第４露光画像データを画像データ処理部３７に出力するようにしたが、第３露光が十分な露光量ではない（露光不足）と判定した場合に（ステップＳ１４；ＮＯ）、第４露光画像データを出力することなく、第３露光が露光不足（即ち、露光ＮＧ）として処理し（ステップＳ１７）、画像データを出力（記録）しないようにする処理としてもよい。
【００６７】
このように、実施形態１の撮像装置では、モニタリング動作中にレリーズボタン２のレリーズ１からレリーズ２による撮影開始動作と同時に前記した複数回露光による撮像動作が実行されることにより、従来のように、レリーズボタン２のレリーズ１からレリーズ２による撮影開始時に先ず被写体の輝度を測定する露光前処理を行う必要がなくなる。
【００６８】
即ち、図９（ａ）に示す従来の場合では、レリーズボタンのレリーズ１からレリーズ２による撮影開始時に先ず露光前処理する構成であり、ＡＥ（自動露出）処理が連続して行われているモニタリング動作中に、時刻ｔ１でレリーズボタンのレリーズ１によりＡＥ（自動露出）制御がロックされ、ＡＦ（自動合焦）処理が行われる。そして、時刻ｔ２でレリーズボタンのレリーズ２により先ず被写体の輝度を測定する露光前処理が行われた後に、この露光前処理により決定された時間で露光が行われる。なお、この露光前処理に要する時間は、例えば約３３ｍｓｅｃ程度である。
【００６９】
これに対し、図９（ｂ）に示す前記実施形態１の場合では、ＡＥ（自動露出）処理が連続して行われているモニタリング動作中に、時刻ｔ１でレリーズボタンのレリーズ１によりＡＥ（自動露出）制御がロックされ、ＡＦ（自動合焦）処理が行われる。そして、時刻ｔ２でレリーズボタンのレリーズ２により撮影開始され、前記従来のように露光前処理を行うことなく前記図５のフローチャートに示した処理に基づいて順次第１露光、第２露光、第３露光…を行う。
【００７０】
このように、本実施形態によれば、通常撮影モードでの静止画撮影に際して、従来のように撮影開始時に先ず被写体の輝度を測定する露光前処理を行うことが不要となり、シャッタタイムラグが殆ど生じることがないので、撮影者の意図した撮影タイミングで撮像を行うことが可能となる。
【００７１】
また、本実施形態では、ＣＭＯＳセンサ２０のローリングシャッタ機能を用いているので、露光量の異なる各撮像間のタイムラグを略０とすることが可能となり、より撮像時間を短縮することができる。
【００７２】
なお、図９（ａ）に示した従来の場合は、レリーズボタンのレリーズ２による撮影開始時に露光前処理を行う構成であったが、レリーズボタンのレリーズ１で前記露光前処理を行うような従来の場合においても、この露光前処理を終えるまではレリーズボタンのレリーズ２による撮影開始が実行されないので、撮影者の意図した撮影タイミングでシャッタタイムラグのない撮像を行えないことがある。
【００７３】
〈実施形態２〉
図１０は、本実施形態におけるデジタルカメラ内のシステム構成の概要を示すブロック図である。図１０に示すように、本実施形態では、図２に示した実施形態１のシステム構成に、露光時間の異なる複数の露光によって得られた画像データを累積加算して合成する画像データ合成部４３をさらに備えている。なお、他の構成は図１〜図４に示した実施形態１と同様であり、重複する説明は省略する。
【００７４】
（実施形態２における静止画撮影動作）
実施形態１と同様に、撮影者がメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作することにより、液晶モニタ（ＬＣＤ）９に撮影設定画面（不図示）が表示され、この表示画面から「静止画撮影モード」の項目を選択することにより、制御部２６の制御によって静止画撮影モードに切り替えられる。この際、モニタリング動作によって液晶モニタ９に撮影画像（動画）が表示されており、撮影者は液晶モニタ９に表示された撮影画像を視認しながら撮影を行うことができる。なお、このモニタリング動作には、ＡＥ（自動露出）処理とＡＷＢ（オートホワイトバランス）処理が連続的に行われている。
【００７５】
本実施形態においても、実施形態１と同様に前記複数の露光時間は、例えば図４に示すように、ＣＭＯＳセンサ２０（受光部３０）のローリングシャッタ機能による４回の露光（第１露光ａ１、第２露光ａ２、第３露光ａ３、第４露光ａ４）時間が設定されており、この４回の露光（第１露光ａ１、第２露光ａ２、第３露光ａ３、第４露光ａ４）時間に対応して最大４回の撮像（第１撮像、第２撮像、第３撮像、第４撮像）を、連続的に行うことができる。本実施形態では、第１露光ａ１の時間は１／９６０（＝１／（６０×１６））秒、第２露光ａ２の時間は１／６０秒、第３露光ａ３の時間は１／３０（＝２／６０）秒、第４露光ａ４の時間は４／１５（＝１６／６０）秒に予め設定されている。即ち、第１露光ａ１の時間が一番短く、順に露光時間が長くなるように設定されている。
【００７６】
第２撮像における第２露光ａ２の時間は、ＣＭＯＳセンサ２０の転送フレームレートから算出した基準時間に設定する。本実施形態では、転送フレームレートが６０ｆｐｓとしているので、第２露光ａ２の時間が１／６０秒に設定されている。
【００７７】
また、本実施形態のＣＭＯＳセンサ２０のダイナミックレンジが、例えば６ＥＶの場合には、長短露光時間の時間差が２の６乗（＝６４倍）まで許容できることになる。合成する画像の明るさの連続性を確保するために、各画像のダイナミックレンジの重なり部分として重複部分を設けている。本実施形態では、２ＥＶを重複部分として、４ＥＶ（２の４乗（＝１６倍））の露光時間差としている。従って、第１撮像における第１露光ａ１の時間は、前記のように１／９６０秒（第２撮像における第２露光ａ２の時間の１／１６）に設定される。また、第１撮像における第１露光ａ１と第２撮像における第２露光ａ２は、ＣＭＯＳセンサ２０（受光部３０）のローリングシャッタ機能によって連続した露光となり、この第１撮像と第２撮像間のタイムラグは、ほとんど無視できる程度に小さいもとなる。
【００７８】
第１撮像における第１露光ａ１の時間と第２撮像における第２露光ａ２の時間は、前記したようにＣＭＯＳセンサ２０のダイナミックレンジと転送フレームレートにより算出することができる。よって、より転送フレームレートの早いＣＭＯＳセンサの場合にはこの時間をより短く設定することができる。
【００７９】
次に、本実施形態における静止画撮影動作を、図１１に示すフローチャートを参照して説明する。
【００８０】
本実施形態では、レリーズボタン２のレリーズ１からレリーズ２による撮影開始によって、最初にＣＭＯＳセンサ２０（受光部３０）のローリングシャッタ機能により前記第１撮像による第１露光ａ１と、前記第２撮像による第２露光ａ２を連続的に行う（ステップＳ５１、ステップＳ５２）。
【００８１】
そして、第１撮像によってＣＭＯＳセンサ２０から信号処理部２１のカメラＩ／Ｆ３４に取り込まれた第１露光画像データに対して、露光判定部３６により第１の適正露光判定処理を行い、十分露光（十分な露光量）であるか否かを判定処理する（ステップＳ５３）。なお、ステップＳ５３の露光判定部３６による第１の適正露光判定処理は、実施形態１における図６に示したフローチャートと同様である。
【００８２】
そして、前記ステップＳ５３の第１の適正露光判定処理において、第１露光が十分露光（十分な露光量）であると判定した場合には（ステップＳ５４；ＹＥＳ）、ステップＳ５２で第２撮像によってＣＭＯＳセンサ２０から信号処理部２１のカメラＩ／Ｆ３４に取り込まれた第２露光画像データに対する以降の処理を停止し（ステップＳ５５）、前記第１露光画像データを画像データ処理部３７に出力する（ステップＳ５６）。なお、前記第１露光画像データと前記第２露光画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２２に保存される。
【００８３】
画像データ処理部３７は、メモリコントローラ３５を介してＳＤＲＡＭ２２から読み出した前記第１露光画像データをＹＵＶ形式の画像データに変換し、更にホワイトバランスを設定した後、リサイズ処理部３８で記録画素数に対応するサイズに変換し、データ圧縮部４０でＪＰＥＧ形式等の画像データに圧縮する。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。
【００８４】
また、ステップＳ５３の第１の適正露光判定処理において、第１露光が十分な露光量ではない（露光不足）と判定した場合には（ステップＳ５４；ＮＯ）、前記第２撮像における第２露光ａ２に連続するようにして、第３撮像による第３露光ａ３（図４参照）を行う（ステップＳ５７）。第３撮像による第３露光ａ３の時間は、本実施形態では、前記したように第２撮像における第２露光ａ２の時間の２倍（１／３０秒）である。
【００８５】
実施形態１で述べたように、第３撮像以降の露光時間を転送フレームレートの倍数に設定することにより、それぞれの撮像における露光を連続した露光とみなすことができる。これにより、後述する画像データ合成部４３で画像データを累積加算して合成する際において、最終出力画像における被写体ぶれ発生時のエッジ部分が二重になってしまうことを防止することができる。
【００８６】
そして、メモリコントローラ３５を介してＳＤＲＡＭ２３から読み出した前記第１露光画像データと前記第２露光画像データを画像データ合成部４３で累積加算して合成し、第１合成露光画像データを生成する（ステップＳ５８）。そして、前記第２露光画像データに対して、露光判定部３６により第２の十分露光判定処理を行い、十分露光（十分な露光量）であるか否かを判定処理する（ステップＳ５９）。
【００８７】
ここで、ステップＳ５９の露光判定部３６による第２の十分露光判定処理を、図１２に示したフローチャートを参照して説明する。
【００８８】
最初に、図１１のステップＳ５８で生成された第１合成露光画像データを取込み（ステップＳ７１）、この第１合成露光画像データから輝度ヒストグラムを生成する（ステップＳ７２）。そして、ステップＳ７２で生成された輝度ヒストグラムに基づいて、全画素数に対する低輝度側の黒く潰れている画素数の割合を判定する（ステップＳ７３）。なお、ステップＳ７３における低輝度側の黒く潰れている画素とは、露光時間不足で画像の低輝度側が黒く潰れている画素の場合か、もしくは画像の低輝度側が暗黒状態で黒く潰れている画素の場合である。
【００８９】
そして、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満であると判定した場合は（ステップＳ７４；ＹＥＳ）、第１合成露光が十分な露光量と判定する（ステップＳ７５）。即ち、露光時間を延ばすことで低輝度側の画像データ情報を取得できる可能性があるが、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満の場合は、全画素数に対して十分に小さい値であり、十分な露光量であると判定する。
【００９０】
一方、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％以上であると判定した場合は（ステップＳ７４；ＮＯ）、前記した図６のステップＳ２４における前回の判定時からの低輝度側の黒く潰れている画素数の変化を判定する（ステップＳ７６）。ステップＳ７６で、前回の判定時（図６のステップＳ２４）から低輝度側の黒く潰れている画素数が変化していると判定した場合（例えば、全画素数が１０００万画素とした場合、前回の判定時に低輝度側の黒く潰れている画素数が約１０万画素のときに、今回の判定時に低輝度側の黒く潰れている画素数が約５万画素に減少するように変化した場合）は（ステップＳ７６；ＮＯ）、露光時間を延ばしたことで低輝度側の新たな画像データ情報を取得できる可能性があり、第１合成露光が露光不足であると判定する（ステップＳ７７）。
【００９１】
また、ステップＳ７６で、前回の判定時（図６のステップＳ２４）から低輝度側の黒く潰れている画素数が殆ど変化していないと判定した場合（ステップＳ７６；ＹＥＳ）、露光時間を延ばしたにもかかわらず、低輝度側の黒く潰れている画素数が殆ど変化していないのは、画像の低輝度側が既に暗黒である可能性が高いと推測し、第１合成露光が十分な露光量と判定する（ステップＳ７５）。
【００９２】
そして、前記ステップＳ５９の判定処理において、第１合成露光が十分露光（十分な露光量）であると判定した場合には（ステップＳ６０；ＹＥＳ）、ステップＳ５７で第３撮像によってＣＭＯＳセンサ２０から信号処理部２１のカメラＩ／Ｆ３４に取り込まれた第３露光画像データに対する以降の処理を停止し（ステップＳ６１）、前記第１合成露光画像データを画像データ処理部３７に出力する（ステップＳ６２）。なお、前記第３露光画像データと前記第１合成露光画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２２に保存される。
【００９３】
画像データ処理部３７は、メモリコントローラ３５を介してＳＤＲＡＭ２２から読み出した前記第１合成露光画像データをＹＵＶ形式の画像データに変換し、更にホワイトバランスを設定した後、リサイズ処理部３８で記録画素数に対応するサイズに変換し、データ圧縮部４０でＪＰＥＧ形式等の画像データに圧縮する。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。
【００９４】
また、ステップＳ５９の第２の十分露光判定処理において、第１合成露光が十分な露光量ではない（露光不足）と判定した場合には（ステップＳ６０；ＮＯ）、前記第３撮像における第３露光ａ３に連続するようにして、第４撮像による第４露光ａ４（図４参照）を行う（ステップＳ６３）。第４撮像による第４露光ａ４の時間は、本実施形態では、前記したように第２撮像における第２露光ａ２の時間の４倍（４／１５（＝１６／６０）秒）である。
【００９５】
そして、メモリコントローラ３５を介してＳＤＲＡＭ２３から読み出した前記第３露光画像データと前記第１合成露光画像データを画像データ合成部４３で累積加算して合成し、第２合成露光画像データを生成する（ステップＳ６４）。そして、前記第２合成露光画像データに対して、露光判定部３６により第３の十分露光判定処理を行い、十分露光（十分な露光量）であるか否かを判定処理する（ステップＳ６５）。
【００９６】
ここで、ステップＳ６５の露光判定部３６による第３の十分露光判定処理を、図１３に示したフローチャートを参照して説明する。
【００９７】
最初に、図１１のステップＳ６４で生成された第２合成露光画像データを取込み（ステップＳ８１）、この第２合成露光画像データから輝度ヒストグラムを生成する（ステップＳ８２）。そして、ステップＳ８２で生成された輝度ヒストグラムに基づいて、全画素数に対する低輝度側の黒く潰れている画素数の割合を判定する（ステップＳ８３）。なお、ステップＳ８３における低輝度側の黒く潰れている画素とは、露光時間不足で画像の低輝度側が黒く潰れている画素の場合か、もしくは画像の低輝度側が暗黒状態で黒く潰れている画素の場合である。
【００９８】
そして、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満であると判定した場合は（ステップＳ８４；ＹＥＳ）、第２合成露光が十分な露光量と判定する（ステップＳ８５）。即ち、露光時間を延ばすことで低輝度側の画像データ情報を取得できる可能性があるが、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％未満の場合は、全画素数に対して十分に小さい値であり、十分な露光であると判定する。
【００９９】
一方、全画素数に対する低輝度側の黒く潰れている画素数の割合が、例えば０．１％以上であると判定した場合は（ステップＳ８４；ＮＯ）、前記した図１２のステップＳ７４における前回の判定時からの低輝度側の黒く潰れている画素数の変化を判定する（ステップＳ８６）。ステップＳ８６で、前回の判定時（図１２のステップＳ７４）から低輝度側の黒く潰れている画素数が大きく変化していると判定した場合（例えば、全画素数が１０００万画素とした場合、前回の判定時に低輝度側の黒く潰れている画素数が約５万画素のときに、今回の判定時に低輝度側の黒く潰れている画素数が約１万画素に減少するように変化した場合）は（ステップＳ８６；ＮＯ）、露光時間を延ばしたことで低輝度側の新たな画像データ情報を取得できる可能性があり、第２合成露光が露光不足であると判定する（ステップＳ８７）。
【０１００】
また、ステップＳ８６で、前回の判定時（図１２のステップＳ７４）から低輝度側の黒く潰れている画素数の変化が小さく殆ど変化していないと判定した場合（ステップＳ８６；ＹＥＳ）、露光時間を延ばしたにもかかわらず、低輝度側の黒く潰れている画素数が殆ど変化していないのは、画像の低輝度側が既に暗黒である可能性が高いと推測し、第２合成露光が十分な露光量と判定する（ステップＳ８５）。
【０１０１】
そして、前記したステップＳ６５の判定処理において、第２合成露光が十分露光（十分な露光量）であると判定した場合には（ステップＳ６６；ＹＥＳ）、ステップＳ６３で、第４撮像によってＣＭＯＳセンサ２０から信号処理部２１のカメラＩ／Ｆ３４に取り込まれた第４露光画像データに対する以降の処理を停止し（ステップＳ６７）、前記第２合成露光画像データを画像データ処理部３８に出力する（ステップＳ６８）。なお、前記第４露光画像データと前記第２合成露光画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２２に保存される。
【０１０２】
画像データ処理部３７は、メモリコントローラ３５を介してＳＤＲＡＭ２２から読み出した前記第２合成露光画像データをＹＵＶ形式の画像データに変換し、更にホワイトバランスを設定した後、リサイズ処理部３８で記録画素数に対応するサイズに変換し、データ圧縮部４０でＪＰＥＧ形式等の画像データに圧縮する。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。
【０１０３】
また、ステップＳ６５の第３の十分露光判定処理において、第２合成露光が十分な露光量ではない（露光不足）と判定した場合には（ステップＳ６６；ＮＯ）、ＳＤＲＡＭ２２から読み出した前記第４露光画像データと前記第２合成露光画像データを、画像データ合成部４３で累積加算して合成し、生成された第３合成画像データを画像データ処理部３７に出力する（ステップＳ６９、Ｓ７０）。なお、前記第３合成画像データは、メモリコントローラ３５を介してＳＤＲＡＭ２２に保存される。
【０１０４】
画像データ処理部３７は、メモリコントローラ３５を介してＳＤＲＡＭ２２から読み出した前記第３合成画像データをＹＵＶ形式の画像データに変換し、更にホワイトバランスを設定した後、リサイズ処理部３８で記録画素数に対応するサイズに変換し、データ圧縮部４０でＪＰＥＧ形式等の画像データに圧縮する。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４１を介してメモリカード１４に記録される。
【０１０５】
なお、前記ステップＳ７０では、第２合成露光が十分な露光量ではない（露光不足）と判定した場合には第３合成画像データを画像データ処理部３７に出力するようにしたが、第２合成露光が十分な露光量ではない（露光不足）と判定した場合に（ステップＳ６６；ＮＯ）、第３合成画像データを出力することなく、第２合成露光が露光不足（即ち、露光ＮＧ）として処理し（ステップＳ７０）、画像データを出力（記録）しないようにする処理としてもよい。
【０１０６】
このように、実施形態２の撮像装置においても実施形態１と同様に、モニタリング動作中にレリーズボタン２のレリーズ１からレリーズ２による撮影開始動作と同時に前記した複数回露光による撮像動作が実行されることにより、従来のように、レリーズボタン２のレリーズ１からレリーズ２による撮影開始時に先ず被写体の輝度を測定する露光前処理が不要となることによってシャッタタイムラグが殆どなくなり、撮影者の意図した撮影タイミングで撮像を行うことが可能となる。
【０１０７】
また、実施形態２においても、ＣＭＯＳセンサ２０のローリングシャッタ機能を用いているので、露光量の異なる各撮像間のタイムラグを略０とすることが可能となり、より撮像時間を短縮することができる。
【０１０８】
また、一般的な１回露光での静止画撮影時における測光処理の時間は、前記実施形態２における第１撮像〜第３撮像間の合計時間と略同等の時間を必要とする。即ち、通常の測光処理においても、予め決められた露光量である露光時間で測光を行う。この際の測光時間は、前記第２撮像の時間（１／６０秒）と略同等であり、前記したＣＭＯＳセンサ２０の転送フレームレートに依存している。最終画像データとしては利用しないがＣＭＯＳセンサ２０からの画像データの取得は行っており、取得した画像データから得られた評価結果をフィードバックすることで、適正露出を算出する。
【０１０９】
このように、前記実施形態２における第１撮像の露光時間は、第２撮像の露光時間と比較して十分に短く、また、一般的な１回露光での静止画撮影時における測光処理においても複数回の測光処理を実施することを考慮すると、前記実施形態２における第１撮像〜第３撮像間の合計時間は、一般的な１回露光での静止画撮影時における測光時間と略同等とみなすことができる。
【０１１０】
なお、前記実施形態１、２においては、前記した複数の露光回数として４回の露光（４回の撮像）を設定したが、設定される露光回数（撮像回数）は４回に限らず、例えば２回、３回、または５回以上でもよい。また、露光回数（撮像回数）の回数（２回以上）を予め設定して、露光回数（撮像回数）が設定回数に達すると露光（撮像）を終了する構成でもよく、更に、撮影開始から露光終了時間までを予め設定し、この設定時間内で複数の露光（撮像）を行うようにする構成でもよい。
【０１１１】
なお、前記実施形態２では、第１撮像による露光時間が最も短く以降の撮像毎に長くなるように設定されていたが、このような設定に限らず、例えば、第１撮像の露光時間のまま繰り返し撮像するように設定してもよいし、第１撮像の露光時間と第２撮像の露光時間とを同じ時間でかつ最も短い時間（例えば、前記した第１露光ａ１の時間である１／９６０（＝１／（６０×１６））秒）に設定し、以降の撮像毎に長くなるように設定してもよい。
【０１１２】
また、同一被写体に対して露光量を異ならせて複数回連続撮像して、得られた複数の画像データを合成処理することで画像のダイナミックレンジを拡大する技術が従来より知られているが、このような画像のダイナミックレンジ拡大処理においても、前記した本願発明（実施形態１、２）の技術を適用することが可能である。
【０１１３】
即ち、前記実施形態１、２において、十分露光判定処理で最終的に得られた最終露光画像データに対して、例えば、第１撮像の第１露光画像データや第２撮像の第２露光画像データなどの選択した任意の露光画像データを合成処理することで、ダイナミックレンジが拡大された画像を得ることができる。
【０１１４】
また、このように本願発明の技術を画像のダイナミックレンジ拡大処理に適用した場合には、前記したように露光前処理が不要となることによってシャッタタイムラグが殆どなくなり、撮影開始から露光終了までの時間を短縮することができる。
【０１１５】
なお、上記した例は本願発明の技術を画像のダイナミックレンジ拡大処理に適用した場合であったが、これ以外にも、本願発明のように撮影開始時に露光前処理を不要にしてシャッタタイムラグを殆どなくすことができる点を他の技術と組み合わせることも考えられる。
【図面の簡単な説明】
【０１１６】
【図１】（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラを示す正面図、（ｂ）は、その上面図、（ｃ）は、その背面図。
【図２】本発明の実施形態１に係る撮像装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。
【図３】ＣＭＯＳセンサのローリングシャッタ機能を説明するための図。
【図４】ＣＭＯＳセンサのローリングシャッタ機能を利用した第１撮像〜第４撮像における露光時間のタイミングチャート。
【図５】本発明の実施形態１における露光処理を示すフローチャート。
【図６】本発明の実施形態１における第１の十分露光判定処理を示すフローチャート。
【図７】本発明の実施形態１における第２の十分露光判定処理を示すフローチャート。
【図８】本発明の実施形態１における第３の十分露光判定処理を示すフローチャート。
【図９】（ａ）は、従来の露光前処理を行う通常撮影時におけるタイミングチャート、（ｂ）は、本発明の実施形態１の露光処理を行った場合の通常撮影時におけるタイミングチャート。
【図１０】本発明の実施形態２に係る撮像装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。
【図１１】本発明の実施形態２における露光処理を示すフローチャート。
【図１２】本発明の実施形態２における第２の十分露光判定処理を示すフローチャート。
【図１３】本発明の実施形態２における第３の十分露光判定処理を示すフローチャート。
【符号の説明】
【０１１７】
１        デジタルカメラ（撮像装置）
５        撮影レンズ系
６        鏡胴ユニット
９        液晶モニタ
１２      メニューボタン
２０      ＣＭＯＳセンサ（撮像手段）
２１      信号処理部
２２      ＳＤＲＡＭ
２４      ＲＯＭ
２６      制御部（制御手段）
３０      受光部
３３      ＴＧ（制御手段）
３４      カメラインターフェース
３５      メモリコントローラ
３６      露光判定部（露光評価手段）
３７      画像データ処理部
４３      画像データ合成部（画像データ合成手段）
【図１】
2010130088.tif 000003
【図２】
2010130088.tif 000004
【図３】
2010130088.tif 000005
【図４】
2010130088.tif 000006
【図５】
2010130088.tif 000007
【図６】
2010130088.tif 000008
【図７】
2010130088.tif 000009
【図８】
2010130088.tif 000010
【図９】
2010130088.tif 000011
【図１０】
2010130088.tif 000012
【図１１】
2010130088.tif 000013
【図１２】
2010130088.tif 000014
【図１３】
2010130088.tif 000015