(57)【要約】【課題】撮影中に大きな輝度変化があった場合でも、ＨＤＲ処理に適した画像を取得することができるようにして、白飛びや黒潰れを軽減した高画質な画像を表示または出力することができる画像処理技術を提供する。【解決手段】画像処理装置は、撮像素子１４に対する複数の異なる露光時間の合計を算出する算出手段と、算出手段で算出された複数の異なる露光時間を合計した全露光時間を複数のグループ０〜２に分割する分割手段と、分割手段で分割された複数のグループ０〜２に対してグループ０〜２ごとに複数の異なる露光時間に対応する複数の異なる分割露光時間を算出し、算出した複数の異なる分割露光時間でグループ０〜２ごとに撮像素子１４に対して順次露光を行う露光手段と、グループ０〜２ごとに複数の異なる分割露光時間で露光された撮像素子１４から複数の画像を取得し、取得した複数の画像を合成して一つの画像を生成する生成手段と、を備える。【選択図】図６
2017184125.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子に対する複数の異なる露光時間の合計を算出する算出手段と、
前記算出手段で算出された前記複数の異なる露光時間を合計した時間を複数のグループに分割する分割手段と、
前記分割手段で分割された前記複数のグループに対してグループごとに前記複数の異なる露光時間に対応する複数の異なる分割露光時間を算出し、前記算出した前記複数の異なる分割露光時間で前記グループごとに前記撮像素子に対して順次露光を行う露光手段と、
前記グループごとに前記複数の異なる分割露光時間で露光された前記撮像素子から複数の画像を取得し、前記取得した複数の画像を合成して一つの画像を生成する生成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記撮像素子から出力される現在のグループの露光出力値と一つ前のグループの露光出力値との変化量があらかじめ定めた値を超えているか否かを判断する判断手段と、
前記判断手段により前記変化量があらかじめ定めた値を超えていると判断された場合に、その後の露光時間を変更する変更手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変更手段は、前記現在のグループの露光出力値が前記一つ前のグループの露光出力値より小さい場合に、その後の露光時間を延長するように変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記変更手段は、前記現在のグループの露光出力値が前記一つ前のグループの露光出力値より大きい場合に、その後の露光時間を短縮するように変更することを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記撮像素子から出力される現在のグループの露光出力値と一つ前のグループの露光出力値との変化量があらかじめ定めた値を超えているか否かを判断する判断手段と、
前記判断手段により前記変化量があらかじめ定めた値を超えていると判断された場合に、前記一つ前のグループの露光出力値を削除してその後の露光時間を延長する延長手段と、を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
撮像素子に対する複数の異なる露光時間の合計を算出する算出ステップと、
前記算出ステップで算出された前記複数の異なる露光時間を合計した時間を複数のグループに分割する分割ステップと、
前記分割ステップで分割された前記複数のグループに対してグループごとに前記複数の異なる露光時間に対応する複数の異なる分割露光時間を算出し、前記算出した前記複数の異なる分割露光時間で前記グループごとに前記撮像素子に対して順次露光を行う露光ステップと、
前記グループごとに前記複数の異なる分割露光時間で露光された前記撮像素子から複数の画像を取得し、前記取得した複数の画像を合成して一つの画像を生成する生成ステップと、を備えることを特徴とする画像処理装置の制御方法。
【請求項７】
請求項６に記載の画像処理装置の制御方法における各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラ等の撮像装置を含む画像処理装置に関し、特に画像のダイナミックレンジを拡大する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等に用いられるＣＣＤセンサやＣＭＯＳセンサ等の撮像素子のダイナミックレンジは、被写体の持つダイナミックレンジに比べて狭く、高輝度部で白飛びが発生したり、低輝度部で黒つぶれが発生したりすることがある。このため、露光量の異なる複数枚の画像を１枚の画像に合成することで、ダイナミックレンジを拡大させた画像を生成するＨＤＲ（High Dynamic Range Imaging）処理が提案されている。
【０００３】
ＨＤＲ処理は、大きく分けて、ダイナミックレンジ拡大処理と階調圧縮処理とから構成される。ダイナミックレンジ拡大処理は、撮影可能なダイナミックレンジを拡大し、白飛びや黒潰れ等が発生していた輝度レンジの階調情報を記録する処理である。一般的な方法としては、同じコンテンツに対して露出を変えて撮影した画像群（多段露出画像群）を合成してＨＤＲ画像を生成する。一方、階調圧縮処理は、ダイナミックレンジの広いＨＤＲ画像をダイナミックレンジの狭い表示／出力機器で再現するための画像処理であり、ＨＤＲ画像の輝度の低周波成分の振幅を圧縮するなどの方法が用いられている。
【０００４】
このように、ＨＤＲ処理を行うと、白飛びや黒潰れを軽減した高画質な画像を表示または出力することができる（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２１５０７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１では、撮影中に大きな輝度変化があった場合、輝度変化が発生した後の撮影画像は、ＨＤＲ処理に適した画像とならず、適切なＨＤＲ画像を取得することができなくなる。このため、白飛びや黒潰れを軽減した高画質な画像を表示または出力することができなくなる問題がある。
【０００７】
そこで、本発明は、撮影中に大きな輝度変化があった場合でも、ＨＤＲ処理に適した画像を取得することができるようにして、白飛びや黒潰れを軽減した高画質な画像を表示または出力することができる画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、撮像素子に対する複数の異なる露光時間の合計を算出する算出手段と、前記算出手段で算出された前記複数の異なる露光時間を合計した時間を複数のグループに分割する分割手段と、前記分割手段で分割された前記複数のグループに対してグループごとに前記複数の異なる露光時間に対応する複数の異なる分割露光時間を算出し、前記算出した前記複数の異なる分割露光時間で前記グループごとに前記撮像素子に対して順次露光を行う露光手段と、前記グループごとに前記複数の異なる分割露光時間で露光された前記撮像素子から複数の画像を取得し、前記取得した複数の画像を合成して一つの画像を生成する生成手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、撮影中に大きな輝度変化があった場合でも、ＨＤＲ処理に適した画像を取得することができるようにして、白飛びや黒潰れを軽減した高画質な画像を表示または出力することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の画像処理装置の実施形態の一例であるデジタルカメラのシステム構成を示すブロック図である。
【図２】カメラの動作を説明するフローチャート図である。
【図３】カメラの動作を説明するフローチャート図である。
【図４】図３のステップＳ１１１における測距・測光処理を説明するフローチャート図である。
【図５】（ａ）は図３のステップＳ１１４の撮影処理を説明するフローチャート図、（ｂ）は（ａ）のステップＳ３０２の通常露光処理を説明するフローチャート図、（ｃ）は図３のステップＳ１１５の記録処理を説明するフローチャート図である。
【図６】ＨＤＲ処理を説明する図である。
【図７】ＨＤＲ処理を説明する図である。
【図８】ＨＤＲ露光処理中に輝度変化があった場合の処理を説明する図である。
【図９】ＨＤＲ露光処理中に輝度変化があった場合の処理を説明する図である。
【図１０】ＨＤＲ露光処理中の輝度変化が大きかった場合の処理を説明する図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、本発明の実施形態の一例を説明する。
【００１２】
図１は、本発明の画像処理装置の実施形態の一例であるデジタルカメラのシステム構成を示すブロック図である。なお、本実施形態では、本発明の画像処理装置として、撮像装置の一例であるデジタルカメラを例示するが、これに限定されない。
【００１３】
図１に示すように、本実施形態のデジタルカメラ１００は、ＣＣＤセンサやＣＭＯＳセンサ等により構成される撮像素子１４を備える。撮像素子１４は、撮影レンズ１０、及び絞り機能を備える機械式シャッタ１２（以下、シャッタ１２という。）を通過して結像した被写体像を光電変換して電気信号をＡ／Ｄ変換器１６に出力する。Ａ／Ｄ変換器１６は、撮像素子１４から出力されたアナログ信号をデジタル信号に変換して画像処理回路２０及びメモリ制御回路２２に出力する。
【００１４】
タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御され、撮像素子１４及びＡ／Ｄ変換器１６にクロック信号や制御信号を供給する。なお、タイミング発生回路１８は、撮像素子１４のリセットタイミングを制御して撮像素子１４での電荷の蓄積時間を制御することにより、電子シャッタとして動画撮影などに使用可能である。
【００１５】
画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。
【００１６】
また、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行う。ここで得られた演算結果を基に、システム制御回路５０は、露光制御部４０及び測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００１７】
また、画像処理回路２０では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。さらに、画像処理回路２０では、画像データの画像識別や前フレーム画像との変化量を検出する処理も行っている。
【００１８】
メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６から出力された画像データが画像処理回路２０、メモリ制御回路２２を介して、或いは直接メモリ制御回路２２を介してメモリ３０に書き込まれる。
【００１９】
画像表示部２８は、ＬＣＤ等で構成され、メモリ３０に書き込まれた表示用の画像データをメモリ制御回路２２を介して表示する。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をオン／オフすることが可能である。なお、画像表示部２８にタッチパネルを用いた場合、タッチパネルを操作部としても使用することで、操作部７０を省略するとも可能である。
【００２０】
メモリ３０は、撮影した静止画像や動画像を格納するメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を有する。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像の書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。
【００２１】
不揮発性メモリ３１は、フラッシュメモリ等で構成され、システム制御回路５０が実行するプログラムコード等が書き込まれる。また、不揮発性メモリ３１には、システム情報を記憶する領域やユーザ設定情報を記憶する領域が設けられ、これらの情報や設定を次回起動時に読み出して、復元する。
【００２２】
圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理後の画像データをメモリ３０に書き込む。
【００２３】
システム制御回路５０は、カメラ１００全体の制御を司る。露光制御部４０は、シャッタ１２を制御する。また、露光制御部４０は、フラッシュ４８と連動することによりフラッシュ調光機能も有する。
【００２４】
測距制御部４２は、撮影レンズ１０のフォーカシングを制御し、ズーム制御部４４は、撮影レンズ１０のズーミングを制御する。露光制御部４０及び測距制御部４２は、ＴＴＬ方式で制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０及び測距制御部４２に対して制御を行う。フラッシュ４８は、ＡＦ補助光の投光機能やフラッシュ調光機能も有する。
【００２５】
モードダイアル６０は、撮影モード、再生モード、及びＰＣ接続モード等の各機能モードを切り替え設定することができる。撮影モードは、自動撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード等がある。
【００２６】
レリーズスイッチ（ＳＷ１）６２は、不図示のレリーズボタンの操作途中（例えば半押し）でオンとなり、システム制御回路５０に対して、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の動作開始を指示する。レリーズスイッチ（ＳＷ２）６４は、レリーズボタンの操作完了（例えば全押し）でオンとなり、システム制御回路５０に対して、露光処理、現像処理、圧縮伸長処理、及び記録処理からなる一連の処理の撮影動作開始を指示する。
【００２７】
撮影動作開始を指示により、システム制御回路５０は、露光処理で、撮像素子１４から読み出した電荷信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介して画像データとしてメモリ３０に書き込む。また、システム制御回路５０は、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行い、圧縮伸長処理では、メモリ３０から画像データを読み出し、圧縮伸張回路３２で圧縮を行う。更に、記録処理では、システム制御回路５０は、メモリ３０から記録媒体２００等に画像データを書き込むか、またはＰＣ等に送信する。
【００２８】
なお、フラッシュ撮影の場合、システム制御回路５０は、ＥＦ処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。そして、この露光期間中に本発光させて、露光期間終了と同時に露光制御部４０により撮像素子１４を遮光することで、撮像素子１４への露光を終了させる。
【００２９】
表示切替スイッチ６６は、画像表示部２８の表示切替機能を有し、この機能により、光学ファインダ１０４を用いて撮影を行う際に画像表示部２８への電流供給を遮断し、これにより、省電力を図ることが可能となる。
【００３０】
操作部７０は、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等の各種ボタン、タッチパネルや回転式ダイアル等で構成されている。また、操作部７０には、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。
【００３１】
ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチとを有する。ズームスイッチ７２の操作により、ズーム制御部４４に撮影レンズ１０の撮像画角の変更が指示され、光学ズーム操作を行うトリガとなり、また、画像処理回路２０による画像の切り出しや画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
【００３２】
電源部８６は、アルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる。Ｉ／Ｆ９０は、コネクタ９２に接続されるメモリカードやハードディスク等の記録媒体２００とのインタフェースである。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ１００とのインタフェース２０４、及びカメラ１００のコネクタ９２に接続されるコネクタ２０６を備える。
【００３３】
通信部１１０は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等の各種通信機能を有する。コネクタ１１２は、通信部１１０によりカメラ１００と他の機器と接続するコネクタ或いは無線通信の場合はアンテナとなる。光学ファインダ１０４は、画像表示部２８による電子ファインダ機能を使用することなく、撮影する場合に用いられる。
【００３４】
次に、図２乃至図１０を参照して、カメラ１００の動作について説明する。図２及び図３は、カメラ１００の動作を説明するフローチャート図である。図２及び図３の処理は、不揮発性メモリ３１等の記憶部に格納されたプログラムがメモリ３０に展開されてシステム制御回路５０のＣＰＵ等により実行される。
【００３５】
図２において、ステップＳ１０１では、システム制御回路５０は、電池交換等の電源投入により、フラグや制御変数等を初期化し、ステップＳ１０２に進む。ステップＳ１０２では、システム制御回路５０は、画像表示部２８の画像表示をオフ状態に初期設定し、ステップＳ１０３に進む。
【００３６】
ステップＳ１０３では、システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が撮影モードに設定されている場合は、ステップＳ１０５に進み、撮影モード以外のモードに設定されている場合は、ステップＳ１０４に進む。この撮影モードには、前述したように、自動撮影モードやＨＤＲ撮影モードが含まれる。
【００３７】
ステップＳ１０４では、システム制御回路５０は、設定された撮影モード以外のモードに応じた処理を実行し、ステップＳ１０３に戻る。ステップＳ１０５では、システム制御回路５０は、電源部８６の残容量や動作情況がカメラ１００の動作に問題があるか否かを判断する。そして、システム制御回路５０は、問題がある場合は、ステップＳ１０７に進み、問題がない場合は、ステップＳ１０６に進む。
【００３８】
ステップＳ１０７では、システム制御回路５０は、不図示の表示部を用いて画像や音声等により所定の警告を行った後、ステップＳ１０３に戻る。ステップＳ１０６では、システム制御回路５０は、記録媒体２００の動作状態がカメラ１００の動作、特に記録媒体２００に対する画像データの記録再生動作に問題があるか否かを判断する。そして、システム制御回路５０は、問題がある場合は、ステップＳ１０７で上記同様の警告処理を行った後にステップＳ１０３に戻り、問題がない場合は、ステップＳ１０８に進む。
【００３９】
ステップＳ１０８では、システム制御回路５０は、不図示の表示部を用いて画像や音声等によりカメラ１００の各種設定状態を表示し、ステップＳ１０９に進む。なお、画像表示部２８の画像表示がオンであった場合は、画像表示部２８も用いて画像や音声等によりカメラ１００の各種設定状態を表示してもよい。
【００４０】
ステップＳ１０９では、システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定し、図３のステップＳ１１０に進む。スルー表示状態においては、撮像素子１４、Ａ／Ｄ変換器１６、画像処理回路２０、及びメモリ制御回路２２を介してメモリ３０に逐次書き込まれたデータを画像表示部２８により逐次表示することにより、電子ファインダ機能を実現する。
【００４１】
図３において、ステップＳ１１０では、システム制御回路５０は、レリーズスイッチ（ＳＷ１）６２がオンされているかを判断し、オンの場合は、ステップＳ１１１に進み、オフの場合は、図２のステップＳ１０３に戻る。ステップＳ１１１では、システム制御回路５０は、測距制御部４２により焦点検出動作を行って撮影レンズ１０の焦点を被写体に合わせるとともに、測光処理を行って絞り値及びシャッタ時間を決定し、ステップＳ１１２に進む。なお、測光処理において、必要であればフラッシュ設定も行う。ここでの測距・測光処理の詳細については、図４を用いて後述する。
【００４２】
ステップＳ１１２では、システム制御回路５０は、レリーズスイッチ（ＳＷ２）６４がオンされたかを判断し、オンされた場合は、ステップＳ１１４に進み、オフの場合は、ステップＳ１１３に進む。ステップＳ１１３では、システム制御回路５０は、レリーズスイッチ（ＳＷ１）６２がオンされているかを判断し、オンの場合は、ステップＳ１１２に戻り、オフの場合は、図２のステップＳ１０３に戻る。
【００４３】
ステップＳ１１４では、システム制御回路５０は、撮影処理を行い、ステップＳ１１５に進む。ここでの撮影処理の詳細については、図５（ａ）及び図５（ｂ）を用いて後述する。ステップＳ１１５では、システム制御回路５０は、記録処理を行い、図２のステップＳ１０３に戻る。ここでの記録処理の詳細については、図５（ｃ）を用いて後述する。
【００４４】
図４は、図３のステップＳ１１１における測距・測光処理を説明するフローチャート図である。
【００４５】
図４において、ステップＳ２０１では、システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込み、ステップＳ２０２に進む。この逐次読み込まれた画像データを用いて、画像処理回路２０は、ＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理に用いる所定の演算を行っている。なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ処理、ＥＦ処理、ＡＦ処理の各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
【００４６】
ステップＳ２０２では、システム制御回路５０は、画像処理回路２０での演算結果を用いて、露出（ＡＥ）が適正か否かを判断する。そして、システム制御回路５０は、露出（ＡＥ）が適正と判断されると、測定データ及び／又は設定パラメータをメモリ３０に記憶してステップＳ２０６に進み、露出（ＡＥ）が適正でない場合は、ステップＳ２０３に進む。ステップＳ２０３では、システム制御回路５０は、ステップＳ２０２で露出（ＡＥ）が適正と判断されるまでＡＥ制御を行い、ステップＳ２０４に進む。
【００４７】
ステップＳ２０４では、システム制御回路５０は、ステップＳ２０３のＡＥ制御で得られた測定データを用いて、フラッシュが必要か否かを判断する。そして、システム制御回路５０は、フラッシュが必要ならば、フラッシュフラグをセットしてステップＳ２０５でフラッシュ４８を充電した後、ステップＳ２０１に戻り、フラッシュが必要なければ、フラッシュ４８を充電することなく、ステップＳ２０１に戻る。
【００４８】
ステップＳ２０６では、システム制御回路５０は、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、ホワイトバランス（ＡＷＢ）が適正か否かを判断する。そして、システム制御回路５０は、ホワイトバランスが適正と判断されると、測定データ及び／又は設定パラメータをメモリ３０に記憶して、ステップＳ２０８に進み、適正でない場合は、ステップＳ２０７に進む。ステップＳ２０７では、システム制御回路５０は、ステップＳ２０６でホワイトバランス（ＡＷＢ）が適正と判断されるまで画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行い、ステップＳ２０１に戻る。
【００４９】
ステップＳ２０８では、システム制御回路５０は、ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、測距制御部４２によるＡＦ制御で合焦したか否かを判断する。そして、システム制御回路５０は、合焦していないと判断した場合は、ステップＳ２０９に進み、ステップＳ２０８で合焦と判断されるまで測距制御部４２によるＡＦ制御を継続し、ステップＳ２０１に戻る。また、システム制御回路５０は、合焦したと判断した場合は、測定データ及び／又は設定パラメータをメモリ３０に記憶し、図３のステップＳ１１１の測距・測光処理を終了する。
【００５０】
図５（ａ）は、図３のステップＳ１１４における撮影処理を説明するフローチャート図である。
【００５１】
図５（ａ）において、ステップＳ３０１では、システム制御回路５０は、図２のステップＳ１０３で設定された撮影モードがＨＤＲ撮影モードか否かを判断する。そして、システム制御回路５０は、ＨＤＲ撮影モードでない場合は、ステップＳ３０２に進み、ＨＤＲ撮影モードの場合は、ステップＳ３０３に進む。
【００５２】
そして、システム制御回路５０は、ステップＳ３０２では、通常の露光処理を行い、ステップＳ３０３では、ＨＤＲ露光処理を行い、ステップＳ３０２又はステップＳ３０３の処理の終了後、ステップＳ３０４に進む。なお、通常の露光処理の詳細については、図５（ｂ）を用いて後述し、ＨＤＲ露光処理の詳細については、図６乃至図１０を用いて後述する。
【００５３】
ステップＳ３０４では、システム制御回路５０は、設定された撮影モードに応じて現像処理を順次行い、処理後の画像データをメモリ３０に書き込んで図３のステップＳ１１４の撮影処理を終了する。
【００５４】
図５（ｂ）は、図５（ａ）のステップＳ３０２における通常露光処理を説明するフローチャート図である。
【００５５】
図５（ｂ）において、システム制御回路５０は、ステップＳ３１１でメモリ３０に記憶される測光データに従って露光制御部４０によってシャッタ１２を絞り値に応じて開放し、ステップＳ３１２で撮像素子１４を露光して、ステップＳ３１３に進む。
【００５６】
そして、システム制御回路５０は、ステップＳ３１３で測光データに従って撮像素子１４の露光終了を待ち、露光終了後、ステップＳ３１４でシャッタ１２を閉じ、ステップＳ３１５に進む。
【００５７】
ステップＳ３１５では、システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して或いはＡ／Ｄ変換器１６から直接メモリ制御回路２２を介して画像としてメモリ３０にデータを書き込む。これにより、図５（ａ）のステップＳ３０２の通常露光処理を終了する。
【００５８】
図５（ｃ）は、図３のステップＳ１１５における記録処理を説明するフローチャート図である。
【００５９】
図５（ｃ）において、ステップＳ４０１では、システム制御回路５０は、メモリ制御回路２２を用いて、メモリ３０に書き込まれた画像データを読み出して、設定したモードに応じた画像圧縮処理を圧縮・伸長回路３２により行い、ステップＳ４０２に進む。
【００６０】
ステップＳ４０２では、システム制御回路５０は、Ｉ／Ｆ９０、コネクタ９２を介して、メモリカードやコンパクトフラッシュ（登録商標）カード等の記録媒体２００に圧縮した画像データの書き込み、図３のステップＳ１１５の記録処理を終了する。
【００６１】
次に、図６乃至図１０を参照して、図５（ａ）のステップＳ３０３におけるＨＤＲ露光処理について説明する。図６及び図７は、ＨＤＲ処理を説明する図である。
【００６２】
本実施形態では、ＨＤＲ処理に必要な画像の枚数を３枚とする。図６（ａ）に示すように、システム制御回路５０は、メモリ３０に記憶された測光データを基に３枚の画像のアンダー露光、適正露光、オーバー露光の複数の異なる露光時間を合計した時間をグループ０〜２に３分割する。また、システム制御回路５０は、図６（ｂ）に示すように、分割されたグループ０〜２ごとにアンダー露光、適正露光、オーバー露光の複数の異なる露光時間に対応する時間で３分割する。そして、システム制御回路５０は、各グループ０〜２に対して、グループ０〜２ごとにアンダー露光、適正露光、オーバー露光の３つの異なる分割露光時間を算出する。
【００６３】
その後、システム制御回路５０は、図７（ａ）に示すように、図６（ａ）のグループ０〜２ごとに、図６（ｂ）で算出した３つの異なる分割露光時間で撮像素子１４に対して順次露光を行う。撮像素子１４の露光からデータの読み出しまでの処理は、図５（ｂ）に示す通常露光処理と同等の処理である。そして、システム制御回路５０は、撮像素子１４から読み出されたデータをメモリ３０に記憶する際、図７（ｂ）に示すように、メモリ３０内をアンダー画像領域、適正画像領域、オーバー画像領域と分割しておき、各領域のデータに加算しながらデータを記憶する。
【００６４】
そして、システム制御回路５０は、このように分割して取得されたアンダー画像、適正画像、オーバー画像に対して画像合成を行い、ダイナミックレンジを拡大させたＨＤＲ画像を生成する。
【００６５】
図８及び図９は、図６及び図７に示すＨＤＲ露光処理中に輝度変化があった場合の処理を説明する図である。図６及び図７に示すＨＤＲ処理中に前のグループの露光時間と同等の現在の露光時間の露光出力値に差があった場合、その後の露光時間を変更する。ＨＤＲ露光出力中の輝度は、常に一定であることを想定しているため、ＨＤＲ露光処理中に輝度変化があった場合は、ＨＤＲ処理に必要な画像を取得することができない可能性がある。
【００６６】
図８（ａ）及び図８（ｂ）は、ＨＤＲ露光処理中に暗くなった場合の例である。この場合、例えば現在のグループ２の露光出力値が一つ前のグループ１の露光出力値より小さくなるため、露光出力値の変化量が予め定めた値を超えた場合、システム制御回路５０は、その後の露光時間を延長する。このとき、システム制御回路５０は、露光出力値の変化量が１／２であれば、その後の露光時間を２倍に延長して設定し、露光出力値の変化量が１／３であれば、その後の露光時間を３倍に延長して設定する。
【００６７】
図９（ａ）及び図９（ｂ）は、ＨＤＲ露光処理中に明るくなった場合の例である。この場合、例えば現在のグループ１の露光出力値が一つ前のグループ０の露光出力値より大きくなるため、露光出力値の変化量が予め定めた値を超えた場合、システム制御回路５０は、その後の露光時間を短縮する。このとき、システム制御回路５０は、露光出力値の変化量が２倍であれば、その後の露光時間を１／２倍に短縮して設定し、露光出力値の変化量が３倍であれば、その後の露光時間を１／３倍に短縮して設定する。
【００６８】
図１０は、ＨＤＲ露光処理中の輝度変化が大きかった場合の処理を説明する図である。ここでは、輝度変化があったグループを基準（グループ１）として撮像素子１４に対してアンダー露光、適正露光、オーバー露光を行う処理を示す。この場合、輝度変化が大きかったシーンを撮影者が撮影したいシーンだとする。
【００６９】
システム制御回路５０は、露光出力値の変化量を算出して、露光出力値の変化量が予め定めた値を超えた場合、輝度変化があった現在のグループ１の１つ前のグループ０から露光が開始されたと判断する。そして、システム制御回路５０は、１つ前のグループ０の撮像素子１４の出力を無効として削除し、露光時間を延長して輝度変化後に削除したグループ０をグループ３として露光処理を追加する。なお、図８及び図９の処理と図１０の処理とは、カメラ１００の操作部材等で選択できるようにしてもよい。
【００７０】
以上説明したように、本実施形態では、撮影中に大きな輝度変化があった場合でも、ＨＤＲ処理に適した画像を取得することができるので、白飛びや黒潰れを軽減した高画質な画像を表示または出力することができる。
【００７１】
なお、本発明は、上記実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【００７２】
また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７３】
１４  撮像素子
１６  Ａ／Ｄ変換器
２０  画像処理回路
５０  システム制御回路
４０  露光制御部
３１  不揮発性メモリ
３０  メモリ
【図１】
2017184125.tif 000003
【図２】
2017184125.tif 000004
【図３】
2017184125.tif 000005
【図４】
2017184125.tif 000006
【図５】
2017184125.tif 000007
【図６】
2017184125.tif 000008
【図７】
2017184125.tif 000009
【図８】
2017184125.tif 000010
【図９】
2017184125.tif 000011
【図１０】
2017184125.tif 000012