(57)【要約】【課題】画像をＨＤＲ技術によって合成する際に、ノイズレベルの差が小さくなるようにした撮像装置を提供する。【解決手段】適正露光となる撮影条件を算出し（Ｓ３）、この適正露光となる撮影条件に対してオーバ露光となるシャッタ速度を算出し（Ｓ５）、適正露光となるＩＳＯ感度が最低ＩＳＯ感度より高感度の場合には（Ｓ７Ｙｅｓ）、適正露光となるＩＳＯ感度と最低ＩＳＯ感度の差分に応じて、ＩＳＯ感度を最低ＩＳＯ感度に設定するか（Ｓ１１）、または最低ＩＳＯ感度で不足分をシャッタ速度で補ってアンダ露光となる撮影条件を設定し（Ｓ１３、Ｓ１５）、この設定された撮影条件で異露光撮影を行う（Ｓ１９）。【選択図】  図８
2014060578.tif 000002
【特許請求の範囲】
【請求項１】
複数コマの画像データを合成することにより広ダイナミックレンジの画像を得るために、異なる露光量で連続して同一被写体に関する複数回の撮像を行う撮像装置において、
上記複数回のそれぞれの撮像における露光量を決めるためのパラメータを設定する露光量設定部と、
上記複数回の撮像により複数コマの画像データを生成する撮像部と、
上記露光量設定部により設定された上記パラメータに基づいて、上記複数回の撮像における露光量を制御する露光量制御部と、
上記複数コマの画像データを基に、単一画像より広いダイナミックレンジを有する合成画像データを生成する画像処理部と、
を備え、
上記露光量設定部は、複数回の撮像のうちの１枚を基準として、その基準よりも少ない露光量で撮影する場合はＩＳＯ感度を下げることを特徴とする撮像装置。
【請求項２】
上記露光量設定部は、複数の撮像のうち基準とする１枚を適正露光となる露光量と異なる露光量とすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
上記ＩＳＯ感度を下げる際は、アナログ画像信号のゲイン調整により行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記ＩＳＯ感度を下げて露光量を制御する際に、上記ＩＳＯ感度による露光量の調整量だけでは不足するとき、この不足する分をシャッタ速度の調整により補って露光量を調整することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記画像処理部は、上記複数コマの画像データによって表わされるそれぞれの画像の明るさを一致させるために、該複数コマの画像データのレベル調整を行った後に、該レベル調整が行われた該複数コマの画像データの位置合わせを行い、該レベル調整が行われた複数コマの画像データを基に、単一画像より広いダイナミックレンジを有する合成画像データを生成することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数コマの画像データを合成し広ダイナミックレンジの画像得るために異なる露光量で連続して同一被写体を複数回撮像する撮像装置に関する。
【背景技術】
【０００２】
近年、複数枚の画像を利用した「複数枚ＨＤＲ（High Dynamic Range）技術」が注目を集めている。この複数枚ＨＤＲは、一般にシャッタスピードを変えることにより、異露光連写画像を撮影し、アンダ画像の明部とオーバ画像の暗部の信号レベルを各々保持して画像合成することにより、白飛びや黒潰れを改善したＨＤＲ画像を生成することができる。また、画像合成の際には、位置合わせ処理を施すことにより、被写体ブレや手ブレへの対処も行っている。（特許文献１参照）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２５９２００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述したように、ＨＤＲ画像を合成する際には、位置合わせ処理を行っており、このとき、画像と画像の類似性に基づいて処理を行うことから、両画像の明るさを合わせる必要がある。明るさを合わせても、画像にノイズが重畳していると、位置合わせの際の類似性の判断が難しくなってしまうという問題がある。この問題は、高感度で撮影した場合に現れやすい。
【０００５】
特許文献１に開示の撮像装置では、予め主要被写体部分（合焦位置）の輝度情報を取得しておき、その輝度情報を基に連写する際の撮影条件のうち１枚のみ高速シャッタ速となるように変更することで、主要被写体のブレを軽減している。しかし、この撮像装置では、ノイズレベルの差が小さくするようにしていないために、前述の問題は解決できない。
【０００６】
本発明は、このような事情を鑑みてなされたものであり、画像をＨＤＲ技術によって合成する際に、ノイズレベルの差が小さくなるようにした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため第１の発明に係る撮像装置は、複数コマの画像データを合成することにより広ダイナミックレンジの画像を得るために、異なる露光量で連続して同一被写体に関する複数回の撮像を行う撮像装置において、上記複数回のそれぞれの撮像における露光量を決めるためのパラメータを設定する露光量設定部と、上記複数回の撮像により複数コマの画像データを生成する撮像部と、上記露光量設定部により設定された上記パラメータに基づいて、上記複数回の撮像における露光量を制御する露光量制御部と、上記複数コマの画像データを基に、単一画像より広いダイナミックレンジを有する合成画像データを生成する画像処理部と、を備え、上記露光量設定部は、複数回の撮像のうちの１枚を基準として、その基準よりも少ない露光量で撮影する場合はＩＳＯ感度を下げる。
【０００８】
第２の発明に係る撮像装置は、上記第１の発明において、複数の撮像のうち基準とする１枚を適正露光となる露光量と異なる露光量とする。
【０００９】
第３の発明に係る撮像装置は、上記第１の発明において、上記ＩＳＯ感度を下げる際は、アナログ画像信号のゲイン調整により行う。
【００１０】
第４の発明に係る撮像装置は、上記第１の発明において、上記ＩＳＯ感度を下げて露光量を制御する際に、上記ＩＳＯ感度による露光量の調整量だけでは不足するとき、この不足する分をシャッタ速度の調整により補って露光量を調整する。
【００１１】
第５の発明に係る撮像装置は、上記第１の発明において、上記画像処理部は、上記複数コマの画像データによって表わされるそれぞれの画像の明るさを一致させるために、該複数コマの画像データのレベル調整を行った後に、該レベル調整が行われた該複数コマの画像データの位置合わせを行い、該レベル調整が行われた複数コマの画像データを基に、単一画像より広いダイナミックレンジを有する合成画像データを生成する。
【発明の効果】
【００１２】
本発明によれば、画像をＨＤＲ技術によって合成する際に、ノイズレベルの差が小さくなるようにした撮像装置を提供することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係るデジタルカメラの主として電気的構成を示すブロック図である。
【図２】本発明の一実施形態に係るデジタルカメラにおいて、白飛びと黒潰れ、及び撮影画像のダイナミックレンジについて説明する図である。
【図３】本発明の一実施形態に係るデジタルカメラにおいて、複数枚ＨＤＲでのダイナミックレンジの拡大を説明する図である。
【図４】本発明の一実施形態に係るデジタルカメラにおいて、複数枚ＨＤＲでのダイナミックレンジの拡大を説明する図である。
【図５】本発明の一実施形態に係るデジタルカメラにおいて、複数枚ＨＤＲでのダイナミックレンジの拡大を説明する図である。
【図６】本発明の一実施形態に係るデジタルカメラにおいて、複数枚ＨＤＲでの位置合わせ処理を説明する図である。
【図７】本発明の一実施形態に係るデジタルカメラにおいて、複数枚ＨＤＲでの位置合わせ処理を説明する図である。
【図８】本発明の一実施形態に係るデジタルカメラの複数枚ＨＤＲ処理の動作を示すフローチャートである。
【図９】本発明の一実施形態に係るデジタルカメラにおいて、位置合わせの精度を説明する図である。
【図１０】本発明の一実施形態に係るデジタルカメラにおいて、ダイナミックレンジの拡大効果を説明する図である。
【図１１】本発明の一実施形態に係るデジタルカメラにおいて、ダイナミックレンジの拡大効果を説明する図である。
【図１２】本発明の一実施形態に係るデジタルカメラにおいて、ダイナミックレンジの拡大効果を説明する図である。
【図１３】本発明の一実施形態に係るデジタルカメラの複数枚ＨＤＲ処理の変形例の動作を示すフローチャートである。
【図１４】本発明の一実施形態に係るデジタルカメラの複数枚ＨＤＲ処理の変形例において、ｉ枚目の撮影での撮影条件算出の動作を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。本発明の好ましい一実施形態に係るデジタルカメラであり、撮像部を有し、この撮像部によって被写体像を画像データに変換し、この変換された画像データを画像処理した後に記録媒体に記録する。広ダイナミック（ＨＤＲ）撮影を行う場合には、基準（適正）露光量、オーバ露光量、アンダ露光量等、異なる露光量で撮影を行う（異露光撮影ともいう）。
【００１５】
異露光撮影にあたって、オーバ露光量での撮影は、シャッタ速度を高速側にシフトさせて行う（後述する図８のＳ５、図１３のＳ４３参照）。一方、アンダ露光量での撮影は、撮影時のＩＳＯ感度に応じて、シャッタ速度を低速側にシフトさせての撮影（図８のＳ１７、図１４のＳ７３参照）、ＩＳＯ感度のみを低感度側にシフトさせての撮影（図８のＳ１１、図１４のＳ６７参照）、またはＩＳＯ感度とシャッタ速度の両方をシフトさせての撮影（図８のＳ１３、Ｓ１５、図１４のＳ６９、Ｓ７１参照）のいずれかで行う。
【００１６】
異露光撮影を行って複数枚の画像を得ると、複数枚の画像の明るさが略同一となるように明るさ調整処理を行い（図８のＳ２１、図９、図１１、図１３のＳ５５参照）、複数枚の画像の位置合わせを行い（図６、図７、図８のＳ２３、図１３のＳ５７参照）、合成することにより、ダイナミックレンジを拡大した画像を得る（図１２、図１３参照）。
【００１７】
図１は、本発明の一実施形態に係わるカメラの主として電気的構成を示すブロック図である。このカメラは、カメラ本体１００と、これに脱着可能な交換式レンズ２００とから構成される。
【００１８】
交換式レンズ２００は、撮影レンズ２０１、絞り２０３、ドライバ２０５、マイクロコンピュータ２０７、フラッシュメモリ２０９を有しており、後述するカメラ本体１００との間にインターフェース（以後、Ｉ／Ｆと称す）９９９を有する。
【００１９】
撮影レンズ２０１は、被写体像を形成するための光学レンズであって、単焦点レンズまたはズームレンズを有している。この撮影レンズ２０１の光軸の後方には、絞り２０３が配置されており、絞り２０３は口径が可変であり、撮影レンズ２０１の通過した被写体光束を制限する。
【００２０】
また、撮影レンズ２０１はドライバ２０５によって光軸方向に移動可能であり、マイクロコンピュータ２０７からの制御信号に基づいて、撮影レンズ２０１のピント位置が制御され、ズームレンズの場合には、焦点距離も制御される。このドライバ２０５は、絞り２０４の口径の制御も行う。
【００２１】
ドライバ２０５に接続されたマイクロコンピュータ２０７は、Ｉ／Ｆ９９９およびフラッシュメモリ２０９に接続されている。マイクロコンピュータ２０７は、フラッシュメモリ２０９に記憶されているプログラムに従って動作し、後述するカメラ本体１００内のマイクロコンピュータ１２１と通信を行い、マイクロコンピュータ１２１からの制御信号に基づいて交換式レンズ２００の制御を行う。
【００２２】
フラッシュメモリ２０９には、前述したプログラムの他、交換式レンズ２００の光学的特性や調整値等の種々の情報が記憶されている。Ｉ／Ｆ９９９は、交換式レンズ２００内のマイクロコンピュータ２０７とカメラ本体１００内のマイクロコンピュータ１２１の相互間の通信を行うためのインターフェースである。
【００２３】
カメラ本体１００内であって、撮影レンズ２０１の光軸上には、メカシャッタ１０１が配置されている。このメカシャッタ１０１は、被写体光束の通過時間を制御し、公知のレンズシャッタまたはフォーカルプレーンシャッタが採用される。このメカシャッタ１０１の後方であって、撮影レンズ２０１によって被写体像が形成される位置には、撮像素子１０３が配置されている。
【００２４】
撮像素子１０３は、各画素を構成するフォトダイオードが二次元的にマトリックス状に配置されており、各フォトダイオードは受光量に応じた光電変換電流を発生し、この光電変換電流は各フォトダイオードに接続するキャパシタによって電荷蓄積される。各画素の前面には、ベイヤー配列のカラーフィルタが配置されている。ベイヤー配列は、水平方向にＲ画素とＧ（Ｇｒ）画素が交互に配置されたラインと、Ｇ（Ｇｂ）画素とＢ画素が交互に配置されたラインを有し、さらにその３つのラインを垂直方向にも交互に配置することで構成されている。撮像素子１０３等は、複数枚ＨＤＲが設定されている場合に、複数回の撮像により複数コマの画像データを生成する撮像部として機能する。
【００２５】
撮像素子１０３はアナログ処理部１０５に接続されており、このアナログ処理部１０５は、撮像素子１０３から読み出した光電変換信号（アナログ画像信号）に対し、リセットノイズ等を低減した上で波形整形を行い、マイクロコンピュータ１２１からの制御命令に従って適切な輝度になるようにゲインアップを行う。ＩＳＯ感度の調整は、このアナログ処理部１０５においてアナログ画像信号のゲイン（増幅率）を調整することにより制御する。
【００２６】
アナログ処理部１０５およびメカシャッタ１０１等は、露光量設定部（後述するマイクロコンピュータ１２１が機能する）により設定された上記パラメータに基づいて、上記複数回の撮像における露光量を制御する露光量制御部として機能する。この露光量制御部は、少なくとも１回の撮像においてＩＳＯ感度を変更して露光量を制御して撮像を行う。
【００２７】
アナログ処理部１０５はＡ／Ｄ変換部１０７に接続されており、このＡ／Ｄ変換部１０７は、アナログ画像信号をアナログ―デジタル変換し、デジタル画像信号（以後、画像データという）をバス１０９に出力する。
【００２８】
バス１０９は、カメラ本体１００の内部で読み出され若しくは生成された各種データをカメラ本体１００の内部に転送するための転送路である。バス１０９は、前述のアナログ処理部１０５、Ａ／Ｄ変換部１０７の他、画像処理部１１１、ＡＥ処理部１１３、ＡＦ処理部１１５、ＡＷＢ（Auto White Balance）処理部１１７、ＪＰＥＧ処理部１１９、マイクロコンピュータ１２１、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）１２７、メモリインターフェース（以後、メモリＩ／Ｆという）１２９、液晶（以後、ＬＣＤという）ドライバ１３３が接続されている。
【００２９】
バス１０９に接続された画像処理部１１１は、ホワイトバランス補正部（以後、ＷＢ補正部という）１１１ａ、同時化処理部１１１ｂ、色再現処理部１１１ｃ、ノイズリダクション処理部（以後、ＮＲ処理部という）１１１ｄを含み、ＳＤＲＡＭ１２７に一時記憶された画像データを読出し、この画像データに対して種々の画像処理を施す。
【００３０】
また、画像処理部１１１は、異露光撮影によって複数枚の画像を得た際に、複数枚の画像の明るさが略同一となるように明るさ調整処理や複数枚の画像の位置合わせを行った後に、広ダイナミックレンジの画像を合成する。したがって、画像処理部１１１は、複数コマの画像データを基に、単一画像より広いダイナミックレンジを有する合成画像データを生成する画像処理部として機能する。
【００３１】
ＷＢ補正部１１１ａは、画像データに対して、ホワイトバランス補正を行う。ホワイトバランス補正は、さまざまな色温度の光源のもとで、白色を正確に白く映し出すように補正する。晴天、曇天、日陰、電球、蛍光灯などの光源モード、若しくはカメラ側で自動的にホワイトバランス補正量を算出するオートホワイトバランスモードをユーザが選択するので、この設定されたモードに応じて、画像データに対してホワイトバランス補正を行う。なお、オートホワイトバランスは、後述するＡＷＢ処理部１１７において行う。
【００３２】
同時化処理部１１１ｂは、ベイヤー配列の下で取得された画像データに対して、１画素あたりＲ、Ｇ、Ｂの情報からなる画像データへ同時化処理を行う。色再現処理部１１１ｄは、ガンマ補正処理、および画像の色味を変化させる色再現処理を行う。
【００３３】
ＮＲ処理部１１１ｄは、高周波を低減するフィルタを用いたり、またコアリング処理等により、画像データのノイズを低減する処理を行う。画像処理部１１１は、必要に応じて、各部１１１ａ〜１１１ｄを選択し各処理を行い、画像処理を施された画像データは、バス１０９を介してＳＤＲＡＭ１２７に一時記憶される。
【００３４】
ＡＥ処理部１１３は、被写体輝度を測定し、バス１０９を介してマイクロコンピュータ１２１に出力する。被写体輝度測定のために専用の測光センサを設けても良いが、本実施形態においては、撮像素子１０３の出力に基づく画像データを用いて被写体輝度を算出する。ＡＦ処理部１１５は、画像データから高周波成分の信号を抽出し、積算処理により合焦評価値を取得し、バス１０９を介してマイクロコンピュータ１２１に出力する。本実施形態においては、いわゆるコントラスト法によって撮影レンズ２０１のピント合わせを行う。ＡＷＢ処理部１１７は、前述したように、カメラ側で自動的にホワイトバランス補正量を算出し、ホワイトバランスの調整を行う。
【００３５】
ＪＰＥＧ処理部１１７は、画像データの記録媒体１３１への記録時に、ＳＤＲＡＭ１２７から画像データを読み出し、この読み出した画像データをＪＰＥＧ圧縮方式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ１２７に一旦記憶する。マイクロコンピュータ１２１は、ＳＤＲＡＭ１２７に一時記憶されたＪＰＥＧ画像データに対して、ＪＰＥＧファイルを構成するために必要なＪＰＥＧヘッダを付加してＪＰＥＧファイルを作成し、この作成したＪＰＥＧファイルをメモリＩ／Ｆ１２９を介して記録媒体１３１に記録する。
【００３６】
また、ＪＰＥＧ処理部１１９は、画像再生表示用にＪＰＥＧ画像データの伸張も行う。伸張にあたっては、記録媒体１３１に記録されているＪＰＥＧファイルを読み出し、ＪＰＥＧ処理部１１９において伸張処理を施した上で、伸張した画像データをＳＤＲＡＭ１２７に一時記憶する。なお、本実施形態においては、画像圧縮方式としては、ＪＰＥＧ圧縮方式を採用するが、圧縮方式はこれに限らずＴＩＦＦ、ＭＰＥＧ、Ｈ．２６４等、他の圧縮方式でも勿論かまわない。
【００３７】
マイクロコンピュータ１２１は、このカメラ全体の制御部としての機能を果たし、後述するフラッシュメモリ１２５に記憶されているプログラムに従って、カメラの各種シーケンスを総括的に制御する。また、マイクロコンピュータ１２１は、複数枚ＨＤＲ撮影が設定されている場合には、複数回のそれぞれの撮像における露光量を決めるためのパラメータ（シャッタ速度、ＩＳＯ感度等）を設定する露光量設定部として機能する。また、露光量設定部は、適正露光となる露光量と異なる露光量を基準にしてパラメータを設定する（後述する図１３のＳ３７参照）。
【００３８】
マイクロコンピュータ１２１には、前述のＩ／Ｆ９９９以外に、操作部１２３およびフラッシュメモリ１２５が接続されている。操作部１２３は、電源釦、レリーズ釦、動画釦、再生釦、メニュー釦、十字釦、ＯＫ釦等、各種入力釦や各種入力キー等の操作部材を含み、これらの操作部材の操作状態を検知し、検知結果をマクロコンピュータ１２１に出力する。マイクロコンピュータ１２１は、操作部１２３からの操作部材の検知結果に基づいて、ユーザの操作に応じた各種シーケンスを実行する。電源釦は、当該デジタルカメラの電源のオン／オフを指示するための操作部材である。電源釦が押されると当該デジタルカメラの電源はオンとなり、再度、電源釦が押されると当該デジタルカメラの電源はオフとなる。
【００３９】
レリーズ釦は、半押しでオンになるファーストレリーズスイッチと、半押しから更に押し込み全押しとなるとオンになるセカンドレリーズスイッチからなる。マイクロコンピュータ１２１は、ファーストレリーズスイッチがオンとなると、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを実行する。また、セカンドレリーズスイッチがオンとなると、メカシャッタ１０１等を制御し、撮像素子１０３等から被写体画像に基づく画像データを取得し、この画像データを記録媒体１３１に記録する一連の撮影シーケンスを実行して撮影を行う。
【００４０】
動画釦は、動画の撮影を開始させ、また終了させるための釦である。再生釦は、再生モードの設定と解除するための操作釦であり、再生モードが設定されると、記録媒体１３１から撮影画像の画像データを読み出し、ＬＣＤ１３５に撮影画像を再生表示する。
【００４１】
メニュー釦は、メニュー画面をＬＣＤ１３５に表示させるための操作釦である。メニュー画面上では、カメラの各種モードの設定が可能であり、例えば、広ダイナミックレンジ撮影の設定等を行うことができる。
【００４２】
フラッシュメモリ１２５は、マイクロコンピュータ１２１の各種シーケンスを実行するためのプログラムを記憶している。マイクロコンピュータ１２１は、前述したように、このプログラムに基づいて当該デジタルカメラの制御を行う。
【００４３】
ＳＤＲＡＭ１２７は、画像データ等の一時記憶用の電気的書き換え可能な揮発性メモリである。このＳＤＲＡＭ１２７は、Ａ／Ｄ変換部１０７から出力された画像データや、画像処理部１１１やＪＰＥＧ処理部１１９等において処理された画像データを一時記憶する。
【００４４】
メモリＩ／Ｆ１２９は、記録媒体１３１に接続されており、画像データや画像データに添付されたヘッダ等のデータを、記録媒体１３１に書き込みおよび読出しの制御を行う。記録媒体１３１は、カメラ本体に脱着可能なメモリであるが、これに限らず、ハードディスク等、カメラ本体に内蔵のメモリであってもよい。
【００４５】
ＬＣＤドライバ１３３は、ＬＣＤ１３５に接続されており、ＳＤＲＡＭ１２７や記録媒体１３１から読み出され、ＪＰＥＧ処理部１１９によって伸張された画像データに基づいて画像をＬＣＤ１３５において表示させる。ＬＣＤ１３５は、カメラ本体１００の背面等に配置された液晶パネルを含み、画像表示を行う。画像表示としては、撮影直後、記録される画像データを短時間だけ表示するレックビュー表示、記録媒体１３１に記録された静止画や動画の画像ファイルの再生表示、およびライブビュー表示等の動画表示が含まれる。なお、圧縮されている画像データを表示する場合には、前述したように、ＪＰＥＧ処理部１１９によって伸張処理を施した後に表示する。また、表示部としては、ＬＣＤに限らず、有機ＥＬ等、他の表示パネルを採用しても勿論かまわない。
【００４６】
次に、本発明の一実施形態における広ダイナミックレンジ（ＨＤＲ）撮影について、図２ないし図７を用いて説明する。
【００４７】
図２は白飛び、黒潰れ、及び撮影画像のダイナミックレンジを説明する図である。図２（ａ）は撮影シーンを示しており、この撮影シーンをカメラ（カメラ本体１００，交換レンズ２００）によって適正露光（シャッタ速度ＴＶ：ｔｖ、絞り値ＡＶ：ａｖ、ＩＳＯ感度：ｓｖ）で撮影すると、図２（ｃ）に示すような撮影画像が得られる。
【００４８】
図２（ａ）に示す撮影シーンのように、逆光など明るいところと、暗いところが混在するシーンでは、シーンの輝度分布がとても広く、図２（ｄ）に示すように、適正露出で得られる輝度範囲Ｄ１の範囲には収まらない。なお、図２（ｄ）中に示すＢｖ＿ａｖｅは、撮影シーンの平均輝度を示す。
【００４９】
図２（ｅ）は、適正露出で撮影可能な輝度範囲をデジタルカメラで撮影した場合のデジタル値（図２（ｅ）の上段）と、撮影画像の輝度分布（図２（ｅ）の下段）を示す。
【００５０】
撮影時には、撮像素子１０３のフォトダイオードで光を電荷に変換するが、撮影できる輝度範囲よりも明るい領域では、フォトダイオードの変換容量を超えるための、それ以上の電荷は発生せず、画素飽和となる。撮影画像の明部の「白飛び」とは、この画素の飽和によりクリップされた領域に相当する。図２（ｃ）に示す例では、領域Ａ２は輝度が高い領域であり、この領域Ａ２は、図２（ｅ）に示す輝度分布では、範囲Ｒ２に相当する。すなわち、範囲Ｒ２は、画素の飽和により、クリップされた明部領域であり、「白飛び」の領域である。
【００５１】
また、撮影した際の暗部の「黒」は、デジタル値の「０」に相当するが、実際の撮影画像には、撮像素子１０３等で発生するノイズ（暗部ノイズ）が含まれている。そのため、撮影できる輝度範囲の暗い領域では、その一部が暗部ノイズに埋もれてしまう。暗部の「黒潰れ」とは、このノイズに埋もれた領域に相当する。図２（ｃ）に示す例では、領域Ａ１は輝度が低い領域であり、この領域Ａ１は、図２（ｅ）に示す輝度分布では、範囲Ｒ１に相当する。すなわち、範囲Ｒ１は、ノイズに埋もれた暗部領域であり、「黒潰れ」の領域である。
【００５２】
したがって、適正画像のダイナミックレンジは、ノイズに埋もれていない暗部から画素の飽和までの領域を意味している。図２（ｅ）に示す輝度分布では、適正画像のダイナミックレンジＤ２が相当する。
【００５３】
次に、本実施形態における複数枚ＨＤＲでのダイナミックレンジ拡大について、図３ないし図５を用いて説明する。図３は、異なる露出量で撮影した３枚の画像を示す。すなわち、図３（ａ）は、適正露光で撮影した撮影画像であり、図３（ｂ）はアンダ露光で撮影した撮影画像であり、図３（ｃ）はオーバ露光で撮影した撮影画像である。
【００５４】
ここで、適正露光の場合には、シャッタ速度Ｔｖ：ｔｖ、絞り値Ａｖ：ａｖ、ＩＳＯ感度Ｓｖ：ｓｖで撮影している。またアンダ露光の場合には、シャッタ速度Ｔｖ：ｔｖ＋１、絞り値Ａｖ：ａｖ、ＩＳＯ感度Ｓｖ：ｓｖで撮影している。オーバ露光の場合には、シャッタ速度Ｔｖ：ｔｖ−１、絞り値Ａｖ：ａｖ、ＩＳＯ感度Ｓｖ：ｓｖで撮影している。したがって、適正露光のシャッタ速度に比較して、アンダ露光の場合には、１段、シャッタ速度を高速側にシフトし、オーバ露光の場合には、１段、シャッタ速度を低速側にシフトしている。
【００５５】
図３（ｄ）は、図３（ａ）に示す適正露光で撮影された撮影画像の輝度分布を示す。この輝度分布は、図２（ｅ）と同様であり、暗部側にノイズに埋もれた暗部領域（＝黒潰れ領域）Ｒ１があり、また明部側に画素の飽和によりクリップされた明部領域（＝「白飛び」領域）Ｒ２があり、また適正画像のダイナミックレンジＤ２がある。ここで、適正露光で撮影された撮影画像の平均輝度をＢｖ＿ａｖｅ１とする。
【００５６】
図３（ｅ）は、図３（ｂ）に示すアンダ露光で撮影された撮影画像の輝度分布を示す。この輝度分布は、暗部側にノイズに埋もれた暗部領域（＝黒潰れ領域）Ｒ１があり、またアンダ画像のダイナミックレンジＤ２がある。ここで、アンダ露光における暗部領域Ｒ１のレンジ幅は、図３（ａ）の適正露光による撮影の場合と同一感度のため（ＩＳＯ感度Ｓｖはｓｖで同一）、暗部ノイズのレベルは同一である。また、アンダ露光であることから、平均輝度Ｂｖ＿ａｖｅ２は、全体に暗い側にシフトしており、このため明部領域Ｒ２はない。
【００５７】
図３（ｆ）は、図３（ｃ）に示すオーバ露光で撮影された撮影画像の輝度分布を示す。この輝度分布は、暗部側にノイズに埋もれた暗部領域（＝黒潰れ領域）Ｒ１があり、また明部側に画素の飽和によりクリップされた明部領域（＝「白飛び」領域）Ｒ２”があり、またオーバ画像のダイナミックレンジＤ２がある。ここで、オーバ露光における暗部領域Ｒ１のレンジ幅は、図３（ａ）の適正露光による撮影の場合と同一感度のため、暗部ノイズのレベルは同一である。また、オーバ露光であることから、平均輝度Ｂｖ＿ａｖｅ３は、全体に明るい側にシフトしており、このため明部領域Ｒ２”は明部側に広がっている。
【００５８】
このように、適正露光、アンダ露光、およびオーバ露光において、撮影感度（ＩＳＯ感度、Ｓｖ）が変わらないために、暗部ノイズ量は同一量となる。但し、異露光撮影のため画像の明るさは異なっている（平均輝度Ｂｖ＿ａｖｅ１〜Ｂｖ＿ａｖｅ３は異なっている）。
【００５９】
異露光撮影した複数枚の画像を用いて画像合成するＨＤＲ技術では、画像合成する際に、画像の明るさを略同じにした上で行う。図３に示した３枚の撮影画像の明るさを揃える「明るさ調整」を行い、アンダ画像の明るさに合わせた例を図４に示す。
【００６０】
図４は、明るさ調整後の輝度分布を示している。すなわち、図４（ａ）は適正露光で撮影された撮影画像を示し、図４（ｂ）はアンダ露光で撮影された撮影画像を示し、図４（ｃ）はオーバ露光で撮影された撮影画像を示す。図４（ａ）〜（ｃ）に示すように、これら３枚の画像の平均輝度は、明るさ調整によって略同一になっている。そして、図４（ｄ）は適正露光時の輝度分布を示し、図４（ｅ）はアンダ露光時の輝度分布を示し、図４（ｆ）はオーバ露光時の輝度分布を示す。
【００６１】
明るさ調整により適正露光の平均輝度Ｂｖ＿ａｖｅ１及びオーバ露光の平均輝度Ｂｖ＿ａｖｅ３が、アンダ露光の平均輝度Ｂｖ＿ａｖｅ２と一致するように、輝度分布を調整する。３枚の画像の平均輝度を一致させることにより、暗部のノイズレベルに違いが生じてくる。また、ダイナミックレンジも変化し、適正露光はダイナミックレンジＤ２が圧縮されＤ２１となり、オーバ露光では、ダイナミックレンジＤ２がさらに圧縮されＤ２３となる。
【００６２】
明るさ調整を行うと、被写体の動きと被写体輝度を考慮して、位置合わせを行う。図５（ａ）は、位置合わせを行った合成画像を示し、図５（ｂ）は、位置合わせ後の合成画像の輝度分布を示す。図５（ｂ）から分かるように、明るい領域については、アンダ画像の明部領域を適用することにより、「白飛び」を改善し、暗い領域については、オーバ画像の暗部領域を適用することにより、「黒潰れ」を改善している。また、動く被写体に対しても、図６及び図７を用いて後述する位置合わせ処理を行うことにより、合成による二重像となる弊害を防止している。
【００６３】
図５（ａ）（ｂ）に示すような合成処理を行うと、次に、図５（ｃ）（ｄ）に示すように、合成画像に対して現像処理を行う。図５（ａ）（ｂ）に示した合成画像は、アンダ露出と同じ平均輝度Ｂｖ＿ａｖｅ２となっているため、最後に現像処理により、明部の階調を残しつつ、平均輝度を適正画像と同等レベル（Ｂｖ＿ａｖｅ１）まで持ち上げる階調変換処理を行うと同時に現像処理を行う。結果として、明部の白飛びを抑え、暗部の黒潰れを改善したダイナミックレンジの広い１枚の画像を得ることができる。すなわち、明部はアンダ撮影による画素の飽和改善が、また暗部はノイズレベルの違いがダイナミックレンジの拡大効果に役立っている。
【００６４】
複数枚ＨＤＲでは、複数枚の異露光画像を用いて画像合成を行うが、画像合成に先だって異露光画像の位置合わせを行う必要がある。図６（ａ）は、位置合わせを行う２枚の画像を示し、左側の画像は右側の画像より明るい画像である。位置合わせは、ブロックマッチングによって行う。ブロックマッチングでは差分絶対値和（ＳＡＤ）を用いるのが一般的である。このＳＡＤは、ブロック間の各画素において、画素の差分絶対値を算出し、ブロック内の全ての画素における差分絶対値の和を取ったものである。従って、ＳＡＤ値が低いほど差分が少ないことになり、相関値が高いことを意味する。
【００６５】
この方法では２枚の画像のブロック毎の差分に基づいて行うことから、画像の明るさが異なると、正確な位置合わせができない。そこで、明るさ調整処理により２枚の画像の明るさを揃えるようにしている。この明るさ調整の際にノイズレベルに差が生ずる。図６（ｂ）では、ノイズレベルに差が生ずることを示しており、右側の画像におけるドットはノイズ量を意味している。
【００６６】
図６（ｃ）に示すようなブロック分けを行ってブロックマッチング処理を行うと、各ブロックでノイズレベルの差も画像の差分としてＳＡＤ値を算出することになる。この処理の際、２枚の撮影画像のＩＳＯ感度が低い場合には、もともとのノイズ自体が低いため、多少のノイズレベルの違いがあっても、位置合わせ処理に必要なＳＡＤ値の精度は確保できる。
【００６７】
図７（ａ）に示す例は、２枚の撮影画像のＩＳＯ感度が低い場合である。図７（ａ）中の画像１１ａは１枚目の撮影画像のブロックの中の１つであり（画像１１の車の後輪部分に相当）、画像１１ｂは２枚の画像１１ａとマッチングをみるための領域である。この例では、位置合わせ処理に必要なＳＡＤ値の精度を確保できることから、ダイナミックレンジ拡大のための合成処理後の画像１１は、被写体の位置ズレを起こすことがない。
【００６８】
しかし、２枚の撮影画像のＩＳＯ感度が高い場合には、もともとノイズ自体が多く含まれるため、被写体の位置ズレをＳＡＤ値で正確に得ることは困難になる。そのため、ブロックマッチングで正しい動きベクトルを得ることができず、複数枚ＨＤＲ効果を出すためには、二重像となってしまうことがあった。
【００６９】
図７（ｂ）に示す例は、２枚の撮影画像のＩＳＯ感度が高い場合である。図７（ｂ）中の画像１２ａは１枚目の撮影画像のブロックの中の１つであり（画像１２の車の後輪部分に相当）、画像１２ｂは２枚の画像１２ａとマッチングをみるための領域である。この例では、位置合わせ処理に必要なＳＡＤ値の精度を確保できないことから、ダイナミックレンジ拡大のための合成処理後の画像１１は、被写体の位置ズレを起こしている。
【００７０】
複数枚ＨＤＲを手持ち撮影で行う場合には、手ブレの発生を抑えるために、手ブレ限界となるシャッタ速度でＩＳＯ感度を高くすることから、この問題が表面化しやすい。図３ないし図５を用いて説明したように、複数枚ＨＤＲにおける暗部のダイナミックレンジの拡大効果は、ノイズレベルの違いにより得られる効果であるが、位置合わせ精度としては、暗部のノイズレベルの違いにより、精度が悪化してしまうという問題がある。そこで、本実施形態においては、ＩＳＯ感度を変えて、異露光撮影を行うようにしている。
【００７１】
次に、本実施形態における複数枚ＨＤＲ処理の動作について、図８に示すフローチャートを用いて説明する。この動作は、マイクロコンピュータ１２１がフラッシュメモリ１２５に記憶されているプログラムに従って実行する。
【００７２】
図８に示す複数枚ＨＤＲ処理のフローに入ると、まず、露光段差設定の読み込みを行う（Ｓ１）。複数枚ＨＤＲでは、露光量を変えながら複数枚、撮影を行う。このステップでは、設定されている露光量の段差の読み込みを行う。本実施形態においては、アンダ撮影のための段差（−Δｅｖ”），適正露光撮影のための段差（±０ｅｖ）、オーバ撮影のための段差（＋Δｅｖ’）を、フラッシュメモリ１２５から読み込む。なお、この露光段差は、予めフラッシュメモリ１２５に記憶しておく以外にも、例えば、メニュー画面等において、ユーザが設定し、この設定値を読み込むようにしてもよい。
【００７３】
露光段差設定の読み込みを行うと、次に、適正露光撮影条件の算出を行う（Ｓ３）。ＡＥ処理部１１３において被写体の輝度値を検出するので、この輝度値を用いて、アペックス演算等により、適正露光となるシャッタ速度値（Ｔｖ＿ｓｔｄ）、絞り値（Ａｖ＿ｓｔｄ）、ＩＳＯ感度値（Ｓｖ＿ｓｔｄ）を算出する。なお、アペックス演算以外にも、テーブル参照等、他の方法により適正露光撮影条件を求めてもよい。
【００７４】
適正露光撮影条件を算出すると、次に、オーバ露光シャッタ速度の算出を行う（Ｓ５）。ここでは、ステップＳ３において算出された適正露光となる絞り値とＩＳＯ感度値を保持しつつ、ステップＳ１において読み込んだオーバ露光の段差（＋Δｅｖ’）に基づいてオーバ露光となるシャッタ速度値を算出する。
【００７５】
オーバ露光シャッタ速度を算出すると、次に、適正露光のＩＳＯ感度Ｓｖ＿ｓｔｄが最低ＩＳＯ感度より大きいか否かの判定を行う（Ｓ７）。適正露光のＩＳＯ感度は、ステップＳ３において算出したＩＳＯ感度である。また、最低ＩＳＯ感度は、このデジタルカメラが設定可能なＩＳＯ感度の中で最低の値である。なお、ユーザが適宜設定できるようにしてもよい。
【００７６】
ステップＳ７における判定の結果、算出された適正露光のＩＳＯ感度Ｓｖ＿ｓｔｄが最低ＩＳＯ感度よりも大きくない場合には、アンダ露光のシャッタ速度を算出する（Ｓ１７）。ここでは、ステップＳ１において読み込んだ露光段差（−Δｅｖ”）に応じたアンダ露光となるシャッタ速度を算出する。すなわち、適正露光の絞り値（Ａｖ＿ｓｔｄ）、ＩＳＯ感度（Ｓｖ＿ｓｔｄ）、露光段差（−Δｅｖ”）を用いて算出したシャッタ速度となる。このステップでは、露光量の制御にあたって、最低ＩＳＯ感度よりも下げられないことから、アンダ露光にするためにシャッタ速度を高速側にシフトさせる。
【００７７】
一方、ステップＳ７における判定の結果、算出された適正露光のＩＳＯ感度Ｓｖ＿ｓｔｄが最低ＩＳＯ感度よりも大きい場合には、次に、適正露光のＩＳＯ感度Ｓｖ＿ｓｔｄと最低ＩＳＯ感度の差分値が、露光段幅Δｅｖ”より大きいか否か（（Ｓｖ＿ｓｔｄ−最低ＩＳＯ感度）＞Δｅｖ”）を判定する（Ｓ９）。すなわち、適正露光のＩＳＯ感度と最低ＩＳＯ感度との差分値が、アンダ露光画の露光段幅よりも大きいか否かを判定する。
【００７８】
ステップＳ９における判定の結果、ＩＳＯ感度の差分値がアンダ側の露光段幅より大きい場合には、アンダ露光側の露光段差に応じたアンダ露光のＩＳＯ感度を算出する（Ｓ１１）。この場合のアンダ撮影では、適正露光の絞り値（Ａｖ＿ｓｔｄ）、シャッタ速度（Ｔｖ＿ｓｔｄ）を保持しつつ、露光段差（−Δｅｖ”）が得られるようなＩＳＯ感度を算出する。
【００７９】
一方、ステップＳ９における判定の結果、ＩＳＯ感度の差分値がアンダ側の露光段幅より大きくない場合には、アンダ露光ＩＳＯ感度を算出する（Ｓ１３）。ここでは、最低ＩＳＯ感度をアンダ露光用のＩＳＯ感度とする。続いて、アンダ露光のシャッタ速度を算出する（Ｓ１５）。ステップＳ１３において、ＩＳＯ感度を最低ＩＳＯ感度に設定しているが、この設定では不足する露光段差分がある。そこで、この不足分、すなわち、
Δｅｖ”−（Ｓｖ＿ｓｔｄ−最低ＩＳＯ感度）
に基づいて、シャッタ速度を算出する。したがって、この場合には、アンダ撮影は、適正露光の絞り値（Ａｖ＿ｓｔｄ）を用いて、算出したＩＳＯ感度（＝最低ＩＳＯ感度）と、ここで算出したシャッタ速度に従って露出制御される。
【００８０】
ステップＳ１１においてアンダ露光ＩＳＯ感度を算出すると、またはステップＳ１５においてアンダ露光シャッタ速度を算出すると、またはステップＳ１７においてアンダ露光シャッタ速度を算出すると、次に、異露光撮影を行う（Ｓ１９）。ここでは、ステップＳ３において算出された適正露光を得るための撮影条件、ステップＳ５において算出されたオーバ露光を得るための撮影条件、ステップＳ１１、Ｓ１３、Ｓ１５、Ｓ１７において算出されたアンダ露光を得るための撮影条件にしたがって、ステップＳ１において読み込んだ露出段差のある３枚の撮影を、順次、行う。
【００８１】
異露光撮影を行うと、次に、明るさ調整処理を行う（Ｓ２１）。前述したように、複数枚ＨＤＲ撮影では、画像毎の明るさが異なると、位置合わせが困難になることから、合成前に、明るさ調整処理を行って画像毎の明るさを合わせている。ここでは、図４を用いて説明したように、３枚の画像の平均輝度値が一致するように画像処理を行う。
【００８２】
明るさ調整処理を行うと、次に、位置合わせ合成処理を行う（Ｓ２３）。画像に動く被写体が含まれている場合には、単に明るさに応じて合成したのでは、二重像が発生してしまう。そのため、画像から動く被写体を検出し、その付近では合成を控えることにより、二重像の発生を抑えている。そこで、位置合わせ処理により、動く被写体領域を検出し、その情報に基づき合成処理を行っている。
【００８３】
位置合わせ合成処理を行うと、次に、現像処理を行う（Ｓ２５）。ここでは、ステップＳ２３における位置合わせ合成処理の結果を用いて、明部の飛び際を残しつつ、全体の明るさを適正相当に持ち上げることで、白飛び、黒潰れのない、ダイナミックレンジの広い画像を生成している（図５の（ｃ）（ｄ）参照）。
【００８４】
このように、本実施形態における複数枚ＨＤＲ処理のフローでは、異露光撮影時のアンダ露光を行うにあたって、ＩＳＯ感度を下げることを優先して露光量を制御している（Ｓ１１、Ｓ１３参照）。このため、シャッタ速度のみによって露光量を制御する場合に比較して、撮影画像間において、ノイズレベルの差を小さくすることができる（図９の説明参照）。ノイズレベルの差が小さくなると、明るさ調整を行う際に、位置合わせを正確に行うことができる。
【００８５】
また、本実施形態における複数枚ＨＤＲ処理のフローでは、ＩＳＯ感度を変更して露光量を制御する際に、ＩＳＯ感度による露光量の調整量が露光量設定部の設定値に対して不足するときには（Ｓ９）、この不足する分をシャッタ速度の調整により補って露光量を調整している（Ｓ１３、Ｓ１５）。
【００８６】
また、本実施形態における複数枚ＨＤＲ処理のフローでは、複数コマの画像データによって表わされるそれぞれの画像の明るさを一致させるために、複数コマの画像データのレベル調整を行った後に（Ｓ２１）、このレベル調整が行われた複数コマの画像データの位置合わせを行い（Ｓ２３）、被写体の明るさに応じて、レベル調整が行われた複数コマの画像データの中から画素毎もしくは所定の領域毎に合成する部分の画像データを選択、もしくは重み付け加算処理をして合成画像データを生成している（Ｓ２３）。例えば、所定輝度以下の暗い画像についてはオーバ露光の画像データ、所定輝度以上の明るい画像についてはアンダ露光の画像データ、それ以外の明るさの画像については適正露光の画像データを選択、あるいはその重み付けを大きくした合成を行うことで合成画像データを生成する。
【００８７】
次に、図９を用いて、本実施形態における位置合わせの効果について説明する。本実施形態においては、アンダ撮影を行う場合に、最低ＩＳＯ感度に設定している（図８のＳ１１、Ｓ１３）。図９（ａ）は、このＩＳＯ感度の調整を行わない場合を示し、図９（ｂ）は、ＩＳＯ感度の調整を行う場合を示す。すなわち、図９（ａ）は、従来と同様、シャッタ速度の調整のみによって異露光撮影を行う場合であり、図９（ｂ）は本実施形態におけるシャッタ速度とＩＳＯ感度の調整によって異露光撮影を行う場合を示す。
【００８８】
図９（ａ）に示す例では、シャッタ速度Ｔｖを、オーバ露光でｔｖ−１、適正露光でｔｖ、アンダ露光でｔｖ＋１としており、絞り値Ａｖはいずれの露光でもａｖ、ＩＳＯ感度はいずれの露光でもｓｖとしている。これらの撮影条件によって、オーバ露光画像２１ａ、適正露光画像２２ａ、アンダ露光画像２３が得られる。
【００８９】
明るさ調整は、前述したように、アンダ露光で撮影した画像を基準とし、アンダ露光の画像にオーバ露光および適正露光で撮影した画像の明るさを合わせるように調整する。これらの明るさ調整によって、オーバ露光画像２１ｂ、適正露光画像２２ｂが得られる。このときのノイズレベルの差は次のようになる。
・アンダ露光画像２３と適正露光画像２２ｂのノイズレベルの差：
１−１／２＝１／２
・アンダ露光画像２３とオーバ露光画像２１ｂのノイズレベルの差：
１−１／４＝３／４
【００９０】
図９（ｂ）に示す例では、シャッタ速度Ｔｖを、オーバ露光でｔｖ−１、適正露光でｔｖ、アンダ露光でｔｖとしている。またＩＳＯ感度Ｓｖを、オーバ露光および適正露光でｓｖ、アンダ露光でｓｖ−１とし、絞り値Ａｖはいずれの露光でもａｖとしている。これらの撮影条件によって、オーバ露光画像３１ａ、適正露光画像３２ａ、アンダ露光画像３３が得られる。
【００９１】
図９（ａ）の場合と同様、アンダ露光画像を基準にして、明るさ調整によって、オーバ露光画像３１ｂ、適正露光画像３２ｂが得られる。このときのノイズレベルの差は次のようになる。
・アンダ露光画像３３と適正露光画像３２ｂのノイズレベルの差：
１／２−１／２＝０
・アンダ露光画像２３とオーバ露光画像２１ｂのノイズレベルの差：
１／２−１／４＝１／４
【００９２】
このように、ＩＳＯ感度の調整を行わない場合に比較し、本実施形態のようにＩＳＯ感度の調整を行うとノイズレベルの差は小さくなる。すなわち、アンダ露光画像と適正露光画像のノイズレベルの差は、１／２から０に低下し、またアンダ露光画像とオーバ露光画像のノイズレベルの差は、３／４から１／４に低下している。この結果、明るさ調整をした際の画像ノイズレベルの差が小さくなり、このため、本実施形態においては、位置合わせ精度が向上する。
【００９３】
次に、本実施形態におけるダイナミックレンジの拡大効果について、図１０を用いて説明する。図１０（ａ）は、適正露光で撮影した画像であり、図１０（ｂ）はアンダ露光で撮影した画像であり、図１０（ｃ）はオーバ露光で撮影した画像である。また、図１０（ｄ）は適正露光で撮影した画像の輝度分布を示し、図３（ｄ）と同様に、ノイズに埋もれた暗部領域（黒潰れ領域）Ｒ１、適正画像のダイナミックレンジＤ２、画素の飽和によりクリップされた明部領域（白飛び領域）Ｒ２に分かれる。
【００９４】
図１０（ｅ）は、アンダ露光で撮影した画像の輝度分布を示し、ノイズに埋もれた暗部領域（黒潰れ領域）Ｒ１’と、アンダ画像のダイナミックレンジＤ２’とに分かれる。アンダ露光の撮影では、前述したように、ＩＳＯ感度Ｓｖが、適正露光の撮影の場合とは異なることから、暗部領域Ｒ１と暗部領域Ｒ１’におけるノイズレベルが異なる。
【００９５】
図１０（ｆ）は、オーバ露光で撮影した画像の輝度分布を示し、ノイズに埋もれた暗部領域（黒潰れ領域）Ｒ１、適正画像のダイナミックレンジＤ２、画素の飽和によりクリップされた明部領域（白飛び領域）Ｒ２”に分かれる。
【００９６】
このように、本実施形態においては、適正露光およびオーバ露光に対して、アンダ露光では、ＩＳＯ感度が異なるため、ノイズレベルが異なっており、図１０に示す例では、ノイズレベルが１段分、異なっている。
【００９７】
次に、本実施形態における明るさ調整について、図１１を用いて説明する。図１１（ａ）は、適正露光で撮影した画像であり、図１１（ｂ）はアンダ露光で撮影した画像であり、図１１（ｃ）はオーバ露光で撮影した画像である。図１１（ｄ）〜（ｆ）は、それぞれ適正露光、アンダ露光、オーバ露光で撮影した画像の輝度分布である。
【００９８】
明るさ調整は、前述したように、アンダ露光で撮影した画像の平均輝度Ｂｖ＿ａｖｅ２を基準に、他の適正露光とオーバ露光で撮影した画像の平均輝度Ｂｖ＿ａｖｅ１、Ｂｖ＿ａｖｅ３を一致させるように調整している。適正露光の撮影画像の輝度分布の暗部領域Ｒ１’と、アンダ露光の撮影画像の輝度分布の暗部領域Ｒ１’では、ＩＳＯ感度の違いによる暗部ノイズレベルの違いが、明るさ調整により無くなる、もしくは小さくなる。
【００９９】
また、アンダ露光の撮影画像の輝度分布の暗部領域Ｒ１’と、オーバ露光の撮影画像の輝度分布の暗部領域Ｒ１”では、明るさ調整により暗部ノイズレベルが異なっている。このように、明るさ調整処理により画像の明るさを一致させた状態では、従来の方式（Ｔｖ値のみ変化させる複数枚ＨＤＲ）に比べ、アンダ露出と適正露出、及びアンダ画像とオーバ画像のノイズレベルの差は小さくなる。
【０１００】
次に、本実施形態における位置合わせについて、図１２（ａ）（ｂ）を用いて説明する。本実施形態においては、被写体の動きと被写体の輝度を考慮して位置合わせを行っている。図１２（ａ）は、合成画像を示し、図１２（ｂ）は合成画像の輝度分布を示す。図９を用いて説明したように、本実施形態においては、ノイズレベルの差を小さくしたことから、位置合わせ精度が向上している。合成画像のダイナミックレンジＤ３の明るい領域については、アンダ画像の明部領域を適用することにより、白飛びを改善している。また合成画像のダイナミックレンジＤ３の暗部側にある暗部領域については、オーバ画像の暗部領域を適用することにより、黒潰れを改善している。
【０１０１】
次に、本実施形態における現像処理について、図１２（ｃ）（ｄ）を用いて説明する。前述したように、合成結果、アンダ露出と同じ平均輝度となっているため、最後に現像処理により、明部の階調を残しつつ、平均輝度を適正露光の画像と同等レベルまで持ち上げる階調変換処理を行うと同時に現像処理を行っている。合成画像の暗部には、オーバ画像の暗部が適用され、明部には、アンダ画像の明部が適用されるため、従来の方式（Ｔｖ値のみ変化させる複数枚ＨＤＲ）と同様にダイナミックレンジ拡大効果が得られる。さらに、前述したように、ノイズレベルの差を小さくしたことにより位置合わせ精度が向上し、高感度での複数枚ＨＤＲが可能となる。
【０１０２】
すなわち、図１２（ｄ）において、明るさ調整による暗部ノイズレベルの違いを利用し、暗部のダイナミックレンジＤ２１に拡大している。また、アンダ撮影による画素の飽和改善効果を利用し、明部のダイナミックレンジＤ２２に拡大している。
【０１０３】
以上説明したように、本発明の一実施形態においては、露光量制御部は、アンダ撮影においてはＩＳＯ感度を下げることを優先して露出制御行うようにしている。このため、画像をＨＤＲ技術によって合成する際に、ノイズレベルの差が小さくすることができ、合成の際の位置合わせを正確に行うことができる。
【０１０４】
次に、本発明の一実施形態における複数枚ＨＤＲ処理の変形例を図１３および図１４を用いて説明する。本発明の一実施形態においては、適正露光の撮影条件を基準として、増感し、手ブレを抑えた手持ち撮影を行っていた。これに対して、本変形例においては、適正露光とずれた露光量を基準として増感し、手ブレを抑えた手持ち撮影を行うようにしている。また、本発明の一実施形態においては、露光段差のある異露光撮影にあたっては３枚の画像を撮影していた。これに対して、本変形例においては、撮影枚数を可変にしている。
【０１０５】
図１３に示す複数枚ＨＤＲ処理のフローに入ると、撮影枚数（Ｎ）の読み込みを行う（Ｓ３１）。ここでは、合成する枚数を読み込む。この合成枚数は、メニュー画面等において、ユーザが設定可能とする。設定が無い場合には、デフォルト値の枚数が読みこまれる。
【０１０６】
撮影枚数（Ｎ）を読み込むと、次に、露光段差設定読み込みを行う（Ｓ３３）。露光段差としては、例えば、撮影枚数Ｎ＝５が設定されている場合には、−２ｅｖ、−１ｅｖ、±０ｅｖ、＋１ｅｖ、＋２ｅｖが読み込まれる。
【０１０７】
露光段差を読み込むと、次に、増感基準露光段差（ΔＥｖ＿ｂａｓｅ）を読み込む（Ｓ３５）。この増感基準段差とは、例えば、５枚の露光段差（−２ｅｖ、−１ｅｖ、±０ｅｖ、＋１ｅｖ、＋２ｅｖ）のうち、増感する際の基準とする露光段差であり、ここでは、仮に＋１ｅｖが設定されたものとして、説明する。なお、段差は適宜、ユーザが設定できるようにしてもよい。
【０１０８】
増感基準露光段差を読み込むと、次に、増感基準露光段差での撮影条件を算出する（Ｓ３７）。前述した本発明の一実施形態においては、適正露光を基準としていたが、本変形例では、適正露光以外を基準としてもよい。ここでの例では、＋１ｅｖが増感基準露光段差とし、＋１ｅｖでの撮影条件を算出し、算出されたシャッタ速度、絞り値、ＩＳＯ感度値を、それぞれＴｖ＿ｂａｓｅ、Ａｖ＿ｂａｓｅ、Ｓｖ＿ｂａｓｅとする。
【０１０９】
増感基準露光段差での撮影条件を算出すると、次に、カウント用の変数（ｉ）を初期化（ｉ＝１）とする（Ｓ３９）。そして、ｉ枚目の露光段数が露光段差ΔＥｖ＿ｂａｓｅよりも大きいか否か（ｉ枚目の露光段数＞ΔＥｖ＿ｂａｓｅ）を判定する（Ｓ４１）。
【０１１０】
ステップＳ４１における判定において、例えば、１枚目の露光差が＋２ｅｖであれば、ΔＥｖ＿ｂａｓｅ（＝＋１ｅｖ）よりも大きいために、ステップＳ４３に進む。一方、１枚目の露光差が−２ｅｖであれば、ΔＥｖ＿ｂａｓｅ（＝＋１ｅｖ）よりも大きくないために、ステップＳ４５に進む。
【０１１１】
ステップＳ４１における判定の結果、ｉ枚目の露光段数がΔＥｖ＿ｂａｓｅよりも大きい場合には、ｉ枚目の撮影でのシャッタ速度を算出する（Ｓ４３）。ここでは、ステップＳ３７において算出した撮影条件に対して、シャッタ速度のみを露光差に応じて変更したものを、ｉ枚目の撮影条件とする。
【０１１２】
一方、ステップＳ４１における判定の結果、ｉ枚目の露光段数がΔＥｖ＿ｂａｓｅよりも大きくない場合には、次に、ｉ枚目の露光段数がΔＥｖ＿ｂａｓｅよりも小さいか否かを判定する（Ｓ４５）。例えば、１枚目の露光差が−２ｅｖであれば、ΔＥｖ＿ｂａｓｅ（＋１ｅｖ）よりも小さいため、ステップＳ４７に進む。一方、１枚目の露光差が＋１ｅｖであれば、ΔＥｖ＿ｂａｓｅ（＋１ｅｖ）と等しく、既にステップＳ３７において撮影条件を算出しているために、何もせず、そのままステップＳ４９に進む。
【０１１３】
ステップＳ４７に進む場合は、ｉ枚目の露光段数がΔＥｖ＿ｂａｓｅより小さい場合である。この場合には、図８と同様に、最低ＩＳＯ感度や、最低ＩＳＯ感度との差分に応じて、ＩＳＯ感度やシャッタ速度を算出する。このステップＳ４７におけるｉ枚目の撮影での撮影条件算出の詳しい動作については、図１４を用いて後述する。
【０１１４】
ここまでの処理により、ｉ枚目の撮影条件が算出されたために、変数（ｉ）をインクリメントする（Ｓ４９）。
【０１１５】
そして、このインクリメントした変数ｉが、撮影枚数Ｎより大きいか否かを判定する（Ｓ５１）。この判定の結果、変数ｉが撮影枚数Ｎより大きくない場合には、全ての撮影の撮影条件が算出されていないことから、ステップＳ４１に戻り、撮影条件の算出を続行する。
【０１１６】
ステップＳ５１における判定の結果、変数ｉが撮影枚数Ｎより大きくなると、全ての撮影の撮影条件が算出されたので、ステップＳ５３に進み異露光撮影を行う。ステップＳ５３〜Ｓ５９における処理は、図８のフローにおけるステップＳ１９〜Ｓ２５と同様であることから、説明は省略する。
【０１１７】
次に、ステップＳ４７のｉ枚目の撮影での撮影条件の算出について、図１４を用いて説明する。このフローに入ると、まず、ｉ枚目の露光段差とΔＥｖ＿ｂａｓｅとの差分段数（Δｅｖ＿ｉ）を算出する（Ｓ６１）。例えば、ｉ枚目の露光段差が−２ｅｖの場合には、差分段差は「（＋１）−（−２）」より＋３ｅｖとなる。
【０１１８】
次に、増感基準露光段差でのＩＳＯ感度Ｓｖ＿ｂａｓｅが最低ＩＳＯ感度よりも大きいか否かを判定する（Ｓ６３）。このＩＳＯ感度Ｓｖ＿ｂａｓｅは、ステップＳ３７において算出された値である。
【０１１９】
ステップＳ６３における判定の結果、Ｓｖ＿ｂａｓｅと最低ＩＳＯ感度が同じであれば、ｉ枚目の撮影でのシャッタ速度を算出する（Ｓ７３）。ここでは、ステップＳ３７にて算出した撮影条件に対して、シャッタ速度のみを露光差に応じて変更したものを、ｉ枚目の撮影条件とする。
【０１２０】
一方、ステップＳ６３における判定の結果、Ｓｖ＿ｂａｓｅが最低感度よりも大きい場合には、次に、Ｓｖ＿ｂａｓｅと最低ＩＳＯ感度の差分がΔｅｖ＿ｉより大きいか否かを判定する（Ｓ６５）。Δｅｖ＿ｉは、ステップＳ６１において算出したｉ枚目の露光段差とΔＥｖ＿ｂａｓｅとの差分段差である。
【０１２１】
ステップＳ６５における判定の結果、Ｓｖ＿ｂａｓｅと最低ＩＳＯ感度の差分が差分段差Δｅｖ＿ｉよりも大きい場合には、ｉ枚目の撮影でのＩＳＯ感度を算出する（Ｓ６７）。ここでは、ステップＳ３７にて算出した撮影条件に対して、ＩＳＯ感度のみを露光差に応じて変更したものを、ｉ枚目の撮影条件とする。
【０１２２】
一方、ステップＳ６５における判定の結果、Ｓｖ＿ｂａｓｅと最低ＩＳＯ感度の差分が差分段差Δｅｖ＿ｉよりも大きくない場合には、最初にＩＳＯ感度を最低ＩＳＯ感度に設定し（Ｓ６９）、残りの不足分をシャッタ速度の変更によって補うように撮影条件を算出する（Ｓ７１）。
【０１２３】
ステップＳ６７においてｉ枚目の撮影でのＩＳＯ感度を算出すると、またはステップＳ７１においてｉ枚目の撮影でのシャッタ速度を算出すると、またはステップＳ７３においてｉ枚目の撮影でのシャッタ速度を算出すると、元のフローに戻る。
【０１２４】
このように、本発明の一実施形態の変形例においては、増感基準露光段差（ΔＥｖ＿ｂａｓｅ）を基準として増感し、手ブレを抑えた手持ち撮影を行うようにしている。適正露光以外を基準にした増感であっても、本変形例においては、位置合わせ精度を確保した合成処理が可能となる。
【０１２５】
以上説明したように、本発明の一実施形態や変形例においては、露光量制御部は、少なくとも１回の撮像においてＩＳＯ感度を変更して露光量を制御して撮像を行うようにしている。このため、画像をＨＤＲ技術によって合成する際に、ノイズレベルの差を小さくすることができる（図９、図１１参照）。
【０１２６】
なお、本発明の一実施形態や変形例において示した露光段差等の数値は、例示であり、これとは異なる数値を設定するようにしてもよいことは勿論である。
【０１２７】
また、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話、スマートフォーンや携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、複数コマの画像データを合成することにより広ダイナミックレンジの画像を得るために、異なる露光量で連続して同一被写体に関する複数回の撮像を行う機器であれば、本発明を適用することができる。
【０１２８】
また、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず」、「次に」等の順番を表現する言葉を用いて説明したとしても、特に説明していない箇所では、この順で実施することが必須であることを意味するものではない。
【０１２９】
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【０１３０】
１００・・・カメラ本体、１０１・・・メカシャッタ、１０３・・・撮像素子、１０５・・・アナログ処理部、１０７・・・Ａ／Ｄ変換部、１０９・・・バス、１１１・・・画像処理部、１１１ａ・・・ＷＢ補正部、１１１ｂ・・・同時化処理部、１１１ｃ・・・色再現処理部、１１１ｄ・・・ＮＲ処理部、１１３・・・ＡＥ処理部、１１５・・・ＡＦ処理部、１１７・・・ＡＷＢ処理部、１１９・・・ＪＰＥＧ処理部、１２１・・・マイクロコンピュータ、１２３・・・操作部、１２５・・・フラッシュメモリ、１２７・・・ＳＤＲＡＭ、１２９・・・メモリＩ／Ｆ、１３１・・・記録媒体、１３３・・・ＬＣＤドライバ、１３５・・・ＬＣＤ、２００・・・交換式レンズ、２０１・・・撮影レンズ、２０３・・・絞り、２０５・・・ドライバ、２０７・・・マイクロコンピュータ、２０９・・・フラッシュメモリ、９９９・・・Ｉ／Ｆ
【図１】
2014060578.tif 000003
【図２】
2014060578.tif 000004
【図３】
2014060578.tif 000005
【図４】
2014060578.tif 000006
【図５】
2014060578.tif 000007
【図６】
2014060578.tif 000008
【図７】
2014060578.tif 000009
【図８】
2014060578.tif 000010
【図９】
2014060578.tif 000011
【図１０】
2014060578.tif 000012
【図１１】
2014060578.tif 000013
【図１２】
2014060578.tif 000014
【図１３】
2014060578.tif 000015
【図１４】
2014060578.tif 000016