同一被写体を撮影して露光量の異なる複数枚のセットの入力画像を得ることが可能に構成される撮像部と、前記露光量の異なる複数枚のセットの入力画像から合成画像を生成する画像合成部と、ライブビュー表示動作中に、前記撮像部から得られる露光量の異なるn枚のセットnは2以上の整数の入力画像を前記画像合成部で合成して生成された合成画像をもとにライブビュー画像を出力するライブビュー画像出力部と、本撮影時に、前記撮像部から得られる露光量の異なるm枚のセットmは2以上の整数の入力画像を前記画像合成部で合成して生成された合成画像をもとに記録画像を生成する、記録画像生成部とを備えることを特徴とする撮像装置。前記mの値は、前記nの値よりも大きいことを特徴とする請求項1に記載の撮像装置。前記撮像部は、画素加算読み出しが可能に構成され、前記ライブビュー画像出力部は、前記ライブビュー表示動作中に前記画素加算読み出しの方式で読み出されて得られる前記n枚のセットの入力画像を前記画像合成部で合成して生成された合成画像をもとに前記ライブビュー画像を出力することを特徴とする請求項1または2に記載の撮像装置。前記撮像部から得られる入力画像に画素加算の処理をして画素数を減じる画素加算処理部をさらに備え、前記ライブビュー画像出力部は、前記ライブビュー表示動作中に、前記撮像部から得られる露光量の異なる前記n枚のセットの入力画像のそれぞれが前記画素加算処理部で画素数が減じられた後、前記画像合成部で合成されて生成された合成画像をもとに前記ライブビュー画像を出力することを特徴とする請求項1または2に記載の撮像装置。前記ライブビュー表示動作中に前記撮像部から得られる前記n枚のセットの入力画像に基づき、前記本撮影に際して前記撮像部から得る際の前記複数枚のセットの入力画像の枚数mを決定する画像枚数決定部をさらに備えることを特徴とする請求項1から4のいずれか一つに記載の撮像装置。前記画像枚数決定部はさらに、前記ライブビュー表示動作中に前記撮像部から得られる前記n枚のセットの入力画像に基づき、以降のタイミングで行われるライブビュー表示動作に際して前記撮像部で得る入力画像の新たな枚数nを決定することを特徴とする請求項5に記載の撮像装置。前記ライブビュー表示動作中に前記撮像部から得られる前記n枚のセットの入力画像それぞれに対応して前記被写体の輝度分布を評価するための評価用データを導出する輝度分布導出部と、前記評価用データを評価し、当該評価結果に基づいて、前記本撮影に際して前記撮像部で前記同一被写体を撮影して露光量の異なる複数枚のセットの入力画像を得る際に設定される露光量のうち、最大露光量と最小露光量とを決定する最大最小露光量決定部とをさらに備えることを特徴とする請求項1から6のいずれか一つに記載の撮像装置。前記輝度分布導出部は、前記ライブビュー表示動作中に前記撮像部から得られる前記n枚のセットの入力画像それぞれに対応して、前記n枚のセットの入力画像のそれぞれが有する画素数よりも少ない画素数で構成される輝度画像データを前記評価用データとして生成することを特徴とする請求項7に記載の撮像装置。前記最大最小露光量決定部は、前記評価用データ中、最も少ない露光量で得られた入力画像に対応して生成された評価用データの評価結果に基づいて前記最小露光量を決定し、最も多い露光量で得られた入力画像に対応して生成された評価用データの評価結果に基づいて前記最大露光量を決定することを特徴とする請求項7または8に記載の撮像装置。前記最大最小露光量決定部は、前記評価用データのうち、最も少ない露光量で得られた入力画像に対応して導出された評価用データ中、第1の閾値以上の輝度を有する領域の占める割合が第2の閾値以下となるように前記最小露光量を決定することを特徴とする請求項7から9のいずれか一つに記載の撮像装置。前記最大最小露光量決定部は、前記評価用データのうち、最も多い露光量で得られた入力画像に対応して導出された評価用データ中、第3の閾値以下の輝度を有する領域の占める割合が第4の閾値以下となるように前記最大露光量を決定することを特徴とする請求項7から10のいずれか一つに記載の撮像装置。前記nの値が2に固定されることを特徴とする請求項1から11のいずれか一つに記載の撮像装置。前記ライブビュー画像出力部は、前記ライブビュー画像を表示可能に構成される表示装置を備えることを特徴とする請求項1から12のいずれか一つに記載の撮像装置。ところで、撮像装置でライブビュー表示等が行われる場合、構図の確認を可能とするだけでなく、撮像装置で設定された露光条件等に応じて、実際にどのような仕上がりの画像が得られるのかを撮影者が本撮影前に把握できることが望ましい。しかし、上述した特許文献1、2、3に開示されるものはいずれも、最終的に得られる画像の白飛び黒つぶれ低減だけを目的としている。つまり、HDRの技術を用いることによってどのような画像が得られるのかを撮影者へ事前に示す、ということの必要性や技術そのものについて、一切の開示も示唆も無い。結果として、撮影者はどのような仕上がりの画像が得られるのかを事前に知ることはできず、撮影後に得られた画像を観て、満足できなければ撮像装置の設定を変更して再度撮影を行う必要がある。本発明は、上記の課題に鑑みてなされたものであり、HDRの技術を用いて得られる画像がどのような仕上がりとなるか、本撮影に先立って撮影者が事前に把握することが可能な技術を提供することを目的とする。本発明の代表的な一例を示せば以下の通りである。すなわち、撮像装置が、同一被写体を撮影して露光量の異なる複数枚のセットの入力画像を得ることが可能に構成される撮像部と、前記露光量の異なる複数枚のセットの入力画像から合成画像を生成する画像合成部とライブビュー表示動作中に、前記撮像部から得られる露光量の異なるn枚のセットnは2以上の整数の入力画像を前記画像合成部で合成して生成された合成画像をもとにライブビュー画像を出力するライブビュー画像出力部と、本撮影時に、前記撮像部から得られる露光量の異なるm枚のセットmは2以上の整数の入力画像を前記画像合成部で合成して生成された合成画像をもとに記録画像を生成する、記録画像生成部とを備える。本発明によれば、HDRの技術を用いて得られる画像がどのような仕上がりとなるか、本撮影に先立ってライブビュー画像を観ることにより、撮影者が把握することが可能となる。以下では、本発明をライブビュー画像の表示が可能なデジタルカメラに適用した場合について説明をする。-第1の実施の形態-図1は、本発明の第1の実施の形態に係るデジタルカメラ100の外観を説明する図であり、図1aはその正面図を、図1bは背面図を示す。デジタルカメラ100はスチルカメラで、撮影レンズ交換式であるものとするが、静止画撮影が可能なムービーカメラであってもよい。図1aにおいてデジタルカメラ100は、撮影レンズLを外した状態で示している。デジタルカメラ100は、撮像素子102と、レリーズボタン104と、マウント106と、接続端子108と、表示装置110と、操作部材112とを備える。デジタルカメラ100はまた、必要に応じて電子ビューファインダ114を備えていてもよく、この電子ビューファインダ114はデジタルカメラ100と一体に構成されていても、着脱可能に構成されていてもよい。本実施の形態において、デジタルカメラ100は固定された電子ビューファインダ114を備えるものとして説明する。撮像素子102は、デジタルカメラ100に装着された撮影レンズLにより形成される被写体像を光電変換して画像信号を出力する。本実施の形態において撮像素子102はCMOSイメージセンサであり、アンプ、CDSCorrelatedDoubleSampling回路、A/Dコンバータ等を含むアナログフロントエンドを内蔵していてデジタル画像信号を出力可能に構成されるものとする。また、撮像素子102は、画像信号の読み出しモードとして、キャプチャーモードとモニタリングモードとを備えるものとする。キャプチャーモードは、比較的高画素で、記録用の画像を得ることの可能な読み出しモードである。モニタリングモードは、高精細モードで得られる画像に比して精細度が低く、より少ない画素数の画像を得る読み出しモードである。モニタリングモードで可能な読み出し速度フレームレートは、キャプチャーモードで可能なフレームレートよりも高くすることが可能である。モニタリングモードにおいては、いわゆる間引き読み出しによる読み出しが行われても、画素加算読み出しによる読み出しが行われてもよい。モニタリングモードで得られる画像は主として自動焦点調節、自動露出調節、ライブビュー画像の表示に用いられるが、モニタリングモードで得られる画像をもとに動画像の記録を行うことも可能である。また、撮像素子102の画像信号転送速度が高く、デジタルカメラ100の処理能力も高ければ、キャプチャーモードで得られた画像に基づく自動焦点調節、自動露出調節、ライブビュー画像の表示、動画像の記録等を行うことも可能である。これについては第2の実施の形態で説明する。レリーズボタン104は、撮影者による撮影操作を受け付けるためのものである。レリーズボタン104を撮影者が押下すると、そのストロークに応じてレリーズスイッチが二段階の動作をする。レリーズボタン104を押下してゆくと、まずファーストレリーズスイッチがオンし、レリーズボタン104をさらに押下するとセカンドレリーズスイッチがオンする。ファーストレリーズスイッチのオンで焦点調節動作や測光動作が行われ、セカンドレリーズスイッチのオンで撮影動作が行われる。マウント106は、撮影レンズLの後面に設けられるマウントと嵌合してデジタルカメラ100と撮影レンズLとを締結するレンズ装着部である。接続端子108は、複数の端子が円弧状に配列されて構成される電気接点である。マウント106に撮影レンズLを装着すると、撮影レンズL側に設けられた接点と接続端子108とが接触する。そして、デジタルカメラ100の電源を投入すると、デジタルカメラ100から撮影レンズLへの電力の供給と、デジタルカメラ100、撮影レンズL間の相互通信が可能となる。デジタルカメラ100から撮影レンズLへ制御信号を出力することにより、撮影レンズLの側ではフォーカシング動作や絞り調節動作が行われる。なお、本実施の形態においては、デジタルカメラ100が撮影レンズを交換可能に構成される例について説明するが、デジタルカメラ100は撮影レンズ一体式のものであってもよい。その場合にはマウント106および接続端子108は省略可能となる。表示装置110は、文字情報、アイコン、画像等を表示可能に構成され、カラー液晶表示パネルとバックライト装置等とを備えて構成される。あるいは、有機EL表示装置等の自発光表示装置等を備えて構成されていてもよい。デジタルカメラ100がライブビュー撮影モードや動画撮影モードで動作しているときに、ライブビュー画像を表示装置110に表示することが可能である。また、静止画撮影動作を完了したときに、撮影して得られた画像ポストビュー画像を表示装置110に表示することが可能である。操作部材112は、押しボタンスイッチ、ダイヤルスイッチ、スライドスイッチ、タッチパッド等のうち、いずれか一種類または複数種類を備えて構成される。撮影者が操作部材112を操作することにより、デジタルカメラ100の起動、動作モードの切り換え、メニュー設定、動画撮影の開始/停止等をすることができる。電子ビューファインダ114は、小型のカラー液晶表示装置と、照明装置と、液晶表示装置上に表示される画像を拡大して撮影者の眼に導く観察光学系等とを備えて構成される。あるいは、小型の有機EL表示装置と、有機EL表示装置上に表示された画像を拡大して撮影者の眼に導く観察光学系等とを備えて構成されていてもよい。電子ビューファインダ114は、静止画像撮影動作時や動画像撮影動作時にライブビュー画像を表示可能に構成される。撮影者は、デジタルカメラ100の使用状況に応じて、表示装置110または電子ビューファインダ114に表示されるライブビュー画像を観ながら撮影を行う。以下ではデジタルカメラ100を操作して静止画像の撮影が行われる例について説明する。静止画撮影をするにあたり、撮影者が表示装置110または電子ビューファインダ114に表示されるライブビュー画像を観ながら構図決定を行い、シャッターチャンスを待つ。その後、レリーズボタン104を押下してファーストレリーズスイッチおよびセカンドレリーズスイッチのオンが検出されると静止画撮影動作が行われる。以下では、撮影者が構図決定を行っているときにデジタルカメラ100で行われる動作をライブビュー表示動作と称する。また、セカンドレリーズスイッチのオンが検出されたときにデジタルカメラ100で行われる動作を静止画像記録動作と称する。デジタルカメラ100ではHDR技術を用いての静止画像記録動作が行われるのに加えて、ライブビュー表示動作を行う際にも、以下に説明するようにHDR技術を用いての表示動作が行われる。HDR技術は、先にも説明したように、複数枚の異露光画像を合成して一つの画像を得ることにより、より広いダイナミックレンジに対応して階調再現を実現可能とする技術である。異露光画像は、ある被写体輝度に対応して決定された複数種類の露光量で同一被写体を撮影して得られる、露光量の互いに異なる画像を意味する。複数枚の異露光画像を得るためには、以下に説明するように、いくつかの方法がある。図1に示されるデジタルカメラ100のように、一つの撮影レンズと一つの撮像素子とを備えるものである場合、異なる露光量での露光動作を時系列に繰り返し行うことにより複数枚の異露光画像を得ることが可能である。撮影レンズおよび撮像素子を複数組備えるものである場合、ある撮影タイミングにおいてこれら複数組の撮影レンズおよび撮像素子を略同時に、異なる露光条件で作動させることにより、複数枚の異露光画像を得ることが可能である。あるいは、一つの撮影レンズと複数の撮像素子と備えていても、複数枚の異露光画像を得ることが可能である。この場合、撮影レンズの後方にビームスプリッタ光路分割部材を配置し、ビームスプリッタで分割された複数の光路上に撮像素子が配置される構成とする。さらに、ビームスプリッタと各撮像素子との間に、光学濃度を変化させることの可能な濃度可変フィルタを配置する。各撮像素子の前に配置される濃度可変フィルタの濃度を個々に調節することにより、複数枚の異露光画像を得ることが可能である。類似する方法としては、偏光ビームスプリッタで分割された複数の光路上に撮像素子を配置し、偏光ビームスプリッタの入射面と撮影レンズとの間に偏光変調素子を配置するものとしてもよい。この場合には、偏光変調素子による偏光状態を電気的に調節することにより、偏光ビームスプリッタを介して各撮像素子に導かれる各被写体光の光量の比率を連続的に変化させることが可能となり、これにより複数枚の異露光画像を得ることが可能である。複数枚の異露光画像を得るためには、以上に説明した方法のうち、いずれかを用いることが可能である。すなわち、第1の方法は、露光条件を変えながら複数回の露光動作を時系列に行う方法である。第2の方法は、複数の撮像系それぞれで異なる露光条件を設定し、略同時に撮影を行う方法である。第3の方法は、一つの撮影光学系の後方に配置した光路分割部材によって異なる光量分割比率で複数の撮像素子に被写体光を導き、異なる露光量の複数の画像を、一回の露光動作で得る方法である。図2は、デジタルカメラ100の内部構成を概略的に説明するブロック図である。デジタルカメラ100は、撮像部220と、画像処理部200と、撮像制御部222と、ライブビュー画像出力部230と、画像記録部240とを備える。画像処理部200は、画像保持部202と、画像合成部204と、ライブビュー画像生成部206と、記録画像生成部208と、輝度分布導出部210と、最大最小露光量決定部212と、画像枚数決定部214とを備える。画像保持部202の後段からライブビュー画像生成部206および記録画像生成部208の後段まではすべてパイプライン処理が可能に構成されている。ライブビュー画像出力部230には、先に図1を参照して説明した表示装置110、電子ビューファインダ114が必要に応じて備えられる。図2において、各構成要素間をつなぐ矢印付きの比較的太い実線は、データラインおよびデータ転送方向を意味する。矢印付きの破線は、制御パラメータ、あるいは制御信号を伝達する信号ラインおよび伝送方向を意味する。撮像部220と、画像保持部202および輝度分布導出部210とがデータラインで接続される。撮像部220から出力される入力画像が画像保持部202および輝度分布導出部210で受信される。画像保持部202と画像合成部204との間は3本のデータラインで接続されている。このうち、2本は画像保持部202から画像合成部204にデータを転送する際に用いられるデータラインであり、図2中では1、2の符号が付されている。残りの1本は画像合成部204から画像保持部202にデータを転送する際に用いられるデータラインであり、図2中では3の符号が付されている。符号1、2の付されたデータラインは、撮像部220から逐次出力される入力画像が画像保持部202を経て画像合成部204で受信される際にインターリーブ方式で用いられる。符号3の付されるデータラインは、3枚以上の画像を合成する際に画像合成部204で合成処理された画像を画像保持部202に書き戻す際に用いられる。以下ではこれらのデータラインを個別に参照して説明する際に、データライン1、データライン2、データライン3と称する。画像合成部204と、ライブビュー画像生成部206および記録画像生成部208とがデータラインで接続される。画像合成部204で生成された合成画像は、このデータラインを介し、デジタルカメラ100の動作モードに応じてライブビュー画像生成部206または記録画像生成部208に出力される。ライブビュー画像生成部206とライブビュー画像出力部230とがデータラインで接続される。ライブビュー画像生成部206で生成されたライブビュー画像は、このデータラインを介してライブビュー画像出力部230に出力される。記録画像生成部208と画像記録部240とがデータラインで接続される。記録画像生成部208で生成された記録画像は、このデータラインを介して画像記録部240に出力される。輝度分布導出部210と最大最小露光量決定部212とがデータラインで接続される。このデータラインの近くに記される符号YL、YSは、輝度分布導出部210から最大最小露光量決定部212に輝度画像データYL、YSが出力されることを意味する。最大最小露光量決定部212と、画像枚数決定部214とが信号ラインで接続される。この信号ラインの近くに記される符号TL、TSは、最大最小露光量決定部212から画像枚数決定部214に最大最小露光量情報TL、TSが出力されることを意味する。画像枚数決定部214と画像保持部202とが信号ラインで接続される。この信号ラインの近くに記される符号n、mは、ライブビュー表示動作時、静止画像記録動作時に複数枚の入力画像を得る際の枚数n、mライブビュー表示動作時の枚数がn、正画像記録動作時の枚数がmに関する情報が画像枚数決定部214から画像保持部202に出力されることを意味する。画像枚数決定部214はまた、撮像制御部222と信号ラインで接続される。この信号ラインの近くに記される符号T1~TmT1~Tnは、静止画像記録動作時、ライブビュー表示動作時に複数枚の入力画像1~mあるいは入力画像1~nを得る際の露光量に関する情報T1~TmあるいはT1~Tnに関する情報露光量制御パラメータが画像枚数決定部214から撮像制御部222に出力されることを意味する。ライブビュー表示動作時の露光量制御パラメータがT1~Tnであり、静止画像記録動作時の露光量制御パラメータがT1~Tmである。ところで、撮像素子102で設定可能な読み出しフレームレートと、ライブビュー画像の表示フレームレートとの関係等によっては、ライブビュー表示動作時の画像合成枚数は2枚に固定されることも想定される。そのような場合、ライブビュー動作時には露光量制御パラメータTS、TLがそれぞれT1、T2に対応するものとして最大最小露光量決定部212から撮像制御部222に直接出力されてもよい。撮像制御部222と撮像部220とが信号ラインで接続される。撮像部220における動作モードキャプチャーモード、モニタリングモードと、撮影動作タイミングや露光量蓄積時間を制御するための信号がこの信号ラインを介して撮像制御部222から撮像部220に出力される。以下、図2中に示される各構成要素について説明する。撮像部220は、先に説明した撮像素子102と撮影レンズLと機械式シャッタとを含んで構成され、撮影レンズLによって形成された被写体像を光電変換して生成された画像を入力画像として画像処理部200に出力する。なお、撮像素子102がいわゆる電子シャッタの方式での露光蓄積動作が可能に構成される場合、機械式シャッタを省略することも可能である。電子シャッタとは、撮像素子102上の各画素において蓄積動作の開始タイミングと終了タイミングとを制御して、機械式シャッタを用いることなく露光量の制御を行う露光方式を意味する。なお、撮像素子102が電子シャッタの方式での露光を行うものである場合、グローバルシャッタの方式で露光動作が行われることが、動体撮影時等に画像に歪みが生じないようにする上で望ましい。画像処理部200について説明する。画像処理部200の動作は、デジタルカメラ100がライブビュー表示動作をしている場合と静止画像記録動作をしている場合とで多少異なる。そこで、最初にデジタルカメラ100がライブビュー表示動作をしている場合の動作について説明し、次いで静止画像記録動作をしている場合の動作について説明する。先にも説明したように、本発明の実施の形態に係るデジタルカメラ100では、ライブビュー表示動作を行う際にもHDR技術が用いられる。画像処理部200は、撮像部220から得られる複数枚の入力画像異露光画像を処理して一つのライブビュー画像を生成することを繰り返し行う。これにより、HDRのライブビュー画像を生成して表示することが可能となる。本明細書において、一つのライブビュー画像を生成するために用いられる複数枚の入力画像をn枚の入力画像と表現する。ここに、nは2以上の整数である。このnが、先に説明した複数枚の入力画像を得る際の枚数nに相当する。上記の値nに関しては、その値を大きくする程、輝度範囲のより広い被写体に対応して階調の再現されたライブビュー画像を表示することが可能となる。ただし、ライブビュー画像は、コントラスト検出方式による自動焦点調節が行われる場合の合焦速度、デジタルカメラ100が急にパン操作された場合や動きの比較的早い被写体をフレーミングしているときのライブビュー画像の表示の追従性、あるいは画像処理部200での処理負荷増加に伴う電池の消耗等を考慮するとnの値をあまり大きくすることは得策ではない。以下では発明の要旨をより容易に理解できるようにすることを目的として、n=2の場合を例にとり、説明する。撮像部220では、ライブビュー表示動作中、n枚、本例では上記のように2枚の異露光画像を得る動作を繰り返し行う。本実施の形態においては、先に説明した三つの方法のうち、第1の方法によって2枚の異露光の入力画像を得るものとして説明をする。また、露光条件露光量を変える方法としては、撮影レンズLの絞り値を変える方法、露光時間シャッタ秒時を変える方法がある。あるいは、撮影レンズLの入射面や、撮影レンズLと撮像素子102との間に、電気的に光学濃度を変化させることの可能なフィルタを配置して、光学濃度を逐次変化させる方法もある。以下では、露光量を変えるために、露光時間を変化させる例について説明する。つまり、画像枚数決定部214から撮像制御部222に出力される露光量制御パラメータT1~Tnは、ライブビュー表示動作時に複数枚の入力画像1~nを得る際の露光時間に関する情報であるものとする。画像保持部202は、SDRAMSynchronousDynamicRandomAccessMemory等によって構成されるバッファであり、撮像部220から得られる2枚の入力画像を一時的に記憶する。画像合成部204は、撮像部220から得られる2枚の異露光の入力画像を合成して合成画像を生成する。なお、デジタルカメラ100が手で保持されていたり、被写体が動体であったりする場合、2枚の入力画像間で大きな像のずれを生じる可能性がある。その場合には、画像合成部204でパターンマッチングの技術を用いての画像の切り出し、貼り付け等の処理を行い、合成画像に破綻をきたすことのないようにすることも可能である。また、ライブビュー画像のような動画像では、像のずれは目立ちにくいので、上述した画像の切り出し、貼り付け等の処理を省くことも可能である。その場合、画像処理部200の処理負荷が減じられるので、電力の消費を抑制することが可能となる。ライブビュー表示動作時、画像合成部204で生成された合成画像はライブビュー画像生成部206に出力される。ライブビュー画像生成部206は、受け取った合成画像にデモザイク、ホワイトバランス、色相、彩度、コントラスト等の補正処理をしてライブビュー画像を生成し、ライブビュー画像出力部230に出力する。ライブビュー画像出力部230は、ライブビュー画像を出力する処理を行う。ライブビュー画像を出力する処理としては、表示装置110または電子ビューファインダ114に表示することが可能である。あるいは、デジタルカメラ100に備えられる有線または無線のインターフェースを介して外部の表示装置等に画像データを出力することが可能である。撮像部220では、2枚の異露光画像入力画像を得る動作が繰り返し行われる。そして、画像保持部202、画像合成部204、ライブビュー画像生成部206、ライブビュー画像出力部230では、撮像部220から得られる入力画像を以上のようにして処理することが繰り返し行われ、ライブビュー表示動作が行われる。上記のライブビュー表示動作が行われる間、輝度分布導出部210、最大最小露光量決定部212、画像枚数決定部214、撮像制御部222で行われる処理について以下に説明する。輝度分布導出部210は、撮像部220から得られる1枚の入力画像に対応して一セットの輝度画像データを生成する処理を繰り返し行う。輝度画像データは、撮影シーン被写体の大局的な輝度分布を評価するためのデータであり、色情報を含んでいてもよいが、必ずしも必要としない。例えば、撮像素子102がベイヤ配列のオンチップカラーフィルタを有する単板撮像素子であるものとして説明すると、一つの配列単位ブロックを構成する四つの画素の画素値を合算したものからこのブロックに対応する輝度情報を生成することが可能である。あるいは、一つのブロック中、緑G色の画素の画素値を合算したものから輝度情報を生成することも可能である。さらに、入力画像にデモザイク処理をして得られるRGB画像データをYCbCrの色空間の画像データに変換し、そのY値を用いて輝度情報を生成することが可能である。無論、HSL等の他の色空間の画像データに変換して、そのうちの明るさに関連するデータをもとに輝度画像データを生成してもよい。輝度画像データは、画像全体としてどのような輝度分布を有しているのかを知るためのものであるので、入力画像が有する画素数をそのまま有していることは必ずしも必要ない。したがって、画像処理部200の処理能力や許容される消費電力等に応じて画素数を減じたものとすることが可能である。本実施の形態においては、ライブビュー表示動作中、1枚のライブビュー画像を得るために2枚の異露光の入力画像を取得している。また、本実施の形態では先にも説明したように、異露光の入力画像を得るために露光時間を変化させているので、これら2枚の異露光の入力画像を短露光入力画像、長露光入力画像と称して区別する。つまり、輝度分布導出部210は、撮像部220から短露光入力画像、長露光入力画像を交互に取得し、短露光入力画像から輝度画像データYSを、長露光入力画像データから輝度画像データYLを、それぞれ生成して最大最小露光量決定部212に出力する。この動作を、輝度分布導出部210はライブビュー表示動作中に繰り返し行う。最大最小露光量決定部212は、輝度画像データYS、YLを評価し、撮像部220で複数枚の異露光の入力画像を得る際の最大露光量と最小露光量とを決定する。先程来説明しているように本実施の形態では露光時間を調節して露光量の調節が行われるので、最大最小露光量決定部212で決定されるのは最大露光時間TLと最小露光時間TSである。この、最大最小露光量決定部212で行われる最大露光時間TL、最小露光時間TSの決定方法については後で説明する。最大最小露光量決定部212は、これら最大露光時間TL、最小露光時間TSの情報最大最小露光量情報を画像枚数決定部214に出力する。画像枚数決定部214は、最大露光時間TL、最小露光時間TSに基づいて、ライブビュー表示動作中に取得する異露光の入力画像の枚数nを決定する。本例ではn=2と決定されるものとする。続いて画像枚数決定部214は、露光量制御パラメータT1~Tnを生成し、撮像制御部222に出力する。具体的には、画像枚数決定部214は、最小露光時間TSをT1、最大露光時間TLをT2何故なら、n=2であるので。として撮像制御部222に出力する。nが3と決定された場合、画像枚数決定部214は最小露光時間TSをT1、最大露光時間TLをT3とする一方、中間の露光時間に対応するT2については最小露光時間TSと最大露光時間TLとに基づいて決定する。nが4以上の場合も同様である。撮像制御部222は、画像枚数決定部214から出力される露光量制御パラメータ、すなわち、本例においてはT1、T2に基づいて撮影を行うように撮像部220を制御する。その結果、撮像部220は2枚の異露光の入力画像データを取得するための撮影動作を行い、画像保持部202に複数枚の入力画像を順次出力する。図3は、ライブビュー表示動作時に画像処理部200で実行されるライブビュー画像表示処理手順を概略的に説明するフローチャートである。図3に示される処理手順は、デジタルカメラ100の電源が投入されて、その動作モードが静止画撮影モードに切り換えられたときに実行される。実際には、自動焦点調節を行うためのコントラスト検出および自動焦点調節のための処理や、撮影者によりレリーズボタン104が押下されたことを検出する処理等も行われる。しかし、説明を単純化して理解を容易にすることを目的として、それらの処理手順の図示および説明については省略する。S300において画像処理部200は、撮像制御部222に露光量制御パラメータT1とともに撮影開始の制御信号を発する。その結果、撮像部220ではシャッタ秒時T1での撮影動作が行われる。このシャッタ秒時T1は、最小露光量となるシャッタ秒時TSに等しい。S302において画像処理部200は、シャッタ秒時TSでの撮影に対応して得られた入力画像を処理して輝度画像データYSを生成する。この処理は先に図2を参照して説明した輝度分布導出部210での処理に相当する。画像処理部200はS304、S306、S330、S332において、輝度画像データYSを評価して最小露光量最小露光時間TSを決定する処理を行う。これらの処理について図4、図5も参照しながら説明する。図4、図5は、S304、S306、S330、S332で行われる処理を概念的に説明する図であり、これらの処理が行われる前の撮影で得られる入力画像から得られる輝度画像データYSのヒストグラム各図左側のヒストグラムと、これらの処理が行われた後の撮影で得られる入力画像から得られる輝度画像データYSのヒストグラム各図右側のヒストグラムを示している。S304では、輝度画像データYSを評価し、閾値THS1以上の輝度値を有する画素領域の数をカウントする処理が行われ、その画素数領域数が閾値THS2を超すか否かの判定が行われる。この判定が肯定されると処理はS306に進む一方、否定されるとS330に進む。S304での判定が肯定された場合の分岐先であるS306において画像処理部200は、次のライブビュー画像表示用の入力画像を得るための撮影動作が行われる際の最小露光時間TSを短くする最小露光量を減じる処理を行う。これらS304およびS306での処理について図4を参照して説明する。S304における判定処理の対象となった輝度画像データYSが、図4の左側に示されるようなヒストグラムを有するものとする。図4左側の例では、閾値THS1以上の輝度値を有するものの画素数が閾値THS2を超している。つまり、最小露光時間TSで撮影された、いわばアンダー目の入力画像に対応する輝度画像データYS中で、かなり明るい部分、あるいは白飛びしている部分の画素数が多めである場合にS304での判定が肯定される。このような場合、S306において最小露光時間TSを短くする処理が行われる。その結果、次のサイクルに行われる撮影で得られる入力画像から導出された輝度画像データYSのヒストグラムは図4右側に示されるようなものとなる。上記閾値THS1、THS2については、撮影状況やデジタルカメラ100の動作設定等に応じて様々に設定可能であるが、輝度画像データYS中に白飛びしている部分がほぼ無いとき図4右側に例示されるような状況のときにS304での判定が否定されるように設定することが望ましい。S304での判定が否定された場合の分岐先であるS330において画像処理部200は、輝度画像データYSを評価し、閾値THS3以下の輝度値を有する画素領域の数をカウントする処理が行われ、その画素数領域数が閾値THS4を超すか否かの判定が行われる。この判定が肯定されると処理はS332に進む一方、否定されるとS308に進む。S330での判定が肯定された場合の分岐先であるS332において画像処理部200は、次のライブビュー画像表示用の入力画像を得るための撮影動作が行われる際の最小露光時間TSを長くする最小露光量を増す処理を行う。これらS330およびS332での処理について図5を参照して説明する。S330における判定処理の対象となった輝度画像データYSが、図5左側に示されるようなヒストグラムを有するものとする。図5左側の例では、閾値THS3以下の輝度値を有するものの画素数が閾値THS4を超している。つまり、最小露光時間TSで撮影された、いわばアンダー目の入力画像に対応する輝度画像データYSが全体として暗めつぶれ気味となっている場合にS330での判定が肯定される。このような場合、S332において最小露光時間TSを長くする処理が行われる。その結果、次のサイクルに行われる撮影で得られる入力画像から導出された輝度画像データYSのヒストグラムは図5右側に示されるようなものとなり、輝度画像データYSに対応する入力画像からはより多くの階調情報を得ることが可能となる。上記閾値THS3、THS4については、撮影状況やデジタルカメラ100の動作設定等に応じて様々に設定可能であるが、輝度画像データYS中の輝度値が、高輝度で飽和することがあまりなく白飛びを生じる画素があまりなく、高めの輝度域での画素数が適度な量となる状況のとき図5右側に例示されるような状況のときにS330の判定が否定されるように設定することが望ましい。S330およびS332の処理は、撮影シーンが大きく変わったり、被写体が大きく移動したりした場合等で、撮影範囲内の高輝度部分が消失した場合に露光量を適切な値に戻すために行われる。S308において画像処理部200は、撮像制御部222に露光量制御パラメータT2とともに撮影開始の制御信号を発する。その結果、撮像部220で撮影動作が開始され、シャッタ秒時T2での撮影動作が行われる。このシャッタ秒時T2は、最大露光量となるシャッタ秒時TLに等しい。S302において画像処理部200は、シャッタ秒時TLでの撮影に対応して得られた入力画像を処理して輝度画像データYLを生成する。この処理は先に図2を参照して説明した輝度分布導出部210での処理に相当する。画像処理部200はS312、S314、S340、S342において、輝度画像データYLを評価して最大露光量最大露光時間TLを決定する処理を行う。これらの処理について図6、図7も参照しながら説明する。図6、図7は、S312、S314、S340、S342で行われる処理を概念的に説明する図であり、これらの処理が行われる前の撮影で得られる入力画像から得られる輝度画像データYLのヒストグラム各図左側のヒストグラムと、これらの処理が行われた後の撮影で得られる入力画像から得られる輝度画像データYLのヒストグラム各図右側のヒストグラムを示している。S312では、輝度画像データYLを評価し、閾値THL1以下の輝度値を有する画素領域の数をカウントする処理が行われ、その画素数領域数が閾値THL2を超すか否かの判定が行われる。この判定が肯定されると処理はS314に進む一方、否定されるとS340に進む。S312での判定が肯定された場合の分岐先であるS314において画像処理部200は、次のライブビュー画像表示用の入力画像を得るための撮影動作が行われる際の最大露光時間TLを長くする最大露光量を増す処理を行う。これらS312およびS314での処理について図6を参照して説明する。S312における判定処理の対象となった輝度画像データYLが、図6の左側に示されるようなヒストグラムを有するものとする。図6左側の例では、閾値THL1以下の輝度値を有する画素数が閾値THL2を超している。つまり、最大露光時間TLで撮影された、いわばオーバー目の入力画像に対応する輝度画像データYLであるにもかかわらず、かなり暗い部分、あるいは黒つぶれしている部分の画素数が多めである場合にS312での判定が肯定される。このような場合、S314において最大露光時間TLを長くする処理が行われる。その結果、次のサイクルに行われる撮影で得られる入力画像から導出された輝度画像データYLのヒストグラムは図6右側に示されるようなものとなる。上記閾値THL1、THL2については、撮影状況やデジタルカメラ100の動作設定等に応じて様々に設定可能であるが、輝度画像データYL中に黒つぶれしている部分が殆ど無いとき図6右側に例示されるような状況のときにS312の判定が否定されるように設定することが望ましい。S312での判定が否定された場合の分岐先であるS340において画像処理部200は、輝度画像データYLを評価し、閾値THL3以上の輝度値を有する画素領域の数をカウントする処理が行われ、その画素数領域数が閾値THL4を超すか否かの判定が行われる。この判定が肯定されると処理はS342に進む一方、否定されるとS316に進む。S340での判定が肯定された場合の分岐先であるS342において画像処理部200は、次のライブビュー画像表示用の入力画像を得るための撮影動作が行われる際の最大露光時間TLを短くする最小露光量を減じる処理を行う。これらS340およびS342での処理について図7を参照して説明する。S340における判定処理の対象となった輝度画像データYLが、図7左側に示されるようなヒストグラムを有するものとする。図7左側の例では、閾値THL3以上の輝度値を有する画素数が閾値THL4を超している。つまり、最大露光時間TLで撮影された、いわばオーバー目の入力画像に対応する輝度画像データYLが全体として明るめ飛び気味となっている場合にS340での判定が肯定される。このような場合、S342において最大露光時間TSを短くする処理が行われる。その結果、次のサイクルに行われる撮影で得られる入力画像から導出された輝度画像データYLのヒストグラムは図7右側に示されるようなものとなり、輝度画像データYLに対応するカラー画像データからはより多くの階調情報を得ることが可能となる。上記閾値THL3、THL4については、撮影状況やデジタルカメラ100の動作設定等に応じて様々に設定可能であるが、輝度画像データYL中の輝度値が、低輝度で飽和することがあまりなく黒つぶれを生じる画素があまりなく、比較的低い輝度域での画素数が適度に分布する状況のときに図7右側に例示されるような状況のときにS340の判定が否定されるように設定することが望ましい。S340およびS342の処理は、撮影シーンが大きく変わったり、被写体が大きく移動したりした場合等で、撮影範囲内の低輝度部分が消失した場合に露光量を適切な値に戻すために行われる。以上、S304、S306、S330、S332、S312、S314、S340、S342で行われる処理が最大最小露光量決定部212での処理に対応する。ところで、こうしたライブビュー表示動作中の露出調節に関して、一般的には画像全体や画像中央部分、あるいは主要被写体が認識されている場合には主要被写体の存在する部分で輝度値の平均をとり、露光量が標準的な値に近づくようにすることが行われる。この点、本実施の形態では、S304、S306、S330、S332の処理によって、最短露光時間TSによって得られる入力画像の白飛びを抑制し、S312、S314、S340、S342の処理によって、最長露光時間TLによって得られる入力画像の黒つぶれを抑制するのが特徴である。ただし、ここで説明した最大最小露光量決定の処理は、一例であり、他の方法によってこれら最大露光時間TL、最短露光時間TSが決定されてもよい。S316において画像処理部200は、ライブビュー画像を生成する際に取得する入力画像の枚数n本例ではn=2と、記録画像を生成する際に取得する入力画像の枚数mとを決定する。枚数mについては、例えば以下の式1で求めることが可能である。式1において、int{}は、{}内の演算結果の小数点以下を切り捨てた整数部の値をとる関数であるものとする。例えば、{}内の演算結果が3.0であっても、3.9であっても、int{}は3となり、したがってmの値は4となる。m=int{log2TL/TS}1...式1なお、枚数nについては、mと同じ値としてもよいし、mの半分の値その値が整数でない場合には小数点以下を切り捨てまたは四捨五入、あるいはm以下の数で、ライブビュー表示動作を円滑に行うことのできる上限の数、といった方法で求めることが可能である。さらには、mの値によらず、n=2に固定されるものであってもよい。S318において画像処理部200は、S316で決定されたn、mの値に応じた露光量制御パラメータT1~Tn、T1~Tmを決定する。以上、S316、S318における処理が画像枚数決定部214での処理に対応する。S320において画像処理部200は、S300およびS308での処理に対応して得られた2枚の異露光の入力画像を合成し、デモザイク、色補正、階調補正等の処理をしてライブビュー画像を生成する。S320における処理が画像合成部204、ライブビュー画像生成部206での処理に対応する。二枚の異露光の入力画像を合成する際には、以下の式2を用いて、両入力画像の同じ画素位置の画素同士で画素値を混合することを全画素で行うことにより合成画像を生成することが可能である。式2において、ILは長露光画像の対応画素位置における画素値、ISは短露光画像の対応画素位置における画素値、TLは長露光画像を得る際の露光量露光時間、TSは短露光画像を得る際の露光量露光時間である。また、関数fILは、短露光画像の画素値ILの値に応じて0から1までの間の実数が返される関数であり、いわば画素値IL、ISを合成混合する際の重み付け係数に相当する値を導出する関数である。この関数fILについては、画素値ILを変数とする一次式や高次多項式、あるいは別の計算アルゴリズム等で表されていてもよいし、画像処理部200内に予め用意されたルックアップテーブルから画素値ILに対応するfILが読み出されるものであってもよい。合成画素値IMIX=fIL×TL/TS×IS{1-fIL}×IL...式2S322において画像処理部200は、ライブビュー画像出力部230に制御信号を発する。この制御信号を受けたライブビュー画像出力部230は、S320で生成されたライブビュー画像を表示装置110または電子ビューファインダ114に出力する処理を行う。なお、ライブビュー画像出力部230は、先にも説明したように、有線または無線のインターフェースを介してデジタルカメラ100と接続される外部機器にライブビュー画像を出力してもよい。以下、撮影者によるレリーズボタンの操作や動作モード切替の操作等が検出されるまでの間、上述した処理が繰り返し行われてライブビュー表示動作が行われる。このとき、S304、S330、S312、S340での判定が適宜行われた結果、S306、S332、S314、S342で最小露光時間TS、最大露光時間TLの値が撮影状況の変化に応じて随時更新され、同じくS316、S318では画像枚数n、m、露光量制御パラメータT1~Tn、T1~Tmの値が随時更新される。図8は、上述したライブビュー表示動作が行われる際の動作タイミングを示すタイミングチャートである。図8中、横方向に符号I、II、...、Vが示されているが、それぞれがフレーム区間を示している。以下では、フレーム区間I、フレーム区間IIなどと称して図8中に示される動作を説明する。撮像VDは、撮像制御部222から出力される垂直同期信号であり、撮像部220で行われる撮影動作や画像処理部200で行われる処理は、この撮像VDに同期して行われる。出力VDは、撮像VDのタイミングに対して、画像処理部200での処理による遅延に対応したタイミングで出力される。各フレーム区間I、II、...のそれぞれにおいて、撮像部220で行われる撮影動作露光動作を露光1、露光2、...と称する。これらの露光1、露光2、...の後、撮像部220読み出される入力画像を入力画像1、入力画像2、...と称する。フレーム区間Iでは、露光1短露光画像:露光時間TSが行われる。フレーム区間IIでは、露光2長露光画像:露光時間TLが行われる。このフレーム期間IIにおいて撮像部220から出力される入力画像1露光1の結果得られる入力画像であるは画像保持部202内のバッファ1に書き込まれる。フレーム区間IIIでは、露光3短露光画像:露光時間TSが行われる。この露光時間TSは、S306またはS332の処理が行われている場合には、フレーム区間Iでの露光時間TSと異なったものとなる。このフレーム区間IIIにおいて撮像部220から出力される入力画像2露光2の結果得られる入力画像であるは画像保持部202内のバッファ2に書き込まれる。このとき、データライン1に入力画像2がスルーで出力され、それと同期してバッファ1の入力画像1がデータライン2に出力される。そして、画像合成部204で入力画像1と入力画像2とが合成される。入力画像1と入力画像2とが合成された画像をもとに、ライブビュー画像生成部206でライブビュー画像が生成され、出力VDに同期してライブビュー画像出力部230から出力されて、表示装置110等に表示される。フレーム区間IVでは露光4長露光画像:露光時間TLが行われる。この露光時間TLも、フレーム区間IIIの露光時間TSと同様、S314またはS342の処理が行われている場合には、フレーム区間IIでの露光時間TLと異なったものとなる。このフレーム区間IVにおいて撮像部220から出力される入力画像3はバッファ1に書き込まれる。このとき、データライン1に入力画像2がスルーで出力され、それと同期してバッファ2の入力画像2がデータライン2に出力される。そして、画像合成部204で入力画像2と入力画像3とが合成される。入力画像2と入力画像3とが合成された画像をもとに、ライブビュー画像生成部206でライブビュー画像が生成され、出力VDに同期してライブビュー画像出力部230から出力されて、表示装置110等に表示される。フレーム区間Vでは露光5長露光画像:露光時間TSが行われる。この露光時間TSも、S306またはS332の処理が行われている場合には、フレーム区間IIIでの露光時間TSと異なったものとなる。このフレーム区間Vにおいて撮像部220から出力される入力画像4は画像保持部202内のバッファ2に書き込まれる。このとき、データライン1に入力画像4がスルーで出力され、それと同期してバッファ1の入力画像3がデータライン2に出力される。そして、画像合成部204で入力画像3と入力画像4とが合成される。入力画像3と入力画像4とが合成された画像をもとに、ライブビュー画像生成部206でライブビュー画像が生成され、出力VDに同期してライブビュー画像出力部230から出力されて、表示装置110等に表示される。図8のタイミングチャートを参照して以上に説明した処理を行うことにより、複数枚の入力画像の合成を伴うライブビュー表示動作でも、従来の画像合成を伴わないライブビュー表示動作とほぼ同等の遅延でライブビュー画像を出力することが可能となる。その結果、ライブビュー画像の応答性を確保することが可能となる。続いて、デジタルカメラ100で本露光が開始され、静止画像記録動作をしている場合における画像処理部200の動作について再び図2を参照して説明する。静止画像記録動作の開始にあたり、撮像部220では同一被写体に対してm回の撮影動作が行われて、m枚の異露光の入力画像が生成される。この枚数mは、先に説明したとおり、ライブビュー表示動作中に画像枚数決定部214で決定される。また、撮像部220でm回の撮影動作が行われる際の露光時間T1~Tmは、先にも説明したようにライブビュー表示動作中に画像枚数決定部214で決定される。静止画像記録動作に際しては、画像処理部200中の画像保持部202、画像合成部204、記録画像生成部208で以下に説明する処理が行われる。画像保持部202は、m回の撮影動作が行われるのに伴って撮像部220から逐次出力されるm枚の入力画像を記憶する。その後、画像合成部204で画像合成の処理が行われる間、画像保持部202と画像合成部204との間でデータライン1、2、3を介しての入力画像および合成画像の転送が繰り返し行われ、最終的に一つの合成画像が生成される。図9は、本露光の開始に伴い、画像処理部200により行われる静止画像記録処理の手順を概略的に説明するフローチャートである。図9に示される処理手順は、ライブビュー表示動作中のデジタルカメラ100のレリーズボタン104が押下されてファーストレリーズスイッチおよびセカンドレリーズスイッチがオンしたときに実行が開始される。なお、mは2以上の値をとるものとする。S900において画像処理部200は、撮像制御部222に露光制御パラメータTCとともに撮影開始の制御信号を発する。その結果、撮像部ではシャッタ秒時TCでの撮影動作が行われてC=1~m、入力画像が画像保持部202に一時的に保存される。S902ではm枚の入力画像の取得が完了したか否かの判定が行われる。S902での判定が否定される間、S900およびS902の処理が繰り返し行われて最終的にm枚の入力画像が取得され、画像保持部202に一時的に保存される。なお、シャッタ秒時TCに関しては、Cの値が増すにつれてTCの値も増すものとする。つまり、m回の撮影動作が行われる間、1回目の撮影動作におけるシャッタ秒時が最短のシャッタ秒時であるものとする。S902の判定が肯定されると処理はS904に進む。S904において画像処理部200は、入力画像I1およびI2をそれぞれデータライン1、データライン2に出力し、合成画像を生成する。合成に際しては式2を用いることが可能である。S904での処理が画像合成部204での処理に対応する。S906において画像処理部200は、入力画像の枚数mが3以上であるか否かの判定をし、この判定が肯定されるとS908に進む一方、否定されるとS916に進む。すなわち、入力画像の枚数mが2S906:いいえであるときには、S904での処理で画像合成は完了するので、S908からS914までの処理をスキップする。S906の判定が肯定された場合、つまり入力画像の枚数mは3以上であると判定されたときの分岐先であるS908において画像処理部200は、ループカウンタCの初期値として3を代入する。S910において画像処理部200は、以前の合成処理で得られた合成画像と入力画像ICとを合成し、それを新たな合成画像とする。S910での処理もまた、画像合成部204での動作に対応する。このとき、以前の合成処理で得られた合成画像は、データライン3を介して画像保持部202に書き戻され、この合成画像と入力画像ICとがデータライン1、2を介して再び画像合成部204に出力されて合成処理が行われる。この際にも式2を用いての合成が可能である。なお、以前の合成処理で得られた合成画像入力画像I1、I2、...IC1を合成した画像と入力画像ICとを合成する際には、TL=TC、TS=TC1、入力画像I1、I2、...IC1を合成した画像の画素値をIS、入力画像ICの画素値をILとすればよい。S912において画像処理部200はループカウンタCをインクリメントするCの値を一つ増す。S914では、ループカウンタCの値が入力画像の枚数mを超すか否かの判定がなされ、この判定が否定される間、S910からS914の処理が繰り返し行われて、すべての入力画像が合成される。なお、先にも説明したように、デジタルカメラ100が手で保持されていたり、被写体が動体であったりする場合、2枚の入力画像間で像のずれを生じる可能性がある。その場合には、S904、S910の画像合成処理に際してパターンマッチングの技術を用いての画像の切り出し、貼り付け等の処理を行い、合成画像に破綻をきたすことの無いようにすることが望ましい。以上に説明したS904からS914までの処理について入力画像の枚数mが4である場合を例に具体的に説明する。I1、I2、I3、I4の入力画像が取得されて、画像保持部202に一時的に保存されているものとする。S904において、入力画像I1および入力画像I2がそれぞれデータライン1、データライン2を介して画像保持部202から画像合成部204に出力され、合成画像この画像を合成画像I12と称するが生成される。m=4であるのでS906の判定は肯定され、S908の処理が行われた後、S910の処理が行われる。S910では、合成画像I12がデータライン3を介して画像合成部204から画像保持部202に書き戻される。続いて、合成画像I12と入力画像I3とがそれぞれデータライン1、データライン2を介して画像合成部204に出力され、合成画像この画像を合成画像I123と称するが生成される。S912でループカウンタCがインクリメントされて4となる。つまり、C=mであるので、S914の判定は否定されてS910の処理が再度行われる。このとき、合成画像I123がデータライン3を介して画像合成部204から画像保持部202に書き戻される。続いて、合成画像I123と入力画像I4とがそれぞれデータライン1、データライン2を介して画像合成部204に出力され、合成画像この画像を合成画像I1234と称するが生成される。S912でループカウンタCがインクリメントされて5となる。その結果、S914での判定が肯定されて処理はS916に分岐する。すなわち、4枚の入力画像I1、I2、I3、I4を合成した合成画像I1234が最終的に得られる。以上のS904からS914までの処理が行われる間、表示装置110等に、合成過程にある画像をリサイズして表示してもよいし、画像合成処理中であることを撮影者に告知する表示等をしてもよい。S916以降の処理について説明する。画像処理部200はS904からS914までの処理で生成された合成画像を、S916において現像し、ホワイトバランス、色相、明度、コントラスト、アンシャープマスク等の処理を施し、記録画像を生成する。S918で画像処理部200は、S916の処理で得られた記録画像をもとにポストビュー画像を生成し、表示装置110等に表示する。画像処理部200はS920において、記録画像を圧縮する処理をして画像記録部240に記録する。以上のS916からS920までの処理が、記録画像生成部208での処理に対応する。なお、S920での圧縮処理は必須ではなく、非圧縮の記録画像を画像記録部240に記録してもよい。また、S916で現像処理をする前の合成画像を、いわゆるRAW画像として画像記録部240に記録してもよい。このとき、RAW画像は、単独で記録されても、S916で生成され、S920で圧縮された記録画像とともに記録されてもよい。以上に説明したように、本実施の形態に係るデジタルカメラ100によれば、被写体のより広い輝度域に対応して階調を再現可能な記録画像を得ることが可能であるのに加えて、複数の異露光の入力画像に基づいてダイナミックレンジの拡大されたライブビュー画像を表示することが可能となる。したがって、撮影者は実際に撮影して得られる画像の仕上がりを、ライブビュー画像を観て予想することが可能となるので、作画意図に応じて露出補正等をより的確に行うことが可能となる。このとき、ライブビュー表示動作に際して得る異露光の入力画像の枚数nを、静止画像記録動作に際して得る異露光の入力画像の枚数mよりも少なくすることにより、ライブビュー画像の表示や自動焦点調節の応答性を維持可能となる。さらに、n=2に固定し、図8を参照して説明したように、短露光画像、長露光画像が交互に得られる状況で、最新の入力画像長露光画像または短露光画像と一つ前のタイミングで得られた入力画像短露光画像または長露光画像とから一つのライブビュー画像を生成することを繰り返し行うことにより、従来のライブビュー画像に比べて遜色のない追従性を得ることが可能となる。つまり、短露光、長露光の2枚の入力画像が得られるのを待って、それから合成処理をして一つのライブビュー画像を生成するのではなく、いわばインターリーブの方式で短露光画像、長露光画像を合成してライブビュー画像を生成することを繰り返す。すなわち、最新の入力画像と一つ前のタイミングで得られた入力画像とを合成するようにして、短露光画像長露光画像、長露光画像短露光画像というように合成してライブビュー画像を生成する。このようにして、画像処理部200の処理能力ハードウェアの規模を大幅に増すことなく、撮像部220での撮像フレームレートと同等のフレームレートでライブビュー画像の表示更新をすることが可能となる。-第2の実施の形態-以上に説明した第1の実施の形態では、ライブビュー動作時、撮像部220はモニタリングモードで作動しており、その際に撮像素子102内で画素加算または画素間引きの読み出しが行われて入力画像の画素数が減じられるものであった。これに対し、第2の実施の形態ではライブビュー表示動作中も撮像素子で画素加算や画素間引きは行われずに読み出されて入力画像が得られる例について説明する。図10は第2の実施の形態に係るデジタルカメラの内部構成を概略的に説明するブロック図である。図10において、図2に示されるものと同様の構成要素には同じ符号を付してその説明を省略し、第1の実施の形態との差異を中心に説明をする。撮像部220Aは、撮像素子102Aを備える点が第1の実施の形態の撮像部220と異なる。撮像素子102Aは、ライブビュー表示動作が行われる際にも画素加算や画素間引きを行うことなく信号を読み出し可能に構成される。例えば、撮像素子102Aの全画素数が比較的少ないものや、撮像素子102Aから画像処理部200Aへの信号の転送速度が比較的高速であるものを用いることにより、第2の実施の形態のデジタルカメラを実施可能である。以下では第2の実施の形態に係るデジタルカメラをデジタルカメラ100Aと称する。画像処理部200Aは、第1の実施の形態の画像処理部200に備えられる構成要素をすべて備えるのに加えて、画素加算処理部250を備える。撮像部220Aと画素加算処理部250、そして画素加算処理部250と画像保持部202とがデータラインによって接続されている。画素加算処理部250は、デジタルカメラ100Aがライブビュー表示動作をしているときに、撮像部220Aから逐次得られる比較的高画素の入力画像に画素加算の処理をして画素数を減じる。その結果、画像合成部204で画像合成が行われる際の処理負荷を、第1の実施の形態における画像合成部204と同等とすることが可能となる。一方、静止画像記録動作中は、撮像部220Aから得られた入力画像に画素加算処理をすることなく、画像保持部202に出力して保存する。図10では、図2に示されるものと同様、撮像部220Aと輝度分布導出部210とがデータラインで接続される例が示されている。これに代えて、画素加算処理部250の出力側と輝度分布導出部210とがデータラインで接続され、画素数の減じられた入力画像が輝度分布導出部210に入力されるようにしてもよい。以上に説明した以外、デジタルカメラ100Aで行われるライブビュー表示動作および静止画像記録動作は第1の実施の形態のデジタルカメラ100と同様であるのでその説明を省略する。第2の実施の形態によれば、ライブビュー表示動作中、撮像素子102Aのハードウェア構成に依存しない画素数の入力画像を合成してライブビュー画像を生成することが可能となる。一般に、撮像素子の側で間引き読み出しや画素加算読み出しを行う場合、読み出し可能な画像サイズ読み出し画素数は撮像素子のハードウェア構成仕様に依存する。この点、第2の実施の形態によれば、撮像部220Aから得られたより高画素の入力画像を画素加算処理部250で画素加算するので、画素加算処理部250の内部での画素加算方法を変更することにより、入力画像の画素数を様々に変更可能である。以上、第1、第2の実施の形態で説明した撮像装置は、デジタルスチルカメラだけでなく、静止画像を記録可能なムービーカメラとすることも可能である。また、携帯電話やPDA、可搬型コンピュータ等に内蔵されるカメラに本発明を適用することも可能である。さらに、顕微鏡用撮影装置や、内視鏡画像を記録する装置などに本発明を適用することも可能である。