露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、2種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、前記撮像手段から連続して出力された合成対象の2つのフレームのうちの1フレーム目の画像をフレームメモリに保持する保持手段と、前記撮像手段から出力される前記2つのフレームのうちの2フレーム目の画像と前記フレームメモリに保持されている画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、前記1フレーム目の画像が前記フレームメモリに保持されていく間に当該画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、を備えることを特徴とする撮像装置。前記2種類の露光量のうちいずれの露光量が適用された画像を前記生成手段による階調圧縮特性の生成に使用すべきかを判定するために、前記1フレーム目の画像を解析する解析手段と、前記解析手段による解析の結果に基づいて、前記1フレーム目と前記2フレーム目の露光量を切り替える切り替え手段とをさらに備えることを特徴とする請求項1に記載の撮像装置。前記切り替え手段は、前記撮像手段における前記2種類の露光量の適用の順序を入れ替えることを特徴とする請求項2に記載の撮像装置。前記切り替え手段は、前記保持手段が前記フレームメモリに保持させるフレームを1フレームだけずらすことを特徴とする請求項2に記載の撮像装置。前記解析手段は、前記1フレーム目の画像について、明部が支配的か暗部が支配的かを判定し、前記切り替え手段は、明部が支配的であれば露光量の小さい方の画像が前記1フレーム目となるように、暗部が支配的であれば露光量の大きい方の画像が前記1フレーム目となるように前記合成対象の2つのフレームと露光量との対応を切り替えることを特徴とする請求項2乃至4のいずれか1項に記載の撮像装置。露光量の異なるn個nは3以上の自然数の画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、n個の異なる露光量で撮影した画像を連続して出力する撮像手段と、前記撮像手段から出力されている現フレームの画像とフレームメモリに保持されている画像とを合成して、ダイナミックレンジが拡張された合成画像を得る合成手段と、前記撮像手段から出力される合成対象のn個のフレームのうちの1つ目のフレームの画像、または前記合成手段からの合成画像を前記フレームメモリに保持する保持手段と、保持手段がn-1フレーム目までの合成画像を前記フレームメモリに保持していく間に、当該合成画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、前記生成手段で生成された前記階調圧縮特性を用いて前記合成手段によりnフレーム目まで合成された合成画像の階調を圧縮する階調圧縮手段と、を備えることを特徴とする撮像装置。前記1フレーム目からn-1フレーム目までの画像を、前記n個の露光量のうちの最大の露光量を除く露光量が適用された画像とするか、最小の露光量を除く露光量が適用された画像とするかを判定するために、前記n個のフレームの1フレーム目の画像または前記合成手段が出力した合成途中の画像を解析する解析手段と、前記解析手段による解析の結果に基づいて、前記n個のフレームのうちのn番目のフレームの画像の露光量が前記最大の露光量もしくは前記最小の露光量になるように、前記合成対象のnフレームに割り当てる露光量の順番を切り替える切り替え手段とをさらに備えることを特徴とする請求項6に記載の撮像装置。露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成する画像処理装置であって、2種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の2つのフレームのうちの1フレーム目の画像をフレームメモリに保持する保持手段と、前記撮像手段から出力される前記2つのフレームのうちの2フレーム目の画像と前記フレームメモリに保持されている画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、前記1フレーム目の画像が前記フレームメモリに保持されていく間に当該画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、を備えることを特徴とする画像処理装置。露光量の異なるn個nは3以上の自然数の画像を合成してダイナミックレンジが拡張された画像を生成する画像処理装置であって、n個の異なる露光量で撮影した画像を連続して出力する撮像手段から出力されている現フレームの画像とフレームメモリに保持されている画像とを合成して、ダイナミックレンジが拡張された合成画像を得る合成手段と、前記撮像手段から出力される合成対象のn個のフレームのうちの1つ目のフレームの画像、または前記合成手段からの合成画像を前記フレームメモリに保持する保持手段と、前記保持手段がn-1フレーム目までの合成画像を前記フレームメモリに保持していく間に、当該合成画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、前記生成手段で生成された前記階調圧縮特性を用いて前記合成手段によりnフレーム目まで合成された合成画像の階調を圧縮する階調圧縮手段と、を備えることを特徴とする画像処理装置。露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成するための、画像処理装置による画像処理方法であって、保持手段が、2種類の異なる露光量で撮影した画像を連続して出力する撮像手段から出力された合成対象の2つのフレームのうちの1フレーム目の画像をフレームメモリに保持する工程と、合成手段が、前記撮像手段から出力される前記2つのフレームのうちの2フレーム目の画像と前記フレームメモリに保持されている画像を合成してダイナミックレンジが拡張された合成画像を生成する工程と、生成手段が、前記1フレーム目の画像が前記フレームメモリに保持されていく間に当該画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する工程と、階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する工程と、を有することを特徴とする画像処理方法。露光量の異なるn個nは3以上の自然数の画像を合成してダイナミックレンジが拡張された画像を生成するための、画像処理装置による画像処理方法であって、合成手段が、n個の異なる露光量で撮影した画像を連続して出力する撮像手段から出力されている現フレームの画像とフレームメモリに保持されている画像とを合成して、ダイナミックレンジが拡張された合成画像を得る工程と、保持手段が、前記撮像手段から出力される合成対象のn個のフレームのうちの1つ目のフレームの画像、または前記合成する工程で得られた合成画像を前記フレームメモリに保持する工程と、生成手段が、前記保持する工程でn-1フレーム目までの合成画像が前記フレームメモリに保持されていく間に、当該合成画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する工程と、階調圧縮手段が、前記生成する工程で生成された前記階調圧縮特性を用いて前記合成する工程によってnフレーム目まで合成された合成画像の階調を圧縮する工程と、を有することを特徴とする画像処理方法。請求項10または11のいずれか1項に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。しかし、特許文献1に記載された技術では、露光量の異なる複数枚の画像を合成したダイナミックレンジの広い画像を、図9のように、画面内の輝度に応じた一様な特性で、出力機器のダイナミックレンジに収まるよう階調圧縮を行う。そのため、階調再現性の損なわれる輝度領域が発生するという課題がある。一方、特許文献2に記載された技術では、階調圧縮特性を生成するために、多重解像度処理を必要とする。すなわち、入力画像から生成した複数種類の解像度の画像を同じタイミングで参照しなければならない。そのため、低解像度画像を生成する間、高解像度画像をフレームメモリにバッファリングしてタイミングを調整する必要がある。フレームメモリを使った画像のバッファリングは、特に、動画撮影時や、画像サイズ、ビット幅が大きい場合に撮像システムへの負荷が高くなるという課題がある。本発明は、上記の課題に鑑みてなされたものであり、その目的は、露光量の異なる複数枚の撮像画像を合成し、ダイナミックレンジの広い画像を生成する場合のシステム負荷の増大を抑えることにある。上記の目的を達成するための本発明の一態様による撮像装置は以下の構成を備える。すなわち、露光量の異なる2つの画像を合成してダイナミックレンジが拡張された画像を生成する撮像装置であって、2種類の異なる露光量で撮影した画像を連続して出力する撮像手段と、前記撮像手段から連続して出力された合成対象の2つのフレームのうちの1フレーム目の画像をフレームメモリに保持する保持手段と、前記撮像手段から出力される前記2つのフレームのうちの2フレーム目の画像と前記フレームメモリに保持されている画像を合成してダイナミックレンジが拡張された合成画像を生成する合成手段と、前記1フレーム目の画像が前記フレームメモリに保持されていく間に当該画像を低解像度化した画像を生成し、前記フレームメモリに保持された当該画像と前記低解像度化した画像とに基づいて階調圧縮特性を生成する生成手段と、前記生成手段で生成された前記階調圧縮特性を用いて前記合成画像の階調を圧縮する階調圧縮手段と、を備える。本発明によれば、露光量の異なる複数枚の撮像画像を合成し、ダイナミックレンジの広い画像を生成する場合のシステム負荷の増大を抑えることができる。以下、添付の図面を参照しながら、本発明の好適な実施形態を説明する。[第1実施形態]第1実施形態では、露光量の異なる2つのフレームの画像を合成して、ダイナミックレンジの拡大された1フレーム分の画像を出力する画像処理装置を有する撮像装置について説明する。図1は、第1実施形態の撮像装置100の構成を示すブロック図である。図1において、光学系1は撮像レンズ、絞り等の光学素子を含む。撮像素子2は光学系1により撮像面上に結像された光学像を電気信号に変換して画像信号を出力する。本実施意形態の撮像素子2は複数種類の露光量を切り替えて撮像を行うことが可能であり、露光量の切り替えは、例えば光電変換素子における電荷蓄積時間の切り替えにより実現される。フレームメモリ3は、撮像素子2から出力される画像の1フレーム分をバッファリングするためのメモリである。合成部4は、フレームメモリ3から読み出した画像と、撮像素子2から出力される現フレームの画像とを所定の演算によって合成し、ダイナミックレンジの広い画像を生成する。階調圧縮特性生成部5は、合成部4により合成された画像に対する階調圧縮特性を生成する。階調圧縮部6は、合成部4の出力画像が、所定のダイナミックレンジに収まるよう、階調圧縮特性生成部5から出力された階調圧縮特性を用いて階調圧縮を行う。画像解析部7は、撮像素子2から出力される2種類の露光量の画像のうちいずれの露光量の画像を階調圧縮特性の生成に使用すべきかを判定するために、撮像素子2から出力される画像を解析する。システム制御部8は、撮像装置100の全体の動作を制御する。次に、第1実施形態による撮像装置100の動作の概要について説明する。撮像装置100において撮影が開始されると、システム制御部8は、フレーム毎に、指示された露光量の画像が撮像素子2から出力されるよう、光学系1、撮像素子2を制御する。光学系1を介して撮像素子2から出力された画像は、フレームメモリ3、合成部4、階調圧縮特性生成部5および、画像解析部7に入力される。フレームメモリ3では、撮像素子2からの出力画像の1フレーム分を保持する。合成部4は、フレームメモリ3に保持された画像と撮像素子2から出力される画像とを、ダイナミックレンジを拡張するように合成する。この結果、フレームメモリ3から読み出された1フレーム前の撮像素子2の出力画像と、撮像素子2から現在出力されている撮像素子2の現フレームの出力画像とが合成される。フレームメモリ3から読み出された1フレーム前の撮像素子2の出力画像と、撮像素子2からの現フレームの出力画像は、それぞれ露光量が異なる。そのため、合成前に露光量の差に応じたゲイン処理を実施し、現フレームおよび1フレーム前の撮像素子2の出力画像のレベル調整を行う。階調圧縮特性生成部5は、フレームメモリ3から読み出された1フレーム前の出力画像と、撮像素子2からの現フレームの出力画像とを用いて、合成部4の出力画像のための階調圧縮特性を生成する。階調圧縮部6は、階調圧縮特性生成部5から出力される階調圧縮特性を用いることにより、撮影中の画像が好ましい階調再現となり、かつ出力映像フォーマットのダイナミックレンジに収まるよう、合成部4から出力される画像の階調圧縮を行う。次に、階調圧縮特性生成部5の構成について、図2を参照して説明する。階調圧縮特性生成部5では、着目画素を含む小領域の輝度レベルを参照することにより、画素毎に階調圧縮特性を決定する。図2において、入力端子58にはフレームメモリ3の出力画像が、入力端子59には撮像素子2の出力画像が入力される。輝度生成部51、輝度生成部52は、それぞれ、入力端子58、入力端子59から入力された画像から輝度信号を生成する。フレームメモリ3の出力画像と撮像素子2の出力画像は、いずれも、RAWデータであり、RGBベイヤー等、画素毎に色フィルタによるレベル差がある。したがって、輝度生成部51、52では、補間処理、マトリクス演算を行い、色フィルタによるレベル差を解消した輝度信号を生成する。画像縮小部53は、輝度生成部52から出力される1フレーム分の輝度画像を、×1/64、×1/128等の高い縮小率で縮小し、結果を第2のメモリとしてのメモリ54に格納する。なお、縮小後の画像を格納するメモリ54の容量は、入力画像1フレーム分をバッファリングするフレームメモリ3と比較して十分に小さく、メモリ54を用いても撮像システムへの負荷は問題にならない。また、フレームメモリ3とメモリ54は別個のメモリであってもよいし、同じメモリの異なるメモリ領域であってもよい。画像拡大部55は、メモリ54に格納された縮小画像を、輝度生成部51から出力される輝度画像と等しい画像サイズになるよう、線形補間等を用いて拡大する。局所輝度レベル推定部56は、輝度生成部51から出力される高解像度の輝度画像と、画像拡大部55から出力される低解像度の輝度画像を用いた演算により、着目画素を含む小領域の輝度レベルを推定する。このような推定演算の一例としては、画素毎に、解像度の異なる複数枚の画像の出力を比較し、高解像度画像と低解像度画像の差分が小さい場合には、低解像度画像の出力を着目画素における輝度レベルとして出力し、高解像度画像と低解像度画像の差分が大きい場合には、低解像度画像と高解像度画像を加重加算して、着目画素における輝度レベルとして出力する、という方法等が挙げられる。このような推定演算を用いることで、ノイズや被写体のエッジ等の影響は排除しつつ、図4a、図4bのように様々な輝度レベルの小領域が混在する画像において、各領域の分離精度を高められる。なお、本実施形態では、2種類の解像度の画像を用いて局所輝度レベルの推定を行ったが、これに限られるものではなく、3種類以上の異なる解像度の画像を用いてもよい。階調圧縮特性決定部57は、局所輝度レベル推定部56の出力を参照して、画素ごとに、適切な階調圧縮特性を決定する。例えば、着目画素を含む小領域の輝度レベルが適正露光よりも暗い場合には、着目画素の輝度レベルをゲインアップするような階調圧縮特性を生成し、着目画素を含む小領域の輝度レベルが、適正露光よりも明るい場合には、着目画素の輝度レベルをゲインダウンするような階調圧縮特性を生成する。ところで、局所輝度レベル推定部56では、低解像度画像と高解像度画像を同じタイミングで参照する必要がある。したがって、画像縮小部53で、1フレーム分の画像を縮小している間、1フレーム分の高解像度画像をバッファリングして、遅延する必要がある。このような画像のバッファリングは、特に、画像サイズが大きい場合や、撮影画像のフレームレートが高い場合に、撮像装置のシステム負荷を増大させる。そこで、本実施形態の撮像装置100では、合成部4で用いるフレームメモリ3を、階調圧縮特性生成部5での遅延調整用バッファとして共用することで、システム負荷が増大するのを防いでいる。一方、合成部4で用いるフレームメモリ3にバッファリングできるのは1フレーム分の画像である。本実施形態では、低露光画像と高露光画像を合成する場合、低露光画像と高露光画像の2つのフレームの画像のうち、最初に撮影された方、すなわち1フレーム目の画像がフレームメモリ3にバッファリングされる。そして、その次に撮像素子2から出力される2フレーム目の画像と、フレームメモリ3にバッファリングされた1フレーム目の画像が合成される。上述したように、2つのフレームの画像は、光学系1、撮像素子2により異なる露光量が適用されて撮影された画像である。したがって、合成用にバッファリングされている画像を、階調圧縮特性生成部5で共用する場合、合成前の1フレーム目の画像、すなわち合成前の低露光画像または高露光画像のいずれかで階調圧縮特性が生成することになる。図5に、低露光画像、高露光画像のそれぞれを用いて階調圧縮特性を生成した場合のメリット、デメリットを示す。低露光画像は、暗部のS/Nが高露光画像よりも低いが、明部でも飽和していないため、低露光画像を用いて階調圧縮特性を生成すると暗部から明部まで全ての輝度領域にわたる階調圧縮特性を生成できる。一方、高露光画像は、明部の飽和領域では階調圧縮特性を生成できないが、暗部のS/Nは低露光画像よりも高いため、高露光画像を用いて階調圧縮特性を生成すると暗部でS/Nの良い階調圧縮特性を生成できる。すなわち、低露光画像を用いて階調圧縮特性を生成すると明部に適した階調圧縮処理となり、高露光画像を用いて階調圧縮特性を生成すると暗部に適した階調圧縮処理となるといえる。そこで、本実施形態の撮像装置100では、撮影中の画像において、支配的な輝度領域が、図4aのように暗部なのか、図4bのように明部なのかを判定する。そして、撮影中の画像において、少なくとも、支配的な輝度領域では、好ましい階調圧縮特性で、階調圧縮処理が行われるよう、階調圧縮特性生成部5で用いる画像、すなわち、フレームメモリ3に保持させる画像を決定する。撮影中の画像において、支配的な輝度領域を判定する方法としては、以下で説明するように、画像解析部7が撮影中の画像の輝度分布を解析して判定してもよいし、例えば露出設定等の撮影条件や、ユーザの指示などを参照して、システム制御部8が決定してもよい。以下、画像内の輝度分布を解析し、暗部が支配的な画像か、明部が支配的な画像かを判定する画像解析部7の動作について説明する。画像解析部7における解析方法の一例としては、所定の輝度レベル毎に、当該輝度レベルを持つ画素領域の面積を算出し、最も面積の大きい輝度レベルを、画面内で支配的な輝度レベルとみなす方法がある。この場合、支配的な輝度レベルが所定の閾値よりも低い場合には撮影中の画像において暗部が支配的であると判定する。また、支配的な輝度レベルが所定の値よりも高い場合には撮影中の画像において明部が支配的であると判定する。また、画像解析部7による別の解析方法として、画面中央の所定の画素領域で輝度の平均値を求め、当該画素領域の平均輝度が所定の値よりも低い場合に、撮影中の画像において暗部が支配的であると判定する。また、当該画素領域の平均輝度が所定の値よりも高い場合には、撮影中の画像において明部が支配的であると判定する。さらに、画像解析部7による別の解析方法として、画像の輝度、色、動き、エッジ量等から、顔やペットなど特定被写体が画面内に存在するかを検出し、特定被写体領域の平均輝度を求める。そして、特定被写体領域の平均輝度が所定の値よりも低い場合には、撮影中の画像において暗部が支配的であると判定し、特定被写体の平均輝度が所定の値よりも高い場合には、撮影中の画像において、明部が支配的であると判定する。以上のようにして、画像解析部7は撮影中の画像を解析し、その解析結果をシステム制御部8に送出する。システム制御部8は、画像解析部7の解析結果出力に基づき、撮像素子2の駆動を制御する。例えば、画像解析部7による解析の結果、撮影中の画像において暗部が支配的と判定された場合には、フレームメモリ3に高露光画像が保持されるようにする。本実施形態では、暗部が支配的な画像に対して、合成対象の連続した2つのフレームの画像のうち、露光量の高い画像の方が先に撮影されるよう、撮像素子2を駆動制御する。一方、画像解析部7による解析の結果、撮影中の画像において明部が支配的と判定された場合には、フレームメモリ3に低露光画像が保持されるようにする。本実施形態では、合成対象の連続した2つのフレームの画像のうち、露光量の低い画像の方が先に撮影されるよう撮像素子2を駆動制御する。撮影中の画像において支配的な領域が明部から暗部に変化した際の撮像動作の一例を、図3のタイミングチャートを参照して説明する。図3において、時刻t1、t2、t3、、t7の間隔は、それぞれ、1フレーム期間以下1Vと表記する。を示す。撮像素子2からは、1V毎に、低露光画像または高露光画像が出力され、合成部4において合成される画像は図2の破線で囲まれた組み合わせとなる。すなわち、時刻t1からt3の期間では、撮像素子2から出力された低露光画像L1と高露光画像H1が合成されて合成画像H1L1が生成される。同様に、時刻t3からt5の期間では、撮像素子2から出力された低露光画像L2と高露光画像H2が合成され、時刻t5からt7の期間では、撮像素子2出力の低露光画像L3と高露光画像H3が合成される。制御信号S1~S3は、システム制御部8が制御、出力する信号である。制御信号S1は、フレームメモリ3への画像の書き込み、及び、階調圧縮特性生成部5での処理のOn/Offを制御する2値の制御信号である。制御信号S1が1の場合には撮像素子2の出力画像が1V期間かけてフレームメモリ3に書き込まれる。同時に、撮像素子2の出力画像が、階調圧縮特性生成部5に入力され、1V期間かけてその縮小画像が生成され、メモリ54に保持される。制御信号S1が0の場合には、フレームメモリ3への画像の書き込みは停止され、階調圧縮特性生成部5では、フレームメモリ3に保持されている画像とメモリ54に保持されている縮小画像とを用いて階調圧縮特性が生成され、順次に出力される。制御信号S2は、フレームメモリ3からの画像の読み出し、及び、合成部4での処理のon/off、及び、階調圧縮部6での処理のon/offを制御する2値の信号である。制御信号S2が0の場合は、フレームメモリ3からの画像の読み出しが停止され、合成部4、及び、階調圧縮部6での処理はoffとなる。制御信号S2が1の場合には、フレームメモリ3に保持されている画像が読み出される。そして、合成部4は、撮像素子2から出力される現フレームの画像と、フレームメモリ3から読み出した画像現フレームの一つ前の画像を用いて、ダイナミックレンジを拡張する合成処理を行う。そして、階調圧縮部6は、合成部4から逐次出力される合成後の画像に対して、階調圧縮特性生成部5から逐次出力される階調圧縮特性の出力を用いて、階調圧縮処理を行う。制御信号S3は、合成される2つのフレームの画像、すなわち、低露光画像と高露光画像のうち、どちらを先に撮像素子2により撮影するかを決定する2値の制御信号である。制御信号S3は、例えば画像解析部7での解析結果に基づいて更新される。制御信号S3が0になるのは、画像解析部7の解析の結果、撮影中の画像において明部が支配的であると判定された場合である。制御信号S3が0の場合、次の合成用画像の撮影時には低露光画像が先に撮影されるよう撮像素子2が制御される。他方、制御信号S3が1になるのは、画像解析部7の解析の結果、撮影中の画像において暗部が支配的であると判定された場合である。制御信号S3が1の場合、次の合成用画像の撮影時には、高露光画像が先に撮影されるよう撮像素子2が制御される。図3において、時刻t1からt2の期間では、制御信号S3が0であるので、合成対象の2つのフレームの画像は、1フレーム目が低露光画像L1、2フレーム目が高露光画像H1の順となるように撮像素子2から出力される。そして、時刻t1からt2までの1V期間で、低露光画像L1がフレームメモリ3に書き込まれ、それと並行して低露光画像L1の縮小画像が生成されメモリ54に保持される。時刻t2からt3では、合成部4がフレームメモリ3に書き込まれた低露光画像L1と撮像素子2から出力される高露光画像H1を合成して、画像H1L1を出力する。それと並行して、階調圧縮特性生成部5がフレームメモリ3に保持されている低露光画像L1とメモリ54に保持されている縮小画像から階調圧縮特性gL1を順次生成する。そして、階調圧縮部6が合成後の画像H1L1に対し階調圧縮特性gL1を用いて階調圧縮処理を行って最終的な画像を生成する。また、時刻t1からt3の期間では、画像解析部7は、合成される低露光画像L1と高露光画像H1のうち先に撮影された低露光画像L1について解析を行い、その解析結果AL1を出力する。そして、システム制御部8は、解析結果AL1に基づいて、時刻t3からの合成で参照する制御信号S3を0に更新する。これは、現在撮影中の画像を解析した結果明部が支配的であると判断できるので、次の合成処理の際も、低露光画像を先に撮影して、明部での階調圧縮特性を最適化した方が好ましい画質になると考えられるためである。時刻t3からt5の期間においても、制御信号S3が0であるので、合成対象の2つのフレームの画像は、低露光画像L2、高露光画像H2の順に撮像素子2から出力される。そして、時刻t3からt4までの1V期間で、低露光画像L2がフレームメモリ3に書き込まれ、それと並行して低露光画像L1の縮小画像が生成されメモリ54に保持される。時刻t4からt5では、合成部4が、フレームメモリ3に書き込まれた低露光画像L2と撮像素子2から出力される高露光画像H2を合成して、画像H2L2を出力する。それと並行して、階調圧縮特性生成部5がフレームメモリ3に保持されている低露光画像L2とメモリ54に保持されている縮小画像から階調圧縮特性gL2を順次生成する。そして、階調圧縮部6が合成後の画像H2L2に対し階調圧縮特性gL2を用いて階調圧縮処理を行って最終的な画像を生成する。また、時刻t3からt5の期間では、画像解析部7は、合成される2つのフレームの画像、すなわち低露光画像L2と高露光画像H2のうち、先に撮影された低露光画像L2について解析を行い、その解析結果AL2を出力する。今度は、画像解析部7において暗部が支配的であると判断されたとする。この場合、現在撮影中の画像を解析した結果、暗部が支配的になってきていると判断できるので、次の合成処理の際は、高露光画像を先に撮影し、暗部での階調圧縮特性を最適化した方が、好ましい画質となると考えられる。そのため、システム制御部8は、AL2に基づいて、時刻t5からの合成で参照する制御信号S3を1に更新する。時刻t5からt7の期間では、制御信号S3が1なので、合成対象の2つのフレームの画像は、高露光画像H3、低露光画像L3の順に撮像素子2から出力される。そして、時刻t5からt6までの1V期間で、高露光画像H3がフレームメモリ3に書き込まれ、それと並行して、高露光画像H3の縮小画像が生成され、メモリ54に保持される。時刻t6からt7では、合成部4がフレームメモリ3に書き込まれた高露光画像H3と撮像素子2から出力される低露光画像L3を合成して、画像H3L3を出力する。そして、それと並行して、階調圧縮特性生成部5がフレームメモリ3に保持されている高露光画像H3とメモリ54に保持された縮小画像を用いて階調圧縮特性gH3を順次生成する。そして、階調圧縮部6が合成後の画像H3L3に対し階調圧縮特性gH3を用いて階調圧縮処理を行って最終的な画像を生成する。また、時刻t5からt7の期間では、画像解析部7は、合成される2つのフレーム、すなわち低露光画像L3と高露光画像H3のうち、先に撮影された高露光画像H3を用いて、での処理を行い、解析結果AH3を出力する。そして、システム制御部8は、この解析結果AH3に基づいて、時刻t7からの合成で参照する制御信号S3を1に更新する。これは、現在撮影中の画像を解析した結果、暗部が支配的であると判断できるので、次の合成処理の際も、高露光画像を先に撮影し、暗部での階調圧縮特性を最適化した方が、好ましい画質となると考えられるためである。以上のような一連の撮像制御を行うことにより、露光量を変えた複数枚の画像を合成し、合成後の画像に適した階調圧縮特性で、階調圧縮を行って、映像信号を出力することができる。以上説明したように、本実施形態の撮像装置100では、ダイナミックレンジの広い画像を生成する合成処理のためにフレームメモリ3にバッファリングする画像と同じ画像を用いて合成後の画像に対する階調圧縮特性を生成することができる。そのため、メモリアクセスによるシステム負荷の増大を回避できる。また、撮影中の画像の特徴を解析して、階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。[第2実施形態]次に、第2実施形態の撮像装置について説明する。第1実施形態では、画像解析部7の解析結果に基づいて合成対象の2つのフレームの1フレーム目と2フレーム目の露光量を切り替える際に、撮像素子2から連続して出力される2つのフレームの露光量の適用の順序を入れ替える構成を示した。例えば、低露光画像L→高露光画像Hから、高露光画像H→低露光画像Lのように順番を切り替えることで、1フレーム目及び2フレーム目が対応する露光量を切り替える構成を採用した。しかしながら、露光量を切り替えるための構成は、第1実施形態に限られるものではない。たとえば、フレームメモリ3が保持するフレームを1フレームずらすことにより、1フレーム目と2フレーム目の露光量を切り替える構成としてもよい。第2実施形態では、このような構成について説明する。第2実施形態も、露光量の異なる2フレーム分の画像を合成して、ダイナミックレンジの拡大された1フレーム分の画像を出力する撮像装置である。第2実施形態の撮像装置100の構成は第1実施形態と同じで図1のようになる。第1実施形態と同様、合成部4と階調圧縮特性生成部5でフレームメモリ3を共用するため、合成対象の2つのフレームの画像のうち、フレームメモリ3にバッファリングされる方の画像で合成後の画像用の階調圧縮特性が生成される。しかし、第2実施形態では、第1実施形態のように、画像解析部7の結果に基づいて、低露光画像を先に撮影するか、高露光画像を先に撮影するかを選択するしくみは不要である。すなわち、第2実施形態の撮像素子2は、常に、低露光画像、または、高露光画像が先に撮影されるよう撮像素子2の駆動が制御される。第2実施形態では、画像解析部7の結果に基づいて合成対象となる2つのフレームの画像のうち、好ましい階調圧縮特性が生成できる方の画像がフレームメモリ3にバッファリングされるよう、フレームメモリ3への画像書き込みのタイミングを制御する。システム制御部8は、画像解析部7の解析の結果、撮影中の画像において暗部が支配的な場合には、高露光画像がフレームメモリ3にバッファリングされ、明部が支配的な場合には、低露光画像がフレームメモリ3にバッファリングされるように制御する。ここで、撮影中の画像において、支配的な輝度領域が、暗部から明部、または、明部から暗部に変化した場合には、撮像素子2から出力される高露光画像と低露光画像を2フレーム連続してフレームメモリ3にバッファリングする。そのため、撮像素子2の出力画像をフレームメモリ3にバッファリングしている1V期間内に、画像解析部7での画像解析処理を終了し、次の1V期間でフレームメモリ3に画像をバッファリングする必要があるか判断する必要がある。そのため、第2実施形態では、撮像素子2からの信号読み出しを、2ラインずつ間引いて、2回に分けて行う。例えば、撮像素子2の画素配置が図10に示すようである場合、1V期間の前半では、撮像素子2のL0、L1、L4、L5、のラインの信号を読み出し、当該1V期間の後半では、撮像素子2のL2、L3、L6、L7、のラインの信号を読み出す。画像解析部7では、1V期間の前半で撮像素子2から読み出された垂直方向1/2に間引かれた画像を入力し、当該1V期間の後半で解析処理を行う。したがって、1フレーム分の画像をフレームメモリ3に書き込んでいる間に、次の1V期間で画像をフレームメモリ3にバッファリングすべきかを決定することができる。以下、図6を参照して、第2実施形態の撮像装置の制御について説明する。撮像素子2からは、常に、低露光画像、高露光画像の順で合成前の画像が出力される。制御信号S1は、フレームメモリ3への画像の書き込み、及び、階調圧縮特性生成部5での処理のOn/Offを制御する2値の制御信号であり、1V期間毎に更新される。制御信号S1が1の場合には、撮像素子2の出力画像が1V期間かけてフレームメモリ3に書き込まれる。同時に、撮像素子2の出力画像が階調圧縮特性生成部5に入力され、1V期間かけて、縮小画像が生成され、メモリ54に保持される。制御信号S1が0の場合には、フレームメモリ3への画像の書き込みは停止され、階調圧縮特性生成部5での縮小画像の生成処理はoffとなる。ここで、ある1V期間で制御信号S1が0の場合には、次の1V期間では制御信号S1は常に1となる。また、ある1V期間で制御信号S1が1の場合には、次の1V期間で制御信号S1が0、1のどちらの値をとるかは、画像解析部7に入力された画像に対する解析結果によって決まる。ある1V期間の制御信号S1が1で、画像解析部7の入力画像が低露光画像であり、かつ、画像解析部7での解析結果で明部が支配的と判定された場合、システム制御部8は次の1V期間で制御信号S1を0にする。これは、撮影中の画像において明部が支配的な場合には、フレームメモリ3にバッファリングされている低露光画像で、階調圧縮特性を生成すればよいので、次の1V期間で、高露光画像をバッファリングする必要がないからである。一方、ある1V期間の制御信号S1が1で、画像解析部7の入力画像が低露光画像であり、かつ、画像解析部7での解析結果で暗部が支配的と判定された場合、システム制御部8は、次の1V期間で制御信号S1を1にする。これは、撮影中の画像において暗部が支配的な場合には、次の1V期間でフレームメモリ3に高露光画像をバッファリングし、暗部重視の階調圧縮特性を生成する必要があるためである。また、ある1V期間の制御信号S1が1で、画像解析部7の入力画像が高露光画像であり、かつ、画像解析部7での解析結果で暗部が支配的と判定された場合、システム制御部8は、次の1V期間で制御信号S1を0にする。これは、撮影中の画像において明部が支配的な場合には、フレームメモリ3にバッファリングされている高露光画像を用いて階調圧縮特性を生成すればよいので、次の1V期間で、低露光画像をバッファリングする必要がないからである。さらに、ある1V期間の制御信号S1が1で、画像解析部7の入力画像が高露光画像であり、かつ、画像解析部7での解析結果で明部が支配的と判定された場合、システム制御部8は、次の1V期間で制御信号S1を1にする。これは、撮影中の画像において明部が支配的な場合には、次の1V期間でフレームメモリ3に低露光画像をバッファリングし、明部重視の階調圧縮特性を生成する必要があるためである。制御信号S2は、フレームメモリ3からの画像の読み出し、及び、合成部4での処理のon/off、及び、階調圧縮部6での処理のon/offを制御する2値の信号である。制御信号S2が0の場合は、フレームメモリ3からの画像の読み出しが停止され、合成部4、及び、階調圧縮部6での処理はoffとなる。制御信号S2が1の場合には、フレームメモリ3に書き込まれている画像を読み出し、合成部4において撮像素子2から出力される画像と、フレームメモリ3から読み出した画像を用いて、ダイナミックレンジを拡張する合成処理を行う。そして、階調圧縮特性部5は、フレームメモリ3から読み出した画像とメモリ54から読み出した縮小画像を用いて階調特性を生成し、出力する。階調圧縮部6は、合成部4からの合成後の画像に対して、階調圧縮特性生成部5からの階調特性を用いて階調圧縮処理を行う。また、制御信号S2で制御されるフレームメモリ3からの読み出し処理、合成部4、階調圧縮部6での処理は、制御信号S1で制御されるフレームメモリ3への画像の書き込み処理と階調圧縮特性生成部5での処理が終了した1V後に実行される。したがって、制御信号S2は制御信号S1の波形を1V遅延させたものとなっている。図6において、時刻t1では、制御信号S1が1であるので、時刻t1からt2までの1V期間で、低露光画像L1をフレームメモリ3に書き込み、それと、並行して、時刻t2までに、低露光画像L1の縮小画像が生成され、メモリ54に保持される。時刻t2からt3において、合成部4は、フレームメモリ3に保持されている低露光画像L1と撮像素子2から出力される高露光画像H1を合成して、画像H1L1を出力する。これと並行して、階調圧縮特性生成部5はフレームメモリ3に保持されている低露光画像L1とメモリ54に保持されている縮小画像とから階調圧縮特性gL1を生成する。そして、階調圧縮部6が、合成後の画像H1L1に対して階調圧縮特性gL1を用いて階調圧縮処理を行う。また、時刻t1からt2の1V期間の前半で、垂直方向1/2に間引かれた低露光画像L1が、画像解析部7に入力され、時刻t1からt2の1V期間の後半で、画像解析結果AL1を生成する。そして、AL1に基づき、時刻t2での制御信号S1を0に更新する。これは、現在撮影中の画像を解析した結果、明部が支配的であると判断できるので、次の合成処理でも、低露光画像を用いて階調圧縮特性を最適化した方が好ましく、時刻t2からt3の期間で、高露光画像をバッファリングする必要はないと判断したためである。時刻t2からt3の1V期間、制御信号S1は0なので、時刻t3からt4までの1V期間で、制御信号S1は1に更新される。時刻t3からt4の期間では、制御信号S1が1であるので、撮像素子2から出力される低露光画像L2をフレームメモリ3に書き込み、それと、並行して、時刻t4までに、低露光画像L2の縮小画像が生成され、メモリ54に保持される。また、時刻t3からt4の1V期間の前半で、垂直方向1/2に間引かれた低露光画像L2が画像解析部7に入力され、時刻t3からt4の1V期間の後半で、画像解析結果AL2が生成される。そして、解析結果AL2に基づき、システム制御部8は、時刻t4での制御信号S1を1に更新する。これは、現在撮影中の画像を解析した結果、暗部が支配的になってきたと判断され、次の合成処理では、高露光画像を用いて階調圧縮特性を最適化した方が好ましく、時刻t4からt5の期間で高露光画像をバッファリングする必要があると判断されたためである。時刻t4からt5において、合成部4は、フレームメモリ3に書き込まれた低露光画像L2と撮像素子2から出力される高露光画像H2を合成して、画像H2L2を出力する。これと並行して、階調圧縮特性生成部5はフレームメモリ3に保持されている低露光画像L1とメモリ54に保持されている縮小画像とから階調圧縮特性gL2を生成する。そして、階調圧縮部6が、合成後の画像H2L2に対して階調圧縮特性gL2を用いて階調圧縮処理を行う。また、時刻t4からt5では、制御信号S1が1であるので、フレームメモリ3では、前述の合成処理のために低露光画像L2が読み出されると、順次、高露光画像H2で上書きされる。それと、並行して、時刻t5までに、低露光画像L2の縮小画像が生成され、メモリ54に保持される。なお、縮小画像のメモリ54への書き込みは、時刻43~t4で生成した圧縮画像がメモリ54から読み出されてから、順次に上書きされる。さらに、時刻t4からt5の1V期間の前半で、垂直方向1/2に間引かれた低露光画像H2が、画像解析部7に入力され、時刻t4からt5の1V期間の後半で、画像解析結果AH2が生成される。そして、解析結果AH2に基づき、システム制御部8は、時刻t5での制御信号S1を0に更新する。これは、現在撮影中の画像を解析した結果、暗部が支配的であると判断でき、次の合成処理でも高露光画像を用いて階調圧縮特性を最適化した方が好ましく、時刻t5からt6の期間で低露光画像をバッファリングする必要はないと判断したためである。時刻t5からt6において、合成部4は、フレームメモリ3に書き込まれた高露光画像H2と撮像素子2から出力される低露光画像L3を合成して、画像H2L3を出力する。これと並行して、階調圧縮特性生成部5はフレームメモリ3に保持されている高露光画像H2とメモリ54に保持されている縮小画像とから階調圧縮特性gH2を生成する。そして、階調圧縮部6が、合成後の画像H2L3に対して階調圧縮特性gH2を用いて階調圧縮処理を行う。なお、時刻t5からt6の1V期間、制御信号S1は0なので、時刻t6からt7までの1V期間で、制御信号S1は1に更新される。以上のような一連の撮像制御を行うことにより、第2実施形態においても露光量を変えた複数枚の画像を合成し、合成後の画像に適した階調圧縮特性で、階調圧縮を行って、映像信号を出力することができる。以上のように、第2実施形態の撮像装置においても、合成処理のためにフレームメモリ3にバッファリングする画像と同じ画像を用いて、合成後の画像に対する階調圧縮特性を生成することができ、メモリアクセスによるシステム負荷の増大を回避できる。また、撮影中の画像の特徴を解析して、階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。また、撮像素子2においては、低露光画像と高露光画像の取得順を切り替えるような構成を持たせる必要がなくなる。なお、上記第2実施形態では、1フレーム目の画像の入力を終えるまでに1フレーム目と2フレーム目の露光量を切り替えるか否かを決定し、切り替えが必要であれば次のフレームで切り替えを実行するようにした例えば、t3~t4。このように構成することで、合成に使用されない無駄なフレームが発生しなくなる。しかしながら、画像解析部7の解析結果に応じて1フレーム目と2フレーム目の路光量を入れ替えるという観点からすれば、このような構成に限られるものではない。例えば、画像解析部7による解析を1フレームの期間かけて行ない、2つのフレームにおける路光量の順序の切り替えを、その2フレーム後に実施するようにしてもよい。例えば、図6において、t3~t4の期間で画像を解析して、高露光量の画像をフレームメモリ3に保持するように決定されると、t6のタイミングで制御信号S1を1にするようにしてもよい。[第3実施形態]次に、第3実施形態の撮像装置について説明する。第3実施形態では、露光量の異なるnフレーム分の画像を合成して、ダイナミックレンジの拡大された1フレーム分の画像を出力する撮像装置について説明する。ここで、nは3以上の自然数であり、本実施形態では、その一例としてn=3の場合について説明する。第3実施形態の撮像装置101の構成を図7に示す。撮像装置101では、第1実施形態の撮像装置100の構成に対して、選択部9が追加されている。また、選択部9の出力がフレームメモリ3と階調圧縮特性生成部5に入力される点が第1実施形態と異なる。次に、第3実施形態の撮像装置101の動作の概要について説明する。撮影が開始されると、システム制御部8は、撮像素子2から出力される画像の露光量が3V周期で変化するよう、光学系1、および、撮像素子2を制御する。光学系1を介して撮像撮像素子2から出力された画像は、選択部9、合成部4、および、画像解析部7に入力される。選択部9には、撮像素子2の出力画像とともに、合成部4からの出力画像も入力され、システム制御部8からの制御信号に基づいて合成部4からの出力画像または撮像素子2からの出力画像のいずれかを選択する。選択部9によって選択された出力画像は、フレームメモリ3および階調圧縮特性生成部5に入力される。フレームメモリ3では、選択部9からの出力画像を1フレーム分バッファリングする。選択部9は合成対象のn個のフレームのうち1つ目のフレームのタイミングでは、撮像素子2からの信号をフレームメモリ3に保持させ、2つ目以降、n-1個目までは、合成部4が出力する合成画像をフレームメモリ3に保持させる。合成部4では、フレームメモリ3から読み出された画像と、撮像素子2からの出力画像とを合成する。その結果、フレームメモリ3には、撮像素子2から連続して出力される合成対象のn個のフレームのうち、1つ目のフレームの画像、または現フレームの1つ前のフレームまで合成を終えた画像が保持される。階調圧縮特性生成部5では、フレームメモリ3から読み出された画像と、選択部9からの出力画像とを用いて、合成部4の出力画像に対する、階調圧縮特性を生成する。階調圧縮部6では、階調圧縮特性生成部5から出力される階調圧縮特性を用いて、撮影中の画像に対して好ましい階調再現となり、かつ出力映像フォーマットのダイナミックレンジに収まるよう、合成部4の出力画像に階調圧縮を行う。即ち、フレームメモリ3にn-1フレーム目まで合成を終えた画像が保持されると、階調圧縮特性生成部5は、フレームメモリ3に保持された画像とその保持された画像の低解像度化された画像とに基づいて階調圧縮特性を生成する。そして、階調圧縮部6は、生成された階調圧縮特性を用いて合成部4から出力されたnフレーム目まで合成された画像の階調を圧縮する。第3実施形態でも、第1実施形態と同様、フレームメモリ3は、1フレーム分の画像をバッファリングする構成となっている。したがって、3フレーム分以上の画像を合成する際には、2フレーム分ずつ、順次画像を合成するような動作となる。3枚合成の場合は、1フレーム目と2フレーム目を合成した後、1フレーム目と2フレーム目の合成結果と3フレーム目の入力画像を合成する。そのため、本実施形態のフレームメモリ3には、合成後の拡張されたダイナミックレンジを有する1フレーム分の画像、すなわち1画素あたりのビット数が増加した1フレーム分の画像を保持できる容量が必要である。nフレーム分の画像を合成する場合には、2フレームずつ、n-1回合成を行った後に、階調圧縮処理が行われる。このため、第3実施形態では、図7に示すように、フレームメモリ3の前段に選択部9が設けられている。そして、nフレーム分の画像を合成する際、初回の合成時には、撮像素子2の出力画像をフレームメモリ3に書き込み、2回目以降n-1回目までの合成時には、合成部4の出力画像をフレームメモリ3に書き込むようにしている。階調圧縮特性生成部5の内部構成は第1実施形態と同様であるが、入力信号が一部異なり、図2の入力端子58にフレームメモリ3の出力画像が入力され、入力端子59には、選択部9の出力画像が入力される。前述のように、本実施形態でnフレーム分の画像を合成する場合には、フレームメモリ3に、合成途中の画像をバッファリングして、2フレーム分ずつ合成し、nフレーム分全ての合成が終了した後に、階調圧縮処理を行う。そのため、階調圧縮特性は、n-1フレーム目までの合成処理n-2回目の合成処理で生成された画像を用いて生成される。入力端子59図2には、選択部9から出力される、n-2回目の合成処理後の画像が入力されて、縮小処理が行なわれ、縮小画像がメモリ54に格納される。また、フレームメモリ3には、n-2回目の合成処理後の画像が格納される。入力端子59から画像拡大部55までの処理は、第1実施形態と同様、1V期間かかる。低解像度画像と、フレームメモリ3から入力端子58を介して入力され、輝度生成部51を経て得られた高解像度画像とは、タイミングが一致した状態で、局所輝度レベル推定部56に入力される。局所輝度レベル推定部56、階調圧縮特性決定部57の処理は、第1実施形態と同様である。また、第3実施形態においても、1フレーム分の画像をバッファリングするフレームメモリ3を、合成部4と階調圧縮特性部5で共用している。したがって、撮影中の画像に適した階調圧縮特性が生成できるよう、画像解析部7での解析結果に基づいて、階調圧縮特性生成部5で用いるn-1フレーム目までの合成後画像の組成を決定する。例えば、図4aのように、明部が支配的な場合には、次の合成用画像撮影時に、露光量の低い画像から順に撮影するように撮像素子2の駆動を制御する。これにより、階調圧縮特性生成部5で参照されるn-2回目までの合成後画像n-1フレーム目までの合成後画像は、低露光画像をベースに生成されることになるので、明部に対して適した階調圧縮特性を生成できるようになる。また、図4bのように、暗部が支配的な場合には、次の合成用画像撮影時に、露光量の高い画像から順に撮影するよう、撮像素子2の駆動を制御する。これにより、階調圧縮特性生成部5で参照されるn-2回目までの合成後画像n-1フレーム目までの合成後画像は、高露光画像をベースに生成されることになるので、暗部に対して適した階調圧縮特性を生成できるようになる。以上のように、合成対象となるnフレームの露光量の順番の変更は、少なくとも、n個のフレームのうちのn番目のフレームの画像の露光量が最大の露光量もしくは最小の露光量になるように露光量の順番を切り替えればよい。例えば、本実施形態のように、合成対象が3個のフレームである場合、少なくとも3フレーム目の画像を最大の露光量にするか最小の露光量にするかが、画像解析部7による解析の結果に基づいて決定されればよい。尚、本実施形態では、画像解析部7において、合成前の撮像素子2からの出力画像を参照しているがこれに限られるものではない。合成部4から出力される合成途中の画像を参照して画像解析を行なってもよい。画像解析部7による解析方法は、第1実施形態と同様である。次に、第3実施形態の撮像制御の一例を図8のタイミングチャートを参照して説明する。撮像素子2からは、1V期間毎に、露光量の異なる画像が出力され、1枚の合成画像を生成するために用いられる合成前の画像の組み合わせは、図8の破線で囲まれたものとなる。すなわち、時刻t1からt4の期間では、撮像素子2の出力画像L1、M1、H1が合成され、時刻t4からt7の期間では、撮像素子2の出力画像H2、M2、L2が合成される。なお、合成される画像の組み合わせの中で、Lが表記されている画像は、最も露光量が小さく、Hが表記されている画像は、最も露光量が大きく、Mが表記されている画像は、LとHの中間の露光量となる。制御信号S1は、フレームメモリ3への画像の書き込みを制御する2値の制御信号である。制御信号S1が0の場合には、フレームメモリ3への画像の書き込みは停止され、制御信号S1が1の場合には、選択部9からの出力画像が、1V期間かけて、フレームメモリ3に書き込まれる。識別信号Iは、nフレームの画像のうち、何フレーム目までの画像を合成したかを示す識別信号であり、3枚合成の場合には、0、1、2、0、1、2、と周期的に変化する。識別信号Iも、システム制御部8によって制御される信号である。識別信号Iが0の場合には、選択部9が撮像素子2からの画像を選択して出力し、撮像素子2から出力される画像がフレームメモリ3に書き込まれる。また、識別信号Iが1の場合には、選択部9が合成部4からの出力画像合成途中の画像を選択して出力し、合成部4の出力画像がフレームメモリ3に書き込まれる。識別信号Iが2の場合は、制御信号S1が0となり、フレームメモリへの画像の書き込みは停止される。また、識別信号Iは、階調圧縮特性生成部5においても参照される。階調圧縮特性生成部5は、識別信号Iが1のとき合成対象がnフレームの場合はIがn-2のときに、選択部9からの合成画像n-1個目のフレームまでの合成画像を取り込み、縮小画像を生成し、メモリ54に保持する。したがって、露光量の異なるnフレームの画像を合成した結果に対して、階調圧縮を行う際、n-1フレーム目までの画像を合成した結果を参照して、階調圧縮特性を作ることになる。本実施形態のように3枚合成の場合には、2枚目までの画像の合成結果から、階調圧縮特性が生成される。制御信号S2は、フレームメモリ3からの画像の読み出しと、合成部4、及び、階調圧縮部6での処理のon/offを制御する2値の信号である。制御信号S2が1の場合、合成部4は、フレームメモリ3に書き込まれている画像を読み出し、撮像素子2から出力される画像と、フレームメモリ3から読み出した画像を用いて、合成処理が行う。また、制御信号S2が1の場合、階調圧縮部6は、前述の識別信号Iを参照し、n枚合成において識別信号Iがn-13枚合成の場合には、I=2の場合に、合成部4の出力に対して階調圧縮処理を行う。制御信号S3は、合成される露光量の異なる3フレーム分の画像を、どのような順序で撮影するかを決定する制御信号であり、画像解析部7の結果に基づいて決定される。制御信号S3が0になるのは、撮影中の画像において、明部が支配的であると判定された場合であり、制御信号S3が1になるのは、撮影中の画像において、暗部が支配的であると判定された場合である。制御信号S3が0の場合には、合成される3フレームの画像のうち、露光量の小さい2フレーム分の画像が先に撮影されるよう、撮像素子2が制御される。また、制御信号S3が1の場合には、合成される3フレームの画像のうち、露光量の大きい2フレーム分の画像が先に撮影されるよう、撮像素子2が制御される。また、図8では、識別信号Iが0のときに、撮像素子2から出力された画像を用いて、画像解析部7での処理を行っているが、識別信号Iが1のときに撮像素子2から出力される画像、または、合成途中の画像を用いてもよい。図8において、時刻t1からt4までの期間では、制御信号S3が0であるので、合成対象の3フレーム分の画像は、露光量の小さいものから順に、L1、M1、H1と撮像素子2から出力される。時刻t1からt2の期間で、フレームメモリ3には、画像L1が書き込まれ、時刻t2からt3までの期間で合成部4はフレームメモリ3から読み出された画像L1と、撮像素子2から出力される画像M1とを合成する。合成後の画像L1M1は、フレームメモリ3に上書きされるとともに、階調圧縮特性生成部5に入力され、1V期間かけて低解像度画像が生成され、メモリ54に保持される。時刻t3からt4までの期間で、合成部4は、フレームメモリ3から合成途中の画像L1M1を読み出し、それと、撮像素子2から出力される画像H1を合成して、合成後の画像L1M1H1を出力する。また、階調圧縮特性生成部5は、フレームメモリ3から読み出された合成途中の画像L1M1とその縮小画像1V前でメモリ54に保持されているを用いて階調圧縮特性gL1M1を生成し、出力する。階調圧縮部6は、合成部4から出力される合成後の画像L1M1H1に対して、階調圧縮特性生成部5からの階調圧縮特性gL1M1を用いて、階調圧縮を行う。また、時刻t1からt4の期間では、画像解析部7は、合成対象の複数フレームの画像の中で、最初に撮像素子2から出力された画像L1を用いて解析を行い、解析結果AL1を出力する。そして、解析結果AL1に基づいて、時刻t4からの合成で参照する制御信号S3を1に更新する。これは、現在撮影中の画像を解析した結果、暗部が支配的になってきたと判断でき、時刻t4からの合成処理は、高露光画像を先に撮影して、暗部での階調圧縮特性を最適化した方が好ましいと考えられるためである。時刻t4からt7までの期間においては、制御信号S3が1であるので、合成対象の3フレーム分の画像は、露光量の大きいものから順に、すなわちH2、M2、L2の順に撮像素子2から出力される。時刻t4からt5の期間で、フレームメモリ3には、画像H2が書き込まれ、時刻t5からt6までの期間で合成部4はフレームメモリ3から読み出された画像H2と、撮像素子2から出力される画像M2とを合成する。合成後の画像H2M2は、フレームメモリ3に上書きされるとともに、階調圧縮特性生成部5に入力され、1V期間かけて低解像度画像が生成され、メモリ54に保持される。時刻t6からt7までの期間で、合成部4は、フレームメモリ3から読み出された画像H2M2と、撮像素子2から出力される画像L2とを合成して、合成後の画像H2M2L2を出力する。また、階調圧縮特性生成部5は、フレームメモリ3から読み出された合成途中の画像H2M2とその縮小画像1V前でメモリ54に保持されているを用いて階調圧縮特性gH2M2を生成し、出力する。階調圧縮部6は、合成部4から出力される合成後の画像H2M2L2に対して、階調圧縮特性生成部5からの階調圧縮特性gL1M1を用いて、階調圧縮を行う。また、時刻t4からt7の期間において、画像解析部7は、合成される複数フレームの画像の中で最初に撮像素子2から出力された画像H2を用いて解析処理を行い、その解析結果AH2を出力する。システム制御部8は、AH2に基づいて、時刻t7からの合成で参照する制御信号S3を更新する。以上のような、一連の撮像制御を行うことにより、露光量を変えた複数枚の画像を合成し、合成後の画像に適した階調圧縮特性で、階調圧縮を行って、映像信号を出力することができる。以上のように、nフレームの画像を合成対象とした場合にも、合成処理のためにフレームメモリ3にバッファリングする画像と同じ画像を用いて、合成後の画像に対する階調圧縮特性を生成することができる。そのため、メモリアクセスによるシステム負荷の増大を回避できる。また、撮影中の画像の特徴を解析して、階調圧縮特性の生成に用いる画像を決定することにより、撮影中の画像に適した階調圧縮処理を行うことができる。また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェアプログラムを、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータまたはCPUやMPU等がプログラムを読み出して実行する処理である。