イメージセンサの画素アレイを構成する各画素について、第1の露光時間と、前記第1の露光時間より短い第2の露光時間とのいずれを適用するかを、前記画素アレイのラインごとに選択するライン露光選択部と、前記第1の露光時間が適用される第1の画素のうち入射光量に対する出力の飽和が生じた飽和画素の信号値を、前記第2の露光時間が適用される第2の画素の信号値を使用して補間し、前記第1の画素から得られた第1の画像信号と前記第2の画素から得られた第2画像信号との合成により合成画像を得る画像合成部と、を有し、前記ライン露光選択部は、前記合成画像に要求されるフレームレートと、前記合成画像に要求される画像サイズとの少なくとも一方に応じて、前記第1の露光時間及び前記第2の露光時間を選択するパターンを切り換え可能とすることを特徴とする画像処理装置。前記画素アレイが持つ画素数より小さい画像サイズが要求され、かつ前記画素アレイから画像信号を出力可能な周波数に相当するフレームレートが要求されたことに応じて、前記ライン露光選択部は、2本のラインごとに前記第1の露光時間と前記第2の露光時間とを交互に選択し、前記画像合成部は、前記第1の画像信号と、前記第1の画像信号を基準とする位相調整を経た前記第2の画像信号とを合成することを特徴とする請求項1に記載の画像処理装置。前記画素アレイが持つ画素数より小さい画像サイズが要求され、かつ前記画素アレイから画像信号を出力可能な周波数より高いフレームレートが要求されたことに応じて、前記ライン露光選択部は、4本のラインごとに前記第1の露光時間と前記第2の露光時間とを交互に選択し、前記画像合成部は、ビニング処理を経て前記イメージセンサから出力された画像信号を基に、前記飽和画素の信号値を、前記飽和画素の周辺に位置する前記第2の画素の信号値を使用して補間することを特徴とする請求項1に記載の画像処理装置。前記画素アレイが持つ画素数に相当する画像サイズが要求され、かつ前記画素アレイから画像信号を出力可能な周波数の半分に相当するフレームレートが要求されたことに応じて、前記ライン露光選択部は、第1フレームでは全てのラインについて前記第1の露光時間を選択し、前記第1フレームの次の第2フレームでは全てのラインについて前記第2の露光時間を選択し、前記画像合成部は、前記第1フレームについての前記第1の画像信号と、前記第2フレームについての前記第2の画像信号とを合成することを特徴とする請求項1に記載の画像処理装置。前記画素アレイが持つ画素数に相当する画像サイズが要求され、かつ前記画素アレイから画像信号を出力可能な周波数に相当するフレームレートが要求されたことに応じて、前記ライン露光選択部は、2本のラインごとに前記第1の露光時間と前記第2の露光時間とを交互に選択し、前記画像合成部は、前記飽和画素の信号値を、前記飽和画素の周辺に位置する前記第2の画素の信号値を使用して補間することを特徴とする請求項1に記載の画像処理装置。本発明の一つの実施形態は、撮影における要求に応じて、最適な広ダイナミックレンジ映像を得ることを可能とする画像処理装置を提供することを目的とする。本発明の一つの実施形態によれば、画像処理装置は、ライン露光選択部及び画像合成部を有する。ライン露光選択部は、イメージセンサの画素アレイを構成する各画素について、第1の露光時間及び第2の露光時間のいずれを適用するかを選択する。第2の露光時間は、第1の露光時間より短い。ライン露光選択部は、画素アレイのラインごとに、第1の露光時間及び第2の露光時間のいずれかを選択する。画像合成部は、飽和画素の信号値を、第2の画素の信号値を使用して補間する。飽和画素は、第1の画素のうち入射光量に対する出力の飽和が生じた画素である。第1の画素は、第1の露光時間が適用される画素である。第2の画素は、第2の露光時間が適用される画素である。画像合成部は、第1の画像信号及び第2の画像信号の合成により合成画像を得る。第1の画像信号は、第1の画素から得られる画像信号である。第2の画像信号は、第2の画素から得られる画像信号である。ライン露光選択部は、第1の露光時間及び第2の露光時間を選択するパターンを切り換え可能とする。ライン露光選択部は、合成画像に要求されるフレームレートと、合成画像に要求される画像サイズとの少なくとも一方に応じて、パターンを切り換える。以下に添付図面を参照して、実施形態にかかる画像処理装置を詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。第1の実施形態図1は、第1の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。図2は、図1に示す固体撮像装置を備えるカメラモジュールの構成を示すブロック図である。カメラモジュール10は、例えば、デジタルカメラである。カメラモジュール10は、固体撮像装置11、DSP12、記憶部13及び表示部14を有する。固体撮像装置11は、被写体像を撮像する。DSP12は、固体撮像装置11での撮像により得られた画像信号の信号処理を実施する。DSP12は、例えば、固体撮像装置11から出力されたRAW画像について、シェーディング補正、自動露出autoexposure;AE調整、自動ホワイトバランスautowhitebalance;AWB調整、マトリクス処理、輪郭強調、輝度圧縮、ガンマ処理等を実施する。記憶部13は、DSP12での信号処理を経た画像を格納する。記憶部13は、ユーザの操作等に応じて、表示部14へ画像信号を出力する。表示部14は、DSP12あるいは記憶部13から入力される画像信号に応じて、画像を表示する。表示部14は、例えば、液晶ディスプレイである。固体撮像装置11は、画像処理回路画像処理装置20、レンズユニット21、イメージセンサ22及びアナログデジタル変換器ADC23を有する。レンズユニット21は、被写体からの光を取り込み、イメージセンサ22にて被写体像を結像させる。イメージセンサ22は、レンズユニット21により取り込まれた光を信号電荷に変換し、被写体像を撮像する。イメージセンサ22は、RGBの信号値をベイヤー配列に対応する順序で取り込むことにより、アナログ画像信号を生成する。ADC23は、イメージセンサ22からの画像信号をアナログ方式からデジタル方式へ変換する。画像処理回路20は、ADC23からの画像信号の信号処理を実施する。画像処理回路20は、ライン露光選択部24、画像合成部25及びワークメモリ26を有する。ライン露光選択部24は、イメージセンサ22の画素アレイを構成する各画素について、第1の露光時間及び第2の露光時間のいずれを適用するかを、画素アレイのラインごとに選択する。イメージセンサ22は、画素アレイを構成する各画素について、第1の露光時間及び第2の露光時間のいずれを適用するかを、ラインごとに選択可能とする構成を備える。第2の露光時間は、第1の露光時間より短いものとする。画像合成部25は、長時間露光画素から得られた第1の画像信号31と、短時間露光画素から得られた第2の画像信号32との合成により、合成画像を得る。画像合成部25は、WDR合成画像信号37を出力する。長時間露光画素は、第1の露光時間が適用される第1の画素とする。短時間露光画素は、第2の露光時間が適用される第2の画素とする。ワークメモリ26は、画像合成部25に入力された画像信号を適宜格納する。図3は、長時間露光画素及び短時間露光画素の出力特性と、WDR動作後の出力特性とを示す図である。長時間露光画素は、入射光量がI0であるとき、光電変換により発生する信号電荷がフォトダイオードの蓄積容量に達するものとする。長時間露光画素の出力S1は、入射光量がI0以下であるとき、入射光量の増加に比例して高くなる。長時間露光画素の出力S1は、入射光量がI0より大きいときは飽和し、一定となる。短時間露光画素の出力S2は、入射光量がI0より大きい場合も、入射光量の増加に比例して高くなる。入射光量がI0以下である環境下では、長時間露光画素は、短時間露光画素に比べて、入射光量に対する出力の割合が高くなる。このため、低照度環境下では、長時間露光画素は、短時間露光画素に比べて、明暗差が良好な画像を得ることが可能である。入射光量がI0より大きくなる環境下では、長時間露光画素の出力S1は飽和するのに対して、短時間露光画素の出力S2は入射光量に応じたレベルとなる。画像合成部25は、入射光量がI0以下であるときの長時間露光画素の出力S1と、入射光量がI0より大きいときの短時間露光画素の出力S2とを合成する。画像合成部25は、短時間露光画素の出力S2に、長時間露光画素の出力S1に対する露光量の比に相当するゲインを乗算して出力Sとする。画像合成部25は、長時間露光画素の出力S1と短時間露光画素の出力Sとを合成する。例えば、イメージセンサ22から出力される画像信号が10ビットであって、ゲインを4倍、8倍及び16倍から選択可能であるものとすると、合成画像についての出力ビット数として12ビット、13ビット及び14ビットを得ることが可能となる。固体撮像装置11には、フレームレート情報33及び画像サイズ情報34が入力される。フレームレート情報33は、固体撮像装置11から出力される合成画像に要求されるフレームレートを表す情報とする。画像サイズ情報34は、固体撮像装置11から出力される合成画像に要求される画像サイズを表す情報とする。画像処理回路20は、WDR動作を実施する複数の動作パターンが予め設定されている。ライン露光選択部24は、フレームレート情報33及び画像サイズ情報34に応じて選択された動作パターンに従うライン選択信号35及びパターン識別信号36を出力する。ライン選択信号35は、画素アレイのラインごとに第1の露光時間及び第2の露光時間のいずれを選択するかを表す信号とする。ライン露光選択部24は、第1の露光時間及び第2の露光時間を選択するパターンを、ライン選択信号35によって切り換え可能とする。イメージセンサ22は、ライン選択信号35に応じて、画素アレイの各ラインを長時間露光画素のラインと短時間露光画素のラインとに振り分ける。パターン識別信号36は、動作パターンを識別するための信号とする。次に、画像処理回路20によるWDR動作の各動作パターンについて説明する。ここでは、イメージセンサ22の画素サイズが3840×2160ピクセル8.3メガピクセルであって、当該画素サイズから画像信号を出力可能な周波数が30fpsframepersecondであるものとして説明する。図4は、第1の動作パターンにおけるWDR動作について説明する図である。第1の動作パターンは、画素アレイが持つ画素数に相当する画像サイズが要求され、かつ画素アレイから画像信号を出力可能な周波数の半分に相当するフレームレートが要求された場合に適用される。この例では、合成画像に要求される画像サイズは3840×2160ピクセルであって、合成画像に要求されるフレームレートは15fpsとする。第1の動作パターンは、例えば、静止画の撮影に適している。なお、ベイヤー配列は、Gr、R、Gb、Bの4画素を単位として構成されている。R画素は、R光を検出するための画素である。B画素は、B光を検出するための画素である。Gr画素及びGb画素は、G光を検出するための画素である。Gr画素は、ラインにてR画素と並列している。Gb画素は、ラインにてB画素と並列している。ライン露光選択部24は、第1フレームF1では、全てのラインについて第1の露光時間の選択を指示するライン選択信号35を出力する。画像処理回路20は、第1フレームF1において、画素アレイの全ての画素を長時間露光画素41とする。イメージセンサ22は、ライン選択信号35に応じて、全画面の長時間露光による第1の画像信号31を生成する。画像合成部25は、イメージセンサ22からADC23を介して入力された第1の画像信号31を、ワークメモリ26に一時的に格納する。第1フレームF1の次の第2フレームF2では、ライン露光選択部24は、全てのラインについて第2の露光時間の選択を指示するライン選択信号35を出力する。画像処理回路20は、第2のフレームF2において、画素アレイの全ての画素を短時間露光画素42とする。イメージセンサ22は、ライン選択信号35に応じて、全画面の短時間露光による第2の画像信号32を生成する。画像合成部25は、第1の動作パターンを示すパターン識別信号36に応じて、第1の動作パターンによる合成処理を実施する。第2フレームF2について第2の画像信号32の1ライン目が入力されると、画像合成部25は、ワークメモリ26からの第1の画像信号31の読み出しを開始する。また、画像合成部25は、第2の画像信号32の信号レベルにゲインを乗算する。画像合成部25は、長時間露光画素41のうち出力の飽和が生じた飽和画素の信号値を、短時間露光画素42の信号値を使用して補間する。画像合成部25は、飽和画素があった場合、その画素についての第1の画像信号31の信号値を、ゲインが乗算された後の第2の画像信号32の信号値へ切り換える。第1フレームF1の画像と第2フレームF2の画像とは位相位置が一致していることから、画像合成部25は、ゲインが乗算された第2の画像信号32をそのまま飽和画素に適用することで、飽和が生じた箇所の階調を補間可能とする。画像合成部25は、飽和が生じていない箇所については、第1の画像信号31を適用する。画像合成部25は、飽和画素についての補間処理により、第1フレームF1についての第1の画像信号31と第2フレームF2についての第2の画像信号32とを合成し、得られたWDR合成画像信号37を出力する。第1の動作パターンでは、第1及び第2フレームF1、F2を使用して合成フレームF0を得ることから、固体撮像装置11のフレームレートは、イメージセンサ22により画像信号を出力可能な周波数に対して半分の15fpsとなる。固体撮像装置11は、第1の動作パターンによるWDR動作により、イメージセンサ22の画素サイズ、例えば8.3メガピクセルに相当する解像度を保持することができる。固体撮像装置11は、撮影の速さよりも画像の精細さを優先させることで、高品質な静止画を得ることができる。図5は、第2の動作パターンにおけるWDR動作について説明する図である。第2の動作パターンは、画素アレイが持つ画素数に相当する画像サイズが要求され、かつ画素アレイから画像信号を出力可能な周波数に相当するフレームレートが要求された場合に適用される。この例では、合成画像に要求される画像サイズが3840×2160ピクセル、合成画像に要求されるフレームレートが30fpsとする。第2の動作パターンは、例えば、静止画撮影において手振れの影響を低減させる場合に適している。ライン露光選択部24は、2本のラインおきに第1の露光時間と第2の露光時間とを交互に選択するライン選択信号35を出力する。画像処理回路20は、2本のラインの長時間露光画素41と、2本のラインの短時間露光画素42とを交互に設定する。イメージセンサ22は、ライン選択信号35に応じて、2本のラインおきの長時間露光及び短時間露光を実施する。イメージセンサ22は、長時間露光画素41からの第1の画像信号31と、短時間露光画素42からの第2の画像信号32とを生成する。画像合成部25は、第2の動作パターンを示すパターン識別信号36に応じて、第2の動作パターンによる合成処理を実施する。画像合成部25は、第2の画像信号32の信号レベルにゲインを乗算する。画像合成部25は、2本のラインごとに、第1の画像信号31と、ゲインが乗算された第2の画像信号32とを交互に組み合わせる。図6は、飽和画素についての信号値の補間について説明する図である。画像合成部25は、飽和画素の信号値を、飽和画素の周辺に位置する短時間露光画素42の信号値を使用して補間する。例えば、長時間露光画素41のうちのGr画素43が飽和画素であったとする。Gr画素43から1つのR画素を隔てて垂直方向に並列する2つのGr画素44、45は、いずれも、短時間露光画素42である。画像合成部25は、例えば、2つのGr画素44、45についてゲイン乗算後の信号値の平均を算出し、Gr画素43の補間値とする。これにより、画像合成部25は、飽和が生じた箇所の階調を補間する。なお、画像合成部25は、1つの飽和画素に対して2つの短時間露光画素42を使用する補間処理を実施する場合に限られない。画像合成部25は、1つの飽和画素に対して、周辺に位置する3つ以上の短時間露光画素42を使用する補間処理を実施することとしても良い。また、画像合成部25は、従来知られるいずれの手法による補間処理を実施するものであっても良い。画像合成部25は、飽和画素については補間処理を施した上で、単一のフレームFについて第1の画像信号31と第2の画像信号32とを合成し、得られたWDR合成画像信号37を出力する。第2の動作パターンでは、単一のフレームFを使用して合成フレームF0を得ることから、固体撮像装置11のフレームレートは、イメージセンサ22が画像信号を出力可能な周波数と同じ30fpsとなる。固体撮像装置11は、第2の動作パターンのWDR動作により、イメージセンサ22の出力周波数に相当するフレームレートを保持することができる。固体撮像装置11は、イメージセンサ22の出力周期に応じた高速撮影を可能とすることで、手振れの影響を効果的に抑制させることができる。WDR動作において、画像の解像度とフレームレートとはトレードオフの関係にある。画像処理回路20は、合成画像に要求される画像サイズ及びフレームレートに応じてWDR動作のパターンを切り換え可能とすることで、撮影における要求に応じて画質及びフレームレートが最適化されたWDR映像を得ることができる。なお、ライン露光選択部24は、長時間露光及び短時間露光を選択するパターンを、フレームレート情報33及び画像サイズ情報34の双方に応じて切り換え可能とする場合に限られない。ライン露光選択部24は、長時間露光及び短時間露光を選択するパターンを、フレームレート情報33及び画像サイズ情報34の少なくとも一方に応じて切り換え可能であれば良いものとする。これにより、画像処理回路20は、撮影における要求に適したWDE動作を実施することができる。第2の実施形態図7は、第2の実施形態にかかる固体撮像装置の概略構成を示すブロック図である。本実施形態にかかる固体撮像装置50は、カメラモジュール10図2参照に適用される。第1の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。固体撮像装置50は、画像処理回路画像処理装置51、レンズユニット21、イメージセンサ52及びアナログデジタル変換器ADC23を有する。イメージセンサ52は、ビニング部53を有する。ビニング部53は、画素アレイにて並列する所定数の画素からなる領域を1つの受光面と見立てて画像信号を読み出すためのビニング処理を実施する。画像処理回路51は、ライン選択信号35及びパターン識別信号36の他に、ビニング信号54を出力する。ビニング信号54は、ビニング部53によるビニング処理を指示する信号とする。ライン露光選択部24は、フレームレート情報33及び画像サイズ情報34に応じて選択された動作パターンに従うビニング信号54を出力する。画像処理回路51は、第1の実施形態における第1及び第2の動作パターンに加えて、WDR動作の第3及び第4の動作パターンが予め設定されている。次に、画像処理回路51によるWDR動作の第3及び第4の動作パターンについて説明する。ここでは、第1の実施形態と同様、イメージセンサ52の画素サイズが3840×2160ピクセルであって、当該画素サイズから画像信号を出力可能な周波数が30fpsであるものとして説明する。図8は、第3の動作パターンにおけるWDR動作について説明する図である。第3の動作パターンは、画素アレイが持つ画素数より小さい画像サイズが要求され、かつ画素アレイから画像信号を出力可能な周波数に相当するフレームレートが要求された場合に適用される。この例では、合成画像に要求される画像サイズは1920×1080ピクセルであって、合成画像に要求されるフレームレートは30fpsとする。第3の動作パターンは、例えば、動画の撮影に適している。ライン露光選択部24は、水平方向に並列する2つの画素を1つの画素と見立てて画像信号を読み出すビニング処理を、ビニング信号54により指示する。ビニング部53は、ビニング信号54に応じて、水平方向について画素数を2分の1に見立てたビニング処理を実施する。イメージセンサ52は、正常なアスペクト比を垂直方向へ2倍に引き伸ばした比率の画像を撮像する。この例では、イメージセンサ52は、3840×2160ピクセルから1920×2160ピクセルへのビニング処理を経た画像信号を出力する。また、ライン露光選択部24は、第2の動作パターンと同様に、2本のラインおきに第1の露光時間と第2の露光時間とを交互に選択するライン選択信号35を出力する。画像処理回路51は、2本のラインの長時間露光画素41と、2本のラインの短時間露光画素42とを交互に設定する。イメージセンサ52は、ライン選択信号35に応じて、2本のラインおきの長時間露光及び短時間露光を実施する。イメージセンサ52は、長時間露光画素41からの第1の画像信号31と、短時間露光画素42からの第2の画像信号32とを生成する。画像合成部25は、第3の動作パターンを示すパターン識別信号36に応じて、第3の動作パターンによる合成処理を実施する。画像合成部25は、単一のフレームFを、長時間露光画素41から得られる1920×1080ピクセルの長時間露光画像P1と、短時間露光画素42から得られる1920×1080ピクセルの短時間露光画像P2とに分解する。また、画像合成部25は、短時間露光画像P2については、第1の実施形態と同様、信号レベルにゲインを乗算する。長時間露光画像P1と短時間露光画像P2とには、垂直方向に2ライン分の位相ずれがある。画像合成部25は、長時間露光画像P1を基準として、垂直方向について短時間露光画像P2の位相を調整することにより、長時間露光画像P1の位相に短時間露光画像P2の位相を合わせ込む。画像合成部25は、例えば、フレームFにおいて長時間露光画素41の2ライン分垂直方向上流側に位置する短時間露光画素42の2本のラインと、垂直方向下流側に位置する短時間露光画素42の2本のラインとについて信号値の平均を算出することにより、短時間露光画像P2の位相調整を実施する。なお、画像合成部25による短時間露光画像P2の位相調整の手法は、適宜変更可能であるものとする。画像合成部25は、短時間露光画素42に比べて高精細な撮像を可能とする長時間露光画素41で得られる第1の画像信号31については位相を不変とする。また、第2の画像信号32は、第1の画像信号31に対してSN比signaltonoiseratioが劣化する傾向にある。画像合成部25における第2の画像信号32の位相調整は、フィルター処理と等価であることから、解像度低下を生じさせ得るほかにSN比の改善をもたらすこととなる。画像処理回路51は、画像合成部25においてこのような位相調整を実施することで、若干の解像度低下と引き換えに高画質の維持を図ることができる。長時間露光画像P1、及び位相調整後の短時間露光画像P2は、イメージセンサ52上においては、2本のラインおきとされている。画像合成部25は、長時間露光画像P1、及び位相調整後の短時間露光画像P2を、垂直方向について2分の1に圧縮する。固体撮像装置50は、イメージセンサ52により、正常なアスペクト比を垂直方向へ2倍に引き伸ばした比率の画像を予め撮像することで、画像合成部25における圧縮を経て正常なアスペクト比の画像を得ることができる。画像合成部25は、第1の動作パターンと同様に、長時間露光画素41のうち出力の飽和が生じた飽和画素の信号値を、短時間露光画素42の信号値を使用して補間する。画像合成部25は、飽和画素があった場合、その画素についての第1の画像信号31の信号値を、ゲインが乗算された後の第2の画像信号32の信号値へ切り換える。このようにして、画像合成部25は、第1の画像信号31と、第1の画像信号31を基準とする位相調整を経た第2の画像信号32とを合成する。画像合成部25は、第1の動作パターンと同様に、飽和が生じていない箇所については、第1の画像信号31を適用する。画像合成部25は、飽和画素についての補間処理により、単一フレームFについて第1の画像信号31と第2の画像信号32とを合成し、得られたWDR合成画像信号37を出力する。第3の動作パターンでは、単一のフレームFを使用して合成フレームF0を得ることから、固体撮像装置50のフレームレートは、画素アレイから画像信号を出力可能な周波数と同じ30fpsとなる。固体撮像装置50は、第3の動作パターンにおいて、第1の動作パターンと同様の合成処理により、解像度をできるだけ保持するWDR動作を可能とする。また、固体撮像装置50は、第3の動作パターンのWDR動作により、イメージセンサ52の出力周波数に相当するフレームレートを保持することができる。固体撮像装置50は、イメージセンサ52の出力周期に応じた高速撮影を可能とし、かつある程度の高画質も担保可能とすることで、良好な品質の動画を得ることができる。図9は、第4の動作パターンにおけるWDR動作について説明する図である。第4の動作パターンは、画素アレイが持つ画素数より小さい画像サイズが要求され、かつ画素アレイから画像信号を出力可能な周波数より高いフレームレートが要求された場合に適用される。この例では、合成画像に要求される画像サイズは1920×1080ピクセルであって、合成画像に要求されるフレームレートは60fpsとする。第4の動作パターンは、例えば、プレビュー等のための高速動画の撮影に適している。ライン露光選択部24は、4本のラインおきに第1の露光時間と第2の露光時間とを交互に選択するライン選択信号35を出力する。画像処理回路51は、4本のラインの長時間露光画素41と、4本のラインの短時間露光画素42とを交互に設定する。イメージセンサ52は、ライン選択信号35に応じて、4本のラインおきの長時間露光及び短時間露光を実施する。イメージセンサ52は、長時間露光画素41からの第1の画像信号31と、短時間露光画素42からの第2の画像信号32とを生成する。また、ライン露光選択部24は、水平方向及び垂直方向の双方について、2つの画素を1つの画素と見立てて画像信号を読み出すビニング処理を、ビニング信号54により指示する。ビニング部53は、ビニング信号54に応じて、水平方向及び垂直方向について画素数を2分の1に見立てたビニング処理を実施する。イメージセンサ52は、かかるビニング処理により、2本のラインおきに長時間露光と短時間露光とをした場合と等価の、第1の画像信号31及び第2の画像信号32を生成する。この例では、イメージセンサ52は、3840×2160ピクセルから1920×1080ピクセルへのビニング処理を経た画像信号を出力する。水平方向についてのビニング処理は、ラインの全体について画像信号を参照することとなるため、通常はイメージセンサ52の出力を高速化させることにならない。これに対し、垂直方向についてのビニング処理では、読み出しライン数を擬似的に減少させることで、イメージセンサ52の出力を高速化させることができる。イメージセンサ52は、垂直方向についてのビニング処理を実施することで、総画素サイズについての出力周波数よりも高い周波数で画像信号を出力することが可能となる。この例では、イメージセンサ52は、60fpsで画像信号を出力することができる。画像合成部25は、第4の動作パターンを示すパターン識別信号36に応じて、第4の動作パターンによる合成処理を実施する。画像合成部25は、第2の画像信号32の信号レベルにゲインを乗算する。画像合成部25は、2本のラインごとに、第1の画像信号31と、ゲインが乗算された第2の画像信号32とを交互に組み合わせる。さらに、画像合成部25は、第2の動作パターンと同様に、飽和画素についての信号値を補間する。画像合成部25は、飽和画素については補間処理を施した上で、単一のフレームFについて第1の画像信号31と第2の画像信号32とを合成し、得られたWDR合成画像信号37を出力する。第4の動作パターンでは、単一のフレームFを使用して合成フレームF0を得ることから、固体撮像装置50のフレームレートは、イメージセンサ52が画像信号を出力可能な周波数と同じ60fpsとなる。固体撮像装置50は、第4の動作パターンのWDR動作により、イメージセンサ52における総画素サイズについての出力周波数よりも高いフレームレートによる高速撮影を実現させる。固体撮像装置50は、第3の動作パターンよりもさらに高速な動画撮影が可能となる。このように、固体撮像装置50は、フレームレート及び画質をどの程度優先させるかを、静止画、動画、高速動画等のユーザの要望に合わせて動的に切り換えることができる。なお、本実施形態の画像処理回路51は、WDR動作を第1から第4の動作パターンにおいて切り換え可能とする場合に限られない。画像処理回路51は、第1から第4の動作パターンのうちの少なくとも2つを切り換えてWDR動作を実施するものであれば良い。第1及び第2の実施形態にかかる固体撮像装置11、50を適用するカメラモジュール10は、デジタルカメラ以外の電子機器、例えばカメラ付き携帯電話等であっても良い。本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。