撮像素子と、前記撮像素子が出力した画素信号を相関多重サンプリング処理によってアナログ/デジタル変換する、又は予め定められた通常のアナログ/デジタル変換を行って画像信号を出力する変換手段と、前記変換手段が出力した画像信号の示す画像に基づいて、当該画像のダイナミックレンジを明側及び暗側の少なくとも何れか一方に拡張する必要があるか否かを判定する判定手段と、前記判定手段による判定結果に基づき、前記変換手段に相関多重サンプリング処理を用いてアナログ/デジタル変換させる多重相関モードと、前記撮像素子に露光時間の異なる複数の画像を撮影させる多重露光モードと、前記多重相関モード及び前記多重露光モードとを組み合わせた組み合わせモードとの中から何れかのモードを選択するモード選択手段と、前記モード選択手段により少なくとも前記多重露光モードを実行するモードが選択された場合、前記変換手段から出力された露光時間の異なる複数の画像を1つの画像に合成する合成手段と、前記モード選択手段が選択したモードに従って撮影を行わせる制御手段と、を備えた撮像装置。前記モード選択手段は、前記判定手段によりダイナミックレンジを拡張する必要がないと判定された場合、予め定められた通常の撮影を行う通常モードを選択する請求項1に記載の撮像装置。被写体の明るさに応じて基準露光時間を設定する露光時間設定手段と、前記撮像素子に連続して複数回撮影させ、各撮影によって得られた画像から被写体の移動量を算出する移動量算出手段と、を更に備え、前記制御手段は、前記移動量が予め定められた量以下である場合、所定の低速用撮影シーケンスで撮影を行わせ、前記移動量が前記予め定められた量より大きい場合、所定の高速用シーケンスで撮影を行わせるものである請求項1又は2に記載の撮像装置。前記移動量が予め定められた量以下であるときに前記判定手段が明側にのみ拡張する必要があると判定した場合、前記モード選択手段は前記多重露光モードを選択する請求項3に記載の撮像装置。前記移動量が予め定められた量以下であるときに前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記撮像素子のフレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記多重相関モードを選択する請求項3又は4に記載の撮像装置。前記移動量が予め定められた量以下であるときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記組み合わせモードを選択する請求項3~5の何れか一項に記載の撮像装置。前記移動量が予め定められた量より大きいときに前記判定手段が明側又は暗側の何れかに拡張する必要があると判定した場合、前記モード選択手段は前記多重相関モードを選択する請求項3~6の何れか一項に記載の撮像装置。前記移動量が予め定められた量より大きいときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより小さい閾値より十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記閾値と近似している場合、前記モード選択手段は前記組み合わせモードを選択する請求項3~7の何れか一項に記載の撮像装置。前記判定手段は、前記基準露光時間で撮影されたときの画像信号に含まれる画素値において、予め定められた最大値以上の画素値が予め定められた数以上あるときは明側にダイナミックレンジを拡張する必要があると判定し、予め定められた最小値以下の画素値が予め定められた数以上あるときは暗側にダイナミックレンジを拡張する必要があると判定するものである請求項1~8の何れか一項に記載の撮像装置。相関多重サンプリングを実施することで、低い出力レベルの画像信号から高SN比の信号が得られ、低輝度性能を向上させることでダイナミックレンジの拡大が実現できる。しかし、相関多重サンプリングの場合は低輝度性能を向上させるだけで、高輝度性能を高める高ダイナミックレンジ化はできない。また、多重露光の場合は、フレーム時間内を分割するため、最大露光時間が短くなり、低輝度感度が悪化してしまう。露光時間を短くしない多重露光も非破壊読み出しを実現することで可能であるが、この動作を行うことでSN比の低下や画素構造の複雑さを招いてしまう。本発明の目的は、撮影シーンに応じて相関多重サンプリングまたは多重露光を行うことで効率的に高ダイナミックレンジ化を図る撮像装置を提供することである。本発明による撮像装置は、撮像素子と、前記撮像素子が出力した画素信号を相関多重サンプリング処理によってアナログ/デジタル変換する、又は予め定められた通常のアナログ/デジタル変換を行って画像信号を出力する変換手段と、前記変換手段が出力した画像信号の示す画像に基づいて、当該画像のダイナミックレンジを明側及び暗側の少なくとも何れか一方に拡張する必要があるか否かを判定する判定手段と、前記判定手段による判定結果に基づき、前記変換手段に相関多重サンプリング処理を用いてアナログ/デジタル変換させる多重相関モードと、前記撮像素子に露光時間の異なる複数の画像を撮影させる多重露光モードと、前記多重相関モード及び前記多重露光モードとを組み合わせた組み合わせモードとの中から何れかのモードを選択するモード選択手段と、前記モード選択手段により少なくとも前記多重露光モードを実行するモードが選択された場合、前記変換手段から出力された露光時間の異なる複数の画像を1つの画像に合成する合成手段と、前記モード選択手段が選択したモードに従って撮影を行わせる制御手段と、を備える。また、上記構成において、前記モード選択手段は、前記判定手段によりダイナミックレンジを拡張する必要がないと判定された場合、予め定められた通常の撮影を行う通常モードを選択することとしてもよい。これらの構成によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、判定結果に基づいてモード選択手段が多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせた組み合わせモード、通常モードの何れかを選択して撮影が行われるため、効率的に高ダイナミックレンジ化を図ることができる。また、上記構成において、被写体の明るさに応じて基準露光時間を設定する露光時間設定手段と、前記撮像素子に連続して複数回撮影させ、各撮影によって得られた画像から被写体の移動量を算出する移動量算出手段と、を更に備え、前記制御手段は、前記移動量が予め定められた量以下である場合、所定の低速用撮影シーケンスで撮影を行わせ、前記移動量が前記予め定められた量より大きい場合、所定の高速用シーケンスで撮影を行わせるものであることが望ましい。この構成によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、モード選択手段が判定結果に基づいて多重相関モード、多重露光モード、組み合わせモード、通常モードの何れかを選択すると共に、制御手段は被写体の移動量に合わせて撮影シーケンスを切り替えて撮影を行うため、撮影シーンに合わせた高ダイナミックレンジ化を図ることができる。また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が明側にのみ拡張する必要があると判定した場合、前記モード選択手段は前記多重露光モードを選択することが望ましい。露光時間を短くすると、ダイナミックレンジが明側にシフトする。そこで、画像が明側のみに飽和している場合、多重露光モードとすることによって、通常撮影時に比べて明側のダイナミックレンジを拡張させることができる。ここで、多重露光とは、1フレーム内で露光時間を分割し、異なる複数の露光時間で撮影した各画像を1つの画像に合成する撮影方法のことである。つまり、合成画像に基準露光時間より短い露光時間で撮影した画像が含まれるため、これらの画像を合成することで、合成後の画像のダイナミックレンジを明側に拡張することができる。また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記撮像素子のフレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が暗側にのみ拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記多重相関モードを選択することが望ましい。画像が暗側のみに飽和しており、基準露光時間がフレームレートより十分小さい場合、多重露光モードとし、その際に多重露光に用いる最大露光時間を基準露光時間の所定倍数にする等、基準露光時間より長い露光時間を含んだ多重露光を行うことで暗側のダイナミックレンジを拡張させることができる。一方、画像が暗側のみに飽和しており、基準露光時間がフレームレートと近似している場合、フレームレートが多重露光の最大露光時間の上限となるため、多重露光によるダイナミックレンジ拡張は期待できない。従って多重相関モードを用いることで、暗側のダイナミックレンジを拡張することができる。また、上記構成において、前記移動量が予め定められた量以下であるときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートと近似している場合、前記モード選択手段は前記組み合わせモードを選択することが望ましい。明側及び暗側の両方に飽和しており且つ基準露光時間がフレームレートより十分小さい場合、基準露光時間を挟んだ最小露光時間及び最大露光時間を用いた多重露光モードとすることで、多重相関モードの実行によって発生する消費電流の増加、チップ温度の上昇による暗電流の増加等の問題を避けつつ、明側及び暗側のダイナミックレンジを拡張することができる。明側及び暗側の両方に飽和しており且つ基準露光時間がフレームレートと近似している場合、多重露光だけではダイナミックレンジ拡張は期待できないため、組み合わせモードを用いることで暗側及び明側のダイナミックレンジを拡張することができる。また、上記構成において、前記移動量が予め定められた量より大きいときに前記判定手段が明側又は暗側の何れかに拡張する必要があると判定した場合、前記モード選択手段は前記多重相関モードを選択することが望ましい。被写体の動きが速いとき移動量が予め定められた量より大きいときに多重露光を行うと、多重露光している間に被写体が動いてしまうため、合成画像が乱れてしまう。従って、被写体の動きが速い時は多重相関モードによるダイナミックレンジ拡張が適している。画像が明側にのみ飽和しているときは多重相関モードとし、このときの露光時間を基準露光時間より短くすることで、明側のダイナミックレンジを拡張することができる。画像が暗側にのみ飽和しているときも多重相関モードとし、基準露光時間にて撮影後に相関多重サンプリング処理を行うことで、通常撮影時に比べて暗側のダイナミックレンジを拡張することができる。また、上記構成において、前記移動量が予め定められた量より大きいときに前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記フレームレートより小さい閾値より十分小さい場合、前記モード選択手段は前記多重露光モードを選択し、前記判定手段が明側及び暗側の両方に拡張する必要があると判定し且つ前記基準露光時間が前記閾値と近似している場合、前記モード選択手段は前記組み合わせモードを選択することが望ましい。明側及び暗側の両方に飽和しており、基準露光時間がフレームレートより小さい閾値より十分小さい場合、多重露光モードとし、その際に基準露光時間を挟んだ複数の露光時間で多重露光を行うことで明側及び暗側の両方のダイナミックレンジを拡張させることができる。また、明側及び暗側の両方に飽和しており、基準露光時間が閾値と近似している場合、多重露光によるダイナミックレンジ拡張が期待できない。従って、組み合わせモードを用いる。ここで、フレームレートより小さい閾値とは、多重露光の際に用いられる最大露光時間をいう。一般的に、被写体の動きが速いときの最大露光時間はフレームレートの半分の値を用いる。多重相関モードは複数回サンプリングを行うため、消費電力の増加、チップ温度が上昇して暗電流の増加し、その結果ノイズが増加してしまう。この問題を避けるため、モード選択手段は、被写体の動きが遅いときは多重露光モードを優先的に選択する。一方、被写体の動きが速いときは多重露光による画質悪化を避けるため、多重露光モードを優先的に選択する。また、上記構成において、前記判定手段は、前記基準露光時間で撮影されたときの画像信号に含まれる画素値において、予め定められた最大値以上の画素値が予め定められた数以上あるときは明側にダイナミックレンジを拡張する必要があると判定し、予め定められた最小値以下の画素値が予め定められた数以上あるときは暗側にダイナミックレンジを拡張する必要があると判定するものであることが望ましい。この構成によれば、画素値を用いることで判定手段はダイナミックレンジ拡張の必要性を簡単に判断することができる。本発明によれば、判定手段が画像のダイナミックレンジ拡張の必要性を判定し、判定結果に基づいてモード選択手段が多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせた組み合わせモード、通常モードの何れかを選択して撮影が行われるため、効率的に高ダイナミックレンジ化を図ることができる。以下、本発明における撮像装置の実施の形態を説明する。図1は、撮像装置1の構成を示したブロック図である。撮像装置1は、制御部2と固体撮像装置5を備える。固体撮像装置5には外部からSYSCLK例えば、54MHzのクロック信号が入力される。PLLPhaseLockedLoop回路55はこのSYSCLKを取り込み、逓倍したクロック信号を出力する。タイミングジェネレータTG56はPLL回路55にて逓倍されたクロック信号を取り込み、固体撮像装置5の構成要素の動作に必要なタイミング信号を生成する。またTG56は、タイミング信号を制御するレジスタを内部に有し、そのレジスタは外部から入力されるレジスタ制御信号によって読み書き可能となっている。ローデコーダ52は、垂直方向の走査回路と画素アレイ部撮像素子51を駆動するドライバ回路から構成されており、画素制御信号を生成して画素アレイ部51に出力する。画素アレイ部51は画素GCがマトリクス状に配置されており、画素GC内のFETがローデコーダ52によって行毎に駆動され、その出力線は列方向に共通に接続され、カラムADCアレイ部53に接続されている。カラムADCアレイ部変換手段53は、各列に折り返し積分技術を用いたCMS回路31が形成され、画素アレイ部51からの画素信号を相関多重サンプリング処理を用いてデジタル信号に変換する。カラムデコーダ54は水平方向の走査回路であり、TG56から出力されるタイミング信号に従ってCMS回路31を順次選択する。カラムデコーダ54によって選択されたCMS回路31は、変換後のデジタル信号を画像信号として全列共通の水平信号線に出力する。センスアンプ58は、水平信号線に出力された各列の画像信号を増幅して出力する。シリアライザ60は、センスアンプ58が出力したパラレルの画像信号をシリアライズし、LVDS信号の規格に乗せて外部に出力する。以上の構成要素は1チップに集積化されており、固体撮像素子5を構成している。制御部制御手段2は、CPUCentralProcessingUnit:中央処理装置等によって構成され、固体撮像装置5へのレジスタ制御信号の出力、データ転送等を行って撮像装置1全体を制御するものである。制御部2は、AEAutoExposure;露光時間設定手段部21、飽和判定部判定手段22、移動量算出部移動量算出手段23、モード選択部モード選択手段24及び画像合成部合成手段25を有する。これらの構成要素の詳細には、後ほど説明する。図2は、画素アレイ部51を構成する画素GCの一例を示した回路図である。1画素は光電変換素子PD、転送トランジスタTX、リセットトランジスタRST、増幅トランジスタSF及び行選択トランジスタSELを備える。FDFloatingDiffusionは浮遊拡散層であり、PDが蓄積した電荷を電圧に変換する部分である。FDによって電圧に変換されたPD電荷は、SFとSELを介して垂直信号線L_1に出力する。図3は、画素GCの動作を示すタイミングチャートである。時刻t0は、前フレームの露光期間の終了を示している。また、露光期間中はφRSTをハイレベルにして、FDを常時PVDDでリセットし、PDから溢れ出る電荷を排出している。時刻t1において、φRSTをローレベル、φVSENをハイレベル、φTXをローレベルにすることで、FDのリセットレベルがSF及びSELを介してCMS回路31へ画素リセット信号として出力される。時刻t2において、φRST及びφVSENをローレベル、φTXをハイレベルにすることで、PDに蓄積された電荷がFDへ転送される。そして時刻t3において、φRST及びφTXをローレベル、φVSENをハイレベルにすることで、FDに転送された信号レベルがSF及びSELを介してCMS回路31へ画素シグナル信号として出力される。CMS回路31では、時刻t1で出力された画素リセット信号ノイズと時刻t2で出力された画素シグナル信号ノイズシグナルの差分を取って画像信号を得ている。図4は、折り返し積分技術を用いたCMS回路31の回路図であり、図5はそのタイミングチャートである。図4と図5を用いてCMS回路31の回路動作について説明する。まず、画素GCのRSTをオンにしてFDをリセットすると共に、φRをオンにして積分器91をリセットする。次に、RSTをオフにし、SELをオンにすることでVFDの電圧レベルが画素リセット信号としてCMS回路31に出力される。続けてφ1をオンにしてコンデンサC1に画素リセット信号を取り込み、φ2をオンにしてコンデンサC1とコンデンサC2とを接続してコンデンサC1が取り込んだ画素リセット信号をコンデンサC2に転送する。この時、積分器91の出力VSCが変化するが、積分器91の出力に比較器92を接続することで、閾値VTとVSCが常に比較される構成とする。VSCがVTより大きい場合、VSCの出力飽和を防ぐために、比較器92の後段に接続されたLOGIC93がφD1をオンにする。これにより、コンデンサC1の参照電圧がVREFHに切り替えられる。つまり、積分器91の入力が大きく引き下げられ、コンデンサC1からコンデンサC2に信号転送が行われてもVSCのプラス側への飽和を防ぐことができる。一方、VSCがVTより小さい場合、比較器92の後段に接続されたLOGIC93がφD2をオンにする。これにより、コンデンサC1の参照電圧がVREFLに切り替えられる。つまり、積分器91の入力が大きく引き上げられ、コンデンサC1からコンデンサC2に信号転送が行われてもVSCのマイナス側への飽和を防ぐことができる。このように、画素リセット信号をコンデンサC1にM回Mは2以上の整数サンプリングし、コンデンサC1からコンデンサC2に電荷転送することによって積分していく。この間、積分器91の出力を比較器92に接続し、VSCとVTの比較結果に応じてLOGIC93がコンデンサC1の参照電圧をVREFL又はVREFHに切り替えることにより、VSCの出力飽和を抑制している。次に、TXをオンにして、PDからFDへ電荷転送を行う。その後、SELをオンにすることでFDの電圧レベルが画素シグナル信号として出力され、画素リセット信号の読み出しと同じように、コンデンサC1からコンデンサC2に電荷転送される。比較器91はVSCとVTを比較してLOGIC93がコンデンサC1の参照電圧をVREFL又はVREFHに切り替える。画素シグナル信号のサンプリングはM回行われる。CMS回路31に入力する信号が大きければ大きいほど、VSCの出力飽和を防ぐためにLOGIC93がVREFHを選択する回数が多くなる。つまり、比較器91がVSC>VTと判断した回数信号Dがハイになった回数=LOGIC93がφD1をオンにしてVREFHを選択した回数をCOUNTER94がカウントし、この結果が画素リセット信号及び画素シグナル信号のデジタル変換後の信号となる。また、CMS回路31として、以下で説明する折り返し積分技術を利用したCMS回路と巡回型ADCとを組み合わせた回路を用いてもよい。具体的には、巡回型ADC回路を利用してCMS処理を実現させている。つまり、図6は折り返し積分技術を利用したCMS回路と巡回型ADCを組み合わせた回路としているが、実際には巡回型ADC回路だけで折り返し積分技術を用いたCMS回路としての機能も実現できるようになっている。CMS回路31は、サンプリング/ホールドS/H回路131、加算器132、SC積分器133、1.5bADC回路134、1.5bDAC回路135、加算回路136、レジスタ137及び138を有する。そして、図6の右側の回路図は、カラムADC13のフェーズ毎のブロック130の回路形態を示している。図6には記載されていないスイッチの接続がフェーズ毎に切り替わることによって、図6の右側に示したブロック130A、130B及び130Cの形態に遷移する。CMS回路31の回路動作としては、初めにサンプリング回数決定部121が決定した回数Mに従って相関多重サンプリング処理することによって画像信号の上位ビットを取得し、その後巡回型ADC回路が下位ビットを決定する。まず、画像信号の上位ビットを決めるAD変換動作折り返し積分技術を用いた相関多重サンプリング処理によるAD変換について説明する。この折り返し積分技術を用いた相関多重サンプリング処理によるアナログ/デジタル変換の際の回路形態は、図6の右側に示したブロック130Aとブロック130Bが交互に遷移することで表すことができる。カラムADC13におけるφFIADCがオン、φCADCがオフとなることで、ブロック130は、図6の右側に示すブロック130Aの回路形態となる。ブロック130Aにおいて、画素GCが出力する画素リセット信号又は画素シグナル信号がVINとして入力され、コンデンサC1が信号を取り込む。続いてブロック130Bの回路形態に移り、コンデンサC1の電荷がコンデンサC2に転送され、積分器133が積分動作を行う。そして、再びブロック130Aに戻り、1.5bADC回路比較器134が積分器133の出力と参照電圧±1/2VREFを比較する。続いてブロック130Bの回路形態に移り、1.5bADC回路134の比較結果に基づいてDAC135が積分器133の出力が飽和しないようにコンデンサC1の参照電圧を切り換える。この一連の動作を画素リセット信号及び画素シグナル信号についてM回サンプリング回数決定部121が決定した回数繰り返すことで相関多重サンプリング処理を実現し、ノイズ低減を図ることができる。そしてADDER136とREGISTER137によって構成されたCOUNTERが1.5bADC回路134の出力D1がハイレベルになった回数積分器133の出力が参照電圧1/2VREFを超えた回数をカウントすることによって、信号をデジタル変換したときの上位ビット群が決定される。続いて、画像信号の下位ビットを決めるAD変換動作巡回型ADCについて説明する。この巡回型ADC回路を用いたアナログ/デジタル変換の際の回路形態は、図6の右側に示したブロック130Bとブロック130Cが交互に遷移することで表すことができる。下位ビットは、折り返し積分技術を用いた相関多重サンプリング処理によるAD変換終了後の残差電圧を巡回型ADCによってA/D変換して求める。まずブロック130Cにおいて、コンデンサC2はアンプ133ブロック130A及び130Bでは積分器として使用の入出力間で接続され、1.5bADC134がアンプ133の出力と参照電圧±1/4VREFを比較する。続いてブロック130Bの回路形態に移り、コンデンサC1の一端がDAC135に接続され、他端がアンプ133の入力に接続される。1.5bADC回路134の比較結果に基づいてDAC135が積分器133の出力が飽和しないようにコンデンサC1の参照電圧を切り換える。更に、DAC135の出力に1.5bADC134の比較結果を供給することで、元信号と前段AD変換結果との差分信号が生成され、次のサイクルでコンデンサC1に接続するアナログ電圧が決まる。再びブロック130Cに戻り、前のサイクルのアンプ133の出力は、入力側にフィードバックされて、次のサイクルのAD変換が開始する。この一連の動作が必要回数繰り返される。そして、ブロック130Cの出力D1及びD0と出力されるデジタルコード、1.5bADC134への入力Vとの関係は次式のようになる。即ち、1.5bADC134は、入力Vを1-VREFから-VREF/4、2-VREF/4からVREF/4、3VREF/4からVREFの3領域に分割し、これらの領域に対して3値のA/D変換を行って-1、0、1のデジタルコードを割り当てて出力する。最初に出力されたデジタルコードが上位桁となる。尚、図6に示すCMS回路31の詳しい回路動作については、ISSCC2011An80μVrmsTemporalNoise82dBDynamicRangeCMOSImageSensorwitha13to10bVariableResolutionColumnParallelFoldingIntegrationCyclicADCを参考にされたい。更に、巡回型ADCの詳しい回路動作については、特開2005-136540号公報を参考にされたい。また、本実施の形態では、折り返し積分技術を利用したCMS回路に対して相性の良い巡回型ADCを用いてカラムADC13を構成した場合を例に説明するが、巡回型ADCに限定されるものではない。図7は、通常撮影、多重露光、多重相関、多重露光と多重相関を組み合わせた場合に得られるダイナミックレンジについて示した図である。横軸は被写体輝度BVを示しており、BVが大きくなるほど露出時間を短く制御する必要がある。図中で示した横棒Da、D1~D6はダイナミックレンジの幅を示している。図中、Daは通常撮影を行ったときに得られた画像のダイナミックレンジを示している。通常撮影とは、被写体の明るさに基づいてAE部21が設定した基準露光時間Taで画素アレイ部51が取得した画素信号を、カラムADCアレイ部53が予め定められた通常のA/D変換することによって画像を取得する撮影のことである。多重露光とは、1フレーム内で露光時間を分割し、異なる複数の露光時間で撮影した各画像を1つの画像に合成することでダイナミックレンジを拡張させる撮影方法のことである。D1は、露光時間T1=Ta/2のときのダイナミックレンジを示している。D1のレンジ幅はDaと同じであるが、Daと比べてBVは1段分ΔBV1明側にシフトする。また、D2は、露光時間T2=Ta/16Ta/24のときのダイナミックレンジを示している。D2のレンジ幅もDaと同じであるが、Daと比べてBVは4段分ΔBV2明側にシフトする。そして、露光時間T1及びT2で撮影された2つの画像を合成することで、合成後の画像のダイナミックレンジD3は2つの画像のダイナミックレンジD1及びD2の論理和となる。つまり、合成後の画像のダイナミックレンジD3はDaに比べて明側に拡張する。しかし、暗側については、多重露光で用いられる最大露光時間が基準露光時間Taより短くなるため、D3はDaに比べて暗側の感度が悪化する。D4は、多重相関のときのダイナミックレンジを示している。D4はDaと比べてlog2M段ΔBV3。Mはサンプリング回数だけ暗側が拡張する。明側のダイナミックレンジはDaと同じとなる。つまり、多重相関の場合、暗側にはダイナミックレンジが拡張するが、明側へは拡張されない。多重露光と多重相関を組み合わせた場合について説明する。多重露光によって得られた各画像のうち、最も低いBVを持つ画像は最大露光時間T1で撮影されたときの画像である。従って、最大露光時間T1で撮影されたときの画素信号に対して相関多重サンプリング処理を行うことで、その画像の暗側のダイナミックレンジが拡張しD5、更に画像合成を行うことで、明側にもダイナミックレンジが拡張するD6。しかし、多重相関のみの場合に比べて、露光時間が短くなっている分、ダイナミックレンジの暗側拡張幅は少なくなる。多重露光と多重相関を組み合わせることで、ダイナミックレンジが暗側、明側共に拡張されるため、高ダイナミックレンジ化が図れている。このため、多重露光と多重相関を組み合わせたモードが高ダイナミックレンジ化に適しているように思えるが、多重露光に関しては異なる複数の露光時間で複数回撮影するため、被写体の動きが速いと合成後の画像が乱れてしまう。また、多重相関の場合はサンプリング回数の分だけAD変換回数が増加する。これは、消費電流の増加やチップ温度の上昇を招く。チップ温度が上昇すると暗電流が増加し、画像信号のSN比に悪影響を及ぼす。そこで、モード選択部24が、撮影シーン情報取得部21が取得した撮影シーンに基づいて、通常撮影、多重露光、多重相関、多重露光と多重相関の組み合わせの何れかを選択する。撮影シーンに応じたモード選択をすることで、消費電流の増加やチップ温度の上昇を防ぎつつ、高ダイナミックレンジ化を図ることができる。図2に示す制御部2の各構成要素の説明を行う。AE部21は被写体の明るさを算出して基準露光時間を設定する。即ち、AE部21は自動露光を行う。飽和判定部22は、撮影により取得した画像信号を構成する画素値からその画像信号が示す画像の飽和状態から、画像のダイナミックレンジを暗側、明側に拡張する必要があるか否かを判定する。具体的には、画素値の最大値が予め定められた値を超えている場合、その画像は明るい領域の信号再現がなされていないことを示す白とび。従って、飽和判定部22は明側にダイナミックレンジを拡張する必要があると判断する。この他に、予め定められた値より大きい画素値を持つ領域が所定面積以上ある即ち、予め定められた値より大きい画素値を持つ画素が所定数以上あるときに明側に拡張する必要があると判断してもよい。更に、画素値の最小値が予め定められた値より小さい場合、その画像は暗い領域の信号再現がなされていないことを示す黒つぶれ。従って、飽和判定部22は暗側にダイナミックレンジを拡張する必要があると判断する。この他に、予め定められた値より小さい画素値を持つ領域が所定面積以上ある即ち、予め定められた値より小さい画素値を持つ画素が所定数以上あるときに暗側にダイナミックレンジを拡張する必要があると判断してもよい。移動量算出部23は、連続する複数の画像から、被写体の移動量を算出する。具体的には、移動量算出部23は画像の中央に位置する物体、又は最も撮像装置1に近い物体を検出し、その物体を追尾することで移動量を求める。モード選択部24は、飽和判定部22の判断結果に基づいて、多重相関モード、多重露光モード、多重相関モードと多重露光モードを組み合わせたモード、通常撮影の選択を行う。画像合成部25は、多重露光によって異なる複数の露光時間で撮影された画像を1つの画像に合成する。図8は、制御部2が実行する撮影処理の流れを示したフローチャートである。尚、図8は、撮影処理のメインルーチンであり、図9及び図10は、被写体の動きが遅いときにメインルーチンから分岐して実行される第1ルーチンを示したフローチャートであり、図11及び図12は被写体の動きが速いときにメインルーチンから分岐して実行される第2ルーチンを示したフローチャートである。まず、図8~図10を用いて、被写体の動きが遅い場合の撮影処理の流れについて説明する。I被写体の動きが遅い場合まず、撮像装置1の待機時等に画素アレイ部51は連続して複数の画像を撮影し、移動量算出部23はその画像を用いて被写体の移動量を算出するステップS11。移動量が閾値以下である場合ステップS12;YES、制御部2は第1ルーチン低速用撮影シーケンスに移行する。ここで閾値とは、多重露光による画像合成を行っても画像が乱れない上限の移動量とする。制御部2は、図9のステップS21へ処理を移行する。ここで、モード選択部24は、多重露光フラグと多重相関フラグをクリアする。多重露光フラグ及び多重相関フラグは、モード選択部24が有するワーキングメモリ等不図示が記憶する変数である。そして、AE部21は、基準露光時間Taを算出するステップS22。次に、モード選択部24は、変数Tmin及び変数Tmaxに、基準露光時間Taの値を代入するステップS23。変数Tmin及び変数Tmaxは、上記フラグと同様に、モード選択部24が有するワーキングメモリが記憶する変数である。そして、モード選択部24は、基準露光時間Taで画像を取り込ませる制御を固体撮像装置1に対して行うステップS24。これにより、画素アレイ部51は、基準露光時間Taで撮影を行って画素信号を出力し、カラムADCアレイ部53が画素信号に通常のA/D変換を施して画像信号を出力する。次に、飽和判定部22が出力された画像信号が示す画像のダイナミックレンジ拡張の必要性を判断する。明側に拡張する必要がある場合ステップS25;YES、モード選択部24は基準露光時間Taに対してBVを所定段数上げたときの露光時間を変数Tminとして設定すると共に、多重露光フラグをセットするステップS26。例えば、基準露光時間Taで撮影したときの画像に対してBVを1段上げるには、Taを半分にすればよく、即ち変数TminをTa/2に設定する。また、基準露光時間Taで撮影したときの画像に対してBVを2段上げるには、Taを1/4にすればよく、即ち変数TminをTa/22に設定する。つまり、基準露光時間Taで撮影したときの画像に対してBVをN段上げるには、露光時間をTa/2N1とすればよいN1は1以上の整数。従って、Tmin=Ta/2N1に設定する。ステップS26におけるN1の設定方法について詳しく説明する。モード選択部24はN1を変化させて、最大露光時間Tmax=Ta、最小露光時間Tmin=Ta/2N1、更にその間の露光時間にて画素アレイ部51に画像を取得させる。そして画像合成部25は、出力された画像を合成する。飽和判定部22は合成画像の飽和状態を判断し、明側飽和状態が解消されるまでN1を変化させる。つまり、明側飽和状態が解消されない場合、モード選択部24はN1を増加し、このときのTminを最小露光時間として再度多重露光を行なわせる。モード制御部22は、このような処理を繰り返すことで、明側飽和状態を解消するための最適なTminを導き出す。また、N1を変化させる処理を明側飽和状態が解消されるまで繰り返すのではなく、上記処理を予め決められた回数だけ繰り返し、その繰り返しの中で明側飽和状態が解消されたとき、そのときのN1を用いてTminを設定するようにしてもよい。繰り返しの中で明側飽和状態が解消されない場合は、明側飽和状態が最も緩和されたときのN1を用いてTminを設定する。また、N1を可変させる繰り返し処理は行わず、決められたN1を用いてTminを設定するようにしてもよい。次に、飽和判定部22が暗側にダイナミックレンジを拡張する必要がないと判断した場合ステップS27;NO、制御部2はステップS35へ処理を移行する。暗側にダイナミックレンジを拡張する必要がありステップS27;YES、基準露光時間Taが最大露光時間固体撮像装置1のフレームレート。本実施の形態では1/30秒とするより十分小さい場合ステップS28;YES、モード選択部24は基準露光時間Taで撮影したときの画像に対してBVを所定段数下げたときの露光時間を変数Tmaxとして設定する。例えば、基準露光時間Taで撮影したときの画像に対してBVを1段下げるには、Taを2倍にすればよく、即ち変数TmaxをTa×2に設定する。また、基準露光時間Taで撮影したときの画像に対してBVを2段下げるには、Taを4倍にすればよく、即ち変数TmaxをTa×4に設定する。つまり、基準露光時間Taで撮影したときの画像に対してBVをN段下げるには、露光時間をTa×2N2とすればよいN2は1以上の整数。従って、Tmax=Ta×2N2に設定する。N2の設定方法について詳しく説明する。飽和判定部22は合成画像の飽和状態を判断し、暗側飽和状態が解消されるまでN2を変化させる。つまり、暗側飽和状態が解消されない場合、モード選択部24はN2を増加し、このときのTmaxを最大露光時間として再度多重露光を行なわせる。モード制御部22は、この処理を繰り返すことで、暗側飽和状態を解消するための最適なTmaxを導き出す。また、N2を変化させる処理を暗側飽和状態が解消されるまで繰り返すのではなく、上記処理を予め決められた回数だけ繰り返し、その繰り返しの中で暗側飽和状態が解消されたとき、そのときのN2を用いてTmaxを設定するようにしてもよい。繰り返しの中で暗側飽和状態が解消されない場合は、暗側飽和状態が最も緩和されたときのN2を用いてTmaxを設定する。また、N2を可変させる繰り返し処理は行わず、予め決められたN2を用いてTmaxを設定するようにしてもよい。ステップS29の処理によって暗側飽和状態が解消された場合ステップS30;YES、モード選択部24は多重露光フラグをセットするステップS31。そして、制御部2は選択された撮影モードで撮影を行いステップS35、第1ルーチンを終了する。基準露光時間Taが1/30秒とあまり差がない場合ステップS28;NO又はステップS29の処理をもっても暗側飽和状態が解消されない場合ステップS30;NO、モード選択部24は多重露光フラグの状態を判別するステップS36。多重露光フラグがセットされていない場合ステップS36;NO、モード選択部24は変数Tsを1/30秒に設定しステップS32、多重相関フラグをセットするステップS34。ここで、変数Tsとは、モード選択部24が有するワーキングメモリが記憶する変数であり、相関多重サンプリングを行うときの露光時間を示す。そして、制御部2は選択された撮影モードで撮影を行いステップS35、第1ルーチンを終了する。多重露光フラグがセットされている場合ステップS36;YES、モード選択部24はTmax及びTsを1/60秒に設定しステップS33、多重相関フラグをセットするステップS34。そして、制御部2は選択された撮影モードで撮影を行いステップS35、第1ルーチンを終了する。ここでステップS35における選択されたモード別による撮影について説明する。多重露光フラグ及び多重相関フラグの何れもクリア状態である場合、制御部2は固体撮像装置5に対して通常撮影を行わせる。多重露光フラグのみがセット状態である場合、制御部2は、画素アレイ部51に最小露光時間をTmin、最大露光時間をTmax、更にその間の露光時間にて撮影を行わせ、カラムADCアレイ部53に通常のA/D変換にて画像信号を出力させる制御を行う。そして、画像合成部25が出力された画像信号の合成を行う。多重相関フラグのみがセット状態である場合、制御部2は、画素アレイ部51に露光時間Tsで撮影させ、カラムADCアレイ部53に相関多重サンプリング処理にて画像信号を出力させる制御を行う。そして、多重露光フラグ及び多重相関フラグの両方がセット状態である場合、制御部2は、画素アレイ部51に最小露光時間をTmin、最大露光時間をTmax、更にその間の露光時間にて撮影を行わせ、カラムADCアレイ部53に最大露光時間Ts=Tmaxで撮影されたときの画素信号を相関多重サンプリング処理させ、それ以外の露光時間で撮影されたときの画素信号を通常のA/D変換にて画像信号を出力させる制御を行う。そして、画像合成部25が出力された画像信号を合成する。以上の処理をまとめると、次のようになる。1明側及び暗側にもダイナミックレンジを拡張する必要がない場合は通常撮影を行う。2明側のみダイナミックレンジを拡張する必要がある場合は、最小露光時間Tmin=Ta/2N1、最大露光時間Tmax=Taの多重露光を行う。露光時間Ta/2N1の画像は通常撮影時の画像に比べてBVが明側にN1段分シフトするため、画像合成によって明側のダイナミックレンジが拡張され、明側の画像が再現されやすくなる。3暗側のみダイナミックレンジを拡張する必要があり、Taが1/30秒より十分小さく、Tmax=Ta×2N2の式を用いてTmaxを可変させたことにより、暗側飽和状態が解消された場合は、最小露光時間Tmin=Ta、最大露光時間Tmax=Ta×2N2の多重露光を行う。露光時間Ta×2N2の画像は通常撮影時の画像に比べてBVが暗側にN2段分シフトするため、画像合成によって暗側ダイナミックレンジが拡張され、暗側の画像が再現されやすくなる。4暗側のみダイナミックレンジを拡張する必要があり、Taが1/30秒と差がないとき、又は、暗側のみ画素値が飽和しており、Taが1/30秒より十分小さく、Tmax=Ta×2N2として多重露光を行っても暗側飽和状態が解消されない場合は、画素アレイ部51は露光時間Ts=1/30秒で撮影を行う。そして、カラムADCアレイ部53が相関多重サンプリング処理を行って画像信号を出力する。相関多重サンプリングを行うことで通常撮影時よりBVがlog2M段ほど暗側に拡張される。つまり、暗側の画像が再現されやすくなる。ここで、暗側のみダイナミックレンジを拡張する必要があるときに基準露光時間Taと1/30秒を比較する理由図9におけるステップS28について説明する。多重露光で用いる最大露光時間の上限はフレームレート1/30秒であるため、基準露光時間Taと1/30秒に差がない場合、最小露光時間Tmin明側飽和状態がないときはTmin=Taと十分間隔を置いた最大露光時間を設定することができない。つまり、多重露光によるダイナミックレンジの拡張は期待できないことから、多重相関によるダイナミックレンジ拡張を実施する。基準露光時間Taと1/30秒に十分差がある場合は、多重相関ではなく多重露光を用いることにより、多重相関の実行によって発生する消費電力増大、チップ温度上昇による暗電流の増加、処理負荷の増加等による悪影響を避けることができる。5明側及び暗側の両方のダイナミックレンジを拡張する必要があり、Taが1/30秒より十分小さく、Tmax=Ta×2N2の式を用いてTmaxを可変させたことにより、暗側飽和状態が解消された場合は、最小露光時間Tmin=Ta/2N1、最大露光時間Tmax=Ta×2N2の多重露光を行う。合成後の画像は通常撮影時の画像に比べて明側にN1段、暗側にN2段、それぞれBVが拡張される。6明側及び暗側の両方のダイナミックレンジを拡張する必要があり、Taが1/30秒と差がないとき、又は暗側のみに画素値が飽和しておりTmax=Ta×2N2として多重露光を行っても暗側飽和状態が解消されない場合は、最小露光時間Tmin=Ta/2N1、最大露光時間Tmax=1/60秒の多重露光を行う。尚、カラムADCアレイ部53は、出力された画素信号のうち露光時間Ts=Tmaxで撮影されたときの画素信号については相関多重サンプリング処理を施し、露光時間Ts以外で撮影されたときの画素信号については通常のA/D変換を施す。多重露光及び多重相関を行うことで、通常撮影時に比べて明側及び暗側の両方のダイナミックレンジを拡張させることができる。II被写体の動きが早い場合図11及び図12を用いて、被写体の動きが速いときの撮影処理の流れについて説明する。図8において、移動量算出部23が被写体の移動量を算出した結果、移動量が閾値より大きい場合ステップS12;NO、制御部2は第2ルーチン高速用撮影シーケンスに移行する。制御部2は、図11のステップS41へ処理を移行する。ここで、モード選択部24は、多重露光フラグと多重相関フラグをクリアにし、AE部21は、基準露光時間Taを算出するステップS42。そして、モード選択部24は、Tmin、Tmax及びTsに、基準露光時間Taの値を代入するステップS43。続いて、モード選択部24は、設定された撮影モードに応じて固体撮像装置1に撮影を行わせるステップS44。最初の段階においては、多重露光フラグ及び多重相関フラグはクリア状態であるため、制御部2は固体撮像装置1に対して基準露光時間Taでの通常撮影を行わせる。次に、モード選択部24は、出力された画像信号が示す画像のダイナミックレンジ拡張の必要性を判断するステップS45。ダイナミックレンジ拡張の必要がない場合ステップS45;YES、制御部2はステップS44へ処理を移行し、撮影を続行させる。一方、明側にダイナミックレンジ拡張の必要がありステップS45;NO、ステップS46;明側、前回撮影時は明側にダイナミックレンジ拡張の必要がなかった場合ステップS47;NO、モード選択部24はTsをTa/2N1に設定し、多重相関フラグをセットすると共に多重露光フラグをクリアするステップS48。そして撮影終了指示がない場合はステップS55;NO、制御部2はステップS44へ処理を移行する。つまりステップS44において、制御部2は画素アレイ部51に露光時間Ts=Ta/2N1で撮影を行わせ、カラムADCアレイ部に相関多重サンプリング処理を行わせて画像信号を出力させる。ステップS46に戻り、明側にダイナミックレンジ拡張の必要がありステップS46;暗側、前回撮影時は暗側にダイナミックレンジ拡張の必要がなかった場合ステップS49;NO、モード選択部24は多重相関フラグをセットすると共に多重露光フラグをクリアするステップS50。そして撮影終了指示がない場合はステップS55;NO、制御部2はステップS44へ処理を移行する。つまりステップS44において、制御部2は画素アレイ部51に露光時間Ts=Taで撮影を行わせ、カラムADCアレイ部に相関多重サンプリング処理を行わせて画像信号を出力させる。ステップS46に戻り、暗側及び明側の両方でダイナミックレンジ拡張の必要がある場合ステップS46;両方、又は明側のみ拡張の必要があって前回撮影時も明側のみ拡張の必要があった場合ステップS47;YES、又は暗側のみ拡張の必要があって前回撮影時も暗側のみ拡張の必要があった場合ステップS49;YES、そしてTaが多重露光に用いる最大露光時間である1/60秒より十分小さいときはステップS51;YES、モード選択部24はTminをTa/2N1、TmaxをTa×2N2に設定し、多重露光フラグをセットし、多重相関フラグをクリアするステップS52。そして撮影終了指示がない場合はステップS55;NO、制御部2はステップS44へ処理を移行する。つまりステップS44において、制御部2は画素アレイ部51に最小露光時間をTmin=Ta/2N1、最大露光時間をTmax=Ta×2N2、更にその間の露光時間にて撮影を行わせ、カラムADCアレイ部53に通常のA/D変換を行わせる。そして画像合成部25が出力された画像信号の合成を行う。ステップS51に戻り、Taが1/60秒とあまり差がない場合ステップS51;NO、モード選択部24はTminをTa/2N1、Tmax及びTsを1/60秒に設定し、多重露光フラグと多重相関フラグをセットするステップS53。そして撮影終了指示がない場合はステップS55;NO、制御部2はステップS44へ処理を移行する。つまりステップS44において、制御部2は画素アレイ部51に最小露光時間をTmin=Ta/2N1、最大露光時間をTmax=1/60秒、更にその間の露光時間にて撮影を行わせ、カラムADCアレイ部53に露光時間Ts=Tmaxで撮影された時の画素信号に対して相関多重サンプリング処理させ、それ以外の露光時間で撮影されたときの画素信号に対して通常のA/D変換を行わせる。そして画像合成部25が出力された画像信号の合成を行う。制御部2は、ステップS44からステップS55までの処理を撮影終了指示がなされるまで繰り返す。尚、被写体の動きが遅いとき、変数N1及びN2は、飽和状態が解消されるまでN1、N2を変化させる繰り返し処理を行って、最適なN1及びN2を導き出すとしたが、被写体の動きが速い場合は動画像の撮影である可能性が高い為、上記のような繰り返し処理を行うことで処理負荷が増大してしまう。従って、予め定められた値を用いてN1、N2を設定する。以上の処理をまとめると、次のようになる。1明側及び暗側の両方でダイナミックレンジ拡張の必要がある場合は通常撮影を行う。2明側のみダイナミックレンジ拡張の必要がある場合は、画素アレイ部51がTs=Ta/2N1で撮影を行い、カラムADCアレイ部53が相関多重サンプリング処理を行って画像信号を出力する。ここで、相関多重サンプリング処理にて拡張されるビット分、露光時間の短縮を行うことで、得られた画像のダイナミックレンジが通常撮影時に比べて明側へシフトする。そしてその画像に相関多重サンプリング処理を施すことで、暗側のダイナミックレンジを露光時間の短縮前つまり通常撮影時の画像のダイナミックレンジと同じレベルに維持することができる。つまり、明側に拡張したダイナミックレンジを得ることができる。3暗側のみダイナミックレンジ拡張の必要がある場合は、画素アレイ部51がTs=Taで撮影を行い、カラムADCアレイ部53が相関多重サンプリング処理を行って画像信号を出力する。相関多重サンプリングを行うことで通常撮影時よりBVがlog2M段ほど暗側に拡張される。つまり、暗側の画像が再現されやすくなる。被写体の動きが速い場合、ダイナミックレンジを拡張するには多重露光より多重相関が適しているが、多重相関ではダイナミックレンジの拡張幅に限度がある。従って、明側又は暗側の何れかのみにダイナミックレンジを拡張したいときは、多重相関を用いる。4明側及び暗側の両方のダイナミックレンジ拡張の必要がある場合は、又は前回の撮影時に相関多重サンプリング処理にてダイナミックレンジ拡張を図ったが飽和状態が解消されていない場合、更にTaが1/60秒より十分小さいときは、最小露光時間Tmin=Ta/2N1、最大露光時間Tmax=Ta×2N2の多重露光を行う。通常撮影時の画像に比べて、明側にN1段、暗側にN2段、それぞれBVが拡張される。5明側及び暗側の両方のダイナミックレンジ拡張の必要がある場合は、又は前回の撮影時に相関多重サンプリング処理にてダイナミックレンジ拡張を図ったが飽和状態が解消されていない場合、更にTaが1/60秒と差がないときは、最小露光時間Tmin=Ta/2N1、最大露光時間Tmax=1/60秒の多重露光を行う。尚、カラムADCアレイ部53は、出力された画素信号のうちTs=1/60秒で撮影されたときの画素信号については相関多重サンプリング処理を施し、Ts以外で撮影されたときの画素信号については通常のA/D変換を施す。多重露光及び多重相関を行うことで、通常撮影時に比べて明側及び暗側の両方のダイナミックレンジを拡張させることができる。以上、説明したように、撮影シーンや被写体の動きの速さに応じて相関多重サンプリング又は/及び多重露光を行うことで効率的に高ダイナミックレンジ化を図ることができる。