"露光を行って画像信号を取得する撮像装置において、露光量に応じた信号電荷を発生させる複数の画素が2次元状に配列された画素部と、前記画素部の露光量を決定する露光量制御部と、出力画像の複数フレーム分の前記画素部からの画素信号を記憶し得るメモリ部と、前記画素部の画素信号を読み出して前記メモリ部に格納する画素読出制御部と、前記メモリ部に格納した画素信号を読み出すメモリ読出制御部と、を具備し、前記露光量制御部は、前記画素部を連続的に複数回露光するように制御し、前記画素読出制御部は、前記連続的な複数回の露光に係る各画素信号を順次読み出して前記メモリ部に格納することを特徴とする撮像装置。前記露光量制御部が制御する複数回の露光は、互いに異なる露光時間の露光であり、前記メモリ読出制御部は、前記メモリ部に格納された、前記連続的な複数回の露光に係る各画素信号を、該複数回の露光毎に順次外部へ出力するものであることを特徴とする請求項1に記載の撮像装置。前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画像の平均演算を行うか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画像の平均演算を行うことで平均演算結果を得て、該平均演算の結果を外部へ出力するものであることを特徴とする請求項1に記載の撮像装置。前記メモリ読出制御部は、前記平均演算の結果をさらに前記メモリ部に再度書き込み、その後に、該メモリ部から平均演算結果を読み出して増幅することにより、前記複数回の露光に係る画像同士の加算演算結果に相当する画像を生成して外部へ出力するものであることを特徴とする請求項3に記載の撮像装置。前記露光量制御部が制御する複数回の露光は、互いに異なる露光時間の露光であり、前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画素信号のダイナミックレンジ合成を行うか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画素信号のダイナミックレンジ合成を行うことでダイナミックレンジ合成結果を得て、前記露光量制御部により制御された露光回数よりも少ないフレーム数の画像を外部へ出力するものであることを特徴とする請求項1に記載の撮像装置。前記メモリ読出制御部は、前記連続的な複数回の露光に係る各画素信号を加算演算することにより、ダイナミックレンジ合成を行うものであることを特徴とする請求項5に記載の撮像装置。前記露光量制御部が制御する複数回の露光は、長露光時間と短露光時間とを含み、前記メモリ読出制御部は、長露光時間に係る画素信号を所定の判定スレッシュレベルと比較して、該判定スレッシュレベル未満である場合には該画素信号を外部へ出力し、該判定スレッシュレベル以上である場合には該画素信号に該判定スレッシュレベルあるいは長時間露光と短時間露光の比に関連した特定の加算レベルを加算演算した結果を外部へ出力することにより、ダイナミックレンジ合成された画像を外部へ出力するものであることを特徴とする請求項5に記載の撮像装置。前記メモリ読出制御部は、前記メモリ部に格納された前記連続的な複数回の露光に係る各画像の平均演算と加算演算とを並列的に実施するか、あるいは、前記画素読出制御部が前記画素部の画素信号を読み出して前記メモリ部に格納する際に、同時に、逐次、複数回の露光に係る各画像の平均演算と加算演算とを並列的に実施し、加算演算に係る画素信号を所定の判定スレッシュレベルと比較して、該判定スレッシュレベル未満である場合には該画素信号を外部へ出力し、該判定スレッシュレベル以上である場合には平均演算に係る画素信号に該判定スレッシュレベルあるいは長時間露光と短時間露光の比に関連した特定の加算レベルを加算演算した結果を外部へ出力することにより、前記露光量制御部により制御された露光回数よりも少ないフレーム数のダイナミックレンジ合成された画像を外部へ出力するものであることを特徴とする請求項1に記載の撮像装置。しかしながら、上記特開2011-4353号公報に記載されたような技術では、位置ずれ補正を行うためには、アファイン変換やブロックマッチング等の高度な画像処理技術が必要であるために、カメラとは別途のコンピュータにおいて処理を行うか、またはカメラに十分な処理機能を備えさせる必要があり撮像装置の高価格化や大型化を招くこととなっていた。また、上述した従来の技術では、例えば2枚の画像を合成する場合には、1枚の合成画像を得るために2枚の画像を読み出す必要がある。従って、動画像において広ダイナミックレンジ画像を得ようとすると、フレームレートが低下してしまう2枚を合成する場合には、フレームレートが半分になってしまう課題があった。本発明は上記事情に鑑みてなされたものであり、高度な画像処理を要することなく、位置ずれが小さい広ダイナミックレンジ画像を得るための画像データを取得可能な撮像装置を提供することを目的としている。上記の目的を達成するために、本発明の一態様による撮像装置は、露光を行って画像信号を取得する撮像装置において、露光量に応じた信号電荷を発生させる複数の画素が2次元状に配列された画素部と、前記画素部の露光量を決定する露光量制御部と、出力画像の複数フレーム分の前記画素部からの画素信号を記憶し得るメモリ部と、前記画素部の画素信号を読み出して前記メモリ部に格納する画素読出制御部と、前記メモリ部に格納した画素信号を読み出すメモリ読出制御部と、を具備し、前記露光量制御部は、前記画素部を連続的に複数回露光するように制御し、前記画素読出制御部は、前記連続的な複数回の露光に係る各画素信号を順次読み出して前記メモリ部に格納する。本発明の撮像装置によれば、高度な画像処理を要することなく広ダイナミックレンジ画像を生成可能な、露光時間の異なる複数枚の画像を得ることができる。まず、図1から図6を参照して、本発明の実施形態に関連する撮像素子の基本的な構成を参考例として説明する。ここに、図1は撮像装置の構成を示すブロック図である。この撮像装置は、図1に示すように、レンズ1と、撮像部2と、HDRHighDynamicRange:広ダイナミックレンジデジタル合成部3と、AF評価値演算部4と、表示部5と、手振検出部7と、手振補正部8と、露光制御部9と、フォーカス制御部10と、カメラ操作部11と、カメラ制御部12と、を備えている。なお、図1にはメモリカード6も記載されているが、このメモリカード6は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。レンズ1は、被写体の光学像を撮像部2に含まれる撮像素子2aの撮像領域に結像するものである。このレンズ1は、焦点位置ピント位置を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本例においては手振補正機能も備えたものとなっている。撮像部2は、レンズ1により結像された被写体の光学像を光電変換して画像信号として出力する撮像素子撮像センサ2aや、この撮像素子2aから出力された画像信号にアナログの信号処理を施した後にデジタル信号に変換する信号処理回路などを含んでいる。なお、本例においては、撮像素子2aはレンズ1の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。HDRデジタル合成部3は、撮像部2から出力される露光量の異なる複数枚の画像あるいは撮像部2内で簡易HDR合成した画像を元に、広ダイナミックレンジ画像を生成するものである。AF評価値演算部4は、撮像部2から出力された画像信号に基づいてAF評価値を算出し、カメラ制御部12へ出力するものである。すなわち、この撮像装置は、例えばコントラストAFによりオートフォーカスを行うように構成されたものとなっている。表示部5は、HDRデジタル合成部3により合成された広ダイナミックレンジ画像を表示するものである。すなわち、この表示部5は、広ダイナミックレンジライブビューLV表示や、広ダイナミックレンジ静止画像表示を行うものとなっている。さらに、表示部5は、この撮像装置に係る各種の情報等も表示するようになっている。メモリカード6は、HDRデジタル合成部3により合成された広ダイナミックレンジ画像を保存するための記録媒体である。手振検出部7は、加速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部12へ出力するものである。手振補正部8は、カメラ制御部12の制御に基づいて、検出された手振れを相殺するようにレンズ1と撮像素子2aとの少なくとも一方を移動させ、撮像素子2aの撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するためのものである。露光制御部9は、カメラ制御部12により決定されたシャッタ速度露光時間に基づいて、該カメラ制御部12の制御の下に、撮像素子2aの素子シャッタこの素子シャッタには、グローバルシャッタ、すなわち、撮像素子2aの全画素を一括リセットすることにより撮影用の露光を開始し、所定の露光時間が経過した後に全画素の画像信号を一括転送して露光を終了するシャッタが含まれているを制御し、露光時間の異なる複数枚の画像を取得させる撮像制御部である。さらに、露光制御部9は、カメラ制御部12により決定された絞り値に基づいて、レンズ1に含まれる絞りの制御等も行うようになっている。ここに、シャッタ速度および絞り値は、撮像部2から出力された画像信号に基づいて算出された測光データと、カメラ操作部11により設定された感度と、等を用いて、例えばAPEXシステムに沿ったプログラム線図等に基づきカメラ制御部12により決定される。従って、露光制御部9およびカメラ制御部12は、撮像部2の後述する画素部21の露光量を決定し、この画素部21を連続的に複数回露光するように制御する露光量制御部として機能する。また、露光制御部9は、撮像素子2aの駆動情報をカメラ制御部12へ出力するようになっている。フォーカス制御部10は、焦点を調節するためにレンズ1を駆動するものである。すなわち、フォーカス制御部10は、AF評価値演算部4からAF評価値を受けたカメラ制御部12の制御に基づいて、レンズ1に含まれるフォーカスレンズを駆動し、撮像素子2aに結像される被写体像が合焦に至るようにするものである。また、フォーカス制御部10は、レンズ位置などのレンズ駆動情報をカメラ制御部12へ出力するようになっている。カメラ操作部11は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部11には、撮像装置の電源をオン/オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ライブビューモード、広ダイナミックレンジ撮影モードなどを設定するためのモードボタン等の操作部材が含まれている。カメラ制御部12は、フォーカス制御部10からのレンズ駆動情報やAF評価値演算部4からのAF評価値、手振検出部7からの手振情報、カメラ操作部11からの操作入力などに基づいて、HDRデジタル合成部3、メモリカード6、手振補正部8、露光制御部9、フォーカス制御部10等を含むこの撮像装置全体を制御するものである。次に、図2は、撮像部2の構成を示す図である。撮像部2は、複数の画素31を有する画素部21と、メモリ部22と、列処理部23と、垂直走査回路24と、水平読出回路25と、制御回路26と、水平信号線27と、出力アンプ28と、を有している。なお、撮像部2の撮像素子2aは、少なくとも画素部21を含んでいるが、その他の回路要素は撮像素子2a内であっても構わないし、撮像素子2a外であっても良い。また、図2に示す各回路要素の配置位置は、実際の配置位置と必ずしも一致するわけではない。画素部21は、露光量に応じた信号電荷を発生させる複数の画素31が2次元状行列状図2の例では10行×12列に配列された撮像領域である。メモリ部22は、画素部21に配列された各画素31の信号電荷を一時的に蓄積するものであり、例えば画素部21に配列された各画素31と同一数かつ同一配列のメモリを有して構成されている。例えば動画像は一般的に静止画像よりも出力画素数が少ない一般に、静止画像の画素数の数分の1程度であるために、このメモリ部22は、動画像に対しては、前記画素部からの画素信号を複数フレーム分記憶し得るものとなっている。また、メモリ部22を、複数フレーム分の静止画像の画素信号を記憶し得るようにも構成できる。後述の本実施形態ではその構成を前提としている。垂直走査回路24は、例えばシフトレジスタで構成されており、画素部21に配列された各画素31を、例えば行単位で、あるいは全画素を同時にグローバル動作、駆動制御するものである。従って、垂直走査回路24あるいは、さらに制御回路26は、画素部21の画素信号を読み出してメモリ部22に格納する画素読出制御部となっている。この垂直走査回路24は、連続的な複数回の露光に係る各画素信号を順次読み出してメモリ部22に格納する制御を行う。垂直走査回路24の駆動制御には、画素31のリセット動作、蓄積動作、画素部21からメモリ部22への信号読み出し動作等の制御が含まれる。この駆動制御を行うために、垂直走査回路24は、行毎に設けられている制御信号線32を介してそれぞれの画素31へ制御信号を出力し、画素31を行毎に独立して制御する。例えば、垂直走査回路24は、画素部21の全画素31を駆動制御し、全画素31の画素信号をメモリ部22のメモリへ一斉に転送する。さらに、垂直走査回路24は、メモリ部22に配列されたメモリを、例えば行単位で駆動制御するものである。この駆動制御には、メモリ部22に配列されたメモリから画素信号を行単位で列処理部23へ読み出す制御等が含まれる。列処理部23は、列毎の垂直信号線33を介してメモリ部22の各メモリから出力された画素信号に対して、あるいは、垂直走査回路24あるいは、さらに制御回路26が、画素部21の画素信号を読み出してメモリ部22に格納する際に画素信号に対して、例えばノイズ除去や増幅、後述の各種演算等の信号処理を行うものである。この列処理部23は、画素読出制御部でもある。水平読出回路25は、例えばシフトレジスタで構成されており、画素信号を読み出す画素列を選択して、選択した画素列に係る列処理部23を順次選択し、列処理部23から画素信号を順次水平信号線27へ出力することにより画素信号を読み出すものである。そして、列処理部23、垂直走査回路24、および水平読出回路25あるいは、さらに制御回路26が、メモリ部22に格納した画素信号を読み出すメモリ読出制御部を構成している。出力アンプ28は、水平信号線27へ出力された画素信号に対して増幅等の信号処理を行い、外部へ画素信号を出力するものである。制御回路26は、露光制御部9の制御に基づいて、上述した列処理部23、垂直走査回路24、水平読出回路25等の動作の基準となるクロック信号や制御信号等を生成して出力し、これら列処理部23、垂直走査回路24、水平読出回路25等を制御するものである。図3は、1画素に係る画素部21、メモリ部22、および列処理部23の構成を示す回路図である。画素部21の画素31は、光電変換部であるPDフォトダイオードと、この光電変換部PDの信号を電荷読み出しの際に一時的に保持する信号蓄積部であるFDフローティングディフュージョンと、を備えている。ここに、光電変換部PDは、入射した光に応じた信号電荷を生成発生し、生成発生した信号電荷を保持蓄積するものである。また、信号蓄積部FDは、光電変換部PDから転送された信号電荷を一時的に保持蓄積する容量である。これら光電変換部PDの一端と信号蓄積部FDの一端と、はそれぞれ接地されている。光電変換部PDの他端と信号蓄積部FDの他端との間には、光電変換部PDに蓄積された信号電荷を信号蓄積部FDへ転送するための転送トランジスタTXが直列に接続されている。すなわち、転送トランジスタTXは、ドレイン端子が光電変換部PDの他端に、ソース端子が信号蓄積部FDの他端に、それぞれ接続されている。また、転送トランジスタTXの入力部であるゲート端子は垂直走査回路24に接続されており、垂直走査回路24から転送パルスが供給されて、転送トランジスタTXのオン/オフが制御されるようになっている。TrAは、増幅部として機能する増幅用トランジスタであり、ゲート端子に入力される、信号蓄積部FDに蓄積されている信号電荷に基づく信号を、増幅して、ソース端子から出力するものである。この増幅トランジスタTrAのドレイン端子は、電圧源Vddに接続されている。また、増幅トランジスタTrAの入力部であるゲート端子は、転送トランジスタTXのソース端子に接続されている。さらに、増幅トランジスタTrAのソース端子は電流源に接続されている。増幅トランジスタTrAは、電圧源Vddと電流源とでソースフォロアンプを構成するようになっている。FDRSTは信号蓄積部FDおよび増幅トランジスタTrAの入力部をリセットするためのFDリセットトランジスタである。このFDリセットトランジスタFDRSTのドレイン端子は電圧源Vddに接続されており、FDリセットトランジスタFDRSTのソース端子は転送トランジスタTXのソース端子に接続されている。また、FDリセットトランジスタFDRSTの入力部であるゲート端子は垂直走査回路24に接続されており、垂直走査回路24からFDリセットパルスが供給されて、FDリセットトランジスタのオン/オフが制御されるようになっている。このような構成において、FDリセットトランジスタFDRSTと転送トランジスタTXとを同時にオンすることにより、信号蓄積部FDのリセットと同時に光電変換部PDのリセットも行うことができるようになっている。このような構成により、光電変換部PDの信号は、信号蓄積部FDに一旦蓄積された後に、増幅トランジスタTrAにより増幅されて、メモリ部22側へ出力される。メモリ部22は、コンデンサC1と、スイッチSW1-1と、スイッチSW2-1と、アナログメモリであるメモリm1と、トランジスタTrB-1と、スイッチSW3-1とを有している。コンデンサC1の一端は増幅トランジスタTrAのソース端子に接続されている。このコンデンサC1は、増幅トランジスタTrAから出力される増幅信号の電圧レベルをクランプ固定する容量である。コンデンサC1の他端は、トランジスタにより構成されたスイッチSW1-1のドレイン端子に接続されている。スイッチSW1-1は、コンデンサC1の他端の電圧レベルをサンプルホールドし、メモリm1に保持、蓄積するトランジスタである。このスイッチSW1-1のゲート端子は、垂直走査回路24に接続されており、垂直走査回路24からサンプルパルスが供給されて、スイッチSW1-1のオン/オフが制御されるようになっている。スイッチSW2-1は、メモリm1をリセットするためのトランジスタであり、そのソース端子がスイッチSW1-1のソース端子に接続され、ドレイン端子が参照電圧Vrefに接続されている。このスイッチSW2-1のゲート端子は、垂直走査回路24に接続されており、垂直走査回路24からクランプメモリリセットパルスが供給されて、スイッチSW2-1のオン/オフが制御されるようになっている。メモリm1は、一端が接地され、他端がスイッチSW1-1のソース端子に接続されていて、スイッチSW1-1によってサンプルホールドされたアナログ信号を保持蓄積するものである。このメモリm1は、信号蓄積部FDの容量よりも大きな容量となるように構成されている。トランジスタTrB-1は、増幅部として機能する増幅用トランジスタであり、メモリm1に蓄積されている信号電荷に基づいてゲート端子に入力される信号を増幅して、ソース端子から出力するものである。このトランジスタTrB-1のドレイン端子は、電圧源Vddに接続されている。また、トランジスタTrB-1の入力部であるゲート端子は、スイッチSW1-1のソース端子に接続されている。さらに、トランジスタTrB-1のソース端子は、スイッチSW3-1を介して電流源に接続されている。トランジスタTrB-1は、電圧源Vddと電流源とでソースフォロアンプを構成するようになっている。スイッチSW3-1は、アナログのメモリm1の信号を垂直信号線33に出力する選択を行うためのトランジスタである。そして、選択された信号は垂直信号線33を介して列処理部23へ転送される。このスイッチSW3-1は、ドレイン端子がトランジスタTrB-1のソース端子に接続され、ソース端子が電流源に接続されている。また、スイッチSW3-1のゲート端子は、垂直走査回路24に接続されており、垂直走査回路24から選択パルスが供給されて、スイッチSW3-1のオン/オフが制御されるようになっている。このような構成により、画素部21からの信号は、メモリm1に一旦蓄積された後に、トランジスタTrB-1により増幅されて、列処理部23側へ出力される。列処理部23は、スイッチSW5と、コンデンサC2と、スイッチSW6と、コンデンサC3と、スイッチSW8とを有している。スイッチSW5は、トランジスタにより構成されていて、ドレイン端子がスイッチSW3-1のソース端子に接続され、ソース端子がコンデンサC2の一端に接続されている。このスイッチSW5のゲート端子は、制御回路26に接続されており、制御回路26から供給されるパルスによりオン/オフが制御されるようになっている。コンデンサC2は、他端が、スイッチSW6のソース端子と、コンデンサC3の他端と、スイッチSW8のドレイン端子とに接続されている。このコンデンサC2は、トランジスタTrB-1から出力されスイッチSW3-1およびスイッチSW5を介して入力される増幅信号の電圧レベルをクランプ固定する容量である。スイッチSW6は、コンデンサC3をリセットするためのトランジスタであり、ドレイン端子が参照電圧Vrefに接続されている。このスイッチSW6のゲート端子は、制御回路26に接続されており、制御回路26から供給されるパルスによりオン/オフが制御されるようになっている。コンデンサC3は、一端が接地され、他端がスイッチSW6のソース端子に接続されていて、コンデンサC2の電圧レベルに基づくアナログ信号を保持蓄積するものである。スイッチSW8は、コンデンサC3の信号を読み出して水平信号線27を介して出力アンプ28へ転送する選択を行うためのトランジスタである。このスイッチSW8は、ドレイン端子がスイッチSW6のソース端子に接続され、ソース端子が水平信号線27に接続されている。また、スイッチSW8のゲート端子は、水平読出回路25に接続されており、水平読出回路25から供給されるパルスによりオン/オフが制御されるようになっている。こうして、列処理部23において選択された列の画素信号が、後段の出力アンプ28により増幅され、出力されるようになっている。撮像部2には、出力アンプ28の後段にさらに図示しないA/D変換部が設けられており、撮像部2からの信号はデジタル化された後にHDRデジタル合成部3へ出力されるようになっている。なお、上記各トランジスタに関しては、極性を逆にして、ソース端子とドレイン端子とを上述とは逆にしても構わないが、以下においても入力側がドレイン端子、出力側がソース端子である場合を例に挙げて説明する。さらに、以下では、スイッチがトランジスタにより構成されていることの明記も、適宜省略する。図4は広ダイナミックレンジ画像を得るための撮像部2の基本的な撮像動作を示す図、図5は画素部21の1行目および2行目における動作を示すタイミングチャート、図6は画素部21の1行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。なお、図4には、一例として、露光時間の異なる2種類の画像を取得する場合を示している。まず、カメラ制御部12は、測光結果に基づいて、露光時間Texpとして、長時間と短時間との2種類を予め設定しておく。そして、露光制御部9は、垂直同期信号VDの立ち上がりタイミングから例えば長時間露光時間だけ遡った時点で、撮像素子2aの全画素の光電変換部PDのリセットを同時に行わせるつまり、グローバルシャッタ方式である。この光電変換部PDのリセットは、上述したように、FDリセットトランジスタFDRSTと転送トランジスタTXとを同時にオンすることに行われる図5および図6参照。そして、FDリセットトランジスタFDRSTおよび転送トランジスタTXがオフになった時点が露光開始時点となる。このリセット動作後は、信号蓄積部FDの電位も電圧源Vddにリセットされ、増幅トランジスタTrAからの増幅された出力はTrAのVth分だけ低下したVdd-Vthとなる図6参照。その後、垂直同期信号VDの立ち上がりタイミングよりも以前の時点で、FDリセットトランジスタFDRSTをオンして信号蓄積部FDをリセットし、同時にスイッチSW2-1をオンすることによりメモリm1を図6に示す参照電圧Vrefにリセットする。このときさらに同時に、スイッチSW1-1をオンすることにより、コンデンサC1の他端の電位が参照電圧Vrefにリセットされると共に、スイッチSW1-1がコンデンサC1の他端の電位のサンプルホールドを開始する。その後、FDリセットトランジスタFDRSTをオフにすることで、信号蓄積部FDのリセットが終了する。この信号蓄積部FDのリセットは、リーク電流によるノイズをより低減するために、なるべく露光期間の終了直前に行うことが望ましい。続いて、スイッチSW2-1をオフにすることで、メモリm1のリセットを終了する。この時点で、コンデンサC1は、増幅トランジスタTrAから出力される増幅信号信号蓄積部FDのリセット後の増幅信号をクランプしている。さらにその後、転送トランジスタTXをオンにすることで、全画素の光電変換部PDに蓄積されている信号電荷が、転送トランジスタTXを介して信号蓄積部FDに転送され、信号蓄積部FDに蓄積される。これにより、信号蓄積部FDの端子波形、増幅トランジスタTrAの出力波形、メモリm1の他端の電位が図6に示すように変化する。次に、垂直同期信号VDの立ち上がりタイミングにおいて、全画素の転送トランジスタTXをオフにすることで、全画素の露光信号電荷の蓄積が一括して同時に終了する。この転送トランジスタTXのオフと同時にスイッチSW1-1をオフすることにより、コンデンサC1の他端の電位のサンプルホールドを終了する。このようにして、画素部21の全画素に蓄積されている信号は、メモリm1にサンプルホールドされる。その後に、露光制御部9は、メモリm1にサンプルホールドされた画像信号を、列処理部23を介して行単位で順次読み出させる。すなわち、まず1行目のスイッチSW3-1とスイッチSW5とスイッチSW6とをオンすることにより、コンデンサC3は参照電圧Vrefにリセットされ、さらにコンデンサC2の他端の電位も参照電圧Vrefにリセットされ、そしてサンプルホールドも開始される。続いて、スイッチSW6をオフすると共にスイッチSW2-1をオンすることにより、メモリm1に蓄積されている信号はリセットされその結果がTrB-1の構成するソースフォロア回路を介して垂直信号線33に出力される。このスイッチ操作によってメモリm1に蓄積されていた信号は垂直信号線33にプラス方向の変化量として出力されコンデンサC3に伝わる。その後、スイッチSW2-1とスイッチSW3-1とスイッチSW5とをオフすることにより、メモリm1の信号はコンデンサC3サンプルホールドされる。そして、水平転送パルスが印加されたところで、コンデンサC3に蓄積されている信号が、スイッチSW8を介して水平信号線27へ出力される。水平信号線27へ出力された信号は、出力アンプ28により増幅された後にデジタル信号に変換されて、撮像部2からHDRデジタル合成部3へ出力される。メモリm1に蓄積されている画像信号の1行目に相当する信号はこのように順次水平信号線に出力されデジタル信号に変換されていく。全ての信号電荷を水平信号線を介して読み出したら、2行目の画素信号を同様に読み出していく。これを全行分繰り返すことで全画素の信号電荷をデジタル信号として読み出すことができる。このような処理を、垂直同期期間毎に、長時間露光と短時間露光とを交互に繰り返して行うことにより、HDRデジタル合成部3には広ダイナミックレンジ画像を合成するために必要な長時間露光画像と短時間露光画像とが交互に入力される。引き続いて、図面を参照して本発明の実施の形態を説明する。[実施形態1]図7から図10は本発明の実施形態1を示したものであり、図7は1画素に係る画素部21、メモリ部22、および列処理部23の構成を示す回路図である。まず、本実施形態の撮像装置の基本的な構成は、上述した図1に示したものと同様である。また、本実施形態の撮像部2の基本的な構成も、上述した図2に示したものと同様である。そして、本実施形態の撮像部2は、画素部21および列処理部23の構成は図3に示した構成と同様であるが、メモリ部22に、第1メモリ部MEM1と第2メモリ部MEM2とを設けた構成となっている点が異なっている。すなわち、メモリ部22は、コンデンサC1の後段に、第1メモリ部MEM1と第2メモリ部MEM2とが並列に配列されていて、第1メモリ部MEM1と第2メモリ部MEM2の何れの出力端も、スイッチSW5のドレイン端子に接続されている。ここに、第1メモリ部MEM1は、スイッチSW1-1と、スイッチSW2-1と、トランジスタTrB-1と、スイッチSW3-1と、メモリm1と、を有して構成されている。同様に、第2メモリ部MEM2は、スイッチSW1-2と、スイッチSW2-2と、トランジスタTrB-2と、スイッチSW3-2と、メモリm2と、を有して構成されている。これら第1メモリ部MEM1と第2メモリ部MEM2の構造は、図3のメモリ部22における該当する構成の構造と同様である。図8は広ダイナミックレンジ画像を得るための撮像部2の撮像動作を示す図、図9は画素部21からメモリ部22への第1の露光画像データおよび第2の露光画像データの転送の様子を示す図、図10は画素部21の1行目および2行目における動作を示すタイミングチャートである。なお、画素部21の1行目における画素のトランジスタ等の信号変化の様子は、図6に示したものとほぼ同様である。本実施形態においては、1垂直同期期間内の1つの露光時間を、互いに異なる連続的な2つの露光時間、すなわち第1の露光時間Texp1例えば、長露光時間と第2の露光時間Texp2例えば、短露光時間とに分割してそれぞれ読み出しを行い、前者を例えばメモリ部22の第1メモリ部MEM1にアナログ転送MTrans1し、その後に後者をメモリ部22の第2メモリ部MEM2にアナログ転送MTrans2するようになっている。ここに、第1の露光時間Texp1に蓄積された電荷を第1メモリ部MEM1に転送する際には、スイッチSW1-1がオンになるとともに、スイッチSW1-2がオフになる。また、第2の露光時間Texp2に蓄積された電荷を第2メモリ部MEM2に転送する際には、スイッチSW1-1がオフになるとともに、スイッチSW1-2がオンになる。メモリm1やm2への信号の転送方法は参考例の説明で行ったものと同様である。なお、連続する2つの露光時間に代えて連続的な2つの露光時間と述べた理由は、図10に示すように、第1の露光時間Texp1と第2の露光時間Texp2との間にFDリセットトランジスタFDRSTがオンになるために、露光時間がこのパルス期間分だけ途切れるためである以下、同様。従って、連続的なとは、パルス期間程度の時間を除いて連続すると言い替えることもできる。そして、第1メモリ部MEM1に記憶された長時間露光データを垂直同期信号VDに同期して行単位で順次読み出し、次の垂直同期信号VDに同期して第2メモリ部MEM2に記憶された短時間露光データを行単位で順次読み出すようになっている。なお、図8に示した例では、先に長時間露光を行い、後で短時間露光を行っているが、逆の順序でも構わない。同様に、先に長時間露光画像を読み出し、後で短時間露光画像を読み出しているが、逆の順序でも構わないし、露光順と読出順が異なっても構わない。上述した参考例の読み出し方では、露光は2垂直同期期間に渡って行われる2回の露光の画像に基づいてHDR合成していたため、被写体が2垂直同期期間に渡って移動したり、その間に手振れ等によるぶれが発生した場合、個々の露光において適切なシャッタ速設定により被写体ぶれここでは手振れによるぶれも含むとするのない正常な画像であってもHDR合成後の画像はぶれの影響をうけた劣化した画像になっていた。しかし、実施形態1の構成によれば、第1の露光時間Texp1と第2の露光時間Texp2とを加算した時間すなわち、1垂直同期期間よりも短い時間内における被写体ぶれが十分小さくなるようシャッタ速が選択されているか、さらにその比較的短い時間、有効な手振れ補正等の効きによって手振れ等のぶれ要因が抑えられていれば、合成して得られる広ダイナミックレンジ画像の画質が劣化することはないために、より高画質の画像を容易に得ることができる。また、仮に被写体ぶれによる画質の劣化が生じたとしても、上述した参考例の場合よりも画質の劣化を大きく抑制することが可能となる。このように、メモリ部22内に、合成しようとする露光時間の異なる画像の枚数分のメモリ部を設けることにより、同一の露光時点に近い連続的な露光時間の複数画像を取得することが可能となる。[実施形態2]図11から図16は本発明の実施形態2を示したものであり、図11は1画素に係る画素部21、メモリ部22、および列処理部23Aの構成を示す回路図である。この実施形態2において、上述の実施形態1と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。まず、本実施形態の撮像装置の基本的な構成は、上述した図1に示したものと同様である。また、本実施形態の撮像部2の基本的な構成も、列処理部23Aの符号部分を除いて上述した図2に示したものと同様である。そして、本実施形態の撮像部2は、画素部21の構成は図3に示した構成と同様であるが、メモリ部22に、第1メモリ部MEM1と第2メモリ部MEM2と第3メモリ部MEM3とを設け、さらに列処理部23Aに平均演算機能および加算演算機能を備えさせた点が異なっている付加機能があるために符号を23から23Aに変更しているが、引き続き画素読出制御部である。すなわち、メモリ部22は、コンデンサC1の後段に、第1メモリ部MEM1と第2メモリ部MEM2と第3メモリ部MEM3とが並列に配列されていて、第1メモリ部MEM1と第2メモリ部MEM2と第3メモリ部MEM3の何れの出力端も、列毎の垂直信号線33に接続されている。列毎の垂直信号線33には列回路23Aが、後述するスイッチSW5-1のドレイン端子とスイッチSW5-2のドレイン端子とスイッチSW5-3のドレイン端子において接続されている。ここに、第1メモリ部MEM1は、スイッチSW1-1と、スイッチSW2-1と、トランジスタTrB-1と、スイッチSW3-1と、メモリm1と、を有して構成されている。同様に、第2メモリ部MEM2は、スイッチSW1-2と、スイッチSW2-2と、トランジスタTrB-2と、スイッチSW3-2と、メモリm2と、を有して構成されている。さらに、第3メモリ部MEM3は、スイッチSW1-3と、スイッチSW2-3と、トランジスタTrB-3と、スイッチSW3-3と、メモリm3と、を有して構成されている。これら第1メモリ部MEM1と第2メモリ部MEM2と第3メモリ部MEM3の構造は、図3のメモリ部22における該当する構成の構造と同様である。また、メモリ部22のコンデンサC1の一端は、列処理部23AのコンデンサC3の一端と接続されていて、この接続経路上のメモリ部22内にはスイッチSW3-4が設けられている。このスイッチSW3-4のゲート端子は、垂直走査回路24に接続されており、垂直走査回路24からパルスが供給されてオン/オフが制御されるようになっている。また、列処理部23A内には、各行の第1メモリ部MEM1と第2メモリ部MEM2と第3メモリ部MEM3の各出力端と垂直信号線33を介して接続されるように、スイッチSW5-1、スイッチSW5-2、スイッチSW5-3が並列に接続されている。さらに、これらスイッチSW5-1、スイッチSW5-2、スイッチSW5-3には、コンデンサC2-1、コンデンサC2-2、コンデンサC2-3の一端がそれぞれ直列に接続されていて、コンデンサC2-1、コンデンサC2-2、コンデンサC2-3の他端はオペアンプOPの反転入力端に接続されている。ここに、コンデンサC2-1、コンデンサC2-2、コンデンサC2-3の容量は同一である。オペアンプOPの非反転入力端は、参照電圧Vrefに接続されている。オペアンプOPの出力端と反転入力端とは、さらに、並列に配設された、スイッチSW6と、スイッチSW7-1およびコンデンサC4-1と、スイッチSW7-2およびコンデンサC4-2と、を介して接続されている。ここに、スイッチSW7-1およびコンデンサC4-1は、第1メモリ部MEM1と第2メモリ部MEM2と第3メモリ部MEM3の各出力を平均演算する際に用いられるものであって、コンデンサC4-1の容量は、コンデンサC2-1の容量の3倍であり、ひいてはコンデンサC2-2およびコンデンサC2-3の各容量の3倍でもある。この平均演算の結果は、コンデンサC3に記憶されるとともに、スイッチSW3-4を介して、第1メモリ部MEM1、第2メモリ部MEM2、または第3メモリ部MEM3の何れかに記憶されるようになっている。また、スイッチSW7-2およびコンデンサC4-2は、第1メモリ部MEM1、第2メモリ部MEM2、または第3メモリ部MEM3の何れかに記憶された平均演算の結果を読み出して、3倍演算を行うより一般には、露光回数倍に増幅することにより、結果的に加算演算に相当する結果を得るためのものである。コンデンサC4-2の容量は、コンデンサC2-1の容量の1/3倍であり、ひいてはコンデンサC2-2およびコンデンサC2-3の各容量の1/3倍でもある。また、オペアンプOPの出力端は、コンデンサC3の一端と、スイッチSW8のドレイン端子とに接続されている。そして、上述したスイッチSW5-1、スイッチSW5-2、スイッチSW5-3、スイッチSW6、スイッチSW7-1、スイッチSW7-2のゲート端子は制御回路26に接続されており、制御回路26からパルスが供給されてオン/オフが制御されるようになっている。スイッチSW8のゲート端子は、水平読出回路25に接続されており、水平読出回路25からパルスが供給されてオン/オフが制御されるようになっている。次に、図12は広ダイナミックレンジ画像を得るための撮像部2の撮像動作を示す図、図13は画素部21からメモリ部22への第1~第3の露光画像データの転送の様子を示す図、図14は列処理部23Aからメモリ部22への平均演算された露光画像データの転送の様子を示す図、図15は画素部21の1行目および2行目における動作を示すタイミングチャート、図16は画素部21の1行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。本実施形態においては、1垂直同期期間内の1つの露光時間を、連続的な複数図示の例においては3つの露光時間に分割してそれぞれ読み出しを行い、このときに露光時間の分割を例えば均等分割するすなわち、互いに等しい露光時間にするようになっている。そして、3等分に分割した場合には、第1の分割露光により得られたデータTexp1を例えばメモリ部22の第1メモリ部MEM1にアナログ転送MTrans1し、第2の分割露光により得られたデータTexp2を第2メモリ部MEM2にアナログ転送MTrans2し、第3の分割露光により得られたデータTexp3を第3メモリ部MEM3にアナログ転送MTrans3するようになっている図13参照。ここに、第1の露光時間Texp1に蓄積された電荷を第1メモリ部MEM1に転送する際には、スイッチSW1-1がオンになるとともに、スイッチSW1-2およびスイッチSW1-3がオフになる図15参照。また、第2の露光時間Texp2に蓄積された電荷を第2メモリ部MEM2に転送する際には、スイッチSW1-2がオンになるとともに、スイッチSW1-1およびスイッチSW1-3がオフになる。さらに、第3の露光時間Texp3に蓄積された電荷を第3メモリ部MEM3に転送する際には、スイッチSW1-3がオンになるとともに、スイッチSW1-1およびスイッチSW1-2がオフになる。次に、平均演算を行う場合には、まず、リセット動作を行う。すなわち、スイッチ7-1をオンした状態において、スイッチSW6をオンにすることにより、コンデンサC3、コンデンサC4-1をリセットする。このリセット動作によって、コンデンサC3はVrefレベルにリセットされ、コンデンサC4-1の両端の電位差は0となる。そして、スイッチSW6をオンにした状態を維持したまま、スイッチSW3-1およびスイッチSW5-1をオンにすることにより、コンデンサC2-1をリセットする。同様に、スイッチSW6をオンにした状態を維持したまま、スイッチSW3-2およびスイッチSW5-2をオンにすることによりコンデンサC2-2をリセットし、スイッチSW3-3およびスイッチSW5-3をオンにすることによりコンデンサC2-3をリセットする。このリセット動作によって、コンデンサC2-1、コンデンサC2-2、コンデンサC2-3は各々、メモリm1、メモリm2、メモリm3に蓄積されている信号を反映した状態をクランプする。次に、スイッチSW2-1、スイッチSW3-1、およびスイッチSW5-1をオンにすることにより、オペアンプOPの出力電位が図16に示すように変化する。上記までのリセット状態からメモリm1に蓄積された信号をスイッチSW2-1オンでVrefレベルにリセットする操作は、メモリm1に蓄積されていた信号を垂直信号線33にプラス方向の変化量として出力することになる。その上昇分はオペアンプOPとコンデンサC4-1で構成される回路によって1/3コンデンサC2-1とコンデンサC4-1の容量比倍されVrefレベルからマイナス方向に変化してオペアンプ出力に現れる。続いて、スイッチSW7-1をオンにした状態を維持したまま、スイッチSW2-1、スイッチSW3-1、およびスイッチSW5-1をオフにしてから、スイッチSW2-2、スイッチSW3-2、およびスイッチSW5-2をオンにすることにより、オペアンプOPの出力電位が図16に示すようにさらに変化する。この操作によって、オペアンプ出力はさらにメモリm2に蓄積された信号量を1/3倍した分マイナス方向に変化してオペアンプ出力に現れる。さらに、スイッチSW7-1をオンにした状態を維持したまま、スイッチSW2-2、スイッチSW3-2、およびスイッチSW5-2をオフにしてから、スイッチSW2-3、スイッチSW3-3、およびスイッチSW5-3をオンにすることにより、オペアンプOPの出力電位が図16に示すようにさらに変化する。この操作によって、オペアンプOPの出力はさらにメモリm3に蓄積された信号量を1/3倍した分マイナス方向に変化した出力として現れる。結局、メモリm1、メモリm2、メモリm3の信号量をそれぞれ1/3倍してVrefからマイナス側に変化した信号レベルがオペアンプOPの出力に現れることになる。これはすなわち平均値算出に相当する。その後は、スイッチSW2-3、スイッチSW3-3、およびスイッチSW5-3をオフにしておく。一方、オペアンプOPからの平均値は、スイッチSW3-4をオンにすることにより、メモリ部22へアナログ転送図14のMTransAveされて、例えばスイッチSW1-1をオンし、スイッチSW1-2およびスイッチSW1-3をオフすることにより、メモリm1に記憶される。次いで、コンデンサC3に蓄積された平均値の読み出しが行われ、平均値が行毎に水平信号線27および出力アンプ28を介して読み出される。第1メモリ部MEM1、第2メモリ部MEM2、第3メモリ部MEM3へ画像信号を転送した後の平均値処理は垂直同期信号VDの立ち上がりタイミングで開始されるものである。全ての行について、平均値が読み出された後に、次の垂直同期信号VDの立ち上がりタイミングで、加算値の読み出しが開始される。するとまず、上述と同様にして、スイッチ7-2をオンした状態において、スイッチSW6をオンにすることにより、コンデンサC3、コンデンサC4-2をリセットする。このリセット動作によって、コンデンサC3はVrefレベルにリセットされ、コンデンサC4-2の両端の電位差は0となる。スイッチSW6をオンにした状態を維持したまま、スイッチSW3-1およびスイッチSW5-1をオンにすることにより、コンデンサC2-1をリセットする。その後にスイッチSW6をオフして、リセット動作が終了する。このリセット動作によって、コンデンサC2-1はメモリm1の信号を反映した状態をクランプする。次に、スイッチSW7-2がオンした状態を維持したまま、スイッチSW2-1、スイッチSW3-1、およびスイッチSW5-1をオンにすることにより、オペアンプOPの出力は、平均値を3倍した値、すなわち加算値となる。この加算値が、コンデンサC3に蓄積され、行毎に水平信号線27および出力アンプ28を介して読み出される。なお、本実施形態では、先に平均値を演算してから、その後に3倍演算を行って加算値を得るようにしているが、これは、3倍演算によって撮像素子内で扱える信号レベルの上限を上まってしまうことがありえるからである。撮像素子内で扱える信号レベルの上限はPDの扱える信号レベルより少し大きい程度であることが一般的である。つまり、先に加算値を算出した場合にはセンサの扱える信号レベルの上限にぶつかってしまい、その結果を元に平均値を算出3で割ればよいしても正しい平均値はもはや得られなくなってしまう場合がある。従って、平均値を先に演算することにより、より信頼性の高い結果を得るようにしたものである。また、上述では、平均演算を行った結果に基づき加算値を得ているが、回路が複雑になっても構わなければ、平均演算回路と加算演算回路とを別個にそれぞれ設け同時に処理するようにすることも可能である。さらに、複数回の加算処理を行うと、一般にはノイズが重畳されることになる。本実施形態の撮像部2においてノイズの重畳が支配的となるのは、メモリ部22以降に重畳するノイズである。平均演算等の演算動作によるノイズの発生はさらなるノイズの劣化をもたらす。しかし、一般的に、低感度時の画質に影響を与えるノイズはPD内で発生する信号電荷に依存したショットノイズであり、回路的なノイズは支配的に影響しない。つまり、比較的低感度時では、光電変換部PDからの複数回のデータ転送とそのデータを加算したことによるノイズの重畳すなわち、画質の劣化は、問題となるレベルとはならない。この利点を利用して、比較的蓄積時間が長くなり、像ぶれが発生しやすい低感度において、本実施形態の読み出し方法を利用することにより、動被写体に対して良好なHDR合成を実現することが可能となる。このような実施形態2によれば、HDR合成を行うための信号レベルが異なる複数の画像を撮像するのに、複数の垂直同期期間を隔てた露光画像とはならないという点で、上述した実施形態1と同様の効果を奏することができる。また、上述した実施形態1の構成では、長時間露光画像と短時間露光画像とが連続的に撮影されるとはいえ、露光時点は正確には異なる時点であったために、例えば被写体の動きが速いとダイナミックレンジ拡大合成して得られる画像は不自然となってしまう。これに対してこの実施形態2によれば、信号レベルが異なる複数種類の画像、上述した例では短時間露光画像に該当する信号レベルの平均値画像と、長時間露光画像に該当する信号レベルの加算値画像と、は同一露光時点の画像となるために、ダイナミックレンジ拡大合成して得られる画像をより自然な画像とすることができる。特に、動画撮影においてはコマの連続性を重視するためシャッタ速をフレームレート程度に伸ばす方が結果的にぶれが発生していた方が滑らかで自然な印象を与えることが多く、本実施形態によって総合的に良好な動画像を得ることが可能になる。[実施形態3]図17から図25は本発明の実施形態3を示したものであり、図17は1画素に係る画素部21、メモリ部22、および列処理部23Aの構成を示す回路図である。この実施形態3において、上述の実施形態1,2と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。まず、本実施形態の撮像装置の基本的な構成は、上述した図1に示したものと同様である。また、本実施形態の撮像部2の基本的な構成も、列処理部23Aの符号部分を除いて上述した図2に示したものと同様である。そして、本実施形態の撮像部2は、画素部21およびメモリ部22の構成は図7に示した構成と同様であるが、列処理部23Aに比較演算および加算演算に基づくHDR合成機能を備えさせた点が異なっている付加機能があるために符号を23から23Aに変更している。すなわち、列処理部23A内には、第1メモリ部MEM1と第2メモリ部MEM2の各出力端と垂直信号線33を介して接続されるように、スイッチSW5-1、スイッチSW5-2、スイッチSW5-3が並列に接続されている。これらの内のスイッチSW5-1はスイッチSW9-1を介してコンデンサC2-1の一端に、スイッチSW5-2はスイッチSW9-2を介してコンデンサC2-2の一端に、それぞれ接続されている。また、スイッチSW5-3は、コンデンサC2-4の一端に接続されている。このコンデンサC2-4の他端は、スイッチSW6-2を介してグランドに接続されるとともに、コンパレータCPの反転入力端と、コンデンサC5の一端とに接続されている。コンデンサC5の他端はグランドに接続されている。コンパレータCPの非反転入力端は、所定の判定スレッシュレベルVthに接続されている。また、コンパレータCPの出力端は、スイッチSW7-1のドレイン端子とスイッチSW7-2のドレイン端子に接続されている。スイッチSW7ー2のソース端子は、抵抗R3を介してグランドに接続される。スイッチSW7ー1のソース端子は、スイッチSW10-1を介して、上述したスイッチSW9-1のゲート端子に接続されている。スイッチSW10-1のゲート端子は抵抗R4を介してVddに接続されている。また、スイッチSW9-1のゲート端子は、抵抗R1を介して電圧源Vddにも接続されている。また、スイッチSW7-2のソース端子は、スイッチSW10-2を介して、上述したスイッチSW9-2のゲート端子に接続されている。また、スイッチSW9-2のゲート端子は、抵抗R2を介して電圧源Vddにも接続されている。さらに、スイッチSW7-2のソース端子は、スイッチSW9-3のゲート端子に接続されている。このスイッチSW9-3は、ドレイン端子が上述した所定の判定スレッシュレベルVthに、ソース端子がコンデンサC2-3に、それぞれ接続されている。また、スイッチSW9-3は、スイッチSW5-4を介してグランドに接続されている。互いに並列の位置にあるコンデンサC2-1、コンデンサC2-2、コンデンサC2-3の他端は、オペアンプOPの反転入力端にそれぞれ接続されている。ここに、コンデンサC2-1、コンデンサC2-2、コンデンサC2-3の容量は同一である。オペアンプOPの非反転入力端は、参照電圧Vrefに接続されている。オペアンプOPの出力端と反転入力端とは、互いに並列に配設されたスイッチSW6-1とコンデンサC4と、を介して接続されている。ここに、オペアンプOP、スイッチSW6-1、およびコンデンサC4は、加算演算をするために用いられるものである。コンデンサC4の容量は、コンデンサC2-1の容量と同じであり、ひいてはコンデンサC2-2およびコンデンサC2-3の容量と同じでもある。また、オペアンプOPの出力端は、コンデンサC3の一端と、スイッチSW8のドレイン端子とに接続されている。そして、上述したスイッチSW5-1、スイッチSW5-2、スイッチSW5-3、スイッチSW5-4、スイッチSW6-1、スイッチSW6-2、スイッチSW7-1、スイッチSW7-2のゲート端子は制御回路26に接続されており、制御回路26からパルスが供給されてオン/オフが制御されるようになっている。スイッチSW8のゲート端子は、水平読出回路25に接続されており、水平読出回路25からパルスが供給されてオン/オフが制御されるようになっている。次に、図18は広ダイナミックレンジ画像を得るための撮像部2の撮像動作を示す図である。本実施形態においては、図18に示すように、1垂直同期期間内の1つの露光時間を、互いに異なる連続的な2つの露光時間、すなわち第1の露光時間Texp1例えば、長露光時間と第2の露光時間Texp2例えば、短露光時間とに分割してそれぞれ読み出しを行い、上記図9に示した処理に準じて、前者を例えばメモリ部22の第2メモリ部MEM2にアナログ転送MTrans2し、その後に後者をメモリ部22の第1メモリ部MEM1にアナログ転送MTrans1するのは上述した実施形態1とほぼ同様であるここでは、後述する図24や図25のタイミングチャートと整合させるために、長時間露光画像を第2メモリ部MEM2に転送し、短時間露光画像を第1メモリ部MEM1に転送しているが、勿論、長時間露光画像を第1メモリ部MEM1に転送し、短時間露光画像を第2メモリ部MEM2に転送するようにしても構わない。そして、その後の列処理部23Aにおいて、垂直同期信号VDの立ち上がりタイミングに同期してメモリ部22の第2メモリ部MEM2に記憶されている長時間露光画像と第1メモリ部MEM1に記憶されている短時間露光画像とを簡易HDR合成し、撮像部2から出力するようになっている。従って、本実施形態の構成では、1つの垂直同期期間毎に1枚の広ダイナミックレンジ画像が出力され、上述した実施形態1,2と異なりフレームレートが低下することはない。列処理部23Aで実施された簡易HDR合成結果は撮像素子から出力された後に、カメラのHDRデジタル合成部3によって適切に処理されて最終的なHDR合成画像となる。列処理部23Aにおける簡易HDR合成の概要について、図19から図23を参照して説明する。ここに、図19は長露光時間のときの入射光強度に対する光電変換部PDの電荷蓄積量を示す線図、図20は短露光時間のときの入射光強度に対する光電変換部PDの電荷蓄積量を示す線図、図21は光電変換部PDの飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部において簡易HDR合成したときの出力レベルを示す線図、図22は光電変換部PDの飽和レベルを所定のスレッシュレベルとして長時間露光画像と短時間露光画像とを列処理部においてより一層簡易的に簡易HDR合成したときの出力レベルを示す線図、図23は長時間露光画像と短時間露光画像とを列処理部において単純加算することにより簡易HDR合成したときの出力レベルを示す線図である。長露光時間のときには、図19の曲線f1に示すように、入射光強度に対する光電変換部PDの電荷蓄積量は、比較的弱い入射光強度で飽和レベルLsatに達する。これに対して、短露光時間のときには、図20の曲線f2に示すように、入射光強度に対する光電変換部PDの電荷蓄積量は、長露光時間のときよりも強い入射光強度にならないと飽和レベルLsatには達しない。従って、曲線f1の傾きは、曲線f2の傾きよりも大きいなお、曲線f1および曲線f2は必ずしも1次関数になるとは限らないが、ここでは1次関数に近似したときの傾きを比較している。そして、入射光強度が弱い範囲については長時間露光画像が階調を良く表し、入射光強度が強い範囲については短時間露光画像でないと階調を表すことができない。そこで、光電変換部PDの飽和レベルLsatただし、実際には、完全な飽和レベルよりも幾らか低いレベル例えば、完全な飽和レベルの90、あるいは85の値などが選ばれることになるを所定のスレッシュレベルとして、飽和レベルLsatに達しない範囲については曲線f1を用い、飽和レベルLsat以上の範囲については曲線f2の出力となるように簡易HDR合成の例を表すのが図21である。飽和レベルLsat以上の出力の範囲を曲線f2の出力として図21のように連続性を保って撮像素子から出力するには、f2Lsat×1-αここに、α=短露光時間/長露光時間、とする必要がある。また、より一層簡易的な簡易HDR合成の例を図22と図23に示す。図22は飽和レベルLsat以上の出力の範囲を曲線f2の出力とするが、その際単純にf2Lsatという処理で生成することこれは回路の単純化になる後述によって、連続性が失われるものである。撮像素子からこのような出力をしてもカメラのHDRデジタル合成部3において適切にHDR合成を行うことは十分可能である。Lsatをスレッシュとしてそれ以下の出力は長秒時蓄積出力、それより大きい出力は短秒時出力として明確に分離されているためである。また、長露光時間のときには、図19の曲線f1に示すように、入射光強度に対する光電変換部PDの電荷蓄積量は、飽和レベルLsatに達した後は、入射光を受けて発生する電荷が基板側へリークされたりするために、飽和レベルLsat付近のレベルに止まることになる。そこで、この図23に示す例では、長時間露光画像と短時間露光画像とを列処理部23Aにおいて単純加算することにより、簡易HDR合成を行っている。長露光時間に対する短露光時間の比が小さい場合例えば、1/4、1/8、1/16等の場合には、長時間露光画像が飽和レベルに達しても、短時間露光画像のレベルは比較的低いレベルに止まる。従って、長時間露光画像が飽和レベルに達する以下のレベルにおいては、f1f2の加算結果はf1に比較的近似したものとなる。また、長時間露光画像が飽和レベルに達した以上のレベルにおいては、f1f2はf1Lsatに近似する値となるために、図21の簡易HDR合成結果に近い値を得られる。従って、長露光時間に対する短露光時間の比が小さい場合には、この図23に示すような単純加算の手段を用いても、比較的良好な簡易HDR合成結果を得られる。このような図21と図22と図23に記載したような簡易HDR合成は、列処理部23Aにおいて行われるようになっている。そして、何れの簡易HDR合成を行うためであっても、撮像素子の取り扱う信号レベルの最大値をPDフォトダイオードの倍以上に大きくする必要がある。続いて、図24は画素部21の1行目および2行目における動作を示すタイミングチャート、図25は画素部21の1行目における画素のトランジスタ等の信号変化の様子を示すタイミングチャートである。ここに、図17に示すような構成、および図24、図25に示すような処理は、上述した図21に示す簡易HDR合成に対応したものとなっている。なお、図22への対応は、図17におけるVth’をVthと等しくするような簡易回路によって達成される。また、図23への対応は、長露光時間のデータと短露光時間のデータの足し算でよいために、実施形態2で示した平均処理の回路に類似のもので達成される平均処理とは重み付け足し算処理である。まず、長時間露光と短時間露光とを行って、画素部21からメモリ部22へ転送するまでの動作は、上述した実施形態1と同様である。すなわち、メモリ部22から画像データを読み出すときには、スイッチSW6-1をオンにすると共に、スイッチSW3-1およびスイッチSW5-1をオンする。これによってコンデンサC4はリセットされる。また、このときスイッチSW7-1およびスイッチSW7-2はオフであるからスイッチSW9-1はオン状態であり、このスイッチ動作によってコンデンサC2-1の一端がOPアンプの動作によってVrefレベルにリセットされるとともに、コンデンサC2-1は増幅トランジスタTrB-1から出力される増幅信号メモリm1に保持されている信号の増幅信号をクランプする。次に、スイッチSW6-1をオンにした状態を維持したまま、スイッチSW3-1およびスイッチSW5-1をオフして、スイッチSW6-2をオンする。さらに、スイッチSW6-1およびスイッチSW6-2をオンにした状態を維持したまま、スイッチSW3-2、スイッチSW5-2、スイッチSW5-3、およびスイッチSW5-4をオンする。このときやはりスイッチSW7-1およびスイッチSW7-2はオフであるからスイッチSW9-2はオン状態であり、このスイッチ動作によってコンデンサC2-2の一端がオペアンプの動作によってVrefレベルにリセットされるとともに、コンデンサC2-2は、増幅トランジスタTrB-2から出力される増幅信号メモリm2に保持されている信号の増幅信号をクランプする。同様にコンデンサC2-3の一端はオペアンプの動作によってVrefレベルにリセットされるとともに、コンデンサC2-3はSW5-4のスイッチ動作によりグランドレベルをクランプする。さらに、スイッチSW6-2のスイッチ動作によってコンデンサC2-4の一端とコンデンサC5はグランドレベルにリセットされるとともに、コンデンサC2-4は増幅トランジスタTrB-2から出力される増幅信号メモリm2に保持されている信号の増幅信号をクランプする。その後、スイッチSW6-1およびスイッチSW6-2をオンにした状態を維持したまま、スイッチSW3-2、スイッチSW5-2、スイッチSW5-3、およびスイッチSW5-4をオフする。さらにその後、スイッチSW6-1およびスイッチSW6-2をオフする。続いて、スイッチSW7-1およびスイッチSW7-2をオンする。そして、スイッチSW7-1およびスイッチSW7-2をオンにした状態を維持したまま、スイッチSW2-2、スイッチSW3-2、スイッチSW5-3をオンする。このスイッチ動作によってメモリm2に保持されていた信号はVrefレベルにリセットされ、コンデンサC2-4のコンパレータCPとの接続端にメモリm2に保持されていた信号量分プラス方向の変化が現れる。この電圧はコンデンサC5に保持される。コンパレータCPはVthレベルとメモリm2に保持されていた信号レベルとの比較を行った結果をコンパレータCP出力として出力する。このコンパレータCP出力が確定すると、スイッチSW9-1、スイッチSW9-2のオンオフ状態が確定することとなり、さらにスイッチSW9-3のオンオフが確定する。このときスイッチSW9-3がオンするとコンデンサC2-3のスイッチSW9-3接続端側にVth’レベルが現れ、Vth’レベルがオペアンプ出力に出力される。さらに、スイッチSW7-1およびスイッチSW7-2、スイッチSW2-2、スイッチSW3-2、スイッチSW5-3をオンにした状態を維持したまま、スイッチSW5-2をオンする。このスイッチ動作によって、もし、コンパレータCPの比較結果SW9-2がオンとなっていれば、コンデンサC2-2のスイッチSW9-2接続側にメモリm2に保持されていた信号量分プラス方向の変化が現れ、メモリm2長秒時画像信号を保持の信号量がオペアンプOPに出力されることになるスイッチSW9-2がオンとなるようなコンパレータCP出力の時はスイッチSW9-3はオフとなっている。すなわち、このタイミングまでにコンパレータCPの出力は確定しており、メモリm2の出力がオペアンプに出力されるか、あるいはVth’が主力されるかが確定している。例えば、Vth≧メモリm2のときオペアンプOPはメモリm2レベルを出力する。その後、まずスイッチSW5-2をオフし、続いてスイッチSW2-2、スイッチSW3-2、スイッチSW5-3をオフする。次に、スイッチSW2-1、スイッチSW3-1、スイッチSW5-1をオンする。このスイッチ動作によって、もし、コンパレータCPの比較結果SW9-1がオンとなっていれば、コンデンサC2-1のスイッチSW9-1接続側にメモリm1に保持されていた信号量分プラス方向の変化が現れ、メモリm1短秒時画像信号を保持の信号量が既にオペアンプに出力されているVth’レベルと加算演算されて出力されることになるスイッチSW9-1がオンとなるようなコンパレータCP出力の時はスイッチSW9-3はオンとなっておりオペアンプOPにはVth’レベルが出力されている。このとき、Vth<メモリm2となっている。所定時間が経過後にこれらスイッチSW2-1、スイッチSW3-1、スイッチSW5-1をオフし、その後にスイッチSW7-1、スイッチSW7-2をオフする。このような動作により、メモリ部22から長時間露光画像と短時間露光とを読み出して簡易HDR合成するときの作用の概要は、次のようになる。まず、第2メモリ部MEM2に記憶されている長時間露光画像を読み出して、コンパレータCPが、光電変換部PDの飽和レベルLsatに対応する所定の判定スレッシュレベルVthと比較する。ここで、コンパレータCPが、長時間露光画像の信号値が所定の判定スレッシュレベルVthよりも低いと判定した場合には、コンパレータCPの出力がローレベルとなって、スイッチSW9-1をオフし、スイッチSW9-2をオンし、スイッチSW9-3をオフするように機能する。これにより、オペアンプOPからは長時間露光画像の信号値コンデンサC2-2を経由してオペアンプOPに入力される信号値のみが出力されることになる。一方、コンパレータCPが、長時間露光画像の信号値が所定の判定スレッシュレベルVth以上であると判定した場合には、コンパレータCPの出力がハイレベルとなって、スイッチSW9-1をオンし、スイッチSW9-2をオフし、スイッチSW9-3をオンするように機能する。これにより、オペアンプOPからは短時間露光画像の信号値コンデンサC2-1を経由してオペアンプに入力される信号値に所定の判定スレッシュレベルVthコンデンサC2-3を経由してオペアンプに入力される信号値を加算した値が出力されることになる。こうして、図17に示したような回路構成において、図24および図25に示したような動作を行うことにより、図21に示したような簡易HDR合成が列処理部23Aにより行われる。撮像部2から簡易HDR合成された広ダイナミックレンジ画像が出力され、カメラ内のHDRデジタル合成部3によってさらに適切かつ詳細な合成処理を行うことで最終的なHDR合成画像が生成されることになる。また、上述では長時間露光画像と短時間露光画像とを合成するようにしたが、これに限るものではない。例えば、上述した実施形態2を参照して説明したような、複数回の露光に係る画像の平均演算の結果と加算演算の結果とに基づき簡易HDR合成を行うようにしても構わない。このような変形例は、概要として、以下のような処理を行えば良い。まず、露光量制御部が、1垂直同期期間内における連続的な複数回の露光が、互いに等しい露光時間の露光となるように制御して、画素部21に露光を行わせる。その結果、メモリ部22には、複数回の露光に係る画像が記憶される。次に、メモリ読出制御部である列処理部23Aが、メモリ部22に格納された複数回の露光に係る画像の平均演算と加算演算とを並列的に同時に実施する。そして、列処理部23Aが、加算演算に係る画素信号を所定の判定スレッシュレベルVthと比較して、判定スレッシュレベルVth未満である場合には加算演算に係る画素信号を外部へ出力し、判定スレッシュレベルVth以上である場合には平均演算に係る画素信号に判定スレッシュレベルVth’を加算演算した結果を外部へ出力することにより、露光制御部により制御された露光回数よりも少ないフレーム数の簡易HDR合成された画像を外部へ出力するようにすれば良い。こうしたことを実行する回路はこれまで説明した実施形態における回路構成をアレンジすることで実現できる。なお、上述した実施形態1や実施形態2においては、複数回例えば2回の露光により得られた2枚分の画像信号をそれぞれ例えば12ビットでA/D変換することにより、2枚の12ビットの画像データが得られていた。これに対して、本実施形態の場合には、例えば2回の露光によるデータを簡易HDR合成して1回のA/D変換で読み出す場合には、合成後の1枚の12ビットの画像データのみが出力されることになる。この合成後の12ビットの画像データは、合成前の画像データとして考えると、例えば11ビットの2枚の画像データとなる。このために、実施形態1や実施形態2に比べて、A/D変換における階調ステップの劣化が1ビット分生じることになる。ただし、合成後の階調特性は、上述したようにγ特性に近い形状図21、図22、または図23を参照となるために、そもそも、A/D変換を行う前に低レベル側の信号値を持ち上げることに相当する。これにより、後段のデジタルゲインによる増幅の必要量を低く抑えることができるために、上述した1ビット分の劣化は、吸収することが可能である。また、従来と同様のビット数の階調合成前の画像における12ビットの階調を単純に維持しようとする場合には、本実施形態の合成後の画像信号に対して14ビットのA/D変換を適用すれば良い。この14ビットのA/D変換は、近年の汎用のAFE等に通常備わっている機能であるために、特別な構成を追加することなく対応することが可能である。このような実施形態3によれば、信号レベルが異なる複数の画像を撮像するのに、複数の垂直同期期間に分散した複数の露光は不要であるという点で、上述した実施形態1や実施形態2と同様の効果を奏することができる。さらに、この実施形態3によれば、画素部21からメモリ部22までの転送がアナログであるために速く、しかもアナログ信号演算も高速にできることを利用して、複数回の露光に係る画素信号をアナログ信号演算により簡易HDR合成して、簡易HDR合成した後の画像を外部へ出力するようにしたために、露光制御部により制御された露光回数よりも少ないフレーム数の画像を外部へ出力すれば足りることになり、フレームレートを向上することができる。このとき、簡易HDR合成した画像のみを垂直同期期間毎に出力するようにすれば、フレームレートを低下させることなく広ダイナミックレンジ画像を得ることが可能となる。なお、上述した構成においては、メモリ部22に記憶した画像信号同士に加算や平均、スレッシュに基づく加算等の演算処理を行っていた。しかし、撮像素子の構成としては、メモリ部22に記憶する際に、同時かつ順次、必要な演算画素部から読出しつつある画素への定数乗算演算やメモリの画素信号と画素部から読出しつつある画素信号間での演算等を行って、メモリ部22に記憶することで、加算や平均、スレッシュに基づく加算等の演算処理を達成することも可能である。この場合には、垂直走査回路24と列処理部23は、連続的な複数回の露光に係る各画素信号を順次読み出しつつ列処理部23は必要な演算重み付け用の定数乗算演算や平均処理の加算演算等をしてメモリ部22に格納する制御を行う。これによって、メモリ部の必要なメモリサイズを減らすことも可能になる例えばnフレーム分の平均演算を行う際には常に1フレームのメモリがあれば足りることになる。また、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。"