(57)【特許請求の範囲】
【請求項１】
互いに積層されている複数の半導体基板を備えた撮像素子であって、
入射光を受光して光電変換する複数の画素が配置された撮像手段と、
前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、
前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶するフレームメモリと、
前記フレームメモリに記憶された露出が異なる複数フレームのデジタル画像データからＨＤＲ画像データを生成する生成手段と、
前記ＨＤＲ画像データを外部に出力する出力手段と、
を有し、
前記複数のＡＤ変換手段から前記フレームメモリまでの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記出力手段は、前記ＨＤＲ画像データをシリアル信号に変換して外部に出力することを特徴とする撮像素子。
【請求項２】
前記撮像手段により露出を異ならせて複数回の撮像を行なうことにより前記露出が異なる複数のデジタル画像データを時系列に順次取得し、前記フレームメモリに記憶することを特徴とする請求項１に記載の撮像素子。
【請求項３】
所定露出のデジタル画像データ、前記所定露出を下回る露出のデジタル画像データ、前記所定露出を上回る露出のデジタル画像データを所定の順序で取得して、各々のデジタル画像データを前記フレームメモリに記憶することを特徴とする請求項２に記載の撮像素子。
【請求項４】
前記撮像手段により連続した複数回の撮像を行ない、前記複数回の撮像で得られる複数のデジタル画像データを合成することにより前記露出が異なる複数のデジタル画像データを生成することを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
【請求項５】
１回目に撮像したデジタル画像データから所定露出を下回る露出のデジタル画像データを生成し、１回目と２回目に撮像したデジタル画像データから前記所定露出のデジタル画像データを生成し、１回目から３回目に撮像したデジタル画像データから前記所定露出を上回る露出のデジタル画像データを生成することを特徴とする請求項４に記載の撮像素子。
【請求項６】
前記複数のデジタル画像データの２以上のデジタル画像データから所定露出を下回る露出のデジタル画像データを生成し、前記複数のデジタル画像データの３以上のデジタル画像データから前記所定露出のデジタル画像データを生成し、前記複数のデジタル画像データのすべてのデジタル画像データから前記所定露出を上回る露出のデジタル画像データを生成することを特徴とする請求項４に記載の撮像素子。
【請求項７】
蓄積時間の中間時刻が揃うように、前記複数のデジタル画像データを合成することを特徴とする請求項６に記載の撮像素子。
【請求項８】
前記フレームメモリおよび前記生成手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１乃至７のいずれか１項に記載の撮像素子。
【請求項９】
前記フレームメモリおよび前記生成手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項８に記載の撮像素子。
【請求項１０】
互いに積層されている複数の半導体基板を備え、入射光を受光して光電変換する複数の画素が配置された撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶するフレームメモリと、前記フレームメモリに記憶された露出が異なる複数フレームのデジタル画像データからＨＤＲ画像データを生成する生成手段と、前記ＨＤＲ画像データを外部に出力する出力手段と、を有する撮像素子と、
前記撮像素子から出力される前記ＨＤＲ画像データに所定の信号処理を施す信号処理部と、
前記画像を表示する表示部と、
前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、
を有し、
前記複数のＡＤ変換手段から前記フレームメモリまでの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記出力手段は、前記ＨＤＲ画像データをシリアル信号に変換して外部に出力することを特徴とする撮像装置。
【請求項１１】
前記撮像手段により露出を異ならせて複数回の撮像を行なうことにより前記露出が異なる複数のデジタル画像データを時系列に順次取得し、前記フレームメモリに記憶することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
所定露出のデジタル画像データ、前記所定露出を下回る露出のデジタル画像データ、前記所定露出を上回る露出のデジタル画像データを所定の順序で取得して、各々のデジタル画像データを前記フレームメモリに記憶することを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記撮像手段により連続した複数回の撮像を行ない、前記複数回の撮像で得られる複数のデジタル画像データを合成することにより前記露出が異なる複数のデジタル画像データを生成することを特徴とする請求項１０乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
１回目に撮像したデジタル画像データから所定露出を下回る露出のデジタル画像データを生成し、１回目と２回目に撮像したデジタル画像データから前記所定露出のデジタル画像データを生成し、１回目から３回目に撮像したデジタル画像データから前記所定露出を上回る露出のデジタル画像データを生成することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記複数のデジタル画像データの２以上のデジタル画像データから所定露出を下回る露出のデジタル画像データを生成し、前記複数のデジタル画像データの３以上のデジタル画像データから前記所定露出のデジタル画像データを生成し、前記複数のデジタル画像データのすべてのデジタル画像データから前記所定露出を上回る露出のデジタル画像データを生成することを特徴とする請求項１３に記載の撮像装置。
【請求項１６】
蓄積時間の中間時刻が揃うように、前記複数のデジタル画像データを合成することを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
前記フレームメモリおよび前記生成手段の少なくとも一方が前記撮像手段とは異なる半導体基板に設けられることを特徴とする請求項１０乃至１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記フレームメモリおよび前記生成手段がそれぞれ前記撮像手段とは異なる前記半導体基板に設けられることを特徴とする請求項１７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置に用いられるＣＭＯＳなどの撮像素子は、画素を微細化することにより多画素化し、解像度の高い画像を撮影することが可能となっている。コンシューマ向けの撮像装置においても１０００万画素以上の画素数を備えるものが一般的になってきている（特許文献１参照）。
【０００３】
図１６は、一般的な撮像装置の構成ブロック図である。図１６において、撮像素子１５００は、画素部１５０１、ＡＤ変換部１５０２、Ｐ／Ｓ変換部１５０３を備える。画素部１５０１は、被写体像を電気信号に変換してＡＤ変換部１５０２に出力する。
【０００４】
ＡＤ変換部１５０２は、画素部１５０１から読み出される画像信号をデジタル信号に変換する。Ｐ／Ｓ変換部１５０３は、ＡＤ変換部１５０２により変換されたデジタル信号に対し、パラレル・シリアル変換を行う。画像信号処理回路１６００は、撮像素子１５００からの画像信号に対し各種信号処理を施す。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２６６７５号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記した撮像装置では、撮像素子１５００から画像信号処理回路１５０１に画像信号を転送する転送路の転送容量が一定であることから、撮像素子の画素数が増加することで相対的に被写体の全画像信号の転送時間が長くなるという課題がある。
【０００７】
すなわち、撮像素子１５００から画像信号処理回路１５０１への信号読み出し速度が画像信号の読み出し速度のボトルネックとなる。さらに、高速転送を実現しようとすると、転送回路や処理回路などの消費電力や発熱の増大、データ転送精度などが問題となる。
【０００８】
また、ＨＤＲ撮影処理を行う際には、撮像素子で露出が異なる複数枚の画像を撮影し、撮像素子の外部に設けられた画像処理回路に複数枚の画像データを出力して合成処理することによりＨＤＲ画像を作成している。このとき、撮像素子の外部にある画像処理回路に複数枚の画像データを送信する必要があるため撮像素子から画像処理回路への送信データ量や消費電力が増大するという課題がある。
【０００９】
本発明は、ダイナミックレンジの広い高画質な画像を取得できる撮像素子を提供することを目的としてなされたものである。
【課題を解決するための手段】
【００１０】
上述した課題を解決するために、本発明の撮像素子は、互いに積層されている複数の半導体基板を備えた撮像素子であって、入射光を受光して光電変換する複数の画素が配置された撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶するフレームメモリと、前記フレームメモリに記憶された露出が異なる複数フレームのデジタル画像データからＨＤＲ画像データを生成する生成手段と、前記ＨＤＲ画像データを外部に出力する出力手段と、を有し、前記複数のＡＤ変換手段から前記フレームメモリまでの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記出力手段は、前記ＨＤＲ画像データをシリアル信号に変換して外部に出力することを特徴とするものである。
また、本発明の撮像装置は、互いに積層されている複数の半導体基板を備え、入射光を受光して光電変換する複数の画素が配置された撮像手段と、前記撮像手段から出力されるアナログ画像信号をデジタル画像データに変換する複数のＡＤ変換手段と、前記複数のＡＤ変換手段により変換される少なくとも１フレームのデジタル画像データを記憶するフレームメモリと、前記フレームメモリに記憶された露出が異なる複数フレームのデジタル画像データからＨＤＲ画像データを生成する生成手段と、前記ＨＤＲ画像データを外部に出力する出力手段と、を有する撮像素子と、前記撮像素子から出力される前記ＨＤＲ画像データに所定の信号処理を施す信号処理部と、前記画像を表示する表示部と、前記撮像素子、前記信号処理部、前記表示部の各々を制御する制御部と、を有し、前記複数のＡＤ変換手段から前記フレームメモリまでの間で前記デジタル画像データがパラレルに伝送されるように構成されているとともに、前記出力手段は、前記ＨＤＲ画像データをシリアル信号に変換して外部に出力することを特徴とするものである。
【発明の効果】
【００１１】
本発明によれば、ダイナミックレンジの広い高画質な画像を取得しつつ、周辺回路の消費電力削減にも寄与する撮像素子及び撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１における撮像素子の概略構造を示す図である。
【図２】実施例１におけるデータバス構成の一例を説明する図である。
【図３】実施例１における画素、カラムＡＤＣブロックの構成を示す図である。
【図４】実施例１における撮像素子の積層構成を示す図である。
【図５】実施例１における撮像素子の断面図である。
【図６】実施例１における撮像システムのシステム概要図である。
【図７】実施例１におけるダイナミックレンジの拡大方法の説明図である。
【図８】実施例１におけるＨＤＲ処理の説明図である。
【図９】実施例１における読み出しタイミングを示す図である。
【図１０】実施例１における読み出しフローを示す図である。
【図１１】実施例１におけるＨＤＲ処理・送信フローを示す図である。
【図１２】実施例２における読み出しタイミングを示す図である。
【図１３】実施例２における読み出しフローを示す図である。
【図１４】実施例３における読み出しタイミングを示す図である。
【図１５】実施例３における読み出しフローを示す図である。
【図１６】一般的な撮像装置の構成を示す図である。
【発明を実施するための形態】
【００１３】
（実施例１）
以下に、本発明の好ましい実施の形態を、添付の図面を用いて詳細に説明する。図１は、本発明の実施例１における撮像素子の概略をブロック図として示したものである。
【００１４】
撮像素子５０６は、第１のチップ（第１の半導体基板）１０および第２のチップ（第２の半導体基板）１１を有しており、第２のチップ１１と第１のチップ１０がお互いに積層されている。第１のチップ１０は、マトリックス状に配列された複数の画素１０１からなる画素部を有し、第２のチップ１１に対して光入射側（光学像の受光側）に配置されている。
【００１５】
第１のチップ１０の画素部において、マトリックス状に配列された複数の画素１０１は行毎に転送信号線１０３、リセット信号線１０４、および行選択信号線１０５にそれぞれ接続され、列毎に複数の列出力線１０２に接続されている。なお、各行に配置された複数の列出力線１０２の各々には、同列の異なる読み出し行に配置された画素が接続される。
【００１６】
第２のチップ１１は、列毎に設けられたＡＤ変換器（以下、ＡＤＣと表記）１１１、行走査回路１１２、列走査回路１１３、タイミング制御回路１１４を有する。さらに、第２のチップ１１は、切り替えスイッチ１１６、フレームメモリ１１７、素子内演算部１１８、パラレル・シリアル変換部（以下、Ｐ／Ｓ変換部と表記する）１１９等を有する。タイミング制御回路１１４は、全体制御演算部５０９により駆動制御される。
【００１７】
このように、第１のチップ１０に画素部を形成し、第２のチップ１１に画素部の駆動回路やメモリ、演算部等を形成することで、撮像素子５０６の撮像層と回路層とで製造プロセスを分けることができる。そして、回路層における配線の細線化、高密度化による高速化、小型化、および高機能化を図ることができる。
【００１８】
切り替えスイッチ１１６は、チャンネル毎に設けられた水平信号線１１５−ａ、水平信号線１１５−ｂから出力される各チャンネルのデジタル画像データを素子内演算部１１８に選択的に入力する。素子内演算部１１８は、各チャンネルの画像データを並び替えて１フレームの画像データを生成し、順次フレームメモリ１１７に出力する。フレームメモリ１１７は、出力された少なくとも１フレーム分のデジタル画像データを一時的に記憶する。
【００１９】
素子内演算部１１８は、フレームメモリ１１７に記憶された１フレームのデジタル画像データに対し、切り出し、間引き等の処理を行う。素子内演算部１１８で処理された１フレームのデジタル画像データは、Ｐ／Ｓ変換部１１９においてパラレル・シリアル変換を行い、撮像素子５０６の外部にある撮像信号処理回路５０７へと出力される。
【００２０】
ここで、水平信号線１１５−ａ、水平信号線１１５−ｂ、切り替えスイッチ１１６、素子内演算部１１８、フレームメモリ１１７の間の信号転送経路は、同一チップ内に形成されるデジタル信号ラインである。そのため、水平読み出し期間内に全ての水平データの転送が完結するように、必要なデータバス幅を確保して高速化を図ることができる。
【００２１】
図２は、第２のチップ１１におけるＡＤＣ１１１からＰ／Ｓ変換部１１９までのデータバス構成の一例を説明する図である。図２に示すように、第２のチップ１１において、ＡＤＣ１１１と素子内演算部１１８の間には、ＡＤＣ１１１のデジタル変換出力を一時的に保持する列メモリ１１１ａが設けられている。なお、図２では切り替えスイッチ１１６は省略されている。
【００２２】
列走査回路１１３からの制御信号に応じて各列に設けられた列メモリ１１１ａに保持されている画像データは、水平転送回路１１５内に１６チャンネル設けられた水平信号線１１５−ａ，１１５−ｂに振り分けられて並列に出力される。水平信号線１１５−ａ，１１５−ｂに出力された画像データは、素子内演算部１１８内のメモリＩ／Ｆ回路を経由してフレームメモリ１１７に入力される。
【００２３】
例えば、８Ｋ４Ｋ（水平８０００画素、垂直４０００画素）の３２Ｍピクセルの画像データがＡＤＣ１１１から出力される場合について説明する。３２Ｍピクセルの画像データをフレームレート６０ｆｐｓで読み出した場合に必要なデータバス帯域は、１９２０Ｍピクセル／ｓｅｃである。
【００２４】
ここで、水平転送回路１１５に設けられた１６チャンネルの水平信号線１１５−ａ，１１５−ｂの各々の転送容量が１２ｂｉｔである場合、転送可能な周波数１２０ＭＨｚまで転送容量を落とす必要がある。列走査回路１１３からの制御信号により順次、列メモリの選択が行われ、水平転送回路１１５の１チャンネルあたり１２０Ｍピクセル／ｓｅｃの画像データが１６チャンネルで並列に読み出される。
【００２５】
水平転送回路１１５から素子内演算部１１８を経由してフレームメモリ１１７へ入力された画像データは、フレームメモリから所定エリアのデータが部分的に読み出されて、再び、素子内演算部１１８に入力される。例えば、フレームメモリ１１７から出力された画像データは、素子内演算部１１８内の縮小変倍回路により１／１６倍の画像サイズに縮小される。その場合に必要となるデータバス帯域は、１２０Ｍピクセル／ｓｅｃまで低減される。これは、フルＨＤサイズ（２Ｍピクセル）の画像データを６０ｆｐｓで読み出す場合に相当するデータ転送容量である。
【００２６】
データバス帯域が低減されて素子内演算部１１８から出力された画像データは、Ｐ／Ｓ変換部１１９で、最大シリアル転送容量１Ｇｂｐｓを超えないように、７２０Ｍｂｐｓの２チャンネル構成でシリアル信号に変換されて出力される。
【００２７】
このように、第２のチップ１１内にＡＤＣ１１１、素子内演算部１１８、フレームメモリ１１７を設けることにより、第２のチップ１１内で画像データの処理に必要な広いデータバス帯域を確保し、ＡＤＣ１１１からフレームメモリ１１７までの転送速度の高速化を実現しつつ、撮像素子外に転送可能なシリアル転送容量で高画質な動画を出力することができる。
【００２８】
図３は、本実施例における撮像素子５０６の画素部の各画素１０１及びＡＤＣ１１１の詳細な構成を示した図である。図１及び図３を用いて、実施例１における撮像素子の動作の概略を説明する。
【００２９】
フォトダイオード（以下、ＰＤと表記する）２０１は、受光した入射光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。ＰＤ２０１のカソードは、転送トランジスタ２０２を介して増幅トランジスタ２０４のゲートと電気的に接続されている。この増幅トランジスタ２０４のゲートと電気的に接続されたノードは、フローティングディフュージョン（以下、ＦＤと表記する）部２０６を構成する。
【００３０】
転送トランジスタ２０２は、ＰＤ２０１のカソードとＦＤ部２０６との間に設けられ、ゲートに図１の転送信号線１０３を介して転送パルスφＴＲＧが供給されることによってオン状態となる。そして、ＰＤ２０１で光電変換された光電荷をＦＤ部２０６に転送する。
【００３１】
リセットトランジスタ２０３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部２０６にそれぞれ接続され、ゲートに図１のリセット信号線１０４を介してリセットパルスφＲＳＴが供給されることによってオン状態となる。そして、ＰＤ２０１からＦＤ部２０６への信号電荷の転送に先立って、ＦＤ部２０６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部２０６をリセットする。
【００３２】
増幅トランジスタ２０４は、ゲートがＦＤ部２０６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ２０３によってリセットした後のＦＤ部２０６の電位をリセットレベルとして出力する。さらに、増幅トランジスタ２０４は、転送トランジスタ２０２によってＰＤ２０１の信号電荷を転送した後のＦＤ部２０６の電位を信号レベルとして出力する。
【００３３】
選択トランジスタ２０５は、例えば、ドレインが増幅トランジスタ２０４のソースに、ソースが列出力線１０２にそれぞれ接続される。そして、ゲートに図１の行選択信号線１０５を介して選択パルスφＳＥＬが与えられることによってオン状態となり、画素１０１を選択状態として増幅トランジスタ２０４により増幅される信号を列出力線１０２に出力する。
【００３４】
なお、この選択トランジスタ２０５については、画素電源Ｖｄｄと増幅トランジスタ２０４のドレインとの間に接続した回路構成を採ることも可能である。トランジスタ２０２〜２０５として、例えばＮチャネルのＭＯＳトランジスタを用いることができる。また、画素１０１としては、上記した４つのトランジスタを備えた構成に限られるものではなく、増幅トランジスタ２０４と選択トランジスタ２０５を１つのトランジスタで兼用した３つのトランジスタを備えた構成等であっても良い。
【００３５】
また、画素１０１から列出力線１０２を介して出力されるアナログ画像信号は、ＡＤＣ１１１に伝送される。ＡＤＣ１１１は、比較器２１１、アップダウンカウンタ２１２、メモリ２１３、ＤＡコンバータ（以下、ＤＡＣと表記する）２１４を有する。
【００３６】
比較器２１１は、一対の入力端子を備え、その一方に列出力線１０２が接続され、他方にＤＡＣ２１４が接続される。比較器２１１の出力端子は、アップダウンカウンタ２１２に接続される。図１のタイミング制御回路１１４は、全体制御演算部５０９からの指令に基づきＤＡＣ２１４へ基準信号を出力する。
【００３７】
ＤＡＣ２１４は、図１のタイミング制御回路１１４から入力される基準信号に基づいて、時間の経過とともにレベルが変化するランプ信号を出力する。そして、比較器２１１は、ＤＡＣ２１４から入力されるランプ信号のレベルと、列出力線１０２から入力される画像信号のレベルとを比較する。
【００３８】
例えば、比較器２１１は、画像信号のレベルがランプ信号のレベルより低い場合にはハイレベルの比較信号を出力し、画像信号のレベルがランプ信号のレベルより高い場合にはローレベルの比較信号を出力する。アップダウンカウンタ２１２は、比較信号がハイレベルとなる期間、またはローレベルとなる期間をカウントする。このカウント処理により、各画素１０１の出力信号はデジタル値へ変換される。
【００３９】
なお、比較器２１１とアップダウンカウンタ２１２との間にアンド回路を設け、このアンド回路にパルス信号を入力し、このパルス信号の個数をアップダウンカウンタ２１２によりカウントさせてもよい。
【００４０】
また、ＡＤＣ１１１は、画素１０１のリセット解除時のリセット信号に基づいてリセットレベルに対応したカウント値をカウントし、さらに所定の撮像時間経過後の光信号に基づいてカウント値をカウントしてもよい。そして、これらの光信号のカウント値とリセット信号のカウント値の差分値をメモリ２１３に記憶させてもよい。
【００４１】
メモリ２１３は、アップダウンカウンタ２１２と接続され、アップダウンカウンタ２１２によりカウントされたカウント値を記憶する。メモリ２１３に記憶されたカウント値がデジタル画像データとして、図１の列走査回路１１３の駆動制御により図１の水平信号線１１５−ａ、水平信号線１１５−ｂに伝送される。
【００４２】
図４は、図１を用いて説明した実施例１に係る撮像素子５０６の外形構成を示す。図４（ａ）は、撮像素子５０６を光の入射する側から見た斜視図、図４（ｂ）は、撮像素子５０６の断面図を示している。
【００４３】
撮像素子５０６は、第１のチップ（撮像層）１０と第２のチップ（回路層）１１により構成される。第１のチップ１０と第２のチップ１１は、それぞれのチップに設けられている複数のマイクロパッド３０２を、複数のマイクロバンプ３０１を介して電気的に接続して一体化させる。すなわち、第１のチップ１０と第２のチップ１１は、複数のマクロバンプ１０１および複数のマイクロパッド３０２を介して電気的に直接接続されている。なお、マクロパッドおよびマイクロパッド以外を用いた方法により、第１のチップ１０と第２のチップ１１が電気的に直接接続されるように構成してもかまわない。
【００４４】
図５に、図１〜図４で示した実施例１に係る撮像素子５０６の断面構造の詳細を示す。図５において、撮像層４０１が第１のチップ１０に対応し、回路層４０２が第２のチップ１１に対応する。
【００４５】
撮像層４０１においては、シリコン（以下、Ｓｉと表記する）基板４０３上に配線層４０４が形成されている。Ｓｉ基板４０３には、ＰＤ２０１となるｎ型拡散領域４０７が形成され、ＰＤ２０１の表面部（配線層４０４との境界部）にはｐ＋拡散領域４０８が形成されている。
【００４６】
Ｓｉ基板４０３には、その表面部にＦＤ部２０６となるｎ＋拡散領域４０９、スイッチ用トランジスタのｎ＋拡散領域４１０が複数形成されている。配線層４０４には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１１、信号伝搬用配線４１２が形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ａが形成されている。
【００４７】
上記したｎ＋拡散領域４０９、ｎ＋拡散領域４１０とトランジスタのゲート配線４１１により転送トランジスタ２０２、リセットトランジスタ２０３、増幅トランジスタ２０４、選択トランジスタ２０５がそれぞれ構成される。配線層４０４には、ｎ＋拡散領域４１０をマイクロパッド３０２ａと接続するためのビア４１４が形成されている。
【００４８】
回路層４０２においては、Ｓｉ基板４０５上に配線層４０６が形成されている。Ｓｉ基板４０５には、表面部にトランジスタ拡散領域４１６が複数形成されている。配線層４０６には、ＳｉＯ２等からなる絶縁層内に、各トランジスタのゲート配線４１７、信号伝搬用配線４１８が複数形成され、さらにその表面部にはＣｕ等からなるマイクロパッド３０２ｂが形成されている。
【００４９】
回路層４０２に形成されたトランジスタ拡散領域４１６やトランジスタのゲート配線４１７、信号伝搬用配線４１８などにより各種回路が構成される。回路断面の詳細については、説明を省略する。配線層４０６には、拡散領域４１６等をマイクロパッド３０２ｂと接続するためのビア４２０が形成されている。
【００５０】
撮像層４０１の配線層４０４に形成されたマイクロパッド３０２ａと、回路層４０２の配線層４０６に形成されたマイクロパッド３０２ｂは、マイクロバンプ３０１によりお互いに電気的に接続されている。なお、図５では撮像層４０１、回路層４０２を接続端子としてマイクロバンプ３０１を用いて接続する構成例を示したが、マイクロバンプを用いずに直接接続することも可能である。
【００５１】
図６は、図１〜５で説明した撮像素子を用いた撮像装置のシステム概要図である。レンズ部５０１を通った被写体像は絞り５０４により適切な光量に調整され、図１〜図５に示した構成を有する撮像素子５０６上の撮像面に結像される。
【００５２】
撮像素子５０６上の撮像面に結像された被写体像は、撮像素子５０６のＰＤ２０１により光電変換され、さらに画素内アンプや画素１０１とＡＤＣ１１１の間に設けた列アンプによるゲイン調整が行われる。そして、ＡＤＣ１１１を用いてアナログ信号からデジタル信号にＡ／Ｄ変換処理が行われ、Ｒ、Ｇ、Ｂの各色のデジタル画像信号として撮像信号処理回路５０７に取り込まれる。
【００５３】
撮像信号処理回路５０７では、ノイズを軽減するローパスフィルタ処理やシェーディング補正などの各種補正処理、ホワイトバランス調整処理などの画像信号処理、さらに画像データの圧縮処理等を行う。なお、これらの処理を行う撮像信号処理回路５０７を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
【００５４】
レンズ部５０１は、レンズ駆動部５０２によって駆動されることにより、ズーム、フォーカス等が制御される。メカニカルシャッタ（メカシャッタ）５０３、絞り５０４は、シャッタ・絞り駆動部５０５によって駆動制御される。
【００５５】
全体制御演算部５０９は、撮像装置全体の制御と各種演算処理を行う。第のメモリ部５０８は、画像データを一時的に記憶する。半導体メモリ等の着脱可能な記録媒体５１２は、画像データを記録する。記録媒体制御インターフェース部５１０は、記録媒体５１２に画像データを記録し、または記録媒体５１２に記録された画像データを読み出す。なお、全体制御演算部５０９を積層構造の撮像素子５０６に内蔵するように構成してもかまわない。
【００５６】
表示部５１１は、画像データの表示を行う。外部インターフェース部５１３は、外部コンピュータ等と通信を行うためのインターフェース部である。第２のメモリ部５１４は、全体制御演算部５０９での演算結果やパラメータ等を一時的に記憶する。操作部５１５によりユーザーが設定した撮像装置の駆動条件に関する情報は、全体制御演算部５０９に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。
【００５７】
次に、本実施例で行うＨＤＲ処理を用いたダイナミックレンジの拡大方法について、図７および図８を用いて説明する。ＨＤＲ処理は、同一被写体を異なる露出で撮影した複数フレームの画像から画像内の領域ごとに使用可能な出力範囲を抽出して１枚の画像に合成することにより、ダイナミックレンジを拡大する処理である。
【００５８】
ここでは、一例として、露出が適正露出からマイナス２段の「アンダー露出画像」、露出が適正の「適正露出画像」、露出が適正露出からプラス２段の「オーバー露出画像」の３枚の画像を撮像する。なお、ここでは露出を蓄積時間で制御する例について説明するが、蓄積時間に限定されるものではなく、ＩＳＯ感度（ゲイン）をフレーム毎に異ならせるなど別の方法で露出を制御してもよい。
【００５９】
図７は、露出を蓄積時間で制御した場合の露出とダイナミックレンジの関係を表す図である。また、図８は、各露出で撮影した撮影画像とＨＤＲにおいて画像合成される画像を示す図である。図７の横軸は被写体輝度で、縦軸は撮像素子からの出力信号レベルを示しており、出力レンジは黒レベル６０１から飽和レベル６０２までとなる。
【００６０】
図７では、アンダー露出画像６０６、適正露出画像６０５、オーバー露出画像６０４の各々について、被写体輝度に対する信号値の関係をプロットしている。アンダー画像６０６は、図８（ａ）に示すように適正露出よりも露出アンダーで撮影した画像である。また、適正画像６０５は、図８（ｂ）に示すように適正露出で撮影した画像である。さらに、オーバー画像６０４は、図８（ｃ）に示すように適正露出よりも露出オーバーで撮影した画像である。
【００６１】
次に、露出ごとのダイナミックレンジについて説明する。黒レベル６０１から飽和レベル６０２までの出力レンジにおいて、黒レベル６０１に近いレベルの信号ほどノイズの影響を受けやすく、出力値の信頼性が低い。ノイズの影響を受けやすい出力レンジをレベル６０１〜６０３の範囲とすると、画像として使用可能な出力レンジは、レベル６０３〜６０２の範囲となる。
【００６２】
各露出で撮影した画像において使用可能な出力レベル範囲６０３〜６０２に対応する被写体輝度が、各露出で撮影した画像で使用可能な出力範囲（ダイナミックレンジ）となる。アンダー露出画像６０６のダイナミックレンジは輝度レンジ６０９である。図８（ａ）に示すアンダー露出画像６０６から使用可能な出力範囲である輝度レンジ６０９を抽出した画像データを図８（ｄ）に示す。
【００６３】
また、適正露出画像６０５のダイナミックレンジは輝度レンジ６０８である。図８（ｂ）に示す適正露出画像６０５から使用可能な出力範囲である輝度レンジ６０８を抽出した画像データを図８（ｅ）に示す。
【００６４】
さらに、オーバー露出画像６０４のダイナミックレンジは輝度レンジ６０７である。図８（ｃ）に示すオーバー露出画像６０４から使用可能な出力範囲である輝度レンジ６０７を抽出した画像データを図８（ｆ）に示す。なお、図８（ｆ）は人物以外の背景画像であり、破線７０１の範囲内の画像データは含んでいない。
【００６５】
ここで、アンダー露出画像６０６における輝度レンジ６０９よりも低い輝度レンジではノイズの影響を受けるのに対し、オーバー露出画像６０４における輝度レンジ６０７よりも低い輝度レンジ６１０ではそれほどノイズの影響を受けない。そこで、出力レンジ６０１〜６０３を得るために、オーバー露出画像６０４については輝度レンジ６１０の画像データも用いる。
【００６６】
そして、異なる露出で撮影した画像データ（図８（ａ）〜（ｃ））から抽出した画像データ（図８（ｄ）〜（ｆ））を合成することで、輝度レンジ６０９，６０８，６０７および６１０を包含したダイナミックレンジの広い画像データ（図８（ｇ））を生成することができる。
【００６７】
なお、図８（ａ）〜（ｃ）の画像データから使用可能な出力範囲を抽出する際に、重みづけをして信号抽出を行ってもよい。
【００６８】
次に、露出が異なる複数フレームの画像データを取得し、取得した複数フレームの画像データを撮像素子５０６内のフレームメモリに保存する処理について、図９および図１０を用いて説明する。図９は、露出が異なる３枚の画像データを取得する際の各画素における電荷蓄積および信号読み出しのタイミングを示す図であり、横軸が時間、縦軸が撮像素子の画素行を示している。また、図１０は、撮像装置の処理を示すフローチャートである。
【００６９】
図１０のステップＳ９０１において、アンダー露出画像の電荷蓄積を開始する。すなわち、図９の時刻ｔ１〜ｔ２において行ごとに各画素のリセット処理を開始し、リセットが終わった行からアンダー露出画像の電荷蓄積を開始する。ここでは、行ごとに順次信号を読み出すローリング読み出しを行うように撮像素子５０６を駆動するため、電荷蓄積開始時刻が行ごとに異なる。
【００７０】
ステップＳ９０２において、アンダー露出画像の信号読み出しを開始するとともに、適正露出画像の電荷蓄積を開始する。すなわち、図９の時刻ｔ３〜ｔ４において、行ごとにアンダー露出画像の信号読み出しを行うとともに、各行のアンダー露出画像の信号読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から適正露出画像の電荷蓄積を開始する。
【００７１】
ステップＳ９０３において、読み出したアンダー露出画像のデジタル画像データを撮像素子内のフレームメモリ１１７の領域Ｌに保存する。
【００７２】
ステップＳ９０４において、適正露出画像の信号読み出しを開始するとともに、オーバー露出画像の電荷蓄積を開始する。すなわち、図９の時刻ｔ５〜ｔ６において、行ごとに適正露出画像の信号読み出しを行うとともに、各行の適正露出画像の信号読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行からオーバー露出画像の電荷蓄積を開始する。
【００７３】
ステップＳ９０５において、読み出した適正露出画像のデジタル画像データを撮像素子内のフレームメモリ１１７の領域Ｍに保存する。
【００７４】
ステップＳ９０６において、オーバー露出画像の信号読み出しを行う。すなわち、図９の時刻ｔ７〜ｔ８において、行ごとにオーバー露出画像の信号読み出しを行う。
【００７５】
ステップＳ９０７において、読み出したオーバー露出画像のデジタル画像データを撮像素子内のフレームメモリ１１７の領域Ｈに保存する。
【００７６】
以上の処理で、露出が異なる複数の画像データを取得し、取得した画像データを撮像素子５０６内のフレームメモリ１１７に保存することができる。なお、フレームメモリ１１７は、少なくとも３枚の画像データを保存することができる容量を備えていれば良い。また、本実施例では、アンダー露出画像、適正露出画像、オーバー露出画像の順に取得する例について説明したが、この順序に限らない。例えば、適正露出画像、アンダー露出画像、オーバー露出画像の順に取得すれば、各露出画像の重心位置をより近づけることができる。
【００７７】
次に、フレームメモリ１１７に保存された露出が異なる複数の画像データを用いたＨＤＲ画像生成処理について、図１１のフローチャートを用いて説明する。
【００７８】
ステップＳ１００１において、全体制御演算部５０９の制御により、フレームメモリ１１７の領域Ｌ，Ｍ，Ｈにそれぞれ保存されている露出が異なる複数の画像データを素子内演算部１１８に入力する。
【００７９】
ステップＳ１００２において、素子内演算部１１８は、全体制御演算部５０９の制御により、図７および図８を用いて説明したような露出が異なる複数の画像データを用いたＨＤＲ画像生成処理を実行する。演算部１１８は、ＨＤＲ画像生成処理や画像の合成処理を行う機能も有する。
【００８０】
すなわち、フレームメモリ１１７の領域Ｌ，Ｍ，Ｈに記憶されている同一被写体を撮影した露出が異なる複数の画像データから画像内の領域ごとに使用可能な出力レベル範囲に含まれる画像データを抽出する。そして、画像間の位置合わせをした上で合成処理を行うことによりダイナミックレンジの広い１枚の画像（ＨＤＲ画像）を生成する。ここで、合成処理を行う場合、入力された画像データとフレームメモリ１１７に保存されている画像データとを合成し、フレームメモリ１１７の任意の領域に保存する。
【００８１】
ステップＳ１００３において、全体制御演算部５０９の制御により、フレームメモリ１１７に保存されたＨＤＲ画像をＰ／Ｓ変換部１１９へ送信し、さらに撮像信号処理回路５０７へ出力する。以上のようなＨＤＲ画像生成処理により、ダイナミックレンジの広い画像を生成することができる。
【００８２】
（実施例２）
以下、図１２、１３を参照して、本発明の実施例２について説明する。実施例２の撮像システム、ＨＤＲ画像生成処理については、実施例１の図１〜図８、図１１を用いて説明したものと同様であるため、ここでは省略する。
【００８３】
実施例１では、異なる露出で順次撮影した複数の画像データからダイナミックレンジの広い画像データを生成する方法について説明した。しかしながら被写体ブレなど画像間で被写体の位置が変化した場合、単純な位置合わせ処理では画像内の全ての領域を適切に合成できない場合が考えられる。
【００８４】
この課題を改善する方法として、電荷蓄積時間が重複した画像データを合成するために、電荷蓄積開始時刻（露光開始時刻）を揃える信号読み出しを行う処理について、図１２および図１３を用いて説明する。図１２は、露出が異なる３枚の画像データを取得する際の各画素における電荷蓄積および信号読み出しのタイミングを示す図であり、横軸が時間、縦軸が撮像素子の画素行を示している。また、図１３は、実施例２における撮像装置の処理を示すフローチャートである。
【００８５】
実施例２においても電荷蓄積時間により露出を制御しており、「アンダー露出画像」（図１２の蓄積時間Ｌに相当する画像）、「適正露出画像−アンダー露出画像」（図１２の蓄積時間Ｍ−Ｌに相当する画像）、「オーバー露出画像−適正露出画像」（図１２の蓄積時間Ｈ−Ｍに相当する画像）を順次取得する。そして、演算処理により、アンダー露出画像、適正露出画像、オーバー露出画像を生成する。なお、ここでは、アンダー露出画像を適正露出からマイナス２段の画像とする。また、オーバー露出画像を適正露出からプラス２段の画像とする。
【００８６】
図１３のステップＳ１２０１において、アンダー露出画像の電荷蓄積を開始する。すなわち、図１２の時刻ｔ１〜ｔ２において、行ごとに各画素のリセット処理を開始し、リセット処理が終わった行からアンダー露出画像の電荷蓄積を開始する。ここでは、行ごとに順次信号を読み出すローリング読み出しを行うように撮像素子５０６を駆動するため、電荷蓄積開始時刻が行ごとに異なる。
【００８７】
ステップＳ１２０２において、アンダー露光画像の信号読み出しを開始するとともに、「適正露出画像−アンダー露出画像」の電荷蓄積を開始する。すなわち、図１３の時刻ｔ３〜ｔ４において、行ごとにアンダー露出画像の信号読み出しを行うとともに、各行のアンダー露出画像の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から「適正露出画像−アンダー露出画像」の電荷蓄積を開始する。
【００８８】
ステップＳ１２０３において、読み出したアンダー露出画像のデジタル画像データをフレームメモリ１１７の領域Ｌに保存する。
【００８９】
ステップＳ１２０４において、「適正露出画像−アンダー露出画像」の信号読み出しを開始するとともに、「オーバー露出画像−適正露出画像」の電荷蓄積を開始する。すなわち、図１３の時刻ｔ５〜ｔ６において行ごとに「適正露出画像−アンダー露出画像」の信号読み出しを行うとともに、各行の「適正露出画像−アンダー露出画像」の信号読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から「オーバー露出画像−適正露出画像」の電荷蓄積を開始する。
【００９０】
ステップＳ１２０５において、ステップＳ１２０４で読み出した「適正露出画像−アンダー露出画像」（図１２の蓄積時間Ｍ−Ｌに相当する画像）とフレームメモリ１１７の領域Ｌに保存されている「アンダー露出画像」（図１２の蓄積時間Ｌに相当する画像）とを素子内演算部１１８に入力して加算処理を実行する。この加算処理により「適正露出画像」（図１２の蓄積時間Ｍに相当する画像）を得ることができる。
【００９１】
ステップＳ１２０６において、加算処理により得られた適正露出画像のデジタル画像データをフレームメモリ１１７の領域Ｍに保存する。
【００９２】
ステップＳ１２０７において、「オーバー露出画像−適正露出画像」の信号読み出しを行う。
【００９３】
すなわち、図１２の時刻ｔ７〜ｔ８において、行ごとに「オーバー露出画像−適正露出画像」の信号読み出しを行う。
【００９４】
ステップＳ１２０８において、ステップＳ１２０７で読み出した「オーバー露出画像−適正露出画像」（図１２の蓄積時間Ｈ−Ｍに相当する画像）とフレームメモリ１１７の領域Ｍに保存されている「適正露出画像」（図１２の蓄積時間Ｍに相当する画像）とを素子内演算部１１８に入力して加算処理を実行する。この加算処理により「オーバー露出画像」（図１２の蓄積時間Ｈに相当する画像）を得ることができる。
【００９５】
ステップＳ１２０９において、加算処理により得られたオーバー露出画像のデジタル画像データをフレームメモリ１１７の領域Ｈに保存する。
【００９６】
以上のようにして取得した蓄積開始時刻が同一で露出の異なる複数の画像データを用いて実施例１と同様にＨＤＲ画像生成処理を行うことにより、被写体ブレの影響を軽減しながら、ダイナミックレンジの広い画像を生成することが可能となる。
【００９７】
（実施例３）
以下、図１４、１５を参照して、本発明の実施例３について説明する。実施例３の撮像システム、ＨＤＲ画像生成処理については、実施例１の図１〜図８、図１１を用いて説明したものと同様であるため、ここでは省略する。
【００９８】
実施例２では、異なる露出で複数の画像を撮影する際に、蓄積開始時刻を揃える信号読み出し方法について説明した。しかしながら実施例２の方法では、アンダー露出画像とオーバー露出画像の蓄積終了時刻が大きく異なることから、被写体ブレの影響を完全に解消できない場合が考えられる。
【００９９】
この課題を改善するためには、異なる露出の複数の画像を撮影する際に、各電荷蓄積時間の中間時刻を揃えることが望ましい。本実施例では、後段処理で各露出の画像データの電荷蓄積時間の中間時刻を揃えることが可能な信号読み出し処理について、図１４および図１５を用いて説明する。図１４は、露出が同一の画像を８枚取得する際の各画素における電荷蓄積および信号読み出しのタイミングを示す図であり、横軸が時間、縦軸が撮像素子の画素行を示している。また、図１５は、実施例３における撮像装置の処理を示すフローチャートである。
【０１００】
実施例３においても電荷蓄積時間により露出を制御しており、露出が適正露出からマイナス２段の画像（以下、「分割露出画像」と称す）を複数枚連続して取得し、演算処理によりアンダー露出画像（図１４の蓄積時間Ｌに相当する画像）、適正露出画像（図１４の蓄積時間Ｍに相当する画像）、オーバー露出画像（図１４の蓄積時間Ｌに相当する画像）を生成する。
【０１０１】
図１５のステップＳ１４０１において、分割露出画像１枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ１〜ｔ２において、行ごとに各画素のリセット処理を開始し、リセット処理が終わった行から分割露出画像１枚目の電荷蓄積を開始する。ここでは、行ごとに順次信号を読み出すローリング読み出しを行うように撮像素子５０６を駆動するため、電荷蓄積開始時刻が行ごとに異なる。
【０１０２】
ステップＳ１４０２において、分割露出画像１枚目の信号読み出しを開始するとともに、分割露出画像２枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ２〜ｔ３において、行ごとに分割露出画像１枚目の読み出しを行うとともに、各行の分割露出画像１枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像２枚目の電荷蓄積を開始する。
【０１０３】
ステップＳ１４０３において、読み出した分割露出画像１枚目のデジタル画像データをフレームメモリ１１７の領域Ｈに保存する。
【０１０４】
ステップＳ１４０４において、分割露出画像２枚目の信号読み出しを開始するとともに、分割露出画像３枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ３〜ｔ４において、行ごとに分割露出画像２枚目の読み出しを行うとともに、各行の分割露出画像２枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像３枚目の電荷蓄積を開始する。
【０１０５】
ステップＳ１４０５において、ステップＳ１４０４で読み出した分割露出画像２枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
【０１０６】
ステップＳ１４０６において、分割露出画像３枚目の信号読み出しを開始するとともに、分割露出画像４枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ４〜ｔ５において、行ごとに分割露出画像３枚目の読み出しを行うとともに、各行の分割露出画像３枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像４枚目の電荷蓄積を開始する。
【０１０７】
ステップＳ１４０７において、ステップＳ１４０６で読み出した分割露出画像３枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
【０１０８】
ステップＳ１４０８において、読み出した分割露出画像３枚目をフレームメモリ１１７の領域Ｍに保存する。
【０１０９】
ステップＳ１４０９において、分割露出画像４枚目の信号読み出しを開始するとともに、分割露出画像５枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ５〜ｔ６において、行ごとに分割露出画像４枚目の読み出しを行うとともに、各行の分割露出画像４枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像５枚目の電荷蓄積を開始する。
【０１１０】
ステップＳ１４１０において、ステップＳ１４０９で読み出した分割露出画像４枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
【０１１１】
ステップＳ１４１１において、読み出した分割露出画像４枚目とフレームメモリ１１７の領域Ｍに保存されている画像を素子内演算部１１８で加算処理して領域Ｍに保存する。
【０１１２】
ステップＳ１４１２において、読み出した分割露出画像４枚目をフレームメモリ１１７の領域Ｌに保存する。
【０１１３】
ステップＳ１４１３において、分割露出画像５枚目の信号読み出しを開始するとともに、分割露出画像６枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ６〜ｔ７において、行ごとに分割露出画像５枚目の読み出しを行うとともに、各行の分割露出画像５枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像６枚目の電荷蓄積を開始する。
【０１１４】
ステップＳ１４１４において、ステップＳ１４１３で読み出した分割露出画像５枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
【０１１５】
ステップＳ１４１５において、読み出した分割露出画像５枚目とフレームメモリ１１７の領域Ｍに保存されている画像を素子内演算部１１８で加算処理して領域Ｍに保存する。
【０１１６】
ステップＳ１４１６において、読み出した分割露出画像５枚目とフレームメモリ１１７の領域Ｌに保存されている画像を素子内演算部１１８で加算処理して領域Ｌに保存する。
【０１１７】
ステップＳ１４１７において、分割露出画像６枚目の信号読み出しを開始するとともに、分割露出画像７枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ７〜ｔ８において、行ごとに分割露出画像６枚目の読み出しを行うとともに、各行の分割露出画像６枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像７枚目の電荷蓄積を開始する。
【０１１８】
ステップＳ１４１８において、ステップＳ１４１７で読み出した分割露出画像６枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
【０１１９】
ステップＳ１４１９において、読み出した分割露出画像６枚目とフレームメモリ１１７の領域Ｍに保存されている画像を素子内演算部１１８で加算処理して領域Ｍに保存する。
【０１２０】
ステップＳ１４２０において、分割露出画像７枚目の信号読み出しを開始するとともに、分割露出画像８枚目の電荷蓄積を開始する。すなわち、図１４の時刻ｔ８〜ｔ９において、行ごとに分割露出画像７枚目の読み出しを行うとともに、各行の分割露出画像７枚目の読み出し直後に行ごとにリセット処理を開始し、リセット処理が終わった行から分割露出画像８枚目の電荷蓄積を開始する。
【０１２１】
ステップＳ１４２１において、ステップＳ１４２０で読み出した分割露出画像７枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
【０１２２】
ステップＳ１４２２において、分割露出画像８枚目の読み出しを開始する。すなわち、図１４の時刻ｔ９〜ｔ１０において、行ごとにアンダー画像８枚目の読み出しを行う。
【０１２３】
ステップＳ１４２３において、ステップＳ１４２２で読み出した分割露出画像８枚目とフレームメモリ１１７の領域Ｈに保存されている画像を素子内演算部１１８で加算処理して領域Ｈに保存する。
【０１２４】
以上の処理を行うことで、ＨＤＲ画像生成処理に使用する異なる露出の複数の画像データをフレームメモリ１１７の領域Ｈ、Ｍ、Ｌにそれぞれ保存することができる。
【０１２５】
そして、取得した露出の異なる複数の画像データを用いて実施例１と同様にＨＤＲ画像生成処理を行うことにより、異なる露出で撮影した複数の画像の中間時刻を揃えることができるため、被写体ブレの影響をさらに軽減しながら、ダイナミックレンジの広い画像を生成することが可能となる。
【０１２６】
なお、各画像の加算処理を行う際に位置合わせ処理を行ってもよい。また、ＨＤＲ画像生成処理を行う際の位置合わせ処理は、すべての露出画像で使用している４枚目と５枚目の分割露出画像の位置が一致するように合成してもよい。それ以降の処理は実施例１、２と同様である。
【０１２７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１２８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１２９】
１０１  画素
１０  第１のチップ
１１  第２のチップ
１１７  フレームメモリ
１１８  素子内演算部
【図１】
0006282303.tif 000002
【図２】
0006282303.tif 000003
【図３】
0006282303.tif 000004
【図４】
0006282303.tif 000005
【図５】
0006282303.tif 000006
【図６】
0006282303.tif 000007
【図７】
0006282303.tif 000008
【図８】
0006282303.tif 000009
【図９】
0006282303.tif 000010
【図１０】
0006282303.tif 000011
【図１１】
0006282303.tif 000012
【図１２】
0006282303.tif 000013
【図１３】
0006282303.tif 000014
【図１４】
0006282303.tif 000015
【図１５】
0006282303.tif 000016
【図１６】
0006282303.tif 000017