(57)【要約】【課題】画質の改善と高速読み出しが可能な撮像装置を提供することを課題とする。【解決手段】撮像装置は、複数の画素セルを有する第１の半導体基板（２０）と、複数の蓄積セルを有する第２の半導体基板（２１）とを有し、複数の画素セルの各々は、光電変換により画素信号を生成する第１及び第２の画素と、第１又は第２の画素の画素信号を出力する出力端子と、第１及び第２の画素の画素信号を出力端子に転送する第１及び第２の画素転送スイッチとを有し、複数の蓄積セルの各々は、複数の画素セルの各々の出力端子に接続される入力端子と、入力端子から入力される画素信号を蓄積し、蓄積している画素信号を信号線に出力可能な第１及び第２の蓄積部と、入力端子の画素信号を第１及び第２の蓄積部に転送する第１及び第２の蓄積転送スイッチと、第１及び第２の蓄積部の画素信号を信号線に読み出す第１及び第２の選択スイッチを有する。【選択図】図４
2018152650.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素セルを有する第１の半導体基板と、
複数の蓄積セルを有する第２の半導体基板とを有し、
前記第１の半導体基板の複数の画素セルと前記第２の半導体基板の複数の蓄積セルはそれぞれ接続され、
前記複数の画素セルの各々は、
光電変換により画素信号を生成する第１の画素と、
光電変換により画素信号を生成する第２の画素と、
前記第１の画素又は第２の画素の画素信号を出力する出力端子と、
前記第１の画素の画素信号を前記出力端子に転送する第１の画素転送スイッチと、
前記第２の画素の画素信号を前記出力端子に転送する第２の画素転送スイッチとを有し、
前記複数の蓄積セルの各々は、
前記複数の画素セルの各々の出力端子に接続される入力端子と、
前記入力端子から入力される画素信号を蓄積し、前記蓄積している画素信号を信号線に出力可能な第１の蓄積部と、
前記入力端子から入力される画素信号を蓄積し、前記蓄積している画素信号を前記信号線に出力可能な第２の蓄積部と、
前記入力端子の画素信号を前記第１の蓄積部に転送する第１の蓄積転送スイッチと、
前記入力端子の画素信号を前記第２の蓄積部に転送する第２の蓄積転送スイッチと、
前記第１の蓄積部の画素信号を前記信号線に読み出す第１の選択スイッチと、
前記第２の蓄積部の画素信号を前記信号線に読み出す第２の選択スイッチとを有し、
前記第１の画素転送スイッチ及び前記第１の蓄積転送スイッチは、第１の転送期間に、前記第１の画素の画素信号を前記第１の蓄積部に転送し、
前記第２の画素転送スイッチ及び前記第２の蓄積転送スイッチは、前記第１の転送期間の後の第２の転送期間に、前記第２の画素の画素信号を前記第２の蓄積部に転送し、
前記第１の選択スイッチは、第１の読み出し期間に、前記第１の蓄積部の画素信号を前記信号線に読み出し、
前記第２の選択スイッチは、前記第１の読み出し期間の後の第２の読み出し期間に、前記第２の蓄積部の画素信号を前記信号線に読み出すことを特徴とする撮像装置。
【請求項２】
さらに、前記信号線に接続される第１の信号処理部と、
前記信号線に接続される第２の信号処理部とを有し、
前記第１の信号処理部は、前記第１の読み出し期間の後、前記第２の読み出し期間の全部又は一部と重なる第１の信号処理期間に、前記信号線に読み出された前記第１の蓄積部の画素信号を処理し、
前記第２の信号処理部は、前記第２の読み出し期間の後の第２の信号処理期間に、前記信号線に読み出された前記第２の蓄積部の画素信号を処理することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の信号処理部は、前記第１の信号処理期間の後、前記第２の信号処理期間の全部又は一部と重なる第１の出力期間に、前記処理した画素信号を第１の出力線に出力し、
前記第２の信号処理部は、前記第２の信号処理期間の後の第２の出力期間に、前記処理した画素信号を第２の出力線に出力することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記複数の画素セルの各々は、リセットスイッチを有し、
前記リセットスイッチ及び前記第１の画素転送スイッチは、前記第１の画素をリセットすることにより、第１の露光時間を開始させ、
前記第１の画素転送スイッチは、前記第１の画素の画素信号を前記出力端子に転送することにより、前記第１の露光時間を終了させ、
前記リセットスイッチ及び前記第２の画素転送スイッチは、前記第２の画素をリセットすることにより、第２の露光時間を開始させ、
前記第２の画素転送スイッチは、前記第２の画素の画素信号を前記出力端子に転送することにより、前記第２の露光時間を終了させ、
前記第１の露光時間と前記第２の露光時間は相互に同じ長さであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記複数の画素セルの各々は、前記出力端子に接続され、前記第１の画素及び前記第２の画素に共通の画素アンプを有することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記複数の画素セルの各々は、
光電変換により画素信号を生成する第３の画素と、
光電変換により画素信号を生成する第４の画素と、
前記第３の画素の画素信号を前記出力端子に転送する第３の画素転送スイッチと、
前記第４の画素の画素信号を前記出力端子に転送する第４の画素転送スイッチとを有し、
前記複数の蓄積セルの各々は、
前記入力端子から入力される画素信号を蓄積し、前記蓄積している画素信号を前記信号線に出力可能な第３の蓄積部と、
前記入力端子から入力される画素信号を蓄積し、前記蓄積している画素信号を前記信号線に出力可能な第４の蓄積部と、
前記入力端子の画素信号を前記第３の蓄積部に転送する第３の蓄積転送スイッチと、
前記入力端子の画素信号を前記第４の蓄積部に転送する第４の蓄積転送スイッチと、
前記第３の蓄積部の画素信号を前記信号線に読み出す第３の選択スイッチと、
前記第４の蓄積部の画素信号を前記信号線に読み出す第４の選択スイッチとを有し、
前記第３の画素転送スイッチ及び前記第３の蓄積転送スイッチは、前記第２の転送期間の後の第３の転送期間に、前記第３の画素の画素信号を前記第３の蓄積部に転送し、
前記第４の画素転送スイッチ及び前記第４の蓄積転送スイッチは、前記第３の転送期間の後の第４の転送期間に、前記第４の画素の画素信号を前記第４の蓄積部に転送し、
前記第３の選択スイッチは、前記第２の読み出し期間の後の第３の読み出し期間に、前記第３の蓄積部の画素信号を前記信号線に読み出し、
前記第４の選択スイッチは、前記第３の読み出し期間の後の第４の読み出し期間に、前記第４の蓄積部の画素信号を前記信号線に読み出すことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記第１の画素、前記第２の画素、前記第３の画素、及び第４の画素は、２行２列に配列されていることを特徴とする請求項６に記載の撮像装置。
【請求項８】
さらに、前記信号線に接続される第１の信号処理部と、
前記信号線に接続される第２の信号処理部とを有し、
前記第１の信号処理部は、前記第１の読み出し期間の後の第１の信号処理期間に、前記信号線に読み出された前記第１の蓄積部の画素信号を処理し、
前記第２の信号処理部は、前記第２の読み出し期間の後の第２の信号処理期間に、前記信号線に読み出された前記第２の蓄積部の画素信号を処理し、
前記第１の信号処理部は、前記第３の読み出し期間の後の第３の信号処理期間に、前記信号線に読み出された前記第３の蓄積部の画素信号を処理し、
前記第２の信号処理部は、前記第４の読み出し期間の後の第４の信号処理期間に、前記信号線に読み出された前記第４の蓄積部の画素信号を処理することを特徴とする請求項６又は７に記載の撮像装置。
【請求項９】
前記第１の信号処理部は、前記第１の信号処理期間の後の第１の出力期間に、前記処理した画素信号を第１の出力線に出力し、
前記第２の信号処理部は、前記第２の信号処理期間の後の第２の出力期間に、前記処理した画素信号を第２の出力線に出力し、
前記第１の信号処理部は、前記第３の信号処理期間の後の第３の出力期間に、前記処理した画素信号を第１の出力線に出力し、
前記第２の信号処理部は、前記第４の信号処理期間の後の第４の出力期間に、前記処理した画素信号を第２の出力線に出力することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記第１の転送期間と前記第２の転送期間が重ならず、
前記第１の読み出し期間と前記第２の読み出し期間が重ならず、
前記第１の転送期間と前記第２の転送期間の終了時間差は、前記第１の読み出し期間と前記第２の読み出し期間の開始時間差に等しいことを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記第１の出力期間と前記第２の出力期間の終了時間差は、前記第１の読み出し期間と前記第２の読み出し期間の開始時間差に等しいことを特徴とする請求項３又は８に記載の撮像装置。
【請求項１２】
前記第１の信号処理期間と前記第３の信号処理期間が重ならず、
前記第２の信号処理期間と前記第４の信号処理期間が重ならないことを特徴とする請求項８又は９に記載の撮像装置。
【請求項１３】
前記第１の出力期間と前記第３の出力期間が重ならず、
前記第２の出力期間と前記第４の出力期間が重ならないことを特徴とする請求項９に記載の撮像装置。
【請求項１４】
複数の画素セルを有する第１の半導体基板と、
複数の蓄積セルを有する第２の半導体基板とを有する撮像装置の制御方法であって、
前記第１の半導体基板の複数の画素セルと前記第２の半導体基板の複数の蓄積セルはそれぞれ接続され、
前記複数の画素セルの各々は、
光電変換により画素信号を生成する第１の画素と、
光電変換により画素信号を生成する第２の画素と、
前記第１の画素又は第２の画素の画素信号を出力する出力端子と、
前記第１の画素の画素信号を前記出力端子に転送する第１の画素転送スイッチと、
前記第２の画素の画素信号を前記出力端子に転送する第２の画素転送スイッチとを有し、
前記複数の蓄積セルの各々は、
前記複数の画素セルの各々の出力端子に接続される入力端子と、
前記入力端子から入力される画素信号を蓄積し、前記蓄積している画素信号を信号線に出力可能な第１の蓄積部と、
前記入力端子から入力される画素信号を蓄積し、前記蓄積している画素信号を前記信号線に出力可能な第２の蓄積部と、
前記入力端子の画素信号を前記第１の蓄積部に転送する第１の蓄積転送スイッチと、
前記入力端子の画素信号を前記第２の蓄積部に転送する第２の蓄積転送スイッチと、
前記第１の蓄積部の画素信号を前記信号線に読み出す第１の選択スイッチと、
前記第２の蓄積部の画素信号を前記信号線に読み出す第２の選択スイッチとを有し、
前記第１の画素転送スイッチ及び前記第１の蓄積転送スイッチにより、第１の転送期間に、前記第１の画素の画素信号を前記第１の蓄積部に転送するステップと、
前記第２の画素転送スイッチ及び前記第２の蓄積転送スイッチにより、前記第１の転送期間の後の第２の転送期間に、前記第２の画素の画素信号を前記第２の蓄積部に転送するステップと、
前記第１の選択スイッチにより、第１の読み出し期間に、前記第１の蓄積部の画素信号を前記信号線に読み出すステップと、
前記第２の選択スイッチにより、前記第１の読み出し期間の後の第２の読み出し期間に、前記第２の蓄積部の画素信号を前記信号線に読み出すステップと
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルビデオカメラ等、撮像素子を用いて撮像し、撮像画像をデジタルデータとして保存することができる撮像装置が広く普及している。このような撮像装置に用いる撮像素子としては、ＸＹアドレス方式で各画素信号を読み出すＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサ（以下、ＣＭＯＳセンサという）がある。ＣＭＯＳセンサは、画素信号のランダムアクセスが可能である点や、ＣＣＤ（Charge Coupled Device）型イメージセンサ（以下、ＣＣＤセンサという）と比較して、読み出しが高速で、高感度、低消費電力といった特徴がある。特に、連写性能の向上、４０００画素×２０００画素に対応する高精細動画の表示レートを越える高レート撮影等を実現するために、撮像素子に対する高速読み出しの要望が強い。
【０００３】
ＣＭＯＳセンサ等の撮像素子は、画素の光電変換素子が入射光量に応じた電荷を蓄積し、蓄積した電荷に対応する電気信号を出力する光電変換を行う。また、ＣＭＯＳセンサ等の撮像素子は、電子シャッタ機能を備えている。電子シャッタ機能は、画素の光電変換素子をリセットすることにより露光を開始し、光電変換素子に蓄積した電荷を読み出すことにより露光を終了させる。このように、撮像素子の機能だけで、露光の始まりと終わりを制御するので、低速シャッタから高速シャッタまで、正確な露光時間の制御を実現することが可能である。
【０００４】
さらに、ＣＭＯＳセンサの特徴の一つに、ローリングシャッタ動作がある。ローリングシャッタ動作では、ＣＣＤセンサと異なり、２次元配列された複数の画素を１ライン毎に順次走査して画素の電荷のリセットを実施する。そして、所定の露光時間経過後に、１ライン毎に順次走査して、蓄積した電荷の読み出しと信号の出力を行う。このように、ローリングシャッタ動作は、ライン毎に電荷読み出しと信号出力のための時間差を持った動作となっている。これにより、ライン毎に電荷読み出しと信号出力を順番に行うため、撮像素子から１画面分の画像信号を読み出すのに時間がかかる。また、１回の撮像動作の中で、ライン毎に露光する期間がずれてしまうため、動きの速い被写体を撮像すると、撮像した画像内で被写体が歪んでしまう。
【０００５】
これに対して、全画素同時に電子シャッタを機能させ、露光期間を一致させるようにした同時撮像機能（グローバルシャッタ機能）を備えたＣＭＯＳセンサが知られている。このＣＭＯＳセンサでは、通常、光電変換素子が生成した信号電荷を、読み出しが行われるまで蓄えておくための蓄積部を備えている。そして、全画素を同時に露光した後、各光電変換素子が生成した信号電荷を全画素で同時に各蓄積部に転送して保持する。次に、各蓄積部に保持してる信号電荷を１ライン毎に順次走査して、画素信号として出力する。この時、全画素で同時に蓄積部に転送する方法のひとつに、次のようなものがある。
【０００６】
まず、イメージセンサチップの画素領域に設けられた画素を４画素毎にグループ化して、それぞれに共通した出力を設ける。そして、イメージセンサチップの配線層側に、それぞれの共通出力に対応したマイクロパッドを形成する。次に、相対する信号処理チップにおいて、それぞれの画素に対応したサンプルホールド回路（ＳＨ回路）を４個毎にグループ化して、それぞれに共通した入力を設ける。そして、信号処理チップの配線層側に、それぞれの共通入力に対応したマイクロパッドを形成する。さらに、イメージセンサチップと信号処理チップの対応するマイクロパッド間をマイクロバンプによって接続することで、全画素に対して４画素毎に対応する４個のＳＨ回路に転送することが可能となる（例えば、特許文献１参照）。この疑似グローバルシャッタ機能により、イメージセンサチップの全画素の画素信号を信号処理チップのＳＨ回路にほぼ同時に転送することが可能になる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−４９３６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１の方法では、全画素に対応する信号処理チップのＳＨ回路から、画素信号を１ライン毎に順次走査して読み出すため、撮像素子から１画面分の画像信号を読み出すのに時間がかかるという課題が残る。さらに、特許文献１の方法では、画素からＳＨ回路への転送が４画素に分けて読み出すことでずれて実施される。このため、画素からＳＨ回路への転送とＳＨ回路からのライン順次の走査に動作時間の不整合が発生するという課題もある。この不整合は、撮像した画像に対して、縦筋等のノイズを発生させる。
【０００９】
本発明の目的は、画質の改善と高速読み出しが可能な撮像装置及び撮像装置の制御方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、複数の画素セルを有する第１の半導体基板と、複数の蓄積セルを有する第２の半導体基板とを有し、前記第１の半導体基板の複数の画素セルと前記第２の半導体基板の複数の蓄積セルはそれぞれ接続され、前記複数の画素セルの各々は、光電変換により画素信号を生成する第１の画素と、光電変換により画素信号を生成する第２の画素と、前記第１の画素又は第２の画素の画素信号を出力する出力端子と、前記第１の画素の画素信号を前記出力端子に転送する第１の画素転送スイッチと、前記第２の画素の画素信号を前記出力端子に転送する第２の画素転送スイッチとを有し、前記複数の蓄積セルの各々は、前記複数の画素セルの各々の出力端子に接続される入力端子と、前記入力端子から入力される画素信号を蓄積し、前記蓄積している画素信号を信号線に出力可能な第１の蓄積部と、前記入力端子から入力される画素信号を蓄積し、前記蓄積している画素信号を前記信号線に出力可能な第２の蓄積部と、前記入力端子の画素信号を前記第１の蓄積部に転送する第１の蓄積転送スイッチと、前記入力端子の画素信号を前記第２の蓄積部に転送する第２の蓄積転送スイッチと、前記第１の蓄積部の画素信号を前記信号線に読み出す第１の選択スイッチと、前記第２の蓄積部の画素信号を前記信号線に読み出す第２の選択スイッチとを有し、前記第１の画素転送スイッチ及び前記第１の蓄積転送スイッチは、第１の転送期間に、前記第１の画素の画素信号を前記第１の蓄積部に転送し、前記第２の画素転送スイッチ及び前記第２の蓄積転送スイッチは、前記第１の転送期間の後の第２の転送期間に、前記第２の画素の画素信号を前記第２の蓄積部に転送し、前記第１の選択スイッチは、第１の読み出し期間に、前記第１の蓄積部の画素信号を前記信号線に読み出し、前記第２の選択スイッチは、前記第１の読み出し期間の後の第２の読み出し期間に、前記第２の蓄積部の画素信号を前記信号線に読み出す。
【発明の効果】
【００１１】
本発明によれば、画質の改善と高速読み出しが可能である。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態に係る撮像装置の構成例を示す図である。
【図２】第１の実施形態に係る撮像素子の第１の半導体基板の構成例を示す図である。
【図３】第１の実施形態に係る撮像素子の第２の半導体基板の構成例を示す図である。
【図４】第１の実施形態に係る撮像素子の基板構成例を示す図である。
【図５】第１の実施形態に係る画素部の回路構成例を示す図である。
【図６】第１の実施形態に係る画素を示す図である。
【図７】第１の実施形態に係る列信号処理部の構成例を示す図である。
【図８】第１の実施形態に係る撮像素子の基本動作タイミングを示す図である。
【図９】第１の実施形態に係る撮像素子の動作タイミングを示す図である。
【図１０】第２の実施形態に係る画素部の構成例を示す図である。
【図１１】第２の実施形態に係る画素を示す図である。
【図１２】第２の実施形態に係る列信号処理部の構成例を示す図である。
【図１３】第２の実施形態に係る撮像素子の基本動作タイミングを示す図である。
【図１４】第２の実施形態に係る撮像素子の動作タイミングを示す図である。
【図１５】第３の実施形態に係る撮像素子の動作タイミングを示す図である。
【図１６】第３の実施形態に係る撮像素子の動作タイミングを示す図である。
【図１７】第３の実施形態に係る撮像素子の動作タイミングを示す図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成を示す図である。撮像装置は、デジタルスチルカメラ、デジタルビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。撮像装置は、光学系（光学鏡筒）１１、撮像素子１２、信号処理部１３、圧縮伸張部１４、同期制御部１５、操作部１６、画像表示部１７及び画像記録部１８を有する。光学系１１は、被写体を結像させるためのレンズ、ズームや合焦を行うためのレンズ駆動機構、メカニカルシャッタ機構、及び絞り機構等を有する。光学系１１の可動部は、同期制御部１５からの制御信号に基づいて駆動される。撮像素子１２は、ＸＹアドレス方式のＣＭＯＳセンサであり、同期制御部１５からの制御信号に応じて、露光や信号読み出し、リセット等の撮像動作を実施する。撮像素子１２は、光電変換により画像信号を生成し、アナログデジタル変換回路（以下、ＡＤ変換回路という）によるアナログデジタル変換（以下、ＡＤ変換という）を経て、デジタル化された画像信号を出力する。撮像素子１２の詳細については、後述する。
【００１４】
信号処理部１３は、同期制御部１５により制御される。信号処理部１３は、撮像素子１２から入力されるデジタル化された画像信号に対して、ホワイトバランス調整、色補正、ガンマ補正等の信号処理や、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）等の制御情報の検出を実施する。圧縮伸張部１４は、同期制御部１５の制御の下で、信号処理部１３で信号処理された画像信号に対して圧縮符号化処理を実施したり、同期制御部１５から供給された静止画像の符号化データを伸張復号化処理する。また、圧縮伸張部１４は、動画像の圧縮符号化／伸張復号化処理を実行してもよい。同期制御部１５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含むマイクロコントローラである。同期制御部１５は、ＲＯＭ等に記憶されたプログラムを実行することにより、この撮像装置の各部を統括的に制御する。
【００１５】
操作部１６は、例えばシャッタレリーズボタン等の各種操作キーやレバー、ダイヤル等を有し、ユーザによる入力操作に応じた制御信号を同期制御部１５に出力する。画像表示部１７は、液晶表示器（ＬＣＤ：Liquid Crystal Display）等の表示デバイスや、これに対するインタフェース回路等を有する。画像表示部１７は、同期制御部１５から供給された画像信号から表示させるための画像信号を生成し、この信号を表示デバイスに供給して画像を表示させる。画像記録部１８は、例えば、可搬型の半導体メモリ等からなる記録媒体が接続され、圧縮伸張部１４により圧縮符号化された画像データファイルを同期制御部１５から受け取って記録媒体に記憶する。また、画像記録部１８は、同期制御部１５からの制御信号を基に指定されたデータを読み出し、同期制御部１５に出力する。
【００１６】
次に、本実施形態における撮像装置の制御方法について説明する。撮像素子１２は、光電変換による画像信号をフレーム単位で信号処理部１３に順次供給する。信号処理部１３は、撮像素子１２からの画像信号に対して信号処理を施す。同期制御部１５は、信号処理部１３により信号処理された画像信号を、カメラスルー画像の信号として、画像表示部１７に供給する。これにより、画像表示部１７は、カメラスルー画像を表示し、ユーザは表示画像を見て画角合わせを行うことが可能となる。この状態で、操作部１６のシャッタレリーズボタンが押下されると、撮像素子１２は、同期制御部１５の制御により、１フレーム分の画像信号を信号処理部１３に供給する。信号処理部１３は、入力された１フレーム分の画像信号に対して信号処理を施す。同期制御部１５は、信号処理部１３により信号処理された画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、入力された画像信号を圧縮符号化する。同期制御部１５は、圧縮伸張部１４により生成された符号化データを画像記録部１８に供給する。これにより、画像記録部１８は、撮像された静止画像のデータファイルを記録する。
【００１７】
一方、画像記録部１８に記録された静止画像のデータファイルを再生する場合には、同期制御部１５は、操作部１６からの操作入力に応じて、選択されたデータファイルを画像記録部１８から読み出し、圧縮伸張部１４に供給する。圧縮伸張部１４は、そのデータファイルに対して伸張復号化処理を実行する。同期制御部１５は、その復号化された画像信号を画像表示部１７に供給する。これにより、画像表示部１７は、静止画像を再生表示する。また、動画像を記録する場合には、撮像素子１２は、動画像の画像信号を信号処理部１３に供給する。信号処理部１３は、動画像の画像信号をフレーム毎に順次信号処理する。同期制御部１５は、その信号処理された動画像の画像信号を圧縮伸張部１４に供給する。圧縮伸張部１４は、動画像の画像信号に対して圧縮符号化処理を施す。同期制御部１５は、圧縮伸張部１４により生成された動画像の符号化データを順次画像記録部１８に転送する。画像記録部１８は、その動画像の符号化データを記録する。また、同期制御部１５は、画像記録部１８から動画像のデータファイルを読み出して圧縮伸張部１４に供給する。圧縮伸張部１４は、動画像のデータファイルに対して伸張復号化処理を行う。同期制御部１５は、圧縮伸張部１４により復号化された動画像を画像表示部１７に供給する。すると、画像表示部１７は、動画像を表示する。
【００１８】
図２は、本実施形態に係る撮像素子（ＣＭＯＳセンサ）１２の第１の半導体基板２０の構成例を示す図である。第１の半導体基板（センサ基板）２０は、画素領域１０１と、画素駆動部１０２とを有する。画素領域１０１は、行列状に配列され、各々が光電変換により画素信号を生成する複数の画素セル１００を有する。画素セル１００は、詳細は後述するが、ＣＭＯＳセンサの１画素あるいは複数画素からなる画素グループを表す。複数の画素セル１００は、行列状に配列された複数の画素Ｐ１１〜Ｐ４６で表される。１行目の画素セル１００は、画素セルＰ１１〜Ｐ１６で表される。４行目の画素セル１００は、画素セルＰ４１〜Ｐ４６で表される。画素セル１００は、６×４配列（４行６列）を例として説明するが、その数に限定されるものではない。また、奇数行の画素セル１００には、Ｒ（赤）フィルタとＧ（緑）フィルタが交互に設けられる。偶数行の画素セル１００には、Ｇ（緑）フィルタとＢ（青）フィルタが交互に配置される。その結果、行列状の画素セル１００には、２×２配列の色フィルタが設けられる。画素駆動部１０２は、画素制御線１２１を介して画素領域１０１の画素セル１００を行単位で選択し、選択した画素セル１００のリセット動作や読み出し動作を駆動制御する。画素制御線１２１は、画素セル１００の行毎に共通に接続され、画素駆動部１０２による行単位の駆動制御信号を伝達する。画素セル１００から読み出された画素信号は、図３の第２の半導体基板（信号処理基板）２１の蓄積領域２０１に送られる。
【００１９】
図３は、本実施形態に係る撮像素子１２の第２の半導体基板２１の構成例を示す図である。第２の半導体基板２１は、蓄積領域２０１、垂直駆動部２０２、各列の第１列信号処理部２０３ａ、各列の第２列信号処理部２０３ｂ、第１水平走査部２０４ａ、第２水平走査部２０４ｂ、第１出力部２０５ａ、第２出力部２０５ｂ、及びタイミング部２０６を有する。蓄積領域２０１は、行列状に配列された複数の蓄積セル２００を有する。複数の蓄積セル２００は、詳細は後述するが、図２の複数の画素セル１００と同数の蓄積部としてのサンプルホールド回路（ＳＨ回路）を表す。複数の蓄積セル２００は、行列状に配列された複数の蓄積セルＳ１１〜Ｓ４６で表される。１行目の蓄積セル２００は、蓄積セルＳ１１〜Ｓ１６で表される。４行目の蓄積セル２００は、蓄積セルＳ４１〜Ｓ４６で表される。複数の蓄積セル２００は、６×４配列（４行６列）を例として説明するが、その数に限定されるものではない。ここで、複数の蓄積セル２００のそれぞれは、対応する画素セル１００との組になっているため、これらを合わせて蓄積部を備えた画素部である。
【００２０】
垂直駆動部２０２は、蓄積領域２０１の蓄積セル２００を行単位で選択し、選択した蓄積セル２００に対して、対応する画素セル１００からの画素信号の入力動作や信号出力動作を駆動制御する。蓄積制御線２２１は、蓄積セル２００の行毎に共通に接続され、垂直駆動部２０２による行単位の駆動制御信号を伝達する。列信号線２３１は、蓄積セル２００の列毎に共通に接続され、蓄積制御線２２１により選択された行の蓄積セル２００の画素信号が、それぞれ対応する列信号線２３１に読み出される。第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂは、それぞれ、対応する列信号線２３１に接続され、列信号線２３１を通して送られてくる行単位の画素信号のそれぞれに対して、後述する列信号処理を実施する。第１水平走査部２０４ａは、第１列選択線２４１ａを介して第１列信号処理部２０３ａを列毎に選択し、第１列信号処理部２０３ａに記憶されているデジタル化された画素信号を第１出力線２５１ａを介して第１出力部２０５ａに転送するように制御する。第２水平走査部２０４ｂは、第２列選択線２４１ｂを介して第２列信号処理部２０３ｂを列毎に選択し、第２列信号処理部２０３ｂに記憶されているデジタル化された画素信号を第２出力線２５１ｂを介して第２出力部２０５ｂに転送するように制御する。第１出力部２０５ａ及び第２出力部２０５ｂは、デジタル化された行単位の画素信号を信号処理部１３へ出力する。タイミング部２０６は、同期制御部１５からの制御信号に基づいて、撮像素子１２の各部の動作に必要な各種のクロック信号や制御信号等を出力する。制御線２６１、２７１ａ、２７１ｂ、２８１ａ、２８１ｂは、垂直駆動部２０２、第１列信号処理部２０３ａ、第２列信号処理部２０３ｂ、第１水平走査部２０４ａ、第２水平走査部２０４ｂに対して、タイミング部２０６からクロック信号や制御信号等を伝達する。
【００２１】
図４（ａ）及び（ｂ）は、本実施形態に係る撮像素子１２の構成例を示す図である。図４（ａ）は、撮像素子１２の断面構造を示し、図４（ｂ）は撮像素子１２の平面構造を示す。撮像素子１２は、第１の半導体基板２０と第２の半導体基板２１が重なった積層構造を有する。第１の半導体基板２０は、画素セル１００を構成する回路要素（光電変換素子、トランジスタ、容量等）を有する。第２の半導体基板２１は、蓄積セル２００を構成する回路要素（トランジスタ、容量等）を有する。図４（ａ）の断面構造では、第１の半導体基板２０は、裏面照射型ＣＭＯＳセンサであり、光（Ｌｉｇｈｔ）が入射される側に光電変換素子を備えた画素領域１０１を形成し、反対の配線層側に画素セル１００毎の出力端子に対応したマイクロパッド２２を形成する。また、第２の半導体基板２１は、蓄積セル２００を備えた蓄積領域２０１を有し、蓄積セル２００毎の共通入力端子に対応したマイクロパッド２３を有する。マイクロバンプ２４は、第１の半導体基板２０と第２の半導体基板２１の対応するマイクロパッド２２及び２３間を接続して画素接続部を構成することで、画素セル１００の信号を対応する蓄積セル２００に転送することが可能となる。また、図４（ｂ）の平面構造において、画素部２８は、第１の半導体基板２０の画素セル１００と第２の半導体基板２１の蓄積セル２００が重なった領域である。撮像領域２９は、画素領域１０１と蓄積領域２０１が重なった領域である。
【００２２】
次に、図２に示す第１の半導体基板２０及び図３に示す第２の半導体基板２１の構成が、図４（ａ）の入射光（Ｌｉｇｈｔ）側から見た配置であるとして、他の部分の構成について説明する。撮像領域２９の外側周辺部には、配線接続部が配置されている。その配線接続部は、画素部２８と同様の、第１の半導体基板２０側のマイクロパッド２５と、第２の半導体基板２１側のマイクロパッド２６と、第１の半導体基板２０及び第２の半導体基板２１間の接続を可能にするマイクロバンプ２７とを有する。第１の半導体基板２０の画素駆動部１０２は、タイミング部２０６が生成したクロック信号や制御信号を入力して、選択した画素のリセット動作や読み出し動作を制御する駆動パルスを出力する。例えば、撮像領域２９の左側の配線接続部を介してタイミング部２０６が発生したクロック信号や制御信号を画素駆動部１０２に入力し、撮像領域２９の右側の配線接続部を介して画素や画素駆動部１０２が必要とする電源や接地電位（グラウンド）を供給する。この時、画素駆動部１０２には、タイミング部２０６の回路の一部を備えてもよいが、クロック信号や制御信号の電圧を変換するドライバ機能のみを備えて、回路規模の縮小を図ってもよい。
【００２３】
ここで、図４（ｂ）のマイクロバンプ２４、２７は、それぞれ、画素接続部及び配線接続部のマイクロバンプの位置を破線で示したものである。また、第２の半導体基板２１の周辺部には、撮像素子１２と外部を接続するためのパッド電極３０が配置され、同期制御部１５からの制御信号やクロック信号が入力されるとともに、デジタル化された行単位の画素信号を信号処理部１３へ出力するために用いられる。そして、図４（ａ）及び（ｂ）に示す撮像素子１２の変形例として、パッド電極３０の代わりに、第２の半導体基板２１を貫通する貫通電極を設け、第２の半導体基板２１の反対側から外部接続してもよい。さらに、図４（ａ）及び（ｂ）に示す例では、パッド電極３０を形成するために、第１の半導体基板２０と第２の半導体基板２１の面積が異なっているが、貫通電極を設けることで、同じ面積であってもよい。これにより、撮像素子１２としての面積が削減できるので、撮像装置の実装密度をあげる効果が期待できる。また、マイクロバンプ２４、２７を設けずに、第１の半導体基板２０と第２の半導体基板２１の相対するマイクロパッド２２、２３、２５、２６同士を直接接続してもよい。これにより、撮像素子１２としての厚さ方向が削減できるので、撮像装置の実装密度をあげる効果が期待できる。
【００２４】
図５は、本実施形態に係る撮像素子１２の画素部２８の構成例を示す図である。点線で囲われた画素セル１００は、画素領域１０１を構成する画素セル１００の１つを代表して示す。同様に、点線で囲われた蓄積セル２００は、画素セル１００に対応し、蓄積領域２０１を構成する蓄積セル２００の１つを代表して示す。また、画素セル１００は、画素制御線１２１により画素駆動部１０２と接続される。画素制御線１２１は、画素駆動部１０２に接続されると共に、水平１行の画素セル１００に共通して接続され、水平１行の画素セル１００を同時に制御することで、リセット動作や信号読み出し動作が可能になっている。そして、画素制御線１２１は、リセット制御線ｐＰｒｓ、転送制御線ｐＰｘ１、ｐＰｘ２、負荷制御線ｐＰｌｄ、画素電源電圧Ｖｄｄｐをまとめて示す。本実施形態では、画素セル１００は、２個の光電変換素子（画素）Ｄ１及びＤ２を有する。２個の光電変換素子Ｄ１及びＤ２は、２個の画素であり、それぞれ、光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードである。光電変換素子Ｄ１及びＤ２は、ＰＮ接合のＰ側が接地され、Ｎ側がそれぞれ転送トランジスタ（画素転送スイッチ）Ｔｐｘ１、Ｔｐｘ２のソースに接続されている。転送トランジスタＴｐｘ１、Ｔｐｘ２は、ゲートがそれぞれ転送制御線ｐＰｘ１、ｐＰｘ２に接続され、ドレインがＦＤ（フローティングディフュージョン）容量Ｃｆｄに接続され、光電変換素子Ｄ１、Ｄ２からＦＤ容量Ｃｆｄへの電荷の転送を制御する。ＦＤ容量Ｃｆｄは、一方が接地され、光電変換素子Ｄ１、Ｄ２から転送された電荷を電圧に変換する際に電荷を蓄積するコンデンサである。転送トランジスタＴｐｘ１、Ｔｐｘ２のドレインとＦＤ容量Ｃｆｄの他方の接続点をＦＤノード３０１と呼ぶ。リセットトランジスタ（リセットスイッチ）Ｔｐｒｓは、ゲートがリセット制御線ｐＰｒｓに接続され、ドレインが画素電源電圧Ｖｄｄｐに接続され、ソースがＦＤ容量Ｃｆｄに接続され、ＦＤノード３０１の電位を画素電源電圧Ｖｄｄｐにリセットする。リセットトランジスタＴｐｒｓ及び転送トランジスタＴｐｘ１、Ｔｐｘ２をオンさせることにより、光電変換素子Ｄ１、Ｄ２の電位を画素電源電圧Ｖｐｄｄにリセットし、露光時間の制御を可能にする。駆動トランジスタ（増幅部）Ｔｄｒｖは、画素アンプを構成するトランジスタであり、ゲートがＦＤ容量Ｃｆｄに接続され、ドレインが画素電源電圧Ｖｄｄｐに接続され、ソースが画素の負荷トランジスタＴｐｌｄのドレインに接続される。画素アンプは、光電変換素子Ｄ１、Ｄ２に共通のアンプである。また、駆動トランジスタＴｄｒｖのソースは、画素セル１００の共通出力に対応したマイクロパッド２２にも接続され、ＦＤ容量Ｃｆｄの電圧に応じた電圧を、読み出した画素の信号として、マイクロバンプ２４を介して接続される蓄積セル２００に出力する。画素セル１００の負荷トランジスタＴｐｌｄは、ソースが接地され、ゲートが負荷制御線ｐＰｌｄに接続され、ドレインが駆動トランジスタＴｄｒｖのソースに接続される。そして、負荷トランジスタＴｐｌｄは、接続される画素セル１００の駆動トランジスタＴｄｒｖとともに画素内アンプとなるソースフォロア回路を構成している。通常、画素の信号を出力する時は、負荷制御線ｐＰｌｄの制御により、負荷トランジスタＴｐｌｄを定電流源として動作させる。
【００２５】
次に、蓄積セル２００について説明する。画素セル１００が出力する画素信号は、マイクロバンプ２４を介して接続される蓄積セル２００の共通入力に対応したマイクロパッド２３に入力される。また、蓄積セル２００は、蓄積制御線２２１により垂直駆動部２０２と接続される。蓄積制御線２２１は、垂直駆動部２０２に接続されると共に、水平１行の蓄積セル２００に共通して接続され、水平１行の蓄積セル２００を同時に制御することで、リセット動作、信号入力動作、信号出力動作が可能になっている。そして、蓄積制御線２２１は、リセット制御線ｐＳｒｓ、ＳＨ制御線ｐＳｈ１、ｐＳｈ２、垂直選択線ｐＳｘ１、ｐＳｘ２、蓄積電源電圧Ｖｄｄｓをまとめて示す。クランプ容量Ｃｃｌｐは、一方の端子がマイクロパッド２３に接続され、他方の端子がＳＨトランジスタＴｓｈ１、Ｔｓｈ２のドレインに接続され、マイクロパッド２３に入力された画素信号に対して、後述するクランプ動作を実施するコンデンサである。ＳＨトランジスタＴｓｈ１、Ｔｓｈ２は、ゲートがそれぞれＳＨ制御線ｐＳｈ１、ｐＳｈ２に接続され、ソースが共通接続されてクランプ容量Ｃｃｌｐに接続され、ドレインがそれぞれ対応する蓄積容量Ｃｓｔ１、Ｃｓｔ２に接続される蓄積転送スイッチである。そして、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２は、蓄積セル２００の共通入力に入力された画素の信号を対応する蓄積容量Ｃｓｔ１、Ｃｓｔ２にサンプルホールドする信号入力動作を制御する。ここで、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２のソースが共通接続されるクランプ容量Ｃｃｌｐの他方の接続点を、共通入力ノード３０２と呼ぶ。蓄積容量Ｃｓｔ１、Ｃｓｔ２は、それぞれ、一方の端子が接地され、他方の端子がそれぞれＳＨトランジスタＴｓｈ１、Ｔｓｈ２のドレインに接続され、入力された画素信号を蓄積する蓄積部である。ここで、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２のドレインと対応する蓄積容量Ｃｓｔ１、Ｃｓｔ２の他方の接続点を、それぞれ蓄積ノード３１１、３１２と呼ぶ。そして、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２と対応する蓄積容量Ｃｓｔ１、Ｃｓｔ２の組み合わせでＳＨ回路を構成する。
【００２６】
リセットトランジスタ（リセットスイッチ）Ｔｓｒｓは、ゲートがリセット制御線ｐＳｒｓに接続され、ドレインが蓄積電源電圧Ｖｄｄｓに接続され、ソースがＳＨトランジスタＴｓｈ１、Ｔｓｈ２の共通接続のソースに接続される。リセットトランジスタＴｓｒｓとＳＨトランジスタＴｓｈ１、Ｔｓｈ２をオンすることにより、共通入力ノード３０２及び蓄積ノード３１１、３１２の電位を蓄積電源電圧Ｖｄｄｓにリセットする。ここで、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２は、入力された画素信号を蓄積容量Ｃｓｔ１、Ｃｓｔ２に保持する時と、蓄積ノード３１１、３１２の電位を蓄積電源電圧Ｖｄｄｓにリセットする時では、流れる電流の向きが逆になる。そのため、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２は、リセット時には、ソースとドレインの機能が蓄積時と逆になる。このため、本実施形態のＳＨトランジスタＴｓｈ１、Ｔｓｈ２においては、双方向の電流に対して適したトランジスタを用いる必要がある。出力トランジスタ（増幅部）Ｔｓｏ１、Ｔｓｏ２は、出力アンプを構成するトランジスタである。出力トランジスタＴｓｏ１、Ｔｓｏ２は、ゲートがそれぞれ対応する蓄積容量Ｃｓｔ１、Ｃｓｔ２に接続され、ドレインが蓄積電源電圧Ｖｄｄｓに接続され、ソースが選択トランジスタ（選択スイッチ）Ｔｓｘ１、Ｔｓｘ２のドレインに接続される。出力トランジスタＴｓｏ１、Ｔｓｏ２は、対応する蓄積容量Ｃｓｔ１、Ｃｓｔ２の電圧に応じた電圧を出力する。選択トランジスタＴｓｘ１、Ｔｓｘ２は、ゲートがそれぞれ対応する垂直選択線ｐＳｘ１、ｐＳｘ２に接続され、ソースが列信号線２３１に接続され、出力トランジスタＴｓｏ１、Ｔｓｏ２の出力を対応する画素の出力信号として、列信号線２３１に出力する。列信号線２３１毎に設けられている負荷回路の負荷トランジスタＴｓｌｄは、ソースが接地され、ゲートが負荷制御線ｐＳｌｄに接続され、ドレインが列信号線２３１に接続されている。そして、負荷トランジスタＴｓｌｄは、列信号線２３１に接続されている列の出力トランジスタＴｓｏ１、Ｔｓｏ２とともに出力アンプとなるソースフォロア回路を構成している。負荷制御線ｐＳｌｄは、タイミング部２０６に接続され、蓄積制御線２２１の制御に同期して負荷回路を制御する。通常、ＳＨ回路に保持される画素信号を出力する時は、負荷制御線ｐＳｌｄの制御により、負荷トランジスタＴｓｌｄを定電流源として動作させる。
【００２７】
駆動トランジスタＴｄｒｖ、出力トランジスタＴｓｏ１、Ｔｓｏ２、及び、負荷トランジスタＴｐｌｄ、Ｔｓｌｄ以外のトランジスタは、スイッチとして働き、ゲートに接続されている制御線がハイレベルの時に導通（オン）し、ローレベルの時に遮断（オフ）する。ここで、本実施形態においては、第２の半導体基板２１の蓄積容量Ｃｓｔ１、Ｃｓｔ２が、第１の半導体基板２０のＦＤ容量Ｃｆｄよりも大きくなるように設定されていることが望ましい。第１の半導体基板２０のＦＤ容量Ｃｆｄは、画素の光電変換素子Ｄ１，Ｄ２から転送されてくる信号電荷を電圧に変換するため、Ｑ＝ＣＶの電荷電圧の関係に当てはめると、容量Ｃが小さい方が電荷電圧変換係数が大きくなることになる。そのため、半導体を基にしたセンサにおいては、特別なコンデンサ構造をとらずにＰＮ接合の接合容量を採用することが一般的であり、寄生容量を極力排除して、ＦＤ容量Ｃｆｄを小さく設定している。しかし、ＦＤ容量ＣｆｄにＰＮ接合の接合容量を採用した場合、温度依存性のある暗電流やＰＮ接合間のリーク電流によるノイズが発生しやすくなるという課題を伴うため、画素の電荷をＦＤ容量Ｃｆｄを用いて検出する場合には、極力短い時間で行う必要がある。本実施形態では、ＦＤ容量Ｃｆｄを小さく設定する代わりに、第２の半導体基板２１のクランプ容量Ｃｃｌｐの充放電を高速に実施するため、画素内アンプとなるソースフォロア回路を用いて電流増幅することで、電荷を供給する電流を大きくとることができる。第１の半導体基板２０とは別に第２の半導体基板２１を備えるので、例えば、ＭＩＭ（Metal Insulator Metal）構造やＭＯＳ（Metal Oxide Semiconductor）構造の大容量の蓄積容量を採用する余地が十分にある。ＭＩＭ容量やＭＯＳ容量では、暗電流やリーク電流が少ないという特徴があるのに加えて、大容量であれば、コンデンサに蓄えられる電荷Ｑにノイズとしての変動があった場合でも、Ｑ＝ＣＶの式でわかるように、信号電圧に対する影響が少なくて済むことになる。
【００２８】
図６（ａ）及び（ｂ）は、本実施形態に係る第１の半導体基板２０の画素セル１００の構成例を示す図である。図６（ａ）は、画素セル１００を２×２に配列した平面図を示し、図６（ｂ）は、図６（ａ）のｘ−ｘ’の断面図を示す。本実施形態においては、画素セル１００は、２個の画素４０１及び４０２を有する。第１の画素４０１及び第２の画素４０２は、それぞれ、光電変換により画素信号を生成する光電変換素子Ｄ１、Ｄ２のＰＮ接合のＮ側に対応し、基板がＰ側に対応する。領域４１１は、配線層側のマイクロパッド２２の位置を破線で示したものであり、同時に配線層側のこの位置に、不図示の転送トランジスタＴｐｘ１、Ｔｐｘ２やＦＤ容量Ｃｆｄ等の画素セル１００内の回路が設けられている。同様に、リセットトランジスタＴｐｒｓ、駆動トランジスタＴｄｒｖ、画素セル１００内の負荷トランジスタＴｐｌｄも、この位置に設けてもよい。２個の光電変換素子Ｄ１、Ｄ２が、水平に配置されているため、画素セル１００内の回路は、それらの中心に配置されている。マイクロレンズ４２１は、画素４０１，４０２毎に設けられている集光のためのマイクロレンズである。
【００２９】
図６（ｂ）の断面図においては、配線４１２が、画素制御線１２１につながる画素セル１００内の配線を代表して示している。水平１行の画素セル１００に共通して接続される画素制御線１２１は、上下の光電変換素子Ｄ１，Ｄ２間に配線されるため図示していない。色フィルタ４２２は、画素４０１，４０２毎に設けられ、光電変換素子Ｄ１、Ｄ２のそれぞれを均等に覆い、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の１つが配置されている。例えば、光電変換素子Ｄ１，Ｄ２の２×２配列に対して、１行目をＲフィルタとＧフィルタの繰り返しとし、２行目をＧフィルタとＢフィルタの繰り返しにすることで、カラー画像の撮影が可能となっている。そして、領域４１１で示す画素セル１００のマイクロパッド２２と蓄積セルのマイクロパッド２３が、マイクロバンプ２４を介して接続される。
【００３０】
図７は、本実施形態に係る第２の半導体基板２１の列信号処理部２０３の構成例を示す図である。本実施形態において、第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂは、同じ回路構成と動作となっているので、列信号処理部２０３として説明する。水平走査部２０４、出力部２０５、列選択線２４１、出力線２５１、制御線２７１、２８１についても同様の表現を用いるものとする。列信号処理部２０３は、サンプルホールド回路５１１、比較器５２１、カウンタ回路５３１、ラッチ回路５４１及びメモリ回路５５１を備えている。サンプルホールド回路５１１は、信号選択制御線ｐＳ１に接続され、信号選択制御線ｐＳ１を介したタイミング部２０６からの制御により、列信号線２３１から受け取った画素信号を保持して出力する。比較器５２１は、２つの入力がサンプルホールド回路５１１の出力とランプ波信号線Ｖｒｍｐ１に接続され、比較結果を出力する比較器である。ランプ波信号線Ｖｒｍｐ１のランプ波信号は、時間とともにレベルが増加する信号である。例えば、入力される２つの信号の大小関係が逆転した時に、比較器５２１は、ハイレベルからローレベルに出力信号が変化することで、比較結果を出力する。カウンタ回路５３１は、カウンタ制御線ｐＣＮＴ１に接続され、カウンタ制御線ｐＣＮＴ１から供給されるクロックを基にカウンタを動作させるとともに、比較器５２１からの比較結果の信号を受けて、その時のカウント値を出力する。この時のカウント値が、列信号線２３１を介して受け取った画素信号をデジタル化した信号となっている。ラッチ回路５４１は、ラッチ制御線ｐＬＴＣ１に接続され、カウンタ回路５３１が出力するカウント値を一時的に保持するとともに、ラッチ制御線ｐＬＴＣ１を介した制御により保持しているカウント値を出力する。メモリ回路５５１は、メモリ制御線ｐＭＥＭ１に接続され、メモリ制御線ｐＭＥＭ１を介した制御によりラッチ回路５４１が出力するカウント値を画素のデジタル信号として記憶する。また、メモリ回路５５１は、対応するメモリ選択線ｐＨ１を介した制御により、記憶している画素のデジタル信号を、デジタル出力線ＤＳｉｇ１に出力する。このように、列信号処理部２０３において、比較器５２１、カウンタ回路５３１、ラッチ回路５４１及びランプ波信号線Ｖｒｍｐ１は、アナログデジタル変換回路を構成している。ここで、タイミング部２０６からの制御線２７１は、信号選択制御線ｐＳ１、ランプ波信号線Ｖｒｍｐ１、カウンタ制御線ｐＣＮＴ１、ラッチ制御線ｐＬＴＣ１及びメモリ制御線ｐＭＥＭ１をまとめて示す。水平走査部２０４からの列選択線２４１は、メモリ選択線ｐＨ１を示す。出力部２０５に接続する出力線２５１は、デジタル出力線ＤＳｉｇ１を示す。
【００３１】
図８（ａ）及び（ｂ）は、本実施形態に係る撮像素子１２の基本動作のタイミングを示す図である。本実施形態では、第１の半導体基板２０の画素領域１０１に配列された画素セル１００内の画素を第１の画素（奇数列画素）４０１と第２の画素（偶数列画素）４０２に分けて制御する。そして、画素領域１０１のすべてにおいて、２つに分けられた画素それぞれは同時に読み出され、かつ、２つに分けられた画素を読み出し時間差を設けて２回に分けて対応する第１のＳＨ回路と第２のＳＨ回路に転送する場合を例にして説明する。そして、第２の半導体基板２１の蓄積領域２０１からは、１行分の画素セル１００に対応する蓄積セル２００の第１の画素４０１と第２の画素４０２に対応する第１のＳＨ回路と第２のＳＨ回路に保持する信号を順番に出力する場合を例にして説明する。さらに、第１の半導体基板２０と第２の半導体基板２１を組み合わせて積層した構成の撮像素子１２の動作条件について説明する。ここで、例えば、第１の画素セル（Ｐ１１）とそれに対応する第１の蓄積セル（Ｓ１１）を合わせて第１の画素部と呼ぶことにする。
【００３２】
まず、図８（ａ）の時刻ｔ１１では、第１の画素リセット動作として、第１の画素４０１は、リセットされ、露光を開始する。リセットする第１の画素４０１は、画素領域１０１に配列されたすべての画素セル１００の光電変換素子Ｄ１のことである。リセットトランジスタＴｐｒｓと転送トランジスタＴｐｘ１を同時にオンすることで、画素電源電圧Ｖｐｄｄを用いて第１の画素４０１の電荷をリセットする。そして、転送トランジスタＴｐｘ１をオフすることで、第１の画素４０１の露光時間（ＥｘＤ１）が開始される。この時、リセットトランジスタＴｐｒｓはオンのままでもよい。
【００３３】
次に、時刻ｔ１２では、第２の画素リセット動作として、第２の画素４０２は、リセットされ、露光を開始する。リセットする第２の画素４０２は、画素領域１０１に配列されたすべての画素セル１００の光電変換素子Ｄ２のことである。リセットトランジスタＴｐｒｓと転送トランジスタＴｐｘ２を同時にオンすることで、画素電源電圧Ｖｐｄｄを用いて第２の画素４０２の電荷をリセットする。そして、転送トランジスタＴｐｘ２をオフすることで、第２の画素４０２の露光時間（ＥｘＤ２）が開始される。この時、リセットトランジスタＴｐｒｓはオンのままでもよい。このように、図８（ａ）においては、第１の画素４０１と第２の画素４０２が、時刻ｔ１１〜ｔ１２の時間差を持って露光が開始されることになる。
【００３４】
時刻ｔ２１では、第１の読み出し転送動作（Ｔｆ１）として、第１の画素４０１の読み出しを開始し、設定された露光時間（ＥｘＤ１）を終了させる。第１の読み出し転送動作（Ｔｆ１）では、画素の電荷の読み出し開始に先だって、すべての画素部に対して、第１のＮ読み動作を実施する。Ｎ読み動作は、画素部の回路の各種バラツキによるノイズ成分をキャンセルするための予備動作のことである。まず、すべての転送トランジスタＴｐｘ１、Ｔｐｘ２をオフのままで、リセットトランジスタＴｐｒｓをオンし、その後オフすることで、画素電源電圧Ｖｐｄｄを用いてＦＤノード３０１の電位をリセットする。この時、画素リセット動作時に、リセットトランジスタＴｐｒｓがオンのままの場合は、オフするだけになる。負荷トランジスタＴｐｌｄを定電流動作させることで、画素セル１００のソースフォロア回路が有効になる。これにより、ＦＤノード３０１のリセット電位に対応した電圧が、マイクロパッド２２、２３及びマイクロバンプ２４から構成される画素接続部から、対応する蓄積セル２００に出力される。同時に、第１の蓄積リセット動作として、第１のＳＨ回路をリセットする。リセットする第１のＳＨ回路は、蓄積領域２０１に配列されたすべての蓄積セル２００の蓄積容量Ｃｓｔ１のことである。リセットトランジスタＴｓｒｓとＳＨトランジスタＴｓｈ１を同時にオンすることで、蓄積電源電圧Ｖｄｄｓを用いて第１のＳＨ回路の電圧をリセットする。この時、リセットトランジスタＴｓｒｓはあらかじめオンにしておいてもよい。そして、リセットトランジスタＴｓｒｓをオフすることで、共通入力ノード３０２及び蓄積ノード３１１がリセットされる。これにより、蓄積セル２００のクランプ容量Ｃｃｌｐの画素側が、画素セル１００のソースフォロア回路の出力であるＦＤノード３０１のリセット電位に対応した電圧に固定される。そして、クランプ容量ＣｃｌｐのＳＨ回路側が、共通入力ノード３０２のリセット電位に固定される。この時、蓄積ノード３１１のリセット電位が、蓄積容量Ｃｓｔ１が保持するクランプ動作の基準電位となる。ここまでが、第１のＮ読み動作となる。
【００３５】
続いて、第１のＳ読み動作を実施する。Ｓ読み動作は、画素の信号電荷の読み出しから、ＳＨ回路への画素信号の転送までの動作のことである。第１の画素部のＮ読み動作が終了した状態で、設定された露光時間（ＥｘＤ１）経過後に、すべての画素セル１００の転送トランジスタＴｐｘ１を同時にオンすることで、光電変換素子Ｄ１の電荷をＦＤ容量Ｃｆｄに転送する。すると、ＦＤノード３０１の電位が、リセット電位から、信号電荷に対してＱ＝ＣＶとなる信号電圧だけ変化するので、画素セル１００のソースフォロア回路の出力も画素の信号電圧に対応した電圧だけ変化する。そして、電荷の転送終了後に転送トランジスタＴｐｘ１をオフする。こうして、画素の信号電圧に対応した電圧変化は、画素接続部を介して、対応する蓄積セル２００のクランプ容量Ｃｃｌｐの画素側に伝達されるため、容量結合により、共通入力ノード３０２の電位も同じ電圧だけ変化する。そして、蓄積ノード３１１の電位変化として転送され、ＳＨトランジスタＴｓｈ１をオフすることで、その信号電圧が蓄積セル２００の蓄積容量Ｃｓｔ１に保持される。同時に、負荷トランジスタＴｐｌｄの動作も停止させる。これにより、蓄積ノード３１１の電位が、常に基準電位となるリセット電位から画素の信号電圧だけ変化するので、クランプ動作を実現していることがわかる。ここまでが、第１のＳ読み動作となる。
【００３６】
ここで、ＳＨトランジスタＴｓｈ１がオフしているため、蓄積容量Ｃｓｔ１に保持されている画素信号は、それ以前の回路から電気的に隔離されることになる。そのため、画素セル１００のリセットトランジスタＴｐｒｓ及び蓄積セル２００のリセットトランジスタＴｓｒｓをオンすることで、ＦＤノード３０１の電位及び共通入力ノード３０２の電位をリセットしておいてもよい。以上で、時刻ｔ２１に開始した第１の読み出し転送動作（Ｔｆ１）が終了する。第１の読み出し転送動作（Ｔｆ１）は第１の転送期間である。
【００３７】
次に、時刻ｔ２２では、第２の読み出し転送動作（Ｔｆ２）として、第２の画素４０２の読み出しを開始し、設定された露光時間（ＥｘＤ２）を終了させる。第２の読み出し転送動作（Ｔｆ２）は、第２の画素４０２に対して、第１の読み出し転送動作と同様な動作を実施するため、詳細な説明は省略する。第２の読み出し転送動作である第２のＮ読み動作、第２のＳ読み動作を実施する。第２のＳ読み動作では、転送トランジスタＴｐｘ２は、光電変換素子Ｄ２の電界をＦＤ容量Ｃｆｄに転送する。これにより、第２の画素４０２である光電変換素子Ｄ２の信号電荷に対応する信号電圧に対してクランプ動作を実施して、第２のＳＨ回路の蓄積セルの蓄積容量Ｃｓｔ２に保持することができる。以上で、時刻ｔ２２に開始した第２の読み出し転送動作（Ｔｆ２）が終了する。第２の読み出し転送動作（Ｔｆ２）は第２の転送期間である。
【００３８】
これにより、第１の画素４０１のすべての信号が、同時に第１のＳＨ回路に転送され、第２の画素４０２のすべての信号が、同時に第２のＳＨ回路に転送されたことになる。この時、第１の画素４０１と第２の画素４０２は、画素セル１００の出力となるソースフォロア回路を共有し、第１のＳＨ回路と第２のＳＨ回路は、蓄積セル２００の入力となるクランプ容量Ｃｃｌｐを共有する。そのため、第１の読み出し転送動作（Ｔｆ１）と第２の読み出し転送動作（Ｔｆ２）は、異なる時間に実施されなければならないため、時刻ｔ２１〜ｔ２２の時間差を設けている。このため、露光開始の時間差ｔ１１〜ｔ１２を、第１の画素４０１の信号と第２の画素４０２の信号を蓄積セル２００に転送する時の時間差ｔ２１〜ｔ２２と等しくすることで、露光時間（ＥｘＤ１、ＥｘＤ２）が相互に同じ長さになるように制御している。ここで、本実施形態の第１の動作条件として、「第１の読み出し転送動作（Ｔｆ１）と第２の読み出し転送動作（Ｔｆ２）が重ならないこと」を満たす必要があることがわかる。
【００３９】
次に、第２の半導体基板２１の蓄積領域２０１から、１行分の画素セル１００に対応する蓄積セル２００の第１のＳＨ回路と第２のＳＨ回路に保持される信号を順番に出力する場合について説明する。まず、時刻ｔ４１では、蓄積セルＳ１１を含む１行目の蓄積セル２００に対して、第１の蓄積読み出し動作（Ｒｄ１）として、第１のＳＨ回路に保持する画素信号の読み出しを開始する。選択トランジスタＴｓｘ１をオンするとともに、負荷トランジスタＴｓｌｄを定電流動作させることで、蓄積セル２００のソースフォロア回路が有効になり、蓄積ノード３１１の電位に対応した信号電圧が、画素信号として、列信号線２３１に読み出される。第１の蓄積読み出し動作（Ｒｄ１）では、列信号線２３１に出力された１行目の第１の画素４０１の信号は、それぞれ対応する１行分の第１列信号処理部２０３ａに入力される。そして、その信号は、信号選択制御線ｐＳ１の制御により第１列信号処理部２０３ａのサンプルホールド回路５１１に保持される。その後、出力トランジスタＴｓｏ１をオフすることで、第１のＳＨ回路と列信号線２３１を電気的に切り離す。ここで、１行目の第１の画素４０１の信号は、第１列信号処理部２０３ａのサンプルホールド回路５１１に保持されている。そのため、リセットトランジスタＴｓｒｓとＳＨトランジスタＴｓｈ１を同時にオンすることで、蓄積ノード３１１の電位をリセットしておいてもよい。以上で、時刻ｔ４１に開始された第１の蓄積読み出し動作（Ｒｄ１）が終了する。第１の蓄積読み出し動作（Ｒｄ１）は第１の読み出し期間である。
【００４０】
続いて、時刻ｔ４２では、蓄積セルＳ１１を含む１行目の蓄積セル２００に対して、第２の蓄積読み出し動作（Ｒｄ２）として、第２のＳＨ回路に保持される画素信号の読み出しを開始する。第２の蓄積読み出し動作（Ｒｄ２）は、第２のＳＨ回路に対して、第１の蓄積読み出し動作と同様な動作を実施するため、詳細な説明は省略する。そして、第２の蓄積読み出し動作（Ｒｄ２）においては、列信号線２３１に出力された１行目の第２の画素４０２の信号は、それぞれ対応する１行分の第２列信号処理部２０３ｂに入力さる。そして、その信号は、信号選択制御線ｐＳ１の制御により第２列信号処理部２０３ｂのサンプルホールド回路５１１に保持される。以上で、時刻ｔ４２に開始された第２の蓄積読み出し動作（Ｒｄ２）が終了する。第２の蓄積読み出し動作（Ｒｄ２）は第２の読み出し期間である。
【００４１】
これにより、１行目の画素セル１００の第１の画素４０１のすべての信号が、同時に第１列信号処理部２０３ａのサンプルホールド回路５１１に保持される。そして、１行目の画素セル１００の第２の画素４０２のすべての信号が、同時に第２列信号処理部２０３ｂのサンプルホールド回路５１１に保持される。この時、第１のＳＨ回路と第２のＳＨ回路は、列信号線２３１を共有しているので、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）は、異なる時間に実施されなければならないため、時刻ｔ４１〜ｔ４２の時間差を設けている。ここで、本実施形態の第２の動作条件として、「第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）が重ならないこと」を満たす必要があることがわかる。
【００４２】
第１の蓄積読み出し動作（Ｒｄ１）が終了した時刻ｔ４２以降では、第１列信号処理部２０３ａのサンプルホールド回路５１１が保持している１行目の第１の画素４０１の信号に対して、第１の信号処理動作（ＡＤ１）となるアナログデジタル変換を実施する。第１列信号処理部２０３ａの比較器５２１には、サンプルホールド回路５１１の出力として、１行目の第１の画素４０１の信号が入力されている。そして、タイミング部２０６がランプ波信号線Ｖｒｍｐ１にランプ波を出力している。比較器５２１は、すでに入力されている第１の画素４０１の信号とランプ波とを比較する。さらに、ランプ波Ｖｒｍｐ１の出力と同時に、カウンタ制御線ｐＣＮＴ１を介したタイミング部２０６の制御により、カウンタ回路５３１がカウントを開始する。すると、ランプ波Ｖｒｍｐ１の出力が終了するまでのどこかで、ランプ波Ｖｒｍｐ１と比較器５２１に入力される画素信号が一致する。ランプ波Ｖｒｍｐ１と比較器５２１に入力される画素信号が一致した時点で、比較器５２１は、比較結果信号をカウンタ回路５３１に出力する。比較結果信号を受けたカウンタ回路５３１は、その時点でのカウント値とラッチ信号をラッチ回路５４１に出力する。ラッチ信号を受けたラッチ回路５４１は、その時点でのカウント値を一時的に保持する。次に、ランプ波Ｖｒｍｐ１出力の終了にともなって、メモリ制御線ｐＭＥＭ１を介したタイミング部２０６の制御により、メモリ回路５５１を記憶可能状態にする。そして、ラッチ制御線ｐＬＴＣ１を介したタイミング部２０６の制御により、ラッチ回路５４１が保持するカウント値をメモリ回路５５１に転送して、１行目の第１の画素４０１のデジタル信号として記憶する。以上で、時刻ｔ４２に開始された第１の信号処理動作（ＡＤ１）が終了する。第１の信号処理動作（ＡＤ１）は、第１の信号処理期間であり、第２の蓄積読み出し動作（ＲＤ２）の全部又は一部と重なる。
【００４３】
続いて、時刻ｔ６１では、第１列信号処理部２０３ａのメモリ回路５５１に記憶された１行目の第１の画素４０１のデジタル信号を出力する第１の水平出力動作（Ｄｏ１）を開始する。制御線２８１ａを介したタイミング部２０６の制御により、第１水平走査部２０４ａが、第１列選択線２４１ａであるメモリ選択線ｐＨ１を介して、それぞれ接続される第１列信号処理部２０３ａを所定の順番に選択する。１行目の第１の画素４０１の水平出力動作では、メモリ選択線ｐＨ１が、それぞれ対応するメモリ回路５５１を選択する。そして、選択されたメモリ回路５５１が記憶している第１の画素４０１のデジタル信号を、第１出力線２５１ａであるデジタル出力線ＤＳｉｇ１に所定の順番で出力する。このようにして、所定の順番で選択された１行分の第１列信号処理部２０３ａから、１行目の第１の画素４０１のデジタル信号が出力され、デジタル出力線ＤＳｉｇ１を介して第１出力部２０５ａから出力され、１行目の第１の画素４０１の信号の出力が完了する。以上で、時刻ｔ６１に開始された第１の水平出力動作（Ｄｏ１）が、時刻ｔ７１において終了する。第１の水平出力動作（Ｄｏ１）は、第１の出力期間であり、第２の信号処理動作（ＡＤ２）の全部又は一部と重なる。ここまでが、１行目の第１の画素４０１の信号に対する第１列信号処理部２０３ａの動作となる。
【００４４】
同様に、第２の蓄積読み出し動作（Ｒｄ２）が終了した時刻ｔ６１以降では、第２列信号処理部２０３ｂのサンプルホールド回路５１１が保持している１行目の第２の画素４０２の信号に対して、第２の信号処理動作（ＡＤ２）のアナログデジタル変換を実施する。第２の信号処理動作（ＡＤ２）は、第２の画素４０２に対して、第２列信号処理部２０３ｂを用いて第１の信号処理動作と同様な動作を実施するため、詳細な説明は省略する。そして、ランプ波と比較器５２１及びカウンタ回路５３１とを用いて、１行目の第２の画素４０２の信号をアナログデジタル変換して、第２列信号処理部２０３ｂのメモリ回路５５１に、１行目の第２の画素４０２のデジタル信号として記憶する。以上で、時刻ｔ６１に開始された第２の信号処理動作（ＡＤ２）が終了する。第２の信号処理動作（ＡＤ２）は第２の信号処理期間である。
【００４５】
続いて、時刻ｔ６２では、第２列信号処理部２０３ｂのメモリ回路５５１に記憶された１行目の第２の画素４０２のデジタル信号を出力する第２の水平出力動作（Ｄｏ２）を開始する。第２の水平出力動作（Ｄｏ２）は、第２の出力期間であり、第２の画素４０２に対して、第２列信号処理部２０３ｂを用いて第１の水平出力動作と同様な動作を実施するため、詳細な説明は省略する。そして、メモリ回路５５１が記憶している第２の画素４０２のデジタル信号を、第２出力線２５１ｂであるデジタル出力線ＤＳｉｇ１に所定の順番で出力する。このようにして、所定の順番で選択された１行分の第２列信号処理部２０３ｂから、１行目の第２の画素４０２のデジタル信号が出力され、デジタル出力線ＤＳｉｇ１を介して第２出力部２０５ｂから出力され、１行目の第２の画素４０２の信号の出力が完了する。以上で、時刻ｔ６２に開始された第２の水平出力動作（Ｄｏ２）が、時刻ｔ７２において終了する。ここまでが、１行目の第２の画素４０２の信号に対する第２列信号処理部２０３ｂの動作となる。
【００４６】
これにより、１行目の第１の画素４０１のすべての信号及び１行目の第２の画素４０２のすべての信号、すなわち、画素領域１０１に配列された１行目のすべて画素信号が、撮像素子１２から出力されたことになる。この時、本実施形態では、第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂは、同じ回路構成で、同じ動作をするものとして説明しているので、動作時間も同じとなる。そこで、第１の蓄積読み出し動作期間（Ｒｄ１）と第２の蓄積読み出し動作期間（Ｒｄ２）は等しくなるように制御されている。第１の信号処理動作期間（ＡＤ１）と第２の信号処理動作期間（ＡＤ２）は等しくなるように制御されている。第１の水平出力動作期間（Ｄｏ１）と第２の水平出力動作期間（Ｄｏ２）は等しくなるように制御されている。このため、第１の水平出力動作期間（Ｄｏ１）と第２の水平出力動作期間（Ｄｏ２）の終了時間差ｔ７１〜ｔ７２は、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差ｔ４１〜ｔ４２に等しくなることになる。
【００４７】
次に、図８（ｂ）を用いて、画素領域１０１に配列された画素の信号を、蓄積領域２０１のＳＨ回路を経由して１行毎に撮像素子１２から出力する動作について説明する。まず、図８（ｂ）においては、時刻ｔ１１〜ｔ４５までの動作と時刻ｔ１２〜ｔ４６までの動作は、それぞれ図８（ａ）の時刻ｔ１１〜ｔ７１までの動作と時刻ｔ１２〜ｔ７１までの動作と同じ動作となっている。図８（ａ）を用いて説明したように、ここまでにおいて、画素領域１０１に配列された１行目の画素信号が、第１の画素４０１の信号及び第２の画素４０２の信号として、それぞれ第１出力部２０５ａ及び第２出力部２０５ｂを介して撮像素子１２から出力されている。続いて、時刻ｔ４５以降で、２行目の第１の画素４０１の第１の蓄積読み出し動作（Ｒｄ１）、第１の信号処理動作（ＡＤ１）及び第１の水平出力動作（Ｄｏ１）が実施される。そして、時刻ｔ４６以降で、２行目の第２の画素４０２の第２の蓄積読み出し動作（Ｒｄ２）、第２の信号処理動作（ＡＤ２）及び第２の水平出力動作（Ｄｏ２）が実施される。この時、図８（ａ）で説明したように、１行目の第１の画素４０１の信号及び第２の画素４０２の信号の出力において、以下のようになる。すなわち、第１の水平出力動作期間（Ｄｏ１）と第２の水平出力動作期間（Ｄｏ２）の終了時間差ｔ７１〜ｔ７２は、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差ｔ４１〜ｔ４２に等しくなる。そこで、２行目の第１の画素４０１の信号及び第２の画素４０２の信号それぞれに対する出力において、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差はｔ４５〜ｔ４６である。そして、１行目の第１の画素４０１の信号及び第２の画素４０２の信号それぞれの第１の水平出力動作期間（Ｄｏ１）と第２の水平出力動作期間（Ｄｏ２）の終了時間差はｔ７１〜ｔ７２である。開始時間差ｔ４５〜ｔ４６は、終了時間差ｔ７１〜ｔ７２に等しくなるように制御することができる。そのため、２行目の第１の画素４０１の信号及び第２の画素４０２の信号は、それぞれ１行目の第１の画素４０１の信号及び第２の画素４０２の信号に対する出力動作に連続して、出力していることがわかる。
【００４８】
そして、時刻ｔ４９以降においても、３行目以降の第１の画素４０１の信号及び第２の画素４０２の信号のそれぞれの出力動作を同じ時間差を持って連続して実施する。これにより、画素領域１０１に配列された画素の信号を、第１の画素４０１の信号及び第２の画素４０２の信号として、それぞれ出力動作を時間差持った重ね読みにより、第１出力部２０５ａ及び第２出力部２０５ｂを介して撮像素子１２から出力できる。そして、出力部２０５ａ、２０５ｂから同時並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。ここで、連続出力動作のための動作条件を説明する。本実施形態の第３の動作条件として、「第１の水平出力動作（Ｄｏ１）と第２の水平出力動作（Ｄｏ２）の終了時間差は、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差に等しいこと」を満たす必要があることがわかる。
【００４９】
さらに、第１の画素４０１の信号及び第２の画素４０２の信号のそれぞれの出力動作について説明する。まず、本実施形態で定義した第１の動作条件「第１の読み出し転送動作（Ｔｆ１）と第２の読み出し転送動作（Ｔｆ２）が重ならないこと」を基に、露光開始の時間差ｔ１１〜ｔ１２を、画素の信号を蓄積セルに転送する時の時間差ｔ２１〜ｔ２２と等しくする。これにより、露光時間（ＥｘＤ１、ＥｘＤ２）が等しくなるように制御しているので、画素の露光状態は、第１の画素４０１の信号及び第２の画素４０２ともに同じとなる。
【００５０】
次に、本実施形態で定義した第２の動作条件「第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）が重ならないこと」を基に、第１のＳＨ回路と第２のＳＨ回路における画素信号の蓄積状態について考える。図８（ｂ）を用いて説明したように、蓄積領域２０１の蓄積セル２００に保持されている画素の信号は、１行目から順番に第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）を繰り返しながら撮像素子１２から出力される。そのため、各行における第１の画素４０１の信号及び第２の画素４０２の信号の出力動作時における蓄積状態の差はないことになる。そこで、蓄積状態の差が発生する期間としては、ＳＨ回路への画素信号の転送から蓄積中を経て読み出し開始するまでの、読み出し転送動作の開始から蓄積読み出し動作の開始までがあげられる。ただし、読み出し転送動作は、時間差があるものの第１の画素４０１の信号及び第２の画素４０２の信号に対しては同じ動作を実施している。そのため、蓄積状態の差は、時刻ｔ２２〜ｔ４１までの第１のＳＨ回路における蓄積時間と、時刻ｔ４１〜ｔ４２までの第２のＳＨ回路における蓄積時間とに関わっている。第１のＳＨ回路の蓄積時間と第２のＳＨ回路の蓄積時間に差があると、蓄積容量Ｃｓｔ１，Ｃｓｔ２やその周りのＳＨトランジスタＴｓｈ１，Ｔｓｈ２、出力トランジスタＴｓｏ１，Ｔｓｏ２で発生する暗電流やリーク電流の影響に違いが発生することになる。この時、時刻ｔ２２〜ｔ４１までの第１のＳＨ回路における蓄積時間は、第２の読み出し転送動作期間（Ｔｆ２）に等しく、時刻ｔ４１〜ｔ４２までの第２のＳＨ回路における蓄積時間は、第１の蓄積読み出し動作期間（Ｒｄ１）に等しくなっている。これにより、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作における蓄積時間を等しくして蓄積状態の差を解消するための動作条件は、以下のようになる。本実施形態の第４の動作条件として、「第１の読み出し転送動作（Ｔｆ１）と第２の読み出し転送動作（Ｔｆ２）の終了時間差は、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差に等しいこと」を満たす必要があることがわかる。
【００５１】
これに対して、画素の信号を、蓄積領域２０１のＳＨ回路を経由して１行毎に撮像素子１２から出力する動作の場合は、１行目の画素の信号の出力動作中では、その他の行の画素の信号は、ＳＨ回路に保持されたままとなっている。そのため、暗電流やリーク電流の影響を受ける。そして、例えば、１行目の第１の画素４０１の信号を出力している時刻ｔ４１〜ｔ４５までに発生した暗電流やリーク電流は、２行目の第１の画素４０１の信号の出力に影響する。そして、１行目及び２行目の第１の画素４０１の信号を出力している時刻ｔ４１〜ｔ４９までに発生した暗電流やリーク電流が、３行目の第１の画素４０１の信号の出力に影響する。このように、１行毎に暗電流やリーク電流が増加しながら影響する。この時、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態に差があった場合は、撮像画像全体に２列毎の縦筋として見える。そして、１行毎の暗電流やリーク電流の増加は、画像の上から下への行数に比例したシェーディングとなって表れる。第１の画素４０１及び第２の画素４０２の露光動作時における露光状態の差、及び、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態の差については、上述した本実施形態の動作条件を実施することで解消することができる。
【００５２】
しかしながら、１行毎に撮像素子１２から出力する時の蓄積領域２０１のＳＨ回路における蓄積動作にともなう暗電流やリーク電流は、上述した本実施形態の動作条件だけでは解消できない。そこで、あらかじめ、遮光状態での画像取得を行い、暗時画像として信号処理部１３に保存しておき、被写体の撮像画像の取得に合わせて、信号処理部１３において、暗時画像を減算することで暗電流やリーク電流の補正を実施すればよい。あるいは、第１の読み出し転送動作の開始から第１の蓄積読み出し動作の開始までとなる時刻ｔ２１〜４１までに発生する暗電流やリーク電流をＤｒｋＡとする。そして、１行目の第１の画素４０１の信号を出力している時刻ｔ４１〜ｔ４６までの１行分で発生する暗電流やリーク電流をＤｒｋＢとする。その場合、ｎ行目の暗電流やリーク電流Ｄｒｋ（ｎ）は、ＤｒｋＡ＋（ｎ−１）×ＤｒｋＢと表すことができる。そこで、あらかじめ暗時画像の１行目のＤｒｋ（１）＝ＤｒｋＡと２行目のＤｒｋ（２）＝ＤｒｋＡ＋ＤｒｋＢを測定し、ＤｒｋＡとＤｒｋＢを求めておくだけで、撮像画像全体の暗電流やリーク電流の補正を実施することもできる。さらに、１行毎の暗電流に対する上記補正方法を実施することで、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時の暗電流やリーク電流の補正も同時に実施することになる。そのため、本実施形態の動作条件だけでは残ってしまう暗電流やリーク電流についても解消することが可能となる。
【００５３】
図９（ａ）〜（ｆ）は、本実施形態に係る撮像素子１２の動作タイミングを示す図である。図９（ａ）〜（ｆ）においては、第１の半導体基板２０と第２の半導体基板２１を組み合わせて積層した構成の撮像素子１２の動作条件についての詳細を説明する。ここで、図９（ａ）は、図９（ｂ）〜（ｆ）と比較しやすいように、図８（ａ）の基本動作タイミングをそのまま示す。また、本実施形態においては、時刻ｔ１１、ｔ１２が、それぞれ第１の画素リセット動作、第２の画素リセット動作の開始を示し、時刻ｔ２１、ｔ２２が、それぞれ第１の読み出し転送動作（Ｔｆ１）、第２の読み出し転送動作（Ｔｆ２）の開始を示す。そして、時刻ｔ４１、ｔ４２が、それぞれ第１の蓄積読み出し動作（Ｒｄ１）、第２の蓄積読み出し動作（Ｒｄ２）の開始を示し、時刻ｔ６１、ｔ６２が、それぞれ第１の水平出力動作（Ｄｏ１）、第２の水平出力動作（Ｄｏ２）の開始を示す。そして、時刻ｔ７１、ｔ７２が、それぞれ第１の水平出力動作（Ｄｏ１）、第２の水平出力動作（Ｄｏ２）の終了を示す。さらに、必要に応じて、時刻ｔ３１、ｔ３２が、それぞれ第１の読み出し転送動作（Ｔｆ１）、第２の読み出し転送動作（Ｔｆ２）の終了を示す。そして、時刻ｔ５１、ｔ５２が、それぞれ第１の蓄積読み出し動作（Ｒｄ１）、第２の蓄積読み出し動作（Ｒｄ２）の終了と同時に、第１の信号処理動作（ＡＤ１）、第２の信号処理動作（ＡＤ２）の開始を示す。そして、各動作のタイミングが重なった場合には、適宜どれかを選択して表示することにする。
【００５４】
図９（ｂ）は、図９（ａ）と比較して、読み出し転送動作期間（Ｔｆ１、Ｔｆ２）が、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２）より長い場合の動作タイミングである。図９（ｂ）においては、蓄積読み出し動作（Ｒｄ１、Ｒｄ２）の開始が、図９（ａ）と同様の場合においても、本実施形態の動作条件の内、第１、第２及び第３の動作条件は満たしている。しかしながら、第４の動作条件を満たさなくなる。そこで、時刻ｔ２２〜ｔ４１までの期間と時刻ｔ４１〜ｔ４２までの期間が等しくなるように、第１の蓄積読み出し動作（Ｒｄ１）の終了から第２の蓄積読み出し動作（Ｒｄ２）の開始までに、時刻ｔ５１〜ｔ４２までの調整時間を追加している。これにより、第４の動作条件「第１の読み出し転送動作（Ｔｆ１）と第２の読み出し転送（Ｔｆ２）の終了時間差は、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差に等しいこと」を満たすことになる。同時に、時刻ｔ４１〜ｔ４２までの期間と時刻ｔ７１〜ｔ７２までの期間が等しくなるので、第３の動作条件を満たすことは明らかである。このように、読み出し転送動作期間（Ｔｆ１、Ｔｆ２）が、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２）より長い場合がある。その場合、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）を連続させて最適化するのではなく、調整時間を挿入することで、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【００５５】
図９（ｃ）は、図９（ａ）と比較して、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２）より長い場合の動作タイミングである。図９（ｂ）においては、読み出し転送動作期間（Ｔｆ１、Ｔｆ２）の開始が、図９（ａ）と同様の場合においても、本実施形態の動作条件の内、第１、第２及び第３の動作条件は満たしている。しかしながら、第４の動作条件を満たさなくなる。そこで、時刻ｔ３１〜ｔ４１までの期間と時刻ｔ４１〜ｔ４２までの期間が等しくなるように、第１の読み出し転送動作（Ｔｆ１）の終了から第２の読み出し転送動作（Ｔｆ２）の開始までに、時刻ｔ３１〜ｔ２２までの調整時間を追加している。これにより、第４の動作条件「第１の読み出し転送動作（Ｔｆ１）と第２の読み出し転送動作（Ｔｆ２）の終了時間差は、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差に等しいこと」を満たすことになる。このように、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２）より長い場合がある。その場合、第１の読み出し転送動作（Ｔｆ１）と第２の読み出し転送動作（Ｔｆ２）を連続させて最適化するのではなく、調整時間を挿入することで、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【００５６】
図９（ｄ）は、図９（ａ）と比較して、信号処理動作（ＡＤ１、ＡＤ２）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２）及び蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２）より長い場合の動作タイミングである。この場合は、列信号処理部２０３ａ、２０３ｂが、それぞれ独立に信号処理動作（ＡＤ１、ＡＤ２）を実施できるため、第１、第２、第３及び第４の動作条件すべてを満たしている。このため、信号処理動作（ＡＤ１、ＡＤ２）は、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態の差を発生させる要因にならないことがわかる。
【００５７】
図９（ｅ）は、図９（ａ）と比較して、水平出力動作（Ｄｏ１、Ｄｏ２）が、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２）と信号処理動作（ＡＤ１、ＡＤ２）を加えた時間より長い場合の動作タイミングである。この場合は、水平走査部２０４ａ、２０４ｂが、それぞれ独立にメモリ回路５５１を選択して、水平出力動作（Ｄｏ１、Ｄｏ２）を実施できるため、第１、第２、第３及び第４の動作条件すべてを満たしている。このため、水平出力動作（Ｄｏ１、Ｄｏ２）は、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態の差を発生させる要因にならないことがわかる。
【００５８】
これに対して、図９（ｆ）は、図９（ａ）より長くなった図９（ｂ）〜（ｅ）の各動作の動作期間を組み合わせた動作タイミングとなっている。図９（ｆ）においては、図９（ｂ）の読み出し転送動作期間（Ｔｆ１、Ｔｆ２）が、図９（ｃ）の蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２）より長い。そこで、図９（ｆ）においても、時刻ｔ２２〜ｔ４１までの期間と時刻ｔ４１〜ｔ４２までの期間が等しくなるようにする必要がある。そのため、第１の蓄積読み出し動作（Ｒｄ１）の終了から第２の蓄積読み出し動作（Ｒｄ２）の開始までに、時刻ｔ５１〜ｔ４２までの調整時間を追加している。これにより、第１、第２、第３及び第４の動作条件すべてを満たすことになる。さらに、図９（ｆ）においては、各動作期間のそれぞれが、図９（ａ）と図９（ｆ）の間に設定されたとしても、４つの動作条件すべてを満たした動作タイミングが実現可能となっている。
【００５９】
また、本実施形態においては、第１の画素４０１の信号を第１のＳＨ回路に保持するために、ＳＨトランジスタＴｓｈ１をオフしているので、共通入力ノード３０２と蓄積ノード３１１は電気的に切り離されている。そして、第４の動作条件として、「第１の読み出し転送動作（Ｔｆ１）と第２の読み出し転送動作（Ｔｆ２）の終了時間差は、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差に等しいこと」を満たしている。そのため、第１の読み出し転送動作（Ｔｆ１）に続けて第１の蓄積読み出し動作（Ｒｄ１）を開始し、第２の読み出し転送動作（Ｔｆ２）に続けて第２の蓄積読み出し動作（Ｒｄ２）を開始してもよい。これにより、図９（ａ）においては、時刻ｔ４１が時刻ｔ２２に重なり、時刻ｔ４２が時刻ｔ４１に重なる。そのため、第１の読み出し転送動作の開始から第１の蓄積読み出し動作の開始までとなる時刻ｔ２１〜４１までに発生する暗電流やリーク電流としてのＤｒｋＡを低減することが可能となる。さらに、図９（ａ）における時刻ｔ２２〜ｔ４１までの期間だけであるが、撮像動作期間が短縮されるという効果もある。
【００６０】
以上のように、本実施形態では、第１の半導体基板２０の画素セル１００に設けられた複数の画素が、出力となるソースフォロア回路を共有し、第２の半導体基板２１の蓄積セル２００に設けられた複数のＳＨ回路が、入力となるクランプ容量Ｃｃｌｐを共有する。さらに、第２の半導体基板２１の蓄積セル２００に設けられた複数のＳＨ回路と対応する複数の列信号処理部２０３ａ，２０３ｂが、列信号線２３１を共有する。撮像装置は、第１の動作条件である「第１の読み出し転送動作と第２の読み出し転送動作が重ならないこと」、及び、第２の動作条件である「第１の蓄積読み出し動作と第２の蓄積読み出し動作が重ならないこと」を満たしている。さらに、撮像装置は、第４の動作条件である「第１の読み出し転送動作と第２の読み出し転送動作の終了時間差は、第１の蓄積読み出し動作と第２の蓄積読み出し動作の開始時間差に等しいこと」を満たしている。
【００６１】
これにより、第１の画素４０１の信号電荷のすべてと第２の画素４０２の信号電荷のすべてを分けて読み出すことで、画素からＳＨ回路への転送に対して読み出し転送動作の時間差を持った疑似グローバルシャッタ機能を実現する。それとともに、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態の差を解消させることで、動作時間の不整合による縦筋等の画質の低下を防止することが可能となっている。また、第２の半導体基板２１の蓄積領域２０１からは、蓄積読み出し動作の時間差を持った第１の画素４０１の信号と第２の画素４０２の信号を１行毎に連続して出力する。そのために、第３の動作条件である「第１の水平出力動作と第２の水平出力動作の終了時間差は、第１の蓄積読み出し動作と第２の蓄積読み出し動作の開始時間差に等しいこと」を満たしていることがわかる。これら、第１、第２、第３及び第４の動作条件すべてを満たすことにより、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態の差を解消させる。これにより、蓄積領域２０１で発生する暗電流やリーク電流の影響をシェーディングのみに限定することができるので、単純な暗時画像の減算等だけで補正することを可能にしている。さらに、列信号線２３１に複数の列信号処理部２０３ａ，２０３ｂが備えられているので、複数の画素の信号に対して蓄積読み出し動作の時間差を利用した共通の列信号線２３１と異なる列信号処理部２０３ａ，２０３ｂを用いて並列的に出力することが可能となる。そのため、撮像装置における高速読み出し動作を実現している。本実施形態においては、１行毎に第１の画素４０１の信号と第２の画素４０２の信号を同時並列的に出力することが可能となるので、２倍のフレームレートが実現できることになる。これにより、本実施形態においては、１行毎に順番に全行を読み出す動作に比べて、読み出し時間は半分になっている。
【００６２】
（第２の実施形態）
次に、図１〜図４に加えて、図１０〜図１４を参照して、本発明の第２の実施形態について説明する。第２の実施形態においては、図１２のように、第２の半導体基板２１の列信号処理部２０３が２個の列信号処理回路すなわち２個のアナログデジタル変換回路から構成されている場合について説明する。なお、本実施形態では、撮像装置の基本的な構成と動作及び撮像素子１２の基本的な構成と動作は、第１の実施形態と同様であるので、同じ図及び符号を用いて説明する。
【００６３】
図１０は、本発明の第２の実施形態に係る撮像素子１２の画素部２８の構成例を示す図である。点線で囲われた画素セル１００は、画素領域１０１を構成する画素セル１００の１つを代表して示す。同様に、点線で囲われた蓄積セル２００は、画素セル１００に対応し、蓄積領域２０１を構成する蓄積セル２００の１つを代表して示す。また、画素セル１００は、画素制御線１２１により画素駆動部１０２と接続される。画素制御線１２１は、画素駆動部１０２に接続すると共に、水平１行の画素セル１００に共通して接続され、水平１行の画素セル１００を同時に制御することで、リセット動作や信号読み出し動作が可能になっている。そして、画素制御線１２１は、リセット制御線ｐＰｒｓ、転送制御線ｐＰｘ１、ｐＰｘ２、ｐＰｘ３、ｐＰｘ４、負荷制御線ｐＰｌｄ、画素電源電圧Ｖｄｄｐをまとめて示す。
【００６４】
本実施形態においては、画素セル１００は、４個の光電変換素子（画素）Ｄ１、Ｄ２、Ｄ３、Ｄ４を有する。４個の光電変換素子Ｄ１、Ｄ２、Ｄ３、Ｄ４は、４個の画素であり、それぞれ、光を電荷に変換すると共に、変換された電荷を蓄積するフォトダイオードである。光電変換素子Ｄ１、Ｄ２、Ｄ３、Ｄ４は、ＰＮ接合のＰ側が接地され、Ｎ側がそれぞれ転送トランジスタ（画素転送スイッチ）Ｔｐｘ１、Ｔｐｘ２、Ｔｐｘ３、Ｔｐｘ４のソースに接続されている。転送トランジスタＴｐｘ１、Ｔｐｘ２、Ｔｐｘ３、Ｔｐｘ４は、ゲートがそれぞれ転送制御線ｐＰｘ１、ｐＰｘ２、ｐＰｘ３、ｐＰｘ４に接続され、ドレインがＦＤ容量Ｃｆｄに接続される。転送トランジスタＴｐｘ１、Ｔｐｘ２、Ｔｐｘ３、Ｔｐｘ４は、光電変換素子Ｄ１、Ｄ２、Ｄ３、Ｄ４からＦＤ容量Ｃｆｄへの電荷の転送を制御する。ＦＤ容量Ｃｆｄは、一方の端子が接地され、光電変換素子Ｄ１、Ｄ２、Ｄ３、Ｄ４から転送された電荷を電圧に変換する際に電荷を蓄積するコンデンサである。ここで、転送トランジスタＴｐｘ１、Ｔｐｘ２、Ｔｐｘ３、Ｔｐｘ４のドレインとＦＤ容量Ｃｆｄの他方の接続点をＦＤノード３０１と呼ぶ。リセットトランジスタ（リセットスイッチ）Ｔｐｒｓは、ゲートがリセット制御線ｐＰｒｓに接続され、ドレインが画素電源電圧Ｖｄｄｐに接続され、ソースがＦＤ容量Ｃｆｄに接続され、ＦＤノード３０１の電位を画素電源電圧Ｖｄｄｐにリセットする。そして、リセットトランジスタＴｐｒｓ及び転送トランジスタＴｐｘ１、Ｔｐｘ２、Ｔｐｘ３、Ｔｐｘ４をオンすることにより、光電変換素子Ｄ１、Ｄ２、Ｄ３、Ｄ４の電位を画素電源電圧Ｖｐｄｄにリセットし、露光時間の制御を可能にしている。駆動トランジスタ（増幅部）Ｔｄｒｖは、画素内アンプを構成するトランジスタであり、ゲートがＦＤ容量Ｃｆｄに接続され、ドレインが画素電源電圧Ｖｄｄｐに接続され、ソースが画素の負荷トランジスタＴｐｌｄのドレインに接続される。また、駆動トランジスタＴｄｒｖのソースは、画素セル１００の共通出力に対応したマイクロパッド２２にも接続され、ＦＤ容量Ｃｆｄの電圧に応じた電圧を、読み出した画素の信号として、マイクロバンプ２４を介して接続される蓄積セル２００に出力する。画素セル１００の負荷トランジスタＴｐｌｄは、ソースが接地され、ゲートが負荷制御線ｐＰｌｄに接続され、ドレインが駆動トランジスタＴｄｒｖのソースに接続される。そして、負荷トランジスタＴｐｌｄは、接続される画素セル１００の駆動トランジスタＴｄｒｖとともに画素内アンプとなるソースフォロア回路を構成している。通常、画素の信号を出力する時は、負荷制御線ｐＰｌｄの制御により、負荷トランジスタＴｐｌｄを定電流源として動作させる。
【００６５】
次に、蓄積セル２００について説明する。画素セル１００が出力する画素信号は、マイクロバンプ２４を介して接続される蓄積セル２００の共通入力に対応したマイクロパッド２３に入力される。また、蓄積セル２００は、蓄積制御線２２１により垂直駆動部２０２と接続される。蓄積制御線２２１は、垂直駆動部２０２に接続されると共に、水平１行の蓄積セル２００に共通して接続され、水平１行の蓄積セル２００を同時に制御することで、リセット動作、信号入力動作、信号出力動作が可能になっている。そして、蓄積制御線２２１は、リセット制御線ｐＳｒｓ、ＳＨ制御線ｐＳｈ１、ｐＳｈ２、ｐＳｈ３、ｐＳｈ４、垂直選択線ｐＳｘ１、ｐＳｘ２、ｐＳｘ３、ｐＳｘ４、蓄積電源電圧Ｖｄｄｓをまとめて示す。クランプ容量Ｃｃｌｐは、一方の端子がマイクロパッド２３に接続され、他方の端子がＳＨトランジスタＴｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４のドレインに接続される。クランプ容量Ｃｃｌｐは、マイクロパッド２３に入力された画素信号に対して、後述するクランプ動作を実施するコンデンサである。ＳＨトランジスタＴｓｈ１〜Ｔｓｈ４は、ゲートがそれぞれＳＨ制御線ｐＳｈ１〜ｐＳｈ４に接続され、ソースが共通接続してクランプ容量Ｃｃｌｐに接続され、ドレインがそれぞれ対応する蓄積容量Ｃｓｔ１〜Ｃｓｔ４に接続される蓄積転送スイッチである。そして、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４は、蓄積セル２００の共通入力に入力された画素の信号を対応する蓄積容量Ｃｓｔ１、Ｃｓｔ２、Ｃｓｔ３、Ｃｓｔ４にサンプルホールドする信号入力動作を制御する。ここで、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４のソースが共通接続するクランプ容量Ｃｃｌｐの他方の接続点を、共通入力ノード３０２と呼ぶ。蓄積容量Ｃｓｔ１、Ｃｓｔ２、Ｃｓｔ３、Ｃｓｔ４は、一方の端子が接地され、他方の端子がそれぞれＳＨトランジスタＴｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４のドレインに接続され、入力された画素信号を蓄積する蓄積部である。ここで、ＳＨトランジスタＴｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４のドレインと対応する蓄積容量Ｃｓｔ１、Ｃｓｔ２、Ｃｓｔ３、Ｃｓｔ４の他方の接続点を、それぞれ蓄積ノード３１１、３１２、３１３、３１４と呼ぶ。そして、ＳＨトランジスタＴｓｈ１〜Ｔｓｈ４と対応する蓄積容量Ｃｓｔ１〜Ｃｓｔ４の組み合わせがＳＨ回路を構成する。第１のＳＨ回路は、ＳＨトランジスタＴｓｈ１及び蓄積容量Ｃｓｔ１を有する。第２のＳＨ回路は、ＳＨトランジスタＴｓｈ２及び蓄積容量Ｃｓｔ２を有する。第３のＳＨ回路は、ＳＨトランジスタＴｓｈ３及び蓄積容量Ｃｓｔ３を有する。第４のＳＨ回路は、ＳＨトランジスタＴｓｈ４及び蓄積容量Ｃｓｔ４を有する。
【００６６】
リセットトランジスタ（リセットスイッチ）Ｔｓｒｓは、ゲートがリセット制御線ｐＳｒｓに接続され、ドレインが蓄積電源電圧Ｖｄｄｓに接続され、ソースがＳＨトランジスタＴｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４の共通接続のソースに接続される。リセットトランジスタＴｓｒｓとＳＨトランジスタＴｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４をオンすることにより、共通入力ノード３０２及び蓄積ノード３１１、３１２、３１３、３１４の電位を蓄積電源電圧Ｖｄｄｓにリセットする。ここで、ＳＨトランジスタＴｓｈ１〜Ｔｓｈ４は、入力された画素信号を蓄積容量Ｃｓｔ１〜Ｃｓｔ４に保持する時と、蓄積ノード３１１〜３１４の電位を蓄積電源電圧Ｖｄｄｓにリセットする時では、流れる電流の向きが逆になる。そのため、ＳＨトランジスタＴｓｈ１〜Ｔｓｈ４は、リセット時には、ソースとドレインの機能が蓄積時と逆になる。このため、本実施形態のＳＨトランジスタＴｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４においては、双方向の電流に対して適したトランジスタを用いる必要がある。
【００６７】
出力トランジスタ（増幅部）Ｔｓｏ１、Ｔｓｏ２、Ｔｓｏ３、Ｔｓｏ４は、出力アンプを構成するトランジスタである。出力トランジスタＴｓｏ１〜Ｔｓｏ４は、ゲートがそれぞれ対応する蓄積容量Ｃｓｔ１〜Ｃｓｔ４に接続され、ドレインが蓄積電源電圧Ｖｄｄｓに接続され、ソースが選択トランジスタ（選択スイッチ）Ｔｓｘ１〜Ｔｓｘ４のドレインに接続される。出力トランジスタＴｓｏ１〜Ｔｓｏ４は、対応する蓄積容量Ｃｓｔ１〜Ｃｓｔ４の電圧に応じた電圧を出力する。選択トランジスタＴｓｘ１、Ｔｓｘ２、Ｔｓｘ３、Ｔｓｘ４は、ゲートがそれぞれ対応する垂直選択線ｐＳｘ１、ｐＳｘ２、ｐＳｘ３、ｐＳｘ４に接続され、ソースが列信号線２３１に接続される。選択トランジスタＴｓｘ１、Ｔｓｘ２、Ｔｓｘ３、Ｔｓｘ４は、出力トランジスタＴｓｏ１、Ｔｓｏ２、Ｔｓｏ３、Ｔｓｏ４の出力を対応する画素の出力信号として、列信号線２３１に出力する。列信号線２３１毎に設けられている負荷回路の負荷トランジスタＴｓｌｄは、ソースが接地され、ゲートが負荷制御線ｐＳｌｄに接続され、ドレインが列信号線２３１に接続されている。そして、負荷トランジスタＴｓｌｄは、列信号線２３１で接続されている列の出力トランジスタＴｓｏ１、Ｔｓｏ２、Ｔｓｏ３、Ｔｓｏ４とともに出力アンプとなるソースフォロア回路を構成している。負荷制御線ｐＳｌｄは、タイミング部２０６に接続され、蓄積制御線２２１の制御に同期して負荷回路を制御する。通常、ＳＨ回路に保持される画素信号を出力する時は、負荷制御線ｐＳｌｄの制御により、負荷トランジスタＴｓｌｄを定電流源として動作させる。駆動トランジスタＴｄｒｖ、出力トランジスタＴｓｏ１〜Ｔｓｏ４、及び、負荷トランジスタＴｐｌｄ、Ｔｓｌｄ以外のトランジスタは、スイッチとして働き、ゲートに接続されている制御線がハイレベルの時に導通（オン）し、ローレベルの時に遮断（オフ）する。
【００６８】
図１１（ａ）及び（ｂ）は、本実施形態に係る第１の半導体基板２０の画素セル１００の構成例を示す図である。図１１（ａ）は、２×２に配列された画素セル１００の平面図を示し、図１１（ｂ）は、図１１（ａ）のｘ−ｘ’の断面図を示す。画素セル１００の各々は、４個の画素４０１〜４０４を備えている。第１の画素４０１、第２の画素４０２、第３の画素４０３、及び第４の画素４０４は、それぞれ、光電変換により画素信号を生成する光電変換素子Ｄ１、Ｄ２、Ｄ３、及びＤ４のＰＮ接合のＮ側に対応し、基板がＰ側に対応する。また、図１１（ａ）においては、画素領域１０１に配列された画素セル１００内の４個の画素４０１〜４０４が、２行２列に配列されているので、第１の画素４０１及び第２の画素４０２が、奇数行となり、第３の画素４０３及び第４の画素４０４が、偶数行となる。領域４１１は、配線層側のマイクロパッド２２の位置を破線で示したものであり、同時に配線層側のこの位置に、不図示の転送トランジスタＴｐｘ１、Ｔｐｘ２、Ｔｐｘ３、Ｔｐｘ４やＦＤ容量Ｃｆｄ等の画素セル１００内の回路が設けられている。同様に、リセットトランジスタＴｐｒｓ、駆動トランジスタＴｄｒｖ、画素セル１００内の負荷トランジスタＴｐｌｄも、この位置に設けてもよい。４個の光電変換素子Ｄ１、Ｄ２、Ｄ３、Ｄ４が、水平垂直に配置されているため、画素セル１００内の回路は、それらの中心に配置されている。マイクロレンズ４２１は、画素４０１〜４０４毎に設けられている集光のためのレンズである。
【００６９】
図１１（ｂ）の断面図においては、配線４１２は、画素制御線１２１につながる画素セル１００内の配線を代表して示している。水平１行の画素セル１００に共通して接続される画素制御線１２１は、上下の光電変換素子Ｄ１〜Ｄ４間に配線されるため図示していない。色フィルタ４２２は、画素４０１〜４０４毎に設けられ、光電変換素子Ｄ１〜Ｄ４のそれぞれを均等に覆い、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の１つが配置されている。例えば、２×２配列の光電変換素子Ｄ１〜Ｄ４に対して、１行目をＲフィルタとＧフィルタの繰り返しとし、２行目をＧフィルタとＢフィルタの繰り返しにすることで、カラー画像の撮影が可能となっている。領域４１１は、画素セル１００のマイクロパッド２２と蓄積セル２００のマイクロパッド２３が、マイクロバンプ２４を介して接続される領域である。
【００７０】
図１２は、本実施形態に係る第２の半導体基板２１の列信号処理部２０３の構成例を示す図である。第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂは、同じ回路構成と動作となっているので、列信号処理部２０３として説明する。水平走査部２０４、出力部２０５、列選択線２４１、出力線２５１、制御線２７１、２８１についても同様の表現を用いるものとする。列信号処理部２０３は、サンプルホールド回路５１１、５１２、比較器５２１、５２２、カウンタ回路５３１、５３２、ラッチ回路５４１、５４２及びメモリ回路５５１、５５２を有し、２系統の列信号処理回路を有する。サンプルホールド回路５１１、５１２は、それぞれ、信号選択制御線ｐＳ１、ｐＳ２に接続され、信号選択制御線ｐＳ１、ｐＳ２を介したタイミング部２０６からの制御信号により、列信号線２３１から受け取った画素信号を保持して出力する。比較器５２１は、２つの入力がサンプルホールド回路５１１の出力とランプ波信号線Ｖｒｍｐ１に接続され、サンプルホールド回路５１１の画素信号とランプ波信号線Ｖｒｍｐ１のランプ波を比較し、比較結果信号を出力する。比較器５２２は、２つの入力がサンプルホールド回路５１２の出力とランプ波信号線Ｖｒｍｐ２に接続され、サンプルホールド回路５１２の画素信号とランプ波信号線Ｖｒｍｐ２のランプ波を比較し、比較結果信号を出力する。例えば、入力される２つの信号の大小関係が逆転した時に、比較器５２１及び５２２は、それぞれ、ハイレベルからローレベルに出力信号を変化させることで、比較結果信号を出力する。カウンタ回路５３１、５３２は、それぞれ、カウンタ制御線ｐＣＮＴ１、ｐＣＮＴ２に接続され、カウンタ制御線ｐＣＮＴ１、ｐＣＮＴ２から供給されるクロックを基にカウンタを動作する。そして、カウンタ回路５３１、５３２は、対応する比較器５２１、５２２からの比較結果信号を受けて、その時のカウント値を出力する。この時のカウント値が、列信号線２３１を介して受け取った画素信号をデジタル化した信号となっている。ラッチ回路５４１、５４２は、それぞれ、ラッチ制御線ｐＬＴＣ１、ｐＬＴＣ２に接続され、対応するカウンタ回路５３１、５３２が出力するカウント値を一時的に保持する。そして、ラッチ回路５４１、５４２は、ラッチ制御線ｐＬＴＣ１、ｐＬＴＣ２を介した制御信号により保持しているカウント値を出力する。メモリ回路５５１、５５２は、それぞれ、メモリ制御線ｐＭＥＭ１、ｐＭＥＭ２に接続され、メモリ制御線ｐＭＥＭ１、ｐＭＥＭ２を介した制御信号により対応するラッチ回路５４１、５４２が出力するカウント値を画素のデジタル信号として記憶する。また、メモリ回路５５１、５５２は、対応するメモリ選択線ｐＨ１、ｐＨ２を介した制御信号により、記憶している画素のデジタル信号を、対応するデジタル出力線ＤＳｉｇ１、ＤＳｉｇ２に出力する。
【００７１】
このように、列信号処理部２０３は、第１のアナログデジタル変換回路と第２のアナログデジタル変換回路とを有する。第１のアナログデジタル変換回路は、比較器５２１、カウンタ回路５３１、ラッチ回路５４１及びランプ波信号線Ｖｒｍｐ１を有する。第２のアナログデジタル変換回路は、比較器５２２、カウンタ回路５３２、ラッチ回路５４２及びランプ波信号線Ｖｒｍｐ２を有する。ここで、タイミング部２０６からの制御線２７１は、信号選択制御線ｐＳ１、ｐＳ２、ランプ波信号線Ｖｒｍｐ１、Ｖｒｍｐ２、カウンタ制御線ｐＣＮＴ１、ｐＣＮＴ２、ラッチ制御線ｐＬＴＣ１、ｐＬＴＣ２及びメモリ制御線ｐＭＥＭ１、ｐＭＥＭ２をまとめて示す。水平走査部２０４からの列選択線２４１は、メモリ選択線ｐＨ１、ｐＨ２をまとめて示す。出力部２０５に接続される出力線２５１は、デジタル出力線ＤＳｉｇ１、ＤＳｉｇ２をまとめて示す。
【００７２】
図１３（ａ）及び（ｂ）は、本実施形態に係る撮像素子１２の動作のタイミングを示す図である。第１の半導体基板２０の画素領域１０１に配列された画素セル１００内の画素を第１の画素（奇数行奇数列画素）４０１、第２の画素（奇数行偶数列画素）４０２、第３の画素（偶数行奇数列画素）４０３、第４の画素（偶数行偶数列画素）４０４に分けて制御する。画素領域１０１のすべてにおいて、４つに分けられた画素４０１〜４０４のそれぞれを同時に読み出し、かつ、読み出し時間差を設けて４回に分けて対応する第１、第２、第３及び第４のＳＨ回路に転送する場合を例にして説明する。そして、第２の半導体基板２１の蓄積領域２０１からは、１行分の画素セル１００に対応する蓄積セル２００の第１、第２、第３及び第４の画素４０１〜４０４に対応する第１、第２、第３及び第４のＳＨ回路に保持する信号を順番に出力する場合を例にして説明する。さらに、第１の半導体基板２０と第２の半導体基板２１を組み合わせて積層した構成の撮像素子１２の動作条件について説明する。ここで、例えば、第１の画素セルＰ１１とそれに対応する第１の蓄積セルＳ１１を合わせて第１の画素部と呼ぶことにする。
【００７３】
まず、図１３（ａ）の時刻ｔ１１では、第１の画素リセット動作として、第１の画素４０１は、リセットして露光を開始する。リセットする第１の画素４０１は、画素領域１０１に配列されたすべての画素セル１００の光電変換素子Ｄ１である。リセットトランジスタＴｐｒｓと転送トランジスタＴｐｘ１を同時にオンすることで、画素電源電圧Ｖｐｄｄを用いて第１の画素４０１の電荷をリセットする。そして、転送トランジスタＴｐｘ１をオフすることで、第１の画素４０１の露光が開始される。この時、リセットトランジスタＴｐｒｓはオンのままでもよい。
【００７４】
次に、時刻ｔ１２、ｔ１３、ｔ１４において、それぞれ、第２、第３及び第４の画素４０２〜４０４の画素リセット動作として、画素４０２〜４０４は、それぞれ、リセットして露光を開始する。画素リセット動作は、第１の画素リセット動作と同様であるので、詳細な説明は省略する。このように、図１３（ａ）においては、各画素４０１〜４０４が、それぞれ、時刻ｔ１１〜ｔ１２、ｔ１２〜ｔ１３、ｔ１３〜ｔ１４の時間差を持って露光が開始されることになる。
【００７５】
時刻ｔ２１は、第１の読み出し転送動作（Ｔｆ１）として、設定された露光時間（ＥｘＤ１）経過後の第１の画素４０１の読み出し開始を示す。第１の読み出し転送動作（Ｔｆ１）では、画素の電荷の読み出し開始に先だって、すべての画素部に対して、第１のＮ読み動作を実施する。Ｎ読み動作は、画素部の回路の各種バラツキによるノイズ成分をキャンセルするための予備動作のことである。まず、すべての転送トランジスタＴｐｘ１〜Ｔｐｘ４をオフのまま、リセットトランジスタＴｐｒｓをオンし、その後オフすることで、画素電源電圧Ｖｐｄｄを用いてＦＤノード３０１の電位をリセットする。この時、画素リセット動作時に、リセットトランジスタＴｐｒｓがオンのままの場合は、オフするだけになる。そして、負荷トランジスタＴｐｌｄを定電流動作させることで、画素セル１００のソースフォロア回路が有効になる。これにより、ＦＤノード３０１のリセット電位に対応した電圧が、マイクロパッド２２、２３及びマイクロバンプ２４から構成される画素接続部から、対応する蓄積セル２００に出力される。同時に、第１の蓄積リセット動作として、第１のＳＨ回路をリセットする。リセットする第１のＳＨ回路は、蓄積領域２０１に配列されたすべての蓄積セル２００の蓄積容量Ｃｓｔ１である。リセットトランジスタＴｓｒｓとＳＨトランジスタＴｓｈ１を同時にオンすることで、蓄積電源電圧Ｖｄｄｓを用いて第１のＳＨ回路の電圧をリセットする。この時、リセットトランジスタＴｓｒｓはあらかじめオンにしておいてもよい。そして、リセットトランジスタＴｓｒｓをオフすることで、共通入力ノード３０２及び蓄積ノード３１１がリセットされる。蓄積セル２００のクランプ容量Ｃｃｌｐの画素側が、画素セル１００のソースフォロア回路の出力であるＦＤノード３０１のリセット電位に対応した電圧に固定され、クランプ容量ＣｃｌｐのＳＨ回路側が、共通入力ノード３０２のリセット電位に固定される。この時、蓄積ノード３１１のリセット電位が、蓄積容量Ｃｓｔ１が保持するクランプ動作の基準電位となる。ここまでが、第１のＮ読み動作となる。
【００７６】
続いて、第１のＳ読み動作を実施する。Ｓ読み動作は、画素の信号電荷の読み出しから、ＳＨ回路への画素信号の転送までの動作のことである。第１の画素部のＮ読み動作が終了した状態で、設定された露光時間（ＥｘＤ１）経過後に、すべての画素セル１００の転送トランジスタＴｐｘ１を同時にオンすることで、光電変換素子Ｄ１の電荷をＦＤ容量Ｃｆｄに転送する。すると、ＦＤノード３０１の電位が、リセット電位から、信号電荷に対してＱ＝ＣＶとなる信号電圧だけ変化するので、画素セル１００のソースフォロア回路の出力も画素４０１の信号電圧に対応した電圧だけ変化する。そして、電荷の転送終了後に転送トランジスタＴｐｘ１をオフする。こうして、画素４０１の信号電圧に対応した電圧変化は、画素接続部を介して、対応する蓄積セル２００のクランプ容量Ｃｃｌｐの画素側に伝達されるため、容量結合により、共通入力ノード３０２の電位も同じ電圧だけ変化する。そして、蓄積ノード３１１の電位変化として転送され、ＳＨトランジスタＴｓｈ１をオフすることで、その信号電圧が蓄積セル２００の蓄積容量Ｃｓｔ１に保持される。同時に、負荷トランジスタＴｐｌｄの動作も停止させる。これにより、蓄積ノード３１１の電位が、常に基準電位となるリセット電位から画素４０１の信号電圧だけ変化するので、クランプ動作を実現していることがわかる。ここまでが、第１のＳ読み動作となる。
【００７７】
ここで、ＳＨトランジスタＴｓｈ１がオフしているため、蓄積容量Ｃｓｔ１に保持されている画素信号は、それ以前の回路から電気的に隔離されることになる。そのため、画素セル１００のリセットトランジスタＴｐｒｓ及び蓄積セル２００のリセットトランジスタＴｓｒｓをオンすることで、ＦＤノード３０１の電位及び共通入力ノード３０２の電位をリセットしておいてもよい。以上で、時刻ｔ２１に開始された第１の読み出し転送動作（Ｔｆ１）が終了する。
【００７８】
次に、時刻ｔ２２、ｔ２３、ｔ２４では、それぞれ第２、第３及び第４の読み出し転送動作（Ｔｆ２、Ｔｆ３、Ｔｆ４）として、第２、第３及び第４の画素４０２〜４０４の読み出しを開始する。これにより、それぞれ設定された露光時間（ＥｘＤ２、ＥｘＤ３、ＥｘＤ４）が終了する。第２、第３及び第４の読み出し転送動作（Ｔｆ２、Ｔｆ３、Ｔｆ４）は、それぞれ第２、第３及び第４の画素４０２〜４０４に対して、第１の読み出し転送動作と同様な動作を実施するため、詳細な説明は省略する。第２、第３及び第４の画素４０２〜４０４に対して、読み出し転送動作であるＮ読み動作、Ｓ読み動作を実施する。これにより、画素４０２〜４０４である光電変換素子Ｄ２〜Ｄ４の信号電荷に対応する信号電圧に対してクランプ動作を実施して、対応するＳＨ回路の蓄積セル２００の蓄積容量Ｃｓｔ２〜Ｃｓｔ４に保持することができる。第３の読み出し転送動作（Ｔｆ３）では、転送トランジスタＴｐｘ３が光電変換素子Ｄ３の電荷をＦＤ容量Ｃｆｄに転送し、ＳＨトランジスタＴｓｈ３が共通入力ノード３０２の画素信号を蓄積容量Ｃｓｔ３に転送する。第４の読み出し転送動作（Ｔｆ４）では、転送トランジスタＴｐｘ４が光電変換素子Ｄ４の電荷をＦＤ容量Ｃｆｄに転送し、ＳＨトランジスタＴｓｈ４が共通入力ノード３０２の画素信号を蓄積容量Ｃｓｔ４に転送する。以上で、時刻ｔ２２、ｔ２３、ｔ２４に開始された第２、第３及び第４の読み出し転送動作（Ｔｆ２、Ｔｆ３、Ｔｆ４）が終了する。第３の読み出し転送動作（Ｔｆ３）は第３の転送期間であり、第４の読み出し転送動作（Ｔｆ４）は第４の転送期間である。
【００７９】
これにより、第１、第２、第３及び第４の画素４０１〜４０４のそれぞれが同時に読み出され、４回に分けて対応する第１〜第４のＳＨ回路に転送されたことになる。この時、第１、第２、第３及び第４の画素４０１〜４０４は、画素セル１００の出力となるソースフォロア回路を共有し、第１、第２、第３及び第４のＳＨ回路は、蓄積セル２００の入力となるクランプ容量Ｃｃｌｐを共有している。そのため、第１、第２、第３及び第４の読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）は、異なる時間に実施されなければならないため、それぞれ時刻ｔ２１〜ｔ２２、ｔ２２〜ｔ２３、ｔ２３〜ｔ２４の時間差を設けている。第１〜第４の画素４０１〜４０４の露光開始の時間差ｔ１１〜ｔ１２、ｔ１２〜ｔ１３、ｔ１３〜ｔ１４を、それぞれ第１〜第４の画素４０１〜４０４の信号を蓄積セル２００に転送する時の時間差ｔ２１〜ｔ２２、ｔ２２〜ｔ２３、ｔ２３〜ｔ２４と等しくする。これにより、露光時間（ＥｘＤ１、ＥｘＤ２、ＥｘＤ３、ＥｘＤ４）が等しくなるように制御している。ここで、本実施形態の第１の動作条件として、「第１、第２、第３及び第４の読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）のそれぞれが重ならないこと」を満たす必要があることがわかる。
【００８０】
次に、第２の半導体基板２１の蓄積領域２０１から、１行分の画素セル１００に対応する蓄積セル２００の第１、第２、第３及び第４のＳＨ回路に保持される信号を順番に出力する場合について説明する。まず、時刻ｔ４１では、蓄積セルＳ１１を含む１行目の蓄積セル２００に対して、第１の蓄積読み出し動作（Ｒｄ１）として、第１のＳＨ回路に保持される画素信号の読み出しを開始する。選択トランジスタＴｓｘ１をオンするとともに、負荷トランジスタＴｓｌｄを定電流動作させることで、蓄積セル２００のソースフォロア回路が有効になり、蓄積ノード３１１の電位に対応した信号電圧が、画素信号として、列信号線２３１に出力する。そして、第１の蓄積読み出し動作（Ｒｄ１）においては、列信号線２３１に出力された１行目の第１の画素４０１の信号は、それぞれ対応する１行分の第１列信号処理部２０３ａに入力される。そして、その信号は、信号選択制御線ｐＳ１の制御信号により第１列信号処理部２０３ａのサンプルホールド回路５１１に保持される。その後、出力トランジスタＴｓｏ１をオフすることで、第１のＳＨ回路と列信号線２３１を電気的に切り離す。ここで、１行目の第１の画素４０１の信号は、第１列信号処理部２０３ａのサンプルホールド回路５１１に保持されている。そのため、リセットトランジスタＴｓｒｓとＳＨトランジスタＴｓｈ１を同時にオンすることで、蓄積ノード３１１の電位をリセットしておいてもよい。以上で、時刻ｔ４１に開始された第１の蓄積読み出し動作（Ｒｄ１）が終了する。
【００８１】
続いて、時刻ｔ４２、ｔ４３、ｔ４４では、それぞれ第２、第３及び第４の蓄積読み出し動作（Ｒｄ２、Ｒｄ３、Ｒｄ４）として、それぞれ対応する第２、第３及び第４のＳＨ回路に保持される画素信号の読み出しを開始する。第２、第３及び第４の蓄積読み出し動作（Ｒｄ２、Ｒｄ３、Ｒｄ４）は、それぞれ対応する第２、第３及び第４のＳＨ回路に対して、第１の蓄積読み出し動作と同様な動作を実施するため、詳細な説明は省略する。第３の蓄積読み出し動作（Ｒｄ３）では、選択スイッチＴｓｘ３は、蓄積容量Ｃｓｔ３の画素信号を列信号線２３１に読み出す。第４の蓄積読み出し動作（Ｒｄ４）では、選択スイッチＴｓｘ４は、蓄積容量Ｃｓｔ４の画素信号を列信号線２３１に読み出す。そして、第２の蓄積読み出し動作（Ｒｄ２）においては、列信号線２３１に出力された１行目の第２の画素４０２の信号は、それぞれ対応する１行分の第２列信号処理部２０３ｂに入力される。そして、その信号は、信号選択制御線ｐＳ１の制御により第２列信号処理部２０３ｂのサンプルホールド回路５１１に保持される。さらに、第３の蓄積読み出し動作（Ｒｄ３）においては、列信号線２３１に出力された１行目の第３の画素４０３の信号は、それぞれ対応する１行分の第１列信号処理部２０３ａに入力される。そして、その信号は、信号選択制御線ｐＳ２の制御により第１列信号処理部２０３ａのサンプルホールド回路５１２に保持される。同様に、第４の蓄積読み出し動作（Ｒｄ４）においては、列信号線２３１に出力された１行目の第４の画素４０４の信号は、それぞれ対応する１行分の第２列信号処理部２０３ｂに入力される。そして、その信号は、信号選択制御線ｐＳ２の制御により第２列信号処理部２０３ｂのサンプルホールド回路５１２に保持される。以上で、時刻ｔ４２、ｔ４３、ｔ４４に開始された第２、第３及び第４の蓄積読み出し動作（Ｒｄ２、Ｒｄ３、Ｒｄ４）が終了する。第３の蓄積読み出し動作（Ｒｄ３）は第３の読み出し期間であり、第４の蓄積読み出し動作（Ｒｄ４）は第４の読み出し期間である。
【００８２】
これにより、１行目の画素セル１００の第１の画素４０１のすべての信号が、同時に第１列信号処理部２０３ａのサンプルホールド回路５１１に保持される。そして、１行目の画素セル１００の第２の画素４０２のすべての信号が、同時に第２列信号処理部２０３ｂのサンプルホールド回路５１１に保持される。そして、１行目の画素セル１００の第３の画素４０３のすべての信号が、同時に第１列信号処理部２０３ａのサンプルホールド回路５１２に保持される。そして、１行目の画素セル１００の第４の画素４０４のすべての信号が、同時に第２列信号処理部２０３ｂのサンプルホールド回路５１２に保持される。この時、第１、第２、第３及び第４のＳＨ回路は、列信号線２３１を共有しているので、第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）は、異なる時間に実施されなければならない。そのため、それぞれ時刻ｔ４１〜ｔ４２、ｔ４２〜ｔ４３、ｔ４３〜ｔ４４の時間差を設けている。ここで、本実施形態の第２の動作条件として、「第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）のそれぞれが重ならないこと」を満たす必要があることがわかる。
【００８３】
第１の蓄積読み出し動作（Ｒｄ１）が終了した時刻ｔ４２以降では、第１列信号処理部２０３ａのサンプルホールド回路５１１が保持している１行目の第１の画素４０１の信号に対して、第１の信号処理動作（ＡＤ１）となるアナログデジタル変換を実施する。第１列信号処理部２０３ａの比較器５２１には、サンプルホールド回路５１１の出力として、１行目の第１の画素４０１の信号が入力されている。そして、タイミング部２０６がランプ波信号線Ｖｒｍｐ１にランプ波を出力して、比較器５２１は、すでに入力されている第１の画素４０１の信号とランプ波とを比較する。さらに、ランプ波Ｖｒｍｐ１の出力と同時に、カウンタ制御線ｐＣＮＴ１を介したタイミング部２０６の制御信号により、カウンタ回路５３１がカウントを開始する。すると、ランプ波Ｖｒｍｐ１の出力が終了するまでのどこかで、ランプ波Ｖｒｍｐ１と比較器５２１に入力される画素信号が一致する。ランプ波Ｖｒｍｐ１と比較器５２１に入力される画素信号が一致した時点で、比較器５２１から比較結果信号をカウンタ回路５３１に出力する。比較結果信号を受けたカウンタ回路５３１は、その時点でのカウント値とラッチ信号をラッチ回路５４１に出力する。ラッチ信号を受けたラッチ回路５４１は、その時点でのカウント値を一時的に保持する。次に、ランプ波Ｖｒｍｐ１出力の終了にともなって、メモリ制御線ｐＭＥＭ１を介したタイミング部２０６の制御信号により、メモリ回路５５１を記憶可能状態にする。そして、ラッチ制御線ｐＬＴＣ１を介したタイミング部２０６の制御信号により、ラッチ回路５４１が保持するカウント値をメモリ回路５５１に転送して、メモリ回路５５１は１行目の第１の画素４０１のデジタル信号として記憶する。以上で、時刻ｔ４２に開始された第１の信号処理動作（ＡＤ１）が終了する。
【００８４】
続いて、時刻ｔ４３では、第１列信号処理部２０３ａのメモリ回路５５１に記憶された１行目の第１の画素４０１のデジタル信号を出力する第１の水平出力動作（Ｄｏ１）を開始する。制御線２８１ａを介したタイミング部２０６の制御信号により、第１水平走査部２０４ａが、第１列選択線２４１ａであるメモリ選択線ｐＨ１を介して、それぞれ接続する第１列信号処理部２０３ａを所定の順番に選択する。１行目の第１の画素４０１の水平出力動作では、メモリ選択線ｐＨ１が、それぞれ対応するメモリ回路５５１を選択する。そして、選択されたメモリ回路５５１が記憶している第１の画素４０１のデジタル信号を、第１出力線２５１ａであるデジタル出力線ＤＳｉｇ１に所定の順番で出力する。このようにして、所定の順番で選択された１行分の第１列信号処理部２０３ａから、１行目の第１の画素４０１のデジタル信号が出力され、デジタル出力線ＤＳｉｇ１を介して第１出力部２０５ａから出力され、１行目の第１の画素４０１の信号の出力が完了する。以上で、時刻ｔ４３に開始された第１の水平出力動作（Ｄｏ１）が、時刻ｔ７１において終了する。ここまでが、１行目の第１の画素４０１の信号に対する第１列信号処理部２０３ａの動作となる。
【００８５】
同様に、第２の蓄積読み出し動作（Ｒｄ２）が終了した時刻ｔ４３以降では、第２列信号処理部２０３ｂのサンプルホールド回路５１１が保持している１行目の第２の画素４０２の信号に対して、第２の信号処理動作（ＡＤ２）のアナログデジタル変換を実施する。第２の信号処理動作（ＡＤ２）は、第２の画素４０２に対して、第２列信号処理部２０３ｂを用いて第１の信号処理動作と同様な動作を実施するため、詳細な説明は省略する。そして、ランプ波と比較器５２１及びカウンタ回路５３１とを用いて、１行目の第２の画素４０２の信号をアナログデジタル変換して、第２列信号処理部２０３ｂのメモリ回路５５１に、１行目の第２の画素４０２のデジタル信号として記憶する。以上で、時刻ｔ４３に開始された第２の信号処理動作（ＡＤ２）が終了する。
【００８６】
続いて、時刻ｔ４４において、第２列信号処理部２０３ｂのメモリ回路５５１に記憶された１行目の第２の画素４０２のデジタル信号を出力する第２の水平出力動作（Ｄｏ２）を開始する。第２の水平出力動作（Ｄｏ２）は、第２の画素４０２に対して、第２列信号処理部２０３ｂを用いて第１の水平出力動作と同様な動作を実施するため、詳細な説明は省略する。以上で、時刻ｔ４４に開始された第２の水平出力動作（Ｄｏ２）が、時刻ｔ７２において終了する。ここまでが、１行目の第２の画素４０２の信号に対する第２列信号処理部２０３ｂの動作となる。
【００８７】
時刻ｔ４４、ｔ４５では、第３及び第４の蓄積読み出し動作（Ｒｄ３、Ｒｄ４）が終了する。時刻ｔ４４、ｔ４５以降では、対応する列信号処理部２０３のサンプルホールド回路５１２が保持している１行目の第３及び第４の画素４０３，４０４の信号に対して、第３及び第４の信号処理動作（ＡＤ３、ＡＤ４）となるアナログデジタル変換を実施する。これにより、対応するメモリ回路５５２に１行目の第３及び第４の画素４０３，４０４のデジタル信号を記憶させる。第３及び第４の信号処理動作（ＡＤ３、ＡＤ４）は、第３及び第４の信号処理期間である。第３の信号処理動作（ＡＤ３）では、第１列信号処理部２０３ａは、列信号線２３１に読み出された蓄積容量Ｃｓｔ３の画素信号をアナログからデジタルに変換する。第４の信号処理動作（ＡＤ４）では、第２列信号処理部２０３ｂは、列信号線２３１に読み出された蓄積容量Ｃｓｔ４の画素信号をアナログからデジタルに変換する。続いて、時刻ｔ４４、ｔ７１において、第３及び第４の水平出力動作（Ｄｏ３、Ｄｏ４）を開始する。これにより、対応する列信号処理部２０３ａ及び２０３ｂのメモリ回路５５２に記憶された１行目の第３及び第４の画素４０３，４０４のデジタル信号を、それぞれ対応するデジタル出力線ＤＳｉｇ１及びＤＳｉｇ２に所定の順番で出力する。第３及び第４の水平出力動作（Ｄｏ３、Ｄｏ４）は第３及び第４の出力期間である。第３の水平出力動作（Ｄｏ３）では、第１列信号処理部２０３ａは、アナログデジタル変換した画素信号をデジタル出力線ＤＳｉｇ１に出力する。１行目の第３及び第４の画素４０３，４０４の信号の出力が完了する。ここまでが、１行目の第３及び第４の画素４０３，４０４のそれぞれの信号に対する列信号処理部２０３の動作となる。
【００８８】
これにより、１行目の画素セル１００の第１、第２、第３及び第４の画素４０１〜４０４のすべての信号、すなわち、画素領域１０１に配列された１行目の画素セル１００の１行目及び２行目の画素の信号が、撮像素子１２から出力されたことになる。この時、本実施形態では、第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂは、同じ回路構成で、同じ動作をするものとして説明しているので、動作時間も同じとなる。そこで、第１〜第４の蓄積読み出し動作期間（Ｒｄ１〜Ｒｄ４）、第１〜第４の信号処理動作期間（ＡＤ１〜ＡＤ４）、及び、第１〜第４の水平出力動作期間（Ｄｏ１〜Ｄｏ４）はそれぞれ等しくなるように制御されている。終了時間差ｔ７１〜ｔ７２、ｔ７２〜ｔ７３、ｔ７３〜ｔ７４は、第１、第２、第３及び第４の水平出力動作期間（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）の終了時間差である。終了時間差ｔ７１〜ｔ７２、ｔ７２〜ｔ７３、ｔ７３〜ｔ７４は、対応する第１、第２、第３及び第４の蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）の開始時間差ｔ４１〜ｔ４２、ｔ４２〜ｔ４３、ｔ４３〜ｔ４４に等しくなることになる。
【００８９】
次に、図１３（ｂ）を用いて、画素領域１０１に配列された画素の信号を、蓄積領域２０１のＳＨ回路を経由して１行毎に撮像素子１２から出力する動作について説明する。時刻ｔ１１〜ｔ４５、ｔ１２〜ｔ４６、ｔ１３〜ｔ４７、ｔ１４〜ｔ４８の動作は、それぞれ図１３（ａ）の時刻ｔ１１〜ｔ７１、ｔ１２〜ｔ７２、ｔ１３〜ｔ７３、ｔ１４〜ｔ７４の動作と同じ動作となっている。図１３（ａ）で説明したように、、画素領域１０１に配列された１行目の画素セル１００の１行目の画素信号が、第１の画素４０１の信号及び第２の画素４０２の信号として、それぞれ第１出力部２０５ａ及び第２出力部２０５ｂを介して撮像素子１２から出力される。そして、１行目の画素セル１００の２行目の画素信号が、第３の画素４０３の信号及び第４の画素４０４の信号として、それぞれ第１出力部２０５ａ及び第２出力部２０５ｂを介して撮像素子１２から出力されている。
【００９０】
続いて、時刻ｔ４５以降で、２行目の画素セル１００の第１の画素４０１の第１の蓄積読み出し動作（Ｒｄ１）、第１の信号処理動作（ＡＤ１）及び第１の水平出力動作（Ｄｏ１）が実施される。次に、時刻ｔ４６、ｔ４７、ｔ４８以降で、それぞれ２行目の画素セル１００の第２〜第４の画素４０２〜４０４に対応する蓄積読み出し動作（Ｒｄ２〜Ｒｄ４）、信号処理動作（ＡＤ２〜ＡＤ４）及び水平出力動作（Ｄｏ２〜Ｄｏ４）がそれぞれ実施される。この時、図１３（ａ）で説明したように、終了時間差ｔ７１〜ｔ７２、ｔ７２〜ｔ７３、ｔ７３〜ｔ７４は、１行目の第１〜第４の画素４０１〜４０４の信号の出力において、第１〜第４の水平出力動作期間（Ｄｏ１〜Ｄｏ４）の終了時間差である。終了時間差ｔ７１〜ｔ７２、ｔ７２〜ｔ７３、ｔ７３〜ｔ７４は、対応する第１、第２、第３及び第４の蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）の開始時間差ｔ４１〜ｔ４２、ｔ４２〜ｔ４３、ｔ４３〜ｔ４４に等しくなることになっている。２行目の第１の画素４０１の信号及び第２の画素４０２の信号のそれぞれに対する出力において、開始時間差ｔ４５〜ｔ４６は、第１の蓄積読み出し動作（Ｒｄ１）と第２の蓄積読み出し動作（Ｒｄ２）の開始時間差である。開始時間差ｔ４５〜ｔ４６は、１行目の第１の画素４０１の信号及び第２の画素４０２の信号のそれぞれの第１の水平出力動作期間（Ｄｏ１）と第２の水平出力動作期間（Ｄｏ２）の終了時間差ｔ７１〜ｔ７２に等しくなるように制御することができる。そのため、２行目の第１の画素４０１の信号及び第２の画素４０２の信号は、それぞれ１行目の第１の画素４０１の信号及び第２の画素４０２の信号に対する出力動作に連続して、出力していることがわかる。
【００９１】
同様に、開始時間差ｔ４６〜ｔ４７、ｔ４７〜ｔ４８は、２行目の第２、第３及び第４の画素４０２〜４０４の信号のそれぞれに対する出力における蓄積読み出し動作（Ｒｄ２、Ｒｄ３、Ｒｄ４）の開始時間差である。開始時間差ｔ４６〜ｔ４７、ｔ４７〜ｔ４８も、１行目の第２、第３及び第４の画素４０２〜４０４の信号のそれぞれに対応する水平出力動作期間（Ｄｏ２、Ｄｏ３、Ｄｏ４）の終了時間差に等しくなるように制御することができる。そのため、２行目の第２、第３及び第４の画素４０２〜４０４の信号も、それぞれ１行目の第２、第３及び第４の画素４０２〜４０４の信号に対する出力動作に連続して、出力可能であることがわかる。
【００９２】
そして、時刻ｔ４９以降においても、３行目以降の第１、第２、第３及び第４の画素４０１〜４０４の信号のそれぞれの出力動作を同じ時間差を持って連続して実施する。これにより、画素領域１０１に配列された画素の信号を、第１〜第４の画素４０１〜４０４の信号として、それぞれ出力動作を時間差持った重ね読みにより、第１出力部２０５ａ及び第２出力部２０５ｂを介して撮像素子１２から出力できることがわかる。そして、出力部２０５ａ、２０５ｂから同時並列的に出力された画素の信号は、信号処理部１３にそれぞれ入力される。
【００９３】
ここで、連続出力動作のための第３の動作条件として、「第１〜第４の水平出力動作（Ｄｏ１〜Ｄｏ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たす必要がある。さらに、第１の画素４０１の信号及び第２の画素４０２の信号のそれぞれの出力動作について説明する。まず、本実施形態で定義した第１の動作条件「第１、第２、第３及び第４の読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）のそれぞれが重ならないこと」を基に、露光開始の時間差を、画素の信号を蓄積セル２００に転送する時の時間差と等しくする。これにより、露光時間（ＥｘＤ１、ＥｘＤ２、ＥｘＤ３、ＥｘＤ４）が等しくなるように制御しているので、画素の露光状態は、第１、第２、第３及び第４の画素４０１〜４０４ともに同じとなる。
【００９４】
次に、本実施形態で定義した第２の動作条件「第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）のそれぞれが重ならないこと」を基に、第１、第２、第３及び第４のＳＨ回路における画素信号の蓄積状態について考える。図１３（ｂ）を用いて説明したように、蓄積領域２０１の蓄積セル２００に保持されている画素の信号は、１行目から順番に第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）を繰り返しながら撮像素子１２から出力される。そのため、各行における第１、第２、第３及び第４の画素４０１〜４０４の信号の出力動作時における蓄積状態の差はないことになる。そこで、蓄積状態の差が発生する期間としては、ＳＨ回路への画素信号の転送から蓄積中を経て読み出し開始するまでの、読み出し転送動作の開始から蓄積読み出し動作の開始までがあげられる。ただし、読み出し転送動作は、時間差があるものの第１〜第４の画素４０１〜４０４の信号に対しては同じ動作を実施している。そのため、蓄積状態の差は、それぞれ時刻ｔ２２〜ｔ４１、ｔ２３〜ｔ４２、ｔ２４〜ｔ４３、ｔ４１〜ｔ４４の第１、第２、第３及び第４のＳＨ回路における蓄積時間に関わっている。このように、第１、第２、第３及び第４のＳＨ回路の蓄積時間に差があると、蓄積容量Ｃｓｔ１〜Ｃｓｔ４やその周りのＳＨトランジスタＴｓｈ１〜Ｔｓｈ４、出力トランジスタＴｓｏ１〜Ｔｓｏ４で発生する暗電流やリーク電流の影響に違いが発生することになる。この時、時刻ｔ２２〜ｔ４１までの第１のＳＨ回路における蓄積時間は、読み出し転送動作期間の３倍に等しい。時刻ｔ２３〜ｔ４２までの第２のＳＨ回路における蓄積時間は、読み出し転送動作期間の２倍＋蓄積読み出し動作期間に等しい。時刻ｔ２４〜ｔ４３までの第３のＳＨ回路における蓄積時間は、読み出し転送動作期間＋蓄積読み出し動作期間の２倍に等しい。時刻ｔ４１〜ｔ４４までの第４のＳＨ回路における蓄積時間は、蓄積読み出し動作期間の３倍に等しい。これにより、第１〜第４の画素４０１〜４０４の信号の蓄積動作における蓄積時間を等しくして蓄積状態の差を解消する。そのための本実施形態の第４の動作条件として、「第１〜第４の読み出し転送動作（Ｔｆ１〜Ｔｆ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たす必要があることがわかる。
【００９５】
これに対して、画素セル１００の信号を、蓄積領域２０１のＳＨ回路を経由して画素セル１００の１行毎に撮像素子１２から出力する。その場合、１行目の画素セル１００の信号の出力動作中は、その他の行の画素セル１００の信号は、ＳＨ回路に保持したままとなっているため、暗電流やリーク電流の影響を受ける。そして、例えば、１行目の第１の画素４０１の信号を出力している時刻ｔ４１〜ｔ４５までに発生した暗電流やリーク電流は、２行目の第１の画素４０１の信号の出力に影響する。そして、１行目及び２行目の第１の画素４０１の信号を出力している時刻ｔ４１〜ｔ４９までに発生した暗電流やリーク電流が、３行目の第１の画素の信号の出力に影響する。このように、１行毎に暗電流やリーク電流が増加しながら影響する。この時、第１の画素４０１の信号及び第２の画素４０２の信号の蓄積動作時における蓄積状態に差があった場合や第３の画素４０３の信号及び第４の画素４０４の信号の蓄積動作時における蓄積状態に差があった場合がある。その場合は、撮像画像全体に２列毎の縦筋として見えるが、画素セル１００の１行毎の暗電流やリーク電流の増加は、画像の上から下への行数に比例したシェーディングとなって表れる。
【００９６】
本実施形態においては、第１〜第４の画素４０１〜４０４の露光動作時における露光状態の差、及び、第１〜第４の画素４０１〜４０４の信号の蓄積動作時における蓄積状態の差については、上述した本実施形態の動作条件を実施することで解消することができる。しかしながら、画素セル１００の１行毎に撮像素子１２から出力する時の蓄積領域２０１のＳＨ回路における蓄積動作にともなう暗電流やリーク電流は、上述した本実施形態の動作条件だけでは解消できない。そこで、あらかじめ、遮光状態での画像取得を行い、暗時画像として信号処理部１３に保存しておき、被写体の撮像画像の取得に合わせて、信号処理部１３において、暗時画像を減算することで暗電流やリーク電流の補正を実施すればよい。あるいは、第１の読み出し転送動作の開始から第１の蓄積読み出し動作の開始までとなる時刻ｔ２１〜４１までに発生する暗電流やリーク電流をＤｒｋＡとする。そして、１行目の第１の画素４０１の信号を出力している時刻ｔ４１〜ｔ４５までの１行分で発生する暗電流やリーク電流をＤｒｋＢとする。その場合、ｎ行目の画素セル１００の暗電流やリーク電流Ｄｒｋ（ｎ）は、ＤｒｋＡ＋（ｎ−１）×ＤｒｋＢと表すことができる。そこで、あらかじめ暗時画像の１行目の画素セル１００のＤｒｋ（１）＝ＤｒｋＡと２行目の画素セル１００のＤｒｋ（２）＝ＤｒｋＡ＋ＤｒｋＢを測定し、ＤｒｋＡとＤｒｋＢを求めておくだけで、撮像画像全体の暗電流やリーク電流の補正を実施することもできる。この時、画素セル１００の１行は、第１の画素４０１と第２の画素４０２からなる１行目と、第３の画素４０３と第４の画素４０４からなる２行目から構成されているので、画素の行数としては、２行毎に同じ補正を実施することになる。さらに、画素セル１００の１行毎の暗電流に対する上記補正方法を実施することで、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時の暗電流やリーク電流の補正も同時に実施することになる。これにより、本実施形態の動作条件だけでは残ってしまう暗電流やリーク電流についても解消することが可能となる。
【００９７】
本実施形態では、第１及び第２の画素４０１，４０２の信号をそれぞれ第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂの対応するサンプルホールド回路５１１に入力する。そして、第３及び第４の画素４０３，４０４の信号をそれぞれ第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂの対応するサンプルホールド回路５１２に入力する。そして、第１及び第３の画素４０１，４０３の信号を、第１出力部２０５ａから交互に出力し、第２及び第４の画素４０２，４０４の信号を、第２出力部２０５ｂから交互に出力することになる。これにより、列信号線２３１の両端に接続される第１列信号処理部２０３ａ及び第２列信号処理部２０３ｂの動作を均一に実施することで、消費電力の発生場所の均一化を図ることができる。
【００９８】
これに対して、以下のように動作させることも可能である。まず、第１の蓄積読み出し動作（Ｒｄ１）において、列信号線２３１に出力された１行目の第１の画素４０１の信号は、それぞれ対応する１行分の第１列信号処理部２０３ａのサンプルホールド回路５１１に入力される。そして、その信号は、アナログデジタル変換を実施された後、第１列信号処理部２０３ａのメモリ回路５５１に記憶される。そして、第２の蓄積読み出し動作（Ｒｄ２）において、列信号線２３１に出力された１行目の第２の画素４０２の信号は、それぞれ対応する１行分の第１列信号処理部２０３ａのサンプルホールド回路５１２に入力される。そして、その信号は、アナログデジタル変換を実施された後、第１列信号処理部２０３ａのメモリ回路５５２に記憶される。さらに、第３の蓄積読み出し動作（Ｒｄ３）においては、列信号線２３１に出力された１行目の第３の画素４０３の信号は、それぞれ対応する１行分の第２列信号処理部２０３ｂのサンプルホールド回路５１１に入力される。そして、その信号は、アナログデジタル変換を実施された後、第２列信号処理部２０３ｂのメモリ回路５５１に記憶される。同様に、第４の蓄積読み出し動作（Ｒｄ４）においては、列信号線２３１に出力された１行目の第４の画素４０４の信号は、それぞれ対応する１行分の第２列信号処理部２０３ｂのサンプルホールド回路５１２に入力される。そして、その信号は、アナログデジタル変換を実施された後、第２列信号処理部２０３ｂのメモリ回路５５２に記憶される。これにより、画素セル１００の１行目となる第１及び第２の画素４０１，４０２の信号を、第１出力部２０５ａから交互に出力する。そして、画素セル１００の２行目となる第３及び第４の画素４０３，４０４の信号を、第２出力部２０５ｂから交互に出力する。これにより、行をまたいだ並べ替えの必要がなくなり、信号処理部１３における信号処理の負担が軽減されるという効果が期待できる。
【００９９】
図１４（ａ）〜（ｆ）は、本実施形態に係る撮像素子１２の動作タイミングを示す図である。図１４（ａ）〜（ｆ）においては、第１の半導体基板２０と第２の半導体基板２１を組み合わせて積層した構成の撮像素子１２の動作条件についての詳細を説明する。ここで、図１４（ａ）は、図１４（ｂ）〜（ｆ）と比較しやすいように、図１３（ａ）の基本動作タイミングをそのまま示す。また、本実施形態においては、時刻ｔ１１、ｔ１２、ｔ１３、ｔ１４が、それぞれ第１、第２、第３及び第４の画素リセット動作の開始を示す。時刻ｔ２１、ｔ２２、ｔ２３、ｔ２４が、それぞれ第１、第２、第３及び第４の読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）の開始を示す。時刻ｔ４１、ｔ４２、ｔ４３、ｔ４４が、それぞれ第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）の開始を示す。時刻ｔ６１、ｔ６２、ｔ６３、ｔ６４が、それぞれ第１、第２、第３及び第４の水平出力動作（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）の開始を示す。時刻ｔ７１、ｔ７２、ｔ７３、ｔ７４が、それぞれ第１、第２、第３及び第４の水平出力動作（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）の終了を示す。さらに、必要に応じて、時刻ｔ３１、ｔ３２、ｔ３３、ｔ３４が、それぞれ第１、第２、第３及び第４の読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）の終了を示す。時刻ｔ５１、ｔ５２、ｔ５３、ｔ５４が、それぞれ第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）の終了と同時に、第１、第２、第３及び第４の信号処理動作（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）の開始を示す。そして、各動作のタイミングが重なった場合には、適宜どれかを選択して表示することにする。
【０１００】
図１４（ｂ）は、図１４（ａ）と比較して、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）が、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）より長い場合の動作タイミングである。図１４（ｂ）においては、蓄積読み出し動作の開始が、図１４（ａ）と同様の場合においても、本実施形態の動作条件の内、第１、第２及び第３の動作条件は満たしている。しかしながら、第４の動作条件を満たさなくなる。そこで、例えば、時刻ｔ２２〜ｔ２３までの期間と時刻ｔ４１〜ｔ４２までの期間が等しくなるように、第１の蓄積読み出し動作（Ｒｄ１）の終了から第２の蓄積読み出し動作（Ｒｄ２）の開始までに、時刻ｔ５１〜ｔ４２までの調整時間を追加している。これにより、第４の動作条件「第１〜第４の読み出し転送動作（Ｔｆ１〜Ｔｆ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たすことになる。同時に、例えば、時刻ｔ４１〜ｔ４２までの期間と時刻ｔ４４〜ｔ７２までの期間が等しくなるので、第３の動作条件を満たすことは明らかである。このように、読み出し転送動作期間が、蓄積読み出し動作期間より長い場合がある。その場合、蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）を連続させて最適化するのではなく、それぞれに調整時間を挿入することで、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１０１】
図１４（ｃ）は、図１４（ａ）と比較して、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）より長い場合の動作タイミングである。図１４（ｃ）においては、読み出し転送動作の開始が、図１４（ａ）と同様の場合においても、本実施形態の動作条件の内、第１、第２及び第３の動作条件は満たしている。しかしながら、第４の動作条件を満たさなくなる。そこで、例えば、時刻ｔ３１〜ｔ３２までの期間と時刻ｔ４１〜ｔ４２までの期間が等しくなるように、第１の読み出し転送動作（Ｔｆ１）の終了から第２の読み出し転送動作（Ｔｆ２）の開始までに、時刻ｔ３１〜ｔ２２までの調整時間を追加している。これにより、第４の動作条件「第１〜第４の読み出し転送動作（Ｔｆ１〜Ｔｆ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たすことになる。このように、蓄積読み出し動作期間が、読み出し転送動作期間より長い場合がある。その場合、読み出し転送動作（Ｔｆ１〜Ｔｆ４）を連続させて最適化するのではなく、調整時間を挿入することで、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１０２】
図１４（ｄ）は、図１４（ａ）と比較して、信号処理動作期間（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）及び蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）より長い。この場合は、列信号処理部２０３ａ、２０３ｂが、それぞれ独立に信号処理動作（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）を実施できるため、第１、第２、第３及び第４の動作条件すべてを満たしている。このため、信号処理動作（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）は、第１、第２、第３及び第４の画素４０１〜４０４の信号の蓄積動作時における蓄積状態の差を発生させる要因にならないことがわかる。
【０１０３】
図１４（ｅ）は、図１４（ａ）と比較して、水平出力動作期間（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）が、対応する蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）と信号処理動作期間（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）を加えた時間より長い。この場合は、水平走査部２０４ａ、２０４ｂが、それぞれ独立にメモリ回路５５１、５５２を選択して、水平出力動作（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）を実施できるため、第１、第２、第３及び第４の動作条件すべてを満たしている。このため、水平出力動作（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）は、第１、第２、第３及び第４の画素４０１〜４０４の信号の蓄積動作時における蓄積状態の差を発生させる要因にならないことがわかる。
【０１０４】
これに対して、図１４（ｆ）は、図１４（ａ）より長くなった図１４（ｂ）〜（ｅ）の各動作の動作期間を組み合わせた動作タイミングとなっている。図１４（ｆ）においては、図１４（ｃ）の蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）が、図１４（ｂ）の読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）より長い。そこで、例えば、図１４（ｆ）においても、時刻ｔ３１〜ｔ３２までの期間と時刻ｔ４１〜ｔ４２までの期間が等しくなるようにする必要がある。そのため、第１の読み出し転送動作（Ｔｆ１）の終了から第２の読み出し転送動作（Ｔｆ２）の開始までに、時刻ｔ３１〜ｔ２２までの調整時間を追加している。これにより、第１、第２、第３及び第４の動作条件すべてを満たすことになる。さらに、図１４（ｆ）においては、各動作期間のそれぞれが、図１４（ａ）と図１４（ｆ）の間に設定されたとしても、４つの動作条件すべてを満たした動作タイミングが実現可能となっている。
【０１０５】
また、本実施形態においては、例えば、第１の画素４０１の信号を第１のＳＨ回路に保持するために、ＳＨトランジスタＴｓｈ１をオフしているので、共通入力ノード３０２と蓄積ノード３１１は電気的に切り離されている。そして、第４の動作条件として、「第１〜第４の読み出し転送動作（Ｔｆ１〜Ｔｆ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たしている。そのため、第１の読み出し転送動作（Ｔｆ１）に続けて第１の蓄積読み出し動作（Ｒｄ１）を開始し、同様に、第２〜第４の読み出し転送動作（Ｔｆ２〜Ｔｆ４）に続けて、対応する第２〜第４の蓄積読み出し動作（Ｒｄ２〜Ｒｄ４）を開始してもよい。これにより、図１４（ａ）においては、時刻ｔ４１、ｔ４２、ｔ４３、ｔ４４が、対応する時刻ｔ２２、ｔ２３、ｔ２４、ｔ４１に重なる。そのため、第１の読み出し転送動作の開始から第１の蓄積読み出し動作の開始までとなる時刻ｔ２１〜４１までに発生する暗電流やリーク電流としてのＤｒｋＡを低減することが可能となる。さらに、図１４（ａ）における時刻ｔ２２〜ｔ４１までの期間だけであるが、撮像動作期間が短縮されるという効果もある。
【０１０６】
以上のように、第１の半導体基板２０の画素セル１００に設けられた複数の画素４０１〜４０４が、出力となるソースフォロア回路を共有し、第２の半導体基板２１の蓄積セル２００に設けられた複数のＳＨ回路が、入力となるクランプ容量Ｃｃｌｐを共有する。さらに、第２の半導体基板２１の蓄積セル２００に設けられた複数のＳＨ回路と対応する複数の列信号処理部２０３ａ，２０３ｂが、列信号線２３１を共有している。撮像装置は、第１の動作条件である「第１、第２、第３及び第４の読み出し転送動作それぞれが重ならないこと」、及び、第２の動作条件である「第１、第２、第３及び第４の蓄積読み出し動作それぞれが重ならないこと」を満たしている。さらに、撮像装置は、第４の動作条件である「第１、第２、第３及び第４の読み出し転送動作それぞれの終了時間差は、対応する第１、第２、第３及び第４の蓄積読み出し動作それぞれの開始時間差に等しいこと」を満たしている。これにより、第１〜第４の画素４０１〜４０４のそれぞれの信号電荷のすべてを分けて読み出すことで、画素からＳＨ回路への転送に対して読み出し転送動作の時間差を持った疑似グローバルシャッタ機能を実現する。さらに、第１、第２、第３及び第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させることで、動作時間の不整合による縦筋等の画質の低下を防止することが可能となっている。
【０１０７】
また、第２の半導体基板２１の蓄積領域２０１からは、蓄積読み出し動作の時間差を持った第１〜第４の画素４０１〜４０４の信号を画素セル１００の１行毎に連続して出力する必要がある。そのため、第３の動作条件である「第１、第２、第３及び第４の水平出力動作それぞれの終了時間差は、対応する第１、第２、第３及び第４の蓄積読み出し動作それぞれの開始時間差に等しいこと」を満たしていることがわかる。これら、第１、第２、第３及び第４の動作条件すべてを満たすことにより、第１〜第４の画素４０１〜４０４の信号の蓄積動作時における蓄積状態の差を解消させる。これにより、蓄積領域２０１で発生する暗電流やリーク電流の影響をシェーディングのみに限定することができるので、単純な暗時画像の減算等だけで補正することを可能にしている。さらに、列信号線２３１に複数の列信号処理部２０３ａ，２０３ｂが備えられている。そのため、複数の画素４０１〜４０４の信号に対して蓄積読み出し動作の時間差を利用した共通の列信号線２３１と異なる列信号処理部２０３ａ，２０３ｂを用いて並列的に出力することが可能となり、撮像装置における高速読み出し動作を実現している。本実施形態においては、画素セル１００の１行毎に第１、第２、第３及び第４の画素４０１〜４０４の信号を同時並列的に出力することが可能となるので、４倍のフレームレートが実現できることになる。これにより、本実施形態においては、画素の１行毎に順番に全行を読み出す動作に比べて、読み出し時間は１／４分になっている。
【０１０８】
（第３の実施形態）
次に、図１〜図４、図７、図１０及び図１１に加えて、図１５〜図１７を参照して、本発明の第３の実施形態について説明する。第３の実施形態では、第１の半導体基板２０の画素セル１００が４個の画素４０１〜４０４からなり、図７のように、第２の半導体基板２１の列信号処理部２０３ａ，２０３ｂがそれぞれ１個のアナログデジタル変換回路から構成されている場合について説明する。なお、本実施形態では、撮像装置の基本的な構成と動作及び撮像素子の基本的な構成と動作は、第１の実施形態と同様であるので、同じ図及び符号を用いて説明する。また、第１の半導体基板２０の画素セル１００が４個の画素４０１〜４０４からなり、第２の半導体基板２１の蓄積セル２００が４個のＳＨ回路からなる画素部の回路構成は図１０に示し、第１の半導体基板２０の画素セル１００の構成は図１１に示す。
【０１０９】
図１５（ａ）〜（ｅ）は、本実施形態に係る撮像素子１２の動作タイミングを示す図である。第１の半導体基板２０の画素領域１０１に配列された画素セル１００内の画素を第１の画素（奇数行奇数列画素）４０１、第２の画素（奇数行偶数列画素）４０２、第３の画素（偶数行奇数列画素）４０３、第４の画素（偶数行偶数列画素）４０４に分けて制御する。画素領域１０１のすべてにおいて、４つに分けられた画素４０１〜４０４のそれぞれを同時に読み出し、かつ、読み出し時間差を設けて４回に分けて対応する第１、第２、第３及び第４のＳＨ回路に転送する場合を例にして説明する。そして、第２の半導体基板２１の蓄積領域２０１からは、１行分の画素セル１００に対応する蓄積セル２００の第１、第２、第３及び第４の画素４０１〜４０４に対応する第１、第２、第３及び第４のＳＨ回路に保持する信号を順番に出力する場合を例にして説明する。この時、列信号処理部２０３ａ，２０３ｂは、アナログデジタル変換回路を１個だけ備える図７の構成とする。さらに、第１の半導体基板２０と第２の半導体基板２１を組み合わせて積層した構成の撮像素子１２の動作条件について説明する。ここで、例えば、第１の画素セル（Ｐ１１）とそれに対応する第１の蓄積セル（Ｓ１１）を合わせて第１の画素部と呼ぶことにする。
【０１１０】
まず始めに、図１５（ａ）を用いて、本実施形態に係る撮像素子１２の基本動作のタイミングを説明する。図１５（ａ）は、図１３（ａ）の基本動作のタイミングとほぼ同様な動作となるため、詳細な説明は省略し、動作の異なる部分のみ説明する。まず、時刻ｔ１１〜ｔ４１までの期間は、図１３（ａ）の基本動作と同様に、第１、第２、第３及び第４の画素４０１〜４０４の画素リセット動作から、対応する第１、第２、第３及び第４のＳＨ回路への画素信号の読み出し転送動作までを実施する。このため、本実施形態の第１の動作条件として、「第１、第２、第３及び第４の読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）のそれぞれが重ならないこと」を満たす必要があることがわかる。次に、時刻ｔ４１、ｔ４２以降において、第１及び第２のＳＨ回路のそれぞれが保持する第１及び第２の画素４０１、４０２の信号に対する第１及び第２の蓄積読み出し動作（Ｒｄ１、Ｒｄ２）が実施される。同様に、第１及び第２の信号処理動作（ＡＤ１、ＡＤ２）及び第１及び第２の水平出力動作（Ｄｏ１、Ｄｏ２）が実施される。この動作は、列信号処理部２０３がアナログデジタル変換回路を１個だけ備える図７の動作なので、それぞれ図８（ａ）の時刻ｔ４１〜ｔ７１、ｔ４２〜ｔ７２と同じ動作となる。この時、図７で説明したように、第１列信号処理部２０３ａは、アナログデジタル変換回路を１個だけ備える。そのため、第１の画素４０１と第３の画素４０３に対する信号処理動作（ＡＤ１、ＡＤ３）及び水平出力動作（Ｄｏ１、Ｄｏ３）をそれぞれ同時に実施することはできない。しかしながら、第１の信号処理動作（ＡＤ１）においては、時刻ｔ４３の信号処理動作終了前に、ラッチ回路５４１が保持する第１の画素４０１のデジタル信号をメモリ回路５５１に記憶させてある。そのため、時刻ｔ４３以降であれば、ラッチ回路５４１以前の列信号処理回路は使用可能となる。そこで、時刻ｔ４３において、第３の画素４０３に対する第３の蓄積読み出し動作（Ｒｄ３）を開始できる。
【０１１１】
同じく、第２列信号処理部２０３ｂも、アナログデジタル変換回路を１個だけ備えるため、第２の画素４０２と第４の画素４０４に対する信号処理動作（ＡＤ２、ＡＤ４）及び水平出力動作（Ｄｏ２、Ｄｏ４）をそれぞれ同時に実施することはできない。そこで、同様に、第２の信号処理動作（ＡＤ２）において、ラッチ回路５４１が保持する第２の画素４０２のデジタル信号をメモリ回路５５１に記憶させた時刻ｔ４４以降であれば、ラッチ回路５４１以前の列信号処理回路は使用可能となる。そのため、時刻ｔ４４において、第４の画素４０４に対する第４の蓄積読み出し動作（Ｒｄ４）を開始する。
【０１１２】
以上の説明で、図３の第２の半導体基板２１に図５の画素部と図７の列信号処理部２０３を組み合わせた第５の動作条件を満たす必要があることもわかる。第５の動作条件は、「第１の信号処理動作（ＡＤ１）と第３の信号処理動作（ＡＤ３）が重ならないこと、及び、第２の信号処理動作（ＡＤ２）と第４の信号処理動作（ＡＤ４）が重ならないこと」である。それと同時に、本実施形態の第２の動作条件として、「第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）のそれぞれが重ならないこと」を満たす必要があることがわかる。また、図３の第２の半導体基板２１と図７の列信号処理部２０３の組み合わせで明らかなように、第１の画素信号と第３の画素信号の水平出力動作（Ｄｏ１、Ｄｏ３）が、第１出力線２５１ａ及び第１出力部２０５ａを共有する。そして、第２の画素信号と第４の画素信号の水平出力動作（Ｄｏ２、Ｄｏ４）が、第２出力線２５１ｂ及び第２出力部２０５ｂを共有する。そこで、第６の動作条件として、「第１の水平出力動作（Ｄｏ１）と第３の水平出力動作（Ｄｏ３）が重ならないこと、及び、第２の水平出力動作（Ｄｏ２）と第４の水平出力動作（Ｄｏ４）が重ならないこと」を満たす必要があることもわかる。そして、第５の動作条件を満たしながら、第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始から、第１〜第４の水平出力動作（Ｄｏ１〜Ｄｏ４）のそれぞれの終了まで、連続した列信号処理部の動作を実施可能である。そこで、画素領域１０１に配列された画素の信号を、第１、第２、第３及び第４の画素４０１〜４０４の信号として、それぞれ出力動作を時間差持った重ね読みにより、第１出力部２０５ａ及び第２出力部２０５ｂを介して撮像素子１２から出力できることがわかる。
【０１１３】
これにより、連続出力動作のための第３の動作条件として、「第１〜第４の水平出力動作（Ｄｏ１〜Ｄｏ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たす必要がある。さらに、図１３（ａ）で説明したように、第１、第２、第３及び第４の画素４０１〜４０４の信号の蓄積動作における蓄積時間を等しくして蓄積状態の差を解消する必要がある。そのため、第４の動作条件として、「第１〜第４の読み出し転送動作（Ｔｆ１〜Ｔｆ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たす必要があることがわかる。
【０１１４】
また、本実施形態においては、時刻ｔ１１、ｔ１２、ｔ１３、ｔ１４が、それぞれ第１、第２、第３及び第４の画素リセット動作の開始を示す。時刻ｔ２１、ｔ２２、ｔ２３、ｔ２４が、それぞれ第１、第２、第３及び第４の読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）の開始を示す。時刻ｔ４１、ｔ４２、ｔ４３、ｔ４４が、それぞれ第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）の開始を示す。時刻ｔ６１、ｔ６２、ｔ６３、ｔ６４が、それぞれ第１、第２、第３及び第４の水平出力動作（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）の開始を示す。時刻ｔ７１、ｔ７２、ｔ７３、ｔ７４が、それぞれ第１、第２、第３及び第４の水平出力動作（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）の終了を示す。さらに、必要に応じて、時刻ｔ３１、ｔ３２、ｔ３３、ｔ３４が、それぞれ第１、第２、第３及び第４の読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）の終了を示す。時刻ｔ５１、ｔ５２、ｔ５３、ｔ５４が、それぞれ第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）の終了と同時に、第１、第２、第３及び第４の信号処理動作（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）の開始を示す。そして、各動作のタイミングが重なった場合には、適宜どれかを選択して表示することにする。
【０１１５】
図１５（ｂ）は、図１４（ｂ）と同様に、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）が、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）より長い場合の動作タイミングである。図１５（ｂ）においては、蓄積読み出し動作の開始が、図１５（ａ）と同様の場合においても、本実施形態の動作条件の内、第１、第２、第３、第５及び第６の動作条件は満たしているが、第４の動作条件を満たしていない。そこで、例えば、時刻ｔ２２〜ｔ２３までの期間と時刻ｔ４１〜ｔ４２までの期間が等しくなるように、第１の蓄積読み出し動作（Ｒｄ１）の終了から第２の蓄積読み出し動作（Ｒｄ２）の開始までに、時刻ｔ５１〜ｔ４２までの調整時間を追加している。これにより、第４の動作条件「第１〜第４の読み出し転送動作（Ｔｆ１〜Ｔｆ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たすことになる。同時に、例えば、時刻ｔ４１〜ｔ４２までの期間と時刻ｔ４４〜ｔ７２までの期間が等しくなるので、第３の動作条件を満たすことは明らかである。さらに、図１５（ｂ）においては、第４の動作条件を満たすように、調整時間を追加することで、第５及び第６の動作条件も満たすことになる。このように、読み出し転送動作期間が、蓄積読み出し動作期間より長い場合がある。その場合、蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）を連続させて最適化するのではなく、それぞれに調整時間を挿入することで、第１〜第４の画素４０１〜４０１のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１１６】
図１５（ｃ）は、図１４（ｃ）と同様に、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）より長い場合の動作タイミングである。図１５（ｂ）においては、読み出し転送動作の開始が、図１５（ａ）と同様の場合においても、本実施形態の動作条件の内、第１、第２、第３、第５及び第６の動作条件は満たしているが、第４の動作条件を満たしていない。そこで、例えば、時刻ｔ３１〜ｔ３２までの期間と時刻ｔ４１〜ｔ４２までの期間が等しくなるように、第１の読み出し転送動作（Ｔｆ１）の終了から第２の読み出し転送動作（Ｔｆ２）の開始までに、時刻ｔ３１〜ｔ２２までの調整時間を追加している。これにより、第４の動作条件「第１〜第４の読み出し転送動作（Ｔｆ１〜Ｔｆ４）のそれぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）のそれぞれの開始時間差に等しいこと」を満たすことになる。このように、蓄積読み出し動作期間が、読み出し転送動作期間より長い場合がある。その場合、読み出し転送動作（Ｔｆ１〜Ｔｆ４）を連続させて最適化するのではなく、調整時間を挿入することで、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１１７】
図１５（ｄ）は、図１４（ｄ）と同様に、信号処理動作期間（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）及び蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）より長い場合の動作タイミングである。図１５（ｄ）においては、第５の動作条件「第１の信号処理動作（ＡＤ１）と第３の信号処理動作（ＡＤ３）が重ならないこと、及び、第２の信号処理動作（ＡＤ２）と第４の信号処理動作（ＡＤ４）が重ならないこと」を満たす必要がある。そのため、時刻ｔ４３において、第１の信号処理動作（ＡＤ１）の終了に続けて第３の蓄積読み出し動作（Ｒｄ３）を開始するとともに、時刻ｔ４４において、第２の信号処理動作（ＡＤ２）の終了に続けて第４の蓄積読み出し動作（Ｒｄ４）を開始する。そして、第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）が等間隔で開始するように、それぞれが等しい時刻ｔ５１〜ｔ４２、ｔ５２〜ｔ４３、ｔ５３〜ｔ４４までの調整時間を追加している。さらに、蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）に対する調整時間の追加に合わせて、読み出し転送動作（Ｔｆ１〜Ｔｆ４）に対しても、それぞれが等しい時刻ｔ３１〜ｔ２２、ｔ３２〜ｔ２３、ｔ３３〜ｔ２４までの調整時間を追加している。これにより、本実施形態の動作条件の内、第１、第２、第４及び第５の動作条件は満たすことになる。同時に、例えば、時刻ｔ４１〜ｔ４２までの期間と時刻ｔ７１〜ｔ７２までの期間が等しくなるので、第３の動作条件を満たすことは明らかである。さらに、図１５（ｄ）においては、第１、第２及び第４の動作条件を満たすように、調整時間を追加しているので、第６の動作条件も満たすことになる。このように、信号処理動作期間が、読み出し転送動作期間及び蓄積読み出し動作期間より長い場合がある。その場合、読み出し転送動作（Ｔｆ１〜Ｔｆ４）を連続させて最適化するのではなく、蓄積読み出し動作に対する調整時間の追加に合わせて、調整時間を挿入する。これにより、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１１８】
図１５（ｅ）は、図１４（ｅ）と同様に、水平出力動作期間（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）が、対応する蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）と信号処理動作期間（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）を加えた時間より長い。図１５（ｅ）においては、第６の動作条件「第１の水平出力動作（Ｄｏ１）と第３の水平出力動作（Ｄｏ３）が重ならないこと、及び、第２の水平出力動作（Ｄｏ２）と第４の水平出力動作（Ｄｏ４）が重ならないこと」を満たす必要がある。そのため、時刻ｔ７１において、第１の水平出力動作（Ｄｏ１）の終了に続けて第３の水平出力動作（Ｄｏ３）を開始するとともに、時刻ｔ７２において、第２の水平出力動作（Ｄｏ２）の終了に続けて第４の水平出力動作（Ｄｏ４）を開始する。そして、第１、第２、第３及び第４の蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）が等間隔で開始するように、それぞれが等しい時刻ｔ５１〜ｔ４２、ｔ５２〜ｔ４３、ｔ５３〜ｔ４４までの調整時間を追加している。蓄積読み出し動作（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）に対する調整時間の追加に合わせて、読み出し転送動作（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）に対しても、それぞれが等しい時刻ｔ３１〜ｔ２２、ｔ３２〜ｔ２３、ｔ３３〜ｔ２４の調整時間を追加している。これにより、本実施形態の動作条件の内、第１、第２、第４及び第６の動作条件は満たすことになる。同時に、例えば、時刻ｔ４１〜ｔ４２までの期間と時刻ｔ７１〜ｔ７２までの期間が等しくなるので、第３の動作条件を満たすことは明らかである。さらに、図１５（ｅ）においては、第１、第２及び第４の動作条件を満たすように、調整時間を追加しているので、第５の動作条件も満たすことになる。このように、水平出力動作期間が、対応する蓄積読み出し動作期間と信号処理動作期間を加えた時間より長い場合がある。その場合、読み出し転送動作（Ｔｆ１〜Ｔｆ４）を連続させて最適化するのではなく、蓄積読み出し動作に対する調整時間の追加に合わせて、調整時間を挿入する。これにより、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１１９】
図１６（ａ）〜（ｅ）は、本実施形態に係る撮像素子１２の動作タイミングの別の例を示す図である。本実施形態の読み出し転送動作においては、第１の半導体基板２０の画素に蓄積している信号電荷をＦＤ容量Ｃｆｄに転送し、画素セル１００のソースフォロア回路を動作させる。そして、画素の信号として、第２の半導体基板２１の蓄積セル２００でクランプ動作を実施した後に、ＳＨ回路に保持する。これに対して、蓄積読み出し動作においては、蓄積セル２００のＳＨ回路に保持される画素の信号を蓄積セル２００のソースフォロア回路を動作させて、列信号処理部２０３のサンプルホールド回路５１１に保持させる。このため、読み出し転送動作の方が蓄積読み出し動作よりも時間がかかると考えられる。そこで、図１６（ａ）〜（ｅ）においては、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）より常に短い場合について説明する。
【０１２０】
図１６（ａ）は、蓄積読み出し動作期間が、読み出し転送動作期間より常に短い場合の撮像素子１２の基本動作のタイミングとなる。図１６（ａ）においては、例えば、時刻ｔ２２〜ｔ２３までの期間と時刻ｔ４１〜ｔ４２までの期間を等しくするために、時刻ｔ５１〜ｔ４２までの調整時間を追加している。また、第１の信号処理動作（ＡＤ１）の終了に続けて第３の蓄積読み出し動作（Ｒｄ３）を開始するために、第１の信号処理動作期間（ＡＤ１）を時刻ｔ５１からｔ４３としている。そして、第２、第３及び第４の信号処理動作（ＡＤ２、ＡＤ３、ＡＤ４）も同様とする。これにより、図１６（ａ）においては、第１、第２、第３、第４、第５及び第６の動作条件すべてを満たすことになる。
【０１２１】
図１６（ｂ）は、図１５（ｂ）と同様に、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）が、蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）より長い場合の動作タイミングである。例えば、時刻ｔ５１〜ｔ４２までの調整時間を、図１６（ａ）より長くとっている。これにより、図１６（ｂ）においては、第１、第２、第３、第４、第５及び第６の動作条件すべてを満たすことになる。このように、読み出し転送動作期間が、蓄積読み出し動作期間より長い場合がある。その場合、蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）を連続させて最適化するのではなく、それぞれに調整時間を挿入することで、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１２２】
図１６（ｃ）は、図１５（ｄ）と同様に、信号処理動作期間（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）及び蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）より長い場合の動作タイミングである。この場合は、動作タイミングが信号処理動作によって制限されるため、例えば、第１の蓄積読み出し動作（Ｒｄ１）終了から第２の蓄積読み出し動作（Ｒｄ２）の開始までの間に時刻ｔ５１〜ｔ４２までの調整時間を追加する。そして、第１の読み出し転送動作（Ｔｆ１）終了から第２の読み出し転送動作（Ｔｆ２）の開始までの間に時刻ｔ３１〜ｔ２２までの調整時間を追加する。これにより、図１６（ｃ）においては、第１、第２、第３、第４、第５及び第６の動作条件すべてを満たすことになる。このように、信号処理動作期間が、読み出し転送動作期間及び蓄積読み出し動作期間より長い場合がある。その場合、読み出し転送動作（Ｔｆ１〜Ｔｆ４）を連続させて最適化するのではなく、蓄積読み出し動作に対する調整時間の追加に合わせて、調整時間を挿入する。これにより、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１２３】
図１６（ｄ）は、図１５（ｅ）と同様に、水平出力動作期間（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）が、対応する蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）と信号処理動作期間（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）を加えた時間より長い。この場合は、動作タイミングが水平出力動作によって制限されるため、例えば、第１の蓄積読み出し動作（Ｒｄ１）終了から第２の蓄積読み出し動作（Ｒｄ２）の開始までの間に時刻ｔ５１〜ｔ４２までの調整時間を追加する。そして、第１の読み出し転送動作（Ｔｆ１）終了から第２の読み出し転送動作（Ｔｆ２）の開始までの間に時刻ｔ３１〜ｔ２２までの調整時間を追加する。これにより、図１６（ｄ）においては、第１、第２、第３、第４、第５及び第６の動作条件すべてを満たすことになる。このように、水平出力動作期間が、対応する蓄積読み出し動作期間と信号処理動作期間を加えた時間より長い場合がある。その場合、読み出し転送動作（Ｔｆ１〜Ｔｆ４）を連続させて最適化するのではなく、蓄積読み出し動作に対する調整時間の追加に合わせて、調整時間を挿入する。これにより、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１２４】
これに対して、図１６（ｅ）は、図１６（ａ）より長くなった図１６（ｂ）〜（ｄ）の各動作の動作期間を組み合わせた動作タイミングとなっている。図１６（ｅ）においては、図１６（ｂ）の読み出し転送動作期間（Ｔｆ１〜Ｔｆ４）、図１６（ｃ）の信号処理動作期間（ＡＤ１〜ＡＤ４）、図１６（ｄ）の水平出力動作期間（Ｄｏ１〜Ｄｏ４）を組み合わせてある。例えば、第１の蓄積読み出し動作（Ｒｄ１）終了から第２の蓄積読み出し動作（Ｒｄ２）の開始までの間に時刻ｔ５１〜ｔ４２までの調整時間を追加する。そして、第１の読み出し転送動作（Ｔｆ１）終了から第２の読み出し転送動作（Ｔｆ２）の開始までの間に時刻ｔ３１〜ｔ２２までの調整時間を追加する。これにより、第１、第２、第３、第４、第５及び第６の動作条件すべてを満たすことになる。さらに、図１６（ｅ）においては、各動作期間のそれぞれが、図１６（ａ）と図１６（ｅ）の間に設定されたとしても、４つの動作条件すべてを満たした動作タイミングが実現可能となっている。
【０１２５】
図１７（ａ）〜（ｃ）は、本実施形態に係る撮像素子１２の動作タイミングのさらに別の例を示す図である。図１６（ａ）〜（ｅ）においては、蓄積読み出し動作期間が、読み出し転送動作期間より常に短い場合について説明した。また、列信号処理部２０３がアナログデジタル変換回路を１個だけ備えるため、第１の画素信号と第３の画素信号、あるいは、第２の画素信号と第４の画素信号に対する信号処理動作及び水平出力動作をそれぞれ同時に実施することはできない。そのため、図１６（ｃ）及び（ｄ）の動作タイミングは、それぞれ信号処理動作及び水平出力動作によって制限される。さらに、第１、第２、第３及び第４の画素４０１〜４０４の信号の蓄積動作時における蓄積状態の差が発生する期間としては、読み出し転送動作の開始から蓄積読み出し動作の開始までとなるため、この期間をさらに短縮することは重要となる。そこで、図１７（ａ）〜（ｃ）においては、動作タイミングが信号処理動作及び水平出力動作によって制限される場合のさらに別の例について説明する。ここで、図１７（ａ）は、図１７（ｂ）〜（ｃ）と比較しやすいように、図１６（ａ）の基本動作タイミングをそのまま示す。
【０１２６】
図１７（ｂ）は、図１６（ｃ）と同様に、信号処理動作期間（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）が、読み出し転送動作期間（Ｔｆ１、Ｔｆ２、Ｔｆ３、Ｔｆ４）及び蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）より長い場合の動作タイミングである。この場合は、例えば、図１６（ｃ）の時刻ｔ３１〜ｔ２２、ｔ３３〜ｔ２４までの期間を削除して、それぞれ第１及び第２の読み出し転送動作期間（Ｔｆ１、Ｔｆ２）と第３及び第４の読み出し転送動作期間（Ｔｆ３、Ｔｆ４）を連続させる。これに合わせて、図１６（ｃ）の時刻ｔ５１〜ｔ４２、ｔ５３〜ｔ４４までを、それぞれ時刻ｔ３１〜ｔ２２、ｔ３３〜ｔ２４だけ短縮させて、第２及び第４の蓄積読み出し動作期間（Ｒｄ２、Ｒｄ４）の開始時間を早める。これにより、図１７（ｂ）のように、第１、第２、第３及び第４の画素信号の蓄積動作期間が短縮される。
【０１２７】
また、第２及び第３の読み出し転送動作期間（Ｔｆ２、Ｔｆ３）の終了時間差が、他の読み出し転送動作期間の終了時間差よりも長くなっている。同様に、第２及び第３の蓄積読み出し動作期間（Ｒｄ２、Ｒｄ３）の開始時間差が、他の読み出し転送動作期間の終了時間差よりも長くなっている。しかしながら、第２及び第３の読み出し転送動作期間（Ｔｆ２、Ｔｆ３）の終了時間差ｔ３２〜ｔ２４と第２及び第３の蓄積読み出し動作期間（Ｒｄ２、Ｒｄ３）の開始時間差ｔ４２〜ｔ４３は等しい。そのため、図１７の動作タイミングを含むように拡張する必要がある。第４の動作条件としては、「読み出し転送動作（Ｔｆ１〜Ｔｆ４）における連続する読み出し転送動作それぞれの終了時間差は、対応する蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）における連続する蓄積読み出し動作それぞれの開始時間差に等しいこと」となる。
【０１２８】
同様に、第２及び第３の水平出力動作期間（Ｄｏ２、Ｄｏ３）の終了時間差ｔ７２〜ｔ７３は、対応する第２及び第３の蓄積読み出し動作期間（Ｒｄ２、Ｒｄ３）の開始時間差ｔ４２〜ｔ４３に等しい。そのため、図１７の動作タイミングを含むように拡張する必要がある。第３の動作条件としては、「水平出力動作（Ｄｏ１〜Ｄｏ４）における連続する水平出力動作それぞれの終了時間差は、対応する蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）における連続する蓄積読み出し動作それぞれの開始時間差に等しいこと」となる。これにより、図１７（ｂ）においては、第１、第２、第３、第４、第５及び第６の動作条件すべてを満たすことになる。このように、信号処理動作期間が、読み出し転送動作期間及び蓄積読み出し動作期間より長い場合がある。その場合、読み出し転送動作（Ｔｆ１〜Ｔｆ４）を連続させて最適化するのではなく、蓄積読み出し動作に対する調整時間の追加に合わせて、調整時間を挿入する。これにより、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１２９】
また、本実施形態の画素セル１００は、図１１で説明したように、第１、第２、第３及び第４の画素４０１〜４０４が２×２に配列されている。そのため、第１の画素４０１及び第２の画素４０２が、１行目（奇数行）の画素となり、第３の画素４０３及び第４の画素４０４が、２行目（偶数行）の画素となっている。このため、第１の画素信号と第３の画素信号及び第２の画素信号と第４の画素信号の間にある動作期間の差は、異なる行になる。そのため、行間で画素信号の蓄積動作時における蓄積状態に差があった場合においては、画像の上から下への行数に比例したシェーディングとなって表れる。そこで、第２の実施形態で説明した撮像画像全体の暗電流やリーク電流の補正を奇数行画素と偶数行画素に分けて実施することで、この差を補正することができる。
【０１３０】
図１７（ｃ）は、図１６（ｄ）と同様に、水平出力動作期間（Ｄｏ１、Ｄｏ２、Ｄｏ３、Ｄｏ４）が、対応する蓄積読み出し動作期間（Ｒｄ１、Ｒｄ２、Ｒｄ３、Ｒｄ４）と信号処理動作期間（ＡＤ１、ＡＤ２、ＡＤ３、ＡＤ４）を加えた時間より長い。この場合は、例えば、図１６（ｄ）の時刻ｔ３１〜ｔ２２、ｔ３３〜ｔ２４までの期間を削除して、それぞれ第１及び第２の読み出し転送動作期間（Ｔｆ１、Ｔｆ２）と第３及び第４の読み出し転送動作期間（Ｔｆ３、Ｔｆ４）を連続させる。これに合わせて、図１６（ｄ）の時刻ｔ５１〜ｔ４２、ｔ５３〜ｔ４４までを、それぞれ時刻ｔ３１〜ｔ２２、ｔ３３〜ｔ２４だけ短縮させて、第２及び第４の蓄積読み出し動作期間（Ｒｄ２、Ｒｄ４）の開始時間を早める。これにより、図１７（ｃ）のように、第１、第２、第３及び第４の画素信号の蓄積動作期間が短縮される。
【０１３１】
また、第２及び第３の読み出し転送動作期間（Ｔｆ２、Ｔｆ３）の終了時間差が、他の読み出し転送動作期間の終了時間差よりも長くなっている。同様に、第２及び第３の蓄積読み出し動作期間（Ｒｄ２、Ｒｄ３）の開始時間差が、他の読み出し転送動作期間の終了時間差よりも長くなっている。しかしながら、第２及び第３の読み出し転送動作期間（Ｔｆ２、Ｔｆ３）の終了時間差と第２及び第３の蓄積読み出し動作期間（Ｒｄ２、Ｒｄ３）の開始時間差は等しいので、図１７の動作タイミングを含む第４の動作条件を満たしている。同様に、第２及び第３の水平出力動作期間（Ｄｏ２、Ｄｏ３）の終了時間差は、対応する第２及び第３の蓄積読み出し動作期間（Ｒｄ２、Ｒｄ３）の開始時間差に等しいので、図１７の動作タイミングを含む第３の動作条件を満たしている。これにより、図１７（ｃ）においては、第１、第２、第３、第４、第５及び第６の動作条件すべてを満たすことになる。このように、水平出力動作期間が、対応する蓄積読み出し動作期間と信号処理動作期間を加えた時間より長い場合がある。その場合、読み出し転送動作（Ｔｆ１〜Ｔｆ４）を連続させて最適化するのではなく、蓄積読み出し動作に対する調整時間の追加に合わせて、調整時間を挿入する。これにより、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させた方がよい。
【０１３２】
また、第１の画素信号と第３の画素信号及び第２の画素信号と第４の画素信号の間にある動作期間の差による蓄積状態に差があった場合を説明する。この場合、図１７（ｂ）と同様に、第２の実施形態で説明した撮像画像全体の暗電流やリーク電流の補正を奇数行画素と偶数行画素に分けて実施することで、この差を補正することができる。また、第４の動作条件は、「読み出し転送動作（Ｔｆ１〜Ｔｆ４）における連続する読み出し転送動作それぞれの終了時間差は、対応する蓄積読み出し動作（Ｒｄ１〜Ｒｄ４）における連続する蓄積読み出し動作それぞれの開始時間差に等しいこと」を満たしている。そのため、第１の読み出し転送動作（Ｔｆ１）に続けて第１の蓄積読み出し動作（Ｒｄ１）を開始してもよい。同様に、第２、第３及び第４の読み出し転送動作（Ｔｆ２、Ｔｆ３、Ｔｆ４）に続けて、対応する第２、第３及び第４の蓄積読み出し動作（Ｒｄ２、Ｒｄ３、Ｒｄ４）を開始してもよい。これにより、第１の読み出し転送動作の開始から第１の蓄積読み出し動作の開始までとなる時刻ｔ２１〜４１までに発生する暗電流やリーク電流としてのＤｒｋＡを低減することが可能となる。さらに、撮像動作期間が短縮されるという効果もある。
【０１３３】
以上のように、第１の半導体基板２０の画素セル１００に設けられた複数の画素４０１〜４０４が、出力となるソースフォロア回路を共有し、第２の半導体基板２１の蓄積セル２００に設けられた複数のＳＨ回路が、入力となるクランプ容量Ｃｃｌｐを共有する。さらに、第２の半導体基板２１の蓄積セル２００に設けられた複数のＳＨ回路と対応する複数の列信号処理部２０３ａ，２０３ｂが、列信号線２３１を共有している。撮像装置は、第１の動作条件である「第１、第２、第３及び第４の読み出し転送動作それぞれが重ならないこと」、及び、第２の動作条件である「第１、第２、第３及び第４の蓄積読み出し動作それぞれが重ならないこと」を満たしている。また、撮像装置は、第４の動作条件である「第１〜第４の読み出し転送動作における連続する読み出し転送動作それぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作における連続する蓄積読み出し動作それぞれの開始時間差に等しいこと」を満たす。これにより、第１〜第４の画素４０１〜４０４のそれぞれの信号電荷のすべてを分けて読み出すことで、画素からＳＨ回路への転送に対して読み出し転送動作の時間差を持った疑似グローバルシャッタ機能を実現すると。また、第１〜第４の画素４０１〜４０４のそれぞれの信号の蓄積動作時における蓄積状態の差を解消させることで、動作時間の不整合による縦筋等の画質の低下を防止することが可能となっている。
【０１３４】
また、第２の半導体基板２１の蓄積領域２０１からは、蓄積読み出し動作の時間差を持った第１〜第４の画素４０１〜４０４の信号を画素セル１００の１行毎に連続して出力する。そのため、第３の動作条件である「第１〜第４の水平出力動作における連続する水平出力動作それぞれの終了時間差は、対応する第１〜第４の蓄積読み出し動作における連続する蓄積読み出し動作それぞれの開始時間差に等しいこと」を満たしていることがわかる。さらに、蓄積セル２００の４個の画素４０１〜４０４の信号を２個のアナログデジタル変換回路を用いて出力する。そのため、第５の動作条件と第６お動作条件を満たす。第５の動作条件は、「第１の信号処理動作と第３の信号処理動作が重ならないこと、及び、第２の信号処理動作と第４の信号処理動作が重ならないこと」である。第６の動作条件は、「第１の水平出力動作と第３の水平出力動作が重ならないこと、及び、第２の水平出力動作と第４の水平出力動作が重ならないこと」である。
【０１３５】
これら、第１、第２、第３、第４、第５及び第６の動作条件すべてを満たすことにより、第１、第２、第３及び第４の画素４０１〜４０４の信号の蓄積動作時における蓄積状態の差を解消させる。これにより、蓄積領域で発生する暗電流やリーク電流の影響をシェーディングのみに限定することができるので、単純な暗時画像の減算等だけで補正することを可能にしている。さらに、列信号線２３１に複数の列信号処理部２０３ａ，２０３ｂが備えられている。そのため、複数の画素４０１〜４０４の信号に対して蓄積読み出し動作の時間差を利用した共通の列信号線２３１と異なる列信号処理部２０３ａ，２０３ｂを用いて並列的に出力することが可能となる。これにより、撮像装置における高速読み出し動作を実現している。本実施形態においては、画素セル１００の１行毎に第１、第２、第３及び第４の画素４０１〜４０４の信号を同時並列的に出力することが可能となるので、４倍のフレームレートが実現できることになる。これにより、本実施形態においては、画素の１行毎に順番に全行を読み出す動作に比べて、読み出し時間は１／４分になっている。
【０１３６】
第１〜第３の実施形態によれば、第１の半導体基板２０と第２の半導体基板２１を積層し、グローバルシャッタ機能を備えた撮像素子１２を用いることで、高速読み出し動作の実現と撮影画像の品質向上を実現することができる。
【０１３７】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【０１３８】
２０  第１の半導体基板、２１  第２の半導体基板、２２、２３、２５、２６  マイクロパッド、２４、２７  マイクロバンプ、１００  画素セル、２００  蓄積セル、Ｄ１、Ｄ２、Ｄ３、Ｄ４  光電変換素子、Ｔｐｘ１、Ｔｐｘ２、Ｔｐｘ３、Ｔｐｘ４  転送トランジスタ、Ｃｓｔ１、Ｃｓｔ２、Ｃｓｔ３、Ｃｓｔ４  蓄積容量、Ｔｓｈ１、Ｔｓｈ２、Ｔｓｈ３、Ｔｓｈ４  ＳＨトランジスタ、Ｔｓｘ１、Ｔｓｘ２、Ｔｓｘ３、Ｔｓｘ４  選択トランジスタ
【図１】
2018152650.tif 000003
【図２】
2018152650.tif 000004
【図３】
2018152650.tif 000005
【図４】
2018152650.tif 000006
【図５】
2018152650.tif 000007
【図６】
2018152650.tif 000008
【図７】
2018152650.tif 000009
【図８】
2018152650.tif 000010
【図９】
2018152650.tif 000011
【図１０】
2018152650.tif 000012
【図１１】
2018152650.tif 000013
【図１２】
2018152650.tif 000014
【図１３】
2018152650.tif 000015
【図１４】
2018152650.tif 000016
【図１５】
2018152650.tif 000017
【図１６】
2018152650.tif 000018
【図１７】
2018152650.tif 000019