(57)【要約】【課題】  光信号の無駄を抑制しつつ、加算信号を取得することが可能な撮像装置を提供する。【解決手段】  前記第１の電荷保持部は、第１期間に前記光電変換部で生じた電荷を保持した状態で、前記第１期間と連続しない期間であって前記第１期間とは長さが異なる第２期間に前記光電変換部で生じた電荷を保持し、前記第２の電荷保持部は、前記第１期間および前記第２期間とは重複しない期間である第３期間に前記光電変換部で生じた電荷を保持する。【選択図】  図４
2018019353.tif 000002
【特許請求の範囲】
【請求項１】
光電変換部と、前記光電変換部で生じた電荷を保持する第１の電荷保持部と、
前記光電変換部で生じた電荷を保持する第２の電荷保持部と、前記光電変換部で生じた電荷を前記光電変換部から前記第１の電荷保持部へ転送する第１転送部と、前記光電変換部で生じた電荷を前記光電変換部から前記第２の電荷保持部へ転送する第２転送部と、を有する画素が行列状に複数配された撮像装置であって、
前記第１の電荷保持部は、第１期間に前記光電変換部で生じた電荷を保持した状態で、前記第１期間と連続しない期間であって前記第１期間とは長さが異なる第２期間に前記光電変換部で生じた電荷を保持し、
前記第２の電荷保持部は、前記第１期間および前記第２期間とは重複しない期間である第３期間に前記光電変換部で生じた電荷を保持し、
前記第１期間に前記光電変換部で生じた電荷と前記第２期間に前記光電変換部で生じた電荷とを前記第１の電荷保持部で保持する第１の電荷保持期間と、前記第３期間に前記光電変換部で生じた電荷を前記第２の電荷保持部で保持する第２の電荷保持期間とが重複することを特徴とする撮像装置。
【請求項２】
前記第１の電荷保持期間は、前記第１期間および前記第２期間と連続しない期間であって、前記第３期間と重複しない第４期間に前記光電変換部で生じた電荷を保持し、
前記第１期間の終了から前記第２期間の開始までの長さは、前記第２期間の終了から前記第４期間の開始までの長さと異なることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第４期間は、前記第１期間および前記第２期間と異なる長さであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
光電変換部と、前記光電変換部で生じた電荷を保持する第１の電荷保持部と、前記光電変換部で生じた電荷を保持する第２の電荷保持部と、前記光電変換部で生じた電荷を前記光電変換部から前記第１の電荷保持部へ転送する第１転送部と、前記光電変換部で生じた電荷を前記光電変換部から前記第２の電荷保持部へ転送する第２転送部と、を有する画素が行列状に複数配された撮像装置であって、
前記第１の電荷保持部は、第１期間に前記光電変換部で生じた電荷を保持した状態で、前記第１期間と連続しない期間である第２期間に前記光電変換部で生じた電荷を保持し、かつ、前記第１期間および前記第２期間に前記光電変換部で生じた電荷を保持した状態で、前記第１期間および前記第２期間とは連続しない期間である第４期間に前記光電変換部で生じた電荷を保持し、
前記第２の電荷保持部は、前記第１期間、前記第２期間および前記第４期間とは重複しない期間である第３期間に前記光電変換部で生じた電荷を保持し、
前記第１期間の終了から前記第２期間の開始までの長さは、前記第２期間の終了から前記第４期間の開始までの長さと異なり、
前記第１期間に前記光電変換部で生じた電荷、前記第２期間に前記光電変換部で生じた電荷および前記第４期間に前記光電変換部で生じた電荷を保持する第１の電荷保持期間と、前記第３期間に前記光電変換部で生じた電荷を保持する第２の電荷保持期間とが重複することを特徴とする撮像装置。
【請求項５】
前記第１期間、前記第２期間、前記第４期間の少なくとも二つの期間の長さが同じであることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第２の電荷保持期間は、前記第３期間に連続しない期間であって、且つ前記第１期間、前記第２期間および前記第４期間に重複しない第５期間に前記光電変換部で生じた電荷を保持し、
前記第５期間は、前記第２期間の終了から前記第４期間の終了までの少なくとも一部の期間であることを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第３期間は、前記第１期間の終了から前記第２期間の開始までの少なくとも一部の期間であることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記第２の電荷保持期間において前記第２の電荷保持部が保持する電荷の露光関数は、非周期的であることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第１の電荷保持期間において前記第１の電荷保持部が保持する電荷の露光関数は、非周期的であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
前記画素は、前記第１の電荷保持部と前記第２の電荷保持部の少なくとも一方で保持された電荷が転送される入力ノードを有し、前記入力ノードに転送された電荷に基づく信号を出力する増幅部を有し、
前記増幅部から出力されたアナログ信号をデジタル信号に変換するアナログデジタル変換部と、を有し、前記アナログデジタル変換部は、前記第１の電荷保持部に保持された電荷に対応する第１信号と、前記アナログデジタル変換部において変換された前記第２の電荷保持部に保持された電荷に対応する第２信号と、を出力することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
前記アナログデジタル変換部から出力された信号のブレ補正を行う補正部と、
前記補正部から出力された信号を合成する合成部と、を有し、
前記補正部は、前記第１信号のブレを抑えた第１画像信号と、前記第２信号のブレを抑えた第２画像信号とを出力し、
前記第１画像信号と前記第２画像信号とを合成することで１枚の画像となる画像信号を形成することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記アナログデジタル変換部から出力された信号のブレ補正を行う補正部と、
前記補正部から出力された信号を合成する合成部と、を有し、
前記補正部は、前記第１信号のブレを抑えた第１画像信号を出力し、
前記第１画像信号と前記第２信号とを合成することで１枚の画像となる画像信号を形成することを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
各画素行の画素の前記光電変換部の電荷の蓄積の開始と、前記光電変換部から各電荷保持部への電荷の転送とを揃えるグローバル電子シャッタ動作を行うことを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記増幅部の入力ノードは、フローティングディフュージョンを有し、
前記第１の電荷保持部と前記第２の電荷保持部に保持された電荷が、一つのフローティングディフュージョンに転送されることを特徴とする請求項１０乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記画素は、前記光電変換部で生成した電荷の一部を排出する電荷排出部と、前記光電変換部で生じた電荷を前記電荷排出部へ排出する第５転送部と、を有し、
前記第５転送部をオン状態からオフ状態とすることで、前記第１期間、前記第２期間および前記第３期間の少なくとも一つの期間を開始することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記第１の電荷保持部で保持された電荷の前記光電変換部において電荷が生じる期間の合計を第１の実効的な電荷蓄積期間とし、
前記第２の電荷保持部で保持された電荷の前記光電変換部において電荷が生じる期間の合計を第２の実効的な電荷蓄積期間とし、
前記第１の実効的な電荷蓄積期間の開始時刻と前記第２の実効的な電荷蓄積期間の開始時刻とは異なっており、
前記第２の実効的な電荷蓄積期間の終了時刻と前記第２の実効的な電荷蓄積期間の終了時刻とは異なっており、
前記第１の実効的な電荷蓄積期間の開始時刻と終了時刻との間の中心時刻と、前記第２の実効的な電荷蓄積期間の開始時刻と終了時刻との間の中心時刻とが等しいことを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記画素は、
二つの前記光電変換部と、
各々の前記光電変換部が、前記光電変換部で生じた電荷を保持する前記第１の電荷保持部および前記第２の電荷保持部を含む少なくとも二つの電荷保持部を有し、
前記画素が有するすべての電荷保持部が、共通の入力ノードに接続されることを特徴とする請求項１乃至１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記画素は、
二つの前記光電変換部と、
各々の前記光電変換部が、前記光電変換部で生じた電荷を保持する前記第１の電荷保持部および前記第２の電荷保持部を含む少なくとも二つの電荷保持部を有し、
一方の光電変換部に生じた電荷を保持する一方の電荷保持部と、他方の光電変換部に生じた電荷を保持する一方の電荷保持部とが、第１入力ノードに電気的に接続され、
前記一方の光電変換部に生じた電荷を保持する他方の電荷保持部と、前記他方の光電変換部に生じた電荷を保持する他方の電荷保持部とが、前記第１入力ノードと異なる第２入力ノードに電気的に接続されることを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の電荷保持部を有する撮像装置に関する。
【背景技術】
【０００２】
入射光量を意識することなく最適な一つの画像を得るために、所定の時間間隔で露光期間を複数に分割し、分割した複数の期間毎に光電変換部において生じた電荷を一つの蓄積部に転送し、蓄積部で加算する構成が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５‐１０９５０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、第１の露光期間と、第１の露光期間とは異なる長さの期間を有する第２の露光期間を生成するために、各露光期間の間に光電変換部で生じた電荷を排出し、第１の露光期間と第２の露光期間の電荷を電荷保持部で加算している。このような構成においては、各露光期間の間に光電変換部に生じた電荷を排出しているため、排出された電荷は信号電荷として利用することができず、無駄になっていた。
【０００５】
本発明は上記課題に鑑み、信号電荷の無駄を抑制しつつ、加算信号を取得することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、光電変換部と、光電変換部で生じた電荷を保持する第１の電荷保持部と、光電変換部で生じた電荷を保持する第２の電荷保持部と、光電変換部で生じた電荷を光電変換部から第１の電荷保持部へ転送する第１転送部と、光電変換部で生じた電荷を光電変換部から第２の電荷保持部へ転送する第２転送部と、を有する画素が行列状に複数配された撮像装置であって、第１の電荷保持部は、第１期間に光電変換部で生じた電荷を保持した状態で、第１期間と連続しない期間であって第１期間とは長さが異なる第２期間に光電変換部で生じた電荷を保持し、第２の電荷保持部は、第１期間および第２期間とは重複しない期間である第３期間に光電変換部で生じた電荷を保持し、第１期間に光電変換部で生じた電荷と第２期間に光電変換部で生じた電荷とを第１の電荷保持部で保持する第１の電荷保持期間と、第３期間に光電変換部で生じた電荷を第２の電荷保持部で保持する第２の電荷保持期間とが重複することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、信号電荷の無駄を抑制しつつ、加算信号を取得することが可能な撮像装置を提供することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】撮像システムのブロック図
【図２】撮像装置のブロック図
【図３】画素の等価回路図
【図４】駆動パルス図
【図５】符号化パターンの説明図
【図６】ブレ補正後の画像の画質の説明図
【図７】駆動パルス図
【図８】駆動パルス図
【図９】画素の等価回路図
【図１０】駆動パルス図
【図１１】画素の等価回路図
【図１２】駆動パルス図
【図１３】符号化パターンの選択説明図
【図１４】画素の等価回路図
【図１５】駆動パルス図
【図１６】画素の等価回路図
【図１７】駆動パルス図
【図１８】駆動概念図
【発明を実施するための形態】
【０００９】
（実施例１）
本発明の実施例１について図１〜図６を用いて説明する。図１および図２では、本実施例の撮像システムおよび撮像装置について説明する。図１は、撮像システム１０のブロック図である。
【００１０】
撮像システム１０は、撮像装置１０１と、撮像レンズ群１００、記録部１０３、ブレ検出部１０４、補正関数生成部１０５、補正部１０６、合成部１０７を有する。
【００１１】
被写体の情報を含む光は、撮像レンズ群１００を通り、ＣＭＯＳイメージセンサーなどの撮像装置１０１に結像される。
【００１２】
露光制御部１０２は、撮像装置１０１のシャッタの動作を制御する。撮像装置１０１からは、同一でない露光期間に生じた電荷に基づく信号を含む少なくとも二つの画像信号が出力され、記録部１０３に記録される。
【００１３】
一方、ブレ検出部１０４はジャイロセンサー等からなり、画像撮影時の撮像装置や被写体のブレの軌跡を検出する。補正関数生成部１０５において、ブレの軌跡の情報と上記の同一でない露光期間から得られる時間的な変化量の情報とを用いて、ブレの補正関数を作成する。
【００１４】
この補正関数を用いて記録部１０３に記録された画像を補正部１０６で補正し、補正後の画像を得る。合成部１０７では、補正後の画像と記録部１０３に記録された補正前の画像、または、複数の補正後の画像同士を合成することで１枚の画像（１フレーム分の画像）を生成する。
【００１５】
撮像装置１０１から出力された複数の信号、または、それらの和信号または差信号に基づき、画像処理によってブレ検出部１０４が撮影時のブレの軌跡を検出し、補正関数生成部１０５において補正関数の作成に用いてもよい。
【００１６】
本実施例において、撮像システム１０内は、補正関数生成部１０５、補正部１０６及び合成部１０７を有する構成となっているが、これらの少なくとも一部が撮像システム外にあってもよい。その場合には、前述した画像処理によるブレの軌跡の検出を含む、記録画像の処理のうち少なくとも一部を撮像システム外の例えばコンピューターで事後的に行う。また、本実施例において、ブレ検出部１０４を設けたが、ブレ検出部１０４を設けない構成も可能である。
【００１７】
図２は撮像装置１０１のブロック図を示す。撮像装置１０１は、画素部２０２、パルス生成部２０３、垂直走査回路２０４、列回路２０５、水平走査回路２０６、信号線２０７、出力回路２０８を有している。
【００１８】
画素部２０２には、画素２０１が行列状に複数配されている。ここでは、第１方向に沿って配された複数の画素を画素行とし、第１方向とは異なる第２方向に沿って配された複数の画素を画素列とする。
【００１９】
垂直走査回路２０４はパルス生成部２０３からの制御パルスを受け、各画素に駆動パルスを供給する。垂直走査回路２０４にはシフトレジスタやアドレスデコーダなどの論理回路が用いられる。
【００２０】
信号線２０７は画素部２０２の画素列毎に配されており画素からの信号が出力される。列回路２０５はアナログデジタル変換部を有し、さらに増幅回路などを有してもよい。列回路２０５には、信号線２０７を介して並列に出力された信号が入力されアナログデジタル変換と、所定の処理が行われる。所定の処理とはノイズ除去、信号の増幅などである。
【００２１】
水平走査回路２０６は、列回路２０５で処理された後の信号を順次出力するための駆動パルスを列回路２０５に供給する。出力回路２０８は、バッファアンプ、差動増幅器などから構成され、列回路２０５からの画素信号を撮像装置１０１の外部の記録部ないし信号処理部に出力する。
【００２２】
以下、本発明による撮像装置とその駆動方法に関する実施例について詳細に説明する。また以下に説明する実施例は、発明の一つの形態であって、これに限定されるものではない。
【００２３】
図３に画素２０１の等価回路の一例を示す。各実施例では特段の記載がない限り１枚の画像を形成する際の駆動パルスについて説明するが、各駆動パターンを複数とすることで動画とすることができる。
【００２４】
光電変換部で生じる電荷対のうち信号電荷として用いられる電荷の極性を第１導電型とする。ここでは第１導電型の電荷を電子とし、第１導電型と逆導電型の第２導電型の電荷を正孔とする。
【００２５】
等価回路はこれに限られるものではなく、一部の構成を複数の画素で共有してもよい。また、図３では電荷排出部を有する画素２０１を示しているが、この構成に限られない。各画素における各電荷保持部および転送部を識別するために添え字Ａ、Ｂを用いているが、共通の機能を説明する場合は添え字を付さずに説明する。両者を区別しての説明が必要な場合には添え字を付して説明する。これらは以下の実施例においても同様である。
【００２６】
光電変換部３０１は、入射光に応じて電荷対を生じ、信号電荷として電子を蓄積する。光電変換部３０１には、例えばフォトダイオードが用いられる。
【００２７】
電荷保持部３０３Ａ（第１の電荷保持部）および電荷保持部３０３Ｂ（第２の電荷保持部）は、後述の転送部３０２Ａ（第１転送部）および転送部３０２Ｂ（第２転送部）を介して、光電変換部３０１から転送された電子を保持する。ここでは電荷保持部３０３Ａを一方の電荷保持部、電荷保持部３０３Ｂを他方の電荷保持部とする。
【００２８】
フローティングディフュージョン（以下、ＦＤ）３０５は、転送部３０４Ａ（第３転送部）および転送部３０４Ｂ（第４転送部）を介して、電荷保持部３０３Ａと電荷保持部３０３Ｂに保持された電荷が転送される半導体領域である。ＦＤ３０５は所定期間電荷を保持する。
【００２９】
転送部３０２Ａは、光電変換部３０１で生じた電子を電荷保持部３０３Ａに転送する。転送部３０２Ｂは、光電変換部３０１で生じた電子を電荷保持部３０３Ｂに転送する。
【００３０】
転送部３０４Ａは、電荷保持部３０３Ａに保持された電子をＦＤ３０５に転送する。転送部３０４Ｂは、電荷保持部３０３Ｂに保持された電子をＦＤ３０５に転送する。転送部３０２Ａ、転送部３０２Ｂ、転送部３０４Ａ、転送部３０４Ｂには、それぞれ駆動パルスｐＴＸ１、ｐＴＸ２、ｐＴＸ３、ｐＴＸ４が供給され、オン、オフが切り換えられる。各転送部がオンとなることで電子が転送される。各転送部３０２、３０４には、例えば転送トランジスタが用いられる。
【００３１】
転送部３０９（第５転送部）は、光電変換部３０１で生じた電子を電荷排出部へ転送する。電荷排出部には、例えば電源電圧ＶＤＤを供給される。そして転送部３０９には、駆動パルスｐＯＦＤが供給され、駆動パルスｐＯＦＤによってオン、オフが切り替えられる。転送部３０９はオンとなることで光電変換部３０１の電子を電荷排出部へ転送する。
【００３２】
増幅部３０７には、例えば増幅トランジスタが用いられる。その場合に、増幅部３０７の入力ノードは、ＦＤ３０５、ゲートに接続される配線、リセットトランジスタ３０６のソースに電気的に接続される。
【００３３】
増幅部３０７は、転送部３０４Ａ、転送部３０４ＢによってＦＤ３０５に転送された電子に基づく信号を増幅して出力する。より具体的には、ＦＤ３０５に転送された電子は、その量に応じた電圧に変換され、その電圧に応じた電気信号が増幅部３０７を介して信号線２０７へ出力される。増幅部３０７には、例えば増幅トランジスタが用いられ、不図示の電流源とともにソースフォロア回路を構成している。
【００３４】
リセットトランジスタ３０６は、増幅部３０７の入力ノードの電位を電源電位ＶＤＤ近傍の電位にリセットする。リセットトランジスタ３０６のゲートには駆動パルスｐＲＥＳが供給され、オン、オフが切り替えられる。
【００３５】
選択トランジスタ３０８は、信号線２０７への画素２０１の接続、非接続を切り替える。各画素２０１の選択トランジスタ３０８を切り替えることで、画素２０１の信号を１画素ずつまたは複数画素ずつ信号線２０７に出力させる。選択トランジスタ３０８のドレインは、増幅部３０７の出力ノードに接続され、選択トランジスタ３０８のソースは信号線２０７に接続されている。選択トランジスタ３０８のゲートには、駆動パルスｐＳＥＬが供給され、選択トランジスタ３０８のオン、オフが切り替えることにより行選択を行う。
【００３６】
なお本実施例の構成に代えて、選択トランジスタ３０８を増幅部３０７の出力ノードと、電源電圧ＶＤＤが供給されている電源配線との間に設けてもよい。また、選択トランジスタ３０８を設けずに、増幅部３０７の出力ノードと信号線２０７を接続してもよい。
【００３７】
図４は、本実施例の画素の駆動方法を説明する駆動パルス図である。図４の駆動パルス図では、１フレーム期間において、ｍ行目の画素２０１に供給される駆動パルスと（ｍ＋１）行目の画素２０１に供給される駆動パルスについて説明する。
【００３８】
一つのフレーム期間に蓄積した電荷に対応した信号からは一つの画像を得ることができる。動画像を得る場合には複数のフレーム期間の画像を得る。その場合には、あるフレーム期間（第ｎ＋１フレーム）の画素行の電荷蓄積期間の開始から、電荷蓄積期間の終了までの間に、前のフレーム期間（第ｎフレーム）の全画素行の出力期間を開始し、終了してもよい。このようなフレーム期間を所定期間繰り返す。
【００３９】
図４では、複数の画素行のうちｍ行目の駆動パルスの末尾に（ｍ）、ｍ＋１行目の駆動パルスの末尾に（ｍ＋１）を付けて説明する。特に行を区別せずに説明する際にはパルス名の末尾に（ｍ）または（ｍ＋１）を付与せず説明を行う。
【００４０】
本実施例では、複数の画素行で、光電変換部における電荷蓄積の開始と、光電変換部から電荷保持部への電荷の転送とを複数の画素行で揃えるグローバル電子シャッタ動作の駆動方法について説明する。ただし、例えばローリングシャッタの等の電子シャッタ動作でもよい。
【００４１】
次に、図４における電荷蓄積期間Ｔｓと出力期間Ｔｏｐについて説明する。１つの画素２０１または１つの画素行について見ると、画素２０１の光電変換部３０１のリセットによって電荷蓄積期間Ｔｓを開始し、所定期間経過後、光電変換部３０１の電荷を電荷保持部３０３に転送することで電荷蓄積期間Ｔｓを終了する。所定画素行が選択された時点または所定画素行のＦＤ３０５がリセットされた時点から信号線２０７への所定画素行の各々の電荷保持部で保持した電荷に基づく信号の出力が終了する時点までの期間を出力期間Ｔｏｐと呼ぶ。
【００４２】
図４で、時刻ｔ１に駆動パルスｐＯＦＤはＨレベルになり、転送部３０９がオンとなり、時刻ｔ２に駆動パルスｐＯＦＤはＬレベルとなって、転送部３０９がオフ状態となる。これにより光電変換部３０１で生じた電子が電荷排出部へ転送され、リセットされる。
【００４３】
そして時刻ｔ２において、電荷蓄積期間Ｔｓ１（第１期間）が開始する。時刻ｔ３に駆動パルスｐＴＸ１がＨレベルになり、転送部３０２Ａがオンとなる。時刻ｔ４に駆動パルスｐＴＸ１がＬレベルになり、転送部３０２Ａがオフとなる。そして電荷蓄積期間Ｔｓ１が終了する。
【００４４】
これにより、電荷蓄積期間Ｔｓ１（期間ｔ２−ｔ４）に光電変換部３０１で生じた電荷が電荷保持部３０３Ａに転送され、電荷保持部３０３Ａにて保持される。
【００４５】
また、時刻ｔ４において、次の電荷蓄積期間である電荷蓄積期間Ｔｓ３（第３期間）が開始する。時刻ｔ５に駆動パルスｐＴＸ２がＨレベルになり、転送部３０２Ｂがオンとなる。時刻ｔ６に駆動パルスｐＴＸ２がＬレベルになり、転送部３０２Ｂがオフとなる。そして、電荷蓄積期間Ｔｓ３が終了する。
【００４６】
この時、電荷蓄積期間Ｔｓ３（期間ｔ４−ｔ６）に、光電変換部３０１で生じた電荷が電荷保持部３０３Ｂに転送され、電荷保持部３０３Ｂにて保持される。そして、電荷保持部３０３Ｂにて電荷を保持する期間である第２の電荷保持期間が開始する。また、時刻ｔ６において、次の電荷蓄積期間である電荷蓄積期間Ｔｓ２（第２期間）が開始する。
【００４７】
時刻ｔ７に駆動パルスｐＴＸ１がＨレベルになり転送部３０２Ａがオンとなり、時刻ｔ８に駆動パルスｐＴＸ１がＬレベルになり転送部３０２Ａがオフとなる。そして、電荷蓄積期間Ｔｓ２が終了する。
【００４８】
電荷蓄積期間Ｔｓ２（期間ｔ６−ｔ８）に、光電変換部３０１で生じた電荷が電荷保持部３０３Ａに転送され、電荷保持部３０３Ａにて、電荷蓄積期間Ｔｓ１と電荷蓄積期間Ｔｓ２に光電変換部３０１で生じた電荷が保持される。この時、電荷保持部３０３Ａにおいて電荷蓄積期間Ｔｓ１に光電変換部３０１で生じた電荷と電荷蓄積期間Ｔｓ２に光電変換部３０１で生じた電荷とを保持する期間である第１の電荷保持期間が開始する。
【００４９】
なお図４において、電荷蓄積期間Ｔｓ３の蓄積期間は、期間ｔ４−ｔ５の間に駆動パルスｐＯＦＤをＨレベル、Ｌレベルとすることで開始してもよい。その他の電荷蓄積期間の開始についても同様である。
【００５０】
電荷蓄積期間Ｔｓ１、Ｔｓ２において駆動パルスｐＴＸ１はＨレベルを維持してもよいし、複数回Ｈレベルとなってもよい。同様に、電荷蓄積期間Ｔｓ３において駆動パルスｐＴＸ２はＨレベルを維持してもよいし、複数回Ｈレベルとなってもよい。このような駆動によれば、光電変換部３０１内の電荷残りを抑制することが可能である。
【００５１】
以上の駆動パルスによれば、電荷蓄積期間Ｔｓ１（期間ｔ２−ｔ４）に光電変換部３０１で生じた電荷が、電荷保持部３０３Ａに保持された状態で、電荷蓄積期間Ｔｓ２（期間ｔ６−ｔ８）に光電変換部３０１で生じた電荷が、電荷保持部３０３Ａに転送される。つまり、リセットトランジスタ３０６がオフに維持された状態で、期間ｔ３−ｔ４に転送部３０２Ａがオン、オフしてから、期間ｔ７−ｔ８に転送部３０２Ａをオン、オフする。これにより電荷保持部３０３Ａは、電荷蓄積期間Ｔｓ１に生じた電荷と、電荷蓄積期間Ｔｓ２に生じた電荷とを電荷保持部３０３Ａに保持する。
【００５２】
なお、期間ｔ１−ｔ２において、駆動パルスｐＴＸ１，ｐＴＸ２をＨレベル、Ｌレベルとして転送部３０２Ａ、３０２Ｂをオンしてからオフして電荷保持部３０３Ａ、電荷保持部３０３Ｂをリセットしてもよい。または、駆動パルスｐＴＸ３，ｐＴＸ４，ｐＲＥＳをＨレベル、Ｌレベルとして転送部３０４Ａ，３０４Ｂ，リセットトランジスタ３０６をオンしてからオフとし、電荷保持部３０３Ａ、電荷保持部３０３Ｂをリセットしてもよい。これらの場合には、時刻ｔ２においてそれぞれの駆動パルスはオフとなる。
【００５３】
本実施例において、電荷保持部３０３Ａで保持する電荷を光電変換部３０１で生じる電荷蓄積期間Ｔｓ１と電荷蓄積期間Ｔｓ２は、連続しない期間である。このように連続しない複数の電荷蓄積期間を加算した加算電荷に基づく信号を符号化撮像された信号とよぶ。
【００５４】
さらに電荷保持部３０３Ｂで保持する電荷を生じる電荷蓄積期間Ｔｓ３は、電荷保持部３０３Ａで保持する電荷を生じる電荷蓄積期間Ｔｓ１と電荷蓄積期間Ｔｓ２の各々とは期間が重複しない。つまり、電荷蓄積期間において、駆動パルスｐＴＸ１、ｐＴＸ２に異なるタイミングで転送部３０２がオンとなるパルスを供給する。これにより、光電変換部３０１で発生した信号電荷を時分割して電荷保持部３０３Ａ、電荷保持部３０３Ｂに転送し、保持する。
【００５５】
このような構成によれば、期間ｔ４−ｔ６に光電変換部３０１で生じた電荷は排出されずに、電荷保持部３０３Ｂに保持される。そのため、本実施例によれば期間ｔ４−ｔ６に光電変換部３０１で生じた電荷を保持することが可能であり、光信号の無駄を減らすことができる。
【００５６】
なお、電荷蓄積期間Ｔｓ３に連続しない期間であって、電荷蓄積期間Ｔｓ１およびＴｓ２の各々と時間的に重複しない電荷蓄積期間（例えば図８の電荷蓄積期間Ｔｓ５）があってもよい。このような場合には、電荷蓄積期間Ｔｓ３に生じた電荷を保持した状態の電荷保持部３０３Ｂに電荷蓄積期間Ｔｓ５の電荷を転送する。これにより、電荷保持部３０３Ｂに電荷蓄積期間Ｔｓ３に光電変換部で生じた電荷と、電荷蓄積期間Ｔｓ５に光電変換部で生じた電荷を加算し、保持する。
【００５７】
さらに本実施例においては、電荷蓄積期間Ｔｓ１と電荷蓄積期間Ｔｓ２の期間の長さが異なる長さとなるように設定する。長さが異なるとは例えば、二つの電荷蓄積期間Ｔｓ１と電荷蓄積期間Ｔｓ２の長さの差が１画素行の出力期間Ｔｏｐの１／１０倍の時間よりも長い場合などがあげられる。
【００５８】
このような構成にすることで、異なる電荷蓄積期間の電荷の加算電荷に基づいて符号化撮像された信号を得ることができる。なお、同様の理由で電荷蓄積期間Ｔｓ３と電荷蓄積期間との期間の長さが異なる長さとなるように設定してもよい。
【００５９】
次にｍ行目の画素行の出力期間Ｔｏｐについて説明する。時刻ｔ９に駆動パルスｐＳＥＬ（ｍ）がＨレベルとなり選択トランジスタ３０８がオン状態となる。これによりｍ行目の画素行が選択される。この時、出力期間Ｔｏｐが開始する。
【００６０】
時刻ｔ１０に駆動パルスｐＲＥＳ１（ｍ）がＨレベルとなりリセットトランジスタ３０６がオン状態となる。時刻ｔ１１に駆動パルスｐＲＥＳ１（ｍ）がＬレベルとなり、リセットトランジスタ３０６がオフ状態となる。これにより、ＦＤ３０５の電荷はリセット電位（例えばＶＤＤ）となる。期間ｔ１１−ｔ１２において、ＦＤ３０５のリセット電位を信号Ｎとして信号線２０７に出力する。
【００６１】
時刻ｔ１２に駆動パルスｐＴＸ３がＨレベルとなり、転送部３０４Ａがオンとなり、時刻ｔ１３に駆動パルスｐＴＸ３がＬレベルになり転送部３０４Ａがオフとなる。時刻ｔ１３において電荷保持部３０３Ａでの電荷の保持が終了し、第１の電荷保持期間が終了する。これにより電荷蓄積期間Ｔｓ１に光電変換部３０１で生じた電荷と電荷蓄積期間Ｔｓ２に光電変換部３０１で生じた電荷とが、電荷保持部３０３ＡからＦＤ３０５に転送される。つまり、ＦＤ３０５では、電荷蓄積期間Ｔｓ１、Ｔｓ２に蓄積した電荷が保持される。そして、期間ｔ１３−ｔ１４において信号Ｓ１を信号線２０７に出力する。
【００６２】
次に時刻ｔ１４に駆動パルスｐＴＸ４がＨレベルとなり、転送部３０４Ｂがオンとなり、時刻ｔ１５に駆動パルスｐＴＸ４がＬレベルになり転送部３０４Ｂがオフとなる。時刻ｔ１５において電荷保持部３０３Ｂでの電荷の保持が終了し、第２の電荷保持期間が終了する。
【００６３】
これにより電荷蓄積期間Ｔｓ３に光電変換部３０１で生じた電荷が、電荷保持部３０３ＢからＦＤ３０５に転送される。この時、ＦＤ３０５では、電荷蓄積期間Ｔｓ１、Ｔｓ２、Ｔｓ３の各々の期間において光電変換部で生じた電荷が保持される。そして、期間ｔ１５−ｔ１６において信号Ｓ２が信号線２０７に出力される。
【００６４】
時刻ｔ１６に駆動パルスｐＳＥＬ（ｍ）がＬレベルとなり選択トランジスタ３０８がオフ状態となる。これによりｍ行目の画素行が非選択となり、出力期間Ｔｏｐが終了する。
【００６５】
時刻ｔ１７以降、各行でｍ行目と同様の出力期間Ｔｏｐとなる。すべての画素行の出力期間Ｔｏｐが終了すると１フレームの信号の出力が終了する。
【００６６】
そして、信号線２０７に出力した三つの信号（Ｎ，Ｓ１，Ｓ２）に対し、撮像装置１０１または撮像システムでＳ１−Ｎ、およびＳ２−Ｓ１の演算を施す。
【００６７】
Ｓ１−Ｎの演算によれば、固定パターンノイズが除去された電荷保持部３０３Ａに保持された電荷（電荷蓄積期間Ｔｓ１とＴｓ２に光電変換部３０１に生じた電荷）に基づく信号Ｓ３を取得することが可能である。ここで得られる信号Ｓ３の露光関数は、非周期的であり、信号Ｓ３は符号化撮像された信号となる。
【００６８】
Ｓ２−Ｓ１の演算によれば、固定パターンノイズが除去された電荷保持部３０３Ｂに保持された電荷（電荷蓄積期間Ｔｓ３に光電変換部３０１に生じた電荷）に基づく信号Ｓ４を取得することが可能である。信号Ｓ４が、複数の電荷蓄積期間の電荷である場合には、信号Ｓ４の露光関数は非周期的であり、信号Ｓ４は符号化撮像された信号となる。
【００６９】
なお、ここでは固定パターンノイズを除去したが除去しなくてもよい。
【００７０】
本実施例において、電荷保持部３０３Ａに保持された電荷の光電変換部３０１において電荷が生じる期間の合計は第１の実効的な電荷蓄積期間とする。電荷保持部３０３Ｂに保持された電荷の光電変換部３０１において電荷が生じる期間の合計は第２の実効的な電荷蓄積期間とする。第１の実効的な電荷蓄積期間の開始時刻と第２の実効的な電荷蓄積期間の開始時刻と終了時刻はそれぞれ異なる。
【００７１】
第１の実効的な電荷蓄積期間と第２の実効的な電荷蓄積期間とを比較した際に、実効的な電荷蓄積期間の短い電荷保持部の電荷を先にＦＤ３０５に転送したほうがよい。
【００７２】
例えば、第１の実効的な電荷蓄積期間が第２の実効的な電荷蓄積期間よりも短い場合には、電荷保持部３０３Ｂの電荷を先にＦＤ３０５に転送した場合には、ＦＤ３０５が飽和するおそれがある。つまり、電荷保持部３０３Ｂの電荷をＦＤ３０５に転送した後に、電荷保持部３０３Ａの電荷をＦＤ３０５に転送してもＦＤ３０５がすでに飽和しており正しい信号が得られない。
【００７３】
これに対し、電荷保持部３０３Ａの電荷に基づく信号を先にＦＤ３０５に転送して読み出せば、電荷保持部３０３Ａの電荷をＦＤ３０５に転送した段階ではＦＤ３０５が飽和していない可能性がある。このような場合には少なくとも信号Ｓ１は正しい信号を取得することが可能となり、電荷保持部３０３Ａの電荷に基づく信号Ｓ３は正しい信号を取得することが可能となる。
【００７４】
ＦＤ３０５が飽和しなかった場合であって、信号線２０７に信号を出力する際に信号線２０７や後段回路のダイナミックレンジを超えてしまうおそれがある場合にも同様である。
【００７５】
このような構成によれば、信号Ｓ２に比べて信号Ｓ１は前述したダイナミックレンジ内におさまりやすくなり、黒沈みを抑制することが出来る。
【００７６】
上記実施例では、二つの電荷保持部から一つのＦＤに転送する例を説明したが、電荷保持部３０３Ａと電荷保持部３０３Ｂの各々が異なるＦＤ３０５に電荷を転送してもよい。
【００７７】
ただし、本実施例のように複数の電荷保持部でＦＤ３０５を共有する方法によれば、Ｎ信号の出力が１度でよいため信号の出力を高速化することが可能である。そして、各画素行の電荷保持部３０３Ａにおいて保持された加算電荷に基づく信号Ｓ３を出力し、出力されたアナログ信号をアナログデジタル変換することでデジタル信号である第１信号を得ることができる。そして、図１の補正部１０６によって、第１信号を補正することでブレを抑えた第１画像信号を得ることができる。
【００７８】
同様に電荷保持部３０３Ｂにおいて保持された電荷に基づく信号Ｓ４を出力し、出力されたアナログ信号をアナログデジタル変換することでデジタル信号である第２信号を得ることができる。そして、図１の補正部１０６によって、第２信号を補正することでブレを抑えた第２画像信号を得ることができる。
【００７９】
第１画像信号と第２画像信号とを例えば図１の合成部１０７にて合成処理することによって、ブレを抑えつつ光信号の利用効率の高い１枚の画像となる画像信号を得ることができる。
【００８０】
ここでは、合成部１０７において第１画像信号と合成する信号として、ブレ補正を行った第２画像信号を用いたが、ブレ補正をしていない第２信号でもよい。ただし、第１画像信号と第２画像信号とを合成処理して得られる画像の方が、第１画像信号と第２信号とを合成処理して得られる画像よりもブレが少ない画像となる。これらはその他の実施例においても同様である。
【００８１】
さらに上記の構成によれば、一般に行われているシャッタの開閉によって露光を制御する場合（例えば、メカシャッタ）に比べて、転送部３０４Ａ、転送部３０４Ｂに与えるパルスのタイミングと回数を制御する。これにより、複数の電荷蓄積期間の電荷を得ることができるため高速化が容易となる。
【００８２】
図５と図６を用いて、符号化パターンとブレ補正後の画像の画質について説明する。以下の説明はその他の実施例においても同様である。
【００８３】
符号化パターンとは、第１の電荷保持部３０３Ａまたは第２の電荷保持部３０３Ｂで保持された電荷の光電変換部において電荷が生じる期間の時間的な変化の情報をいう。
【００８４】
信号Ｓ３を補正して被写体のブレを除去する場合、電荷保持部３０３Ａで保持する電荷を蓄積する複数の電荷蓄積期間の時間的なパターンの選び方（符号化パターン）によってブレ補正後の画質が変わる。
【００８５】
例えば、図５（ａ）のグラフで示されるような周期的な符号化パターンを用いた場合に、特定の空間周波数をもつ模様の描かれた被写体（例えば縦縞模様）のブレ画像を撮影すると、被写体のブレによってこの周波数の情報が消失してしまう。そのため補正時に模様（例えば縦縞）を復元できなくなるおそれがある。
【００８６】
ここで周期的とは、符号化パターンを“１１００１０１・・・”のようにデジタル信号列で表現したとき、デジタル信号列を等分割すると、全ての小信号列が同一となるような場合を表す。
【００８７】
例えば、符号化パターンが“１０１１０１１０１”のデジタル信号列の場合は、３等分すると全ての小信号列が“１０１”となるため、周期的である。また、電荷蓄積期間の後の期間は全て“０”であるとみなせるので、例えば“１１０１１０１１”のようなパターンも、パターンの後に“０”を付加することで“１１０１１０１１０”とみなすことが出来、周期的であるといえる。一方、“１１０１１０１”は、パターンの後に０をいくつ付加しても上記の条件を満たさないため、非周期的（ランダム）である。
【００８８】
より一般に、撮影された２次元の画像は、フーリエ変換の原理に基づいて様々な周波数を持つ２次元波の重ね合わせとしてあらわされる。そのため、周期的な符号化パターンを用いて符号化撮像された信号を得た場合、画素から出力された信号に含まれる周波数成分のうち特定の周波数成分の情報が欠落した形で画像を記録することになる。このような画像をブレ補正した場合には、欠落した周波数成分を復元することは出来ないため、ブレ補正後の画像の画質が劣化してしまう。
【００８９】
一方、図５（ｂ）のグラフで示されるように、符号化パターンが非周期的であれば、画素から出力された信号に含まれる周波数成分から特定の周波数情報が欠落することを抑制することができる。そのため、情報が欠落していない画像を記録することが可能となり、ブレ補正後に好適な画質の画像を取得することが可能である。
【００９０】
上記のような特定の周波数情報の欠落を防ぐためには、符号化パターンに対応する露光関数Ｅ（ｔ）をフーリエ変換した関数の絶対値に注目して符号化パターンを選定するのが望ましい。ここで露光関数Ｅ（ｔ）とは、電荷蓄積期間を“１”、光電変換に生じた電荷を排出する期間を“０”として、符号化パターンを時間の関数として表した関数である。
【００９１】
図５（ｃ）に露光関数Ｅ（ｔ）を時間ｔに対してフーリエ変換したグラフを示す。露光関数Ｅ（ｔ）を時間ｔに対してフーリエ変換した関数Ｆ（ω）の絶対値｜Ｆ（ω）｜は、ブレによる各周波数成分の減衰率を表し、例えば｜Ｆ（ω’）｜＝０となる場合、周波数ω’の情報はブレによって消失することを意味する。
【００９２】
従って、露光関数Ｅ（ｔ）をフーリエ変換した関数が、図５（ｂ）の太線で示されるように、｜Ｆ（ω’）｜＝０となる特異点を持たないように符号化パターンを選定すれば、周波数情報の欠落を抑えた符号化撮像された信号を得ることが出来る。
【００９３】
ある露光関数Ｅ（ｔ）のフーリエ変換の絶対値が特異点を有するかどうかは、次のように判定できる。露光関数Ｅ（ｔ）を最も短いデジタル信号列（例えば“１００１０１”）で表現したときの信号列長さをＬ（“１００１０１”の場合、Ｌ＝６）としたとき、下記式を満たす整数Ｎを考える。
Ｌ≦２Ｎ
【００９４】
このとき、上記のデジタル信号列の後に連続した０を付加して、長さが２のＮ乗となる信号列を作成する（“１００１０１”を“１００１０１００”とする）。この操作は一般にゼロパディングと呼ばれる。このゼロパディングした信号列を高速フーリエ変換し、離散的なフーリエ関数Ｆ（ω）を得る。このとき、フーリエ関数の絶対値｜Ｆ（ω）｜が｜Ｆ（０）｜に比べ十分小さい（例えば１／１０００倍以下となる）点は特異点とみなせるものとする。ここで、整数Ｎが大きいほどＦ（ω）の周波数分解能が高くなるため、整数Ｎは例えば、２のＮ乗がＬの４倍以上となるように設定するべきである。
【００９５】
先行文献１の構成において符号化撮像を適用した場合には、異なる露光期間（電荷蓄積期間に相当）の電荷を蓄積部にて加算しているため、特定の周波数成分の欠落を抑えた第１信号を取得することは可能である。しかし、先行文献１では異なる露光期間の間の期間に光電変換部で生じた電荷を排出しているため、特定の周波数成分の欠落を抑えた第１信号を取得しつつ光信号の利用効率の高い画像を得ることができないという顕著な課題があった。
【００９６】
一方で本実施例の構成によれば、異なる電荷蓄積期間の電荷の加算電荷に基づいて符号化撮像された信号を得ることで特定の周波数成分の欠落を抑えた第１信号を得ることが可能である。さらに、前述したように異なる電荷蓄積期間の間の期間に光電変換部に生じた電荷に基づく第２信号を活用して、光信号の利用効率の高い画像を得ることが可能である。
【００９７】
なお、上記構成においては、第２の電荷保持期間に電荷蓄積期間Ｔｓ３に光電変換部３０１に生じた電荷に基づく信号を第２信号として用いている。
【００９８】
しかし、第２の電荷保持期間に複数の電荷蓄積期間の電荷を加算した加算電荷に基づく符号化撮像された第２信号を第２画像信号として用いた方がよい。この場合に、第２信号として第１信号と同様に特定の周波数成分の欠落を抑えることが可能な符号化パターンを用いた方がよい。このような構成によれば、さらに特定の周波数成分の欠落を抑えた光信号の利用効率の高い画像を得ることが可能である。
【００９９】
ただし、電荷保持部３０３Ａで保持する電荷の実効的な電荷蓄積期間に含まれない期間のうちすべての期間を電荷保持部３０３Ｂに保持する電荷とした場合、必ずしも電荷保持部３０３Ｂの符号化パターンが周波数情報の欠落を抑えたものになるとは限らない。
【０１００】
そのような場合には、残りの全期間のうち一部の期間に生じた電荷を電荷保持部３０３Ｂに転送せずに、第５転送部３０９をオンして電荷排出部に排出する。これにより、電荷保持部３０３Ｂに保持された電荷に基づく信号においても周波数情報の欠落を抑えることが出来る場合がある。
【０１０１】
つまり光電変換部３０１に転送部３０９および電荷排出部等を付加し、転送部３０９をオン、オフすることで電荷蓄積期間の開始を規定すればよい。例えば、転送部３０９のオン時間を長くすれば、電荷蓄積期間の開始が遅くなり、電荷蓄積期間の長さを短くすることが可能である。これにより、好適な符号化パターンに応じた電荷を電荷保持部３０３Ｂで保持することができる。
【０１０２】
図６を用いて、電荷保持部３０３Ａと電荷保持部３０３Ｂの符号化パターンの相対関係とブレ補正後の画像の画質について説明する。
【０１０３】
信号Ｓ３と信号Ｓ４を取得する際に、第１の実効的な電荷蓄積期間の開始時刻と終了時刻との間の中心時刻と、第２の実効的な電荷蓄積期間の開始時刻と終了時刻との間の中心時刻とが等しい。ここで等しいとは、画像を形成する際に補正可能なレベルの誤差を考慮する。
【０１０４】
この二つの中心時刻が大きくずれている場合、一方または両方のブレ補正の後に合成された画像は、２枚のずれた画像を加算したようなブレ画像となり、好適な画質が得られないおそれがある（図６（ａ）の画像７０１）。ここで、中心ｔｍとは、露光関数Ｅ（ｔ）、ｔｉは蓄積開始時間、ｔｆは蓄積終了時間としたときに下記の式で定義される。
【０１０５】
【数１】
2018019353.tif 000003
【０１０６】
これに対し、例えば合成時に２枚の画像の相対ずれ量を算出し、相対ずれ補正を行った後に合成を行えばブレ画像となることを抑制できるが、計算負荷が増えてしまう。電荷保持部３０３Ａと電荷保持部３０３Ｂの電荷蓄積期間のパターンは、電荷保持部３０３Ａおよび電荷保持部３０３Ｂの電荷蓄積期間のパターンの中心時刻のずれが少なくなるように選定するほうがよい。具体的には、電荷保持部３０３Ａの電荷蓄積期間のパターンの時間重心ｔｍ１は、少なくとも電荷保持部３０３Ｂの蓄積開始時間ｔｉ２から蓄積終了時間ｔｆ２の間に入っている、すなわち下記の式を満たしているほうがよい。
ｔｉ２≦ｔｍ１≦ｔｆ２
【０１０７】
この条件を満たすように電荷保持部３０３Ａと電荷保持部３０３Ｂの電荷蓄積期間のパターンを選定すれば、相対ずれ補正を行わずにブレ画像を抑制した合成画像を得ることが出来る（図６（ｂ）の画像７０２）。上記の条件式を満たす場合のうち、特に電荷保持部３０３Ａと電荷保持部３０３Ｂの電荷蓄積期間のパターンの時間重心ｔｍ１が一致している場合、ブレ画像を抑制する効果が最も大きくなる。
【０１０８】
（実施例２）
図７を用いて本実施例の撮像装置を説明する。図４と図７の差異は、電荷保持部３０３Ｂが保持する電荷の電荷蓄積期間である電荷蓄積期間Ｔｓ３が、電荷保持部３０３Ａが保持する電荷の電荷蓄積期間である電荷蓄積期間Ｔｓ１および電荷蓄積期間Ｔｓ２の間の期間ではない点ある。ここでは、第ｎフレームのうち図４の駆動パルスと異なる期間ｔ４−ｔ２３について説明する。
【０１０９】
時刻ｔ４に駆動パルスｐＴＸ１がＬレベルになり転送部３０２Ａがオフ状態となる。時刻ｔ４において電荷蓄積期間Ｔｓ１が終了する。
【０１１０】
時刻ｔ１８に駆動パルスｐＯＦＤがＨレベルになり、転送部３０９がオン状態となる。時刻ｔ１９に駆動パルスｐＯＦＤがＬレベルになり、転送部３０９がオフ状態となる。これにより、期間ｔ４−ｔ１９に光電変換部３０１に生じた電荷が電荷排出部へ転送される。また、電荷蓄積期間Ｔｓ２（第２期間）が開始する。
【０１１１】
時刻ｔ２０に駆動パルスｐＴＸ１がＨレベルになり転送部３０２Ａがオン状態となり、時刻ｔ２１に駆動パルスｐＴＸ１がＬレベルになり転送部３０２Ａがオフ状態となる。時刻ｔ２１において電荷蓄積期間Ｔｓ２が終了し、第１の電荷保持期間が開始する。そして電荷蓄積期間Ｔｓ３（第３期間）が開始する。
【０１１２】
時刻ｔ２２に駆動パルスｐＴＸ２がＨレベルになり転送部３０２Ｂがオン状態となり、時刻ｔ２３に駆動パルスｐＴＸ２がＬレベルになり転送部３０２Ｂがオフ状態となる。時刻ｔ２３において電荷蓄積期間Ｔｓ３が終了する。この時、第２の電荷保持期間が開始する。
【０１１３】
このような構成によれば、電荷蓄積期間Ｔｓ１および電荷蓄積期間Ｔｓ２に光電変換部３０１で生じた電荷を電荷保持部３０３Ａで保持した後、出力期間Ｔｏｐの開始までに生じた電荷を保持することが可能であり、光信号の利用効率を高くすることができる。
【０１１４】
なお、期間ｔ４−ｔ１９において駆動パルスｐＯＦＤをＨレベルに維持し、光電変換部３０１で生じた電荷を排出し続けてもよい。
【０１１５】
本実施例によっても、実施例１と同様の効果を得ることができる。
【０１１６】
（実施例３）
本実施例について図８の駆動パルス図を用いて説明する。図８の駆動パルスと図４の駆動パルスの差異は、電荷保持部３０３Ａで保持する電荷を生じる各々の期間の長さが同じである複数の電荷蓄積期間を有し、各々の電荷蓄積期間の間の期間が異なることである。
【０１１７】
例えば、電荷保持部３０３Ａで保持する電荷を生じる電荷蓄積期間（Ｔｓ１，Ｔｓ２，Ｔｓ４）がある時、電荷蓄積期間Ｔｓ１の終了から電荷蓄積期間Ｔｓ２の開始までの長さは、電荷蓄積期間Ｔｓ２の終了から電荷蓄積期間Ｔｓ４の開始までの長さと異なる。これにより、電荷保持部３０３Ａが保持する、電荷蓄積期間Ｔｓ１、電荷蓄積期間Ｔｓ２および電荷蓄積期間Ｔｓ４に光電変換部３０１で生じた電荷に基づく信号の露光関数は非周期的となり、情報が欠落していない画像を記録することが可能となる。
【０１１８】
図８の駆動パルスについて、図４の駆動パルスと異なる点についてのみ説明する。時刻ｔ４に駆動パルスｐＴＸ１がＬレベルになり転送部３０２Ａがオフとなる。時刻ｔ４において電荷蓄積期間Ｔｓ１が終了し、電荷蓄積期間Ｔｓ３（第３期間）が開始する。期間ｔ２−ｔ４の電荷蓄積期間Ｔｓ１に光電変換部３０１で生じた電荷が電荷保持部３０３Ａに転送され、保持される。
【０１１９】
時刻ｔ２４に駆動パルスｐＴＸ２がＨレベルとなり、時刻ｔ２５に駆動パルスｐＴＸ２がＬレベルとなる。時刻ｔ２５に電荷蓄積期間Ｔｓ３が終了し、電荷蓄積期間Ｔｓ２が開始する。
【０１２０】
期間ｔ４−ｔ２５の電荷蓄積期間Ｔｓ３に光電変換部３０１で生じた電荷が電荷保持部３０３Ｂに転送され、保持される。この時、第２の電荷保持期間が開始する。
【０１２１】
時刻ｔ２６に駆動パルスｐＴＸ１がＨレベルとなり、時刻ｔ２７に駆動パルスｐＴＸ１がＬレベルとなる。時刻ｔ２７に電荷蓄積期間Ｔｓ２が終了し、第１の電荷保持期間が開始する。そして電荷蓄積期間Ｔｓ５（第５期間）が開始する。
【０１２２】
期間ｔ２５−ｔ２７の電荷蓄積期間Ｔｓ２に光電変換部３０１で生じた電荷が電荷保持部３０３Ａに転送され、保持される。この時、電荷蓄積期間Ｔｓ１と電荷蓄積期間Ｔｓ２に光電変換部３０１で生じた電荷が、電荷保持部３０３Ａで保持される。
【０１２３】
時刻ｔ２８に駆動パルスｐＴＸ２がＨレベルとなり、時刻ｔ２９に駆動パルスｐＴＸ２がＬレベルとなる。時刻ｔ２９に電荷蓄積期間Ｔｓ５が終了し、電荷蓄積期間Ｔｓ４（第４期間）が開始する。期間ｔ２７−ｔ２９の電荷蓄積期間Ｔｓ５に光電変換部３０１で生じた電荷が電荷保持部３０３Ｂに転送され、保持される。この時、電荷蓄積期間Ｔｓ３と電荷蓄積期間Ｔｓ５に光電変換部３０１で生じた電荷が、電荷保持部３０３Ｂで保持される。
【０１２４】
時刻ｔ３０に駆動パルスｐＴＸ１がＨレベルとなり、時刻ｔ３１に駆動パルスｐＴＸ１がＬレベルとなる。時刻ｔ３１に電荷蓄積期間Ｔｓ４が終了する。期間ｔ２９−ｔ３１の電荷蓄積期間Ｔｓ４に光電変換部３０１で生じた電荷が電荷保持部３０３Ａに転送され、保持される。この時、電荷蓄積期間Ｔｓ１と電荷蓄積期間Ｔｓ２と電荷蓄積期間Ｔｓ４に光電変換部３０１で生じた電荷が、電荷保持部３０３Ａで保持される。
【０１２５】
本実施例において、電荷蓄積期間Ｔｓ１の終了から電荷蓄積期間Ｔｓ２の開始まで（期間ｔ４−ｔ２５）の長さは、電荷蓄積期間Ｔｓ２の終了から電荷蓄積期間Ｔｓ４の開始まで（期間ｔ２７−ｔ２９）の長さと異なる。
【０１２６】
そして、電荷保持部３０３Ａに保持された電荷に基づく信号は、露光関数が非周期的となり、符号化撮像された信号となる。また、電荷保持部３０３Ｂに保持された電荷に基づく信号も、露光関数が非周期的となり、符号化撮像された信号となる。
【０１２７】
このような構成においても実施例１と同様の効果を得られる。
【０１２８】
なお、本実施例において電荷蓄積期間Ｔｓ１と電荷蓄積期間Ｔｓ２と電荷蓄積期間Ｔｓ４の電荷蓄積期間の長さが同じである構成を示したが、実施例１のように異なってもよい。
【０１２９】
さらに本実施例において、電荷蓄積期間Ｔｓ３および電荷蓄積期間Ｔｓ５に光電変換部３０１で生じた電荷を電荷保持部３０３Ｂに保持する。そのため、電荷蓄積期間Ｔｓ３および電荷蓄積期間Ｔｓ５に光電変換部３０１で生じた電荷を効率よく保持することが可能であり、光の利用効率を高くすることができる。
【０１３０】
なお、ここでは電荷蓄積期間Ｔｓ３が期間ｔ４−ｔ２５であり、電荷蓄積期間Ｔｓ５が期間ｔ２７−ｔ２９である。しかし、期間ｔ４−ｔ２５または期間ｔ２７−ｔ２９の一部の期間に生じた電荷を電荷保持部３０３Ｂに保持すれば、期間ｔ４−ｔ２５または期間ｔ２７−ｔ２９の他の期間を電荷排出部に排出してもよい。
【０１３１】
（実施例４）
本実施例について図９、図１０を用いて説明する。本実施例は、光電変換部に対して複数の入力ノードを有しており、光電変換部からそれぞれの入力ノードの一部を構成するＦＤに電荷を転送している点で実施例１〜３と異なる。つまり、一つ目のＦＤが第１の電荷保持部の構成を兼ね、二つ目のＦＤが第２の電荷保持部の構成を兼ねる。
【０１３２】
図９は本実施例の１画素の等価回路図である。ここでは図３の等価回路図と異なる点について説明する。
【０１３３】
転送部３０２Ａは、光電変換部３０１で生じた電荷をＦＤ３０５Ａに転送する。転送部３０２Ｂは、光電変換部３０１で生じた電荷をＦＤ３０５Ｂに転送する。
【０１３４】
ＦＤ３０５Ａは、転送部３０２Ａを介して、光電変換部３０１から転送された電荷を保持する。ＦＤ３０５Ｂは、転送部３０２Ｂを介して、光電変換部３０１から転送された電荷を保持する。
【０１３５】
増幅部３０７Ａは、そのゲートがＦＤ３０５Ａに接続されている。そしてＦＤ３０５Ａは増幅部３０７Ａの入力ノードの一部を構成する。転送部３０２ＡによってＦＤ３０５に転送された電荷に基づく信号を増幅して信号線２０７Ａへ出力する。増幅部３０７Ｂは、そのゲートがＦＤ３０５Ｂに接続されている。そしてＦＤ３０５Ｂは増幅部３０７Ｂの入力ノードの一部を構成する。転送部３０２ＢによってＦＤ３０５Ｂに転送された電荷に基づく信号を増幅して信号線２０７Ｂへ出力する。
【０１３６】
リセットトランジスタ３０６Ａは、増幅部３０７Ａの入力ノードの電位を電源電位ＶＤＤ近傍の電位にリセットする。リセットトランジスタ３０６Ａのゲートには駆動パルスｐＲＥＳ１が供給され、オン状態、オフ状態が切り替えられる。リセットトランジスタ３０６Ｂは、増幅部３０７Ｂの入力ノードの電位を電源電位ＶＤＤ近傍の電位にリセットする。リセットトランジスタ３０６Ｂのゲートには駆動パルスｐＲＥＳ２が供給され、オン状態、オフ状態が切り替えられる。
【０１３７】
選択トランジスタ３０８Ａは、信号線２０７Ａへの画素２０１の接続、非接続を切り替える。各画素２０１の選択トランジスタ３０８Ａを切り替えることで、画素２０１の信号を１画素ずつまたは複数画素ずつ信号線２０７Ａに出力させる。選択トランジスタ３０８Ａのドレインは、増幅部３０７Ａの出力ノードに接続され、選択トランジスタ３０８Ａのソースは信号線２０７Ａに接続されている。
【０１３８】
選択トランジスタ３０８Ｂは、信号線２０７Ｂへの画素２０１の接続、非接続を切り替える。各画素２０１の選択トランジスタ３０８を切り替えることで、画素２０１の信号を１画素ずつまたは複数画素ずつ信号線２０７Ｂに出力させる。選択トランジスタ３０８Ｂのドレインは、増幅部３０７Ｂの出力ノードに接続され、選択トランジスタ３０８Ｂのソースは信号線２０７Ｂに接続されている。
【０１３９】
図１０を用いて本実施例の駆動パルスを説明する。ここでは図４の駆動パルスと異なる点についてのみ説明する。電荷蓄積期間Ｔｓ１において光電変換部３０１で蓄積された電荷と、電荷蓄積期間Ｔｓ２において光電変換部３０１で蓄積された電荷とは、ＦＤ３０５Ａにて電荷として加算され保持される。電荷蓄積期間ＴＳ３において光電変換部３０１で蓄積された電荷はＦＤ３０５Ｂにて保持される。
【０１４０】
次に出力期間について説明する。図４の駆動パルスに比べて、図１０では行選択によって信号の出力が制御される点で異なる。ここでは、ｍ行目の出力期間Ｔｏｐについて説明する。
【０１４１】
時刻ｔ３２に駆動パルスｐＳＥＬ１がＨレベルとなり、選択トランジスタ３０８Ａがオンとなる。時刻ｔ３２に出力期間Ｔｏｐが開始する。期間ｔ３２−ｔ３３において、ＦＤ３０５Ａに保持された電荷に基づく信号（信号Ｓ３と信号Ｎ２の加算信号）が信号線２０７Ａに出力される。この時、第１の電荷保持期間が終了する。
【０１４２】
時刻ｔ３３に駆動パルスｐＲＥＳ１がＨレベルとなり、リセットトランジスタ３０６Ａがオンとなり、ＦＤ３０５Ａに保持された電荷は電荷排出部に排出される。
【０１４３】
そして、期間ｔ３４−ｔ３５において、ＦＤ３０５Ａのリセット電位を信号Ｎ３として信号線２０７Ａに出力する。時刻ｔ３５に駆動パルスｐＳＥＬ１がＬレベルとなり、選択トランジスタ３０８Ａがオフ状態となる。
【０１４４】
時刻ｔ３６に駆動パルスｐＳＥＬ２がＨレベルとなり、選択トランジスタ３０８Ｂがオンとなる。期間ｔ３６−ｔ３７において、ＦＤ３０５Ｂに保持された電荷に基づく信号（信号Ｓ４と信号Ｎ４の加算信号）が信号線２０７Ｂに出力される。この時第２の電荷保持期間が終了する。
【０１４５】
時刻ｔ３７に駆動パルスｐＲＥＳ２がＨレベルとなり、リセットトランジスタ３０６Ｂがオンとなり、ＦＤ３０５Ｂに蓄積された電荷は電荷排出部に排出される。  そして、期間ｔ３８−ｔ３９において、ＦＤ３０５Ｂのリセット電位を信号Ｎ５として信号線２０７Ｂに出力する。時刻ｔ３９に駆動パルスｐＳＥＬ２がＬレベルとなり、選択トランジスタ３０８Ａがオフとなる。
【０１４６】
なお、ここで出力される信号Ｎ２は信号Ｎ３と同等のものとし、信号Ｎ４は信号Ｎ５と同様のものとする。ただし、その場合にはＦＤ３０５Ａに電荷を保持する前のリセット電位と保持した後のリセット電位では誤差が生じる。そのため、光電変換部３０１で生じた電荷をＦＤ３０５ＡおよびＦＤ３０５Ｂに転送する前に、ＦＤ３０５ＡおよびＦＤ３０５Ｂの各々の電荷に基づく信号を出力し、信号Ｎ２および信号Ｎ４としてもよい。
【０１４７】
本実施例の構成においても実施例１と同様の効果を得ることができる。さらに、光電変換部３０１とＦＤ３０５との間に電荷保持部３０３を持たないため、光電変換部３０１の面積を大きくとることが可能となり、感度や飽和電荷量の低下を抑えて符号化撮像された信号を得ることが可能である。
【０１４８】
なお、本実施例はその他の実施例にも適用可能である。
【０１４９】
（実施例５）
本発明の実施例５について図１１〜図１３を用いて説明する。本実施例は、光電変換部に対して３つの電荷保持部を有している点で実施例１〜４と異なる。
【０１５０】
図１１は、本実施例の１画素の等価回路図である。ここでは図３との差異について説明する。電荷保持部３０３Ｅは、後述の転送部３０２Ｅを介して光電変換部３０１から転送された電子を保持する。ＦＤ３０５は、電荷保持部３０３Ａ、電荷保持部３０３Ｂ、電荷保持部３０３Ｅにより共有されている。
【０１５１】
そして、転送部３０４Ａ、転送部３０４Ｂ、後述の転送部３０４Ｅを介して、電荷保持部３０３Ａ、電荷保持部３０３Ｂ、電荷保持部３０３Ｅの少なくとも一方から転送された電荷を保持する。
【０１５２】
転送部３０２Ｅ（第６転送部）は、光電変換部３０１で生じた電荷を電荷保持部３０３Ｅに転送する。転送部３０４Ｅ（第７転送部）は、電荷保持部３０３Ｅに保持された電荷をＦＤ３０５に転送する。転送部３０２Ｅ、転送部３０４Ｅはそれぞれ駆動パルスｐＴＸ５、ｐＴＸ６が供給され、オン、オフが切り換えられる。各転送部がオンとなることで電荷が転送される。
【０１５３】
図１２は、駆動パルス図である。図１２の駆動パルスと図４の駆動パルスとの差異について説明する。時刻ｔ２５に駆動パルスｐＴＸ２がＬレベルとなり、電荷蓄積期間Ｔｓ３が終了し、電荷蓄積期間Ｔｓ６（第６期間）が開始する。この時、第２の電荷保持期間が開始する。
【０１５４】
時刻ｔ４３に駆動パルスｐＴＸ５がＨレベルとなり、時刻ｔ４４に駆動パルスｐＴＸ５がＬレベルとなる。電荷蓄積期間Ｔｓ６が終了し、電荷蓄積期間Ｔｓ５が開始する。この時、第５の電荷保持期間が開始する。期間ｔ２５−ｔ４４の電荷蓄積期間Ｔｓ６に光電変換部３０１で生じた電荷が転送部３０２Ｅを介して電荷保持部３０３Ｅに転送され、保持される。
【０１５５】
時刻ｔ４５に駆動パルスｐＴＸ２がＨレベルとなり、時刻ｔ４６に駆動パルスｐＴＸ２がＬレベルとなる。電荷蓄積期間Ｔｓ５が終了し、電荷蓄積期間Ｔｓ７（第７期間）が開始する。期間ｔ４４−ｔ４６の電荷蓄積期間Ｔｓ５に光電変換部３０１に生じた電荷が転送部３０２Ｂを介して電荷保持部３０３Ｂに転送され、保持される。
【０１５６】
時刻ｔ４７に駆動パルスｐＴＸ５がＨレベルとなり、時刻ｔ４８にＬレベルとなる。電荷蓄積期間Ｔｓ７が終了し、電荷蓄積期間Ｔｓ２が開始する。期間ｔ４６−ｔ４８の電荷蓄積期間Ｔｓ７に光電変換部３０１に生じた電荷が転送部３０２Ｅを介して電荷保持部３０３Ｅに転送され、電荷蓄積期間Ｔｓ６に光電変換部３０１で生じた電荷と、電荷蓄積期間Ｔｓ７に光電変換部３０１で生じた電荷とが保持される。
【０１５７】
時刻ｔ４９に駆動パルスｐＴＸ１がＨレベルとなり、時刻ｔ５０にＬレベルとなる。電荷蓄積期間Ｔｓ２が終了し、第１の電荷保持期間が開始する。
【０１５８】
期間ｔ４８−ｔ５０の電荷蓄積期間Ｔｓ２に光電変換部３０１に生じた電荷が転送部３０２Ａを介して電荷保持部３０３Ａに転送され、保持される。
【０１５９】
次に出力期間Ｔｏｐについて説明する。このように、電荷蓄積期間において、駆動パルスｐＴＸ１、ｐＴＸ２、ｐＴＸ５に異なるタイミングで転送部３０２がオン状態となるパルスを供給する。これにより光電変換部３０１で発生した信号電荷が時分割され、電荷保持部３０３Ａ、電荷保持部３０３Ｂ、電荷保持部３０３Ｅに転送され、保持される。
【０１６０】
期間ｔ９―ｔ１５までは実施例１と同様である。時刻ｔ５３に駆動パルスｐＴＸ６がＨレベルとなり、時刻ｔ５４にＬレベルとなる。時刻ｔ５４において、電荷保持部３０３Ｅでの電荷の保持が終了する。これにより、電荷保持部３０３Ｅで保持していた電荷蓄積期間Ｔｓ６で生じた電荷と、電荷蓄積期間Ｔｓ７で生じた電荷とがＦＤ３０５に転送される。そして第５の電荷保持期間が終了する。
【０１６１】
そして、ＦＤ３０５では、電荷蓄積期間Ｔｓ１、Ｔｓ２、Ｔｓ３、Ｔｓ５、Ｔｓ６、Ｔｓ７の各々の電荷蓄積時間で生じた電荷と保持する。そして、期間ｔ５４−ｔ１６において電荷に応じた信号Ｓ５を信号線２０７に出力する。
【０１６２】
時刻ｔ１６に駆動パルスｐＳＥＬ（ｍ）がＬレベルとなり選択トランジスタ３０８がオフ状態となる。これによりｍ行目の画素行が非選択となる。
【０１６３】
出力期間Ｔｏｐに順次出力された信号Ｎ、信号Ｓ１、信号Ｓ２、信号Ｓ５のこれら４つの信号に対して、撮像装置内部または外部でＳ１−Ｎ、Ｓ２−Ｓ１およびＳ５−Ｓ２の演算を施す。
【０１６４】
これにより、固定パターンノイズを除去した、電荷保持部３０３Ａに保持された電荷に基づく信号Ｓ３、電荷保持部３０３Ｂに保持された電荷に基づく信号Ｓ４、電荷保持部３０３Ｅに保持された電荷に基づく信号Ｓ６（信号Ｓ６）を得ることができる。
【０１６５】
図１２では、各電荷保持部３０３に複数の重複しない電荷蓄積期間の電荷を保持したが、少なくとも電荷保持部３０３Ａが電荷を保持すればよい。
【０１６６】
次に、複数の電荷保持部３０３に複数の重複しない電荷蓄積期間の電荷を電荷として保持した場合の特有の効果について図１３を用いて説明する。
【０１６７】
本実施例によれば、３種類の符号化パターンの信号Ｓ３、Ｓ４、Ｓ６が得られる。これらの三つの信号から、例えば信号Ｓ３と信号Ｓ４とを加算した信号に基づく信号（Ｓ３＋Ｓ４）および、信号Ｓ３と信号Ｓ６とを加算した信号に基づく信号（Ｓ３＋Ｓ６）を作成する。信号（Ｓ３＋Ｓ４）と信号（Ｓ３＋Ｓ６）とは、一部の期間を重複して含むような符号化パターンの異なる信号となる。
【０１６８】
つまり、三つの電荷保持部を有する構成によれば、二つの電荷保持部を有する構成に比べて自由度の高い符号化パターンの組み合わせで符号化撮像された信号を得ることが可能となる。
【０１６９】
ここでは、三つの電荷保持部を有する構成について説明したが、三つよりも多くの電荷保持部３０３を設けても同様の効果が得られる。
【０１７０】
本実施例はその他の実施例にも適用可能である。
【０１７１】
（実施例６）
本実施例について図１４〜１６を用いて説明する。本実施例の１つの画素が複数の光電変換部を有する点で実施例１〜５と異なる。具体的には一つのマイクロレンズの下部に配された二つの光電変換部の各々が、複数の電荷保持部を有している。ここでは一つの画素に二つの光電変換部が配されている構成を示すが、二つより多くてもよい。
【０１７２】
図１４は本実施例の１画素の等価回路図である。ここでは図３の等価回路図と差異について説明する。
【０１７３】
一つの画素に光電変換部３０１Ａと光電変換部３０１Ｂが配されている。転送部３０２Ａは、光電変換部３０１Ａで生じた電子を電荷保持部３０３Ａへ転送する。転送部３０２Ｂは、光電変換部３０１Ａで生じた電子を電荷保持部３０３Ｂへ転送する。転送部３０２Ａ、３０２Ｂのゲートにはそれぞれ駆動パルスｐＴＸ１Ａ、ｐＴＸ２Ａが供給される。
【０１７４】
転送部３０４Ａは、電荷保持部３０３Ａで保持した電子をＦＤ３０５へ転送する。転送部３０４Ｂは、電荷保持部３０３Ｂで保持した電子をＦＤ３０５へ転送する。転送部３０４Ａ、３０４Ｂのゲートにはそれぞれ駆動パルスｐＴＸ３Ａ、ｐＴＸ４Ａが供給される。
【０１７５】
転送部３０２Ｃは、光電変換部３０１Ｂで生じた電子を電荷保持部３０３Ｃへ転送し、転送部３０２Ｄは、光電変換部３０１Ｂで生じた電子を電荷保持部３０３Ｄへ転送する。転送部３０２Ｃ、３０２Ｄのゲートにはそれぞれ駆動パルスｐＴＸ１Ｂ、ｐＴＸ２Ｂが供給される。
【０１７６】
転送部３０４Ｃは、電荷保持部３０３Ｃで保持した電子をＦＤ３０５へ転送する。転送部３０４Ｄは、電荷保持部３０３Ｄで保持した電子をＦＤ３０５へ転送する。転送部３０４Ｃ、３０４Ｄのゲートにはそれぞれ駆動パルスｐＴＸ３Ｂ、ｐＴＸ４Ｂが供給される。
【０１７７】
転送部３０９Ａは、光電変換部３０１Ａで生じた電子を電荷排出部へ転送し、転送部３０９Ｂは光電変換部３０１Ｂで生じた電子を電荷排出部へ転送する。転送部３０９Ａ、転送部３０９Ｂのゲートにはそれぞれ駆動パルスｐＯＦＤ１、ｐＯＦＤ２が供給される。
【０１７８】
ＦＤ３０５は、電荷保持部３０３Ａ、電荷保持部３０３Ｂ、電荷保持部３０３Ｃ、電荷保持部３０３Ｄのそれぞれから転送された電荷が保持される。
【０１７９】
なお、ＦＤ３０５が光電変換部３０１Ａ、光電変換部３０１Ｂで共有される構成としているが、それぞれ別々にＦＤ３０５を構成する半導体領域を有していてもよい。
【０１８０】
図１５は本実施例の画素の駆動方法を説明するタイミング図である。図４の駆動パルス図と異なる点について説明する。
【０１８１】
図１５において、時刻ｔ３に駆動パルスｐＴＸ１Ａ、ｐＴＸ１ＢがＨレベルとなり、時刻ｔ４に駆動パルスｐＴＸ１Ａ、ｐＴＸ１ＢがＬレベルとなる。これにより、電荷蓄積期間Ｔｓ１に光電変換部３０１Ａで蓄積した電荷は電荷保持部３０３Ａに転送され、光電変換部３０１Ｂで蓄積した電荷は電荷保持部３０３Ｃに転送される。そして第３電荷蓄積期間が開始する。
【０１８２】
時刻ｔ５に駆動パルスｐＴＸ２Ａ，ｐＴＸ２ＢがＨレベルとなり、時刻ｔ６に駆動パルスｐＴＸ２Ａ、ｐＴＸ２ＢがＬレベルとなる。これにより、電荷蓄積期間Ｔｓ３に、光電変換部３０１Ａで蓄積した電荷は電荷保持部３０３Ｂに転送され、光電変換部３０１Ｂで蓄積した電荷は電荷保持部３０３Ｄに転送される。そして、電荷蓄積期間Ｔｓ３が終了し、電荷蓄積期間Ｔｓ２が開始する。また、第２の電荷保持期間および第４の電荷保持期間が開始する。
【０１８３】
時刻ｔ７に駆動パルスｐＴＸ１Ａ、ｐＴＸ１ＢがＨレベルとなり、時刻ｔ８に駆動パルスｐＴＸ１Ａ、ｐＴＸ１ＢがＬレベルとなる。これにより、電荷蓄積期間Ｔｓ２が終了し、電荷蓄積期間Ｔｓ２において光電変換部３０１Ａで蓄積した電荷は電荷保持部３０３Ａに転送され、第１の電荷保持期間および第３の電荷保持期間が開始する。
【０１８４】
電荷保持部３０３Ａは、電荷蓄積期間Ｔｓ１において光電変換部３０１Ａに生じた電荷および電荷蓄積期間Ｔｓ２において光電変換部３０１Ａに生じた電荷を保持する。また、電荷保持部３０３Ｃは、電荷蓄積期間Ｔｓ１において光電変換部３０１Ｂに生じた電荷および電荷蓄積期間Ｔｓ２において光電変換部３０１Ｂに生じた電荷を保持する。
【０１８５】
次に出力期間Ｔｏｐについて説明する。期間ｔ９−ｔ１５までは図４と同様の駆動パルスである。時刻ｔ９に駆動パルスｐＳＥＬがＨレベルとなり、出力期間Ｔｏｐが開始する。
【０１８６】
時刻ｔ５５に駆動パルスｐＴＸ３ＢがＨレベルとなり、時刻ｔ５６にＬレベルとなる。これにより、電荷保持部３０３Ｃで保持していた、光電変換部３０１Ｂにおいて電荷蓄積期間Ｔｓ１で生じた電荷と、電荷蓄積期間Ｔｓ２で生じた電荷とがＦＤ３０５に転送される。そして、第３の電荷保持期間が終了する。
【０１８７】
そして、ＦＤ３０５では、電荷蓄積期間Ｔｓ１、Ｔｓ２、Ｔｓ３に光電変換部３０１Ａで生じた電荷と、電荷蓄積期間Ｔｓ１、Ｔｓ２に光電変換部３０１Ｂで生じた電荷とを保持する。そして、期間ｔ５６−ｔ５７において電荷に応じた信号Ｓを信号線２０７に出力する。
【０１８８】
時刻ｔ５７に駆動パルスｐＴＸ４ＢがＨレベルとなり、時刻ｔ５８に駆動パルスｐＴＸ４ＢがＬレベルとなる。これにより、電荷保持部３０３Ｄで保持していた、光電変換部３０１Ｂにおいて電荷蓄積期間Ｔｓ３で生じた電荷がＦＤ３０５に転送される。そして、第４の電荷保持期間が終了する。時刻ｔ５９に駆動パルスｐＳＥＬがＬレベルとなり、出力期間Ｔｏｐが終了する。
【０１８９】
そして、ＦＤ３０５では、電荷蓄積期間Ｔｓ１、Ｔｓ２、Ｔｓ３に光電変換部３０１Ａおよび光電変換部３０１Ｂで生じた電荷とを保持する。そして、期間ｔ５８−ｔ５９において電荷に応じた信号Ｓを信号線２０７に出力する。
【０１９０】
このような構成においても実施例１と同様の効果を得ることができる。さらに、光電変換部３０１Ａおよび光電変換部３０１Ｂの電荷蓄積期間を同じ期間としたが、異ならせてもよい。その場合には光電変換部３０１Ａで生じた電荷に対する信号と光電変換部３０１Ｂに生じた電荷に対する信号とで異なる符号化パターンの信号を取得することが可能となる。
【０１９１】
なお、光電変換部３０１Ａに生じた電荷を保持する電荷保持部が保持した電荷を先にＦＤ３０５に転送したが、光電変換部３０１Ｂに生じた電荷を保持する電荷保持部が保持した電荷を先にＦＤ３０５に転送してもよい。または電荷の転送を、光電変換部３０１Ａに生じた電荷を保持する電荷保持部と光電変換部３０１Ｂに生じた電荷を保持する電荷保持部とを交互にしてもよい。
【０１９２】
このように複数の光電変換部を有する画素１００は撮像画素もしくは撮像以外の機能を有する画素（例えば位相差検出方式による焦点検出）として用いることが可能である。
【０１９３】
なお、本実施例はすべての実施例に適用可能である。
【０１９４】
（実施例７）
図１６〜１７を用いて本実施例の撮像装置を説明する。図１６と図１４の差異は、本実施例が複数のＦＤ、増幅部、選択トランジスタを有している点と、一つのＦＤが複数の光電変換部の各々の光電変換部に対して配された電荷保持部で共有されている点である。
【０１９５】
図１６と図１４の差異について説明する。図１６では、電荷保持部３０３Ａで保持した、光電変換部３０１Ａで生じた電荷は、転送部３０４Ａを介してＦＤ３０５Ａに転送され、保持される。電荷保持部３０３Ｃで保持した、光電変換部３０１Ｂで生じた電荷は、転送部３０４Ｃを介してＦＤ３０５Ａに転送され、保持される。そして、電荷保持部３０３Ａで保持した電荷と、電荷保持部３０３Ｃで保持した電荷とが、ＦＤ３０５Ａにて加算され、保持される。
【０１９６】
ＦＤ３０５Ａは、増幅部３０７Ａの入力ノード（第１入力ノード）の一部を構成する。また、リセットトランジスタ３０６Ａは、増幅部３０７Ａの入力ノードの電位をリセット電位にリセットする。
【０１９７】
選択トランジスタ３０８Ａは、信号線２０７Ａへの画素２０１の接続、非接続を切り替える。各画素２０１の選択トランジスタ３０８Ａを切り替えることで、画素２０１の信号を１画素ずつまたは複数画素ずつ信号線２０７Ａに出力させる。選択トランジスタ３０８Ａのドレインは、増幅部３０７Ａの出力ノードに接続される。
【０１９８】
電荷保持部３０３Ｂで保持した、光電変換部３０１Ｂで生じた電荷は、転送部３０４Ｂを介してＦＤ３０５Ｂに転送され、保持される。電荷保持部３０３Ｄで保持した、光電変換部３０１Ｂで生じた電荷は、転送部３０４Ｄを介してＦＤ３０５Ｂに転送され、保持される。そして、電荷保持部３０３Ｂで保持した電荷と、電荷保持部３０３Ｄで保持した電荷とが、ＦＤ３０５にて保持される。
【０１９９】
ＦＤ３０５Ｂは、増幅部３０７Ｂの入力ノード（第２入力ノード）の一部を構成する。また、リセットトランジスタ３０６Ｂは、増幅部３０７Ｂの入力ノードの電位をリセット電位にリセットする。
【０２００】
選択トランジスタ３０８Ｂは、信号線２０７Ｂへの画素２０１の接続、非接続を切り替える。各画素２０１の選択トランジスタ３０８Ｂを切り替えることで、画素２０１の信号を１画素ずつまたは複数画素ずつ信号線２０７Ｂに出力させる。選択トランジスタ３０８Ｂのドレインは、増幅部３０７Ｂの出力ノードに接続される。
【０２０１】
図１７は、本実施例の画素の駆動方法を説明する駆動パルス図である。図１５の駆動パルスとの差異について説明する。図１７と図１５では、出力期間Ｔｏｐが異なる。図１７の出力期間Ｔｏｐでは、ＦＤ３０５Ａに転送された電荷に基づいた信号を信号線２０７Ａへの出力する期間と、ＦＤ３０５Ｂに転送された電荷に基づいた信号を信号線２０７Ｂに出力する期間とが同時刻に行われる。
【０２０２】
本実施例によっても、実施例６と同様の効果を得ることができる。
【０２０３】
（実施例８）
本実施例の駆動概念について図１８を用いて説明する。以下では、符号化撮像された信号を複数フレームに亘って連続して出力することで動画を撮影する場合について説明する。
【０２０４】
本実施例では、画素の等価回路の構成は実施例１と同等として説明する。複数のフレーム期間によって複数の画像を得ることにより動画を撮影する。つまり、たとえば１秒間に６０フレームの画像を撮影する場合には、各フレーム期間は１／６０秒となる。静止画撮影の場合も同様に、所定期間を撮影画像の数で割った時間である。たとえば１秒間に１０コマの撮影をする場合には１／１０秒となる。また各フレーム期間に対応する期間の開始時刻と終了時刻として以下の例をあげる。
【０２０５】
一つ目は、前フレーム期間の光電変換部の電荷の転送が完了した時刻を開始時刻とし、終了時刻を、そのフレーム期間の画像を生成するための、光電変換部の電荷の転送が終了する時刻とする場合である。
【０２０６】
二つ目は、光電変換部のリセットが解除されて光電変換部における電荷蓄積が可能になった時刻を開始時刻とし、終了時刻は、次フレーム期間の光電変換部のリセットが解除されて光電変換部における電荷蓄積が可能になった時刻とする場合である。
【０２０７】
図１８においては、一つ目の動作を説明するが、二つ目の動作でもよい。これらは具体例であるが、電荷排出部を用いて、光電変換部３０１の蓄積時間をフレキシブルに変更してもよい。このような場合には、前フレーム期間の光電変換部の電荷の転送完了時刻から、光電変換部のリセットが解除される時刻との間の任意の時間に、開始時刻、終了時刻を設定してもよい。
【０２０８】
図１８は光電変換部で生じる電荷と電荷保持部で保持される電荷、およびそれらの出力動作を概念的に示す図である。電荷蓄積期間のことをＰＤ（行、電荷蓄積期間）で示す。また、電荷保持期間をＭＥＭ（行、保持している電荷が生じる電荷蓄積期間）で示す。そして光電変換部３０１から各電荷保持部３０３へ転送されるタイミングを矢印で示している。
【０２０９】
図１８では第ｎフレームの画像を生成するための動作を実線で、それ以外のフレームの画像を生成するための動作を点線で示している。本実施例では主に第ｎフレームに対応する動作を説明する。
【０２１０】
図１８において、期間ｔ１３０１−ｔ１３０６が第ｎフレームの画像に対応する期間であり、期間ｔ１３０６−ｔ１３１１が第ｎ＋１フレームの画像に対応する期間である。
【０２１１】
時刻ｔ１３０１で第ｎフレームに対応する期間が開始する。時刻ｔ１３０１において光電変換部３０１で生じた電荷の蓄積が開始される。この時、第ｍ−１フレームの画像を生成するための電荷として、電荷保持部３０３Ａには、ＭＥＭ１（ｍ−１，Ｔｓ１＋Ｔｓ３）が保持され、電荷保持部３０３Ｂには、ＭＥＭ２（ｍ−１，Ｔｓ２＋Ｔｓ４）が保持されている。
【０２１２】
期間ｔ１３０１―ｔ１３０２において、各画素行の画素の電荷保持部３０３Ａに保持された電荷に対応した信号および電荷保持部３０３Ｂに保持された電荷に対応した信号が行ごとに順次出力される。
【０２１３】
時刻ｔ１３０３に、期間ｔ１３０１−ｔ１３０３に光電変換部で生じた電荷ＰＤ（ｍ、Ｔｓ１）が、各画素行の画素の電荷保持部３０３Ａへ全画素において一括して転送される。そして、電荷転送が終了した光電変換部３０１において電荷の蓄積が開始される。
【０２１４】
時刻ｔ１３０４に、期間ｔ１３０３−ｔ１３０４に光電変換部で生じた電荷ＰＤ（ｍ、Ｔｓ２）が、各画素行の画素の電荷保持部３０３Ｂへ全画素において一括して転送される。そして、電荷転送が終了した光電変換部３０１において電荷の蓄積が開始される。
【０２１５】
時刻ｔ１３０５に、期間ｔ１３０４−ｔ１３０５に光電変換部で生じた電荷ＰＤ（ｍ、Ｔｓ３）が、各画素行の画素の電荷保持部３０３Ａへ全画素において一括して転送される。そして、電荷転送が終了した光電変換部３０１において電荷の蓄積が開始される。なお、電荷保持部３０３Ａには、ＰＤ（ｎ、Ｔｓ１）とＰＤ（ｎ、Ｔｓ３）の電荷が保持される。
【０２１６】
時刻ｔ１３０６に、期間ｔ１３０５−ｔ１３０６に光電変換部で生じた電荷ＰＤ（ｎ、Ｔｓ４）が、各画素行の画素の電荷保持部３０３Ｂへ全画素において一括して転送される。そして、電荷転送が終了した光電変換部３０１において電荷の蓄積が開始される。なお、電荷保持部３０３Ｂには、ＰＤ（ｎ、Ｔｓ２）とＰＤ（ｎ、Ｔｓ４）の電荷が保持される。
【０２１７】
さらに時刻１３０６において、ｎフレームの画像を生成するための電荷の転送が完了する。したがって、時刻ｔ１３０６において第ｎ＋１フレームに対応する期間が開始され、光電変換部３０１において生じた電荷の蓄積が開始される。
【０２１８】
期間ｔ１３０６−ｔ１３０７において、電荷保持部３０３Ａで保持された電荷および電荷保持部３０３Ｂで保持された電荷に対応した信号が順次行ごとに画素外へ出力される。これにより、第ｎフレームの撮影内で電荷保持部３０３Ａと電荷保持部３０３Ｂの信号に基づく２つの画像を取得する。
【０２１９】
この時の信号の出力方法は、ＦＤ３０５において電荷蓄積期間の異なる電荷を加算したほうがよい。これにより、各電荷蓄積期間の電荷に対する信号を後段の回路で加算する場合に比べて高速化することが可能である。
【０２２０】
第ｎフレームから第ｎ＋１フレームに切り替わる時刻ｔ１３０８が、前フレーム（第ｎフレーム）の全ての行を読み終える時間ｔ１３０７以降となるように、電荷保持部３０３Ａと電荷保持部３０３Ｂの符号化パターンを設定することが望ましい。これにより、動体撮影時にローリングシャッタ歪みを抑制することが可能である。そのため、期間ｔ１３０６―Ｔ１３０７に光電変換部で生じた電荷を、光電変換部３０１で一時的に保持する。そして第ｎフレームの出力期間の終了する時刻ｔ１３０７以降の時刻ｔ１３０８に光電変換部３０１に保持した電荷を電荷保持部３０３Ａまたは３０３Ｂに転送する。
【０２２１】
このような構成によれば、出力期間に光電変換部３０１で生じた電荷を次のフレームの電荷として利用できるため、光の利用効率の低下を抑えた、複数の符号化撮像された信号を用いた動画を得ることが出来る。
【符号の説明】
【０２２２】
２０１  画素
３０１  光電変換部
３０２Ａ  転送部
３０２Ｂ  転送部
３０３Ａ  第１の電荷保持部
３０３Ｂ  第２の電荷保持部
【図１】
2018019353.tif 000004
【図２】
2018019353.tif 000005
【図３】
2018019353.tif 000006
【図４】
2018019353.tif 000007
【図５】
2018019353.tif 000008
【図６】
2018019353.tif 000009
【図７】
2018019353.tif 000010
【図８】
2018019353.tif 000011
【図９】
2018019353.tif 000012
【図１０】
2018019353.tif 000013
【図１１】
2018019353.tif 000014
【図１２】
2018019353.tif 000015
【図１３】
2018019353.tif 000016
【図１４】
2018019353.tif 000017
【図１５】
2018019353.tif 000018
【図１６】
2018019353.tif 000019
【図１７】
2018019353.tif 000020
【図１８】
2018019353.tif 000021