(57)【要約】      （修正有）【課題】画像の撮像中に静止画像を取得することができる撮像装置において、画像の品質を向上させる。【解決手段】第１の光電変換部と、第１の光電変換部よりも感度が高い第２の光電変換部と、をそれぞれ含む複数の画素を有する撮像素子１００と、第１の光電変換部と第２の光電変換部を制御する制御部２０８と、を備える撮像装置２００であって、第１の光電変換部及び第２の光電変換部は、複数の画素にそれぞれ含まれる第１の光電変換部において１回の電荷の蓄積が行われる間に、複数の画素にそれぞれ含まれる第２の光電変換部において複数回の電荷の蓄積が行われるように、制御部により制御される。【選択図】図１
2017118266.tif 000002
【特許請求の範囲】
【請求項１】
第１の光電変換部と、前記第１の光電変換部よりも感度が高い第２の光電変換部と、をそれぞれ含む複数の画素を有する撮像素子と、
前記第１の光電変換部と前記第２の光電変換部を制御する制御部と、を備える撮像装置であって、
前記第１の光電変換部及び前記第２の光電変換部は、前記複数の画素にそれぞれ含まれる前記第１の光電変換部において１回の電荷の蓄積が行われる間に、前記複数の画素にそれぞれ含まれる前記第２の光電変換部において複数回の電荷の蓄積が行われるように、前記制御部により制御されることを特徴とする撮像装置。
【請求項２】
前記複数の画素はそれぞれ、前記第１の光電変換部及び前記第２の光電変換部へ集光するマイクロレンズを含み、
前記マイクロレンズの光軸は、前記第１の光電変換部と前記第２の光電変換部の間に設けられたバリア領域の中央に対して、前記第２の光電変換部の側にずれていることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
前記複数の画素はそれぞれ、前記第１の光電変換部及び前記第２の光電変換部へ集光する導波路を含み、
前記導波路のコアの射出端の中央は、前記第１の光電変換部と前記第２の光電変換部の間に設けられたバリア領域の中央に対して、前記第２の光電変換部の側にずれていることを特徴とする、請求項１又は２に記載の撮像装置。
【請求項４】
前記制御部は、前記複数回の電荷の蓄積により蓄積されたそれぞれの電荷を電圧信号に変換して読み出した後、加算平均を行うことを特徴とする、請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記複数の画素はそれぞれ画素内メモリを含み、
前記複数の画素はそれぞれ、前記複数回の電荷の蓄積により蓄積されたそれぞれの電荷を前記画素内メモリにおいて電荷の状態で加算することを特徴とする、請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項６】
前記第２の光電変換部における前記複数回の電荷の蓄積に要する時間がそれぞれ、互いに等しいことを特徴する、請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第２の光電変換部における前記複数回の電荷の蓄積に要する時間がそれぞれ、互いに異なることを特徴する、請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
前記制御部は、前記複数回の電荷の蓄積により蓄積されたそれぞれの電荷を電圧信号に変換して読み出した後、差分を取得することを特徴とする、請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記複数の画素にそれぞれ含まれる前記第１の光電変換部から取得された電圧信号又は前記複数の画素にそれぞれ含まれる前記第２の光電変換部から取得された電圧信号のいずれか一方から静止画像を生成し、前記複数の画素にそれぞれ含まれる前記第１の光電変換部から取得された電圧信号又は前記複数の画素にそれぞれ含まれる前記第２の光電変換部から取得された電圧信号の他方から動画像を生成することを特徴とする、請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
第１の光電変換部と、前記第１の光電変換部よりも受光面の面積が広い第２の光電変換部と、をそれぞれ含む複数の画素を有する撮像素子と、
前記第１の光電変換部と前記第２の光電変換部を制御する制御部と、を備える撮像装置であって、
前記第１の光電変換部及び前記第２の光電変換部は、前記複数の画素にそれぞれ含まれる前記第１の光電変換部において１回の電荷の蓄積が行われる間に、前記複数の画素にそれぞれ含まれる前記第２の光電変換部において複数回の電荷の蓄積が行われるように、前記制御部により制御されることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
近年、動画像の撮像中に静止画像を取得することができるカメラの実現に対する要請が高まっている。一般に、滑らかな動画像を得るためには撮像素子のフレーム時間（１フレーム当たりの時間）と同程度の電荷蓄積時間で撮像を行うことが好ましい。その一方で、静止画像を得る場合には、被写体の動きの速さに応じた電荷蓄積時間を設定することが好ましい。
【０００３】
従って、動画像の撮像中に静止画像を取得する場合には、異なる２つの電荷蓄積時間により取得された、２種類の電圧信号のそれぞれから、動画像と静止画像を取得することが好ましい。画素に入射する光量の総和は、電荷蓄積時間に比例する。そのため、動画像の撮像中に、その動画像と同じ明るさの静止画像を取得するためには、電荷蓄積時間の長さに応じて、動画像を撮像する画素と静止画像を撮像する画素の感度を、互いに異ならせる必要がある。
【０００４】
特許文献１では、画素中に開口率（受光面の面積）の異なる複数の光電変換部を設けると共に、複数の光電変換部のそれぞれにおける電荷蓄積時間を変える。そして、それにより、動画像を取得するための電圧信号と静止画像を取得するための電圧信号を取得することができる技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−１２０３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示されている撮像素子を使用すれば、動画像の撮像中に静止画像を取得することができる。しかし、さらなる画像の画質向上は困難である。そこで、本発明は、動画像の撮像中に静止画像を取得することができる撮像装置において、画像の品質を向上させることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明に係る撮像装置は、第１の光電変換部と、前記第１の光電変換部よりも感度が高い第２の光電変換部と、をそれぞれ含む複数の画素を有する撮像素子と、前記第１の光電変換部と前記第２の光電変換部を制御する制御部と、を備える撮像装置であって、前記第１の光電変換部及び前記第２の光電変換部は、前記複数の画素にそれぞれ含まれる前記第１の光電変換部において１回の電荷の蓄積が行われる間に、前記複数の画素にそれぞれ含まれる前記第２の光電変換部において複数回の電荷の蓄積が行われるように、前記制御部により制御されることを特徴とする。
【０００８】
また、上記課題を解決するために、本発明に係る撮像装置は、第１の光電変換部と、前記第１の光電変換部よりも受光面の面積が広い第２の光電変換部と、をそれぞれ含む複数の画素を有する撮像素子と、前記第１の光電変換部と前記第２の光電変換部を制御する制御部と、を備える撮像装置であって、前記第１の光電変換部及び前記第２の光電変換部は、前記複数の画素にそれぞれ含まれる前記第１の光電変換部において１回の電荷の蓄積が行われる間に、前記複数の画素にそれぞれ含まれる前記第２の光電変換部において複数回の電荷の蓄積が行われるように、前記制御部により制御されることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画像の撮像中に静止画像を取得することができる撮像装置において、画像の品質を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る撮像装置の断面図（概略）。
【図２】本発明に係る撮像素子の平面図（概略）。
【図３】本発明に係る撮像素子が有する画素の断面図（概略）。
【図４】本発明に係る撮像素子の回路図。
【図５】実施例１における撮像素子の動作フローを説明するためのタイミング図。
【図６】実施例２における撮像素子の動作フローを説明するためのタイミング図。
【図７】実施例３における撮像素子の動作フローを説明するためのタイミング図。
【図８】従来技術における撮像素子の動作フローを説明するためのタイミング図。
【発明を実施するための形態】
【００１１】
以下、図面を用いて、本発明に係る撮像装置について説明する。その際、全ての図面において、同一の機能を有するものには同一の符号を付し、その繰り返しの説明は省略する。
【実施例１】
【００１２】
図１は、本発明に係る撮像装置２００の断面図（概略）である。撮像装置２００は、撮像レンズ２０１を取り付けるためのレンズ取付部２０６を有する筺体２０７と、撮像素子１００と、撮像装置２００の動作を制御する制御部２０８と、筺体内に外部の光を取り込む撮像レンズ２０１と、を備えている。そして、撮像レンズ２０１が、レンズ取付部２０６にて筺体２０７に取り付けられている。
【００１３】
撮像装置２００は、撮像レンズ２０１を筺体２０７から取り外して交換可能な構成であってもよいし、交換ができない構成であってもよい。制御部２０８は、ＣＰＵ２０２、転送回路２０３、及び信号処理部２０４、素子駆動回路２０５を含んでいる。
【００１４】
ＣＰＵ２０２は、転送回路２０３、信号処理部２０４、素子駆動回路２０５を制御する回路である。素子駆動回路２０５は、ＣＰＵ２０２からの信号をうけて、撮像素子１００を駆動する回路であり、各画素に設けられた光電変換部における電荷蓄積時間や光電変換部で取得した信号の読み出しのタイミング等を制御する。転送回路２０３は、撮像素子１００から読みだされた信号を記憶したり、信号処理部２０４へ転送したりする。信号処理部２０４は、転送回路２０３を介して取得した信号の画像処理を行う。
【００１５】
＜撮像素子＞
図２は、本発明に係る撮像素子（固体撮像素子）１００の平面図（概略）である。撮像素子１００は、画素１１０が複数設けられた画素領域１０１（図２における破線部）と、垂直走査回路１０２、水平走査回路１０３が配置された領域とを有する。垂直走査回路１０２と水平走査回路１０３を合わせて周辺回路と呼ぶ。
【００１６】
図２では、画素領域１０１に画素１１０が行方向に４個、列方向に４個設けられている例を示したが、画素１１０の配置はこれに限るものではない。なお、行方向とは図面のＸ軸方向であり、列方向とは図面のＹ軸方向である。
【００１７】
＜画素構造、感度差の付け方＞
図３は、本発明に係る撮像素子が有する画素１１０の断面図（概略）である。図３（ａ）は、基板表面を、基板と直交するＺ軸方向から見たときの、画素１１０におけるレイアウトを示す。図３（ｂ）は、図３（ａ）の一点鎖線２Ｂ−２Ｂにおける断面（ＸＺ断面）を示す。画素１１０は、基板１１５内に設けられた第１の光電変換部１１１、第２の光電変換部１１２を有する。また、第１の光電変換部１１１及び第２の光電変換部１１２よりも光の入射側に、第１の光電変換部１１１及び第２の光電変換部１１２への集光手段としてのマイクロレンズ１１４を有する。第１の光電変換部１１１と第２の光電変換部１１２の間に設けられたバリア領域１１３が設けられている。マイクロレンズ１１４の光軸１１６は、バリア領域１１３の基板表面における中央１１７に対して、第２の光電変換部１１２の側にずれている。「バリア領域の基板表面における中央」とは、バリア領域の基板表面における重心（面積重心）付近（バリア領域の基板表面における重心を含む）のことである。たとえば、バリア領域の基板表面における形状が矩形の場合には、当該矩形の重心付近のことである。
【００１８】
このように、マイクロレンズの光軸１１６をバリア領域の基板表面における中央１１７に対して第２の光電変換部１１２の側にずらすことにより、第２の光電変換部１１２の感度は第１の光電変換部１１１よりも高くなる。ここで、「光電変換部の感度」とは、単位時間当たりに画素に入射する光量に対する、光電変換部に蓄積される電荷量の比である。
【００１９】
第１の光電変換部１１１と第２の光電変換部１１２は、検出する波長帯域で吸収を有するシリコン等の材料で形成された基板１１５に、イオン打ち込み等でポテンシャル分布を形成することにより形成される。バリア領域１１３は、第１の光電変換部と第２の光電変換部間の電荷クロストークを抑制するポテンシャル障壁を有する。第１の光電変換部１１１と第２の光電変換部１１２との間に形成されるポテンシャル障壁の最大値を含み、ポテンシャル障壁の最大値の９割以上の大きさのポテンシャルを有する領域が、バリア領域１１３に相当する。
【００２０】
このとき、第１の光電変換部１１１と第２の光電変換部１１２に対応する領域ではなく、バリア領域１１３に対応する領域にイオンを打ち込んで、ポテンシャル障壁を形成してもよい。また、光電変換部とバリア領域の両方にイオン打ち込みを行ってもよい。このとき、光電変換部に対応する領域に打ち込むイオンと、バリア領域に打ち込むイオンとは逆の導電性を有することが好ましい。
【００２１】
バリア領域１１３のポテンシャル障壁が高いほど、第１の光電変換部１１１に蓄積された電荷と第２の光電変換部１１２に蓄積された電荷の間のクロストークを抑制することができる。しかし、実際には狭い領域に選択的にイオン打ち込みを行うことは困難であるため、第１の光電変換部１１１に蓄積された電荷と第２の光電変換部１１２に蓄積された電荷の間のクロストークを完全に抑制することは困難である。後述するように、この電荷のクロストーク現象を利用することで、静止画像や動画像の画質をさらに向上させることができる。
【００２２】
なお、第１の光電変換部１１１と第２の光電変換部１１２とは、図３のようにＸ軸方向に並置されている必要はなく、Ｘ軸と０°より大きな角度を成す方向に並置されていてもよい。また、第１の光電変換部１１１及び第２の光電変換部１１２の、基板表面における開口形状（受光面の形状）は、図３（ａ）に示すような長方形でなくても良く、円形や楕円形、多角形等でもよい。多角形の角は製造プロセスで形成される丸みを帯びていてもよい。
【００２３】
また、図３では第１の光電変換部１１１と第２の光電変換部１１２の開口面積（受光面の面積）が異なる例を示したが、第１の光電変換部１１１と第２の光電変換部１１２の受光面の面積が等しくてもよい。受光面の面積が等しくても、マイクロレンズ１１４の光軸がバリア領域１１３の基板表面における中央から第２の光電変換部１１２の側にずらされていれば、第２の光電変換部１１２の感度を第１の光電変換部１１１の感度よりも高くすることができる。
【００２４】
更に、第１の光電変換部１１１及び第２の光電変換部１１２へ集光する集光手段として、マイクロレンズではなく導波路を使用してもよいし、両方を使用してもよい。図３（ｃ）は、基板表面を、基板と直交するＺ軸方向から見たときの、画素２１０におけるレイアウトを示す。図３（ｄ）は、図３（ｃ）の一点鎖線２Ｃ−２Ｃにおける断面（ＸＺ断面）を示す。導波路は、屈折率の境界が互いに明確なコア２１８とクラッド２１９を有していてもよいし、コアに相当する部分とクラッドに相当する部分の境界が不明確であってもよい。
【００２５】
導波路を使用した場合には、導波路のコア１１８の射出端の中央が、バリア領域の基板表面における中央１１３に対して、第２の光電変換部１１２の側にずらされていれば、第２の光電変換部１１２の感度を第１の光電変換部１１１よりも高くすることができる。なお、導波路のコア２１８の射出端の中央は、図３（ｄ）においてはマイクロレンズの光軸と一致しているが、これらは互いにずらされていてもよい。「コアの射出端の中央」とは、コアの射出端の重心（面積重心）付近（コアの射出端の重心を含む）のことである。
【００２６】
＜回路図＞
図４は、画素１１０の回路構成を示した図である。画素１１０は、第１の光電変換部１１１、第２の光電変換部１１２と、第１の画素内メモリ１２１、第２の画素内メモリ１２２を有する。第１の光電変換部１１１から第１の画素内メモリ１２１に電荷転送を行う第１の転送トランジスタ１３１、第２の光電変換部１１２から第２の画素内メモリ１２２に電荷転送を行う第２の転送トランジスタ１３２が設けられている。第１の画素内メモリ１２１は第１のリセットトランジスタ１４１を介して、第２の画素内メモリ１２２は第２のリセットトランジスタ１４２を介して、各々ドレイン電源線１９３に接続されている。
【００２７】
第１の画素内メモリ１２１に転送された電荷は、第１のソースフォロア１５１を介して電圧信号に変換され、第１の選択線１９１と第１の選択トランジスタ１６１により垂直信号線１７１に読み出すことができるように構成されている。同様に、第２の画素内メモリ１２２に転送された電荷は第２のソースフォロア１５２を介して電圧信号に変換され、第２の選択線１９２と第２の選択トランジスタ１６２により垂直信号線１７２に読み出すことができるように構成されている。
【００２８】
また、垂直走査回路１０２から送られる信号により、第１の光電変換部１１１の第１の電荷蓄積時間Ｔｅｘ１は、第２の光電変換部１１２の第２の電荷蓄積時間Ｔｅｘ２よりも長くなるように駆動されている。垂直走査回路１０２から送られる信号は、第１の転送線１８１、第２の転送線１８２、リセット線１９４を介して送られる。ここで、「電荷蓄積時間」とは、電圧信号を生成するために使用される電荷を、光電変換部に蓄積するのに要する時間である。
【００２９】
従来技術に係る撮像装置では、第１の電荷蓄積時間中に、第２の光電変換部の、信号取得に使用する電荷の蓄積動作を１回のみ行っていた。一方、本発明に係る撮像装置では、第１の電荷蓄積時間中に、第２の光電変換部の、信号取得に使用する電荷の蓄積動作を複数回行う。これにより、従来技術に係る撮像装置よりも品質の高い画像を取得することができる。
【００３０】
＜従来技術に係る撮像装置＞
そこで、まず従来技術に係る撮像装置の動作フローについて、図８を用いて説明する。第１の転送トランジスタ１３１、第２の転送トランジスタ１３２、第１のリセットトランジスタ１４１、第２のリセットトランジスタ１４２をＯＮする。それにより、第１の光電変換部１１１、第２の光電変換部１１２、第１の画素内メモリ１２１、第２の画素内メモリ１２２をリセットする。そして、時刻Ｔ１に、第１の転送トランジスタ１３１、第２の転送トランジスタ１３２をＯＦＦにして、第１の光電変換部１１１、第２の光電変換部１１２の電荷蓄積を開始する。
【００３１】
第２の光電変換部１１２の電荷蓄積中の時刻Ｔ２に、第２の選択トランジスタ１６２をＯＮにし、第２のソースフォロア１５２の読み出しノイズを読み取る。その後、時刻Ｔ３に第２の転送トランジスタ１３２をＯＮにし、第２の光電変換部１１２の電荷蓄積を終了させると共に、第２の光電変換部１１２に蓄積された電荷を第２の画素内メモリ１２２に転送する。即ち、時刻Ｔ１から時刻Ｔ３までの時間（第２の電荷蓄積時間Ｔｅｘ２）が、第２の電荷蓄積時間に相当する。時刻Ｔ１から時刻Ｔ３までの時間で、第２の光電変換部における、信号取得に使用する電荷の蓄積動作が１回行われたことになる。
【００３２】
次に、時刻Ｔ４に第２の選択トランジスタ１６２をＯＮにして、第２の画素内メモリ１２２に保持された電荷による信号を読み出す。時刻Ｔ４で取得された信号には、第２のソースフォロア１５２の読み出しノイズが含まれているため、時刻Ｔ２で取得した読み出しノイズ成分を差し引いて真の電圧信号を取得する（一般に、相関２重サンプリングと呼ばれる）。ここまでで、第２の光電変換部１１２に蓄積された電荷による電圧信号２０を取得することができる。
【００３３】
同様に、第１の光電変換部１１１に蓄積された電荷による電圧信号を取得する。基本的な動作フローは、第２の光電変換部１１２に蓄積された電荷による電圧信号の読み出し方法と同じである。即ち、第１の光電変換部１１１の電荷蓄積中の時刻Ｔ５に、第１の選択トランジスタ１６１をＯＮにし、第１のソースフォロア１５１の読み出しノイズを読み取る。その後、時刻Ｔ６に第１の転送トランジスタ１３１をＯＮにし、第１の光電変換部１１１の電荷蓄積を終了させると共に、第１の光電変換部１１１に蓄積された電荷を第１の画素内メモリ１２１に転送する。
【００３４】
最後に、時刻Ｔ７に第１の選択トランジスタ１６１をＯＮにして、読み出しノイズを含んだ電圧信号を読み出し、相関２重サンプリングを行うことで、第１の光電変換部１１１に蓄積された電荷による電圧信号１０を取得することができる。第１の電荷蓄積時間は時刻Ｔ１から時刻Ｔ６までの時間（第１の電荷蓄積時間Ｔｅｘ１）となっており、第２の電荷蓄積時間Ｔｅｘ２よりも長くなる。
【００３５】
以上のように、従来技術に係る撮像装置では、第１の電荷蓄積時間（時刻Ｔ１から時刻Ｔ６までの時間）中に、第２の光電変換部１１２の信号取得に使用する電荷の蓄積動作を一回のみ（時刻Ｔ１から時刻Ｔ３までの時間）行う。
【００３６】
＜本発明に係る撮像装置の動作フロー＞
一方、本発明に係る撮像装置の動作フローを、図５に示した。以下で、図８における撮像装置の動作フローと同じ部分は、省略しつつ説明を行う。時刻Ｔ１から時刻Ｔ４に、第２の光電変換部１２２に蓄積された電荷による電圧信号２０を取得するまでは、図８と同じである。
【００３７】
第２の転送トランジスタ１３２及び第２のリセットトランジスタ１４２をＯＮにして、第２の光電変換部１１２、第２の画素内メモリ１２２をリセットする。そして、その後、時刻Ｔ８に第２の転送トランジスタ１３２をＯＦＦにして、再度、第２の光電変換部１２２の電荷蓄積動作を開始する。
【００３８】
時刻Ｔ９にノイズ成分を読み出したのち、時刻Ｔ１０に第２の転送トランジスタ１３２をＯＮにし、第２の光電変換部１１２の電荷蓄積を終了させると共に、第２の光電変換部１１２に蓄積された電荷を第２の画素内メモリ１２２に転送する。時刻Ｔ８から時刻Ｔ１０までで、第２の光電変換部における、信号取得に使用する電荷の蓄積動作の２回目が行われたこととなる。なお、時刻Ｔ８から時刻Ｔ１０までの時間は第２の電荷蓄積時間Ｔｅｘ２であり、１回目の第２の光電変換部における電荷蓄積時間と同じになる。
【００３９】
その後、時刻Ｔ１１にノイズ成分を含む信号を読み出し、時刻Ｔ９に読み出したノイズ成分との間で相関２重サンプリングを行うことにより、第２の光電変換部１１２に蓄積された電荷による電圧信号２１を取得する。なお、このとき、時刻Ｔ２に読み出したノイズ成分との間で相関２重サンプリングを行ってもよい。
【００４０】
最後に、従来技術に係る撮像装置と同様、時刻Ｔ５から時刻Ｔ７までトランジスタを制御して、時刻Ｔ１から時刻Ｔ６までに第１の光電変換部１１１に蓄積された電荷による電圧信号１０を取得する。
【００４１】
以上のように、本発明に係る撮像装置では、第１の電荷蓄積時間（時刻Ｔ１から時刻Ｔ６までの時間）中に、第２の光電変換部１１２の信号取得に使用する電荷の蓄積を複数回行う。第２の光電変換部１１２の信号取得に使用する電荷の蓄積は、時刻Ｔ１から時刻Ｔ３までの時間と、時刻Ｔ８から時刻Ｔ１０までの時間に行う。
【００４２】
特に、実施例１における撮像装置では、時刻Ｔ１から時刻Ｔ３までの電荷蓄積時間に蓄積された電荷による電圧信号２０と、時刻Ｔ８から時刻Ｔ１０までの電荷蓄積時間に蓄積された電荷による電圧信号２１の二つを読み出す。電圧信号２０と電圧信号２１を平均化して画像を生成することで、従来技術に係る撮像装置のように電圧信号２０のみを使用して画像を生成する場合よりも、画像の品質を向上させることができる。以下で説明を行う。
【００４３】
＜信号加算によるノイズの平均化＞
電圧信号２０や電圧信号２１にはノイズ成分が含まれている。図５のように相関２重サンプリングを行えば、電圧信号２０及び電圧信号２１に含まれるノイズ成分は、光ショットノイズが支配的である。光ショットノイズは量子的な揺らぎにより決定されるため、電圧信号２０と電圧信号２１に含まれるノイズ成分は独立である。従って、電圧信号２０と電圧信号２１の加算平均を行うことによりノイズ成分が平均化され、画像としての品質を向上させることができる。
【００４４】
なお、図５では、第２の光電変換部１１２における、信号取得に使用する電荷の蓄積動作を２回行った場合を示したが、３回以上行ってもよい。加算平均に使用する電圧信号の数が多いほど、ノイズ成分が平均され、画像としての品質を向上させることができる。
【００４５】
＜クロストーク量制御による感度調整＞
また、第２の光電変換部１１２への電荷蓄積と第２の画素内メモリ１２２への転送を複数回行うことで、第１の電荷蓄積時間Ｔｅｘ１中に第１の光電変換部１１１に蓄積された電荷による電圧信号１０の大きさを制御することもできる。以下で説明を行う。
【００４６】
前述したように、第１の光電変換部１１１と第２の光電変換部１１２の間にはクロストークが発生するため、相対的に蓄積されている電荷量の多い光電変換部から、相対的に蓄積されている電荷量の少ない光電変換部に正味で電荷が流入する。具体的には、第２の光電変換部１１２から第１の光電変換部１１１に正味で流入する電荷量は、第２の光電変換部１１２に蓄積されている電荷量から第１の光電変換部１１１に蓄積されている電荷量を引いた差分に比例する。
【００４７】
ここで、正味で流入する電荷量は符号付きの量として定義する。即ち、正味で第１の光電変換部１１１から第２の光電変換部１１２に電荷が流入する場合は、第２の光電変換部１１２から第１の光電変換部１１１への電荷流入量が負であると定義する。
【００４８】
第２の転送トランジスタ１３２をＯＮにすると、第２の光電変換部１１２に蓄積された電荷は第２の画素内メモリ１２２に転送される。そのため、第２の転送トランジスタ１３２のＯＮＯＦＦにより、第２の光電変換部１１２に蓄積される電荷量を制御することができる。その結果、第２の光電変換部１１２から第１の光電変換部１１１に正味で流入する電荷量を制御することができる。その結果、第１の電荷蓄積時間Ｔｅｘ１中に第１の光電変換部１１１に蓄積される電荷量を制御することができる。
【００４９】
以上のように、本発明を適用することで、第１の電荷蓄積時間Ｔｅｘ１中に第１の光電変換部１１１に蓄積された電荷による電圧信号１０の大きさを制御することもできる。これにより、静止画像や動画像の画質をさらに向上させることができる。
【００５０】
たとえば、第１の電荷蓄積時間Ｔｅｘ１が短く設定されている時等、電圧信号１０の強度が不足しやすいときには第２の光電変換部１１２から第１の光電変換部１１１に正味で流入する電荷量を多くすればよい。
【００５１】
また、第１の電荷蓄積時間Ｔｅｘ１が長く設定されているとき等、電圧信号１０の強度が飽和しやすいときには、第２の光電変換部１１２から第１の光電変換部１１１に正味で流入する電荷量を少なくすればよい。具体的には、設定された電荷蓄積時間により、複数回の電荷蓄積を行う回数やタイミングを変更すればよい。
【実施例２】
【００５２】
＜電荷加算によるダイナミックレンジの拡大＞
実施例２における撮像装置は、実施例１における撮像装置と同様に、第２の光電変換部１１２の信号取得に使用する電荷の蓄積動作を複数回行う。但し、複数回の蓄積動作で蓄積された電荷を各々電圧信号に変換するのではなく、画素内メモリで電荷の状態で加算してから電圧信号に変換する点が異なる。これにより、画像のダイナミックレンジを拡大することができる。
【００５３】
図６は、実施例２における撮像素子の動作フローを説明するためのタイミング図である。以下で、図５に示す実施例１における撮像装置の動作フローと同じ部分は省略しつつ説明を行う。時刻Ｔ１から時刻Ｔ４に、光電変換部１２２に蓄積された電荷による電圧信号２０を取得するまでは、図５と同じである。
【００５４】
その後、第２の画素内メモリ１２２に電荷を保持したまま、時刻Ｔ１０に第２の転送トランジスタ１３２をＯＮにし、第２の光電変換部１１２の電荷蓄積を終了させると共に、第２の光電変換部１１２に蓄積された電荷を第２の画素内メモリ１２２に転送する。このとき、第２の画素内メモリ１２２に転送される電荷は、時刻Ｔ３から時刻Ｔ１０までに第２の光電変換部１１２に蓄積された電荷である。即ち、時刻Ｔ３から時刻Ｔ１０までの時間で、第２の光電変換部における、信号取得に使用する電荷の蓄積動作の２回目が行われたこととなる。
【００５５】
なお、時刻Ｔ３から時刻Ｔ１０までの時間は第２の電荷蓄積時間Ｔｅｘ２であり、１回目の第２の光電変換部における電荷蓄積時間と同じになる。
【００５６】
その後、時刻Ｔ１１にノイズ成分を含む成分を読み出し、時刻Ｔ２に読み出したノイズ成分との間で相関２重サンプリングを行う。そして、それにより、時刻Ｔ１から時刻Ｔ３までの時間と、時刻Ｔ３から時刻Ｔ１０までの時間に蓄積された電荷量の和による電圧信号２２を取得する。
【００５７】
最後に、時刻Ｔ５から時刻Ｔ７までトランジスタを制御して、時刻Ｔ１から時刻Ｔ６までに第１の光電変換部１１１に蓄積された電荷による電圧信号１０を取得する。
【００５８】
以上のように、実施例２に示す撮像装置では、時刻Ｔ１から時刻Ｔ３までの電荷蓄積時間に蓄積された電荷による電圧信号２０と、時刻Ｔ１から時刻Ｔ１０までの電荷蓄積時間に蓄積された電荷による電圧信号２２の二つを読み出す。時刻Ｔ１から時刻Ｔ１０までの電荷蓄積時間は、時刻Ｔ１から時刻Ｔ３までの電荷蓄積時間の倍であるため、電圧信号２２は電圧信号２０の倍の大きさになる。
【００５９】
＜電荷加算によるダイナミックレンジの拡大＞
従来技術に係る撮像装置では、時刻Ｔ１から時刻Ｔ３までの電荷蓄積時間に蓄積された電荷を第２の画素内メモリ１２２に転送し、第２のソースフォロア１５２により電圧信号に変換した電圧信号２０のみを使用して画像を生成していた。そのため、被写体の輝度が低い場合、電圧信号２０が飽和してしまい、画像に黒ツブレが生じてしまう場合があった。
【００６０】
一方、実施例２に示す本発明に係る撮像装置では、電圧信号２０に加えて電圧信号２２を取得する。そのため、被写体の輝度が高い場合には電圧信号２０を、被写体の輝度が低い場合には電圧信号２２を使用することで、画像のダイナミックレンジを広げることができる。
【００６１】
＜実施例１との相違＞
なお、実施例１のように、同じ長さの電荷蓄積時間に蓄積された電荷による電圧信号２０と電圧信号２１を後処理により加算しても、信号強度を大きくすることができる。
【００６２】
但し、同じ長さの電荷蓄積時間に蓄積された電荷による電圧信号２０と電圧信号２１を、後処理により加算した場合、信号に含まれるノイズ成分も２倍になってしまう。即ち、実効的なダイナミックレンジは変わっていない。
【００６３】
一方、画素内メモリに蓄積された電荷の状態で加算した場合、ノイズ成分は√２倍にしかならない。なぜならば、光ショットノイズの大きさは電荷量の平方根で決定されるためである。即ち、複数回の蓄積動作で蓄積された電荷を、画素内メモリにおいて電荷の状態で加算し、電圧信号に変換することにより、実効的なダイナミックレンジを拡大することが可能となる。
【００６４】
なお、図６では、第２の光電変換部における、信号取得に使用する電荷の蓄積動作を２回行った場合を示したが、３回以上行ってもよい。画素内メモリにおける加算回数が多いほど、画像のダイナミックレンジを向上させることができる。
【実施例３】
【００６５】
＜複数回の蓄積動作で電荷蓄積時間の長さが異なる＞
実施例３における撮像装置は、静止画像を取得するための電荷蓄積時間が、動画像を取得するための電荷蓄積時間よりも短い。実施例３における撮像装置は、第２の光電変換部１１２の信号取得に使用される電荷の蓄積（電荷蓄積動作）を複数回行っており、各々の電荷蓄積動作における電荷蓄積時間が異なる。
【００６６】
図７は、実施例３における撮像素子の動作フローを説明するためのタイミング図である。基本的な動作フローは、図５に示す実施例１における撮像素子の動作フローと同じであるが、時刻Ｔ８から時刻Ｔ１０までの時間（第３の電荷蓄積時間）Ｔｅｘ３が、時刻Ｔ１から時刻Ｔ３までの第２の電荷蓄積時間Ｔｅｘ２よりも長い。これにより、相対的に電荷蓄積時間の短い電圧信号２０と相対的に電荷蓄積時間の長い電圧信号２１を取得することができる。
【００６７】
静止画像を取得するための電荷蓄積時間が、動画像を取得するための電荷蓄積時間よりも短い場合には、相対的に感度の高い第２の光電変換部１１２に蓄積された電荷による電圧信号により静止画像を生成する。また、相対的に感度の低い第１の光電変換部１１１に蓄積された電荷による電圧信号により動画像を生成する。従って、静止画像の設定電荷蓄積時間が動画像の設定電荷蓄積時間よりも短い場合に実施例３の構成とすることで、静止画像を生成するための、電荷蓄積時間の異なる複数種類の電圧信号が得られることになる。
【００６８】
静止画像を取得するための電荷蓄積時間は、被写体の動きの速さにより決定することが好ましい。しかしながら、撮像者が被写体の速度を正確に把握するのは難しいため、被写体の撮像に最適な電荷蓄積時間とは異なる電荷蓄積時間を設定してしまう場合がある。その結果、被写体の画像に意図しない動きブレが発生してしまう等、画質の低下を招く場合がある。実施例３における撮像装置のように、電荷蓄積時間の異なる複数種類の電圧信号２０、２１を取得し、各々の電圧信号を用いて画像を生成しておくことで、最適に近い電荷蓄積時間の電圧信号から生成された画像を選択することができる。
【００６９】
このように、各々の光電変換部において、電荷の蓄積を行うときの電荷蓄積時間を異ならせることにより、被写体の動きの速さによらず、最適な電荷蓄積時間による電圧信号から生成された画像を得ることができる。また、静止画像の画質を向上させることができる。
【００７０】
このとき、画素により使用する電圧信号２０、２１を切り替えてもよい。たとえば意図的に動きブレを付加したい部分については電圧信号２１を、動きブレを抑制したい部分については電圧信号２０を使用してもよい。
【００７１】
なお、図７では、第２の光電変換部における、信号取得に使用される電荷の蓄積を２回行った場合を示したが、３回以上行ってもよい。更に、各々の光電変換部において、電荷の蓄積を行うときの電荷蓄積時間を全て変えてもよい。電荷蓄積時間の異なる電圧信号の種類が多いほど、最適に近い電荷蓄積時間の選択することができるため、好ましい。
【００７２】
＜差分による動き取得＞
以上の実施例１、２、３では第２の光電変換部において、異なる電荷蓄積タイミングで取得された複数の電圧信号を取得することができている。これにより、被写体の動き情報を取得することもできる。具体的には、複数回の電荷の蓄積により蓄積されたそれぞれの電荷を電圧信号に変換して読み出した後、差分を取得すればよい。
【００７３】
＜電圧信号加算によるノイズの平均化＞
第１の光電変換部における電荷蓄積時間を第２の光電変換部における電荷蓄積時間よりも長くなるように動作させることで、電荷蓄積時間の異なる静止画用信号と動画用信号を同時に取得することができる。静止画像を取得するための電荷蓄積時間はユーザーが決定し、動画像を取得するための電荷蓄積時間は撮像素子のフレーム時間と同程度に設定しておく。そして取得される静止画像を生成するための電圧信号及び動画像を生成するための電圧信号から、静止画像及び動画像を同時に生成することができる。
【００７４】
具体的には、静止画像を取得するための電荷蓄積時間が、動画像を取得するための電荷蓄積時間よりも長い場合には、相対的に感度の低い一方の信号（第１の電圧信号）から静止画像を生成する。この場合には、相対的に感度の高い他方の信号（第２の電圧信号）から動画像を生成する。
【００７５】
また、静止画像を取得するための電荷蓄積時間が、動画像を取得するための設定電荷蓄積時間よりも短い場合には、相対的に感度の低い一方の信号（第１の電圧信号）から動画像を生成する。この場合には、相対的に感度の高い他方の信号（第２の電圧信号）から静止画像を生成する。
【符号の説明】
【００７６】
１００  撮像素子
１１０  画素
１１１  第１の光電変換部
１１２  第２の光電変換部
２００  撮像装置
２０８  制御部
２１０  画素
【図１】
2017118266.tif 000003
【図２】
2017118266.tif 000004
【図３】
2017118266.tif 000005
【図４】
2017118266.tif 000006
【図５】
2017118266.tif 000007
【図６】
2017118266.tif 000008
【図７】
2017118266.tif 000009
【図８】
2017118266.tif 000010