(57)【要約】      （修正有）【課題】精度の高い距離情報の取得と、通常撮影画像と距離画像の両方の取得が可能な固体撮像素子を提供する。【解決手段】単位画素２００が入射した光を電荷に変換する光電変換部と、光電変換部で発生した電荷を蓄積可能な第１の電荷保持部と、光電変換部と第１の電荷保持部との間の電気的接続をオンオフする第１の電荷転送部と、光電変換部で発生した電荷を蓄積可能な第２の電荷保持部と、第１の電荷保持部と第２の電荷保持部との間の電気的接続をオンオフする第２の電荷転送部とを有する固体撮像素子と、被写体に向けて投光を行う投光部と、光電変換部に光電変換を行わせ、且つ第１の電荷転送部と第２の電荷転送部とをオン状態にした後、第１の電荷転送部をオン状態にしたまま、投光部の投光動作に連動させて第２の電荷転送部をオフ状態にするように、固体撮像素子と投光部とを制御する制御部とを備える。【選択図】図２
2015198361.tif 000002
【特許請求の範囲】
【請求項１】
複数の単位画素が配された画素領域を含む固体撮像素子であって、前記単位画素が、入射した光を電荷に変換する光電変換手段と、前記光電変換手段において発生した電荷を蓄積可能な第１の電荷保持手段と、前記光電変換手段と前記第１の電荷保持手段との間に設けられ、前記光電変換手段と前記第１の電荷保持手段との間の電気的接続をオンおよびオフする第１の電荷転送手段と、前記光電変換手段において発生した電荷を蓄積可能な第２の電荷保持手段と、前記第１の電荷保持手段と前記第２の電荷保持手段との間に設けられ、前記第１の電荷保持手段と前記第２の電荷保持手段との間の電気的接続をオンおよびオフする第２の電荷転送手段とを有する、固体撮像素子と、
被写体に向けて投光を行う投光手段と、
前記光電変換手段に光電変換を行わせ、且つ前記第１の電荷転送手段と、前記第２の電荷転送手段とをオン状態にした後、前記第１の電荷転送手段をオン状態にしたまま、前記投光手段の投光動作に連動させて前記第２の電荷転送手段をオフ状態にするように、前記固体撮像素子と、前記投光手段とを制御する制御手段と、
を備えること特徴とする撮像装置。
【請求項２】
前記第１の電荷保持手段と、前記第２の電荷保持手段とは、キャパシタからなるメモリであり、前記単位画素は、フローティングディフュージョン部からなる第３の電荷保持手段と、前記光電変換手段と前記第３の電荷保持手段との間に設けられ、前記光電変換手段と前記第３の電荷保持手段との間の電気的接続をオンおよびオフする第３の電荷転送手段とを更に有し、前記第３の電荷保持手段は、前記第３の電荷転送手段を介して前記第２の電荷保持手段に接続されることを特徴とする請求項１に記載の撮像装置。
【請求項３】
複数の単位画素が配された画素領域を含む固体撮像素子であって、前記単位画素が、入射した光を電荷に変換する光電変換手段と、前記光電変換手段において発生した電荷を蓄積可能な第１の電荷保持手段と、前記光電変換手段と前記第１の電荷保持手段との間に設けられ、前記光電変換手段と前記第１の電荷保持手段との間の電気的接続をオンおよびオフする第１の電荷転送手段と、前記光電変換手段において発生した電荷を蓄積可能な第２の電荷保持手段と、前記光電変換手段と前記第２の電荷保持手段との間に設けられ、前記光電変換手段と前記第２の電荷保持手段との間の電気的接続をオンおよびオフする第２の電荷転送手段とを有する、固体撮像素子と、
被写体に向けて投光を行う投光手段と、
前記光電変換手段に光電変換を行わせ、且つ前記第１の電荷転送手段と、前記第２の電荷転送手段とをオン状態にした後、前記第１の電荷転送手段をオン状態にしたまま、前記投光手段の投光動作に連動させて前記第２の電荷転送手段をオフ状態にするように、前記固体撮像素子と、前記投光手段とを制御する制御手段と、
を備えること特徴とする撮像装置。
【請求項４】
前記第１の電荷保持手段と、前記第２の電荷保持手段とは、キャパシタからなるメモリであり、前記単位画素は、フローティングディフュージョン部からなる第３の電荷保持手段および第４の電荷保持手段と、前記光電変換手段と前記第３の電荷保持手段との間に設けられ、前記光電変換手段と前記第３の電荷保持手段との間の電気的接続をオンおよびオフする第３の電荷転送手段と、前記光電変換手段と前記第４の電荷保持手段との間に設けられ、前記光電変換手段と前記第４の電荷保持手段との間の電気的接続をオンおよびオフする第４の電荷転送手段とを更に有し、前記第３の電荷保持手段は、前記第３の電荷転送手段を介して前記第１の電荷保持手段に接続され、前記第４の電荷保持手段は、前記第４の電荷転送手段を介して前記第２の電荷保持手段に接続されることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記第１の電荷保持手段と、前記第２の電荷保持手段と、前記光電変換手段とに蓄積された電荷をリセットするリセット手段をさらに備え、前記制御手段は、前記第１の電荷保持手段と、前記第２の電荷保持手段と、前記光電変換手段とにおいて電荷をリセットした後、前記光電変換手段に光電変換を行わせ、前記第１の電荷転送手段と、前記第２の電荷転送手段とをオン状態にするように、前記固体撮像素子と、前記投光手段とを制御することを特徴とする請求項１または３に記載の撮像装置。
【請求項６】
前記第１の電荷転送手段をオン状態にしたまま、前記投光手段の投光動作に連動させて前記第２の電荷転送手段をオフ状態にするタイミングは、前記投光手段による投光が開始されるより後であり、且つ前記投光手段による投光が終了されるより前であることを特徴とする請求項１または３に記載の撮像装置。
【請求項７】
前記制御手段は、前記複数の単位画素において、前記第２の電荷転送手段を同時にオフするように制御することを特徴とする請求項１または３に記載の撮像装置。
【請求項８】
前記固体撮像素子から読み出した信号を、距離情報の演算に用いることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
複数の単位画素が配された画素領域を含む固体撮像素子であって、前記単位画素が、入射した光を電荷に変換する光電変換手段と、前記光電変換手段において発生した電荷を蓄積可能な第１の電荷保持手段と、前記光電変換手段と前記第１の電荷保持手段との間に設けられ、前記光電変換手段と前記第１の電荷保持手段との間の電気的接続をオンおよびオフする第１の電荷転送手段と、前記光電変換手段において発生した電荷を蓄積可能な第２の電荷保持手段と、前記第１の電荷保持手段と前記第２の電荷保持手段との間に設けられ、前記第１の電荷保持手段と前記第２の電荷保持手段との間の電気的接続をオンおよびオフする第２の電荷転送手段とを有する、固体撮像素子と、被写体に向けて投光を行う投光手段と、を備える撮像装置を制御する方法であって、
前記光電変換手段に光電変換を行わせ、且つ前記第１の電荷転送手段と、前記第２の電荷転送手段とをオン状態にした後、前記第１の電荷転送手段をオン状態にしたまま、前記投光手段の投光動作に連動させて前記第２の電荷転送手段をオフ状態にするように、前記固体撮像素子と、前記投光手段とを制御する制御工程を有すること特徴とする撮像装置の制御方法。
【請求項１０】
複数の単位画素が配された画素領域を含む固体撮像素子であって、前記単位画素が、入射した光を電荷に変換する光電変換手段と、前記光電変換手段において発生した電荷を蓄積可能な第１の電荷保持手段と、前記光電変換手段と前記第１の電荷保持手段との間に設けられ、前記光電変換手段と前記第１の電荷保持手段との間の電気的接続をオンおよびオフする第１の電荷転送手段と、前記光電変換手段において発生した電荷を蓄積可能な第２の電荷保持手段と、前記光電変換手段と前記第２の電荷保持手段との間に設けられ、前記光電変換手段と前記第２の電荷保持手段との間の電気的接続をオンおよびオフする第２の電荷転送手段とを有する、固体撮像素子と、被写体に向けて投光を行う投光手段と、を備える撮像装置を制御する方法であって、
前記光電変換手段に光電変換を行わせ、且つ前記第１の電荷転送手段と、前記第２の電荷転送手段とをオン状態にした後、前記第１の電荷転送手段をオン状態にしたまま、前記投光手段の投光動作に連動させて前記第２の電荷転送手段をオフ状態にするように、前記固体撮像素子と、前記投光手段とを制御する制御工程を有すること特徴とする撮像装置の制御方法。
【請求項１１】
請求項９または１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項９または１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素ごとの距離情報が取得可能な撮像装置に関するものである。
【背景技術】
【０００２】
近年、固体撮像素子には、撮像を行うだけでなく、様々な機能が付加されたものが提案されている。
【０００３】
固体撮像素子に付加される機能の一つとして、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）法を用いて距離画像の取得を行う機能が注目されている。ＴＯＦ法とは、光源から対象物に向かってパルス光を投光してから、対象物からの反射光が観測点に到達するまでの時間（パルス光の遅延時間）を計測することで、対象物までの距離を導出する方法である。光の速度は３×１０8[ｍ／Ｓ]と既知であることから、例えば、観測点と光源とを同一地点に置いたとき、遅延時間が２[ｎＳ]であったとすると、光の総飛行距離は６０[ｃｍ]であり、対象物までの距離はその半分の３０[ｃｍ]と分かる。このようなＴＯＦ法の原理を応用し、画素毎に被写体までの距離情報を取得することで、距離画像を得ることが可能な固体撮像素子が提案されている。
【０００４】
特許文献１では、１つの受光素子に対して、受光素子からの信号電荷を蓄積する複数の電荷蓄積部を備えるとともに、受光素子からの電荷転送を制御する転送スイッチを、各々の電荷蓄積部に対して備えた固体撮像素子が開示されている。このような固体撮像素子においては、２つの電荷蓄積部に対応する転送スイッチを交互に制御して、反射したパルス光を受けて受光素子で発生した電荷を２つの電荷蓄積部に振り分ける。そして、２つの電荷蓄積部の電荷の比を求めることにより、画素毎の距離情報を得ることが可能である。
【０００５】
また、特許文献２では、画素毎ではなく偶数行と奇数行などの２つの画素グループにそれぞれ電荷を振り分けることで、１画素につき１つの転送スイッチと１つの電荷蓄積部の構成で距離情報を得ることが可能な固体撮像素子が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２９４４２０号公報
【特許文献２】特開２０１０−２１３２３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１や特許文献２に開示された従来技術では、複数の蓄積部への電荷の振り分けを、独立した２つの転送スイッチを駆動して行う。したがって、電荷の振り分けを精度よく行うためには、２つのスイッチの駆動タイミングを精度よく合わせる必要がある。
【０００８】
しかし、転送スイッチの閾値ばらつきや、転送パルスのずれなどが発生すると、電荷振り分け先の切り替えタイミングに誤差が生じ、正確な信号電荷を得ることができずに、誤った距離情報が導出されてしまうという問題がある。
【０００９】
本発明は上述した課題に鑑みてなされたものであり、その目的は、精度の高い距離情報を取得することが可能で、且つ、通常撮影画像と距離画像の両方を取得することが可能な固体撮像素子を提供することである。
【課題を解決するための手段】
【００１０】
本発明に係わる撮像装置は、複数の単位画素が配された画素領域を含む固体撮像素子であって、前記単位画素が、入射した光を電荷に変換する光電変換手段と、前記光電変換手段において発生した電荷を蓄積可能な第１の電荷保持手段と、前記光電変換手段と前記第１の電荷保持手段との間に設けられ、前記光電変換手段と前記第１の電荷保持手段との間の電気的接続をオンおよびオフする第１の電荷転送手段と、前記光電変換手段において発生した電荷を蓄積可能な第２の電荷保持手段と、前記第１の電荷保持手段と前記第２の電荷保持手段との間に設けられ、前記第１の電荷保持手段と前記第２の電荷保持手段との間の電気的接続をオンおよびオフする第２の電荷転送手段とを有する、固体撮像素子と、
被写体に向けて投光を行う投光手段と、前記光電変換手段に光電変換を行わせ、且つ前記第１の電荷転送手段と、前記第２の電荷転送手段とをオン状態にした後、前記第１の電荷転送手段をオン状態にしたまま、前記投光手段の投光動作に連動させて前記第２の電荷転送手段をオフ状態にするように、前記固体撮像素子と、前記投光手段とを制御する制御手段と、を備えること特徴とする。
【発明の効果】
【００１１】
本発明によれば、精度の高い距離情報を取得することが可能で、且つ、通常撮影画像と距離画像の両方を取得することが可能な固体撮像素子を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の各実施形態に共通する撮像装置の構成を示すブロック図。
【図２】本発明の第１の実施形態における固体撮像素子の単位画素の等価回路図と、距離画像取得時の固体撮像素子の駆動方法を示すタイミングチャート。
【図３】本発明の各実施形態に共通する固体撮像素子の信号蓄積・読み出し動作全体の概要を示す概略図。
【図４】本発明の第１の実施形態における単位画素の断面図、及びポテンシャル図。
【図５】本発明の第１の実施形態における通常画像取得時のタイミングチャート。
【図６】本発明の第１実施形態の変形例における単位画素の断面図、及びポテンシャル図。
【図７】本発明の第２の実施形態における固体撮像素子の単位画素の等価回路図と、距離画像取得時の固体撮像素子の駆動方法を示すタイミングチャート。
【図８】本発明の第２実施形態の変形例における固体撮像素子の単位画素の等価回路図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。まず、本発明の各実施形態に共通する構成について説明する。
【００１４】
＜撮像装置の構成＞
本発明の実施形態における撮像システムとしての撮像装置の構成について、図１を参照して説明する。図１（Ａ）は本発明の実施形態における、撮像装置全体の構成例を説明するためのブロック図である。
【００１５】
撮像装置１００は、レンズおよび絞りを含む撮影光学系１と、固体撮像素子２とを備える。ＣＤＳ回路３は固体撮像素子２からのアナログ信号の処理を行い、Ａ／Ｄ変換器４はアナログ信号の画像データをデジタル信号に変換する。タイミング信号発生回路（ＴＧ）６は、固体撮像素子２、ＣＤＳ回路３、Ａ／Ｄ変換器４、駆動回路５、発光装置１６を動作させるタイミング信号を発生し、駆動回路５は光学系１を駆動する。
【００１６】
撮影した画像データは画像メモリ８に一時記憶され、信号処理回路７により、ホワイトバランス補正、ガンマ補正をはじめとした各種信号処理が施される。処理を施された画像データは記録回路１０を介して記憶媒体９に保存される。画像表示装置１１は信号処理された画像データを、表示回路１２を介して表示する。システム制御部１３は、撮像装置全体を制御するＣＰＵ等で構成される。ＲＯＭ１４は、システム制御部１３で実行する制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データを記憶する。ＲＡＭ１５には、ＲＯＭ１４に記憶されたプログラム、制御データおよび補正データを転送して記憶しておき、システム制御部１３が撮像装置を制御する際に使用する。
【００１７】
＜発光装置の構成＞
図１（Ｂ）は、図１（Ａ）における発光装置１６の構成を示したブロック図である。発光装置１６は、被写体へ向けてパルス光を投光する投光手段であり、光源制御部１６０１、光源部１６０２から構成されている。光源制御部１６０１は、ＴＧ６から供給される発光制御パルスＰＬｉｇｈｔにしたがって、光源部１６０２の点滅制御を行う。以下に述べる各実施形態においては、光源制御部１６０１は、発光制御パルスＰＬｉｇｈｔがＨ時に点灯、Ｌ時に消灯する様、光源部を駆動させるものとする。
【００１８】
＜固体撮像素子の構成＞
図１（Ｃ）は、図１（Ａ）における固体撮像素子２の構成を示したブロック図である。
【００１９】
図１（Ｃ）に示すように、固体撮像素子２は、複数の単位画素２００が行列状に配されて成る画素部２０１と、ＴＧ６からのタイミング信号を受けて、単位画素２００を制御するための各種駆動パルスを画素部２０１へと供給し、各単位画素２００からの信号読み出し動作を制御する垂直走査回路２０２と、各単位画素２００から出力された画素信号をサンプリングし保持する不図示の列メモリを備えた列回路２０３と、ＴＧ６からのタイミング信号を受けて、列回路２０３から後段のＣＤＳ３への信号出力を制御する駆動パルスを発生させる水平走査回路２０４とを備える。
【００２０】
ここで、垂直走査回路は、画素部２０１に配された複数の単位画素２００を、所定の読み出し単位ごとに、制御することが可能であるものとする。例えば、以下に述べる各実施形態においては、行列状に配された複数の単位画素のうち、同一行に配された画素に対して共通の駆動パルスを供給することで、単位画素の制御を行ごとに行うものとする。
【００２１】
（第１の実施形態）
以下、図面を参照して、本発明の第１の実施形態における、固体撮像素子の単位画素の構成と、固体撮像素子の駆動方法について説明する。
【００２２】
＜単位画素の構成＞
図２（Ａ）は、第１の実施形態における、固体撮像素子の単位画素２００の構成を示す等価回路図である。光電変換素子ＰＤは、入射した光を受光し、その受光量に応じた信号電荷を生成して蓄積する。また、画素内メモリＭｅｍ１（第１の電荷保持手段）及び画素内メモリＭｅｍ２（第２の電荷保持手段）は、光電変換素子ＰＤにおいて発生した電荷信号を保持する（蓄積可能）。ここで、第１の画素内メモリＭｅｍ１及び第２の画素内メモリＭｅｍ２は、光電変換素子ＰＤに対して直列に設けられる。
【００２３】
また、転送スイッチＭＴｘ１（第１の電荷転送手段）は、光電変換素子ＰＤにおいて生成された信号電荷を第１の画素内メモリＭｅｍ１に転送する。さらに、第１の画素内メモリＭｅｍ１と第２の画素内メモリＭｅｍ２との間に設けられた転送スイッチＭＴｘ２（第２の電荷転送手段）は、第１の画素内メモリＭｅｍ１に保持された信号電荷を第２の画素内メモリＭｅｍ２に転送する（電気的接続）。
【００２４】
ここで、第１、第２の画素内メモリは、埋め込み型のキャパシタを生成するなどして、後述する「グローバル電子シャッタ駆動」を実現するために、長期間の電荷蓄積を行っても暗電流等のノイズの影響を受けにくい様な構成をとるものとする。フローティングディフュージョン部（ＦＤ：第３の電荷保持手段）は、転送された電荷を保持する。また、転送スイッチＭＴｘ３（第３の電荷転送手段）は、第２の画素内メモリＭｅｍ２に保持された信号電荷をＦＤ部に転送する。
【００２５】
また、リセットスイッチＭＲｅｓ（リセット手段）は、ＦＤ部に接続され、ＦＤ部、第１、第２の画素内メモリＭｅｍ１、Ｍｅｍ２、ＰＤに保持された信号電荷をリセットする。また、増幅ＭＯＳ  ＭＳＦ（変換増幅手段）は、垂直出力線ＶＬごとに設けられた電流源に接続されることでソ−スフォロア回路を形成し、ＦＤ部に保持した電荷に応じて電圧信号を画素信号として出力する。さらに、選択スイッチＭＳｅｌ（選択手段）は、増幅ＭＯＳの信号出力ノードと、画素列毎に設けられた垂直出力線ＶＬ間の接続を制御し、増幅ＭＯＳから出力される電圧信号を垂直出力線ＶＬを介して後段の列回路２０３へと伝達する画素群ｉを選択する。
【００２６】
以上に述べた、単位画素２００内に設けられた各スイッチは、垂直走査回路２０２から供給される各駆動パルスによって制御される。例えば、転送スイッチＭＴｘ１は第１の転送パルスＰＴｘ１＿ｉ、転送スイッチＭＴｘ２は第２の転送パルスＰＴｘ２＿ｉ、転送スイッチＭＴｘ３は第３の転送パルスＰＴｘ３＿ｉによってそれぞれ制御される。また、リセットスイッチＭＲｅｓはリセットパルスＰＲｅｓ＿ｉ、選択スイッチＭＳｅｌは選択パルスＰＳｅｌ＿ｉによってそれぞれ制御される。ここで、各パルス名後の添え字ｉは、単位画素が行列状に配された固体撮像素子において、ｉ行目の単位画素２００＿ｉに対して供給される駆動パルスであることを示すものとする。
【００２７】
＜固体撮像素子の信号蓄積・読み出し動作＞
次に、図３を参照して、固体撮像素子の信号蓄積・読み出し動作の概要を説明する。図３は、時刻ｔを横軸、固体撮像素子の画素群ｉを縦軸としたときの各画素群における信号蓄積・読み出し動作の時系列の流れを示している。ここでは、画素群ｉは、ｉ行目の画素行を示すものとする。また、添え字ｉは、単位画素が行列状に配された固体撮像素子の信号蓄積・読み出し動作における、ｉ行目の単位画素２００＿ｉにかかわる動作であることを表している。
【００２８】
固体撮像素子の信号蓄積・読み出し動作は、リセット期間Ｒｅｓ、蓄積期間Ａｃｃ、読み出し期間ＲＯに大別される。リセット期間Ｒｅｓでは、各単位画素２００において蓄積された信号電荷のリセット動作を行う。蓄積期間Ａｃｃでは、各単位画素２００において信号電荷の蓄積を行う。読み出し期間ＲＯでは、各単位画素２００に蓄積された信号電荷に応じた電圧信号を列回路２０３へ読み出して、列回路内２０３の列メモリにおいて、各画素の画素信号としてサンプリングされ保持される。
【００２９】
図３（Ａ）は、「グローバル電子シャッタ駆動」における、信号蓄積・読み出し動作の時系列の流れを示している。「グローバル電子シャッタ駆動」では、リセット期間Ｒｅｓにおけるリセット動作、及び、蓄積期間Ａｃｃにおける信号蓄積を全画素同時に行う。その後、読出し期間ＲＯにおいて、所定の画素行単位の読み出し期間ＲＯ＿ｉを、読み出しを行う画素群を切り替えながら、繰り返し行う。読み出し期間ＲＯ＿ｉでは、画素行ｉの各単位画素から列回路２０３への画素信号の読み出しと、列回路２０３に保持された画素信号のＣＤＳ３への出力を行う。
【００３０】
図３（Ｂ）は、「ローリングシャッタ駆動」における、信号蓄積・読み出し動作の時系列の流れを示している。「ローリングシャッタ駆動」では、画素行ｉの信号蓄積・読み出し動作として、リセット期間Ｒｅｓ＿ｉ、蓄積期間Ａｃｃ＿ｉ、読み出し期間ＲＯ＿ｉを連続して行う。このような画素行ｉの信号蓄積・読み出し動作を、読み出しを行う画素群を切り替えながら繰り返し行うので、蓄積期間Ａｃｃ＿ｉは、画素行ごとに異なる時刻に設けられることになる。
【００３１】
信号蓄積・読み出し動作は、図３（Ｂ）に示す「ローリングシャッタ駆動」とすることも可能であるが、本実施形態では、画素信号の蓄積時刻の同時性を重視し、図３（Ａ）に示すように蓄積期間Ａｃｃで全画素同時に信号を蓄積する「グローバル電子シャッタ駆動」を行う。
【００３２】
＜距離画像取得時の固体撮像素子及び発光装置の駆動パターン＞
以下、図２（Ｂ）、（Ｃ）に示すタイミングチャートを参照して、距離画像取得時の、固体撮像素子及び発光装置の駆動パターンについて説明する。図２（Ｂ）、（Ｃ）は、距離画像取得時の固体撮像素子の各単位画素２００、及び発光装置１６に供給される各駆動パルスのタイミングチャートである。各タイミングチャートについては、各駆動パルスがＨレベルの時に、各スイッチがオン状態となり、一方、各駆動パルスがＬレベルの時に、各スイッチがオフ状態となるものとして説明を行う。また、距離画像取得時の蓄積期間Ａｃｃについては、図４（Ｂ）〜（Ｄ）に示すポテンシャル図を用いて、各単位画素の動作を併せて説明する。
【００３３】
図２（Ｂ）は、図３（Ａ）に示すリセット期間Ｒｅｓ及び蓄積期間Ａｃｃにおいて、固体撮像素子の各単位画素２００に供給される各駆動パルス、及び発光装置１６に供給される発光制御パルスＰＬｉｇｈｔの駆動パターンを示すタイミングチャートである。リセット期間Ｒｅｓ及び蓄積期間Ａｃｃの動作は、図３（Ａ）に示すように全行の画素において同時に行うものとする。
【００３４】
まず、リセット期間Ｒｅｓにおける固体撮像素子の制御方法を説明する。
【００３５】
時刻ｔ１００１で、リセットパルスＰＲｅｓ、第１の転送パルスＰＴｘ１、第２の転送パルスＰＴｘ２、第３の転送パルスＰＴｘ３がＨレベルとなる。この時、リセットスイッチＭＲｅｓ、第１の転送スイッチＭＴｘ１、第２の転送スイッチＭＴｘ２、第３の転送スイッチＭＴｘ３がオン状態となる。そして、ＰＤ、第１の画素内メモリＭｅｍ１、第２の画素内メモリＭｅｍ２、ＦＤに蓄積された電荷がリセットされる。
【００３６】
時刻ｔ１００２で、第３の転送パルスＰＴｘ３がＬレベルとなり、第３の転送スイッチＭＴｘ３がオフ状態となる。したがって、ＰＤ、第１の画素内メモリＭｅｍ１、第２の画素内メモリＭｅｍ２のリセットが解除され、ＦＤのリセットは継続される。以上が、リセット期間Ｒｅｓにおける固体撮像素子の制御方法である。
【００３７】
次に、蓄積期間Ａｃｃにおける固体撮像素子の制御方法を説明する。図４（Ａ）は、図２（Ａ）に等価回路を示した単位画素２００の断面図である。また、図４（Ｂ）〜（Ｄ）は、図４（Ａ）の断面図に対応し、光電変換素子ＰＤ、転送スイッチＭＴｘ１、画素内メモリＭｅｍ１、転送スイッチＭＴｘ２、画素内メモリＭｅｍ２のポテンシャルを示したポテンシャル図である。
【００３８】
時刻ｔ１００２では、第１の転送パルスＰＴｘ１、第２の転送パルスＰＴｘ２がＨレベルとなっており、図４（Ｂ）に示すように、ＰＤで生成された電荷が、第１の画素内メモリＭｅｍ１、及び、第２の画素内メモリＭｅｍ２に転送され、蓄積される。以降、第１の画素内メモリＭｅｍ１及び第２の画素内メモリＭｅｍ２の双方に対してＰＤからの電荷転送を行う期間を、Ａｃｃ＿Ｍ２と呼ぶこととする。尚、Ａｃｃ＿Ｍ２期間中に、転送スイッチＭＴｘ１、転送スイッチＭＴｘ２の双方または一方をオフ状態にしてＰＤで電荷を蓄積させ、ｔ１００３よりも前に、再度オン状態にして画素内メモリＭｅｍ１、Ｍｅｍ２に電荷を転送させるように駆動しても構わない。
【００３９】
時刻ｔ１００３で、第２の転送パルスＰＴｘ２がＬレベルとなり、第２の転送スイッチＭＴｘ２がオフ状態となる。このとき、図４（Ｃ）に示すように、第２の画素内メモリＭｅｍ２への電荷の転送が終了され、この時点で蓄積された電荷Ｑ２が、第２の画素内メモリＭｅｍ２に保持される。なお、第１の転送パルスＰＴｘ１はＨレベルのままであり、第１の画素内メモリＭｅｍ１への電荷転送は継続される。以降、第１の画素内メモリＭｅｍ１のみに対してＰＤからの電荷転送を行う期間をＡｃｃ＿Ｍ１と呼ぶこととする。
【００４０】
時刻ｔ１００４で、第１の転送パルスＰＴｘ１がＬレベルとなり、第１の転送スイッチＭＴｘ１がオフ状態となる。このとき、図４（Ｄ）に示すように、第１の画素内メモリＭｅｍ１への電荷転送が終了され、この時点で蓄積された信号電荷Ｑ１が、第１の画素内メモリＭｅｍ１に保持される。以上が、蓄積期間Ａｃｃにおける固体撮像素子の制御方法である。
【００４１】
蓄積期間Ａｃｃ中には、固体撮像素子の制御と、図１（Ｂ）に示す発光装置１６の投光動作とが同期して行われる。具体的には、画素内メモリＭｅｍ１、Ｍｅｍ２の双方へ信号電荷を転送している期間Ａｃｃ＿Ｍ２中に、発光装置からの投光を行う期間を設ける。また、第２の画素内メモリＭｅｍ２への電荷転送を終了し、第１の画素内メモリＭｅｍ１のみへ信号電荷を転送している期間Ａｃｃ＿Ｍ１には、発光装置からの投光を行わない期間を設ける。
【００４２】
例えば、発光装置１６による投光を開始した後で、かつ、発光装置１６による投光が終了される以前のタイミングに、期間Ａｃｃ＿Ｍ２が終了されるようにすればよい。本実施形態においては、一例として、図２（Ｂ）に示すように、期間Ａｃｃ＿Ｍ２に相当する時刻ｔ１００２からｔ１００３までの間を、発光装置１６に供給される発光制御パルスＰＬｉｇｈｔのＨレベル期間とし、それ以外をＬレベル期間としている。発光制御パルスＰＬｉｇｈｔがＨレベルの間、発光装置１６から被写体へ向けて投光が行われ、発光制御パルスＰＬｉｇｈｔがＬレベルとなると同時に、投光が終了される。
【００４３】
発光装置１６から投光された光は、被写体に反射し、撮像装置から被写体までの距離Ｌに応じた遅延時間ΔＴの後、撮像装置の撮影光学系１を通して固体撮像素子２の各単位画素２００に入射する。被写体からの反射光が各単位画素２００に入射するタイミングの例を、図２（Ｂ）のＬＲｅｆに示す。期間Ａｃｃ＿Ｍ２中に各単位画素２００に入射した反射光ＬＲｅｆに応じて、ＰＤで生成された電荷は、図４（Ｂ）に示すように第１の画素内メモリＭｅｍ１、第２の画素内メモリＭｅｍ２の双方に蓄積される。一方、期間Ａｃｃ＿Ｍ１に各単位画素２００に入射した反射光ＬＲｅｆに応じてＰＤで生成された電荷は、図４（Ｃ）に示すように第１の画素内メモリＭｅｍ１のみに蓄積されることになる。
【００４４】
以上の様に、固体撮像素子の蓄積期間Ａｃｃにおける動作を、発光制御パルスＰＬｉｇｈｔに同期させて、前述の駆動パターンによって駆動させる。このようにすることで、第２の転送スイッチＭＴｘ２の制御のみによって、反射光によって発生する電荷の転送先を、時間によって切り替えることが出来る。すなわち、ＰＤで生成された電荷が第１の画素内メモリＭｅｍ１に転送される期間と、第２の画素内メモリＭｅｍ２に転送される期間とを異ならせることができる。
次に、図３（Ａ）に示す読み出し期間Ｒｏにおける固体撮像素子の制御方法について説明する。
【００４５】
図２（Ｃ）は、読み出し期間Ｒｏのうち、ｉ行目の画素群の読み出し期間Ｒｏ＿ｉに、固体撮像素子の各単位画素２００に供給される各駆動パルス、及び、発光装置１６に供給される発光制御パルスＰＬｉｇｈｔの駆動パターンを示すタイミングチャートである。図２（Ｃ）に示す各パルス名後の添え字ｉは、図２（Ａ）と同様に、ｉ行目の単位画素２００＿ｉに対して供給される駆動パルスであることを示すものとする。読出し期間Ｒｏにおいては、ｉ行目の画素群からの信号読み出し動作Ｒｏ＿ｉを、読み出し対象領域内のＭ行分の画素に対して、１行目からＭ行目まで、１行分ずつ順に行うものとする。
【００４６】
時刻ｔ１１０１で、選択パルスＰＳｅｌ＿ｉがＨレベルとなり、選択スイッチＭＳｅｌがオン状態となって、ｉ行目の画素群の信号出力ノードが、各画素列に対応する垂直出力線ＶＬに接続される。時刻ｔ１１０２で、リセットパルスＰＲｅｓ＿ｉがＬレベルとなり、リセットスイッチＭＲｅｓがオフ状態となってＦＤ部のリセット状態が解除される。時刻ｔ１１０３で、選択スイッチＭＳｅｌ及び垂直出力線ＶＬを介して、ｉ行目の画素群から伝達された信号レベルが、第２の基準信号Ｎ２として、後段の列回路２０３内の列メモリにサンプリングされ保持される。
【００４７】
時刻ｔ１１０４で、第３の転送パルスＰＴｘ３＿ｉがＨレベルとなり、第３の転送スイッチＭＴｘ３がオン状態となって、第２の画素内メモリＭｅｍ２に保持された電荷Ｑ２が、ＦＤ部へと転送される。時刻ｔ１１０５で、第３の転送パルスＰＴｘ３＿ｉがＬレベルとなり、第３の転送スイッチＭＴｘ３がオフ状態となって、第２の画素内メモリＭｅｍ２に保持された電荷信号Ｑ２の、ＦＤ部への転送が終了される。
【００４８】
時刻ｔ１１０６で、選択スイッチＭＳｅｌ及び垂直出力線ＶＬを介して、ｉ行目の画素群から伝達された信号レベルが、第２の光信号Ｓ２として、後段の列回路２０３内の列メモリにサンプリングされ保持される。時刻ｔ１１０７で、リセットパルスＰＲｅｓ＿ｉがＨレベルとなり、リセットスイッチＭＲｅｓがオン状態となって、第２の画素内メモリＭｅｍ２、ＦＤに蓄積された信号電荷がリセットされる。
【００４９】
時刻ｔ１１０８で、リセットパルスＰＲｅｓ＿ｉがＬレベルとなり、リセットスイッチＭＲｅｓがオフ状態となって、ＦＤ部のリセット状態が解除される。時刻ｔ１１０９で、選択スイッチＭＳｅｌ及び垂直出力線ＶＬを介して、ｉ行目の画素群から伝達された信号レベルが、第１の基準信号Ｎ１として、後段の列回路２０３内の列メモリにサンプリングされ保持される。
【００５０】
時刻ｔ１１１０で、第２の転送パルスＰＴｘ２＿ｉがＨレベルとなり、第２の転送スイッチＭＴｘ２がオン状態となる。また、第３の転送パルスＰＴｘ３＿ｉがＨレベルとなり、第３の転送スイッチＭＴｘ３がオン状態となって、第１の画素内メモリＭｅｍ１に保持された電荷Ｑ１が、第２の転送スイッチＭＴｘ２、第３の転送スイッチＭＴｘ３を介してＦＤ部へと転送される。
【００５１】
時刻ｔ１１１１で、第２の転送パルスＰＴｘ２＿ｉがＬレベルとなり、第２の転送スイッチＭＴｘ２がオフ状態となる。また、第３の転送パルスＰＴｘ３＿ｉがＬレベルとなり、第３の転送スイッチＭＴｘ３がオフ状態となって、第１の画素内メモリＭｅｍ１に保持された電荷Ｑ１の、ＦＤ部への転送が終了される。
【００５２】
時刻ｔ１１１２で、選択スイッチＭＳｅｌ及び垂直出力線ＶＬを介して、ｉ行目の画素群から伝達された信号レベルが、第１の光信号Ｓ１として、後段の列回路２０３内の不図示の列メモリにサンプリングされ保持される。時刻ｔ１１１３で、選択パルスＰＳｅｌ＿ｉがＬレベルとなり、選択スイッチＭＳｅｌがオフ状態となって、ｉ行目の画素群の信号出力ノードの、垂直出力線ＶＬへの接続が解除される。
【００５３】
なお、以上の動作によって列回路２０３内の列メモリに保持された信号Ｎ１、Ｎ２、Ｓ１、Ｓ２はＣＤＳ３、Ａ／Ｄ４を介して、信号処理回路７へと転送される。以上が、読み出し期間Ｒｏ中の、ｉ行目の画素群の読み出し期間Ｒｏ＿ｉにおける固体撮像素子の制御方法である。以上の動作を、読み出し対象領域内のＭ行分の画素からの信号読み出しが完了するまで、選択行ｉを１行目からＭ行目まで遷移させながら、繰り返し行うものとする。
【００５４】
第１の実施形態では、図１に示すＡｃｃ＿Ｍ２期間の動作において、時刻ｔ１００２から時刻ｔ１００３までの間、第１の転送スイッチＭＴｘ１及び第２の転送スイッチＭＴｘ２がオン状態に保たれる。そして、ＰＤで生成された電荷を第１及び第２の画素内メモリに転送して蓄積する。
【００５５】
しかし、この駆動を、例えば、時刻ｔ１００２と同時かそれ以降に第１の転送スイッチＭＴｘ１を一旦オフ状態にし、ＰＤで電荷を蓄積させたのち、ｔ１００３よりも前に再度第１の転送スイッチＭＴｘ１をオン状態にすることで、第１の画素内メモリＭｅｍ１および第２の画素内メモリＭｅｍ２に電荷を転送させる駆動としても構わない。あるいは、時刻ｔ１００２と同時かそれ以降に第２の転送スイッチＭＴｘ２を一旦オフ状態にし、第１の画素内メモリＭｅｍ１で電荷を蓄積させる。その後、時刻ｔ１００３よりも前に再度第２の転送スイッチＭＴｘ２をオン状態にすることで、画素内メモリに電荷を転送させる駆動としてもよい。
【００５６】
あるいは、時刻ｔ１００２と同時かそれ以降に第１の転送スイッチＭＴｘ１、第２の転送スイッチＭＴｘ２の双方を一旦オフ状態にし、ＰＤで電荷を蓄積させる。その後、時刻ｔ１００３よりも前に再度第１の転送スイッチＭＴｘ１及び第２の転送スイッチＭＴｘ２をオン状態にすることで、画素内メモリに電荷を転送させる駆動としてもよい。尚、時刻ｔ１００２以前、及び、時刻ｔ１００３以降の動作は、第１の実施形態で述べた駆動パターンに従って行えばよい。
【００５７】
＜距離情報の演算方法＞
次に、取得した信号Ｎ１、Ｎ２、Ｓ１、Ｓ２を用いて、撮像装置から被写体までの距離を演算する演算方法について説明する。以下に示す演算は、本実施形態においては、図１（Ａ）に示す信号処理回路７を用いて行えばよい。
【００５８】
まず、第１の画素内メモリＭｅｍ１の容量がＣ１、第２の画素内メモリＭｅｍ２の容量がＣ２、ＦＤの容量がＣｆであるものとする。このとき、図２（Ｂ）に示す、蓄積期間Ａｃｃ＿Ｍ２にＰＤで発生した電荷をＱ１とすると、電荷Ｑ１は、信号Ｎ２、Ｓ２を用いて、以下の式１で表せる。
【００５９】
Ｑ１＝（Ｃ１＋Ｃ２＋Ｃｆ）＊（Ｓ２−Ｎ２）            …（式１）
また、蓄積期間Ａｃｃ＿Ｍ１にＰＤで発生した電荷をＱ２とすると、電荷Ｑ２は、信号Ｎ１、Ｓ１、Ｎ２、Ｓ２を用いて、以下の式２で表せる。
【００６０】
Ｑ２＝（Ｃ１＋Ｃ２＋Ｃｆ）＊（Ｓ１−Ｎ１）−Ｃ１＊（Ｓ２−Ｎ２）  …（式２）
蓄積期間Ａｃｃ中に発生した電荷の総和に対する、蓄積期間Ａｃｃ＿Ｍ１中に発生した電荷の比である電荷比Ｒは、以下の式３によって表すことができる。
【００６１】
Ｒ＝Ｑ２／（Ｑ１＋Ｑ２）                              …（式３）
ここで、蓄積期間Ａｃｃ＿Ｍ２中における発光装置１６の点灯時間（ＰＬｉｇｈｔがＨレベルとなる期間）をｕ１２、蓄積期間Ａｃｃ＿Ｍ１中における発光装置１６の点灯時間（ＰＬｉｇｈｔがＨレベルとなる期間）をｕ１とする。また、蓄積期間Ａｃｃ中における発光装置１６の点灯時間（ＰＬｉｇｈｔのＨ期間の総和）をＷとする。このとき、蓄積期間Ａｃｃ中における発光装置１６の点灯時間Ｗに対する、蓄積期間Ａｃｃ＿Ｍ１中における発光装置１６の点灯時間ｕ１の比である発光時間比Ｕは、下記の式４で表すことができる。
【００６２】
Ｕ＝ｕ１／Ｗ＝ｕ１／（ｕ１２＋ｕ１）                  …（式４）
被写体にパルス光を投光してから反射してくるまでの光飛行時間をΔＴ［ｓ］とすると、電荷比Ｒと光飛行時間ΔＴとの関係は、発光時間比Ｕ、蓄積期間Ａｃｃ中における発光装置１６の点灯時間Ｗ［ｓ］を用いて、以下の式５によって表すことができる。
【００６３】
Ｒ＝１／Ｗ＊ΔＴ＋Ｕ                                  …（式５）
式５に示すように、電荷比Ｒは発光時間Ｗの逆数に比例し、発光時間比Ｕがオフセットとなる。ここで、本実施形態においては、蓄積期間Ａｃｃ＿Ｍ１中においてＰＬｉｇｈｔがＨレベルとなる期間ｕ１を０としているので、発光時間比Ｕは０となり、式５は、以下の式５−１に変形することができる。
【００６４】
Ｒ＝１／Ｗ＊ΔＴ                                      …（式５−１）
また、被写体までの距離をＬ［ｍ］としたとき、光飛行時間ΔＴと被写体までの距離Ｌとの関係は、光の速度ｃ［ｍ／ｓ］を用いて以下の式６によって表すことができる。
【００６５】
ΔＴ＝２Ｌ／ｃ                                        …（式６）
式５−１、及び式６から、被写体までの距離Ｌを、電荷比Ｒを用いて、下記の式７によって求めることができる。
【００６６】
Ｌ＝Ｗｃ／２＊Ｒ                                      …（式７）
以上の式１から式７に至る演算を、信号処理回路７で行うことにより、撮像装置において、固体撮像素子からの信号Ｎ１、Ｎ２、Ｓ１、Ｓ２を用いて、画素毎の距離情報を得ることが可能となる。
【００６７】
＜通常画像取得時の固体撮像素子の駆動パターン＞
次に、図５（Ａ）、（Ｂ）に示すタイミングチャートを参照して、距離情報を含まない通常画像を取得する際の、固体撮像素子の駆動パターンについて説明する。なお、図３（Ａ）に示す通り、リセット期間Ｒｅｓにおけるリセット動作、及び蓄積期間Ａｃｃにおける信号蓄積を全画素同時に行い、その後読出し期間ＲＯにおいて、各行の読み出し動作ＲＯ＿ｉを順に行う点は、距離画像取得時の駆動パターンと同様である。
【００６８】
距離情報を取得する必要のない、通常画像取得時には、２つの画素内メモリＭｅｍ１、Ｍｅｍ２の双方を使用して、双方のメモリに同時に画素信号の蓄積を行えばよい。なぜならば、距離情報が不要の場合には、同一単位画素内において、蓄積時刻の異なる信号を取得する必要がないためである。
【００６９】
図５（Ａ）は、図３（Ａ）に示すリセット期間Ｒｅｓ及び蓄積期間Ａｃｃにおいて、固体撮像素子の各単位画素２００に供給される各駆動パルス、及び発光装置１６に供給される発光制御パルスＰＬｉｇｈｔの駆動パターンを示すタイミングチャートである。通常画像においては、距離情報を取得する必要がないため、発光制御パルスＰＬｉｇｈｔをＬ状態に固定し、発光装置１６による投光を行わないものとして、説明する。
【００７０】
まず、リセット期間Ｒｅｓにおける固体撮像素子の制御方法について説明する。時刻ｔ２００１で、リセットパルスＰＲｅｓ、第１の転送パルスＰＴｘ１、第２の転送パルスＰＴｘ２、第３の転送パルスＰＴｘ３がＨレベルとなる。この時、リセットスイッチＭＲｅｓ、第１の転送スイッチＭＴｘ１、第２の転送スイッチＭＴｘ２、第３の転送スイッチＭＴｘ３がオン状態となり、ＰＤ、第１の画素内メモリＭｅｍ１、第２の画素内メモリＭｅｍ２、ＦＤに蓄積された電荷がリセットされる。
【００７１】
時刻ｔ２００２で、第３の転送パルスＰＴｘ３がＬレベルとなり、第３の転送スイッチＭＴｘ３がオフ状態となる。したがって、ＰＤ、第１の画素内メモリＭｅｍ１、第２の画素内メモリＭｅｍ２のリセットが解除され、ＦＤのリセットは継続される。以上が、リセット期間Ｒｅｓにおける固体撮像素子の制御方法である。
【００７２】
次に、蓄積期間Ａｃｃにおける固体撮像素子の制御方法について説明する。時刻ｔ２００２では、第１の転送パルスＰＴｘ１、第２の転送パルスＰＴｘ２がＨレベルとなっており、ＰＤで生成された電荷が、第１の画素内メモリＭｅｍ１、及び、第２の画素内メモリＭｅｍ２に転送され、蓄積される。
【００７３】
時刻ｔ２００３で、第１の転送パルスＰＴｘ１がＬレベルとなり、第１の転送スイッチＭＴｘ１がオフ状態となって、第１の画素内メモリＭｅｍ１、第２の画素内メモリＭｅｍ２に対する、ＰＤからの電荷の転送が終了される。この時点で蓄積された電荷が、第１の画素内メモリＭｅｍ１と、第２の画素内メモリＭｅｍ２との合成容量に保持される。以上が、蓄積期間Ａｃｃにおける固体撮像素子の制御方法である。
【００７４】
次に、図３（Ａ）に示す読み出し期間Ｒｏにおける固体撮像素子の制御方法について説明する。図５（Ｂ）は、読み出し期間Ｒｏのうち、ｉ行目の画素群の読み出し期間Ｒｏ＿ｉに、固体撮像素子の各単位画素２００に供給される各駆動パルス、及び発光装置１６に供給される発光制御パルスＰＬｉｇｈｔの駆動パターンを示すタイミングチャートである。
【００７５】
時刻ｔ２１０１で、選択パルスＰＳｅｌ＿ｉがＨレベルとなり、選択スイッチＭＳｅｌがオン状態となって、ｉ行目の画素群の信号出力ノードが、各画素列に対応する垂直出力線ＶＬに接続される。時刻ｔ２１０２で、リセットパルスＰＲｅｓ＿ｉがＬレベルとなり、リセットスイッチＭＲｅｓがオフ状態となってＦＤ部のリセット状態が解除される。
【００７６】
時刻ｔ２１０３で、選択スイッチＭＳｅｌ及び垂直出力線ＶＬを介して、ｉ行目の画素群から伝達された信号レベルが、基準信号Ｎとして、後段の列回路２０３内の列メモリにサンプリングされ保持される。時刻ｔ２１０４で、第３の転送パルスＰＴｘ３＿ｉがＨレベルとなり、第３の転送スイッチＭＴｘ３がオン状態となって、第１の画素内メモリＭｅｍ１と、第２の画素内メモリＭｅｍ２との合成容量に保持された電荷が、ＦＤ部へと転送される。
【００７７】
時刻ｔ２１０５で、第３の転送パルスＰＴｘ３＿ｉがＬレベルとなり、第３の転送スイッチＭＴｘ３がオフ状態となって、第１の画素内メモリＭｅｍ１と、第２の画素内メモリＭｅｍ２との合成容量に保持された電荷の、ＦＤ部への転送が終了される。時刻ｔ２１０６で、選択スイッチＭＳｅｌ及び垂直出力線ＶＬを介して、ｉ行目の画素群から伝達された信号レベルが、光信号Ｓとして、後段の列回路２０３内の不図示の列メモリにサンプリングされ保持される。
【００７８】
時刻ｔ２１０７で、選択パルスＰＳｅｌ＿ｉがＬレベルとなり、選択スイッチＭＳｅｌがオフ状態となって、ｉ行目の画素群の信号出力ノードの、垂直出力線ＶＬへの接続が解除される。以上の動作によって列回路２０３内の不図示の列メモリに保持された信号Ｎ、Ｓは、ＣＤＳ３、Ａ／Ｄ４を介して、信号処理回路７へと転送される。
【００７９】
以上が、読み出し期間Ｒｏ中の、ｉ行目の画素群の読み出し期間Ｒｏ＿ｉにおける固体撮像素子の制御方法である。以上の動作を、読み出し対象領域内のＭ行分の画素からの信号読み出しが完了するまで、選択行ｉを１行目からＭ行目まで遷移させながら、繰り返し行うものとする。
【００８０】
以上、本発明の第１の実施形態について説明した。以上に述べた様に、本実施形態によれば、反射光によって発生する電荷を転送する際、第１の画素内メモリＭｅｍ１と、第２の画素内メモリＭｅｍ２との間に設けた第２の転送スイッチＭＴｘ２の、発光装置と連動する制御のみによって、第１の画素内メモリＭｅｍ１に電荷が転送される期間と、第２の画素内メモリＭｅｍ２に電荷が転送される期間とを異ならせることが出来る。したがって、転送パルスや転送スイッチのバラつきによる影響をうけずに、精度の高い距離情報を取得することが可能な固体撮像素子を提供することができる。
【００８１】
（第１の実施形態の変形例）
第１の実施形態では、固体撮像素子を製造する工程において、画素部を形成する工程の簡略化を考慮して、第１の画素内メモリＭｅｍ１と、第２の画素内メモリＭｅｍ２の不純物濃度を同一とした。不純物濃度が同じことからポテンシャル深さは同一となるので、第１の画素内メモリと第２の画素内メモリとで電荷の容量分割が発生する。これを考慮し、第１の実施形態における距離情報の演算では、信号Ｓ１、Ｓ２、Ｎ１、Ｎ２及び係数α、βを用いて、信号レベルＳｑ１、Ｓｑ２を算出し、画素毎の距離情報を取得した。しかし、この方法では、演算のステップが増加し、信号処理が煩雑になってしまう。また、係数α、βを求めて記憶するため、撮像装置の出荷前の工程が増加し、係数α、βを記憶するためのメモリ容量も必要となる。
【００８２】
これに鑑みて、本変形例では、第１の画素内メモリＭｅｍ１の電荷を、第２の画素内メモリＭｅｍ２へと完全転送できる構成とする。
【００８３】
図６（Ａ）は、図２（Ａ）に等価回路を示した単位画素２００断面図である。また、図６（Ｂ）は、図６（Ａ）の断面図に対応し、光電変換素子ＰＤ、転送スイッチＭＴｘ１、画素内メモリＭｅｍ１、転送スイッチＭＴｘ２、画素内メモリＭｅｍ２の本実施形態におけるポテンシャルを示したポテンシャル図である。
【００８４】
本変形例においては、第１、第２の画素内メモリＭｅｍ１、Ｍｅｍ２のポテンシャル深さが図６（Ｂ）に示すようにＭｅｍ１＜Ｍｅｍ２となるよう、それぞれを形成する不純物濃度を異ならせる。
【００８５】
このような構成とした場合、第１の実施形態に示した式１、式２の、容量比を用いた換算が不要となり、電荷比Ｒを、信号Ｎ１、Ｎ２、Ｓ１、Ｓ２を用いて、下記式８のよう求めることができる。
【００８６】
Ｒ＝（Ｓ１−Ｎ１）／（（Ｓ１−Ｎ２）＋（Ｓ２−Ｎ２））      …（式８）
以上に示すように、本変形例によれば、第１の実施形態と比較して、固体撮像素子の製造工程が増加する一方で、距離情報を取得する際に必要な演算の簡略化が可能となる。また、係数α、βを求めて記憶するための撮像装置出荷前の工程を削減し、係数α、βを記憶するためのメモリ容量も不要となる。
【００８７】
（第２の実施形態）
本発明の第２の実施形態においては、単位画素内に光電変換素子ＰＤに対して並列に設けられた第１の画素内メモリＭｅｍ１１と、第２の画素内メモリＭｅｍ２１とを用いて、ＰＤで生成した電荷の蓄積を行う。
【００８８】
このとき、ＰＤと第１の画素内メモリＭｅｍ１１との間に設けられた転送スイッチＭＴｘ１１をオンしている最中に、ＰＤと第２の画素内メモリＭｅｍ２１との間に設けられた転送スイッチＭＴｘ２１のオンオフを制御する。これによって、第１の画素内メモリＭｅｍ１１に電荷が転送される期間と、第２の画素内メモリＭｅｍ２１に電荷が転送される期間とを異ならせる。
【００８９】
本実施形態における構成は、第１の実施形態における構成と比較して、画素領域に必要な素子数や配線数が増加するため、単位画素あたりのＰＤ面積が小さくなり、固体撮像素子の感度が低下する。一方で、ＰＤ以降の信号の読出し経路を並列で備えていることで、信号読み出しにかかる時間を短縮することができ、第１の実施形態と比較して、高フレームレートでの読出しを行うことが可能となる。以下、図面を参照して、本発明の第２の実施形態における、固体撮像素子の単位画素の構成と固体撮像素子の駆動方法について説明する。
【００９０】
＜単位画素の構成＞
図７（Ａ）は、本発明の第２の実施形態における固体撮像素子の単位画素２００の構成を示す等価回路図である。光電変換素子ＰＤは、入射した光を受光し、その受光量に応じた信号電荷を生成して蓄積する。また、ＰＤに対して並列に設けられた画素内メモリＭｅｍ１１（第１の電荷保持手段）と画素内メモリＭｅｍ２１（第２の電荷保持手段）は、光電変換素子ＰＤにおいて発生した電荷信号を保持する。また、転送スイッチＭＴｘ１１（第１の電荷転送手段）は、光電変換素子ＰＤにおいて生成された信号電荷の第１の画素内メモリＭｅｍ１１への転送を制御する。さらに、転送スイッチＭＴｘ２１（第２の電荷転送手段）は、光電変換素子ＰＤにおいて生成された信号電荷の第２の画素内メモリＭｅｍ２１への転送を制御する。
【００９１】
ここで、第１、第２の画素内メモリは、埋め込み型のキャパシタを生成するなどして、後述する「グローバル電子シャッタ駆動」を実現するために長期間の電荷蓄積を行っても暗電流等のノイズの影響を受けにくい様な構成をとるものとする。
【００９２】
フローティングディフュージョン（ＦＤ）部１（第３の電荷保持手段）は、第１の画素内メモリＭｅｍ１１を介して転送された電荷を保持する。また、フローティングディフュージョン（ＦＤ）部２（第４の電荷保持手段）は、第２の画素内メモリＭｅｍ２１を介して転送された電荷を保持する。また、転送スイッチＭＴｘ１２（第３の電荷転送手段）は、第１の画素内メモリＭｅｍ１１からＦＤ部１への電荷転送を制御する。また、転送スイッチＭＴｘ１２（第４の電荷転送手段）は、第２の画素内メモリＭｅｍ２１からＦＤ２への電荷転送を制御する。また、リセットスイッチＭＲｅｓ１（第１のリセット手段）は、ＦＤ１に接続され、ＦＤ１、第１の画素内メモリＭｅｍ１１、ＰＤに保持された信号電荷をリセットする。また、リセットスイッチＭＲｅｓ２（第２のリセット手段）は、ＦＤ２に接続され、ＦＤ２、第２の画素内メモリＭｅｍ２１、ＰＤに保持された信号電荷をリセットする。また、増幅ＭＯＳ  ＭＳＦ１（第１の変換増幅手段）は、垂直出力線ＶＬ１ごとに設けられた電流源に接続されることでソ−スフォロア回路を形成し、ＦＤ１に保持した電荷に応じて電圧信号を画素信号として出力する。また、増幅ＭＯＳ  ＭＳＦ２（第２の変換増幅手段）は、垂直出力線ＶＬ２ごとに設けられた電流源に接続されることでソ−スフォロア回路を形成し、ＦＤ２に保持した電荷に応じて電圧信号を画素信号として出力する。また、選択スイッチＭＳｅｌ１（第１の選択手段）は、増幅ＭＯＳ  ＭＳＦ１の信号出力ノードと画素列毎に設けられた垂直出力線ＶＬ１間の接続を制御し、増幅ＭＯＳ  ＭＳＦ１から出力される電圧信号を垂直出力線ＶＬ１を介して後段の列回路２０３へと伝達する画素群ｉを選択する。また、選択スイッチＭＳｅｌ２（第２の選択手段）は、増幅ＭＯＳ  ＭＳＦ２の信号出力ノードと画素列毎に設けられた垂直出力線ＶＬ２間の接続を制御し、増幅ＭＯＳ  ＭＳＦ２から出力される電圧信号を垂直出力線ＶＬ２を介して後段の列回路２０３へと伝達する画素群ｉを選択する。
【００９３】
以上述べた、単位画素２００内に設けられた各スイッチは、垂直走査回路２０２から供給される各駆動パルスによって制御される。例えば、転送スイッチＭＴｘ１１は第１の転送パルスＰＴｘ１１＿ｉによって制御される。転送スイッチＭＴｘ２１は第２の転送パルスＰＴｘ２１＿ｉによって制御される。転送スイッチＭＴｘ１２は第３の転送パルスＰＴｘ１２＿ｉによって制御される。転送スイッチＭＴｘ２２は第４の転送パルスＰＴｘ２２＿ｉによって制御される。また、リセットスイッチＭＲｅｓ１はリセットパルスＰＲｅｓ１＿ｉ、リセットスイッチＭＲｅｓ２はリセットパルスＰＲｅｓ２＿ｉによってそれぞれ制御される。また、選択スイッチＭＳｅｌ１は選択パルスＰＳｅｌ１＿ｉ、選択スイッチＭＳｅｌ２は選択パルスＰＳｅｌ２＿ｉによってそれぞれ制御される。
【００９４】
ここで、各パルス名後の添え字ｉは、単位画素が行列状に配された固体撮像素子において、ｉ行目の単位画素２００＿ｉに対して供給される駆動パルスであることを示すものとする。
【００９５】
＜距離画像取得時の固体撮像素子及び発光装置の駆動パターン＞
次に、図７（Ｂ）、（Ｃ）に示すタイミングチャートを参照して、距離画像取得時の固体撮像素子、及び発光装置の駆動パターンについて説明する。図７（Ｂ）、（Ｃ）は、距離画像取得時の固体撮像素子の各単位画素２００、及び発光装置１６に供給される各駆動パルスのタイミングチャートである。
【００９６】
図７（Ｂ）、（Ｃ）に示す各パルス名後の添え字ｉは、図７（Ａ）と同様に、単位画素が行列状に配された固体撮像素子において、ｉ行目の単位画素２００＿ｉに対して供給される駆動パルスであることを示すものとする。また、各駆動パルスがＨレベルの時に、各スイッチがオン状態となり、一方、各駆動パルスがＬレベルの時に、各スイッチがオフ状態となるものとして、説明を行う。
【００９７】
図７（Ｂ）は、リセット期間Ｒｅｓ及び蓄積期間Ａｃｃにおいて、固体撮像素子の各単位画素２００に供給される各駆動パルス、及び発光装置１６に供給される発光制御パルスＰＬｉｇｈｔの駆動パターンを示すタイミングチャートである。リセット期間Ｒｅｓ及び蓄積期間Ａｃｃの動作は、ｉ行目の画素群に属する画素だけでなく、ｉ行目以外の画素群に属する画素についても同時に行うものとする。
【００９８】
まず、リセット期間Ｒｅｓにおける固体撮像素子の制御方法について説明する。時刻ｔ３００１で、第１のリセットパルスＰＲｅｓ１＿ｉ、第２のリセットパルスＰＲｅｓ２＿ｉ、第１の転送パルスＰＴｘ１１＿ｉ、第２の転送パルスＰＴｘ２１＿ｉ、第３の転送パルスＰＴｘ１２＿ｉ、第４の転送パルスＰＴｘ２２＿ｉがＨレベルとなる。この時、第１のリセットスイッチＭＲｅｓ１、第２のリセットスイッチＭＲｅｓ２、第１の転送スイッチＭＴｘ１１、第２の転送スイッチＭＴｘ２１、第３の転送スイッチＭＴｘ１２、第４の転送スイッチＭＴｘ２２がオン状態となる。そして、ＰＤ、第１の画素内メモリＭｅｍ１１、第２の画素内メモリＭｅｍ１２、ＦＤ１、ＦＤ２に蓄積された電荷がリセットされる。
【００９９】
時刻ｔ３００２で、第３の転送パルスＰＴｘ２１＿ｉ、第４の転送パルスＰＴｘ２２＿ｉがＬレベルとなり、第３の転送スイッチＭＴｘ２１、第４の転送スイッチＭＴｘ２２がオフ状態となる。したがって、ＰＤ、第１の画素内メモリＭｅｍ１１、第２の画素内メモリＭｅｍ２１のリセットが解除され、ＦＤ１、ＦＤ２のリセットは継続される。以上が、リセット期間Ｒｅｓにおける固体撮像素子の制御方法である。
【０１００】
次に、蓄積期間Ａｃｃにおける固体撮像素子の制御方法について説明する。時刻ｔ３００２では、第１の転送パルスＰＴｘ１１＿ｉ、第２の転送パルスＰＴｘ２１＿ｉがＨレベルとなっており、ＰＤで生成された電荷が、第１の画素内メモリＭｅｍ１１、及び第２の画素内メモリＭｅｍ２１に転送され、蓄積される。以降、第１の画素内メモリＭｅｍ１１、及び、第２の画素内メモリＭｅｍ２１の双方に対してＰＤからの電荷転送を行う期間をＡｃｃ＿Ｍ２１と呼ぶこととする。
【０１０１】
時刻ｔ３００３で、第２の転送パルスＰＴｘ２１＿ｉがＬレベルとなり、第２の転送スイッチＭＴｘ２１がオフ状態となり、第２の画素内メモリＭｅｍ２１への電荷の転送が終了される。そして、この時点で蓄積された電荷Ｑ２１が、第２の画素内メモリＭｅｍ２１に保持される。なお、第１の転送パルスＰＴｘ１１＿ｉはＨレベルのままであり、第１の画素内メモリＭｅｍ１１への電荷転送は継続される。以降、第１の画素内メモリＭｅｍ１１のみに対してＰＤからの電荷転送を行う期間をＡｃｃ＿Ｍ１１と呼ぶこととする。
【０１０２】
時刻ｔ３００４で、第１の転送パルスＰＴｘ１１＿ｉがＬレベルとなり、第１の転送スイッチＭＴｘ１１がオフ状態となり、第１の画素内メモリＭｅｍ１１への電荷転送が終了される。そして、この時点で蓄積された信号電荷Ｑ１１が、第１の画素内メモリＭｅｍ１１に保持される。以上が、蓄積期間Ａｃｃにおける固体撮像素子の制御方法である。
【０１０３】
蓄積期間Ａｃｃ中には、第１の実施形態と同様に、固体撮像素子の制御と、図１（Ｂ）に示す発光装置１６の投光動作とが同期して行われる。具体的には、第２の画素内メモリＭｅｍ２１への電荷転送を終了し、第１の画素内メモリＭｅｍ１１のみへ信号電荷を転送している期間Ａｃｃ＿Ｍ１１においては、発光装置からの投光を行わない様にする。また、期間Ａｃｃ＿Ｍ１１よりも前の、画素内メモリＭｅｍ１１、Ｍｅｍ２１の双方へ信号電荷を転送している期間Ａｃｃ＿Ｍ２１中に、発光装置からの投光を行う様にする。
【０１０４】
例えば、発光装置１６による投光を開始した後で、かつ、発光装置１６による投光が終了される以前のタイミングに、期間Ａｃｃ＿Ｍ２１が終了されるようにすればよい。本実施形態においては、図７（Ｂ）に示すように、期間Ａｃｃ＿Ｍ２１に相当する時刻ｔ３００２からｔ３００３までの間を発光装置１６に供給される発光制御パルスＰＬｉｇｈｔのＨレベル期間とし、それ以外の期間は発光制御パルスＰＬｉｇｈｔをＬレベルとしている。発光制御パルスＰＬｉｇｈｔがＨレベルの間、発光装置１６から被写体へ向けて投光が行われ、発光制御パルスＰＬｉｇｈｔがＬレベルとなると同時に、投光が終了される。
【０１０５】
発光装置１６から投光された光は、被写体に反射し、撮像装置から被写体までの距離Ｌに応じた遅延時間ΔＴの後、撮像装置の撮影光学系１を通して固体撮像素子の各単位画素２００に入射する。被写体からの反射光が各単位画素２００に入射するタイミングの例を、図７（Ｂ）のＬＲｅｆに示す。期間Ａｃｃ＿Ｍ２１中に各単位画素２００に入射した反射光ＬＲｅｆに応じてＰＤで生成された電荷は、第１の画素内メモリＭｅｍ１１、第２の画素内メモリＭｅｍ２１の双方に蓄積される。一方、期間Ａｃｃ＿Ｍ１１に各単位画素２００に入射した反射光ＬＲｅｆに応じてＰＤで生成された電荷は、第１の画素内メモリＭｅｍ１１のみに蓄積されることとなる。すなわち、ＰＤで生成された電荷が第１の画素内メモリＭｅｍ１１に転送される期間と、第２の画素内メモリＭｅｍ２１に転送される期間とを異ならせることができる。
【０１０６】
以上の様に、固体撮像素子の蓄積期間Ａｃｃにおける動作を、発光制御パルスＰＬｉｇｈｔに同期させて、前述の駆動パターンによって駆動させる。このようにすることで、第２の転送スイッチＭＴｘ２１の制御のみによって、反射光によって発生する電荷の転送先を、時間によって切り替えることが出来る。
【０１０７】
次に、読み出し期間Ｒｏにおける固体撮像素子の制御方法を説明する。図７（Ｃ）は、読み出し期間Ｒｏのうち、ｉ行目の画素群の読み出し期間Ｒｏ＿ｉに、固体撮像素子の各単位画素２００に供給される各駆動パルス、及び発光装置１６に供給される発光制御パルスＰＬｉｇｈｔの駆動パターンを示すタイミングチャートである。読出し期間Ｒｏにおいては、ｉ行目の画素群からの信号読み出し動作Ｒｏ＿ｉを、読み出し対象領域内のＭ行分の画素に対して１行目からＭ行目まで１行分ずつ順に行うものとする。
【０１０８】
時刻ｔ３１０１で、第１の選択パルスＰＳｅｌ１＿ｉ、第２の選択パルスＰＳｅｌ２＿ｉがＨレベルとなり、第１の選択スイッチＭＳｅｌ１、第２の選択スイッチＭＳｅｌ２がオン状態となる。これによって、ｉ行目の画素群の信号出力ノードが各画素列に対応する垂直出力線ＶＬ１、ＶＬ２に接続される。
【０１０９】
時刻ｔ３１０２で、第１のリセットパルスＰＲｅｓ１＿ｉ、第２のリセットパルスＰＲｅｓ２＿ｉがＬレベルとなり、第１のリセットスイッチＭＲｅｓ１、第２のリセットスイッチＭＲｅｓ２がオフ状態となってＦＤ部１、ＦＤ部２のリセット状態が解除される。
【０１１０】
時刻ｔ３１０３で、第１の選択スイッチＭＳｅｌ１及び垂直出力線ＶＬ１を介してｉ行目の画素群における増幅ＭＯＳ  ＭＳＦ１から出力された信号が、第２の基準信号Ｎ２として後段の列回路２０３内の列メモリにサンプリングされ保持される。また、第２の選択スイッチＭＳｅｌ２及び垂直出力線ＶＬ２を介してｉ行目の画素群における増幅ＭＯＳ  ＭＳＦ２から出力された信号が、第１の基準信号Ｎ１として後段の列回路２０３内の列メモリにサンプリングされ保持される。
【０１１１】
時刻ｔ３１０４で、第３の転送パルスＰＴｘ１２＿ｉ、第４の転送パルスＰＴｘ２２＿ｉがＨレベルとなり、第３の転送スイッチＭＴｘ１２、第４の転送スイッチＭＴｘ２２がオン状態となる。これによって、第１の画素内メモリＭｅｍ１１に保持された電荷Ｑ１１がＦＤ部１へと転送され、第２の画素内メモリＭｅｍ２１に保持された電荷Ｑ２１がＦＤ部２へと転送される。
【０１１２】
時刻ｔ３１０５で、第３の転送パルスＰＴｘ１２＿ｉがＬレベルとなり、第３の転送スイッチＭＴｘ１２がオフ状態となって、第１の画素内メモリＭｅｍ１１に保持された電荷Ｑ１１のＦＤ部１への転送が終了される。また、第４の転送パルスＰＴｘ２２＿ｉがＬレベルとなり、第４の転送スイッチＭＴｘ２２がオフ状態となって、第２の画素内メモリＭｅｍ２１に保持された電荷信号Ｑ２１のＦＤ部２への転送が終了される。
【０１１３】
時刻ｔ３１０６で、第１の選択スイッチＭＳｅｌ１及び垂直出力線ＶＬ１を介してｉ行目の画素群における増幅ＭＯＳ  ＭＳＦ１から出力された信号が、第２の光信号Ｓ２として後段の列回路２０３内の列メモリにサンプリングされ保持される。また、第２の選択スイッチＭＳｅｌ２及び垂直出力線ＶＬ２を介してｉ行目の画素群における増幅ＭＯＳ  ＭＳＦ２から出力された信号が、第１の光信号Ｓ１として後段の列回路２０３内の列メモリにサンプリングされ保持される。
【０１１４】
時刻ｔ３１０７で、第１の選択パルスＰＳｅｌ１＿ｉ、第２の選択パルスＰＳｅｌ２＿ｉがＬレベルとなり、第１の選択スイッチＭＳｅｌ１、第２の選択スイッチＭＳｅｌ２がオフ状態となって、ｉ行目の画素群の信号出力ノードの垂直出力線ＶＬ１、ＶＬ２への接続が解除される。以上の動作によって列回路２０３内の列メモリに保持された信号Ｎ１、Ｎ２、Ｓ１、Ｓ２はＣＤＳ３、Ａ／Ｄ４を介して、信号処理回路７へと転送される。
【０１１５】
以上が、読み出し期間Ｒｏ中の、ｉ行目の画素群の読み出し期間Ｒｏ＿ｉにおける固体撮像素子の制御方法である。以上の動作を、読み出し対象領域内のＭ行分の画素からの信号読み出しが完了するまで、選択行ｉを１行目からＭ行目まで遷移させながら繰り返し行うものとする。
【０１１６】
＜距離情報の演算方法＞
取得した信号Ｎ１、Ｎ２、Ｓ１、Ｓ２を用いた、撮像装置から被写体までの距離情報の算出手順については、以下の通りである。
【０１１７】
第２の画素内メモリＭｅｍ２１の容量がＣ２１、ＦＤ部２の容量がＣｆ２であるものとし、更に、第１の画素内メモリＭｅｍ１１の容量をＣ１１、ＦＤ部１の容量をＣｆ１であるものとする。このとき、図２（Ｂ）に示す、蓄積期間Ａｃｃ＿Ｍ２１にＰＤで発生した電荷をＱ１とすると、電荷Ｑ１は、信号Ｎ２、Ｓ２を用いて、以下の式９で表せる。
【０１１８】
Ｑ１＝（Ｃ１１＋Ｃ２１＋Ｃｆ２）＊（Ｓ２−Ｎ２）        …（式９）
また、電荷Ｑ２は、信号Ｎ１、Ｓ１、Ｎ２、Ｓ２を用いて、以下の式１０で表せる。
【０１１９】
Ｑ２＝（Ｃ１１＋Ｃ２１＋Ｃｆ１）＊（Ｓ１−Ｎ１）−Ｃ１１＊（Ｓ２−Ｎ２）
…（式１０）
以降の手順は、第１の実施形態に示した式３以降の手順と同様である。
【０１２０】
＜通常画像取得時の固体撮像素子の駆動パターン＞
通常画像取得時は、第２の画素内メモリＭｅｍ２１を使用せずに、第１の画素内メモリＭｅｍ１１のみを使用して信号を読み出すようにすればよい。
【０１２１】
具体的には、第１の転送スイッチＭＴｘ１１、第３の転送スイッチＭＴｘ１２、第１のリセットスイッチＭＲｅｓ１、第１の選択スイッチＭＳｅｌ１を、図７（Ｂ）、（Ｃ）に示したタイミングチャートに従って制御し、リセット期間Ｒｅｓ、蓄積期間Ａｃｃ、読み出し期間ＲＯの動作を行うようにする。
【０１２２】
第２の転送スイッチＭＴｘ２１は、オフ状態のまま固定しておくことで、第２の画素内メモリＭｅｍ２１に対してＰＤからの電荷を転送しないようにする。また、第１の選択スイッチＭＳｅｌ２はオフ状態に固定しておくことで、第２の増幅ＭＯＳ  ＭＳＦ２から出力される信号を列回路へ読み出さないようにしておけばよい。第４の転送スイッチＭＴｘ２２、第１のリセットスイッチＭＲｅｓ２に関しては、通常画像取得時は常時オン状態で固定しておき、ＦＤ２、及び第２の画素内メモリＭｅｍ２１のレベルをリセット状態に保つようにしておけばよい。
【０１２３】
以上、本発明の第２の実施形態について説明した。以上に述べた様に、本実施形態によれば、反射光によって発生する電荷を転送する際、ＰＤと、第２の画素内メモリＭｅｍ２１との間に設けた第２の転送スイッチＭＴｘ２１の制御のみによって、第１の画素内メモリＭｅｍ１１に電荷が転送される期間と、第２の画素内メモリＭｅｍ２１に電荷が転送される期間とを異ならせることが出来る。したがって、転送パルスや転送スイッチのバラつきによる影響をうけずに、精度の高い距離情報を取得することが可能な固体撮像素子を提供することができる。
【０１２４】
本実施形態においては、第１の実施形態における構成と比較して、単位画素あたりのＰＤ面積が小さくなり、固体撮像素子の感度が低下する。一方で、第１の実施形態と比較して、信号読み出しにかかる時間を短縮することができ、高フレームレートでの読出しを行うことが可能である。
【０１２５】
（第２の実施形態の変形例）
本発明の第２の実施形態においては、単位画素内に光電変換素子ＰＤに対して並列に設けられた第１の画素内メモリＭｅｍ１１と第２の画素内メモリＭｅｍ２１とを用いて、ＰＤで生成した電荷の蓄積を行った。
【０１２６】
これに対し、信号の蓄積を第１の画素内メモリＭｅｍ１１の代わりにＦＤ部１で、また第２の画素内メモリＭｅｍ２１の代わりにＦＤ部２で行うことも可能である。図８に、本変形例における単位画素２００の等価回路図を示した。第２の実施形態との違いは、単位画素を構成する素子のうち、画素内メモリＭ１１、Ｍ２１、第３の転送スイッチＭＴｘ１２、第４の転送スイッチＭＴｘ２２、垂直走査回路から転送パルスＰＴｘ１２＿ｉ、ＰＴｘ２２＿ｉを伝達するための信号配線を削除した点である。
【０１２７】
この様にすれば、単位画素あたりのＰＤ面積を第２の実施形態における単位画素と比較して拡大することができ、固体撮像素子の感度を高めることが可能となる。ただし、一般に、ＦＤ部には暗電流等ノイズが混入しやすく、ＦＤ部における信号の保持時間が長いほど、ノイズの影響が多くなるため、ＦＤ部は長期間の電荷保持に向かないことが知られている。
【０１２８】
第２の実施形態では、図３（Ａ）に示す「グローバル電子シャッタ駆動」を行う様にしていた。しかし、「グローバル電子シャッタ駆動」では、信号蓄積を全画素同時に行った後、読出し期間ＲＯにおいて行ごとに順番に信号の読み出しを行うため、読出し順序が後になる行ほど単位画素内部に電荷信号を保持しておく期間が長くなる。そのため、本変形例の様にＦＤ部において電荷の蓄積を行う構成の固体撮像素子で「グローバル電子シャッタ駆動」を行うと、暗電流等のノイズの大きい行が発生し、精度の高い距離情報を取得することが困難となってしまう。
【０１２９】
したがって、本変形例の様な構成の固体撮像素子においては、図３（Ｂ）に示すように蓄積期間Ａｃｃと読み出し期間を一行ごとに繰り返す、「ローリングシャッタ駆動」を行うこととする。
【０１３０】
距離画像取得の際の駆動パターンは、図７（Ｂ）、（Ｃ）に示した、第２の実施形態における距離画像取得時の駆動パターンを、図３（Ｂ）に示す「ローリングシャッタ駆動」に適用すればよい。すなわち、図３（Ｂ）のＲｅｓ＿ｉ＋Ａｃｃ＿ｉ期間に、ｉ行目の画素における図７（Ｂ）に示したリセット期間Ｒｅｓ及び蓄積期間Ａｃｃの駆動を行い、図３（Ｂ）のＲＯ＿ｉ期間に、図７（Ｃ）に示したＲＯ＿ｉ期間の動作を行う様にすればよい。
【０１３１】
また、通常画像撮影時についても、図３（Ｂ）に示す「ローリングシャッタ駆動」において、第２の実施形態同様、第２の画素内メモリＭｅｍ２１を使用せずに、第１の画素内メモリＭｅｍ１１のみを使用して信号を読み出すようにすればよい。ただし、前述したとおり、第１の画素内メモリＭ１１、第２の画素内メモリＭ２１、第３の転送スイッチＭＴｘ１２、第４の転送スイッチＭＴｘ２２は削減されているので、転送パルスＰＴｘ１２＿ｉ、ＰＴｘ２２＿ｉの動作については無視してよい。
【０１３２】
以上に示すように、本変形例によれば、ＰＤとＦＤ２との間に設けた第２の転送スイッチＭＴｘ２１の制御のみによって、ＦＤ１に電荷が転送される期間と、ＦＤ２に電荷が転送される期間とを異ならせることが出来る。したがって、転送パルスや転送スイッチのバラつきによる影響をうけずに精度の高い距離情報を取得することが可能な固体撮像素子を提供することができる。
【０１３３】
本変形例においては、「グローバルシャッタ駆動」を行うことができず、各画素における信号の蓄積時刻の同時性が保たれない。一方で、第２の実施形態における構成と比較して、単位画素あたりのＰＤ面積を拡大することができ、固体撮像素子の感度を高めることが可能である。
【０１３４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【０１３５】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１３６】
１：光学系、３：固体撮像素子、５：駆動回路、１３：システム制御部、１６：発光装置、１６０１：光源制御部、１６０２：光源部
【図１】
2015198361.tif 000003
【図２】
2015198361.tif 000004
【図３】
2015198361.tif 000005
【図４】
2015198361.tif 000006
【図５】
2015198361.tif 000007
【図６】
2015198361.tif 000008
【図７】
2015198361.tif 000009
【図８】
2015198361.tif 000010