(57)【要約】【課題】  正確な距離画像の計測が可能な固体撮像素子及び距離画像測定装置を提供する。【解決手段】  固体撮像素子１は、パルス光が入射する固体撮像素子であって、画素Ｐ（ｍ，ｎ）へのパルス光の入射光量に応じた電圧（節点Ａの電圧）を出力するアンプＢＡと、アンプＢＡの後段に接続された第１キャパシタＣＳ１と、アンプＢＡの後段に接続された第２キャパシタＣＬ１と、第１キャパシタＣＳ１にショートゲート期間の間、アンプＢＡの出力を入力するための第１スイッチＳＳ１と、第２キャパシタＣＬ１にロングゲート期間、アンプＢＡの出力を入力するための第２スイッチＳＬ１とを備えている。【選択図】  図１
2009047475.tif 000002
【特許請求の範囲】
【請求項１】
パルス光が入射する固体撮像素子であって、
画素への前記パルス光の入射光量に応じた電圧を出力するアンプと、
前記アンプの後段に接続された第１キャパシタと、
前記アンプの後段に接続された第２キャパシタと、
前記第１キャパシタに第１期間の間、前記アンプの出力を入力するための第１スイッチと、
前記第２キャパシタに前記第１期間を含み、前記第１期間よりも長い第２期間の間、前記アンプの出力を入力するための第２スイッチと、
を備えることを特徴とする固体撮像素子。
【請求項２】
前記画素は、
一端が前記アンプに接続されたフォトダイオードと、
前記フォトダイオードの前記一端にゲートが接続されたトランジスタと、
を有し、
前記トランジスタの出力は輝度画像読出回路に接続されていることを特徴とする請求項１に記載の固体撮像素子。
【請求項３】
請求項１又は２に記載の固体撮像素子と、
前記パルス光を出射する光源と、
前記第１キャパシタ及び第２キャパシタの出力から前記パルス光が照射される物体までの距離を演算する演算回路と、
を備えたことを特徴とする距離画像測定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子及び距離画像測定装置に関する。
【背景技術】
【０００２】
下記特許文献１は、ＴＯＦ（Time  Of   Flight)型の距離画像測定装置を開示している。この距離画像測定装置は、所定のパルス幅を有するプローブ光を被写体に向けて繰り返し出射し、プローブ光の出射時刻から戻り時刻までの期間、すなわち、プローブ光の飛行時間を計測することで、被写体までの三次元距離画像を測定している。この装置では、プローブ光の出射時のパルスと戻り時のパルスの間の位相差を飛行時間として計測している。
【０００３】
飛行時間の１つの計測手法では、２つのフォトダイオードを用いている。一方のフォトダイオードは、出射時のプローブ光のパルス幅と同じ期間だけ動作しており（ショートシャッターモード）、他方のフォトダイオードは出射時のプローブ光のパルス幅よりも十分に長く、且つ、パルスの繰り返し周期よりも短い期間だけ動作している（ロングシャッターモード）。ショートシャッターモードとロングシャッターモードにおけるフォトダイオードの計測値の差分又は比率は飛行時間に関連する。したがって、飛行時間、すなわち被写体までの距離（＝光速×飛行時間×（１／２））は、これら２つのフォトダイオードの出力に基づいて求めることが可能である。
【０００４】
また、飛行時間のもう１つの計測手法では、２つのフォトダイオードに代えて、時分割で動作する１つのフォトダイオードを用いたものである。１つのフォトダイオードをショートシャッターモードで動作させた後、同様に、ロングシャッターモードで動作させると、それぞれのモードに対応した２つの計測値を時系列として得ることができる。
【０００５】
下記特許文献２は、距離画像と実画像（ＲＧＢ画像）を同時に１つの固体撮像素子から出力する距離画像測定装置を開示している。この固体撮像素子は、ＲＧＢ画像取得用画素と、距離画像取得用画素を別々に備えている。
【特許文献１】米国特許６３７３５５７号明細書
【特許文献２】米国特許出願公開第２００５／０２８５９６６号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の発明の概念によれば、空間的に離間した２点における反射光の計測、又は、時間的に離間した２時刻における反射光の計測が必須とされている。すなわち、固体撮像素子を構成する別々の画素からそれぞれ距離測定用データを測定し、このデータから距離を求める場合には空間的な同一性が無いため計測の正確性に劣り、更に、１つの計測に複数の画素を必要とするため、撮像領域の開口率も低下する。また、１つの画素から時系列として距離測定用データを計測する場合には、計測の同時性が乏しいため、動体までの距離を正確に計測することができない。
【０００７】
本発明は、このような課題に鑑みてなされたものであり、正確な距離画像の計測が可能な固体撮像素子及び距離画像測定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明に係る固体撮像素子は、パルス光が入射する固体撮像素子であって、画素へのパルス光の入射光量に応じた電圧を出力するアンプと、アンプの後段に接続された第１キャパシタと、アンプの後段に接続された第２キャパシタと、第１キャパシタに第１期間の間、アンプの出力を入力するための第１スイッチと、第２キャパシタに第１期間を含み、第１期間よりも長い第２期間の間、アンプの出力を入力するための第２スイッチとを備えることを特徴とする。
【０００９】
パルス光が入射すると、画素において発生した電荷に応じてアンプから電圧が出力される。このアンプの出力は、第１キャパシタに第１期間、第２キャパシタに第２期間、入力される。この構造の場合、１つの画素からの出力を利用するので、距離計測における空間的な同一性を確保することができる。また、第２期間は第１期間を含んで設定されているので、計測時の同時性も確保することができる。第１キャパシタからは、ショートシャッターモード（第１期間）の信号が出力され、第２キャパシタからはロングシャッターモード（第２期間）の信号が出力される。ショートシャッターモードとロングシャッターモードにおける第１及び第２キャパシタの出力信号の差分（又は比率）は被写体までの距離に依存するので、これらの出力信号を元データとし、この元データに基づいて被写体までの距離を測定することができる。
【００１０】
なお、上記画素は、一端がアンプに接続されたフォトダイオードと、フォトダイオードの前記一端にゲートが接続されたトランジスタとを有し、トランジスタの出力は輝度画像読出回路に接続されていることが好ましい。フォトダイオードの一端の出力は、上記アンプに入力されるが、この一端は、増幅用のトランジスタのゲートにも入力されている。すなわち、この画素は、増幅用のトランジスタを含むＡＰＳ（Active Pixel Sensor)としても機能しており、増幅用トランジスタの出力は輝度画像読出回路に入力されるので、高品質な輝度画像を輝度画像読出回路から出力することができる。
【００１１】
すなわち、単一の画素の出力から正確な距離画像と高品質な輝度画像の双方を読み出すことができ、人物、車両、飛行機、搬送品、軍用ミサイル等の被写体を測定することができ、画像認識技術を含めた多彩な応用が可能である。
【００１２】
本発明に係る距離画像測定装置は、上述の固体撮像素子と、パルス光を出射する光源と、第１キャパシタ及び第２キャパシタの出力からパルス光が照射される物体までの距離を演算する演算回路とを備えている。光源から出射されたパルス光は、被写体としての物体で反射され、固体撮像素子の画素にパルス光として入射する。パルス光の往復に要する飛行時間は、ショートシャッターモードとロングシャッターモードにおける第１及び第２キャパシタの出力信号の差分（又は比率）に依存するので、演算回路は画素出力に基づいて距離演算を行うことができる。
【発明の効果】
【００１３】
本発明の固体撮像素子によれば、正確な距離画像の計測に用いるデータを出力することが可能であり、距離画像測定装置によれば正確な距離画像測定を行うことができる。
【発明を実施するための最良の形態】
【００１４】
以下、実施の形態に係る固体撮像素子を備えた距離画像測定装置について説明する。同一要素には、同一符号を用いることとし、重複する説明は省略する。
【００１５】
図１は、距離画像測定装置の概要を説明するための図である。
【００１６】
この距離画像測定装置は、車両ＶＧに搭載されており、車両前方に位置する物体Ｈを計測している。
【００１７】
距離画像測定装置は、固体撮像素子１、固体撮像素子１の駆動を制御する制御回路２、パルス光を出射する光源３、光源３の駆動回路４、及び固体撮像素子１の出力から物体Ｈまでの距離を演算する演算回路を内蔵した出力処理回路５を備えている。制御回路２は、固体撮像素子１にショートパルスＳＳ、ロングパルスＳＬを入力しており、また、駆動回路４には投光用の駆動パルスＳＰを入力している。駆動パルスＳＰは出力処理回路５にも入力されており、固体撮像素子１から距離を演算する際に用いられる。
【００１８】
制御回路２から出力された駆動パルスＳＰに同期して、駆動回路４から光源３に駆動電流が供給される。光源３からは、駆動パルスＳＰと同一パルス幅のプローブ光が出射される。プローブ光は、投光用のレンズＬ１を介して物体Ｈに照射される。物体Ｈの表面において反射されたプローブ光は、結像用のレンズＬ２，Ｌ３を介して固体撮像素子１の撮像領域に入射する。したがって、固体撮像素子１の撮像領域には物体Ｈの像が結像することになる。
【００１９】
固体撮像素子１からは、物体Ｈの距離画像（の元データ）と輝度画像（実画像）が出力されており、これらのデータは出力処理回路５によって処理され、カーナビゲーションシステムの表示器６に表示される。表示器６には、距離画像及び輝度画像を独立に表示することができるが、これらの画像を重畳して表示することも可能である。なお、距離画像の示す物体Ｈが所定距離以内に存在する場合には、物体Ｈが存在する旨の警告表示を輝度画像に重畳して表示することもできる。
【００２０】
図２は、固体撮像素子１の斜視図である。
【００２１】
固体撮像素子１は、二次元状に配列した複数の画素Ｐ（１，１），Ｐ（１，２），・・・Ｐ（ｍ，ｎ），・・・Ｐ（Ｍ，Ｎ）からなる撮像領域１ＩＰを備えている。ｍ，ｎ，Ｍ，Ｎは自然数である。なお、説明の明確化のため、同図では実際よりも少ない数の画素を示している。撮像領域１ＩＰの画素列に平行に垂直シフトレジスタ１Ｖが配置されており、画素行に平行に第１水平シフトレジスタ１Ｈ１、第２水平シフトレジスタ１Ｈ２が配置されている。
【００２２】
垂直シフトレジスタ１Ｖは、列方向に配列した画素Ｐ（ｍ，ｎ）の出力を、列方向に沿って順次読み出すための垂直転送信号を各画素Ｐ（ｍ，ｎ）に順次印加する。各画素列において、一垂直方向に転送された画素出力は、距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮに入力され、逆の垂直方向に転送された画素出力は輝度画像読出回路Ｋ１，Ｋ２・・・Ｋｎ・・・ＫＮに入力される。距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮに入力された画素出力は、距離画像（の元データ）として、行方向に沿って順次読み出される。
【００２３】
すなわち、距離画像測定モードにおいては、１行目の画素Ｐ（１，１）、Ｐ（１，２）・・・Ｐ（１，ｎ）・・・Ｐ（１，Ｎ）の出力が、それぞれ、距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮに入力された場合、距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮは、入力された各画素出力毎に距離画像の元データを作成し、作成された元データは水平方向に沿った順番で、出力バッファアンプ１Ｄを介して外部に順次読みされる。この水平方向の読み出しは、水平シフトレジスタ１Ｈ１から各距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮの出力スイッチをＯＮする信号を、水平方向に沿って当該出力スイッチに順次入力することで行う。
【００２４】
次に、２行目の画素Ｐ（２，１）、Ｐ（２，２）・・・Ｐ（２，ｎ）・・・Ｐ（２，Ｎ）の出力が、それぞれ、距離情報読出回路Ｊ１、Ｊ２・・・Ｊｎ・・・ＪＮに入力され、以後、上記と同じ操作が行われる。以後、３行目、４行目・・・Ｍ行目まで、上記と同じ操作が行われると、撮像領域１ＩＰ内の全ての画素が距離情報として読み出されることになる。
【００２５】
輝度画像測定モードにおいては、１行目の画素Ｐ（１，１）、Ｐ（１，２）・・・Ｐ（１，ｎ）・・・Ｐ（１，Ｎ）の出力が、それぞれ、輝度画像読出回路Ｋ１、Ｋ２・・・Ｋｎ・・・ＫＮに入力された場合、輝度画像読出回路Ｋ１、Ｋ２・・・Ｋｎ・・・ＫＮは、入力された各画素出力毎に輝度画像データを作成し、作成されたデータは水平方向に沿った順番で、出力バッファアンプ１Ｉを介して外部に順次読み出される。この水平方向の読み出しは、水平シフトレジスタ１Ｈ２から各輝度画像読出回路Ｋ１、Ｋ２・・・Ｋｎ・・・ＫＮの出力スイッチをＯＮする信号を、水平方向に沿って当該出力スイッチに順次入力することで行う。次に、２行目の画素Ｐ（２，１）、Ｐ（２，２）・・・Ｐ（２，ｎ）・・・Ｐ（２，Ｎ）の出力が、それぞれ、輝度画像読出回路Ｋ１、Ｋ２・・・Ｋｎ・・・ＫＮに入力され、以後、上記と同じ操作が行われる。以後、３行目、４行目・・・Ｍ行目まで、上記と同じ操作が行われると、撮像領域１ＩＰ内の全ての画素が輝度画像として読み出されることになる。
【００２６】
プローブ光の非照射時においては、撮像領域１ＩＰには、太陽や街灯などの外光が物体Ｈの表面で反射されて形成される輝度画像が投影されている。プロープ光の照射時においては、撮像領域１ＩＰには、かかる輝度画像に重畳して、プローブ光の反射光から構成される、物体Ｈまでの距離取得用の画像が投影されている。通常の輝度画像については、各画素に入射した光量の大きさによって、その像を構成するため、格段の説明を必要としない。距離取得用の画像は、距離画像を演算するための元データの集合である。
【００２７】
図３は、撮像領域１ＩＰに投影された距離取得用の画像から生成される距離画像を示す図である。Ｍ軸、Ｎ軸及びＤ軸からなる直交座標系を設定する。同図では、撮像領域１ＩＰ内の各画素出力が示す距離を結んだ線が網目状に示されている。この距離画像は出力処理回路５において演算される。撮像領域１ＩＰ内においては、各画素がＭ行、Ｎ列だけ配列しており、撮像領域１ＩＰに垂直な距離はＤ軸上に示される。物体Ｈの距離画像は、Ｄ軸上の距離（ｄとする）の情報の集合である。
【００２８】
図４は、物体Ｈまでの距離ｄの測定原理について説明するための図である。
【００２９】
駆動回路４は、電源４ａと光源３との間に介在するスイッチ４ｂを有しており、スイッチ４ｂに投光用の駆動パルスＳＰを入力すると、駆動パルスＳＰに同期した駆動電流が光源３に供給され、駆動パルスＳＰに同期したプローブ光ＬＰ（パルス光）が光源３から出射される。本例の光源３は、パルス光の立ち上がり及び立下りの急峻性に優れた発光ダイオード又はレーザダイオードからなることとするが、もちろん、他の種類の光源を用いることも可能である。なお、好適には、光源３は、赤外線発光ダイオードからなる。
【００３０】
プローブ光ＬＰが、距離ｄの位置にある物体Ｈの表面に照射されると、プローブ光はこの表面で反射され、反射したプローブ光はパルス光として固体撮像素子１に入射する。固体撮像素子１に入射するパルス光をＬＤとし、パルス光が入射することによって画素から出力される検出パルスをＳＤとする。固体撮像素子１には、上述の距離情報読出回路Ｊと、輝度画像読出回路Ｋが設けられており、距離情報読出回路Ｊには上述のショートパルスＳＳとロングパルスＳＬが入力される。
【００３１】
輝度画像読出回路Ｋからは、各画素Ｐ（ｍ，ｎ）から出力された輝度画像ｑ（ｍ，ｎ）が入力されており、輝度画像ｑ（ｍ，ｎ）は画像処理回路５ｂに入力される。パルス光ＬＤの入射に応じて、距離情報読出回路Ｊからは、距離画像の元データとしての距離情報ｄ’（ｍ，ｎ）が各画素Ｐ（ｍ，ｎ）に対応して読み出される。距離情報ｄ’（ｍ，ｎ）は、演算回路５ａに入力され、駆動パルスＳＰを用いて距離画像ｄ（ｍ，ｎ）に変換される。距離情報ｄ’（ｍ，ｎ）は、物体Ｈまでのプローブ光の飛行時間に依存した値である。距離画像ｄ（ｍ，ｎ）は、輝度画像ｑ（ｍ，ｎ）と共に画像処理回路５ｂに入力される。画像処理回路５ｂでは、上述の重畳処理などを行うことができる。
【００３２】
図５は、駆動パルスＳＰ、検出パルスＳＤ、ショートパルスＳＳ、ロングパルスＳＬのタイミングチャートである。駆動パルスＳＰのパルス幅をＴＰとする。
【００３３】
駆動パルスＳＰの立ち上がり時刻ｔ１に同期して、ショートパルスＳＳ及びロングパルスＳＬが立ち上がる。駆動パルスＳＰの立ち下がり時刻ｔ３に同期して、ショートパルスＳＳは立ち下がる。検出パルスＳＤは反射光ＬＤによるパルスであるため、駆動パルスＳＰの立ち上がり時刻ｔ１よりも遅れた時刻ｔ２において立ち上がる。ショートパルスＳＳは、検出パルスＳＤの立下り時刻ｔ４よりも前の時刻ｔ３において立ち下がるが、ロングパルスＳＬは、検出パルスＳＤの立下り時刻ｔ４よりも後の時刻ｔ５において立ち下がる。
【００３４】
検出パルスＳＤにショートパルスＳＳでゲートをかけた場合（重複成分のみを取り出した場合）、これらのパルスの重複成分（計測値Ｖ１）が得られ、検出パルスＳＤにロングパルスＳＬでゲートをかけた場合（重複成分のみを取り出した場合）、これらのパルスの重複成分（計測値Ｖ２）が得られる。各画素Ｐ（ｍ，ｎ）に対応して距離情報読出回路Ｊから出力されるＶ１，Ｖ２は、距離情報ｄ’（ｍ，ｎ）として取り扱うことができる。
【００３５】
図６は、距離ｄの演算について説明するためのブロック図である。
【００３６】
距離情報読出回路Ｊには、各画素から出力される検出パルスＳＤが入力され、検出パルスＳＤとショートパルスＳＳの積を、これらのパルスの重複期間ｔ２〜ｔ３の間、時間積分した値をＶ１として演算する。また、検出パルスＳＤとロングパルスＳＬの積を、これらのパルスの重複期間ｔ２〜ｔ４の間、時間積分した値をＶ２として演算する。
【００３７】
計測値Ｖ１，Ｖ２は、駆動パルスＳＰのパルス幅ＴＰと共に、後段の演算回路５ａに入力され、距離ｄを求める演算が行われる。なお、ｄ＝（ｃ／２）×（ＴＰ×（Ｖ２−Ｖ１）／Ｖ２））＝（ｃ／２）×ＴＰ×（１−（Ｖ１／Ｖ２））である。なお、ｃは光速である。したがって、演算回路５ａからは、各画素Ｐ（ｍ，ｎ）毎の距離ｄ（ｍ，ｎ）が出力される。なお、画素列又は画素行毎にビニング動作を行っても良い。この場合には、ビニングによって積算される画素列又は画素行に入射した検出パルスが示す平均距離が得られることになる。
【００３８】
図７は、固体撮像素子１内の回路図である。
【００３９】
列方向に配列した各画素Ｐ（ｍ、ｎ）は、それぞれスイッチＱｘｒ、垂直転送ラインＶＬｎ（Ｄ）を介して１つのバッファアンプＢＡに接続されている。なお、ｎは１〜Ｎの値をとり、ｍは１〜Ｍの値をとる。垂直シフトレジスタ１Ｖは、垂直方向に配列した画素列に設けられたスイッチＱｘｒを順番にＯＮしていく。バッファアンプＢＡの後段には、距離情報読出回路Ｊｎが設けられている。距離情報読出回路Ｊｎは、ショートパルスＳＳが入力されるショートゲート回路ＪＳｎと、ロングパルスＳＬが入力されるロングゲート回路ＪＬｎとを備えている。
【００４０】
距離情報読出回路Ｊｎのショートゲート回路ＪＳｎ側の出力は、出力スイッチＳＳ３を介して水平ラインＨＳに接続され、ロングゲート回路ＪＬｎ側の出力は、出力スイッチＳＬ３を介して水平ラインＨＬに接続されている。出力スイッチＳＳ３及び出力スイッチＳＬ３は、水平シフトレジスタ１Ｈ１によって各列毎に、行方向に沿って、順次、同時にＯＮされていき、各水平ラインＨＳ，ＨＬの出力は、出力バッファアンプ１Ｄに入力される。出力バッファアンプ１Ｄからは、各画素Ｐ（ｍ，ｎ）毎の計測値Ｖ１（ｍ，ｎ）、Ｖ２（ｍ，ｎ）が順次出力される。
【００４１】
一方、列方向に配列した各画素Ｐ（ｍ、ｎ）は、それぞれ別の垂直転送ラインＶＬｎ（Ｉ）を介して、各列毎の輝度画像読出回路Ｋｎに接続されている。垂直シフトレジスタ１Ｖは、垂直方向に配列した画素列に設けられた後述のスイッチを順番にＯＮしていく。各画素列の画素毎の信号は、順次、輝度画像読出回路Ｋｎに入力される。輝度画像読出回路Ｋｎでは、画素毎の信号成分とノイズ成分を蓄積しており、読出回路側の信号成分用の出力スイッチＳＷＳ２及びノイズ成分用の出力スイッチＳＷＮ２は、水平シフトレジスタ１Ｈ２によって各列毎に、行方向に沿って、順次、同時にＯＮされていき、各水平ラインＨＤ，ＨＮの出力は、出力バッファアンプ１Ｉに入力される。なお、水平ラインＨＤは信号成分用の出力スイッチＳＷＳ２に接続され、水平ラインＨＮはノイズ成分用の出力スイッチＳＷＮ２に接続されている。出力バッファアンプ１Ｉからは、各画素Ｐ（ｍ，ｎ）毎の輝度値ｑ（ｍ，ｎ）が輝度画像信号として順次出力される。
【００４２】
まず、距離計測側の構成について説明する。
【００４３】
図８は、１つの画素Ｐ（ｍ，ｎ）と距離情報読出回路Ｊｎとの詳細関係を示す回路図である。なお、各スイッチは電界効果トランジスタからなる。
【００４４】
画素Ｐ（ｍ，ｎ）は、カソード（一端）が、（バッファ）アンプＢＡに接続されたフォトダイオードＤ１を備えている。すなわち、フォトダイオードＤ１のカソードは、スイッチＱＸ、スイッチＱＸＲ及び垂直転送ラインＶＬｎ（Ｄ）を順次介して、バッファアンプＢＡの非反転入力端子に接続されている。なお、フォトダイオードＤ１のアノードは基準電位に接続されている。本例では、基準電位はグランドに設定されている。
【００４５】
また、スイッチＱＸと電源電位Ｖｃｃとの間には、リセットスイッチＱＲｅｓが介在している。スイッチＱＸとリセットスイッチＱＲｅｓをＯＮし、フォトダイオードＤ１に逆バイアス電圧をかけた後、リセットスイッチＱＲｅｓをＯＦＦし、電源電位ＶｃｃからフォトダイオードＤ１を切り離した状態を初期状態とする。初期状態から、スイッチＱＸＲをＯＮし、計測可能状態に移行する。なお、スイッチＱＸＲは、理解を容易にするために図７に示したスイッチＱｘｒと同一である。計測可能状態において、フォトダイオードＤ１に光が入射すると、入射光量に応じて、フォトダイオードＤ１のカソード電位が低下する。すなわち、バッファアンプＢＡへの入力電圧が低下するので、バッファアンプＢＡの出力端子（節点Ａ）の電圧が低下する。
【００４６】
バッファアンプＢＡの後段には、ショートゲート回路ＪＳｎ、及びロングゲート回路ＪＬｎが並列に接続されている。
【００４７】
ショートゲート回路ＪＳｎは、オペアンプＡＳの反転入力端子とバッファアンプＢＡの出力端子との間に介在するキャパシタＣＳ１と、オペアンプＡＳの反転入力端子と出力端子間に並列に接続されたキャパシタＣＳ２及びスイッチＳＳ２を備えている。なお、キャパシタＣＳ１とバッファアンプＢＡの出力端子との間にはショートパルスＳＳによって制御されるスイッチＳＳ１が介在している。オペアンプＡＳの非反転入力端子は参照電位に接続されている。
【００４８】
ロングゲート回路ＪＬｎは、オペアンプＡＬの反転入力端子とバッファアンプＢＡの出力端子との間に介在するキャパシタＣＬ１と、オペアンプＡＬの反転入力端子と出力端子間に並列に接続されたキャパシタＣＬ２及びスイッチＳＬ２を備えている。なお、キャパシタＣＬ１とバッファアンプＢＡの出力端子との間にはロングパルスＳＬによって制御されるスイッチＳＬ１が介在している。オペアンプＡＬの非反転入力端子は参照電位に接続されている。
【００４９】
計測可能状態において、画素Ｐ（ｍ，ｎ）にパルス光ＬＤ（検出パルスＳＤ）が入射した場合、バッファアンプＢＡの出力は徐々に低下するが、検出パルスＳＤとショートパルスＳＳの重複する期間だけ、キャパシタＣＳ１に電荷が蓄積される。スイッチＳＳ２を開放した状態の場合、キャパシタＣＳ１に蓄積された電荷がキャパシタＣＳ２に移動し、ショートゲート回路ＪＳｎの出力端子（節点Ｂ）の電圧として、Ｖ１が出力される。すなわち、光の入射に伴って、バッファアンプＢＡの出力電位は低下し、ショートゲート回路ＪＳｎの出力端子（節点Ｂ）の電位は上昇する。出力端子（節点Ｂ）の電位の上昇分が、上述の計測値Ｖ１に相当する。なお、計測の前後において、スイッチＳＳ２をＯＮすると、キャパシタＣＳ２に蓄積された電荷は放電される。
【００５０】
また、計測値Ｖ１を出力させるにあたり、ノイズ成分を除去することも可能である。すなわち、パルス光を撮像領域に入射させない状態で、スイッチＳＳ２をＯＮし、上記と同一の動作を実行すると、キャパシタＣＳ１に背景光（外光）・ノイズ成分に対応する電荷「ｑ１」が蓄積される。その後、パルス光を撮像領域に入射させ、スイッチＳＳ２をＯＦＦして、上記動作を実行すると、ショートゲートをかけたパルス光に対応する電荷「Ｑ１」と背景光・ノイズ成分に対応する電荷「ｑ１」の加算値「ｑ１＋Ｑ１」が、キャパシタＣＳ１，ＣＳ２に振り分けて蓄積される。もともとキャパシタＣＳ１には電荷「ｑ１」が蓄積されているので、オペアンプＡＳに並列接続されたキャパシタＣＳ２には、結果的にはパルス光に対応する電荷「Ｑ１」が蓄積される。
【００５１】
計測可能状態において、画素Ｐ（ｍ，ｎ）にパルス光ＬＤ（検出パルスＳＤ）が入射した場合、バッファアンプＢＡの出力は徐々に低下するが、検出パルスＳＤとロングパルスＳＬの重複する期間だけ、キャパシタＣＬ１に電荷が蓄積される。なお、本例では、ロングパルスＳＬは、検出パルスＳＤの全ての期間において検出パルスＳＤと重複する。スイッチＳＬ２を開放した状態の場合、キャパシタＣＬ１に蓄積された電荷がキャパシタＣＬ２に移動し、ロングゲート回路ＪＬｎの出力端子（節点Ｃ）の電圧として、Ｖ２が出力される。すなわち、光の入射に伴って、バッファアンプＢＡの出力電位は低下し、ロングゲート回路ＪＬｎの出力端子（節点Ｃ）の電位は上昇する。出力端子（節点Ｃ）の電位の上昇分が、上述の計測値Ｖ２に相当する。なお、計測の前後において、スイッチＳＬ２をＯＮすると、キャパシタＣＬ２に蓄積された電荷は放電される。
【００５２】
また、計測値Ｖ２を出力させるにあたり、ノイズ成分を除去することも可能である。すなわち、パルス光を撮像領域に入射させない状態で、スイッチＳＬ２をＯＮし、上記と同一の動作を実行すると、キャパシタＣＬ１に背景光（外光）・ノイズ成分に対応する電荷「ｑ２」が蓄積される。その後、パルス光を撮像領域に入射させ、スイッチＳＬ２をＯＦＦして、上記動作を実行すると、ロングゲートをかけたパルス光に対応する電荷「Ｑ２」と背景光・ノイズ成分に対応する電荷「ｑ２」の加算値「ｑ２＋Ｑ２」が、キャパシタＣＬ１，ＣＬ２に振り分けて蓄積される。もともとキャパシタＣＬ１には電荷「ｑ２」が蓄積されているので、オペアンプＡＬに並列接続されたキャパシタＣＳ２には、結果的にはパルス光に対応する電荷「Ｑ２」が蓄積される。
【００５３】
出力端子（節点Ｂ）及び出力端子（節点Ｃ）において、計測値Ｖ１，Ｖ２が現れた後、スイッチＳＳ３、ＳＬ３をＯＮすると、各計測値Ｖ１，Ｖ２が各水平ラインＨＳ，ＨＬを介して読み出される。
【００５４】
なお、トランジスタからなるスイッチＱＲｅｓ、ＱＸ、ＱＸＲのゲートには、上述のように、それぞれの導通を制御する制御信号Ｒｅｓ、ＴＸ、ＴＸＲが入力される。
【００５５】
次に、輝度画像取得側の構成について説明する。
【００５６】
図９は、１つの画素Ｐ（ｍ，ｎ）と輝度画像読出回路Ｋｎとの詳細関係を示す回路図である。なお、各スイッチは電界効果トランジスタからなる。
【００５７】
画素Ｐ（ｍ，ｎ）は、フォトダイオードＤ１のカソードに、スイッチＱＸ、ＱＴＧを介して、ゲートが接続されたトランジスタＱＡＤを有しており、トランジスタＱＡＤの出力は、選択用のスイッチＱＳＥＬ、垂直転送ラインＶＬｎ（Ｉ）を介して、画像読出回路Ｋｎに接続されている。選択用のスイッチＱＳＥＬは、垂直シフトレジスタ１Ｖからの選択信号ＳＥＬによって、列方向に沿って順次ＯＮされる。
【００５８】
上述のように、スイッチＱＸとリセットスイッチＱＲｅｓをＯＮし、フォトダイオードＤ１を初期状態とした後、転送ゲートとなるスイッチＱＴＧをＯＮすると、フォトダイオードＤ１のカソード電位がトランジスタＱＡＤのゲートに入力される。トランジスタＱＡＤをＰ型の電界効果トランジスタで構成しておく場合、カソード電位が低下すると、電源電位ＶｃｃからトランジスタＱＡＤに流れ込もうとする電流量が増加する。トランジスタＱＡＤのゲートに、検出信号を入力した後、選択スイッチＱＳＥＬをＯＮすると、電源電位Ｖｃｃから、読出回路ＫｎのキャパシタＣＳ又はＣＮに電流が流れ込む。信号成分蓄積用のキャパシタＣＳとノイズ成分蓄積用のキャパシタＣＮは、それぞれ垂直転送ラインＶＬｎ（Ｉ）と基準電位（グランド）との間に接続されており、キャパシタＣＳと垂直転送ラインＶＬｎ（Ｉ）との間にはスイッチＳＷＳ１が介在し、キャパシタＣＮと垂直転送ラインＶＬｎ（Ｉ）との間にはスイッチＳＷＮ１が介在している。
【００５９】
信号光を検出した場合のカソード電位を、トランジスタＱＡＤのゲートに入力し、制御信号ＳＳＩＧによってスイッチＳＷＳ１をＯＮし、この時のトランジスタＱＡＤの出力電圧を信号成分蓄積用のキャパシタＣＳの一端に入力する。また、スイッチＱＸをＯＦＦした状態で、リセット時の電位、すなわち、リセットスイッチＱＲｅｓ、ＱＴＧをＯＮし、この時のトランジスタＱＡＤの出力電圧を、制御信号ＳＮＯＩＳＥをＯＮすることによってノイズ成分蓄積用のキャパシタＣＮの一端に入力する。信号成分とノイズ成分がキャパシタＣＳ，ＣＮに蓄積された後、水平シフトレジスタ１Ｈ２を制御して、出力スイッチＳＷＳ２，ＳＷＮ２をＯＮし、水平ラインＨＤ、ＨＮにそれぞれのキャパシタＣＳ，ＣＮの電圧を入力する。元の信号光にはノイズ成分が含まれているので、後段回路において、水平ラインＨＤと水平ラインＨＮの電圧の差分を演算すれば、ノイズが除去された信号光（輝度画像信号）ｑ（ｍ，ｎ）を得ることができる。
【００６０】
なお、トランジスタからなるスイッチＱＳＥＬ、ＱＴＧのゲートには、上述のように、それぞれの導通を制御する制御信号ＳＥＬ、ＴＧが入力される。
【００６１】
上述のように、実施の形態に係る固体撮像素子１は、パルス光ＬＤが入射する固体撮像素子であって、画素Ｐ（ｍ，ｎ）へのパルス光の入射光量に応じた電圧（節点Ａの電圧）を出力するアンプＢＡと、アンプＢＡの後段に接続された第１キャパシタＣＳ１と、アンプＢＡの後段に接続された第２キャパシタＣＬ１と、第１キャパシタＣＳ１に第１期間（ショートゲート期間：ｔ１−ｔ３：図５参照）の間、アンプＢＡの出力を入力するための第１スイッチＳＳ１と、第２キャパシタＣＬ１に第１期間を含み、第１期間よりも長い第２期間の間（ロングゲート期間：ｔ１−ｔ５：図５参照）、アンプＢＡの出力を入力するための第２スイッチＳＬ１と、を備えている。
【００６２】
パルス光ＬＤが入射すると、画素Ｐ（ｍ，ｎ）において発生した電荷に応じてアンプＢＡから電圧が出力される。このアンプＢＡの出力は、第１キャパシタＣＳ１に第１期間、第２キャパシタＣＬ１に第２期間、入力される。この構造の場合、１つの画素Ｐ（ｍ，ｎ）からの出力を利用するので、距離計測における空間的な同一性を確保することができる。また、第２期間は第１期間を含んで設定されているので、計測時の同時性も確保することができる。第１キャパシタＣＳ１からは、ショートシャッターモード（第１期間）の信号が出力され、第２キャパシタＣＬ１からはロングシャッターモード（第２期間）の信号が出力される。ショートシャッターモードとロングシャッターモードにおける第１及び第２キャパシタの出力信号Ｖ１、Ｖ２の差分（＝Ｖ２−Ｖ１）又は比率（＝Ｖ１／Ｖ２）は被写体までの距離（ｄ）に依存するので、これらの出力信号を元データとし、この元データに基づいて被写体までの距離（ｄ）を測定することができる。
【００６３】
また、図１に示した光源３から出射されたパルス光ＬＰは、被写体としての物体Hで反射され、固体撮像素子１の画素P（ｍ，ｎ）にパルス光ＬＤとして入射する。パルス光の往復に要する飛行時間は、ショートシャッターモードとロングシャッターモードにおける第１及び第２キャパシタＣＳ１，ＣＬ１の出力信号の差分又は比率に依存するので、演算回路５aは画素出力に基づいて距離演算を行うことができる。
【００６４】
また、フォトダイオードＤ１のカソードの出力は、アンプＢＡに入力されるが、カソードは、増幅用のトランジスタＱＡＤのゲートにも入力されている。すなわち、この画素Ｐ（ｍ，ｎ）は、増幅用のトランジスタを含むＡＰＳとしても機能しており、増幅用トランジスタの出力は輝度画像読出回路Ｋｎに入力されるので、高品質な輝度画像を画像読出回路から出力することができる。
【００６５】
すなわち、単一の画素Ｐ（ｍ，ｎ）の出力から正確な距離画像と高品質な輝度画像の双方を読み出すことができ、人物、車両、飛行機、搬送品、軍用ミサイル等の被写体を測定することができ、画像認識技術を含めた多彩な応用が可能である。
【００６６】
図１０は、距離情報読出回路Ｊｎの変形例を示す回路図である。
【００６７】
この距離情報読出回路Ｊｎの図８に示したものとの相違点は、スイッチＳＳ１がキャパシタＣＳ１とアンプＡＳの反転入力端子との間に位置している点と、スイッチＳＬ１がキャパシタＣＬ１とオペアンプＡＬの反転入力端子との間に位置している点である。その他の構成は図８に示したものと同一である。
【００６８】
初期状態から計測可能状態に移行した後、画素Ｐ（ｍ，ｎ）からバッファアンプＢＡに検出パルスＳＤが入力されると、キャパシタＣＳ１，ＣＬ１のバッファアンプＢＡ側の電位が低下し始める。パルス光の出射時に立ち上がりタイミングを同期させて、スイッチＳＳ１にショートパルスＳＳを入力し、スイッチＳＬ１にロングパルスＳＬを入力すると、これらのスイッチＳＳ１，ＳＬ１がＯＮ状態にある期間のみ、キャパシタＣＳ１、ＣＬ１に蓄積された電荷が、それぞれキャパシタＣＳ２，ＣＬ２に移動し、計測値Ｖ１，Ｖ２を発生する。この電荷の移動時には、スイッチＳＳ２，ＳＬ２は開放しておくが、計測前後にスイッチＳＳ２、ＳＬ２を閉じると、キャパシタＣＳ２，ＣＬ２の放電が行われる。
【００６９】
この構造の固体撮像素子１においても、アンプＢＡの後段に接続された第１キャパシタＣＳ２と、アンプＢＡの後段に接続された第２キャパシタＣＬ２と、第１キャパシタＣＳ２に第１期間（ショートゲート期間：ｔ１〜ｔ３：図５参照）の間、アンプＢＡの出力を入力するための第１スイッチＳＳ１と、第２キャパシタＣＬ２に第１期間を含み、第１期間よりも長い第２期間の間（ロングゲート期間：ｔ１〜ｔ５：図５参照）、アンプＢＡの出力を入力するための第２スイッチＳＬ１と、を備えており、上記実施形態と同様に機能する。
【００７０】
図１１は、距離情報読出回路Ｊｎの別の変形例を示す回路図である。
【００７１】
この距離情報読出回路Ｊｎの図８に示したものとの相違点は、キャパシタＣＳ１の代わりに抵抗ＲＳを、アンプＡＳの反転入力端子とバッファアンプＢＡの出力端子との間に介在させた点と、キャパシタＣＬ１の代わりに抵抗ＲＬを、オペアンプＡＬの反転入力端子とバッファアンプＢＡの出力端子との間に介在させた点である。その他の構成は図８に示したものと同一である。
【００７２】
初期状態から計測可能状態に移行した後、画素Ｐ（ｍ，ｎ）からバッファアンプＢＡに検出パルスＳＤが入力されると、バッファアンプＢＡの出力電位が低下し始める。パルス光の立ち上がりに同期して立ち上がるように、スイッチＳＳ１にショートパルスＳＳを入力し、スイッチＳＬ１にロングパルスＳＬを入力すると、これらのスイッチＳＳ１，ＳＬ１がＯＮ状態にある期間のみ、キャパシタＣＳ２、ＣＬ２に電荷が蓄積され、計測値Ｖ１，Ｖ２が発生する。なお、この蓄積時にはスイッチＳＳ２，ＳＬ２は開放しており、蓄積の前後の期間ではＯＮしている。
【００７３】
図１２は、距離情報読出回路Ｊｎの更に別の変形例を示す回路図である。
【００７４】
この距離情報読出回路Ｊｎの図８に示したものとの相違点は、キャパシタＣＳ１及びキャパシタＣＬ１を削除した点である。その他の構成は図８に示したものと同一である。
【００７５】
初期状態から計測可能状態に移行した後、画素Ｐ（ｍ，ｎ）からバッファアンプＢＡに検出パルスＳＤが入力されると、バッファアンプＢＡの出力電位が低下し始める。パルス光の立ち上がりに同期して立ち上がるように、スイッチＳＳ１にショートパルスＳＳを制御入力し、スイッチＳＬ１にロングパルスＳＬを制御入力すると、これらのスイッチＳＳ１，ＳＬ１がＯＮ状態にある期間のみ、キャパシタＣＳ２、ＣＬ２に電荷が蓄積され、計測値Ｖ１，Ｖ２が発生する。なお、この電荷の蓄積時にはスイッチＳＳ２，ＳＬ２は開放しており、蓄積の前後の期間ではＯＮしている。
【００７６】
図１３は、画像の読み出し順序の一例について説明するための図である。
【００７７】
図２に示した固体撮像素子１の撮像領域１ＩＰからは、距離画像のデータと輝度画像のデータが交互に出力される。
【００７８】
図１３（ａ）に示すように、距離画像のデータは距離画像読出期間Ｔ１において出力され、輝度画像のデータは輝度画像読出期間Ｔ２において出力される。画像の１フレームは、距離画像読出期間Ｔ１と輝度画像読出期間Ｔ２からなることとする。
【００７９】
図１３（ｂ）に示すように、１つの距離画像読出期間Ｔ１は、ｉ行目の画素群の距離画像データの読出期間Ｐｉからｉ＋ｋ行目の画素群の距離画像のデータの読出期間Ｐｉ＋ｋまでの積算期間からなる（ｉ＋ｋ＝Ｍ）。
【００８０】
図１３（ｃ）に示すように、ｉ行目の画素群の距離画像データの読出期間Ｐｉは、ｉ行目の画素データの読出期間（各画素から各距離情報読出回路Ｊまでの信号読出期間）と、各距離情報読出回路Ｊに蓄積された距離画像データを、水平ラインを介して1列目からＮ列目まで順次読み出す期間からなる。
【００８１】
図１３（ｄ）に示すように、１つの輝度画像読出期間Ｔ２は、ｉ行目の画素群の輝度画像データの読出期間Ｑｉからｉ＋ｋ行目の画素群の輝度画像のデータの読出期間Ｑｉ＋ｋまでの積算期間からなる（ｉ＋ｋ＝Ｍ）。
【００８２】
図１３（ｅ）に示すように、ｉ行目の画素群の輝度画像データの読出期間Ｑｉは、ｉ行目の画素データの読出期間（各画素から各輝度画像読出回路Ｋまでの信号読出期間）と、各輝度画像読出回路Ｋに蓄積された輝度画像データを、水平ラインを介して1列目からＮ列目まで順次読み出す期間からなる。
【００８３】
図１４は、距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを読み出す場合の読出期間Ｐｉ内のタイミングチャートである。なお、ｉ＋ｋ行目の画素群まで、同図のタイミングは繰り返される。以下の説明では、図８を再び参照する。
【００８４】
短絡信号電圧φは、キャパシタＣＳ２，ＣＬ２の短絡指令を出す信号であり、ハイレベルの「１」の場合には、スイッチＳＳ２，ＳＬ２がＯＮし、ローレベルの「０」の場合には、スイッチＳＳ２，ＳＬ２はＯＦＦする。時刻ｔ１〜時刻ｔ３までの間、短絡信号電圧φは「１」となり、スイッチＳＳ２，ＳＬ２がＯＮして、キャパシタＣＳ２，ＣＬ２に蓄積されている電荷が放電する。
【００８５】
リセット信号Ｒｅｓは、リセットスイッチＱＲｅｓの短絡指令を出す信号であり、ハイレベルの「１」の場合には、リセットスイッチＱＲｅｓがＯＮし、ローレベルの「０」の場合には、リセットスイッチＱＲｅｓはＯＦＦする。放電時のスイッチＳＳ２，ＳＬ２の立ち上がりに同期して、時刻ｔ１〜ｔ２の間、リセット信号Ｒｅｓは「１」となり、スイッチＱＲｅｓがＯＮし、電源電位ＶｃｃがスイッチＱＸにかかる。
【００８６】
このとき、共通画素データ通過信号ＴＸも時刻ｔ１〜ｔ９において「１」となるため、スイッチＱＸがＯＮし、フォトダイオードＤ１のカソードには、電源電位Ｖｃｃが印加され、フォトダイオードＤ１がチャージアップされる。時刻ｔ２においてリセット信号Ｒｅｓは「０」となり、フォトダイオードＤ１が電源から切り離される。
【００８７】
その後、距離情報読み出し回路Ｊｎへの入力スイッチＳＳ１，ＳＬ１はＯＦＦしたままで、距離画像用画素データ通過信号ＴＸＲを時刻ｔ３から「１」にしてスイッチＱＸＲをＯＮする一方で、短絡信号電圧φは「０」にして、スイッチＳＳ２，ＳＬ２はＯＦＦにする。この状態で、時刻ｔ４から時刻ｔ６の間においてＯＮとなる駆動パルスＳＰを光源３（図１参照）に印加する。光源３からはプローブ光ＬＰが物体に向けて出射され、物体からの反射光像が撮像領域内の画素群に入射し、各画素のフォトダイオードＤ１からは、駆動パルスＳＰに応答して発生した検出パルスＳＤが出力される。検出パルスＳＤは駆動パルスＳＰよりも遅延しており、時刻ｔ５〜ｔ７の期間において「１」となる。
【００８８】
ショートパルスＳＳ及びロングパルスＳＬは、それぞれ駆動パルスＳＰの立ち上がりに同期して時刻ｔ４において立ち上がる。ショートパルスＳＳはスイッチＳＳ１に印加され、時刻ｔ４からｔ６の期間において「１」となり、バッファアンプＢＡの出力端子とキャパシタＣＳ１とを接続する。ロングパルスＳＬのパルス幅はショートパルスＳＳのパルス幅よりも大きく、スイッチＳＬ１に印加され、時刻ｔ４からｔ８の期間において「１」となり、バッファアンプＢＡの出力端子とキャパシタＣＬ１とを接続する。
【００８９】
距離情報読出回路Ｊｎへの入力電位（節点Ａの電位）Ａは、フォトダイオードＤ１に光が照射されると低下する。すなわち、フォトダイオードＤ１のカソード電位は、光の入射に応答して低下し、バッファアンプＢＡの出力端子の電位（節点Ａの電位）も低下する。初期状態におけるバッファアンプＢＡの出力端子の電位をＶ０とすると、一度のパルス光の照射によって、この電位は時刻ｔ５〜ｔ７においてＶ０’まで低下する。
【００９０】
ここで、ショートパルスＳＳは、時刻ｔ４〜ｔ６まで「１」になっているため、検出パルスＳＤが「１」である期間（ｔ５〜ｔ７）と、ショートパルスＳＳが「１」である期間（ｔ４〜ｔ６）の重複期間（ｔ５〜ｔ６）において、キャパシタＣＳ１に電荷が蓄積され、スイッチＳＳ２が開放している場合には、パルス光による蓄積電荷がキャパシタＣＳ２に移動し、距離情報読出回路Ｊｎからの出力電位（節点Ｂの電位）Ｂは、参照電位（＝０Ｖとする）からＶ１まで上昇する。
【００９１】
また、ロングパルスＳＬは、時刻ｔ４〜ｔ８まで「１」になっているため、検出パルスＳＤが「１」である期間（ｔ５〜ｔ７）と、ロングパルスＳＬが「１」である期間（ｔ４〜ｔ８）の重複期間（ｔ５〜ｔ７）において、キャパシタＣＬ１に電荷が蓄積され、スイッチＳＬ２が開放している場合には、パルス光による蓄積電荷がキャパシタＣＬ２に移動し、距離情報読出回路Ｊｎからの出力電位（節点Ｃの電位）Ｃは、参照電位（＝０Ｖとする）からＶ２まで上昇する。
【００９２】
双方の計測値Ｖ１，Ｖ２は、スイッチＳＳ３、ＳＬ３をＯＮすることによって、それぞれ水平ラインＨＳ、ＨＬに出力される。
【００９３】
上記の電荷蓄積をキャパシタにおいて繰り返し行うことで、計測値を積分し、Ｓ／Ｎ比を向上させることができる。
【００９４】
図１５は、距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを積分して読み出す場合の読出期間Ｐｉ内のタイミングチャートである。なお、ｉ＋ｋ行目の画素群まで、同図のタイミングは繰り返される。以下の説明では、図８を再び参照する。
【００９５】
時刻ｔ１〜ｔ８までの動作は図１４の場合と同一である。
【００９６】
本例では積分動作を３回行うので、スイッチＱＸＲは時刻ｔ３〜時刻ｔ９までＯＮしておき、スイッチＱＸは時刻ｔ１〜時刻ｔ９までＯＮしておく。また、短絡信号電圧φは積分が終了する時刻ｔ３〜時刻ｔ９まではＯＦＦ「０」にしておき、リセット信号Ｒｅｓは時刻ｔ３以降はＯＦＦ「０」にしておく。
【００９７】
その他の時刻ｔ４’〜ｔ８’までの動作、及び時刻ｔ４”〜ｔ８”までの動作は、時刻ｔ４〜ｔ８までの動作と同一である。キャパシタＣＳ１、ＣＬ１には、パルス光の入射毎に電荷が積算して蓄積され、スイッチＳＳ２，ＳＬ２が開放している場合には、パルス光による蓄積電荷がキャパシタＣＳ２，ＣＬ２に移動し、信号が3回の積分動作の対象期間内に変わらないとすれば、計測値Ｖ１，Ｖ２が積分回数に比例して大きくなる（本例では３回）。双方の計測値３×Ｖ１，３×Ｖ２は、スイッチＳＳ３、ＳＬ３をＯＮすることによって、それぞれ水平ラインＨＳ、ＨＬに出力される。
【００９８】
なお、図８において説明したように、外光蓄積と距離情報蓄積を時系列として行って、外光除去を行ってもよい。
【００９９】
図１６は、外光除去を行う場合のタイミングチャートであり、このタイミングチャートでは距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを読み出す場合の読出期間Ｐｉ内のタイミングを示している。なお、ｉ＋ｋ行目の画素群まで、同図のタイミングは繰り返される。以下の説明では、図８を再び参照する。
【０１００】
なお、リセット信号Ｒｅｓは、距離画像読出期間Ｔ１より前の輝度画像読出期間Ｔ２において既に一度ＯＮされているものとする。
【０１０１】
時刻ｔ３以降の動作（距離情報蓄積）は、図１４に示したものと同一である。また、短絡信号電圧φがＯＮ「１」である時刻ｔ１〜時刻ｔ３までの期間において、共通画素データ通過信号ＴＸ、及び距離画像用画素データ通過信号ＴＸＲは共にＯＮ「１」であり、このとき、時刻ｔ１からｔＡまでの間に、駆動パルスＳＰがＯＮすることなく、ショートパルスＳＳがＯＮ「１」となり、時刻ｔ１からｔ３までの間に、駆動パルスＳＰがＯＮすることなく、ロングパルスＳＬがＯＮ「１」となり、キャパシタＣＳ１，ＣＬ１に外光に対応する電荷が行われる（外光蓄積）。
【０１０２】
時刻ｔ３以降の動作では、外光にパルス光を加算した光が各画素に入射するため、キャパシタＣＳ２，ＣＬ２にパルス光に対応する電荷が蓄積され、外光（ノイズ成分）が除去された計測値Ｖ１，Ｖ２が、スイッチＳＳ３，ＳＬ３をＯＮした場合には、水平ラインＨＳ，ＨＬに出力される。なお、上述の動作は図１１などの構成の距離情報読出回路Ｊｎにも適用できる。
【０１０３】
次に、輝度画像読出期間Ｔ２について説明する。
【０１０４】
図１７は、輝度画像読出期間Ｔ２におけるｉ行目の画素群から輝度画像データを読み出す場合の読出期間Ｑｉ内のタイミングチャートである。なお、ｉ＋ｋ行目の画素群まで、同図のタイミングは繰り返される。以下の説明では、図９を再び参照する。
【０１０５】
距離情報読出回路Ｊｎは基本的には動作していないので、短絡信号電圧φ、距離画像用画素データ通過信号ＴＸＲはＯＦＦ「０」のままであり、パルス光の発光、ショートパルス、ロングパルスの印加は行わない。
【０１０６】
まず、同図の時刻ｔ１〜ｔ２において、リセット信号ＲｅｓをＯＮ「１」する。
【０１０７】
次に、時刻ｔ３〜ｔ６の期間において共通画素データ通過信号ＴＸをＯＮ「１」し、また、この期間内の時刻ｔ４〜ｔ５において転送信号ＴＧをＯＮ「１」して転送スイッチＱＴＧをＯＮし、フォトダイオードＤ１のカソード電位をトランジスタＱＡＤのゲートに転送する（同時シャッター）。フォトダイオードＤ１は前回の周期において、初期状態とされた後、輝度画像の入射によって、カソード電位が低下しているものとすると、同時シャッターによって、入射光量に応じた電位（信号成分）がトランジスタＱＡＤのゲートに与えられることになる。
【０１０８】
次に、転送信号ＴＧをＯＦＦしてフォトダイオードＤ１のカソードをトランジスタＱＡＤから切り離した後、時刻ｔ７〜ｔ８において、リセット信号Ｒｅｓと共通画素データ通過信号ＴＸを共にＯＮ「１」し、フォトダイオードＤ１をチャージアップし、初期状態とする。しかる後、時刻ｔ９〜ｔ１０まで選択信号ＳＥＬをＯＮ「１」することで、スイッチＱＳＥＬをＯＮし、入射光量に応じた電流をトランジスタＱＡＤから出力させる。この電流は、スイッチＳＷＳ１をＯＮすることによって、キャパシタＣＳに流れ、電流量に対応した電荷として蓄積される。この時、スイッチＳＷＮ１はＯＦＦしておく。
【０１０９】
更に、時刻ｔ１０〜ｔ１４まで選択信号ＳＥＬをＯＮ「１」した状態で、時刻ｔ１０〜ｔ１３においてリセット信号ＲｅｓをＯＮ「１」し、また、時刻ｔ１１〜ｔ１２において転送信号ＴＧを同時にＯＮし、リセット電位をトランジスタＱＡＤのゲートに与え、これに対応する電流（ノイズ成分）をトランジスタＱＡＤから出力させる。この電流は、スイッチＳＷＮ１をＯＮすることによって、キャパシタＣＮに流れ、電流量に対応した電荷として蓄積される。この時、スイッチＳＷＳ１はＯＦＦしておく。
【０１１０】
したがって、信号成分とノイズ成分がそれぞれキャパシタＣＳ，ＣＮに蓄積されているので、後段の出力スイッチＳＷＳ２，ＳＷＮ２をＯＮすることによって、それぞれの蓄積電荷が水平ラインＨＤ，ＨＮに流れ、輝度画像信号として読み出される。
【０１１１】
なお、距離画像測定において、水平方向のビニング読み出し動作を行う場合には、図７に示した距離情報読出回路Ｊｎの出力側のスイッチＳＳ３，ＳＬ３を各行毎に同時にＯＮするように、水平シフトレジスタ１Ｈ１を駆動すればよい。
【０１１２】
なお、距離画像測定において、垂直方向のビニング動作を行う場合には、図７の行方向に隣接するスイッチＱＸＲへの制御信号は独立に入力する構成とし、図７の列方向に並んだスイッチＱＸＲを同時にＯＮし、このＯＮ動作を、各列毎に順次行うように垂直シフトレジスタ１Ｖを駆動すればよい。また、全画素を同時にリセットするグローバルシャッターモードを実行することも可能である。
【図面の簡単な説明】
【０１１３】
【図１】距離画像測定装置の概要を説明するための図である。
【図２】固体撮像素子１の斜視図である。
【図３】撮像領域１ＩＰに投影された距離取得用の画像から生成される距離画像を示す図である。
【図４】物体Ｈまでの距離ｄの測定原理について説明するための図である。
【図５】駆動パルスＳＰ、検出パルスＳＤ、ショートパルスＳＳ、ロングパルスＳＬのタイミングチャートである。
【図６】距離ｄの演算について説明するためのブロック図である。
【図７】固体撮像素子１内の回路図である。
【図８】１つの画素Ｐ（ｍ，ｎ）と距離情報読出回路Ｊｎとの詳細関係を示す回路図である。
【図９】１つの画素Ｐ（ｍ，ｎ）と輝度画像読出回路Ｋｎとの詳細関係を示す回路図である。
【図１０】距離情報読出回路Ｊｎの変形例を示す回路図である。
【図１１】距離情報読出回路Ｊｎの別の変形例を示す回路図である。
【図１２】距離情報読出回路Ｊｎの更に別の変形例を示す回路図である。
【図１３】画像の読み出し順序の一例について説明するための図である。
【図１４】距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを読み出す場合の読出期間Ｐｉ内のタイミングチャートである。
【図１５】距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを積分して読み出す場合の読出期間Ｐｉ内のタイミングチャートである。
【図１６】外光除去を行う場合の距離画像読出期間Ｔ１におけるｉ行目の画素群から距離画像データを読み出す場合の読出期間Ｐｉ内のタイミングチャートである。
【図１７】輝度画像読出期間Ｔ２におけるｉ行目の画素群から輝度画像データを読み出す場合の読出期間Ｑｉ内のタイミングチャートである。
【符号の説明】
【０１１４】
１・・・固体撮像素子、２・・・制御回路、３・・・光源、４・・・駆動回路、４ａ・・・電源、４ｂ・・・スイッチ、５・・・出力処理回路、５ａ・・・演算回路、５ｂ・・・画像処理回路、６・・・表示器、Ａ・・・節点、Ｂ・・・節点、Ｃ・・・節点、ＡＰ，ＡＳ，ＡＬ・・・オペアンプ、Ｃ１・・・キャパシタ、Ｃ２・・・キャパシタ、Ｃ３・・・キャパシタ、Ｃ４・・・キャパシタ、ＣＳ１，ＣＬ１・・・キャパシタ、ＣＳ２，ＣＬ２・・・キャパシタ、ＣＳ，ＣＮ・・・キャパシタ、Ｊ・・・距離情報読出回路、ＪＬｎ・・・ロングゲート回路、ＪＳｎ・・・ショートゲート回路、Ｋ・・・輝度画像読出回路、Ｌ１，Ｌ２，Ｌ３・・・レンズ、P（ｍ，ｎ）・・・画素、ＱＡＤ・・・トランジスタ、ＱＲｅｓ・・・リセットスイッチ、ＱＳＥＬ・・・選択スイッチ、ＱＴＧ・・・転送スイッチ、ＱＸ・・・スイッチ、Ｑｘｒ・・・スイッチ、ＱＸＲ・・・スイッチ、Ｄ１・・・フォトダイオード、ｄ・・・距離、Ｈ・・・物体、ＨＤ，ＨＮ・・・水平ライン、ＨＳ，ＨＬ・・・水平ライン、１ＩＰ・・・撮像領域、Ｐｉ・・・読出期間、Ｑｉ・・・読出期間、ＲＬ・・・抵抗、ＲＳ・・・抵抗、ＳＰ・・・駆動パルス、ＳＤ・・・検出パルス、ＳＬ・・・ロングパルス、ＳＳ・・・ショートパルス、Ｖ１，Ｖ２・・・計測値、１Ｄ・・・出力バッファアンプ、１Ｉ・・・出力バッファアンプ、１Ｖ・・・垂直シフトレジスタ、１Ｈ１・・・水平シフトレジスタ、１Ｈ２・・・水平シフトレジスタ、ＳＳ１，ＳＬ１・・・スイッチ、ＳＳ２，ＳＬ２・・・スイッチ、ＳＳ３，ＳＬ３・・・スイッチ、Ｒｅｓ・・・リセット信号、ＳＥＬ・・・選択信号、ＳＳＩＧ，ＳＮＯＩＳＥ・・・制御信号、Ｔ１・・・距離画像読出期間、Ｔ２・・・輝度画像読出期間、ＴＸ・・・共通画素データ通過信号、ＴＸＲ・・・距離画像用画素データ通過信号、ＶＧ・・・車両、ＶＬｎ（Ｄ）・・・垂直転送ライン、ＶＬｎ（Ｉ）・・・垂直転送ライン。
【図１】
2009047475.tif 000003
【図２】
2009047475.tif 000004
【図３】
2009047475.tif 000005
【図４】
2009047475.tif 000006
【図５】
2009047475.tif 000007
【図６】
2009047475.tif 000008
【図７】
2009047475.tif 000009
【図８】
2009047475.tif 000010
【図９】
2009047475.tif 000011
【図１０】
2009047475.tif 000012
【図１１】
2009047475.tif 000013
【図１２】
2009047475.tif 000014
【図１３】
2009047475.tif 000015
【図１４】
2009047475.tif 000016
【図１５】
2009047475.tif 000017
【図１６】
2009047475.tif 000018
【図１７】
2009047475.tif 000019