(57)【要約】【課題】多画素化、高解像度化が可能で高精度な３Ｄ撮像ユニット、この３Ｄ撮像ユニットを利用したカメラ、及び３Ｄ画像生成方法を提供する。【解決手段】第１フレームにおいて、第１取得達成期間のタイミングで画素を駆動して第１のアナログ信号を生成し、第２フレームにおいて第２取得達成期間のタイミングで画素を駆動して第２のアナログ信号を生成する駆動部と、第１及び第２のアナログ信号を読み出し、第１及び第２のデジタルデータに変換するカラム処理回路（２３，２４）と、第１及び第２のデジタルデータを弁別して出力する分配器１１３と、第１及び第２のデジタルデータを格納する第１メモリ１１１及び第２メモリ１１２と、第１及び第２メモリから読み出された第１及び第２のデジタルデータを入力し、対象物までの距離を算出する距離演算部１２を備える。【選択図】図２
2020182147.tif 000002
【特許請求の範囲】
【請求項１】
対象物からのパルス状の反射光を受光して光電変換する複数の画素を、マトリクス状に配列した画素アレイ部と、
第１フレームにおいて、前記反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで前記画素を駆動して第１のアナログ信号を生成し、前記第１フレームとは異なる時間領域の第２フレームにおいて、前記投影光のパルスに対し規定される、前記第１取得達成期間とは異なる長さの第２取得達成期間のタイミングで前記画素を駆動して第２のアナログ信号を生成する駆動部と、
前記第１及び第２フレームのそれぞれにおいて、前記マトリクスの特定の行に配置された複数の前記画素からの前記第１及び第２のアナログ信号をそれぞれ独立に読み出し、第１及び第２のデジタルデータに変換するカラム処理回路と、
前記第１及び第２のデジタルデータを互いに弁別して出力する分配器と、
前記弁別された前記第１及び第２のデジタルデータを独立して格納する第１及び第２メモリと、
前記第１及び第２メモリから読み出された前記第１及び第２のデジタルデータを入力し、前記対象物までの距離を算出する距離演算部
を備えることを特徴とする３Ｄ撮像ユニット。
【請求項２】
前記画素のそれぞれが、
前記反射光を光電変換する光電変換部と、
前記光電変換部の周辺に配置され、前記光電変換部で生成された信号電荷を、電荷移動経路に沿って転送する電荷振分機構と、
前記電荷振分機構と離間して前記光電変換部の周辺に配置され、前記信号電荷以外の電荷を前記受光領域から排出する電荷排出機構と、
前記光電変換部の周辺に前記電荷振分機構に接して配置され、前記電荷振分機構によって転送された前記信号電荷を蓄積する電荷蓄積領域
を有することを特徴とする請求項１に記載の３Ｄ撮像ユニット。
【請求項３】
前記駆動部は、前記第１フレームにおいて、前記第１取得達成期間のタイミングで前記電荷振分機構を駆動し、前記電荷振分機構の駆動終了後、前記電荷排出機構を駆動し、前記第２フレームにおいて、前記第２取得達成期間のタイミングで前記電荷振分機構を駆動し、前記電荷振分機構の駆動終了後前記電荷排出機構を駆動することを特徴とする請求項２に記載の３Ｄ撮像ユニット。
【請求項４】
前記分配器と前記距離演算部の間に、前記第１及び第２メモリと並列に第３メモリを更に有し、
前記駆動部は、前記第１及び第２フレームとは異なる時間領域の第３フレームにおいて、前記投影光のパルスを出射しない状態で、前記第１取得達成期間のタイミングで前記電荷振分機構を駆動して第３のアナログ信号を生成し、前記電荷振分機構の駆動終了後、前記電荷排出機構を駆動し
前記カラム処理回路が、前記第３フレームにおいて、前記マトリクスの特定の行に配置された複数の前記画素からの前記第３のアナログ信号をそれぞれ独立に読み出し、第３のデジタルデータに変換し、
前記分配器が、前記第１〜第３のデジタルデータを互いに弁別して出力し、
前記第３メモリが、前記弁別された前記第３のデジタルデータを格納し、
前記距離演算部が、前記第３メモリから読み出された第３のデジタルデータを前記対象物までの距離の算出の補正データとして用いることを特徴とする請求項３に記載の３Ｄ撮像ユニット。
【請求項５】
Ｐを４以上の正の整数として、前記分配器と前記距離演算部の間に、Ｐ個のメモリを並列に有し、
前記駆動部は、（Ｐ−１）個のフレームにおいて、それぞれ異なる取得達成期間のタイミングで前記電荷振分機構を駆動して（Ｐ−１）個のアナログ信号を生成し、１個のフレームで、前記投影光のパルスを出射しない状態で、前記（Ｐ−１）個のフレームの内のいずれかのフレームの取得達成期間と同じタイミングで前記電荷振分機構を駆動して１個のアナログ信号を生成し、前記電荷振分機構の駆動終了後、前記電荷排出機構を駆動し
前記カラム処理回路が、Ｐ個のアナログ信号をそれぞれ独立に読み出し、Ｐ個のデジタルデータに変換し、
前記分配器が、Ｐ個のデジタルデータを互いに弁別して出力し、
前記Ｐ個のメモリが、前記弁別された前記Ｐ個のデジタルデータを格納し、
前記距離演算部が、前記Ｐ個のメモリから読み出されたＰ個のデジタルデータを前記対象物までの距離の算出の補正データとして用いることを特徴とする請求項４に記載の３Ｄ撮像ユニット。
【請求項６】
対象物からのパルス状の反射光を受光して光電変換し、互いに異なる電荷移動経路に沿って前記光電変換された信号電荷を転送する第１及び第２電荷振分機構を光電変換部の周辺にそれぞれ有した、複数の画素をマトリクス状に配列した画素アレイ部と、
第１フレームにおいて、前記反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで前記第１電荷振分機構を駆動して第１のアナログ信号を生成し、前記投影光のパルスに対し規定される、前記第１取得達成期間とは異なる長さの第２取得達成期間のタイミングで前記第２電荷振分機構を駆動して第２のアナログ信号を生成し、前記第１フレームとは異なる時間領域の第２フレームにおいて、前記投影光のパルスを出射しない状態で、前記第１取得達成期間のタイミングで前記第１電荷振分機構を駆動して第３のアナログ信号を生成し、前記第２取得達成期間のタイミングで前記第２電荷振分機構を駆動して第４のアナログ信号を生成する駆動部と、
前記マトリクスの特定の行に配置された複数の前記画素からの前記第１〜第４のアナログ信号をそれぞれ独立に読み出し、第１〜第４のデジタルデータに変換するカラム処理回路と、
前記第１〜第４のデジタルデータを互いに弁別して出力する分配器と、
前記弁別された前記第１〜第４のデジタルデータをそれぞれ独立して格納する第１〜第４メモリと、
前記第１〜第４メモリから読み出されたデータを入力し、前記対象物までの距離を算出する距離演算部
を備えることを特徴とする３Ｄ撮像ユニット。
【請求項７】
前記画素のそれぞれが、
前記第１及び第２電荷振分機構と離間して前記光電変換部の周辺に配置され、前記信号電荷以外の電荷を前記受光領域から排出する電荷排出機構と、
前記第１光電変換部の周辺に前記第１電荷振分機構に接して配置され、前記第１電荷振分機構によって転送された前記信号電荷を蓄積する第１電荷蓄積領域と、
前記第２光電変換部の周辺に前記第２電荷振分機構に接して配置され、前記第２電荷振分機構によって転送された前記信号電荷を蓄積する第２電荷蓄積領域
を更に有することを特徴とする請求項６に記載の３Ｄ撮像ユニット。
【請求項８】
前記駆動部は、前記第１フレームにおいて、前記第１及び第２電荷振分機構の駆動が共に終了後、前記電荷排出機構を駆動し、前記第２フレームにおいて、前記第１及び第２電荷振分機構の駆動が共に終了後、前記電荷排出機構を駆動することを特徴とする請求項７に記載の３Ｄ撮像ユニット。
【請求項９】
対象物に光パルスを出射する発光部と、
前記対象物からのパルス状の反射光の光路を調整する撮像光学系と、
前記撮像光学系によって調整された前記反射光を受光して光電変換する複数の画素を、マトリクス状に配列した画素アレイ部と、
第１フレームにおいて、前記反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで前記画素を駆動して第１のアナログ信号を生成し、前記第１フレームとは異なる時間領域の第２フレームにおいて、前記投影光のパルスに対し規定される、前記第１取得達成期間とは異なる長さの第２取得達成期間のタイミングで前記画素を駆動して第２のアナログ信号を生成する駆動部と、
前記第１及び第２フレームのそれぞれにおいて、前記マトリクスの特定の行に配置された複数の前記画素からの前記第１及び第２のアナログ信号をそれぞれ独立に読み出し、第１及び第２のデジタルデータに変換するカラム処理回路と、
前記第１及び第２のデジタルデータを互いに弁別して出力する分配器と、
前記弁別された前記第１及び第２のデジタルデータを独立して格納する第１及び第２メモリと、
前記第１及び第２メモリから読み出された前記第１及び第２のデジタルデータを入力し、前記対象物までの距離を算出する距離演算部
を備えることを特徴とするカメラ。
【請求項１０】
対象物に光パルスを出射する発光部と、
前記対象物からのパルス状の反射光の光路を調整する撮像光学系と、
前記撮像光学系によって調整された前記反射光を受光して光電変換し、互いに異なる電荷移動経路に沿って前記光電変換された信号電荷を転送する第１及び第２電荷振分機構を光電変換部の周辺にそれぞれ有した、複数の画素をマトリクス状に配列した画素アレイ部と、
第１フレームにおいて、前記反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで前記第１電荷振分機構を駆動して第１のアナログ信号を生成し、前記投影光のパルスに対し規定される、前記第１取得達成期間とは異なる長さの第２取得達成期間のタイミングで前記第２電荷振分機構を駆動して第２のアナログ信号を生成し、前記第１フレームとは異なる時間領域の第２フレームにおいて、前記投影光のパルスを出射しない状態で、前記第１取得達成期間のタイミングで前記第１電荷振分機構を駆動して第３のアナログ信号を生成し、前記第２取得達成期間のタイミングで前記第２電荷振分機構を駆動して第４のアナログ信号を生成する駆動部と、
前記マトリクスの特定の行に配置された複数の前記画素からの前記第１〜第４のアナログ信号をそれぞれ独立に読み出し、第１〜第４のデジタルデータに変換するカラム処理回路と、
前記第１〜第４のデジタルデータを互いに弁別して出力する分配器と、
前記弁別された前記第１〜第４のデジタルデータをそれぞれ独立して格納する第１〜第４メモリと、
前記第１〜第４メモリから読み出されたデータを入力し、前記対象物までの距離を算出する距離演算部
を備えることを特徴とするカメラ。
【請求項１１】
複数の画素をマトリクス状に配列した画素アレイ部を用い、対象物からのパルス状の反射光を受光して光電変換するステップと、
第１フレームにおいて、前記反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで前記画素を駆動して第１のアナログ信号を生成するステップと、
前記第１フレームとは異なる時間領域の第２フレームにおいて、前記投影光のパルスに対し規定される、前記第１取得達成期間とは異なる長さの第２取得達成期間のタイミングで前記画素を駆動して第２のアナログ信号を生成するステップと、
前記第１及び第２フレームのそれぞれにおいて、前記マトリクスの特定の行に配置された複数の前記画素からの前記第１及び第２のアナログ信号をそれぞれ独立に読み出し、第１及び第２のデジタルデータに変換するステップと、
前記第１及び第２のデジタルデータを互いに弁別して出力するステップと、
前記弁別された前記第１及び第２のデジタルデータを独立して第１及び第２メモリにそれぞれ格納するステップと、
前記第１及び第２メモリから読み出された前記第１及び第２のデジタルデータを入力し、前記対象物までの距離を算出するステップ
を含むことを特徴とする３Ｄ画像生成方法。
【請求項１２】
互いに異なる電荷移動経路に沿って信号電荷を転送する第１及び第２電荷振分機構を、前記信号電荷を生成する光電変換部の周辺にそれぞれ有した複数の画素をマトリクス状に配列した画素アレイ部を用い、対象物からのパルス状の反射光を受光して光電変換するステップと、
第１フレームにおいて、前記反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで前記第１電荷振分機構を駆動して第１のアナログ信号を生成し、前記投影光のパルスに対し規定される、前記第１取得達成期間とは異なる長さの第２取得達成期間のタイミングで前記第２電荷振分機構を駆動して第２のアナログ信号を生成するステップと
前記第１フレームとは異なる時間領域の第２フレームにおいて、前記投影光のパルスを出射しない状態で、前記第１取得達成期間のタイミングで前記第１電荷振分機構を駆動して第３のアナログ信号を生成し、前記第２取得達成期間のタイミングで前記第２電荷振分機構を駆動して第４のアナログ信号を生成するステップと、
前記マトリクスの特定の行に配置された複数の前記画素からの前記第１〜第４のアナログ信号をそれぞれ独立に読み出し、第１〜第４のデジタルデータに変換するステップと、
前記第１〜第４のデジタルデータを互いに弁別して出力するステップと、
前記弁別された前記第１〜第４のデジタルデータをそれぞれ独立して第１〜第４メモリに格納するステップと、
前記第１〜第４メモリから読み出されたデータを入力し、前記対象物までの距離を算出するステップ
を含むことを特徴とする３Ｄ画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離を含めた３次元（３Ｄ）画像を撮像する３Ｄ撮像ユニットに関し、特に画素をマトリクス状に配列したＣＭＯＳイメージセンサ（ＣＩＳ）又はこのＣＩＳを用いた３Ｄ撮像ユニット、この３Ｄ撮像ユニットを利用したカメラ及び３Ｄ画像生成方法に関する。
【背景技術】
【０００２】
近年、距離画像（３Ｄ画像）を撮像する固体撮像装置の開発が活発に行われている。３Ｄ固体撮像装置においても、従来ＣＣＤイメージセンサ（ＣＣＤ）が主流であったが、現在は、ＣＩＳが主流となりつつある。
【０００３】
各種距離画像取得手法の中でも、光飛行時間（ＴＯＦ）型は距離精度が高く、又測定可能距離範囲が広く且つ距離演算が比較的容易な手法である。ＴＯＦ型距離画像素子は、主に連続波変調（ＣＷ）型と光パルス同期型とがある。ＣＷ型及び光パルス型のいずれもフォトダイオード（ＰＤ）からなる光電変換部等の光ディテクタに複数の電荷振分機構が付加された構造をなしており、この複数の電荷振分機構のオン／オフを繰り返すロックイン駆動を行っている。
【０００４】
ＴＯＦ型距離画像素子は、信号光に赤外光を用い、環境光（背景光）を除去するために、バンドパスフィルタ等を用い信号光以外の光を出来るだけカットして使用するのが一般的である。しかし、環境光をすべて除去することは非常に困難である。３タップロックインピクセルと称される３分岐型ロックインピクセルでは、３つの電荷振分機構の内の最初に電荷を振り分ける一つの電荷振分機構を環境光の除去専用に用いており、環境光除去能力が高いので、室外や明るい室内等、環境光の影響が大きい環境での使用に適している。
【０００５】
このように、３分岐型ロックインピクセルにより、環境光耐性が高く、精度の高い距離画像素子が実現できる。しかしながら、従来の３分岐型ロックインピクセルは画素内の素子数が多く画素の内部構造が複雑であるため、多画素化、高解像度化、即ち、画素の微細化が難しいという課題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２００７／０２６７７９号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記問題点を鑑み、本発明は、従来の３分岐型ロックインピクセル、更には４分岐型ロックインピクセル以上の複雑な画素構造と等価な機能を単純な構造で実現し、高解像度化が可能で高精度な３Ｄ撮像ユニット、この３Ｄ撮像ユニットを利用したカメラ、及び３Ｄ画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の態様は、(a)対象物からのパルス状の反射光を受光して光電変換する複数の画素を、マトリクス状に配列した画素アレイ部と、(b)第１フレームにおいて、反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで画素を駆動して第１のアナログ信号を生成し、第１フレームとは異なる時間領域の第２フレームにおいて、第１取得達成期間とは異なる長さで投影光のパルスに対し規定される第２取得達成期間のタイミングで画素を駆動して第２のアナログ信号を生成する駆動部と、(c)第１及び第２フレームのそれぞれにおいて、マトリクスの特定の行に配置された複数の画素からの第１及び第２のアナログ信号をそれぞれ独立に読み出し、第１及び第２のデジタルデータに変換するカラム処理回路と、(d)第１及び第２のデジタルデータを互いに弁別して出力する分配器と、(e)弁別された第１及び第２のデジタルデータを独立して格納する第１及び第２メモリと、(f)第１及び第２メモリから読み出された第１及び第２のデジタルデータを入力し、対象物までの距離を算出する距離演算部を備える３Ｄ撮像ユニットであることを要旨とする。
【０００９】
本発明の第２の態様は、(a)対象物からのパルス状の反射光を受光して光電変換し、互いに異なる電荷移動経路に沿って光電変換された信号電荷を転送する第１及び第２電荷振分機構を光電変換部の周辺にそれぞれ有した、複数の画素をマトリクス状に配列した画素アレイ部と、(b)第１フレームにおいて、反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで第１電荷振分機構を駆動して第１のアナログ信号を生成し、第１取得達成期間とは異なる長さで投影光のパルスに対し規定される第２取得達成期間のタイミングで第２電荷振分機構を駆動して第２のアナログ信号を生成し、第２フレームにおいて、投影光のパルスを出射しない状態で、第１取得達成期間のタイミングで第１電荷振分機構を駆動して第３のアナログ信号を生成し、第２取得達成期間のタイミングで第２電荷振分機構を駆動して第４のアナログ信号を生成する駆動部と、(c)マトリクスの特定の行に配置された複数の画素からの第１〜第４のアナログ信号をそれぞれ独立に読み出し、第１〜第４のデジタルデータに変換するカラム処理回路と、(d)第１〜第４のデジタルデータを互いに弁別して出力する分配器と、(e)弁別された第１〜第４のデジタルデータをそれぞれ独立して格納する第１〜第４メモリと、(f)第１〜第４メモリから読み出されたデータを入力し、対象物までの距離を算出する距離演算部を備える３Ｄ撮像ユニットであることを要旨とする。
【００１０】
本発明の第３の態様は、(a)対象物に光パルスを出射する発光部と、(b)対象物からのパルス状の反射光の光路を調整する撮像光学系と、(c)撮像光学系によって調整された反射光を受光して光電変換する複数の画素を、マトリクス状に配列した画素アレイ部と、(d)第１フレームにおいて、反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで画素を駆動して第１のアナログ信号を生成し、第１フレームとは異なる時間領域の第２フレームにおいて、第１取得達成期間とは異なる長さで投影光のパルスに対し規定される第２取得達成期間のタイミングで画素を駆動して第２のアナログ信号を生成する駆動部と、(f)第１及び第２フレームのそれぞれにおいて、マトリクスの特定の行に配置された複数の画素からの第１及び第２のアナログ信号をそれぞれ独立に読み出し、第１及び第２のデジタルデータに変換するカラム処理回路と、(g)第１及び第２のデジタルデータを互いに弁別して出力する分配器と、(h)弁別された第１及び第２のデジタルデータを独立して格納する第１及び第２メモリと、(i)第１及び第２メモリから読み出された第１及び第２のデジタルデータを入力し、対象物までの距離を算出する距離演算部を備えるカメラであることを要旨とする。
【００１１】
本発明の第４の態様は、(a)対象物に光パルスを出射する発光部と、(b)対象物からのパルス状の反射光の光路を調整する撮像光学系と、(c)撮像光学系によって調整された反射光を受光して光電変換し、互いに異なる電荷移動経路に沿って光電変換された信号電荷を転送する第１及び第２電荷振分機構を光電変換部の周辺にそれぞれ有した、複数の画素をマトリクス状に配列した画素アレイ部と、(d)第１フレームにおいて、反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで第１電荷振分機構を駆動して第１のアナログ信号を生成し、第１取得達成期間とは異なる長さで投影光のパルスに対し規定される第２取得達成期間のタイミングで第２電荷振分機構を駆動して第２のアナログ信号を生成し、第２フレームにおいて、投影光のパルスを出射しない状態で、第１取得達成期間のタイミングで第１電荷振分機構を駆動して第３のアナログ信号を生成し、第２取得達成期間のタイミングで第２電荷振分機構を駆動して第４のアナログ信号を生成する駆動部と、(e)マトリクスの特定の行に配置された複数の画素からの第１〜第４のアナログ信号をそれぞれ独立に読み出し、第１〜第４のデジタルデータに変換するカラム処理回路と、(f)第１〜第４のデジタルデータを互いに弁別して出力する分配器と、(g)弁別された第１〜第４のデジタルデータをそれぞれ独立して格納する第１〜第４メモリと、(h) 第１〜第４メモリから読み出されたデータを入力し、対象物までの距離を算出する距離演算部を備えるカメラであることを要旨とする。
【００１２】
本発明の第５の態様は、(a)複数の画素をマトリクス状に配列した画素アレイ部を用い、対象物からのパルス状の反射光を受光して光電変換するステップと、(b)第１フレームにおいて、反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで画素を駆動して第１のアナログ信号を生成するステップと、(c)第１フレームとは異なる時間領域の第２フレームにおいて、第１取得達成期間とは異なる長さで投影光のパルスに対し規定される第２取得達成期間のタイミングで画素を駆動して第２のアナログ信号を生成するステップと、(d)第１及び第２フレームのそれぞれにおいて、マトリクスの特定の行に配置された複数の画素からの第１及び第２のアナログ信号をそれぞれ独立に読み出し、第１及び第２のデジタルデータに変換するステップと、(e)第１及び第２のデジタルデータを互いに弁別して出力するステップと、(f)弁別された第１及び第２のデジタルデータを独立して第１及び第２メモリにそれぞれ格納するステップと、(g)第１及び第２メモリから読み出された第１及び第２のデジタルデータを入力し、対象物までの距離を算出するステップを含む３Ｄ画像生成方法であることを要旨とする。
【００１３】
本発明の第６の態様は、(a)互いに異なる電荷移動経路に沿って信号電荷を転送する第１及び第２電荷振分機構を、信号電荷を生成する光電変換部の周辺にそれぞれ有した複数の画素をマトリクス状に配列した画素アレイ部を用い、対象物からのパルス状の反射光を受光して光電変換するステップと、(b)第１フレームにおいて、反射光を生成する投影光のパルスに同期して規定される第１取得達成期間のタイミングで第１電荷振分機構を駆動して第１のアナログ信号を生成し、第１取得達成期間とは異なる長さで投影光のパルスに対し規定される第２取得達成期間のタイミングで第２電荷振分機構を駆動して第２のアナログ信号を生成するステップと、(c)第２フレームにおいて、投影光のパルスを出射しない状態で、第１取得達成期間のタイミングで第１電荷振分機構を駆動して第３のアナログ信号を生成し、第２取得達成期間のタイミングで第２電荷振分機構を駆動して第４のアナログ信号を生成するステップと、(d)マトリクスの特定の行に配置された複数の画素からの第１〜第４のアナログ信号をそれぞれ独立に読み出し、第１〜第４のデジタルデータに変換するステップと、(e)第１〜第４のデジタルデータを互いに弁別して出力するステップと、(f)弁別された第１〜第４のデジタルデータをそれぞれ独立して第１〜第４メモリに格納するステップと、(g)第１〜第４メモリから読み出されたデータを入力し、対象物までの距離を算出するステップを含む３Ｄ画像生成方法であることを要旨とする。
【発明の効果】
【００１４】
本発明によれば、従来の３分岐型ロックインピクセル等の複雑な画素構造と等価な機能を単純な構造で実現し、高解像度化が可能で高精度な３Ｄ撮像ユニット、この３Ｄ撮像ユニットを利用したカメラ、及び３Ｄ画像生成方法を提供できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態に係る３Ｄ撮像ユニットの主要部の一例の概略を説明する論理的なブロック図である。
【図２】第１の実施形態に係る３Ｄ撮像ユニットの要素に含まれる受光部及び記憶部の内部構造を説明する模式的なブロック図である。
【図３】第１の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置の周辺回路に含まれる制御部の内部構造をハードウェア資源として説明する論理的なブロック図である。
【図４】第１の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置の１分岐型画素の構造の概略を説明する平面図である。
【図５】第１の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置の１分岐型画素の例を示す回路図である。
【図６】第１の実施形態に係る３Ｄ画像生成方法を説明するタイミング図である。
【図７】異なる厚さのシリコン（Ｓｉ）エピタキシャル成長層における波長に対する光電変換割合の変化を示すグラフである。
【図８】異なる厚さのＳｉエピタキシャル成長層を用いた場合の画素のアスペクト比を示す模式図である。
【図９】第１の実施形態に係る３Ｄ撮像ユニットの断面図の例を示す模式図である。
【図１０】第１の実施形態に係る３Ｄ撮像ユニットの他の断面図の例を示す別の模式図である。
【図１１】第１の実施形態に係る３Ｄ撮像ユニットの更に他の断面図の例を示す、更に別の模式図である。
【図１２】本発明の第２の実施形態に係る３Ｄ画像生成方法を説明するタイミング図である。
【図１３】第２の実施形態の第１変形例に係る３Ｄ画像生成方法を説明する模式図である。
【図１４】第２の実施形態の第２変形例に係る３Ｄ画像生成方法を説明する模式図である。
【図１５】第２の実施形態の第３変形例に係る３Ｄ画像生成方法を説明する模式図である。
【図１６】本発明の第３の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置の２分岐型画素の構造の概略を説明する平面図である。
【図１７】第３の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置の画素の例を示す回路図である。
【図１８】第３の実施形態に係る３Ｄ画像生成方法を説明するタイミング図である。
【図１９】本発明の第１及び第３の実施形態、並びに従来技術に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素の面積を比較するための平面図である。
【図２０】第３の実施形態の第１変形例に係る３Ｄ画像生成方法を説明する模式図である。
【図２１】第３の実施形態の第２変形例に係る３Ｄ画像生成方法を説明する模式図である。
【図２２】第３の実施形態の第３変形例に係る３Ｄ画像生成方法を説明する模式図である。
【図２３】その他の実施形態に係る３Ｄ撮像ユニットの周辺回路による調整動作の流れの概略を説明するフローチャートである。
【図２４】その他の実施形態に係る３Ｄ画像生成方法を説明するタイミング図である。
【図２５】更に他の実施形態に係る３Ｄ画像生成方法を説明するタイミング図である。
【図２６】本発明の第１〜第３の実施形態及びそれらの変形例に係る３Ｄ撮像ユニットの利用分野の一例であるカメラの構造の概略を説明するブロック図である。
【図２７】比較例に係る固体撮像装置の画素の構造の概略を説明する平面図である。
【図２８】比較例に係る固体撮像装置を駆動する際の動作を説明するタイミング図である。
【図２９】比較のために、従来の固体撮像装置の主要部の一例の概略を説明する論理的なブロック図である。
【図３０】従来の固体撮像装置に含まれる受光部及び記憶部の内部構造を説明する模式的なブロック図である。
【図３１】従来の固体撮像装置の３分岐型画素の構造の概略を説明する平面図である。
【図３２】従来の固体撮像装置の画素の例を示す回路図である。
【図３３】従来の固体撮像装置を駆動する際の動作を説明するタイミング図である。
【図３４】従来の固体撮像装置を駆動する際の動作の概略を説明するタイミング図である。
【図３５】従来の固体撮像装置を駆動する際の動作を説明するタイミング図である。
【発明を実施するための形態】
【００１６】
次に、図面を参照して、本発明の第１〜第３の実施形態を説明する。第１〜第３の実施形態及びそれらの変形例に係る図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。但し、図面は模式的なものであり、厚みと平面寸法との関係、各部材の厚みの比率等は現実のものとは異なることに留意すべきである。したがって、具体的な厚みや寸法は以下の説明を参酌して判断すべきものである。又、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【００１７】
又、第１〜第３の実施形態及びそれらの変形例は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、回路素子や回路ブロックの構成や配置、或いは半導体チップ上でのレイアウト等を下記のものに特定するものでない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更を加えることができる。
【００１８】
尚、以下の第１〜第３の実施形態及びそれらの変形例の説明では、第１伝導型をｐ型、第２伝導型をｎ型として説明するが、第１伝導型をｎ型、第２伝導型をｐ型としても、電気的な極性を反対にすれば同様な効果が得られることは容易に理解できるであろう。この場合、パルス波形のハイレベルとローレベルも、当業者の技術常識に応じて、適宜反転する必要が発生する場合もあることは勿論である。例えば、以下の図２には、説明の便宜上、複数の画素（測距素子）が画素アレイ部に２次元マトリクス状に配列された３Ｄ撮像装置を基礎とする３Ｄ撮像ユニットを示すが、単なる例示に過ぎない。画素アレイ部に１次元的に測距素子が画素として配列されたラインセンサのレイアウトでも構わない。又、画素アレイ部に単一の測距素子のみが配置された単純な構造の距離センサであっても構わない。
【００１９】
（第１の実施形態）
図１に示すように、本発明の第１の実施形態に係る３Ｄ撮像ユニットは、受光部１８と、受光部１８の周辺に配置した駆動部１５等の周辺回路部を集積化した２次元イメージセンサ（固体撮像装置）を要素とする。固体撮像装置を構成する受光部１８には、図２に示すように、２次元マトリクス状に多数の画素Ｘij（ｉ＝１〜ｎ，ｊ＝１〜ｍ；ｍ，ｎはそれぞれ２以上の正の整数である。）が配列されており、方形状の画素アレイを構成している。そして、画素アレイをなす受光部１８の上辺部には駆動部１５が、下辺部には図１において図示を省略した水平走査回路２２が、それぞれ画素行Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnm方向に沿って設けられている。受光部１８の左辺部には、画素列Ｘ11〜Ｘn1；Ｘ12〜Ｘn2；……；Ｘ1j〜Ｘnj；……；Ｘ1m〜Ｘnm方向に沿って、図１において図示を省略した垂直走査回路２１が設けられている。駆動部１５には各画素Ｘijが測距素子として距離測定を行うに必要な光を繰り返しパルス信号として投影する発光部１９が接続されている。
【００２０】
図２において、画素アレイをなす受光部１８の下辺と水平走査回路２２の間には、受光部１８からの信号を処理するノイズ処理回路ＮＣ１〜ＮＣｍが設けられている。ノイズ処理回路ＮＣ１は、相関二重サンプリング回路（ＣＤＳ）２３とアナログ―デジタル変換回路（ＡＤＣ）２４から構成される。受光部１８からの出力信号は、相関二重サンプリング回路２３によりノイズ抑制されたのち、アナログ―デジタル変換回路２４によりデジタルデータに変換される。図示を省略しているが、ノイズ処理回路ＮＣ２〜ＮＣｍも、ノイズ処理回路ＮＣ１と同様に、相関二重サンプリング回路（ＣＤＳ）２３とアナログ―デジタル変換回路（ＡＤＣ）２４から構成されている。
【００２１】
駆動部１５には、制御部１４から駆動部１５を制御する制御信号が伝達される。制御部１４には、制御部１４での一連の動作を命令するプログラムを記憶したプログラム記憶装置１７と、制御部１４における論理演算に必要なデータやしきい値等を記憶するデータ記憶装置１３が接続される。制御部１４には更に、制御部１４における論理演算の結果を出力する出力部１６が接続されている。データ記憶装置１３には受光部１８からの出力信号を、記憶部１１を介して入力し、距離画像の形成に必要な演算処理を実施する距離演算部１２が接続されている。距離演算部１２は、図１に示した対象物１０と受光部１８との推定距離Ｌを計算する。
【００２２】
駆動部１５、水平走査回路２２、垂直走査回路２１によって受光部１８内の画素Ｘijが順次走査され、画素信号の読み出しや電子シャッタ動作が実行される。即ち、本発明の第１の実施形態に係る３Ｄ撮像ユニットでは、受光部１８を各画素行Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnm単位で垂直方向に走査することにより、各画素行Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnmの画素信号を各画素列Ｘ11〜Ｘn1；Ｘ12〜Ｘn2；……；Ｘ1j〜Ｘnj；……；Ｘ1m〜Ｘnm毎に設けられた垂直出力信号線によって画素信号を読み出す構成となっている。
【００２３】
尚、図２に主要部を示した、画素アレイをなす受光部１８及び受光部１８の周辺に位置する駆動部１５（図１参照。）、水平走査回路２２、垂直走査回路２１、ノイズ処理回路ＮＣ１〜ＮＣｍを同一半導体チップにモノリシックに集積化し、距離演算部１２、制御部１４、プログラム記憶装置１７、データ記憶装置１３、記憶部１１及び出力部１６等を他の半導体チップに集積された構造でも、受光部１８、駆動部１５、水平走査回路２２、垂直走査回路２１、ノイズ処理回路ＮＣ１〜ＮＣｍ、距離演算部１２、制御部１４、プログラム記憶装置１７、データ記憶装置１３、記憶部１１及び出力部１６が同一半導体チップに集積された構造でもかまわない。
【００２４】
具体的には、画素アレイをなす受光部１８、駆動部１５、水平走査回路２２、垂直走査回路２１、ノイズ処理回路ＮＣ１〜ＮＣｍを第１の半導体チップに集積化し、距離演算部１２、制御部１４、プログラム記憶装置１７、データ記憶装置１３、記憶部１１及び出力部１６等を第２の半導体チップに集積化して、第１の半導体チップと第２の半導体チップを積層化して一体化した構造でもかまわない。あるいは、受光部１８を第１の半導体チップに構成し、駆動部１５、水平走査回路２２、垂直走査回路２１、ノイズ処理回路ＮＣ１〜ＮＣｍを第２半導体チップに集積化し、距離演算部１２、制御部１４、プログラム記憶装置１７、データ記憶装置１３、記憶部１１及び出力部１６等を第３の半導体チップに集積化して、第１〜第３の半導体チップを積層化して一体化した構造でもかまわない。
【００２５】
いずれにせよ、これらの集積化構造は、単なる例示に過ぎないので、図１に示したトポロジやレイアウトに限定されない。図１において破線で囲んだ領域内に位置する距離演算部１２、制御部１４、プログラム記憶装置１７、データ記憶装置１３、記憶部１１及び出力部１６の少なくとも一部の回路等が別々のチップや基板等に搭載される態様でも構わない。例えば、図２６に示したカメラの構成における中央処理制御部３６１に図１の制御部１４の機能を分担させるような構成でもかまわない。
【００２６】
測距素子としての各画素Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnmからの信号読み出しについては、概ね通常のＣＭＯＳイメージセンサと同様である。但し、各画素Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnmのそれぞれの光電変換部からの信号電荷転送させるための第１駆動信号Ｇ１は、駆動部１５から全画素Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnmに同時に与えられ、しかも高い周波数の信号であるので、その期間には、スイッチングノイズが発生する。したがって画素部からの信号読み出しは、ノイズ処理回路ＮＣ１〜ＮＣｍによる処理が終了した後に読み出し期間を設けて行う。記憶部１１は、分配器（デマルチプレクサ）１１３、第１メモリ１１１及び第２メモリ１１２から構成される。１つの信号ラインから出力されたデジタルデータが、分配器（デマルチプレクサ）により弁別されて第１メモリ１１１又は第２メモリ１１２に記憶される。第１メモリ１１１及び第２メモリ１１２に格納されたデータは、距離演算部１２に転送され、推定距離Ｌが計算される。
【００２７】
制御部１４は、図３に論理的な構成をブロック図で示すように、時間設定論理回路１４１、時間設定値出力制御回路１４２、距離画像出力制御回路１４３、設定値判定回路１４４及びシーケンス制御回路１４５をハードウェア資質として備える。時間設定論理回路１４１は、後述する図６に示す光投影時間Ｔ０、第１取得達成期間τAA1、第２取得達成期間τAA2、第１電荷蓄積時間Ｔａ1、第２電荷蓄積時間Ｔａ2の値等を設定し、或いは、設定値判定回路１４４の出力信号に応じて、時間設定論理回路１４１は、後述する図６に示す光投影時間Ｔ０、第１取得達成期間τAA1の値等を、適宜変更する論理回路である。
【００２８】
時間設定値出力制御回路１４２は、時間設定論理回路１４１が設定若しくは変更した繰り返し周期時間ＴＣ、光投影時間Ｔ０、第１取得達成期間τAA1、第２取得達成期間τAA2、第１電荷蓄積時間Ｔａ1、第２電荷蓄積時間Ｔａ2及び電荷転送時間Ｔon等を駆動部１５に制御信号として出力する論理回路である。第１駆動信号Ｇ１のパルス幅として定義される電荷転送時間Ｔonは、図６に示すようにオフセット時間を挟んだ異なるタイミングに時間設定されている。
【００２９】
距離画像出力制御回路１４３は、距離画像のデータとして合成し、出力部１６に出力する論理回路である。
【００３０】
シーケンス制御回路１４５は時間設定論理回路１４１、時間設定値出力制御回路１４２、距離画像出力制御回路１４３、設定値判定回路１４４、プログラム記憶装置１７及びデータ記憶装置１３のそれぞれの動作をクロック信号に依拠して順次シーケンス制御する論理回路である。時間設定論理回路１４１、時間設定値出力制御回路１４２、距離画像出力制御回路１４３、設定値判定回路１４４及びシーケンス制御回路１４５のそれぞれはバス１４６を介して情報の送受信が可能である。
【００３１】
図１に例示したコンピュータシステムにおいて、データ記憶装置１３は、複数のレジスタ、複数のキャッシュメモリ、主記憶装置、補助記憶装置を含む一群の内から適宜選択された任意の組み合わせとすることも可能である。又、キャッシュメモリは１次キャッシュメモリと２次キャッシュメモリの組み合わせとしてもよく、更に３次キャッシュメモリを備えるヒエラルキーを有しても構わない。図示を省略しているが、データ記憶装置１３に複数のレジスタが含まれる場合等においては、バス１４６はプログラム記憶装置１７及びデータ記憶装置１３等にまで延長されていても構わない。
【００３２】
図１に示した制御部１４は、マイクロチップとして実装されたマイクロプロセッサ（ＭＰＵ）等を使用してコンピュータシステムを構成することが可能である。又、コンピュータシステムを構成する制御部１４として、算術演算機能を強化し信号処理に特化したデジタルシグナルプロセッサ（ＤＳＰ）や、メモリや周辺回路を搭載し組込み機器制御を目的としたマイクロコントローラ（マイコン）等を用いてもよい。或いは、現在の汎用コンピュータのメインＣＰＵを制御部１４に用いてもよい。
【００３３】
更に、制御部１４の一部の構成又はすべての構成をフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）のようなプログラマブル・ロジック・デバイス（ＰＬＤ）で構成してもよい。ＰＬＤによって、制御部１４の一部又はすべてを構成した場合は、データ記憶装置１３は、ＰＬＤを構成する論理ブロックの一部に含まれるメモリブロック等のメモリ要素として構成することができる。更に、制御部１４は、ＣＰＵコア風のアレイとＰＬＤ風のプログラム可能なコアを同じチップに搭載した構造でもよい。このＣＰＵコア風のアレイは、予めＰＬＤ内部に搭載されたハードマクロＣＰＵと、ＰＬＤの論理ブロックを用いて構成したソフトマクロＣＰＵを含む。つまりＰＬＤの内部においてソフトウェア処理とハードウェア処理を混在させた構成でもよい。
【００３４】
図２に示した第１の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnmのそれぞれの内の信号生成部１８１の具体的な平面構造の一例を、図４に示す。又、図４に示す平面構造に対応する等価的な回路図を図５に示す。 フォトダイオード（ＰＤ）からなる光電変換部４１の下端の右側に、ｎ＋型の電荷蓄積領域４３ａが浮遊ドレイン領域ＦＤ１として、配置されている。又、光電変換部４１の領域を囲むように、光電変換部４１の左端の中央に電荷蓄積領域４３ａから離間して、ｎ＋型の電荷排出領域４３ｂが排出用ドレイン領域として配置されている。
【００３５】
図示していない遮光膜によって開口部以外を遮光して領域を定義された光電変換部４１の周りを囲むように、１つの電荷振分機構を構成する転送トランジスタＧ１の転送ゲート電極４２ａと、１つの電荷排出機構を構成する排出トランジスタＧＤの排出ゲート電極４２ｂが配置されている。転送ゲート電極４２ａ及び排出ゲート電極４２ｂには、それぞれ絶縁ゲート型トランジスタ構造を構成するように多結晶シリコン等の導電体薄膜が用いられている。
【００３６】
絶縁ゲート型トランジスタ（ＭＯＳトランジスタ）構造をなす転送トランジスタＧ１のドレイン領域として、電荷蓄積領域４３ａが設けられ、排出トランジスタＧＤのドレイン領域として、電荷排出領域４３ｂが設けられている。図５に示すように浮遊ドレイン領域ＦＤ１には補助容量Ｃ１が接続されている。図５の浮遊ドレイン領域ＦＤ１は、図４の電荷蓄積領域４３ａに対応する。補助容量Ｃ１は例えばデプリーション型ＭＯＳ構造が採用可能である。図５に示す等価回路に対応して図４の平面パターンの光電変換部４１の上の方には、光電変換部４１の上側に隣接する他の光電変換部に接続される補助容量Ｃ１の平面構造が図示されている。図４の上に示した隣接する画素の補助容量Ｃ１は、基板の垂直方向に沿って、ｎ＋型の拡散領域４９と、ｎ＋型に繋がったｎ−型の拡散領域４９の上に設けられたゲート絶縁膜（図示省略）と、このゲート絶縁膜の上に設けられたゲート電極４７でＭＯＳＦＥＴのゲート構造を構成して、ｎ−チャネルのデプリーション型ＭＯＳ構造を実現している。ゲート電極４７には多結晶シリコン等の導電体薄膜が採用可能である。
【００３７】
同様に、図４の中央の光電変換部（ＰＤ）４１に対し、電荷蓄積領域４３ａを介して回路的に接続される補助容量Ｃ１は、平面パターン上、光電変換部４１の下側の位置にｎ＋型の拡散領域と、ｎ＋型に繋がったｎ−型の拡散領域の上に設けられたゲート絶縁膜と、ゲート絶縁膜の上に設けられたゲート電極４７によって、デプリーション型ＭＯＳ構造を構成できる。図４の平面パターンの上方に位置する電荷蓄積領域４３ａの角部の内部に示した白抜きの四角形は、上側に隣接する他の光電変換部の電荷蓄積領域４３ａのコンタクトホールを模式的に示す。図４の平面パターンの上側に位置するゲート電極４７の上部の右側に示した白抜きの四角形は、上側に隣接する他の光電変換部のゲート電極４７のコンタクトホールを模式的に示すものである。図４では、上下の二つの白抜きの四角形を接続する縦の太い実線で模式的に示しているが、電荷蓄積領域４３ａと補助容量Ｃ１のゲート電極４７とは、表面配線等を介して接続される。
【００３８】
ここで、補助容量Ｃ１は、図４に示すように、ＭＯＳ容量素子として付加してもよいが、本質的には、ｐｎ接合容量、配線間容量等、意図的な素子の付加がなくてもよい。ただし、第１の実施形態に係る３Ｄ撮像ユニットは、画素を微細化する目的を有するため、ＭＯＳ容量を意図的に付加して、よりレイアウトが難しくなる条件について例示し、画素を微細化しても素子容量が減少しないことを説明する。即ち、第１の実施形態に係る３Ｄ撮像ユニットによれば、画素構造の平面パターンを微細化させた場合であっても、所望の平面パターンサイズの補助容量Ｃ１を画素内に配置可能である。図４の平面パターンにおいて、ゲート電極４７の上辺の右側から、ゲート電極４７の上方に突出した部分となる拡散領域４９の内部に示した白抜きの四角形は、拡散領域４９のコンタクトホールを示す。３カ所において直角に折れ曲がったい実線で模式的に示しているが、拡散領域４９のコンタクトホールの上に延びる表面配線を介して、拡散領域４９は接地電位(ＧＮＤ)に接続される。
【００３９】
光電変換部４１に着目すると、光電変換部４１の右下に位置する電荷蓄積領域４３ａをソース領域として、リセットゲート電極４４を有するリセットトランジスタＲＴが構成されている。図４の上部には、光電変換部４１の上側に隣接する他の光電変換部の電荷蓄積領域４３ａが示され、電荷蓄積領域４３ａをソース領域として、リセットゲート電極４４を有する他の光電変換部のリセットトランジスタＲＴが構成されている。いずれのリセットゲート電極４４も、多結晶シリコン等の導電体薄膜で構成できる。リセットトランジスタＲＴは、リセットゲート電極４４を介して電荷蓄積領域４３ａに対向するリセットドレイン（ＲＤ）領域５０を有する。
【００４０】
リセットドレイン領域５０は、増幅トランジスタＳＦ１の増幅ドレイン領域と共通領域を構成している。増幅トランジスタＳＦ１は、リセットドレイン領域５０と共通領域を構成する増幅ドレイン領域と、増幅ドレイン領域に対向する増幅ソース領域５１と、増幅ドレイン領域と増幅ソース領域５１の間のチャネル領域の上にゲート絶縁膜を介して設けられた増幅ゲート電極４７で構成される。図４の上側のパターンから分かるように、増幅ゲート電極４７は、補助容量Ｃ１のゲート電極４７と共通の導電体薄膜から構成されるので、図４では同一の符号を付している。補助容量Ｃ１のゲート電極４７は電荷蓄積領域４３ａと電気的に接続されているので増幅トランジスタＳＦ１の増幅ゲート電極４７も電荷蓄積領域４３ａと電気的に接続される。図４の中央に示した光電変換部４１に着目すると、光電変換部４１の下側に示した増幅トランジスタＳＦ１の増幅ゲート電極４７も同様に、光電変換部４１の電荷蓄積領域４３ａと電気的に接続されている。
【００４１】
図４の上と下に示した二つのリセットドレイン領域５０のパターンの中央にそれぞれ示した１個の白抜きの四角形は、それぞれコンタクトホールを模式的に示すものである。太い実線で模式的に示したように、リセットドレイン領域５０のコンタクトホールの上に延びる表面配線を介して、リセットドレイン領域５０は電源電位(ＶDD)に接続される。電荷排出領域４３ｂは、１個の白抜きの四角形で模式的に示したコンタクトホールの上を走る表面配線等を介して電源電位(ＶDD)に接続されている。増幅トランジスタＳＦ１の増幅ソース領域５１は、画素選択用の選択トランジスタＳＬ１の選択ドレイン電極との共通領域として構成されている。選択トランジスタＳＬ１は、増幅ソース領域５１と共通領域を構成する選択ドレイン領域と、選択ドレイン領域に対向する選択ソース領域５２と、選択ドレイン領域と選択ソース領域５２の間のチャネル領域の上にゲート絶縁膜を介して設けられた選択ゲート電極４６で構成される。
【００４２】
図４の平面パターンでは、選択トランジスタＳＬ１の選択ソース領域５２の内部には、１個の白抜きの四角形で模式的にコンタクトホールが示されている。選択トランジスタＳＬ１の選択ソース領域５２は、コンタクトホールを介して、第１の垂直出力信号線Sig１に接続される。選択トランジスタＳＬ１の選択ゲート電極４６には水平ラインの選択用制御信号Ｓが図２に示した垂直走査回路２１から与えられる。選択用制御信号Ｓをハイレベルにすることにより、選択トランジスタＳＬ１が導通し、ソースフォロア型の増幅トランジスタＳＦ１で増幅された電荷蓄積領域４３ａの電位に対応する電位に第１の垂直出力信号線Sig１がなる。
【００４３】
光電変換部４１の受光領域で発生した光電子は、転送ゲート電極４２ａを導通状態にすると、電荷蓄積領域４３ａに移動する。図１に示す撮像素子とほぼ同じ位置からパルス光を出射し、対象物１０からの反射光を撮像素子で受光する。投影光は、例えば、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）を用い、例えばｎｓオーダーからｆｓオーダーの極短時間のパルス光を投影させる。受信光は、対象物１０と撮像素子との間の距離に応じて、投影光を出射した時間から遅延時間Ｔｄだけ遅れて撮像素子に入射する。なお、図４の破線で囲まれた領域は、画素境界を決定する境界線である。
【００４４】
図６は、第１の実施形態に係る３Ｄ画像生成方法を説明するタイミング図である。図６（ａ）は、第１オンフレーム（ＯＮ１フレーム）と第２オンフレーム（ＯＮ２フレーム）の動作を交互に繰り返し行うことを示し、図６（ｂ）は第１オンフレームのタイミング図であり、図６（ｃ）は第２オンフレームのタイミング図である。図６（ｂ）に示すように、第１オンフレームでは、光投影時間Ｔ０のタイミングで投影光を出射する。第１オンフレームにおける第１駆動信号Ｇ１のパルスも、光投影時間Ｔ０に同期させ第１取得達成期間τAA１を規定する。図６（ａ）に示すように、第１取得達成期間τAA1は第１電荷蓄積時間Ｔａ1と同じ値に設定できる（τAA１＝Ｔａ1）。投影光は繰り返し周期時間（サイクルタイム）ＴＣで周期的に発光する。
【００４５】
この第１取得達成期間τAA１のタイミングでパルス幅Ｔonの第１駆動信号Ｇ１を転送ゲート電極４２ａに印加することにより、第１駆動信号Ｇ１のパルスに合わせて電荷蓄積領域４３ａに蓄積される光電子は、受信光が遅れた分、受信光により発生した光電子より減少する。図６（ｃ）に示すように、第２オンフレームでも、第１オンフレームと同様に、光投影時間Ｔ０のタイミングで投影光を出射する。第２オンフレームにおける第１駆動信号Ｇ１のパルスのタイミングは、光投影時間Ｔ０に同期した第２取得達成期間τAA2を規定するように決定され、パルス幅Ｔonの第１駆動信号Ｇ１が転送ゲート電極４２ａに印加される。第２取得達成期間τAA2は、投影光の立ち上がりから測られる時間であり、第２電荷蓄積時間Ｔａ2とは異なる時間である。図６（ｃ）に示すように、第２電荷蓄積時間Ｔａ2は、排出トランジスタＧＤの排出ゲート電極４２ｂに印加されるパルスの立ち下がりから測られて定義される。第２取得達成期間τAA2で取得された光電子は、電荷蓄積領域４３ａに蓄積される。図６（ｃ）に示すタイミングで第１駆動信号Ｇ１を転送ゲート電極４２ａに印加することにより、第１駆動信号Ｇ１のパルスに合わせて電荷蓄積領域４３ａに第２取得達成期間τAA2で測定される光電子は、受信光が遅れた分、受信光により発生した光電子のうち、第１オンフレームで減少した分と同じ量だけ増加する。即ち被写体距離に応じて各々のフレームに対応した蓄積電荷量に違いが生じるため、各々のフレームにおける蓄積電荷量から被写体距離を求めることができる。
【００４６】
第１オンフレームにおいて第１取得達成期間τAA１で取得される電荷量をＱ１１、第２オンフレームにおいて第２取得達成期間τAA2で取得される電荷量をＱ１２とすると、被写体距離は、
Ｌ＝ｃＴ０／２×Ｑ１２／（Ｑ１１＋Ｑ１２）      …（１）
で求められる。ここで、ｃは光速である。
【００４７】
図３１に示すような従来の３分岐型ロックインピクセルでは、３つの振分ゲートを有していたが、第１の実施形態にかかる３Ｄ撮像ユニットは１つの転送トランジスタＧ１のみを振分ゲートとして有している。そのため、第１オンフレームと第２オンフレームのサイクル動作を繰り返すには、蓄積時間以外に発生しフォトダイオードに収集された電荷を素早く排出する構造が必要である。この排出動作を行うためには、電源にドレインが接続された排出トランジスタＧＤの排出ゲート電極４２ｂを駆動して、排出トランジスタＧＤをオンにすればよい。
【００４８】
このように、第１の実施形態に係る３Ｄ撮像ユニットによれば、１つの光検出部ＰＤに対し、１つの転送トランジスタＧ１と１つの排出トランジスタＧＤを持つ１分岐型ロックインピクセルの簡単な構造により、精度の高い、微細画素距離センサが実現できる。既に説明したように、第１の実施形態に係る３Ｄ撮像ユニットにおいては、１つの転送トランジスタＧ１を介して、１つの光検出部ＰＤが浮遊ドレイン領域ＦＤ１及び補助容量Ｃ１が接続され、更に、１つの電荷排出機構を構成する排出トランジスタＧＤのドレインとして機能する電荷排出領域４３ｂが電源ＶＤＤに接続され、光検出部ＰＤから電荷が排出される。そして、１分岐型ロックインピクセルの簡単な構造であるので、画素サイズのより微細化が可能になり、撮像画像の解像度が向上ずる。
【００４９】
図１に示した第１の実施形態に係る３Ｄ撮像ユニットの制御部１４は以下のように動作する。制御部１４の時間設定論理回路１４１が、第１駆動信号Ｇ１のパルス信号を印加するタイミングを、投影光の出射パルスの立ち上がりのタイミングを基礎として決定し、第１取得達成期間τAA１を設定する。設定された第１取得達成期間τAA１を、時間設定値出力制御回路１４２が図１に示した駆動部１５に制御信号として出力する。制御部１４の時間設定値出力制御回路１４２から駆動部１５を通して与えられた制御信号に応じて、発光部１９から、パルス発光がなされる。対象物１０を反射したパルス光が、レンズ２０やＢＰＦ（バンドパスフィルタ）などを通して図１に示した受光部１８が構成する画素アレイ部の各画素Ｘijに照射される。
【００５０】
第１オンフレームにおいて、図６（ｂ）に示す駆動タイミングで駆動部１５が画素アレイ部の各画素Ｘijを、ロックインピクセル駆動し、各画素Ｘijの光電変換部４１の信号電荷がそれぞれの画素Ｘijの電荷蓄積領域４３ａに蓄積される。その後、垂直走査回路２１により、受光部１８の画素アレイ部（Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnm）の行が選択される。第１オンフレームで選択された行の画素（Ｘi1〜Ｘim：ｉ＝１〜ｎ）の信号電位とリセット電位が、１つの信号線を通り、相関二重サンプリング回路２３によりノイズ抑制されたのち、アナログ―デジタル変換回路２４にてデジタルデータに変換される。相関二重サンプリング回路２３とアナログ―デジタル変換回路２４によって、マトリクスの特定の行に配置された複数個の電荷蓄積領域４３ａに蓄積された信号電荷による信号をそれぞれ独立に読み出し、ノイズ抑制及びアナログ―デジタル変換するカラム処理回路（２３，２４）が構成されている。カラム処理回路（２３，２４）によって、デジタルデータに変換された第１オンフレームのデータは、水平走査回路２２により列選択され、記憶部１１に転送される。記憶部１１では、転送された第１オンフレームのデジタルデータが、駆動部１５と同期した分配器（デマルチプレクサ）１１３により、複数のメモリ（１１１、１１２）のいずれかに弁別されて記憶される。例えば、第１オンフレームで得られた信号データは第１メモリ１１１に格納され、第２オンフレームで得られた信号データは第２メモリ１１２に格納されるように弁別される。
【００５１】
予め決定した所定の繰り返し周期時間（サイクルタイム）ＴＣが経過し、図６（ａ）に示した第１オンフレームの動作が終了すると、図６（ｂ）に示した第２オンフレームの動作が開始される。投影光が出射するタイミングより遅延して到達する受信光のタイミングに調整可能なように、制御部１４の時間設定論理回路１４１が第２取得達成期間τAA２を設定する。即ち、時間設定論理回路１４１は、投影光の出射タイミングに同期して、第１取得達成期間τAA1よりも長い第２取得達成期間τAA２を設定する。設定された第２取得達成期間τAA２を時間設定値出力制御回路１４２が駆動部１５に制御信号として出力する。制御部１４の時間設定値出力制御回路１４２から駆動部１５を通して与えられた制御信号に応じて、発光部１９から、パルス発光がなされる。対象物１０を反射したパルス光が、受光部１８が構成する画素アレイ部の各画素Ｘijに照射される。
【００５２】
第２オンフレームにおいて、図６（ｃ）に示す駆動タイミングでロックインピクセル駆動をし、電荷が各画素Ｘijの電荷蓄積領域４３ａに蓄積される。その後、垂直走査回路２１により、受光部１８の画素アレイ部（Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnm）の行が選択され、第２オンフレームのデジタルデータが、記憶部１１に転送される。記憶部１１では、転送された第２オンフレームのデジタルデータが、分配器（デマルチプレクサ）１１３により、第１メモリ１１１及び第２メモリ１１２のうち、第１オンフレームで使用されなかった方のメモリに記憶される。
【００５３】
記憶部１１の第１メモリ１１１及び第２メモリに格納されたデータが距離演算部１２に転送され式（１）により、距離が演算される。記憶部１１から距離演算部１２へのデータの転送は、第１オンフレーム及び第２オンフレームのデータがすべて記憶部１１のメモリに格納された時点で行う方法でもよく、又は第２オンフレームのデータが記憶部１１のメモリに格納され始めた時点で順次行う方法でもよい。又、第１オンフレームと第２オンフレームの順序は、第１オンフレームが先でも、第２オンフレームが先でもどちらでもよい。
【００５４】
ここで、図４と従来の３分岐型ロックインピクセル構造を示す図３１を比較してみる。図３２は、図５に対応する従来の３分岐型ロックインピクセルの回路図である。第１の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素は１つの電荷振分機構を構成する転送トランジスタＧ１と、１つの電荷排出機構を構成する排出トランジスタＧＤを有しているが、従来の固体撮像装置の画素は３つの電荷振分機構である第１転送トランジスタＧ１、第２転送トランジスタＧ２及び第３転送トランジスタＧ３と、１つの電荷排出機構を構成する排出トランジスタＧＤを有している。図３１では、第１転送トランジスタＧ１、第２転送トランジスタＧ２及び第３転送トランジスタＧ３のそれぞれが第１転送ゲート電極９２ａ、第２転送ゲート電極９２ｂ及び第３転送ゲート電極９２ｃを有するものとして平面パターンが例示されている。又、排出トランジスタＧＤが排出ゲート電極９２ｄを有するものとして平面パターンが示されている。
【００５５】
図４及び図５において、第１の実施形態に係る３Ｄ撮像ユニットの転送トランジスタＧ１に電荷蓄積領域４３ａ、補助容量Ｃ１、増幅トランジスタＳＦ１が配線等を介して接続された簡単な構造を示した。図３１及び図３２において、３つの電荷振分機構である第１転送トランジスタＧ１、第２転送トランジスタＧ２及び第３転送トランジスタＧ３のそれぞれに、図４及び図５に示した転送トランジスタＧ１と同様に、第１電荷蓄積領域９３ａ、第２電荷蓄積領域９３ｂ、第３電荷蓄積領域９３ｃ、第１補助容量Ｃ１、第２補助容量Ｃ２、第３補助容量Ｃ３、増幅トランジスタＳＦ１、第２増幅トランジスタＳＦ２、第３増幅トランジスタＳＦ３が配線等を介して接続された複雑な構造をなしている。
【００５６】
図４に示す画素平面図と、図３１に示す画素平面図は、互いに同じレイアウトルールで構成されており、図４に示す画素平面図の面積は図３１に示す画素平面図の面積の４分の１の大きさである。なお、図３１の破線で囲まれた領域は、画素境界を決定する境界線である。
【００５７】
図１と図２９に示す従来の固体撮像装置の内部構造を比較すると、従来の固体撮像装置には図１に示されている記憶部１１が省略されている。又、図２と図３０を比較すると、図２においては、垂直走査回路２１によって受光部１８の画素アレイ部（Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnm）の選択された行の信号電位とリセット電位は、１つの信号線を通り、デジタルデータに変換されたのち、記憶部１１のメモリに格納される。これに対し、図３０においては、垂直走査回路８１によって受光部７１の画素アレイ部（Ｘ11〜Ｘ1m；Ｘ21〜Ｘ2m；……；Ｘn1〜Ｘnm）の選択された行の信号電位とリセット電位は、２つの信号線のうちのいずれかを通り、デジタルデータに変換されたのち、距離演算部７２に転送される。
【００５８】
従来の固体撮像装置の光電変換部９１の受光領域で発生した光電子は、第１電荷振分機構９２ａを導通状態にすると、第１電荷蓄積領域９３ａに移動する。同様に、従来の固体撮像装置の第２電荷振分機構９２ｂを導通状態にすると、第２電荷蓄積領域９３ｂに移動し、第３電荷振分機構９２ｃを導通状態にすると、３電荷蓄積領域９３ｃに移動する。従来の固体撮像装置においても、図２９に示す撮像素子とほぼ同じ位置からパルス光を出射し、対象物１０からの反射光を撮像素子で受光する点、投影光は、例えば、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）を用い、例えばｎｓオーダーからｆｓオーダーの極短時間のパルス光を投影させる点は、第１の実施形態に係る３Ｄ撮像ユニットの場合と同様である。
【００５９】
図３３は、従来の固体撮像装置を駆動する際の動作を説明するタイミング図である。受信光は、対象物１０と撮像素子との間の距離に応じて、投影光を出射した時間から遅延時間Ｔｄだけ遅れて撮像素子に入射する。投影光の発光時間Ｔ０と、第１駆動信号Ｇ１、第２駆動信号Ｇ２及び第３駆動信号Ｇ３のオン／オフ電圧パルスを同期させれば、第１駆動信号Ｇ１のパルスに応じて第１電荷蓄積領域９３ａへ、第２駆動信号Ｇ２のパルスに応じて第２電荷蓄積領域９３ｂへ、第３駆動信号第３転送トランジスタＧ３のパルスに応じて第３電荷蓄積領域９３ｃへと、受信光の遅れ、即ち被写体距離に応じて各々のゲートに対応した電荷蓄積量に違いが生じ、被写体距離が求められる。
【００６０】
又、従来の固体撮像装置に用いる投影光は、図３３に示すように、２つ目の電荷蓄積時間Ｇ２に同期させることが望ましい。電荷蓄積時間Ｇ２に同期させることにより、第１電荷蓄積領域９３ａには、受信光以外の環境光及び暗電流等、距離測定には不要な電子のみが蓄積されるようになる。ここで、環境光及び暗電流等、距離測定には不要な電子は、第２電荷蓄積領域９３ｂ及び第３電荷蓄積領域９３ｃにも同様に蓄積されるが、第１電荷蓄積領域９３ａには不要な電子のみが蓄積されることにより、単純なオフセット成分となり、以下の式（２）によって、環境光等の影響を除外した正確な被写体距離測定が可能になる。
【００６１】
従来の固体撮像装置における第１電荷蓄積領域９３ａに蓄積された電荷量をＱ２１、第２電荷蓄積領域９３ｂに蓄積された電荷量をＱ２２、第３電荷蓄積領域９３ｃに蓄積された電荷量をＱ２３とすると、
Ｌ＝ｃＴ０／２×Ｑ３’／（Ｑ２’＋Ｑ３’）      …（２）
で求められる。ここで、Ｑ２’＝Ｑ２２―Ｑ２１、Ｑ３’＝Ｑ２３―Ｑ２１である。
【００６２】
ここで、やや遠い被写体に対して距離測定を行う場合、第３電荷蓄積領域９３ｃに蓄積されるべき光電子が、次の周期の第１電荷蓄積領域９３ａに蓄積される。第１電荷蓄積領域９３ａに蓄積される電荷は環境光等によるオフセット成分であるため、第１電荷蓄積領域９３ａに受信光成分が加わると、距離精度が大きく劣化する。そこで、従来の固体撮像装置においても、第３電荷蓄積領域９３ｃの蓄積時間の次に、電源にドレインが接続された排出トランジスタＧＤをオンにすれば、遅れた受信光成分は排出され、次の周期の第１電荷蓄積領域９３ａに遅れた受信光成分が入らず、距離精度が良好に保てる。
【００６３】
３Ｄ撮像ユニットの受光部は、例えば、ｎ行ｍ列（ｎ×ｍ）の画素アレイで構成される。このｎ行ｍ列の画素アレイからの信号を全て順次読み出しすると、１枚の２次元距離画像及び２次元画像ができる。この１枚の画像を１フレームとすると、連続するフレームによって２次元距離動画像及び２次元動画像ができる。ここで図３４に示すように、従来の固体撮像装置の１フレーム時間（Ｔｆ）は、光照射期間（ＴＬ）と、信号読み出し期間（ＴＲ）で構成される。従来の３Ｄ画像生成方法は、光照射期間（ＴＬ）内の、更に１サイクル（繰返し周期）内の駆動タイミングである。
【００６４】
ＴＯＦロックインピクセルは、光速を利用して距離を測るため、１回当たりの電荷蓄積時間が非常に短い。図３５は、従来の固体撮像装置を用いて最大約５．１ｍの距離測定を行う場合の駆動タイミングの一例である。図３５に示すように、１回当たりの電荷蓄積時間は３４ｎｓと短く、１回の露光では受光による光電子はほとんど発生しない。そこで、従来の固体撮像装置では同じサイクルを、例えば数千から数十万回と膨大に繰り返すことにより、トータルの蓄積時間を増やすことで信号量を増やしており、図３５においては、９万サイクルの例を示す。なお、ＴＯＦロックインピクセルでは、電荷蓄積時間は、全画素同時に駆動させる、グローバルシャッタ駆動が一般的である。サイクル回数を増やせば、トータルの露光時間が増すため、信号量は増える。しかし、露光時間を増やすと、動画性能（即ちフレームレート）を落とす、というトレードオフ関係がある。
【００６５】
図３５は、従来の固体撮像装置において、スムーズな動画が得られる３０ＦＰＳ（フレーム／秒）の例である。３０ＦＰＳであるとき、１フレーム時間（Ｔｆ）は約３３ｍｓとなる。読出しに必要な時間（ＴＲ）を約６ｍｓとすると、光照射時間（ＴＬ）は約２７ｍｓとなる。従来の固体撮像装置では、サイクルタイム（ＴＣ）を３００ｎｓとしているので、光照射時間（ＴＬ）中に繰り返すことができる最大のサイクル数は９００００回となる。
【００６６】
図７は、第１の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置に必要なシリコン（Ｓｉ）エピタキシャル成長層の厚さを決定するための基本的な特性であって、光電変換割合の波長に対する変化を示すグラフである。第１の実施形態に係る３Ｄ撮像ユニットのようなＴＯＦ型距離画像素子は、信号光として赤外光を用いることが一般的であり、代表的な赤外光波長は８５０ｎｍ及び９４０ｎｍである。図７に示すように、波長８５０ｎｍの赤外光は、Ｓｉエピタキシャル成長層の厚さが１０μｍのとき、入射された光子のうちの４６％が光電子に変換され、Ｓｉエピタキシャル成長層の厚さが２０μｍのとき、入射された光子のうちの７１％が光電子に変換され、Ｓｉエピタキシャル成長層の厚さが３０μｍのとき、入射された光子のうちの８７％が光電子に変換される。
【００６７】
又、波長９４０ｎｍの赤外光は、Ｓｉエピタキシャル成長層の厚さが１０μｍのとき、入射された光子のうちの２７％が光電子に変換され、Ｓｉエピタキシャル成長層の厚さが２０μｍのとき、入射された光子のうちの４７％が光電子に変換され、Ｓｉエピタキシャル成長層の厚さが３０μｍのとき、入射された光子のうちの６２％が光電子に変換される。光電変換される割合は高いほど望ましいため、例えば、５０％程度かそれ以上を目安とすれば、波長８５０ｎｍの赤外光のとき、Ｓｉエピタキシャル成長層の厚さは１０μｍ以上必要であり、波長９４０ｎｍのとき、Ｓｉエピタキシャル成長層の厚さは２０μｍ以上必要となる。
【００６８】
図８は、Ｓｉエピタキシャル成長層の厚さが１０μｍ、２０μｍ及び３０μｍのときの、画素の寸法（分母）に対するＳｉエピタキシャル成長層の厚さ（分子）で定義されるアスペクト比を示す。即ち、図８（ａ）は第１の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置の画素面積に対応する画素の寸法を基礎として定義されるアスペクト比を示す。図８（ｂ）は後述する第３の実施形態に係る３Ｄ撮像ユニットの要素である２分岐型ロックインピクセルの場合の画素面積に対応する画素の寸法を基礎として定義されるアスペクト比を、図８（ｃ）は従来の３分岐型ロックインピクセルの画素面積の場合でのアスペクト比を示す。後述する図１９からも分かるが、図８（ｃ）が最も画素面積が大きく、（ｂ）（ａ）の順に、画素の面積が小さくなる。微細画素であっても、必要なＳｉエピタキシャル成長層の厚さは、その光の波長で決まるため、薄くできず、その結果、図８に示すように、画素面積が微細になるほど、アスペクト比が大きくなる。
【００６９】
図９に、第１の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素の断面構造を模式的に示す。図８に示したように、画素面積が微細になるほど、アスペクト比が大きくなる。代表例として、Ｓｉエピタキシャル成長層の厚さは２０μｍ、即ちアスペクト比が６．３の場合を示している。アスペクト比が大きくなると、画素間のクロストークが増加し、画素を微細にして画素数を増やしても、所望の解像度が得られなくなる。図９（ａ）は表面照射（ＦＳＩ）型の場合であり、図９（ｂ）は裏面照射（ＢＳＩ）型の場合である。図９（ａ）に示す表面照射（ＦＳＩ）型の第１の実施形態に係る３Ｄ撮像ユニットは、マイクロレンズ（ＭＣＬ）２１５、配線層２１６、光電変換部２１４、素子分離領域２１３、ｐ型エピタキシャル成長層２１２、ｐ＋基板２１１から構成される。
【００７０】
アスペクト比が大きくなった場合のクロストークを防止するための構造として、図９の素子分離領域２１３では、深いトレンチを用いたディープ・トレンチ・アイソレーション（ＤＴＩ）構造を例示している。クロストークを減らすためには、少なくとも、光電変換されて発生した光電子が、クロストークせず、自画素のフォトダイオードに収集されることが望ましく、図９に示すＤＴＩ構造による素子分離構造が効果的である。又、図９（ｂ）に示す裏面照射（ＢＳＩ）型の第１の実施形態に係る３Ｄ撮像ユニットは、マイクロレンズ２１５、金属遮光膜２１７、素子分離領域２１３、光電変換部２１４、配線層２１６、ｐ型エピタキシャル成長層２１２、ｐ＋型基板または、ｐ＋型表面ピンニング層２２２から構成される。
【００７１】
ここで、Ｓｉエピタキシャル成長層の厚さが２０μｍであれば、１５μｍ深さ程度以上のトレンチが望ましく、Ｓｉエピタキシャル成長層の厚さが３０μｍであれば、２５μｍ深さ程度以上のトレンチが望ましい。即ち、Ｓｉエピタキシャル成長層の厚さから５μｍ引いた値の深さ以上のトレンチが望ましい。例えば、０．６μｍ幅、深さ１５μｍ、即ちアスペクト比２５程度かそれ以上、即ち０．６μｍ幅よりも狭い幅の素子分離領域が望ましい。アスペクト比２５程度は、アスペクト比４０程度の可視光ＢＳＩ型微細画素の素子分離領域よりも小さく、トレンチキャパシタを用いたＤＲＡＭと同程度であり、既存技術で製造可能である。
【００７２】
素子分離領域２１３に用いる深いトレンチには、例えばイオン注入等でｐ型不純物をドーピングすれば、界面で発生する暗電流を抑制させられる。さらに深いトレンチには、例えば５ｎｍ程度の薄い熱酸化膜を形成させた後、酸化膜を埋め込んでもよく、埋め込み性の良いノンドープポリシリコンを埋め込んでもよく、不純物ドーピングをしたポリシリコンを埋め込んでトレンチＤＲＡＭのようにＭＯＳ容量としてもよい。
【００７３】
図１０に、第１の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の他の断面構造の模式図を示す。図１０（ａ）は表面照射（ＦＳＩ）型の場合であり、図１０（ｂ）は裏面照射（ＢＳＩ）型の場合である。図１０（ａ）に示す表面照射（ＦＳＩ）型の第１の実施形態に係る３Ｄ撮像ユニットは、マイクロレンズ２１５、配線層２１６、導波路２２１、光電変換部２１４、素子分離領域２１３、ｐ型エピタキシャル成長層２１２、ｐ＋基板２１１から構成される。又、図１０（ｂ）に示す裏面照射（ＢＳＩ）型の第１の実施形態に係る３Ｄ撮像ユニットは、マイクロレンズ２１５、導波路２２１、金属遮光膜２１７、素子分離領域２１３、光電変換部２１４、配線層２１６、ｐ型エピタキシャル成長層２１２、ｐ＋型基板または、ｐ＋型表面ピンニング層２２２から構成される。
【００７４】
図９の断面構造の説明で示したように、光電変換されて発生した光電子のクロストークを抑制するために、素子分離構造をとっても、高角度入射光によるクロストークは抑制できない。入射光によるクロストークは、マイクロレンズで、ある程度抑制されるが、このような大きなアスペクト比の構造では、十分に抑制できない。入射光のクロストークを抑制するためには、入射光をＳｉ基板にできるだけ垂直に照射するよう導くことが良く、図１０に示すような、導波路によるコリメータが効果的である。導波路には、例えば、屈折率２程度の窒化シリコン（ＳｉxＮy）を用いればよく、既存技術で製造可能である。なお、図１０では素子分離領域と導波路の組み合わせを用いているが、導波路のみを形成する構造でもよい。
【００７５】
図１１に、第１の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の更に他の断面構造の模式図を示す。図１１（ａ）は表面照射（ＦＳＩ）型の場合であり、図１１（ｂ）は裏面照射（ＢＳＩ）型の場合である。図１１（ａ）に示す表面照射（ＦＳＩ）型の第１の実施形態に係る３Ｄ撮像ユニットは、マイクロレンズ２１５、配線層２１６、導波路２２１、光電変換部２１４、素子分離領域２１３、ｐ型の第２エピタキシャル成長層２１２、ｐ型の第１エピタキシャル成長層２３１、ｐ＋基板２１１から構成される。又、図１１（ｂ）に示す裏面照射（ＢＳＩ）型の第１の実施形態に係る３Ｄ撮像ユニットは、マイクロレンズ２１５、導波路２２１、金属遮光膜２１７、素子分離領域２１３、光電変換部２１４、配線層２１６、ｐ型の第２エピタキシャル成長層２３２、ｐ型の第１エピタキシャル成長層２３１、ｐ＋型基板または、ｐ＋型表面ピンニング層２２２から構成される。
【００７６】
図９を用いて説明したように、光電変換されて発生した光電子のクロストークを抑制するために、素子分離構造をとっても、高角度入射光によるクロストークは抑制できない。図１０を用いて説明したように、入射光をＳｉ基板にできるだけ垂直に照射するよう導くために、導波路によるコリメータ構造をとることが、入射光のクロストーク抑制に効果的である。しかし、第１の実施形態に係る３Ｄ撮像ユニットにおいては、フォトダイオードから遠い領域には電界をかけられないため、発生した光電子は、拡散によるランダムウォークをし、信号として使えるフォトダイオードに到達するまでの時間が長くかかり、感度の低下や、距離精度の劣化をもたらす。拡散によるランダムウォークを抑制させるためには、Ｓｉ基板に電界をかけることがよく、図１１に示すような、基板に濃度差をつける構造が効果的である。
【００７７】
例えば、ｐ型の第１エピタキシャル成長層２３１には、１×１０１５／ｃｍ３のＳｉをエピタキシャル成長させ、ｐ型の第２エピタキシャル成長層２１２，２３２には、第１エピタキシャル成長層２３１よりも薄い１×１０１３／ｃｍ３の不純物密度のＳｉをエピタキシャル成長させてやれば、０．１Ｖ強の電界をかけることができ、ランダムウォークを抑制でき、信号として使えるフォトダイオードに到達するまでの時間が短くなり、感度の低下や、距離精度の劣化を防ぐことができる。
【００７８】
図１１（ａ）に示した第１エピタキシャル成長層２３１と第２エピタキシャル成長層２１２との積層ウェーハ及び図１１（ｂ）に示した第１エピタキシャル成長層２３１と第２エピタキシャル成長層２３２との積層ウェーハは、既存技術で製造可能である。さらに電圧をｐ＋基板にかける、即ちバックバイアスをかけることにより、ランダムウォークを抑制してもよい。なお、図１１では、２層積層エピタキシャル成長基板としているが、２層に限定する必要は無く、３層でも、もっと多層でもよい。又、図１１では、素子分離領域と導波路と積層基板の組み合わせを用いているが、積層基板のみを形成する構造でもよいし、積層基板と素子分離領域の組み合わせでもよいし、積層基板と導波路の組み合わせでもよい。
【００７９】
近年、特に２次元距離センサは、多画素化、高解像度化、即ち、画素の微細化が進んでいる。従来の３分岐型ロックインピクセルは、素子数が多く、微細化するにつれて、感度が落ち、素子の配置自体ができなくなるという問題がある。これに対し、第１の実施形態に係る３Ｄ撮像ユニットによれば、１つの光検出部ＰＤに対し、１つの転送トランジスタＧ１と１つの排出トランジスタＧＤを持つ１分岐型ロックインピクセルの簡単な構造により、精度の高い、微細画素距離センサが実現できる。特に、１分岐型ロックインピクセルの簡単な構造であるので、画素面積の縮小が可能になり、撮像画像の解像度が向上ずる。
【００８０】
（第２の実施形態）
第２の実施形態に係る３Ｄ撮像ユニットの構造は、図１〜５に示す、第１の実施形態に係る３Ｄ撮像ユニットの構造とほぼ同様である。第１の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置を駆動する際は、図６（ａ）に示すように、第１フレームの第１オンフレームと第２フレームの第２オンフレームの動作を交互に繰り返し行った。第１オンフレーム及び第２オンフレームのそれぞれで得られた信号データを、図２に示す記憶部１１の第１メモリ１１１及び第２メモリ１１２に格納した。これに対し、第２の実施形態に係る３Ｄ撮像ユニットにおいては、図１２（ａ）に示すように、第１フレーム（第１オンフレーム）、第２フレーム（第２オンフレーム）及び第３フレーム（オフフレーム）の動作を順に繰り返し行う。
【００８１】
「第１オンフレーム」及び「第２オンフレーム」は、第１の実施形態に係る３Ｄ撮像ユニットと同様に、それぞれ投影光を照射して、受信光により発生した光電子を電荷蓄積領域４３ａに蓄積するフレームである。第３フレームの「オフフレーム」は、投影光を照射しないで、光電子を電荷蓄積領域４３ａに蓄積するフレームである。このため、第２の実施形態に係る３Ｄ撮像ユニットは、第１の実施形態に係る３Ｄ撮像ユニットの記憶部１１の第１メモリ１１１及び第２メモリ１１２に加えて、第３フレームで得られた信号データを格納するための第３メモリを有する点が図２に示した構造とは異なる。
【００８２】
図１２は、第２の実施形態に係る３Ｄ画像生成方法を説明するタイミング図である。図１２（ａ）は、第１オンフレーム、第２オンフレーム及びオフフレームの動作を順に繰り返し行うことを示す。図１２（ｂ）は第１オンフレームのタイミング図、図１２（ｃ）は第２オンフレームのタイミング図、図１２（ｄ）はオフフレームのタイミング図であり、図１２（ｂ），（ｃ）は図６（ｂ），（ｃ）と同じ図である。第１オンフレーム及び第２オンフレームの第２の実施形態に係る３Ｄ撮像ユニットの動作は、第１の実施形態に係る３Ｄ撮像ユニットの動作と同様である。図１２（ｂ）に示すように、第１オンフレームでは、光投影時間Ｔ０のタイミングで投影光を出射する。パルス幅Ｔonの第１駆動信号Ｇ１のパルスのタイミングは光投影時間Ｔ０に同期し、第１取得達成期間τAA１で規定されて動作する。図１２（ｂ）に示すように、第１取得達成期間τAA1は第１電荷蓄積時間Ｔａ1と同じ値に設定できる（τAA１＝Ｔａ1）。投影光は、第１の実施形態と同様に、繰り返し周期時間（サイクルタイム）ＴＣで周期的に発光する。
【００８３】
図１２（ｃ）に示すように、第２オンフレームでは、第１オンフレームと同様に、光投影時間Ｔ０のタイミングで投影光を出射させる。第２オンフレームにおける第１駆動信号Ｇ１のパルスのタイミングは、光投影時間Ｔ０に同期した第２取得達成期間τAA2を規定するように決定され、パルス幅Ｔonの第１駆動信号Ｇ１が転送ゲート電極４２ａに印加される。第２取得達成期間τAA2は、投影光の立ち上がりから測られる時間であり、第２電荷蓄積時間Ｔａ2とは異なる時間である。図１２（ｃ）に示すように、第２電荷蓄積時間Ｔａ2は、排出トランジスタＧＤの排出ゲート電極４２ｂに印加されるパルスの立ち下がりを基礎として定義される。第２取得達成期間τAA2で取得された光電子は、電荷蓄積領域４３ａに蓄積される。図１２（ｃ）に示すタイミングで第１駆動信号Ｇ１を転送ゲート電極４２ａに印加することにより、第１駆動信号Ｇ１のパルスに合わせて電荷蓄積領域４３ａに第２取得達成期間τAA2で測定される光電子は、受信光が遅れた分、受信光により発生した光電子のうち、第１オンフレームで減少した分と同じ量だけ増加する。
【００８４】
図１２（ｄ）に示すように、第３フレームとなるオフフレームでは、投影光を出射させないで第１オンフレームと同じ動作をさせる。即ち、オフレームでは、投影光を出射させない状態で、第１駆動信号Ｇ１のパルスを第１取得達成期間τAA１で動作させる。オフレームでは投影光を出射させないため、電荷蓄積領域４３ａには、受信光以外の環境光及び暗電流等、距離測定には不要な電子のみが蓄積される。なお、第１オンフレーム、第２オンフレーム及びオフフレームの順序は、どのような順序であってもかまわない。
【００８５】
受信光以外の環境光及び暗電流等、距離測定に不要な電子は、第１オンフレーム及び第２オンフレームの電荷蓄積領域４３ａにも同様に蓄積されるため、第１オンフレーム及び第２オンフレームのそれぞれで得られた信号データに対して、オフフレームで得られた信号データは、不要な電子のみが蓄積されることにより、単純なオフセット成分となり、以下の式（３）によって、環境光等の影響を除外した正確な被写体距離測定が可能になる。
【００８６】
第１オンフレームにおいて取得され電荷蓄積領域４３ａに蓄積される電荷量をＱ２１、第２オンフレームにおいて取得され電荷蓄積領域４３ａに蓄積される電荷量をＱ２２、オフフレームにおいて取得され電荷蓄積領域４３ａに蓄積される電荷量をＱ２OFFとすると、
Ｌ＝ｃＴ０／２×Ｑ２２’／（Ｑ２１’＋Ｑ２２’）      …（３）
で求められる。ここで、Ｑ２１’＝Ｑ２１―Ｑ２OFF、Ｑ２２’＝Ｑ２２―Ｑ２OFFである。
【００８７】
図３１に示したような従来の固体撮像装置は、複数の振分ゲートを有していたが、第２の実施形態においては、１つの振分ゲートとなる転送トランジスタＧ１のみを有しており、第１オンフレーム、第２オンフレーム及びオフフレームのサイクル動作を繰り返すためには、蓄積時間以外に発生し光電変換部に収集された電荷を素早く排出する必要がある。この排出動作を行うためには、電源に接続された排出トランジスタＧＤをオンにすればよい。
【００８８】
このように、第２の実施形態に係る３Ｄ撮像ユニットにおいても、１つの光検出部ＰＤから、１つの振分ゲートとなる転送トランジスタＧ１を介して浮遊ドレイン領域ＦＤ１及び補助容量Ｃ１が接続することが可能であり、１つの排出トランジスタＧＤを介して電源ＶＤＤに接続されている構造を持つ１分岐型ロックインピクセルにより、精度の高い、微細画素距離センサが実現できる。
【００８９】
図１２（ｄ）は、第３フレームとなるオフフレームで第１オンフレームと同じ動作をさせる場合を示したが例示に過ぎない。投影光を出射させないオフフレームの動作は、第１オンフレームの動作と同じか又は第２オンフレームと同じ動作のいずれでも構わない。又、フレーム数が増加すると、動画特性が落ちる。環境光成分は、蓄積時間に比例するため、オフフレームは、例えば、繰り返し回数を減らしてもよく、その場合は、比例定数を加えるだけで補正が可能になる。このように、オフフレームの時間を短縮することで、高速化手段を行ってもよい。
【００９０】
オフフレームの動作を、第１オンフレーム、又は第２オンフレームの動作と同じにすると、同じ構成出力部によって環境光成分をオフセット成分として削除できるので、１フレーム内の違う出力でオフセットする時に必要なゲイン補正を無くすことができ、処理が軽くなる。
【００９１】
―第２の実施形態の第１変形例―
図１３は、第２の実施形態の第１変形例に係る３Ｄ画像生成方法を説明する図である。第２の実施形態の第１変形例に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素構造は、図４に示した第１の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素構造と同じであり、開口部以外を遮光されたフォトダイオード（ＰＤ）からなる光電変換部４１に１つの転送トランジスタＧ１が繋がった１分岐型ロックインピクセルである。転送トランジスタＧ１は浮遊ドレイン領域ＦＤ１を有し、浮遊ドレイン領域ＦＤ１には補助容量Ｃ１及びソースフォロア型の増幅トランジスタＳＦ１が配線等を介して繋がっている。
【００９２】
第２の実施形態の第１変形例に係る３Ｄ画像生成方法は、図１２に示した第２の実施形態と基本的な技術的思想は同じであり、第１フレームでは、投影光を、第１フレームの第１取得達成期間のタイミングに同期させて投影し、転送トランジスタＧ１も第１フレームの第１取得達成期間のタイミングに同期させる。第２フレームでは、投影光を、第１フレームの第１取得達成期間のタイミングに同期させて投影するが、転送トランジスタＧ１は第２フレームで設定されている第２取得達成期間のタイミングに同期させ、第３フレームでは、投影光を出射させない。なお、第１フレーム、第２フレーム及び第３フレームの順序は、第１の実施形態同様、どのような順であってもかまわない。
【００９３】
第２の実施形態の第１変形例と、第２の実施形態との違いは、各フレームで得られた画像から、距離画像のオフセット成分、即ち環境光等の悪影響を除外する方法にある。より具体的には、第２の実施形態の第１変形例では、投影光無し（第１オフフレーム）、投影光あり（第１オンフレーム）に設定された第１取得達成期間に転送トランジスタＧ１を同期、投影光あり（第２オンフレーム）で設定されている第２取得達成期間に転送トランジスタＧ１を同期、投影光無し（第２オフフレーム）の４フレームを一組とし、環境光等の悪影響を除外するためのフレームを第２の実施形態の１つではなく、前後２つを使うことにある。
【００９４】
その際、図１３に示すように、オフフレームは、オフフレームの前の第１及び第２オンフレームのセット及びオフフレームの後の第１及び第２オンフレームのセットの両方に対して使用される。このとき、例えば、図１３に示した様に、第１及び第２オンフレームのセットの前のオフフレームと、第１及び第２オンフレームのセットの後のオフフレームとの平均値を、環境光等の悪影響を除外するために用いれば、その時間変動が、より正確に検出でき、環境光が強いときや、変化があるときの距離測定の精度をあげることができる。ここで、投影光を出射させないフレームの動作は、第２の実施形態と同様、さまざまな時間短縮方法を行っても良い。
【００９５】
−第２の実施形態の第２変形例−
図１４は、第２の実施形態の第２変形例に係る３Ｄ画像生成方法を説明する図である。第２の実施形態の第２変形例に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素構造は、第２の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素構造と同じ１分岐型ロックインピクセルであり、１電荷蓄積領域（浮遊ドレイン領域）と１電荷排出部（ドレイン）を有する。従来の固体撮像装置では、１つのフレーム内で、３つの振り分けゲートのデータ、即ち、環境光等の悪影響を除外した距離画像が得られたが、第２の実施形態に係る３Ｄ撮像ユニットでは、３つのフレームを用いて、従来の固体撮像装置の機能を実現する場合について説明した。
【００９６】
第２の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置を駆動では、各々のフレームレートを変化させなければ、トータルのフレームレートが１／３となり、動解像度が低下してしまう。第２の実施形態の第２変形例では、上記問題に対し、図１４（ａ）に示すように、１つの投影光無しのオフフレームに対して、２組の投影光ありのオンフレームのセットを連続した駆動にし、１つのオフフレームを後続の２組のオンフレームの環境光等の悪影響を除外するためのフレームとして用いることにより、第２の実施形態の６／５倍という速いフレームレートで、従来技術の２／５倍という遅いフレームレートで動作させつつ、従来技術の機能が実現できる。即ち、動解像度の低下を抑制できる。
【００９７】
図１４（ｂ）に示すように、投影光ありの第１オンフレームと第２オンフレームのセットの連続は、３組（３セット）にしても良い。第１オンフレームと第２オンフレームのセットが、３セット連続する駆動の場合、第２の実施形態の９／７倍という速いフレームレートで、従来技術の、３／７倍という遅いフレームレートで動作させつつ、従来技術の機能が実現できる。即ち、Ｊを２以上の自然数として、Ｊ個の連続した投影光ありのオンフレームとする駆動としてもよく、その場合、第２の実施形態の３Ｊ／(２Ｊ＋１)倍という速いフレームレートで、従来技術よりは、Ｊ／(２Ｊ＋１）倍という遅いフレームレートで動作させつつ、従来技術の機能が実現できる。即ち、動解像度の低下を抑制できる。なお、第２の実施形態と同様、オフフレームは、オンフレームの前でも、後でも構わない。又、オフフレームの動作は、第２の実施形態と同様、さまざまな時間短縮方法を行っても良い。
【００９８】
―第２の実施形態の第３変形例−
図１５は、第２の実施形態の第３変形例に係る３Ｄ画像生成方法を説明する図である。第２の実施形態の第３変形例は、第２の実施形態の第１変形例と、第２の実施形態の第２変形例との組み合わせであり、第２の実施形態よりも動解像度の低下を抑制しつつ、第２の実施形態及び第２の実施形態の第２変形例より、環境光が強いときや、変化があるときの距離測定の精度をあげることができる。
【００９９】
（第３の実施形態）
第３の実施形態に係る３Ｄ撮像ユニットの構造は、第１の実施形態に係る３Ｄ撮像ユニットの構造とほぼ同様であるが、図１６に示すように、２つの電荷振分機構である第１転送トランジスタＧ１及び第２転送トランジスタＧ２を備える点が図４に示した構造とは異なる。図１６では、第１転送トランジスタＧ１及び第２転送トランジスタＧ２のそれぞれが第１転送ゲート電極１５２ａ及び第２転送ゲート電極１５２ｂを有するものとして平面パターンが例示されている。第３の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素は２つの電荷振分機構に加え、１つの電荷排出機構を構成する排出トランジスタＧＤを有している。排出トランジスタＧＤは、排出ゲート電極１５２ｃを有するものとして図１６に示されている。
【０１００】
第１の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置を駆動する際は、図６（ａ）に示すように、第１オンフレーム（ＯＮ１フレーム）と第２オンフレーム（ＯＮ２フレーム）の動作を交互に繰り返し行う。第１オンフレーム及び第２オンフレームのそれぞれで得られた信号データを、図２に示す記憶部１１の第１メモリ１１１及び第２メモリ１１２に格納する。第３の実施形態に係る３Ｄ撮像ユニットにおいては、図１８（ａ）に示すように、オンフレームとオフフレームの動作を交互に繰り返し行う。
【０１０１】
図１８（ｂ）（ｃ）に示すように、オンフレーム、オフフレームのそれぞれで、第１駆動信号Ｇ１のパルスに応じたデータ及び第２駆動信号Ｇ２のパルスに応じたデータが得られ、得られたデータはすべて記憶部１１のメモリに格納される。このため、第３の実施形態に係る３Ｄ撮像ユニットは、第１の実施形態に係る３Ｄ撮像ユニットの記憶部１１のオンフレームで得られた信号データを格納するための第１メモリ１１１及び第２メモリ１１２に加えて、オフフレームで得られた信号データを格納するための第３メモリ及び第４メモリを有する特徴が第１の実施形態に係る３Ｄ撮像ユニットとは異なる。
【０１０２】
図１６に示す第３の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素平面図と、図３１に示す従来技術に係る画素平面図は、互いに同じレイアウトルールで描画されているが、図１６に示す画素平面図の面積は図３１に示す画素平面図の面積の２分の１の大きさである。図１６及び図１７に示すように、第３の実施形態に係る３Ｄ撮像ユニットにおいては、第１転送トランジスタＧ１には、図４及び図５に示した第１の実施形態に係る３Ｄ撮像ユニットの転送トランジスタＧ１と同様に、第１電荷蓄積領域１５３ａ、第１補助容量Ｃ１及び第１増幅トランジスタＳＦ１が配線等を介して接続されている。更に、第３の実施形態に係る３Ｄ撮像ユニットにおいては、第２転送トランジスタＧ２にも、第２電荷蓄積領域１５３ｂ、第２補助容量Ｃ２及び第２増幅トランジスタＳＦ２が配線等を介して接続されている。
【０１０３】
第３の実施形態に係る３Ｄ撮像ユニットの第１補助容量Ｃ１及び第２補助容量Ｃ２は、ＭＯＳ容量素子として付加してもよい。ただし、本質的には、ｐｎ接合容量、配線間容量等の寄生容量で代用できるので、意図的な素子の付加がなくてもよい。又、第１補助容量Ｃ１及び第２補助容量Ｃ２は、第１の実施形態に係る３Ｄ撮像ユニットの補助容量（第１補助容量）Ｃ１とほぼ同じサイズのＭＯＳ容量となるようレイアウトされている。
【０１０４】
光電変換部１５１の受光領域で発生した光電子は、第１転送ゲート電極１５２ａに第１転送トランジスタＧ１を導通状態にするゲート電圧を印加すると、光電子は第１電荷蓄積領域１５３ａに移動する。一方、第２転送ゲート電極１５２ｂに第２転送トランジスタＧ２を導通状態にするゲート電圧を印加すると、光電変換部１５１の受光領域で発生した光電子は、第２電荷蓄積領域１５３ｂに移動する。第３の実施形態に係る３Ｄ撮像ユニットとほぼ同じ位置からパルス光を出射し、対象物からの反射光を撮像素子で受光する点、投影光は、例えば、発光ダイオード（ＬＥＤ）や半導体レーザ（ＬＤ）を用い、例えばｎｓオーダーからｆｓオーダーの極短時間のパルス光を投影させる点は、第１の実施形態に係る３Ｄ撮像ユニットの場合と同様である。
【０１０５】
図１８は、第３の実施形態に係る３Ｄ画像生成方法を説明するタイミング図である。図１８（ａ）は、第１フレーム（オンフレーム）と第２フフレーム（オフフレーム）の動作を交互に繰り返し行うことを示し、図１８（ｂ）はオンフレームのタイミング図であり、図１８（ｃ）はオフフレームのタイミング図である。図１８（ｂ）に示すように、オンフレームでは、光投影時間Ｔ０のタイミングで投影光を出射させ、パルス幅Ｔonの第１駆動信号Ｇ１のパルスのタイミングは第１取得達成期間τAA１で規定されて第１転送ゲート電極１５２ａに印加される。第１取得達成期間τAA1は第１電荷蓄積時間Ｔａ1と同じ値に設定できる（τAA１＝Ｔａ1）。第１取得達成期間τAA1で取得された光電子は、第１電荷蓄積領域１５３ａに蓄積される。
【０１０６】
更に図１８（ｂ）に示すように、オンフレームでは、第２駆動信号Ｇ２のパルスのタイミングが光投影時間Ｔ０に同期した第２取得達成期間τAA2を規定するように決定される。そして、パルス幅Ｔonの第２駆動信号Ｇ２が、第２取得達成期間τAA2のタイミングで第２転送ゲート電極１５２ｂに印加される。第２取得達成期間τAA2は、投影光の立ち上がりから測られる時間である。第２取得達成期間τAA2で取得された光電子は、第２電荷蓄積領域１５３ｂに蓄積される。図１8（ｂ）に示すタイミングで第２電荷蓄積領域１５３ｂに蓄積される光電子は、受信光が遅れた分、受信光により発生した光電子のうち、第１取得達成期間τAA1で取得できなかった分と同じ量だけ増加する。
【０１０７】
第２駆動信号Ｇ２のパルスのタイミングは、受信光が完全に到達した時間を含むような長さの第２取得達成期間τAA2に同期させる。図１８（ｂ）に示すタイミングにすることにより、第１駆動信号Ｇ１のパルスに合わせて第１電荷蓄積領域１５３ａへ、第２駆動信号Ｇ２のパルスに合わせて第２電荷蓄積領域１５３ｂへと、受信光の遅れ、即ち被写体距離に応じて、各々のゲートに対応した蓄積電荷量に違いが生じ、被写体距離が求められる。
【０１０８】
図１８（ｃ）に示すように、第２フレームとなるオフフレームでは、投影光を出射させないで第１オンフレームと同じ動作をさせる。即ち、オフレームでは、投影光を出射させない状態で、第１駆動信号Ｇ１のパルスを第１取得達成期間τAA１で動作させ、第２駆動信号Ｇ２のパルスを第２取得達成期間τAA2で動作させる。オフレームでは投影光を出射させないため、第１電荷蓄積領域１５３ａ及び第２電荷蓄積領域１５３ｂには、受信光以外の環境光及び暗電流等、距離測定には不要な電子のみが蓄積される。
【０１０９】
なお、第１フレームと第２フレームは、順序が逆、即ち第１フレームが投影光を出射させないオフフレームの動作で、第２フレームが投影光を出射させるオンフレームの動作であってもかまわない。第３の実施形態に係る３Ｄ撮像ユニットにおいては、オフフレームで第１電荷蓄積領域１５３ａ及び第２電荷蓄積領域１５３ｂに蓄積され、受信光以外の環境光及び暗電流等、距離測定には不要な電子は、オンフレームの第１電荷蓄積領域１５３ａ及び第２電荷蓄積領域１５３ｂにも蓄積されるため、オンフレームの各々の出力に対して、オフフレームの出力は、単純なオフセット成分となり、以下の式（４）を用いることにより、環境光等の影響を除外した正確な被写体距離測定が可能になる。
【０１１０】
オンフレームにおいて取得され第１電荷蓄積領域１５３ａに蓄積される電荷量をＱ３１、第２電荷蓄積領域１５３ｂに蓄積される電荷量をＱ３２、オフフレームにおいて取得され第１電荷蓄積領域１５３ａに蓄積される電荷量をＱ３1OFF、オフフレームにおいて取得され第２電荷蓄積領域１５３ｂに蓄積される電荷量をＱ３2OFFとすると、
Ｌ＝ｃＴ０／２×Ｑ３２’／（Ｑ３１’＋Ｑ３２’）      …（４）
で求められる。ここで、Ｑ３１’＝Ｑ３１―Ｑ３1OFF、Ｑ３２’＝Ｑ３２―Ｑ３2OFFである。
【０１１１】
オンフレームで、やや遠い被写体になると、第２電荷蓄積領域１５３ｂに入るべき光電子が、次の繰り返し周期時間ＴＣの周期の第１電荷蓄積領域１５３ａに入ってしまう。第１電荷蓄積領域１５３ａも信号成分であるため、繰り返し周期時間ＴＣを超えて第１電荷蓄積領域１５３ａに遅れた受信光成分が入ると、距離精度が大きく劣化する。そこで、第２電荷蓄積領域１５３ｂの蓄積時間の後に、電源にドレイン（電荷排出領域）が接続された排出トランジスタＧＤをオンにすれば、遅れた受信光成分は排出され、更に次の繰り返し周期時間ＴＣの周期の第１電荷蓄積領域１５３ａには遅れた受信光成分が入らなくなり、距離精度が良好に保てる。
【０１１２】
このように、１つの光検出部ＰＤに２つの振り分けゲートとしての第１転送トランジスタＧ１、第２転送トランジスタＧ２、及び１つの排出トランジスタＧＤが接続されている簡単な構造を持つ２分岐型ロックインピクセルにより画素面積を縮小し、精度の高い、微細画素距離センサが実現できる。第３の実施形態に係る３Ｄ撮像ユニットにおいては、１つの光検出部ＰＤから、第１転送トランジスタＧ１及び第２転送トランジスタＧ２をそれぞれ介して２つの第１浮遊ドレイン領域ＦＤ１及び第２浮遊ドレイン領域ＦＤ２並びに２つの第１補助容量Ｃ１及び第２補助容量Ｃ２が接続され、１つの排出トランジスタＧＤを介して、１つの光検出部ＰＤから、電源ＶＤＤに接続されたドレイン（電荷排出領域）を持つ２分岐型ロックインピクセルの構造をなし、画素面積の縮小化を実現し、精度の高い測距とともに、解像度の高い画像が提供できる。
【０１１３】
第３の実施形態に係る３Ｄ撮像ユニットにおいて、投影光を出射させないオフフレームの動作は、オンフレームと同じにするのが良いが、フレーム数が増えると、動画特性が落ちる。環境光成分は、蓄積時間に比例するため、例えば、オフフレームにおいて、繰り返し回数を減らす、又は、第１転送ゲート電極１５２ａ又は第２転送ゲート電極１５２ｂのいずれかのみを駆動させる、等を行い、比例定数を加えるのみで補正が可能となる。この他にも、例えば、オフフレームの時間を短縮する等、様々な高速化手段を行ってもよい。
【０１１４】
又、第３の実施形態に係る３Ｄ撮像ユニットにおいては、オフフレームの動作を、オンフレームと同じにすると、オンフレームとオフフレームにおけるそれぞれの第１電荷蓄積領域１５３ａに蓄積された電荷量同士、第２電荷蓄積領域１５３ｂに蓄積された電荷量同士によって環境光成分をオフセット成分として削除できるので、従来技術におけるように、１フレーム内の異なる２つの第１浮遊ドレイン領域ＦＤ１及び第２浮遊ドレイン領域ＦＤ２同士でオフセットする時に必要なゲイン補正を無くすことができ、処理が軽くなる。
【０１１５】
図１９は、第１の実施形態、第３の実施形態、従来技術のそれぞれに係る固体撮像装置の画素平面図を比較する図であり、図１９（ａ）は第１の実施形態、（ｂ）は第３の実施形態、（ｃ）は従来の固体撮像装置の画素平面図である。それぞれの１画素の１辺の長さは、図１９（ａ）は３．２μｍ、（ｂ）は４．５μｍ、（ｃ）は６．４μｍである。第１の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置は、従来の固体撮像装置とは同じレイアウトルールで、画素の面積は４分の１であり、同じ画素アレイの面積中に、４倍の画素数が集積できる。第３の実施形態に係る撮像ユニッの要素である固体撮像装置は、従来の固体撮像装置とは同じレイアウトルールで、画素の面積は２分の１であり、同じ画素アレイの面積中に、２倍の画素数が集積できる。
【０１１６】
アスペクト比が大きくなると、画素間のクロストークが増加し、画素を微細にして画素数を増やしても、所望の解像度が得られなくなる。アスペクト比は１以下が望ましく、特別な施策、具体的にはプロセス的な施策を施さずにクロストークが許容できる範囲は、必要な仕様により異なり、一概に決定することは困難であるが、せいぜいアスペクト比２程度である。つまり、図８においては、波長８５０ｎｍの赤外光、１０μｍの厚さのときの従来技術のみが、特別な施策、具体的にはプロセス的な施策を施さずにクロストークが許容できる範囲となり、その他の条件では、クロストークが許容できないという問題がある。第３の実施形態に係る３Ｄ撮像ユニットの要素である固体撮像装置においても、図９〜図１１に示したような深いトレンチを用いたＤＴＩ構造等の施策によって、素子分離領域２１３を構成すれば、画素面積が微細になっても、クロストークを防止することが可能である。
【０１１７】
−第３の実施形態の第１変形例−
図２０は、第３の実施形態の第１変形例に係る３Ｄ画像生成方法を説明する図である。第３の実施形態の第１変形例に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素構造は、図１６に示した第３の実施形態に係る３Ｄ撮像ユニットと同じであり、開口部以外を遮光された光電変換部に２つの振り分けゲートとして第１転送トランジスタＧ１及び第２転送トランジスタＧ２が繋がっている２分岐型ロックインピクセルである。第１転送トランジスタＧ１は第１浮遊ドレイン領域ＦＤ１を有し、第１浮遊ドレイン領域ＦＤ１には、第１補助容量Ｃ１及び第１増幅トランジスタＳＦ１のゲート電極が配線等を介して繋がっている。第２転送トランジスタＧ２は第２浮遊ドレイン領域ＦＤ２を有し、第２浮遊ドレイン領域ＦＤ２には、第２補助容量Ｃ２ 及び第２増幅トランジスタＳＦ２が配線等を介して繋がっている。
【０１１８】
第３の実施形態の第１変形例に係る３Ｄ画像生成方法も、第３の実施形態に係る３Ｄ撮像ユニットと同じであり、第１フレーム（オンフレーム）では、投影光を第１フレームの第１取得達成期間τAA1及び第２取得達成期間τAA2に同期させ、第２フレーム（オフフレーム）では、投影光を出射させない。なお、第１の実施例同様、第１フレームと第２フレームは、順序が逆、即ち、第１フレームが投影光を出射させない動作で、第２フレームが投影光を出射させる動作であってもかまわない。
【０１１９】
第３の実施形態の第１変形例に係る３Ｄ撮像ユニットと、第３の実施形態に係る３Ｄ撮像ユニットとの違いは、各フレームで得られた画像から、距離画像のオフセット成分、即ち環境光等の悪影響を除外する方法にある。より具体的には、第３の実施形態の第１変形例では、投影光無し、投影光あり、投影光無しの３フレームを一組としている。そして、環境光等の悪影響を除外するためのフレームを第３の実施形態の１つではなく、投影光ありのオンフレームの前後２つの投影光なしのオフフレームを使うことにある。
【０１２０】
その際、図２０に示すように、投影光無しのオフフレームは、前後の投影光ありのオンフレームの両方に対して使用される。このとき、例えば、図２０に示した様に、オンフレームの前後の２つのオフフレームの平均値を、環境光等の悪影響を除外するために用いる。オフフレームの平均値を用いれば、その時間変動が、より正確に検出でき、環境光が強いときや、変化があるときの距離測定の精度をあげることができる。第３の実施形態の第１変形例に係る３Ｄ撮像ユニットにおける、投影光を出射させないオフフレームの動作は、第３の実施形態と同様、さまざまな時間短縮方法を行っても良い。
【０１２１】
−第３の実施形態の第２変形例−
図２１は、第３の実施形態の第２変形例に係る３Ｄ画像生成方法を説明する図である。第３の実施形態の第２変形例に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素構造は、第３の実施形態に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素構造と同じ２分岐型ロックインピクセルであり、２つの電荷蓄積領域（浮遊ドレイン領域）と１つの電荷排出部（ドレイン）を有している。従来の固体撮像装置では、１つのフレーム内で、３つの振り分けゲートのデータ、即ち、環境光等の悪影響を除外した距離画像が得られたが、第３の実施形態に係る３Ｄ撮像ユニットでは、２つのフレームを用いて、従来技術と等価な機能を実現している。第３の実施形態における駆動では、各々のフレームレートを変化させなければ、トータルのフレームレート(単位時間あたりのコマ数)が１／２となり、動解像度が低下してしまう。
【０１２２】
第３の実施形態の第２変形例では、上記問題に対し、図２１（ａ）に示すように、１つのオフフレームに対して、２つのオンフレームを連続した駆動にし、１つのオフフレームを後続の２つのオンフレームの環境光等の悪影響を除外するためのフレームとして用いることにより、第３の実施形態の４／３倍という速いフレームレートで、従来技術の２／３倍という遅いフレームレートで動作させつつ、従来例の機能が実現できる。即ち、動解像度の低下を抑制できる。
【０１２３】
図２１（ｂ）に示すように、オンフレームの連続は、３つにしても良い。３つの連続したオンフレームとする駆動の場合、実施例１の３／２倍という速いフレームレートで、従来技術の３／４倍という遅いフレームレートで動作させつつ、従来例の機能が実現できる。即ち、Ｊ(２以上の自然数)個の連続したオンフレームとする駆動としてもよく、その場合、第３の実施形態の２Ｊ／(Ｊ＋１)倍という速いフレームレートで、従来例よりは、Ｊ／(Ｊ＋１）倍という遅いフレームレートで動作させつつ、従来例の機能が実現できる。即ち、動解像度の低下を抑制できる。なお、第３の実施形態同様、オフフレームは、オンフレームの前でも、後でも構わない。又、オフフレームの動作は、第３の実施形態と同様、さまざまな時間短縮方法を行っても良い。
【０１２４】
−第３の実施形態の第３変形例−
図２２は、第３の実施形態の第３変形例に係る３Ｄ画像生成方法を説明する図である。第３の実施形態の第３変形例は、第３の実施形態の第１変形例と、第３の実施形態の第２変形例との組み合わせであり、第３の実施形態よりも動解像度の低下を抑制しつつ、第３及び第３の実施形態の第２変形例より、環境光が強いときや、変化があるときの距離測定の精度をあげることができる。
【０１２５】
（その他の実施形態）
上記のように、本発明は第１〜第３の実施形態及びそれらの変形例によって記載したが、この開示の一部をなす論述及び図面は本発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。第２の実施形態の第２及び第３変形例並びに第３の実施形態の第２及び第３変形例に係る３Ｄ撮像ユニットの要素である固体撮像装置を駆動は、本発明の基本となる、第１の実施形態、第２の実施形態、第２の実施形態の第１変形例、第３の実施形態、第３の実施形態の第１変形例に係る３Ｄ撮像ユニットの要素である固体撮像装置を駆動よりも動解像度を上げる駆動であるが、その駆動は、環境光等の変化に対して、距離精度はやや劣る。
【０１２６】
即ち、通常は、第１の実施形態、第２の実施形態、第２の実施形態の第１変形例、第３の実施形態、第３の実施形態の第１変形例に係る３Ｄ撮像ユニットの要素である固体撮像装置の基本駆動を行い、動解像度を上げたい時には、第２の実施形態の第２及び第３変形例並びに第３の実施形態の第２及び第３変形例に係る３Ｄ撮像ユニットの要素である固体撮像装置の動解像度を上げる駆動にすれば良い。これらは、例えば、図２６のような撮像素子を搭載したカメラのモードスイッチにより、撮影者が、環境を見、選択すれば実現可能である。
【０１２７】
例えば、基本駆動と動解像度を上げる駆動の選択を、撮影者による選択ではなく、自動で行うような代替実施の形態も可能である。図２３に、その他の実施形態に係る３Ｄ画像生成の動作の一例の流れの概略を説明するフローチャートを示す。図２３のステップＳ３１１において、「基本駆動」に設定する。ここで、「基本駆動」とは、２分岐型ロックインピクセルの場合ならば、第３の実施形態や、第３の実施形態の第１変形例であり、１分岐型ロックインピクセルの場合ならば、第１の実施形態や、第２の実施形態、第２の実施形態の第１変形例である。
【０１２８】
ステップＳ３１２において、設定された「基本駆動」で「距離測定」を行い、引き続きステップＳ３１３において、「環境光画像を記憶」し、ステップＳ３１４において、「距離画像出力」を行う。ここで、「環境光画像を記憶」は、図２３のフローチャートの例では、環境光出力を元に判断するためであるが、環境光画像だけに限らず、距離画像、各タップの画像等を記憶しても良い。
【０１２９】
次に、ステップＳ３１５において、「前フレームの環境光画像との差を比較して、その差が、あらかじめ決められたしきい値よりも小さいかどうか」をチェックする。差をチェックして、差が小さいとき（Ｙｅｓ）は、環境の変化が少ないと判断し、環境光画像を取得するフレームを減らす、ステップＳ３１６の「高速駆動に設定」変更し、差が大きいとき（Ｎｏ）は、環境の変化が大きいと判断し、環境光画像を取得するフレームと、環境光を含む距離画像を取得するフレームが一対になる、ステップＳ３１１の「基本駆動に設定」変更し、次の撮像を行う。ここで、ステップＳ３１５において、立ち上がり直後は、記憶画像が無いため、そのまま「Ｎｏ」として、次のフレームの撮像をしても良いし、前の立ち下がり時に記憶した環境光画像と比較しても良い。
【０１３０】
図２３のフローチャートの「高速駆動」とは、２分岐ロックインピクセルの場合ならば、第３の実施形態の第２変形例や、第３変形例であり、１分岐ロックインピクセルの場合ならば、第２の実施形態の第２変形例や、第３変形例である。又、「高速駆動に設定」変更する場合は、オンフレームの連続数を、あらかじめ決めて固定してもよいし、じょじょに連続数を増やしていく駆動としてもよい。以上の動作により、通常は、基本駆動を行い、動解像度を上げたい時には、動解像度を上げる駆動にする駆動選択を、撮影者による手動選択ではなく、撮像素子を搭載したカメラによる自動選択で行うことができる。
【０１３１】
図２７には比較例として、７分岐・１排出部型のロックインピクセルの平面パターンを示す。図２７では、図示していない遮光膜によって開口部以外を遮光された穴あき型の光電変換部３２１に８つのＭＯＳゲートである第１転送トランジスタＧ１、第２転送トランジスタＧ２、第３転送トランジスタＧ３、第４転送トランジスタＧ４、第５転送トランジスタＧ５、第６転送トランジスタＧ６、第７転送トランジスタＧ７と排出トランジスタＧＤが繋がっている。８つのＭＯＳゲートのうちの第１転送トランジスタＧ１〜第７転送トランジスタＧ７には、第１浮遊ドレイン領域ＦＤ１〜第７浮遊ドレイン領域ＦＤ７、と補助容量(図示なし)、及び、ソースフォロア型の増幅トランジスタ(図示なし)が配線等を介して繋がっている。残りの１つの電荷排出機構を構成する排出トランジスタＧＤのドレイン（電荷排出領域）は、電源ＶＤＤに接続されている。
【０１３２】
光電変換部で発生し、収集された光電子は、光電変換部につながった第１転送トランジスタＧ１〜第７転送トランジスタＧ７の振り分けゲートのうちの一つ、例えば第１転送トランジスタＧ１に、ハイレベルを与えられた場合は、第１浮遊ドレイン領域ＦＤ１に光電子が移動し、同様に第２転送トランジスタＧ２、第３転送トランジスタＧ３、第４転送トランジスタＧ４、第５転送トランジスタＧ５、第６転送トランジスタＧ６、第７転送トランジスタＧ７に、ハイレベルを与えると光電変換部から第２浮遊ドレイン領域ＦＤ２、第３浮遊ドレイン領域ＦＤ３、第４浮遊ドレイン領域ＦＤ４、第５浮遊ドレイン領域ＦＤ５、第６浮遊ドレイン領域ＦＤ６、第７浮遊ドレイン領域ＦＤ７に光電子が移動する。
【０１３３】
図２８に示すように、被写体が比較的近い場合には、投影光を出射した時間から遅延時間Ｔdnだけ遅れ、比較的遠い場合にはＴdfだけ遅れる。投射光の発光時間(Ｔ０)と、第１転送トランジスタＧ１〜第７転送トランジスタＧ７に応じたオン／オフ電圧パルスを同期させる。例えば、被写体が比較的近い場合には、第２転送トランジスタＧ２のパルスに合わせて第２浮遊ドレイン領域ＦＤ２へ、第３転送トランジスタＧ３のパルスに合わせて第３浮遊ドレイン領域ＦＤ３へと、反射光の遅れ(Ｔdn)により、各々の浮遊ドレイン領域に蓄積される電荷に違いが生じ、被写体距離が求められる。同様に、被写体が比較的遠い場合には、第５転送トランジスタＧ５のパルスに合わせて第５浮遊ドレイン領域ＦＤ５へ、第６転送トランジスタＧ６のパルスに合わせて第６浮遊ドレイン領域ＦＤ６へと、反射光の遅れ(Ｔdf)により、各々の浮遊ドレイン領域に蓄積される電荷に違いが生じ、被写体距離が求められる。
【０１３４】
図２８に示すように、振り分けゲート数を増加させると、電荷蓄積時間(Ｔa)が同じ周期であれば、振り分けゲート数が多くなった分、長い距離の測定が可能になり、同じ距離を測る場合は、Ｔa時間を短く設定すれば、振り分けゲート数が多くなった分、測定距離の分解能をあげることができる。図２４は、図１６に示した２分岐型ロックインピクセルを用いて、図２８に示した比較例と同等な機能を持たせる駆動方法を示している。
【０１３５】
図２４（ａ）及び（ｂ）のそれぞれの上段に記載した（１）〜（４）は、その下に位置する第１オンフレーム１〜第４オンフレームの位置を示す。図２４（ｃ）のタイミング図の縦方向に記載した（１）〜（４）の数字は第１オンフレーム１〜第４オンフレームに対応する。図２４（ａ）は、白抜きのオフフレームと網掛けのオンフレームを交互に連続した駆動とし、オフフレームをオンフレームの環境光等の悪影響を除外するためのフレームとして用いる例である。図２４（ｂ）は、１つの白抜きのオフフレームに対して、４つの網掛けの第１オンフレーム１〜第４オンフレームを連続した駆動にし、１つのオフフレームを後続の４つの第１オンフレーム１〜第４オンフレームの環境光等の悪影響を除外するためのフレームとして用いる。図２４のように、４つの第１オンフレーム１〜第４オンフレームを組み合わせれば、８つの浮遊ドレイン領域と１つの電荷排出部（ドレイン）を有する８分岐型ロックインピクセルと同等な機能が実現できる。さらに、この方法を用いれば、原理上は、無限に分岐数（＝タップ数）を増やせる。
【０１３６】
図２５は、図４に示した１分岐型ロックインピクセルを用いて、図２８に示した比較例と同等な機能を持たせる他の実施形態に係る３Ｄ画像生成方法を示している。図２５（ａ）及び（ｂ）に網掛けのセルとして示した第１オンフレーム（ＯＮ１）〜第４オンフレーム（ＯＮ４）及びハッチングを施したセルとして示した第５オンフレーム（ＯＮ５）〜第７オンフレーム（ＯＮ７）は、図２５（ｃ）の第１オンフレーム（ＯＮ１）〜第７オンフレーム（ＯＮ７）に対応する。図２５（ａ）は、白抜きのオフフレームと第１オンフレーム（ＯＮ１）〜第７オンフレーム（ＯＮ７）を交互に連続した駆動とする例である。
【０１３７】
図２５（ｂ）は、１つのオフフレームに対して、第１オンフレーム（ＯＮ１）〜第７オンフレーム（ＯＮ７）の連続セルを、２組タンデムに連続した駆動にし、１つのオフフレームを後続の２組の第１オンフレーム（ＯＮ１）〜第７オンフレーム（ＯＮ７）の連続セルの環境光等の悪影響を除外するためのフレームとして用いる。図２５のように、８組のフレームを組み合わせれば、７つの浮遊ドレイン領域と１つの電荷排出部（ドレイン）を有した７分岐型ロックインピクセルと同等な機能が実現できる。さらに、この方法を用いれば、原理上は、無限にフレーム数を増やして、１分岐型ロックインピクセルを用いて等価的なタップ数を増やせる。
【０１３８】
即ち、Ｐを４以上の正の整数として、分配器１１３と距離演算部１２の間に、Ｐ個のメモリを並列に有する構造によって、フレーム数をＰ個とすることができる。この場合、図１に示した駆動部１５は、（Ｐ−１）個のフレームにおいて、それぞれ異なる取得達成期間のタイミングで電荷振分機構を駆動して（Ｐ−１）個のアナログ信号を生成し、１個のフレームで、投影光のパルスを出射しない状態で、（Ｐ−１）個のフレームの内のいずれかのフレームの取得達成期間と同じタイミングで電荷振分機構を駆動して１個のアナログ信号を生成し、電荷振分機構の駆動終了後、電荷排出機構を駆動する。そして、図１に示したカラム処理回路（２３，２４）が、Ｐ個のアナログ信号をそれぞれ独立に読み出し、Ｐ個のデジタルデータに変換し、分配器１１３が、Ｐ個のデジタルデータを互いに弁別して出力し、Ｐ個のメモリが、弁別されたＰ個のデジタルデータを格納し、距離演算部１２が、Ｐ個のメモリから読み出されたＰ個のデジタルデータを対象物までの距離の算出の補正データとして用いることができる。
【０１３９】
本発明の第１〜第３の実施形態及びそれらの変形例に係る３Ｄ撮像ユニットの電荷振分機構や電荷排出機構の構造は、ラテラル電界制御電荷変調素子（ＬＥＦＭ）や絶縁ゲートトランジスタの電極構造等、信号電荷を輸送や転送ができる機能を備える構成であれば、上述した転送トランジスタの構造に限定されない。本発明の第１〜第３の実施形態及びそれらの変形例に係る３Ｄ撮像ユニットの光電変換部は、ｐｎ接合型のフォトダイオードや、透明電極をゲート電極としたＭＯＳ構造を用いた光電変換部を有するフォトゲートの構造に限定されるものではなく、その他、同様な光電変換機能を備える構成であれば、構わない。このように、本発明はここでは記載していない様々な実施形態等を含むことは勿論である。したがって、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【産業上の利用可能性】
【０１４０】
本発明の第１〜第３の実施形態及びそれらの変形例に係る３Ｄ撮像ユニットは、例えば図２６に例示的に示すカメラ等の技術分野における３Ｄ撮像装置として利用可能である。図２６に例示的に示すように、技術分野として利用可能性のあるビデオカメラ等のカメラは、対象物１０（図１参照。）からの光路を調整する撮像光学系２と、撮像光学系２の光軸に沿って入射する対象物１０の像を撮像する第１〜第３の実施形態及びそれらの変形例に係る３Ｄ撮像ユニットの要素を用いた撮像チップ３６８と、オートフォーカス（ＡＦ）に用いる第１〜第３の実施形態及びそれらの変形例に係る３Ｄ撮像ユニットを構成する固体撮像装置の画素を主要部として用いた距離センサ（測距素子）３７４を備える。
【０１４１】
図２６に例示する撮像チップ３６８は、図１に示した受光部１８を第１の半導体チップに構成し、駆動部１５、水平走査回路２２、垂直走査回路２１、ノイズ処理回路ＮＣ１〜ＮＣｍを第２半導体チップに集積化し、距離演算部１２、制御部１４、プログラム記憶装置１７、データ記憶装置１３、記憶部１１及び出力部１６等を第３の半導体チップに集積化して、第１〜第３の半導体チップを順に積層化して一体化した構造のチップでもかまわない。又、図１に示した受光部１８を第１の半導体チップに構成し、駆動部１５、水平走査回路２２、垂直走査回路２１、ノイズ処理回路ＮＣ１〜ＮＣｍを第２半導体チップに集積化し、第１及び第２の半導体チップを積層化して一体化した構造のチップを、撮像チップ３６８として採用し、距離演算部１２、制御部１４、プログラム記憶装置１７、データ記憶装置１３、記憶部１１及び出力部１６等を図２６に例示的に示すカメラの他の構成に機能させてもかまわない。
【０１４２】
本発明を利用する可能性のあるカメラは、第１〜第３の実施形態及びそれらの変形例に係る３Ｄ撮像ユニットの要素を用いた撮像チップ３６８から出力された画像データをデジタルデータに変換するＡ／Ｄ変換回路３６５と、Ａ／Ｄ変換回路３６５がデジタルデータに変換した画像データを格納するメモリ（半導体記憶装置）３６４と、メモリ３６４から画像データを受信する中央処理制御部（ＣＰＵ）３６１と、中央処理制御部３６１を介して画像データを受信して画像データを処理する画像処理部３６２とを備える。そして、画像処理部３６２には、撮像チップ３６８及び距離センサ（測距素子）３７４の調整データを保存する調整データ記憶装置３６３が接続されている。
【０１４３】
尚、図２６は例示に過ぎず、撮像チップ３６８又は距離センサ（測距素子）３７４が搭載される半導体チップ上に中央処理制御部３６１から送信された調整データを保存する調整データ記憶装置が接続され、半導体チップ上の駆動回路に調整データを供給するような構造でもよい。本発明を利用する可能性のあるカメラとしては、更に、中央処理制御部３６１に接続された駆動部３６６、メディアコントローラ等のメモリカード・インターフェイス３７８、操作部３７７、液晶ディスプレイ（ＬＣＤ）駆動回路３７５、モータドライバ３７３ａ、３７３ｂ、３７３ｃ、ストロボ制御回路３８０を備えることができる。ＬＣＤ駆動回路３７５にはＬＣＤからなる表示部３７６が接続され、ストロボ制御回路３８０にはストロボ装置３８７が接続されている。ストロボ装置３８７は図１に示した発光部１を構成することが可能である。
【０１４４】
図２６に例示したカメラの中央処理制御部３６１は、中央処理制御部３６１に接続された画像処理部３６２、駆動部３６６、メモリ３６４，メモリカード・インターフェイス３７８、操作部３７７、ＬＣＤ駆動回路３７５、距離センサ（測距素子）３７４、モータドライバ３７３ａ、３７３ｂ、３７３ｃ、ストロボ制御装置のそれぞれの動作や処理を制御する命令や電気信号を出力する。図示を省略しているが、中央処理制御部３６１には、画像処理部３６２、駆動部３６６、メモリ３６４，メモリカード・インターフェイス３７８、操作部３７７、ＬＣＤ駆動回路３７５、距離センサ（測距素子）３７４、モータドライバ３７３ａ、３７３ｂ、３７３ｃ、ストロボ制御装置のそれぞれの動作をそれぞれ実行させる命令出力回路の他、オートホワイトバランス（ＡＷＢ）調整を施すＷＢ調整命令出力回路等の種々の論理回路等が論理的なハードウェア資源として組込まれている。
【０１４５】
撮像光学系（３６９，３７０）を構成する撮影レンズ３７０は、図２６に示すように、例えば主レンズ３７０ａと、主レンズ３７０ａに隣接したズームレンズ３７０ｂと、ズームレンズ３７０ｂに隣接したフォーカスレンズ３７０ｃ等を備えることができる。図２６に例示した構造では、ズームレンズ３７０ｂにはズームモータ３７１ａが、フォーカスレンズ３７０ｃにはフォーカスモータ３７１ｂが接続されている。フォーカスレンズ３７０ｃと撮像チップ３６８の間には撮像光学系（３６９，３７０）を構成する絞り３６９が配置されている。例えば、５枚の絞り羽根からなる絞り３６９には、絞り羽根を駆動するアイリスモータ３７１ｃが接続されている。ズームモータ３７１ａ、フォーカスモータ３７１ｂ及びアイリスモータ３７１ｃはステッピングモータからなり、中央処理制御部３６１に接続されたモータドライバ３７３ａ、３７３ｂ、３７３ｃから送信される駆動パルスにより動作制御され、レリーズボタン等の操作部３７７からの信号により撮像準備処理を行う。
【０１４６】
ズームモータ３７１ａは、ズームレンズ３７０ｂを例えば２０〜５０段階でワイド側又はテレ側に移動させ、撮影レンズ３７０のズーミングを行う。フォーカスモータ３７１ｂは、対象物１０からの距離やズームレンズ３７０ｂの変倍に応じてフォーカスレンズ３７０ｃを移動させ、カメラの撮像条件が最適となるように撮影レンズ３７０の焦点調整を行う。アイリスモータ３７１ｃは、絞り３６９の絞り羽根を動作させて絞り３６９の開口面積を変化し、例えば、絞り値Ｆ２．８〜Ｆ１６まで１ＡＶ刻みで５段階に撮影レンズ３７０の露光調整を行う。
【０１４７】
撮影レンズ３７０は図２６に例示する構成に限定されるものではなく、例えば、カメラに対して着脱できる交換式レンズであっても構わない。撮影レンズ３７０は、主レンズ３７０ａ、ズームレンズ３７０ｂ及びフォーカスレンズ３７０ｃ等の複数の光学レンズ群から構成されることにより、対象物１０からの光束をその焦点面近傍に配置された撮像チップ３６８の表面に結像させる。
【０１４８】
第１〜第３の実施形態及びそれらの変形例に係る撮像チップ３６８は、ガラスやセラミックからなるチップ搭載基板（パッケージ基板）３６７に搭載されている。撮像チップ３６８には、タイミングジェネレータ（ＴＧ）３７２が接続され、タイミングジェネレータ３７２は駆動部３６６を介して中央処理制御部３６１に接続されている。中央処理制御部３６１から駆動部３６６を介して送られる信号により、タイミングジェネレータ３７２がタイミング信号（クロックパルス）を発生し、タイミング信号はチップ搭載基板３６７を介して撮像チップ３６８を構成する半導体チップ上に周辺回路として設けられた駆動回路からの電子シャッタ用信号として各行のピクセルに送られる。
【０１４９】
即ち中央処理制御部３６１は駆動部３６６を介してタイミングジェネレータ３７２を制御し、撮像チップ３６８の電子シャッタのシャッタ速度を制御する。尚、タイミングジェネレータ３７２は、撮像チップ３６８を構成する半導体チップ上の周辺回路として、モノリシックに集積化しても構わない。
【０１５０】
撮像チップ３６８を構成する半導体チップの中央の画素アレイ部から出力された撮像信号は、半導体チップの周辺部に周辺回路として設けられた相関二重サンプリング回路（ＣＤＳ）に入力され、撮像チップ３６８の各ピクセルの蓄積電荷量に正確に対応したＲ、Ｇ、Ｂの画像データとして撮像チップ３６８から出力される。撮像チップ３６８から出力された画像データは、図示を省略した増幅器で増幅され、Ａ／Ｄ変換回路３６５でデジタルデータに変換される。撮像チップ３６８は、駆動部３６６によりタイミング制御されて、撮像チップ３６８の受光面上に結像された対象物１０の像を画像信号に変換してＡ／Ｄ変換回路３６５へ出力する。
【０１５１】
図示を省略しているが、図２６に例示したカメラの画像処理部３６２は、ホワイトバランス調整に用いるＷＢ制御量を算出するＷＢ制御量演算回路、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値を出力する自動露出（ＡＥ）検出用論理演算回路、ＡＥ検出用論理演算回路が出力した積算値からＡＥに必要な対象物１０の明るさ（撮影Ｅｖ値）を算出する撮影Ｅｖ値算出回路、更に、階調変換処理回路、ホワイトバランス補正処理回路、γ補正処理回路等の、各種画像処理や画像処理に伴う演算を画像データに対し施す種々の論理回路（ハードウェア・モジュール）を、論理構成上のハードウェア資源として備えることも可能である。
【０１５２】
図２６に例示したカメラの画像処理部３６２は、画像処理エンジン等があれば実現可能である。又、特徴量生成や識別処理に演算負荷が高い場合、ハードウェアに実装してもよい。例えば、マイクロチップとして実装されたＭＰＵ等を使用してコンピュータシステムで画像処理部３６２を構成することも可能である。又、コンピュータシステムを構成する画像処理部３６２として、算術演算機能を強化し信号処理に特化したＤＳＰや、メモリや周辺回路を搭載し組込み機器制御を目的としたマイコン等を用いてもよい。或いは、現在の汎用コンピュータのメインＣＰＵを画像処理部３６２に用いてもよい。更に、画像処理部３６２の一部の構成又はすべての構成をＦＰＧＡのようなＰＬＤで構成してもよい。
【符号の説明】
【０１５３】
１０……対象物、１１……記憶部、１２，７２……距離演算部、１３，７３……データ記憶装置、１４，７４……制御部、１５，７５……駆動部、１６，７６……出力部、１７，７７……プログラム記憶装置、１８，７１……受光部、１９……発光部、２０……  レンズ、２１，８１……垂直走査回路、２２，８２……水平走査回路、２３……相関二重サンプリング回路２３……アナログ―デジタル変換回路、１１１……第１メモリ、１１２……第２メモリ、１１３……分配器（デマルチプレクサ）、１８１……信号生成部、１４１……時間設定論理回路、１４２……時間設定値出力制御回路、１４３……距離画像出力制御回路、１４４……設定値判定回路、１４５……シーケンス制御回路、１４６……バス、４１，９１，１５１，２１４，３２１……光電変換部、４２ａ，９２ａ，１５２ａ……転送ゲート電極、４２ｂ，９２ｄ，１５２ｃ……排出ゲート電極、４３ａ，１５３ａ……電荷蓄積領域（第１電荷蓄積領域）、４３ｂ……電荷排出領域，１５３ｂ……第２電荷蓄積領域、４４，９４ａ……リセットゲート電極、４６……選択ゲート電極、４７……ゲート電極（増幅トランジスタの増幅ゲート電極）、４８……仮想線、４９……拡散領域、５０……リセットドレイン領域、５１……増幅ソース領域、５２……選択ソース領域、９２ｂ，１５２ｂ……第２転送ゲート電極、９２ｃ……第３転送ゲート電極、９３ａ……第１電荷蓄積領域、９３ｂ……第２電荷蓄積領域、９３ｃ……第３電荷蓄積領域、９４ｂ……第２リセットゲート電極、９４ｃ……第３リセットゲート電極、２１１……p＋基板、２１２……エピタキシャル成長層（第２エピタキシャル成長層）、２１３……素子分離領域、２１５……マイクロレンズ、２１６……配線層、２１７……金属遮光膜、２２１……導波路、２２２……ｐ＋型基板またはｐ＋型表面ピンニング層、２３１……第１エピタキシャル成長層、２３２……第２エピタキシャル成長層、３６１……中央処理制御部、３６２……画像処理部、３６３……調整データ記憶装置、３６４……メモリ、３６５……Ａ／Ｄ変換回路、３６６……駆動部、３６７……チップ搭載基板、３６８……固体撮像装置、３６９……絞り、３７０……撮影レンズ、３７０ａ……主レンズ、３７０ｂ……ズームレンズ、３７０ｃ……フォーカスレンズ、３７１ａ……ズームモータ、３７１ｂ……フォーカスモータ、３７１ｃ……アイリスモータ、３７２……タイミングジェネレータ（ＴＧ）、３７３ａ，３７３ｂ，３７３ｃ……モータドライバ、３７４……距離センサ、３７５……ＬＣＤ駆動回路、３７６……表示部、３７７……操作部、３７８……メモリカード・インターフェイス、３７９……メモリカード、３８０……ストロボ制御回路、３８７……ストロボ装置
【図１】
2020182147.tif 000003
【図２】
2020182147.tif 000004
【図３】
2020182147.tif 000005
【図４】
2020182147.tif 000006
【図５】
2020182147.tif 000007
【図６】
2020182147.tif 000008
【図７】
2020182147.tif 000009
【図８】
2020182147.tif 000010
【図９】
2020182147.tif 000011
【図１０】
2020182147.tif 000012
【図１１】
2020182147.tif 000013
【図１２】
2020182147.tif 000014
【図１３】
2020182147.tif 000015
【図１４】
2020182147.tif 000016
【図１５】
2020182147.tif 000017
【図１６】
2020182147.tif 000018
【図１７】
2020182147.tif 000019
【図１８】
2020182147.tif 000020
【図１９】
2020182147.tif 000021
【図２０】
2020182147.tif 000022
【図２１】
2020182147.tif 000023
【図２２】
2020182147.tif 000024
【図２３】
2020182147.tif 000025
【図２４】
2020182147.tif 000026
【図２５】
2020182147.tif 000027
【図２６】
2020182147.tif 000028
【図２７】
2020182147.tif 000029
【図２８】
2020182147.tif 000030
【図２９】
2020182147.tif 000031
【図３０】
2020182147.tif 000032
【図３１】
2020182147.tif 000033
【図３２】
2020182147.tif 000034
【図３３】
2020182147.tif 000035
【図３４】
2020182147.tif 000036
【図３５】
2020182147.tif 000037